I nte rna t io na l J o urna l o f   Rec o nfig ura ble a nd   E m be dd e d Sy s t e m s   ( I J R E S)   Vo l.  15 ,   No .   1 Ma r ch   20 26 ,   p p .   2 2 4 ~ 2 3 5   I SS N:  2089 - 4864 DOI 1 0 . 1 1 5 9 1 /i j r es . v 1 5 . i 1 . pp 2 2 4 - 235          224     J o ur na l ho m ep a g e h ttp : //ij r es.ia esco r e. co m   Sy na ptic  shield f usio o ResN ex t 5 0  and  lo ng  sho rt - ter m   m e m o ry   for enha na ced deep fa k e d etec tion       A m it   M is hra 1 ,   P ra j w a l C hin ch m a la t pu re 2 ,   G o v ind a   B .   S a m ba re 3 ,   Vio m e s h K u m a Si ng h 4 ,   At ul  G ula bra o   P a w a r 3 ,   Ra hu l P r a k a s h M ira j k a r 5 P riy a nk a   K .   T a k a l k a r 6 ,   K uld ee p Va y a da nd e 4   1 D r .   V i s h w a n a t h   K a r a d   M I T   W o r l d   P e a c e   U n i v e r si t y ,   P u n e ,   I n d i a   2 N o r t h e a st e r n   U n i v e r si t y ,   B o st o n ,   U n i t e d   S t a t e s   3 P i mp r i   C h i n c h w a d   C o l l e g e   o f   En g i n e e r i n g ,   P u n e ,   I n d i a   4 V i sh w a k a r ma  I n st i t u t e   o f   T e c h n o l o g y ,   P u n e ,   I n d i a   5 B h a r a t i   V i d y a p e e t h C o l l e g e   o f   En g i n e e r i n g ,   K o l h a p u r ,   I n d i a   6 B h a r a t i   V i d y a p e e t h C o l l e g e   o f   En g i n e e r i n g ,   P u n e ,   I n d i a       Art icle  I nfo     AB ST RAC T   A r ticle  his to r y:   R ec eiv ed   J an   1 1 ,   2 0 2 5   R ev i s ed   J an   1 4 ,   2 0 2 6   A cc ep ted   Feb   1 7 ,   2 0 2 6       Re c e n d e v e lo p m e n ts  in   d e e p f a k e h a v e   c re a ted   m u c h   a n x iet y   a b o u t h e   a u th e n ti c it y   o f   a n y   d ig it a c o n ten a n d   th u s,  c a ll f o i m p le m e n ti n g   d e tec ti o n   m e c h a n is m th a w il w o rk   a c c o rd in g ly .   T h is  p a p e u se S y n a p ti c   S h iel d ,   a   in n o v a ti v e   d e e p   lea rn in g   (DL fra m e w o rk   w h ich   is  c u sto m ize d   to   d e tec t   a lt e ra ti o n b y   d e e p fa k e w it h   h ig h   p re c isio n   lev e ls.  It  e m p lo y b o th   c o n v o lu ti o n   n e u ra n e tw o rk (CNN s)  a we ll   a m o d u les   f o ti m e   f e a tu re   e x trac ti o n to   tes sp a ti a a n d   m o ti o n   in d ica to rs  f ro m   v id e o   d a ta.  Hig h - lev e p re p ro c e ss in g   p ip e li n e in   c o m b in a ti o n   w it h   c o n f id e n c e   sc o rin g   m e c h a n is m   h e lp   m a k e   S y n a p ti c   S h ield   a d a p t i v e   to w a rd   m a n ip u latio n   tec h n iq u e su c h   a F a c e S wa p   a n d   De e p F a k e .   T h e   a c c u ra c y   o o u m o d e su rp a ss e o th e d e e p f a k e   d e tec ti o n   m o d e ls  w it h   a   h ig h   a c c u ra c y   o f   9 8 . 3 % .   T h e   a b o v e   re su lt s   a re   b a se d   o n   e x h a u stiv e   e x p e rime n tatio n   o n   sta n d a rd   d a tas e ts  li k e   F a c e F o re n sic s+ + ,   De e p F a k e   d e tec ti o n   c h a ll e n g e   (DFDC),   a n d   Ce leb   De e p F a k e   (Ce leb - DF).   S y n a p ti c   S h iel d   is  sh o w n   to   b e   t h e   b e st  w it h   o u tstan d in g   re su lt th a m a in tain   a   h ig h e c o n f id e n c e   sc o re   e q u iv a len to   it s   p re c isio n   a n d   re li a b i li ty .   S c a lab il it y   in   h a v in g   th e   c a p a c it y   to   a c c o m m o d a te   v a rio u m a n ip u latio n   tec h n i q u e a n d   lev e ls  o f   v id e o   q u a li ty   in d ica tes   ro b u stn e ss   i n   o f f e rin g   a n   e ff e c ti v e   m e th o d   to w a rd   e n s u rin g   in teg rit y   in   d ig it a m e d ia.  T h e   w o rk   is  a n   im p o rtan m o v e   f o rwa rd   in   a d d r e ss in g   th e   p ro b lem s c re a ted   b y   De e p F a k e   te c h n o l o g ies .   K ey w o r d s :   A r ti f icial  i n tel lig e n ce   C o m p u ter   v is io n   Dee p f ak e   L o n g   s h o r t - ter m   m e m o r y   R ec u r r en t n e u r al  n et w o r k   R es - n e x t b ased   co n v o lu tio n   n eu r al  n et w o r k   T h is i a n   o p e n   a c c e ss   a rticle   u n d e r th e   CC B Y - SA   li c e n se .     C o r r e s p o nd ing   A uth o r :   R ah u l P r ak as h   Mir aj k ar   B h ar ati  Vid y ap ee th s   C o lle g o f   E n g in ee r i n g   Ko lh ap u r ,   I n d ia   E m ail:  r ah u l m ir aj k ar 9 8 2 @ g m ail. co m       1.   I NT RO D UCT I O N   T h is   is   n e w   s y n t h etic  m ed ia  cr ea tio n   to o b ased   o n   b r ea k t h r o u g h s   i n   d ee p   lear n i n g   ( DL )   t h at  i s   D L   an d   g e n er ati v m o d el s ,   esp ec i all y   i n   g e n er ativ e   ad v er s ar ial  n et w o r k   ( G AN)   [ 1 ] ,   w h ic h   ca n   i m p lan n e w   f ac es   an d   v o ices  o n to   v id eo s   in   v er y   r ea li s tic  w a y s .   Su c h   ar tif ici al  in telli g en ce   ( A I ) - g en er ated   v id eo s ,   k n o w n   as   Dee p Fak es,  ca n   s er io u s l y   co m p r o m is th v er ac it y   o f   d i g ital  m ed ia  b ec a u s it  ca n   b b en ef icia l   f o r   eit h er   s p r ea d in g   m is in f o r m at io n   o r   m an ip u lati n g   p u b lic  o p in io n   t h r o u g h   d a m a g i n g   r ep u tat io n s   [ 2 ] ,   [ 3 ] .   T h in cr ea s i n g   a v ailab ilit y   an d   s o p h is ticatio n   o f   Dee p Fak g en er atio n   to o ls   r aise  th s ta k es,  s o   it  is   clea r l y   n ec es s ar y   th at  d etec tio n   m ec h an is m s   b d ev elo p ed   th at  ar r eliab le  [ 4 ] .   No w   d a y s   m et h o d s   u s u a ll y   r el y   o n   p ix el - b ased   a n al y s i s   o r   s i m p l s tati s tical  m o d el s   t h at  h a v e   lo s m o m e n tu m   d u to   m o d er n   tech n iq u e s   i n   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J   R ec o n f i g u r ab le  &   E m b ed d ed   Sy s t     I SS N:   2089 - 4864       S yn a p tic  s h ield :   fu s io n   o f R es N ex t 5 0   a n d   lo n g   s h o r t - term me mo r fo r   en h a n a ce d     ( A mit Mis h r a )   225   p r o d u cin g   f e w er   id e n ti f iab le  ar tif ac ts   [ 5 ] .   W ap p r o ac h   th e   ch alle n g u s i n g   o u r   n o v el   D L - b ased   f r a m e w o r k   th at  m a k es  a m al g a m atio n   o f   co n v o lu tio n   n e u r al  n et w o r k   ( C NN)   an d   r ec u r r en n eu r al  n e t w o r k   ( R NN)   to   r o b u s tl y   cla s s i f y   if   t h g iv e n   v id eo   is   Dee p Fak [ 6 ] .   Ou r   ap p r o ac h   u s es  R esNe x t   C NN,   w h ic h   ex tr ac t s   f r a m ele v el  f ea t u r es  a n d   d etec ts   m i n o r   ar tef ac ts   lef b y   Dee p Fak g e n er atio n   p r o ce s s es;  th ese  ar th en   p r o ce s s ed   b y   t h lo n g   s h o r t - ter m   m e m o r y   ( L ST M)   n et w o r k - v ar ian o f   an   R NN,   ca p tu r in g   te m p o r al  in co n s i s te n cies   in   v id eo   f r a m es,  w h ic h   i s   t h m o s t c o m m o n   in d icato r   o f   m an ip u latio n   [ 7 ] .   T h in teg r atio n   o f   s p atial  a n d   te m p o r al  an al y s is   b r in g s   o u r   m o d el  to   h ig h   ac cu r ac y   a n d   r o b u s t n es s   to   m an y   D ee p Fak s ce n ar io s   [ 8 ] ,   [ 9 ] .   W ex am in o u r   m e th o d   o n   lar g e   d ataset  co m p o s ed   o f   b o th   r ea an d   m an ip u lated   v id eo s .   I s u r p ass e s   p r ev io u s   m et h o d s ,   s o   it  co u ld   b e   g o o d   to o f o r   th d etec tio n   o f   d ee p f a k es  i n   v ar io u s   r ea l - w o r ld   tas k s ,   s u c h   as  s o cial  p lat f o r m   m o n ito r in g   a n d   d ig ita l   f o r en s ic s   [ 1 0 ] .   A I   an d   D L   h a v led   to   tr em e n d o u s   i n n o v atio n s   in   t h g e n er atio n   an d   m an ip u latio n   o f   m ed ia  [ 1 1 ] .   Am id s all  t h ese  d ev e lo p m en ts ,   o n s u c h   d o u b le - ed g ed   to o is   Dee p Fak tech n o lo g y ,   s u p p o r ted   b y   GANs   b esid es  o th er   f r a m e w o r k s   o f   g en er atio n .   Dis tin g u is h i n g   b et w ee n   r ea a n d   f a k v id eo s ,   ch an g i n g   f ac e s ,   o r   ev en   v o ice  i m i tatio n   is   f ab u l o u s   i n   e n ter tai n m e n t,  ed u ca ti o n ,   an d   ar tis tr y ,   b u i m p r o p er   u s h as   b r o u g h cr itical  p ea k s   in   et h ical  an d   s e cu r it y   i s s u es  [ 1 2 ] ,   [ 1 3 ] .   Dee p Fak es  h av o cc u r r ed   as  o n o f   th m o s i m p o r tan t   th r ea ts   w i th i n   t h d ig ita s p a ce ,   p u ttin g   co n ce r n s   o n   w h e th er   tech n o lo g y   ca n   b r ea k   t h tr u s d ev elo p ed   b et w ee n   v i s u a l a n d   au d io   co n t en t [ 1 4 ] .   Dee p Fak v id eo s   ar es s en t i all y   h i g h l y   r ea li s tic  m a n ip u la ted   o r   ev en   f a k ed   ev e n ts   th a th r ea te n   p r iv ac y ,   p u b lic  s ec u r it y ,   a n d   s o cial  co h esio n .   S u c h   v id eo s   m a y   b e m p lo y ed   in   p r o p ag an d ca m p ai g n   o f   m is in f o r m at io n ,   p o liti ca co er cio n ,   an d   id en tit y   th e f a m o n g s o th er   n ef ar io u s   g o al s   [ 1 5 ] ,   [ 1 6 ] .   T h er ef o r e,   a   Dee p Fak v id eo   o f   p r o m in e n p u b lic  f ig u r m a y   b u s e f u f o r   s p r ea d in g   f a ls i n f o r m ati o n   o r   in citin g   ci v il   u n r e s t,  w h er ea s   an   alter ed   co r p o r ate  v id eo   m a y   d a m a g r ep u tatio n   o r   m is lead   in v e s to r s   [ 1 7 ] .   T h is   b if u r ca ted   n atu r o f   d ee p f a k es   ca lls   f o r   d etec tio n   m ec h a n is m s   t h at  ar e   b o th   r o b u s a n d   s ca lab le,   y et   s p ec if ic   en o u g h   to   m atc h   th r ap id   ev o lu t io n   o f   t h ese  tec h n o lo g ies.       2.   L I T E R AT U RE   R E VI E W   R esear ch   b y   Oa k   [ 1 8 ]   p r esen t s   an   i m p r o v ed   d ee p f a k d etec t io n   tech n iq u o v er   Face - Xr a y ,   b ased   o n   co n tin u o u s   f r a m f ac e - s w ap p i n g .   I g en er ate s   m as k s   t h at  ad d   f u s io n   f ea t u r es  to   v id eo s   u s in g   U - Net - b ased   GAN  an d   p er f o r m s   f ac e - s w a p p in g   u s i n g   Dela u n a y   tr ia n g u latio n   an d   p iece w is a f f in tr an s f o r m atio n .   W ith   th is   m et h o d ,   in tr a - f r a m f u s i o n   an d   in ter - f r a m te m p o r al  f ea tu r e s   ar g u ar a n teed   to   b p r esen in   t h e   p r o d u ce d   v id eo s .   T h ese  f ea tu r es  ar th en   e x tr ac ted   u s i n g   an   E f f icie n tNe t - L ST m o d el,   w h er L ST co n ce n tr ates  o n   te m p o r al  p att er n s   an d   E f f icie n tNet  ca p tu r e s   s p atial  f ea t u r es.  T h is   co m b i n atio n   h elp s   to   d etec d ee p f ak ev id e n ce   ef f icie n tl y .   I n   s it u atio n s   in v o lv in g   cr o s s - d ataset  d etec tio n ,   th ap p r o ac h   s h o w s   en h a n ce d   g en er aliza tio n   an d   attai n s   an   a r ea   u n d er   th cu r v ( A UC )   o f   0 . 8 4.   R esear ch   b y   I q b al   et  a l.   [ 1 9 ]   ad d r ess es  th lo w   d etec t io n   a cc u r ac y   o f   ex i s ti n g   Dee p Fak e   d etec tio n   m et h o d s   in   cr o s s - ar c h i v s ce n ar io s   an d   lo w - q u alit y   v id eo   s e ts .   Usi n g   n et w o r k   s tr u ct u r t h at  co m b i n es  v id eo   an d   s in g le - b r an c h   d o u b le - b r an ch   d etec tio n   to   g at h er   s p ati al  an d   te m p o r al  d ata,   it  s u g g est s   t w o - b r an ch   d ee p f ak d etec tio n   m et h o d .   A lo n g   w i th   ap p l y in g   d if f er en d ata  au g m en tatio n   tec h n iq u es,  th m eth o d   also   u s e s   th co n v o lu t io n al  b lo ck   a tten tio n   m o d u le  ( C B A M)   to   im p r o v th Xce p tio n   n et w o r k .   C o m p ar ati v test s   u s i n g   v ar io u s   d atasets   d e m o n s tr ate  th at  t h s u g g es ted   n et w o r k   m o d el  p er f o r m s   ex is ti n g   id ea s   in   ter m s   o f   d etec tio n   p er f o r m an ce   a n d   g e n er aliza tio n   ab ilit ies.   L ai  et  a l.   [ 2 0 ]   Dee p f ak es,  w h ic h   p o s s er io u s   r is k s   li k m a n ip u la tin g   p u b lic  v ie w ,   cr ea tin g   g eo p o liti ca ten s io n s ,   u n s tab l f in a n cial  m ar k ets,  s ca m s ,   d ef a m at io n ,   an d   f in d   t h e f t,  ar o u tco m e s   o f   ad v an ce s   i n   D L ,   b ig   d ata,   an d   i m ag p r o ce s s i n g .   T h is   s tu d y   e x a m in e s   b o th   r ec en a n d   e m er g i n g   tr en d s   i n   d ee p f ak tech n o lo g y .   A   tea m   o f   b r ain y   f o l k s   u s ed   t w o   s m ar to o ls   to   ca tch   r o g u ac tiv ities   o n   co m p u ter   n et wo r k s   [ 2 1 ] .   On to o l,  ca lled   C NN,   is   g r ea at  f in d in g   th p atter n   o f   i n f o r m atio n   i n   ti m e.   T h o th er ,   k n o w n   as  L ST M,   is   a   w h izz  at  ca p tu r i n g   ch a n g e s   o v er   ti m e.   T o g eth er ,   th e y   m a k k iller   co m b o   f o r   s n i f f i n g   o u t t h b ad   g u y s .   R esear ch   b y   A ab ito v a   et  a l.   [ 2 2 ]   p r o p o s es  n o v el  D L   m o d el  f o r   f a k f ac d etec tio n   in   m ed i a   f o r en s ic s ,   w h ic h   s i m u ltan eo u s l y   ex tr ac ts   co n te n an d   tr ac ch ar ac ter is tic s   to   d etec m an ip u lated   f ac es.   R ec en t   w o r k s   h av a ls o   ex p lo r ed   g r ap h   n e u r al  n et w o r k - b a s ed   ap p r o ac h es  f o r   f r a u d   an d   an o m a l y   d etec t io n   i n   co m p le x   r elatio n al  d ataset s   [ 2 3 ] .   C o m p ar ativ ev al u atio n s   b et w ee n   g r ap h - b ased   lear n i n g   a n d   tr ad itio n al   ar ch itect u r es  h i g h li g h i m p r o v e m e n t s   in   s tr u ct u r ed   d etec tio n   s ce n ar io s   [ 2 4 ] .   Fu r t h er m o r e,   h eter o g en eo u s   g r ap h   tr an s f o r m er   m o d els  h a v d e m o n s tr ated   en h an ce d   ca p ab ilit y   in   m o d elin g   m u lt i - s o u r ce   r elatio n al  d ata   f o r   d etec tio n   tas k s   [ 2 5 ] .         Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 9 - 4864   I n t J   R ec o n f i g u r ab le  &   E m b ed d ed   Sy s t ,   Vo l.  15 ,   No .   1 Ma r c h   202 6 2 2 4 - 235   226   3.   M E T H O D   3 . 1 .     Desig n   3. 1 . 1.   I np ut  v ideo   f ra m es   T h is   p ar o f   o u r   p ap er   ap p r o ac h es  a n   o v er v ie w   o f   t h m e th o d o lo g y   w e   ar g o i n g   to   i m p le m e n t.   Fo llo w i n g   ar th p h ase s :   P r ep r o ce s s in g   v id eo t ak o u t in d iv id u al  f r a m e s   an d   r esize  th e m   to   2 2 4   b y   2 2 4   p ix els.   No r m a lizatio n t o   co n f ir m   co n s is te n c y   ac r o s s   th m o d el,   n o r m alize   t h p ix el  v al u es to   s ta n d ar d   r a n g e.   R esNe x f o r   ex tr ac tio n   o f   f ea t u r es:     Fra m e - by - f r a m f ea tu r e x tr ac tio n : Re s Nex t CNN p r o ce s s e s   ea ch   f r a m e,   ex tr ac ti n g   2 0 4 8 - d im en s io n a l   f ea t u r v ec to r s .     T h g o al  o f   R esNex t   is   to   r e co r d   ea ch   f r a m e ' s   s p atial  i n f o r m atio n ,   s u ch   as  w r in k le s ,   f a cial  lan d m ar k s ,   u n e v e n   lig h ti n g ,   an d   ex p r es s io n s .   Fi g u r 1   s h o w s   R esNe x t F ea tu r ex tr ac tio n   p r o ce s s .           Fig u r 1 .   R es_ Nex t5 0 _ 3 2 x 4 d   ( f ea tu r e x tr ac tio n )       T h n ex t step   is   p r o p o s ed   s y s t e m   h a s   b ee n ,   te m p o r al  an al y s i s   w ith   L ST M:     Seq u en ce   f o r m at io n :   a   s eq u en ce   is   cr ea ted   b y   o r g a n izi n g   t h f ea tu r v ec to r s   t h at   wer tak en   f r o m   s u cc e s s i v f r a m es.     L ST p r o ce s s in g t h L ST la y er ,   w h ic h   h as 2 0 4 8   laten t d i m e n s io n s   a n d   is   i n te n d ed   to   ca p tu r te m p o r al  ch an g es  b et w ee n   f r a m es,  i n cl u d in g   p o s itio n   s h i f ts ,   f a ce   m o v e m e n t s ,   an d   b lin k in g   p atter n s ,   is   ap p lied   to   th ese  s eq u en ce s .     Dr o p o u t:  t o   av o id   o v er f itti n g ,   4 0 % d r o p o u t is i m p le m en ted   d u r in g   tr ai n i n g .   Af ter   p er f o r m i n g   T em p o r al  an al y s i s   n e x t s tep   is ;   co m p letel y   n et w o r k ed   an d   o u tp u t la y er s     Fu ll y   co n n ec ted   la y er an   o u tp u is   r o u ted   th r o u g h   f u ll y   co n n ec ted   la y er   s u b s eq u en t   to   th L ST M' s   p r o ce s s in g   o f   t h s eq u en ce s .   T h is   lay er   d eter m i n es  i f   th v id eo   is   r ea l   o r   p h o n y   b y   m ap p in g   th i n ter n a l   L ST s tate.     So f t M a x   la y er t h L ST o u tp u i s   tr an s f o r m ed   in to   p r o b ab ili ties   f o r   ea ch   clas s   ( r ea v s .   f a k e)   af te r   p ass in g   t h r o u g h   So f t Ma x   la y er   w it h   t h f in al  o u tp u t.  T h e   m o d el  p r ed icts   th cla s s   w i t h   t h m a x i m u m   p r o b a b ilit y .   Fi g u r 2   s h o w s   f r a m es  e x tr ac ted   f r o m   v id eo s   an d   Fig u r 3   ex p lain s   f ea t u r e x tr ac tio n   u s i n g   r esn e x t5 0 .   Fig u r 4   s h o w s   Se q u en ce   lear n i n g   an d   v id eo   cl ass i f icatio n   u s in g   L ST lay e r   an d   Fig u r 5   s h o w s   s y s te m   d esig n   o f   o u r   p r o p o s ed   m o d el.   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J   R ec o n f i g u r ab le  &   E m b ed d ed   Sy s t     I SS N:   2089 - 4864       S yn a p tic  s h ield :   fu s io n   o f R es N ex t 5 0   a n d   lo n g   s h o r t - term me mo r fo r   en h a n a ce d     ( A mit Mis h r a )   227       Fig u r 2 .   Fra m es e x tr ac ted   f r o m   v id eo s           Fig u r 3 .   Featu r ex tr ac tio n   u s in g   r e s n e x t5 0 _ 3 2 x 4 d           Fig u r 4 .   Seq u en ce   lear n in g   a n d   v id eo   class i f icat io n   u s i n g   L ST lay er           Fig u r 5 .   S y s te m   d esi g n   o f   o u r   p r o p o s ed   m o d el       3 . 2 .     Dev el o p m ent   Dev elo p m e n t p h a s d o es in s ta llatio n   o f   t h r eq u ir ed   lib r ar ies an d   P y t h o n   3   as  f o llo w s :     Fo r   th is   p r o j ec t,  u tili ze   P y t h o n   3 ,   s i n ce   it   h a s   lar g co m m u n i t y ,   is   ea s y   to   u s e,   an d   s u p p o r ts   ex te n s iv e   r an g e   o f   m ac h in lear n i n g   ( M L )   lib r ar ies.   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 9 - 4864   I n t J   R ec o n f i g u r ab le  &   E m b ed d ed   Sy s t ,   Vo l.  15 ,   No .   1 Ma r c h   202 6 2 2 4 - 235   228     P y T o r ch   f r a m e w o r k P y T o r ch   i s   s elec ted   d u to   i ts   ad ap t ab ilit y ,   s ca lab ilit y ,   an d   s m o o t h   GP s u p p o r w it h   C UD A ,   w h ich   e n ab les q u ick er   tr ai n i n g   o n   b i g   d atasets .     D y n a m ic   co m p u tatio n   g r ap h s ,   w h ich   P y T o r ch   o f f er s ,   p r o v id v er s at ilit y   w h en   d ev el o p in g   m o d els,   p ar ticu lar l y   w h en   cr ea ti n g   b es p o k la y er s   ( s u ch   as  C NN  m i x ed   w it h   L ST M) .     3 . 3 .     E v a lua t i o n   3 . 3 . 1 .   Va lid a t io n set   Fo r   v alid atio n   p u r p o s w p er f o r m   f o llo w in g   s tep s :     Go al:  t d ev elo p e   th m o d el   s i m p li f ies  s u cc es s f u ll y   to   n e w ,   u n s ee n   d ata,   y o u   m u s e v alu a te  it  o n   v alid atio n   s et  o n ce   it  h a s   b ee n   tr ain ed .   R ea an d   f ic titi o u s   v i d eo s   th at  th m o d el  h as  n ev er   v ie w ed   b ef o r e   s h o u ld   b in clu d ed   in   t h v a li d atio n   s et.     B alan ce d   d ataset:  t o   p r ev en t b ias in   p er f o r m a n ce   o u tco m es,  m ak s u r t h v al id atio n   s et  c o n tain s   an   eq u a a m o u n t o f   r ea l a n d   f alse  v id eo s .     3 . 3 . 2 .   E v a lua t io m et rice s   W em p lo y   n u m b er   o f   m etr ics  to   esti m a te  th p er f o r m an ce   o f   th m o d el,   f o llo w i n g   ar th e   m etr ics .     A cc u r ac y q u a n ti f ie s   th a m o u n o f   tr u o r   f alse  p r ed ictio n s   th m o d el  co r r ec tly   p r ed icts .   I is   th e   p r o p o r tio n   o f   ac cu r ate  f o r ec as ts   to   all  f o r ec asts .     P r ec is io n c alcu late s   th p r o p o r tio n   o f   " f ak e"   v id eo s   th at  w er g en u i n el y   p r ed icted   to   b p h o n y .     T h r ec all  ( s en s iti v it y )   m etr ic  q u an ti f ie s   th p r o p o r tio n   o f   r ea l " f ak e"   f il m s   th at  w er p r o p er l y   d etec ted .     T h F1 - s co r o f f er s   b alan ce d   ass ess m en o f   m o d el's  p er f o r m a n ce   b y   co m p u ti n g   t h h a r m o n ic  m ea n   o f   p r ec is io n   an d   r ec all.     3 . 3 . 3 .   Co nfusi o m a t ri x   W ca n   ex a m in th tr u p o s itiv e s   ( T P),   tr u n eg ati v es   ( T N) ,   f alse  p o s itiv e s   ( FP ) ,   an d   f al s e   n eg at iv e s   ( FN)   b y   u s i n g   co n f u s io n   m atr i x .   W ca n   s ee   h o w   t h m o d el  is   d o i n g   f o r   ea c h   les s o n   ( w i th   b o th   ac tu al  an d   f alse  v id eo s ) .     T P a n   au th e n tic  v id eo   w a s   ac cu r atel y   p r ed icted   b y   t h m o d el.     FN:  w h e n   p h o n y   v id eo   w as  m is tak e n l y   p r ed icted   b y   th m o d el  to   b e   r ea l.     FP w h en   r ea l v id eo   w as  m is tak en l y   p r ed icted   b y   t h m o d e l to   b f a ls e.     T N:  a n   ac tu al  v id eo   w as a cc u r atel y   p r ed icted   b y   t h m o d el.   An   i n - d ep th   an a l y s is   o f   FP   an d   FN  w as  co n d u cted   to   clas s if y   co m m o n   is s u e s .   FP   o f te n   o cc u r r ed   i n   v id eo s   w it h   s u d d en   li g h tin g   c h an g es  o r   h ig h l y   d y n a m ic  b ac k g r o u n d s ,   w h ic h   w er m is cl ass i f ied   d u to   th e ir   r ese m b lan ce   to   d ee p f a k ar ti f ac ts .   FN   w er m o r p r ev a len in   ca s es   w it h   m i n i m al  m o ti o n   o r   s u b tle   f ac ial   ex p r ess io n s ,   as   th e   te m p o r al  in co n s is te n cie s   w er h ar d er   f o r   th L ST to   d etec t.  T ab l 1   s h o w s   d ataset   ch ar ac ter is tic s .       T ab le  1 .   Data s et  ch ar ac ter is tic s   D a t a se t   n a me   T o t a l   v i d e o s   R e a l   v i d e o s   F a k e   v i d e o s   R e so l u t i o n   P r i mary   man i p u l a t i o n   t e c h n i q u e s   N o t e s   F a c e F o r e n si c s++   2 , 0 0 0   1 , 0 0 0   1 , 0 0 0   7 2 0 p   D e e p f a k e ,   F a c e S w a p   W i d e l y   u se d   i n   d e t e c t i o n   b e n c h mar k s   D F D C   3 , 0 0 0   1 , 5 0 0   1 , 5 0 0   V a r i o u s   G A N - b a se d   ma n i p u l a t i o n s   I n c l u d e s c h a l l e n g i n g   r e a l - w o r l d   e x a mp l e s   C e l e b - DF   1 , 0 0 0   5 0 0   5 0 0   1 0 8 0 p   G A N - b a se d   r e e n a c t me n t   F e a t u r e s h i g h - q u a l i t y   f a k e s       4.   AL G O RI T H M :   DE E P F AK E   DE T E CT I O USI NG   R E SNE X T - 5 0   AND  L S T M   4 . 1 .     P re pro ce s s ing     R esize  ea c h   f r a m Xi  to   2 2 4 * 2 2 3   p ix els.     No r m a lize  th p i x el  v al u e s   to   r an g [ 0 , 1 ] :       =  255     ( 1 )     4 . 2 .     Sp a t ia f ea t ure  ex t ra ct i o n w it h Re s NeX t - 50   Fo r   ea ch   p r ep r o ce s s ed   f r am :     P ass     th r o u g h   la y er s   o f   co n v o l u tio n al  w i th   g r o u p ed   co n v o l u t io n s   ( ca r d in alit y   C ) :   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J   R ec o n f i g u r ab le  &   E m b ed d ed   Sy s t     I SS N:   2089 - 4864       S yn a p tic  s h ield :   fu s io n   o f R es N ex t 5 0   a n d   lo n g   s h o r t - term me mo r fo r   en h a n a ce d     ( A mit Mis h r a )   229      = (  +  )     ( 2 )     W h er e,   W k   an d   b k   ar w ei g h t s   an d   b iases   o f   o f   co n v o l u tio n al  k er n el,   a n d   g   is   t h ac ti v atio n   f u n ctio n   ( R e L U) .     Ag g r eg ate  f ea tu r m ap s   f r o m   m u ltip le  p ath s   in   R esNe x t:        =   = 1     (  +  )     ( 3 )       Ou tp u t a   2 0 4 8 - d im e n s io n al  f e atu r v ec to r   FiF _ iF i f o r   ea ch   f r a m e.     4 . 3 .     F o r m a t io n   o f   s equence   C o m b i n th f ea t u r v ec to r s   { F1 ,   F2 ,   …,   Fn in to   s eq u e n c F:       [ 1 , 2 , . . . ,  ] ,      2048     ( 4 )     4 . 4 .     T e m po ra l   f ea t ure  a na ly s is   u s ing   lo ng   s ho rt - t er m   m e m o ry   Fo r   th s eq u e n ce   F:     I n itializatio n   o f   L ST s tates:       = 0 ,    = 0     ( 5 )       Fo r   ea ch   ti m s tep   t=1 ,   2 ,   …,   n :   C o m p u te  th i n p u g ate   ( 6 ) .        =     (  [ 1 ,  ] +  )     ( 6 )     C o m p u te  th f o r g et  g ate   ( 7 ) .        =     (  [ 1 ,  ] +  )     ( 7 )     C o m p u te  th ce ll  s tate   ( 8 ) .       t =   t - 1 +   t    (   c [   t - , t ] + c )   ( 8 )     C o m p u te  th o u tp u g ate   ( 9 ) .     t =     (   [ t - 1 , t ] + o )     ( 9 )     Up d ate  th h id d en   s ta te   ( 1 0 ) .       t =    ( )     ( 1 0 )     4 . 5 .     Cla s s if ica t io n   P ass   th f in al  h id d en   s ta te  h _ " n "   to   f u ll y   co n n ec ted   la y er   ( 1 1 ) .       =      +        ( 1 1 )     A p p l y   t h So f t M a x   f u n c tio n   f o r   co m p u ti n g   clas s   p r o b ab ilit ies   ( 1 2 ) .     ( = | ) =   ( ) = / = 1 ,   = 1 , 2 , ,   ( 1 2 )     Ass i g n   th cla s s   w it h   t h h i g h est p r io r ity   ( 1 3 ) .     =      ( | )     ( 1 3 )     4 . 6 .     O utput   R etu r n   y ,   d e m o n s tr atin g   w h e th er   th v id eo   is   r ea o r   f ak e .   T h is   alg o r ith m   co m b in e s   s p atial  an d   te m p o r al  f ea tu r ex tr ac tio n   s e a m les s l y   f o r   ac cu r ate  d etec tio n .   T a b le  2   s h o w s   tr ain in g   an d   v alid atio n   ac cu r ac y   v s   ep o ch s .   Fi g u r 6   s h o w s   m o d el  ac cu r ac y .   T ab le  3   s h o w s   tr ain in g   an d   v alid atio n   lo s s   an d   Fig u r 7   s h o ws   m o d el  lo s s .   T ab le  4   s h o w s   tr ai n in g   a n d   v alid atio n   ac c u r ac y   a n d   lo s s   v s   ep o ch s .     Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 9 - 4864   I n t J   R ec o n f i g u r ab le  &   E m b ed d ed   Sy s t ,   Vo l.  15 ,   No .   1 Ma r c h   202 6 2 2 4 - 235   230   T ab le  2 .   T r ain in g   an d   v alid ati o n   ac cu r ac y   v s .   ep o ch s   Ep o c h   T r a i n i n g   a c c u r a c y   V a l i d a t i o n   a c c u r a c y   Ep o c h   T r a i n i n g   a c c u r a c y   V a l i d a t i o n   a c c u r a c y   1   0 . 6   0 . 6   11   0 . 9 5   0 . 9 4   2   0 . 6 8   0 . 6 7   12   0 . 9 6   0 . 9 4 5   3   0 . 7 5   0 . 7 3   13   0 . 9 7   0 . 9 5 5   4   0 . 8   0 . 7 8   14   0 . 9 7 5   0 . 9 6   5   0 . 8 4   0 . 8 3   15   0 . 9 8   0 . 9 6 5   6   0 . 8 7   0 . 8 6   16   0 . 9 8 5   0 . 9 7   7   0 . 9   0 . 8 8   17   0 . 9 9   0 . 9 7 5   8   0 . 9 2   0 . 9 1   18   0 . 9 9 5   0 . 9 8   9   0 . 9 3 5   0 . 9 2   19   0 . 9 9 8   0 . 9 8 5   10   0 . 9 4   0 . 9 3   20   1 . 0   0 . 9 9           Fig u r 6 .   Mo d el  ac cu r ac y       T ab le  3 .   T r ain in g   an d   v alid ati o n   lo s s   v s .   ep o ch s   Ep o c h   T r a i n i n g   l o ss   V a l i d a t i o n   l o ss   Ep o c h   T r a i n i n g   l o ss   V a l i d a t i o n   l o ss   1   0 . 6 5   0 . 6 7   11   0 . 2 1   0 . 2 3   2   0 . 6   0 . 6 1   12   0 . 1 9   0 . 2 2   3   0 . 5 4   0 . 5 6   13   0 . 1 7   0 . 2   4   0 . 4 8   0 . 5   14   0 . 1 5   0 . 1 8   5   0 . 4 2   0 . 4 5   15   0 . 1 3   0 . 1 6   6   0 . 3 7   0 . 3 9   16   0 . 1 2   0 . 1 4   7   0 . 3 3   0 . 3 5   17   0 . 1 1   0 . 1 3   8   0 . 2 9   0 . 3 2   18   0 . 1   0 . 1 1   9   0 . 2 6   0 . 2 8   19   0 . 0 9 5   0 . 1 0 5   10   0 . 2 3   0 . 2 6   20   0 . 0 9   0 . 1           Fig u r 7 .   Mo d el  lo s s   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J   R ec o n f i g u r ab le  &   E m b ed d ed   Sy s t     I SS N:   2089 - 4864       S yn a p tic  s h ield :   fu s io n   o f R es N ex t 5 0   a n d   lo n g   s h o r t - term me mo r fo r   en h a n a ce d     ( A mit Mis h r a )   231   T ab le  4 .   T r ain in g   an d   v alid ati o n   ac cu r ac y   a n d   lo s s   v s .   ep o ch s   Ep o c h   T r a i n i n g   a c c u r a c y   V a l i d a t i o n   a c c u r a c y   T r a i n i n g   l o ss   V a l i d a t i o n   l o ss   1   0 . 6   0 . 6   0 . 6 5   0 . 6 7   2   0 . 6 8   0 . 6 7   0 . 6   0 . 6 1   3   0 . 7 5   0 . 7 3   0 . 5 4   0 . 5 6   4   0 . 8   0 . 7 8   0 . 4 8   0 . 5   5   0 . 8 4   0 . 8 3   0 . 4 2   0 . 4 5   6   0 . 8 7   0 . 8 6   0 . 3 7   0 . 3 9   7   0 . 9   0 . 8 8   0 . 3 3   0 . 3 5   8   0 . 9 2   0 . 9 1   0 . 2 9   0 . 3 2   9   0 . 9 3 5   0 . 9 2   0 . 2 6   0 . 2 8   10   0 . 9 4   0 . 9 3   0 . 2 3   0 . 2 6   11   0 . 9 5   0 . 9 4   0 . 2 1   0 . 2 3   12   0 . 9 6   0 . 9 4 5   0 . 1 9   0 . 2 2   13   0 . 9 7   0 . 9 5 5   0 . 1 7   0 . 2   14   0 . 9 7 5   0 . 9 6   0 . 1 5   0 . 1 8   15   0 . 9 8   0 . 9 6 5   0 . 1 3   0 . 1 6   16   0 . 9 8 5   0 . 9 7   0 . 1 2   0 . 1 4   17   0 . 9 9   0 . 9 7 5   0 . 1 1   0 . 1 3   18   0 . 9 9 5   0 . 9 8   0 . 1   0 . 1 1   19   0 . 9 9 8   0 . 9 8 5   0 . 0 9 5   0 . 1 0 5   20   1 . 0   0 . 9 9   0 . 0 9   0 . 1       5.   CO M P ARATI VE   ANA L YS I S   5 . 1 .     Co m pa ri s o n   o f   Sy na ptic   Sh ield w it v is io n   t ra ns f o rm er s   a nd   g ra ph   neura l net w o rk s   T h Sy n ap tic  Sh ield   m o d el  in co r p o r ates  R esNeXt 5 0   f o r   th ex tr ac tio n   o f   s p atial  f ea tu r es  an d   L ST f o r   t h an a l y s is   o f   ti m e ,   th u s   r es u lti n g   i n   h ig h   e f f icie n c y   in   v id eo   f r a m e s   d ee p f ak e   d e tectio n ,   ca p tu r in g   s tatic  d etails a s   w ell  as a n o m a lies   b ased   o n   m o tio n .   T h is   h a s   g ain ed   s o   m u c h   i n ter est  o f   late  b ec au s o f   it s   n ati v m ec h an is m   o f   atte n tio n   f o r   an   i m a g e,   atten tio n   is   f o c u s ed   o n   o t h er   p ar ts   th at  ca p t u r g lo b al  d ep en d en cies  in s tead   o f   f o cu s i n g   o n   lo ca f ea t u r ex tr ac tio n   t h r o u g h   co n v o lu t io n al  la y er s   t h at  is   p la y ed   b y   tr a d itio n al  C NN s   lik R esNeX t 5 0 .   T h s tr en g t h   o f   ViT s   in clu d es  g o o d   ca p tu r in g   lo n g - r an g d ep en d en cie s   in   i m ag e s ,   an d   it  ca n   m o d el  t h e n tire   i m ag co n tex t   m o r h o li s ticall y   co m p ar ed   to   C NN s .   T h is   ac t u all y   h elp s   t h e m   d etec s u b tle  g lo b al  i n co n s is ten c ies  i n   i m a g es.   Gen er all y   s p ea k i n g ,   ViT s   r eq u ir m u c h   m o r d ata  an d   co m p u tatio n al  r eso u r ce s   to   b u s ed   f o r   h ig h - p er f o r m a n ce   tr ain i n g .   T h ey   ar n o n ec ess ar il y   m o r co m p u tatio n a ll y   e f f ic ien i n   p r o ce s s in g   te m p o r al  d ata   th an   C NN - L ST m o d els,  u n l ess   t h e y   ar s p ec if ical l y   d es ig n ed   o r   u s ed   to g et h er   w it h   R N Ns  to   p r o ce s s   v id eo   s eq u en ce s .   T ab le  5   s h o w   d if f e r en t CNN a r c h itect u r es c o m p a r is o n .       T ab le  5 .   Dif f er en C NN  ar ch i t ec tu r co m p ar is o n   C N N   a r c h i t e c t u r e   n a me   P r e c i si o n   [ P ]   R e c a l l   [ R ]     A U C   [ A U C ]   A c c u r a c y   [ A ]   F1 - sco r e   [ F 1 ]   V 6 1 9   0 . 9 1   0 . 9 7   0 . 9 8 7   0 . 9 4   0 . 9 4   V G G F A C E   0 . 9 9   0 . 9 8   0 . 9 9 8   0 . 9 9   0 . 9 9   D EN S EN ET   2 0 1   0 . 9 6   0 . 9 7   0 . 9 9 4   0 . 9 6   0 . 9 6   D EN S EN ET   1 2 1   0 . 9 9   0 . 7 0   0 . 9 7 1   0 . 9 7   0 . 8 2       6.   RE SU L T S AN D I SCU SS I O NS   6 . 1 .     Ana ly s is   o f   m o del  perf o r m a nce  o v er   co m pet it o rs   T h co u p lin g   o f   R esNeXt 5 0   w it h   L ST en s u r e s   th ca p tu r o f   f in e - g r ain ed   s p atial  f e atu r es  an d   te m p o r al  in co n s i s te n cies  s i m u ltan eo u s l y .   R e s NeX t 5 0   ef f ici en tl y   id en ti f ies  th s u b tle  ch a n g i n   th lig h ti n g   co n d itio n s ,   s k i n   to n tr an s it io n s   alo n g   w it h   f ac tex t u r es,  al o f   w h ich   ar e   cr itical  f o r   th q u alit y   o f   d ee p f a k e   d etec tio n .   L ST tr ac k s   th ca s o f   f r a m e - to - f r a m co n s i s t en c y .   I ca p tu r es  in ap p r o p r iate  f ac ial  m o v e m e n ts ,   in co n s is te n ex p r ess io n s ,   an d   m is m atc h ed   o n e’ s   in d icati v o f   m an ip u latio n s .   T h is   d u al  an al y s i s   g iv e s   m o r r o b u s t d etec tio n   ca p ab ilit y   t h a n   C NN - b ased   m o d el  t h at  is   o n l y   s p atia l f ea t u r e - b a s ed .   Si m i lar   to   m o s o th er   d ee p f a k e - d etec t io n   m o d el s ,   it  o f te n   lo s es  p er f o r m a n ce   o n ce   d ea lin g   w it h   co m p r es s ed   o r   o f   lo w   v id eo   q u alit y .   T h p r o b lem   is   o v er co m b y   t h S y n ap tic  S h ie ld   s in ce   its   ad v a n ce d   f ea t u r ex tr ac tio n   an d   s eq u e n t ial  an al y s is   e n s u r th p er f o r m an ce   at  g r ea ac cu r ac y .   T h u s ,   it  ca n   b ap p lied   f o r   r ea ap p licatio n s   co n ce r n in g   th v id eo   q u alit y   li k u p lo ad s   f o r   s o cial  m ed ia  o r   s u r v eil lan ce   v id eo s .   Stan d ar d   ev alu a tio n   d ataset s   o f   th Dee p f a k d etec tio n   c h all en g e,   i n clu d i n g   DFD C   an d   C e leb - DF,  co n tai n i n g   d ee p f ak es  o f   d if f er en lev els  o f   co m p le x it y ,   ar u s ed   f o r   test in g   th m o d el.   T h ac cu r ac y   o f   Sy n ap tic  S h ield   r e m ain s   w e ll  o v er   9 5 %,  esp e ciall y   th r o u g h   th ab ilit y   to   g en e r alize   o v er   th v ar io u s   m e th o d s   o f   d ee p f ak g en er atio n .   He n ce ,   its   p er f o r m an ce   d if f er s   f r o m   th e   o v er - s p ec ialized   m o d els  t h at  ca n   o n l y   o v er f it  a   s p ec i f ic   t y p o f   d ee p f ak a n d   n o t b ef f ec ti v w h e n   f ac in g   o th er   s c h e m es.   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 9 - 4864   I n t J   R ec o n f i g u r ab le  &   E m b ed d ed   Sy s t ,   Vo l.  15 ,   No .   1 Ma r c h   202 6 2 2 4 - 235   232   7.   F UT UR E   SCO P E   T h f u t u r s co p o f   r esea r ch   in   d ee p f a k d etec tio n   w o u ld   b to   ex ten d   th ca p ab ilit ies  o f   cu r r en t   m o d el s   i n   h a n d li n g   al l t y p e s   o f   d ee p f a k es,  i n clu d i n g   au d io - v is u al  o n es.  T h ap p r o ac h   d ev elo p ed   h er is   b ased   o n   v i s u a l i n co n s is te n cies,  w h e r ea s   th in te g r atio n   o f   a u d io   an al y s i s   i n to   th e   s y s te m   w o u ld   g r ea tl y   en h a n ce   t h e   s ch e m f o r   id en ti f y in g   m a n i p u lated   m ater ial.   T h is   m a y   i n clu d s p ee ch   r ec o g n itio n   an d   NL P   m et h o d s   to   d etec lip   m o tio n - au d io   as y n c h r o n is m   o r   s y n t h etic  v o ice  p atter n s .   F u t u r m o d els  w ill  t h en   in te g r ate  m u lti - m o d al  a n al y s i s ,   en ab li n g   e f f e ctiv d etec tio n   o f   d ee p f a k es  w h ic h   r esu l in   m a n ip u lat io n   o f   v id eo   an d   au d io ,   h en ce   g en er all y   i n cr ea s i n g   t h ac cu r ac y   an d   r o b u s t n es s .   I m p r o v ed   ar ch itect u r es  o f   n e u r al  n et w o r k s ,   s u c h   as   T r an s f o r m er s ,   m a y   o u tp er f o r m   tr ad itio n al  R NN s   in   ca p tu r i n g   m o r s u b tle  lo n g - r an g d ep en d en cie s   an d   s lig h t   te m p o r al  d ep en d en cies  b et w ee n   f r a m es.  L ig h t w ei g h v er s io n s   o f   s u c h   m o d els  ca n   b d er iv ed   f o r   ea s y   d ep lo y m en t   as  b r o w s er   p lu g i n s   o r   m o b ile  ap p licatio n s   an d   t h r o u g h   e m b ed d in g   w it h i n   s o ci al  m ed ia  p lat f o r m s   fo r   r ea l - ti m e   d ee p f ak e   d etec ti o n   at  t h u s er   le v el.   C o n tin u o u s   lear n i n g   an d   ad j u s t in g   to   n e w   d ee p f ak e s   w il also   b in ev itab le  o v er   ti m e   as  d ee p f ak e s   g e n er atio n   te ch n iq u es  i m p r o v e.   Fo r   ex a m p le,   w o r k   m a y   b in v e s ti g ated   in   ad v er s ar ial  tr ain in g   an d   r ein f o r ce m e n lear n i n g   ap p licatio n s   i n   d esig n i n g   m o d el s   th at  ar n o o n l y   r esil ien to   c u r r en t h r ea ts   b u also   ad ap tiv w it h   r esp e ct  to   b r ea k th r o u g h s   i n   f u t u r d ee p f ak g e n er atio n   tech n o lo g ies.       8.   CO NCLU SI O N   W ith   t h i n tr o d u ctio n   o f   t h is   r o b u s D L   f r a m e w o r k ,   t h ar ticle  co n c lu d es  b y   p r o p o s in g   a n   in v e s ti g atio n   b ased   o n   th co m b in at io n   o f   C NNs  an d   R NN s   f o r   h ig h er   ac cu r ac y   i n   d ee p f ak v id eo   d etec tio n .   Ou r   p r o p o s ed   s y s te m   ca p tu r e s   s u b tle  s p atial  a n d   te m p o r al  in co n s is te n cie s   s p ec i f ic  to   a   d ee p f ak v id eo   b y   co m b i n i n g   t h u s o f   th R e s Nex C NN  f o r   f r a m e - lev el  f e atu r ex tr ac tio n   co u p led   w it h   an   L ST n et w o r k   f o r   th a n al y s is   o f   th te m p o r al  in s ta n ce s .   T h is   is   co n f ir m ed   b y   w id test i n g   o f   o u r   m et h o d   o n   v ar io u s   d atasets ;   i n   f ac t,  o u r   m et h o d   o u tp er f o r m ed   tr ad itio n al  d et ec tio n   m o d els  a n d   ca n   b ec o m r eliab le  an d   s ca lab le  s o l u tio n   f o r   d etec ti n g   m a n ip u lated   m ed ia.   T h is   w o r k   d ea ls   w ith   t h u r g en t n ee d   f o r   cr ea tin g   e f f ec ti v e   d ee p f ak e - d etec t io n   to o ls   th a t a r v er y   i m p o r tan t to   th au t h e n ticit y   an d   tr u s t w o r t h in e s s   o f   d ig ital c o n te n t.       F UNDIN G   I NF O RM AT I O N   T h is   r esear ch   d id   n o r ec eiv an y   s p ec if ic  g r an f r o m   f u n d in g   ag e n cie s   in   t h p u b lic,   co m m er cial,   o r   n o t - f o r - p r o f it  s ec to r s .       AUTHO CO NT RIB UT I O NS ST A T E M E NT   T h is   jo u r n al   u s e s   t h C o n tr ib u to r   R o les  T ax o n o m y   ( C R ed iT )   t o   r ec o g n ize  in d i v id u al  au t h o r   co n tr ib u tio n s ,   r ed u ce   au t h o r s h ip   d is p u tes,  an d   f ac ilit ate  co lla b o r atio n .     Na m o f   Aut ho r   C   M   So   Va   Fo   I   R   D   O   E   Vi   Su   P   Fu   Am it M i s h r a                               P r a j w a C h i n c h m alatp u r e                               Go v in d B .   Sa m b ar e                               Vio m es h   K u m ar   S in g h                               A t u l G u lab r ao   P aw ar                               R ah u l P r ak as h   Mir aj k ar                               P r iy a n k K.   T ak alk ar                               Ku ld ee p   Va y ad an d e                                 C     C o n c e p t u a l i z a t i o n   M     M e t h o d o l o g y   So     So f t w a r e   Va     Va l i d a t i o n   Fo     Fo r mal   a n a l y si s   I     I n v e st i g a t i o n   R     R e so u r c e s   D   :   D a t a   C u r a t i o n   O   :   W r i t i n g   -   O r i g i n a l   D r a f t   E   :   W r i t i n g   -   R e v i e w   &   E d i t i n g   Vi     Vi su a l i z a t i o n   Su     Su p e r v i si o n   P     P r o j e c t   a d mi n i st r a t i o n   Fu     Fu n d i n g   a c q u i si t i o n         CO NF L I C T   O F   I N T E R E S T   ST A T E M E NT   Au t h o r s   s tate  n o   co n f lic t o f   i n t er est.   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J   R ec o n f i g u r ab le  &   E m b ed d ed   Sy s t     I SS N:   2089 - 4864       S yn a p tic  s h ield :   fu s io n   o f R es N ex t 5 0   a n d   lo n g   s h o r t - term me mo r fo r   en h a n a ce d     ( A mit Mis h r a )   233   DATA AV AI L AB I L I T Y   T h d atasets   u s ed   in   th is   s t u d y   ar p u b licl y   av ailab le  an d   ca n   b e   ac ce s s ed   f r o m   t h eir   r esp ec tiv s o u r ce s .       RE F E R E NC E S   [ 1 ]   D .   L i u ,   Z .   Y a n g ,   R .   Z h a n g ,   a n d   J .   L i u ,   A   R o b u st   D e e p f a k e   V i d e o   D e t e c t i o n   M e t h o d   b a se d   o n   C o n t i n u o u F r a me   F a c e - sw a p p i n g ,   i n   2 0 2 2   I n t e rn a t i o n a l   C o n f e re n c e   o n   Art i f i c i a l   I n t e l l i g e n c e ,   I n f o rm a t i o n   Pro c e ss i n g   a n d   C l o u d   C o m p u t i n g   ( AI I P C C ) K u n mi n g ,   C h i n a :   I EEE,   A u g .   2 0 2 2 ,   p p .   1 8 8 1 9 1 ,   d o i :   1 0 . 1 1 0 9 / A I I P C C 5 7 2 9 1 . 2 0 2 2 . 0 0 0 4 8 .   [ 2 ]   R .   Z h a n g ,   Z .   Ji a n g ,   a n d   C .   S u n ,   Tw o - B r a n c h   D e e p f a k e   D e t e c t i o n   N e t w o r k   B a se d   o n   I mp r o v e d   X c e p t i o n ,   i n   2 0 2 3   I EEE   I n t e r n a t i o n a l   C o n f e r e n c e   o n   E l e c t ri c a l ,   A u t o m a t i o n   a n d   C o m p u t e r   En g i n e e ri n g   ( I C EA C E) ,   C h a n g c h u n ,   C h i n a :   I EEE,   D e c .   2 0 2 3 ,   p p .   2 2 7 231 ,   d o i :   1 0 . 1 1 0 9 / I C E A C E6 0 6 7 3 . 2 0 2 3 . 1 0 4 4 2 7 1 6 .   [ 3 ]   Á .   F .   G a mb í n ,   A .   Y a z i d i ,   A .   V a si l a k o s,   H .   H a u g e r u d ,   a n d   Y .   D j e n o u r i ,   D e e p f a k e s:   c u r r e n t   a n d   f u t u r e   t r e n d s,”   Ar t i f i c i a l   I n t e l l i g e n c e   Re v i e w ,   v o l .   5 7 ,   n o .   3 ,   p .   6 4 ,   F e b .   2 0 2 4 ,   d o i :   1 0 . 1 0 0 7 / s 1 0 4 6 2 - 0 2 3 - 1 0 6 7 9 - x.   [ 4 ]   E.   K i a n d   S .   C h o ,   Ex p o si n g   F a k e   F a c e t h r o u g h   D e e p   N e u r a l   N e t w o r k C o mb i n i n g   C o n t e n t   a n d   T r a c e   F e a t u r e   Ex t r a c t o r s,   I EEE  A c c e ss ,   v o l .   9 ,   p p .   1 2 3 4 9 3 1 2 3 5 0 3 ,   2 0 2 1 ,   d o i :   1 0 . 1 1 0 9 / A C C ESS . 2 0 2 1 . 3 1 1 0 8 5 9 .   [ 5 ]   Y .   L i   a n d   S .   L y u ,   Ex p o si n g   D e e p F a k e   V i d e o B y   D e t e c t i n g   F a c e   W a r p i n g   A r t i f a c t s,   i n   Pr o c .   I EE C o n f e re n c e   o n   C o m p u t e r   Vi si o n   a n d   Pa t t e rn   Re c o g n i t i o n   W o rk sh o p s ( C VP RW ) ,   L o n g   B e a c h ,   C A ,   U S A ,   2 0 1 9 ,   p p .   4 6 5 2 .   [ 6 ]   S .   T h a se e n   I k r a m,  P .   V ,   S .   C h a mb i a l ,   D .   S o o d ,   a n d   A .   V ,   A   P e r f o r man c e   E n h a n c e me n t   o f   D e e p f a k e   V i d e o   D e t e c t i o n   t h r o u g h   t h e   u se   o f   a   H y b r i d   C N N   D e e p   L e a r n i n g   M o d e l ,   I n t e rn a t i o n a l   J o u r n a l   o f   E l e c t ri c a l   a n d   C o m p u t e r   E n g i n e e r i n g   S y st e m s ,   v o l .   1 4 ,   n o .   2 ,   p p .   1 6 9 1 7 8 ,   2 0 2 3 ,   d o i :   1 0 . 3 2 9 8 5 / i j e c e s.1 4 . 2 . 6 .   [ 7 ]   D .   M .   M o n t se r r a t   e t   a l . ,   D e e p f a k e d e t e c t i o n   w i t h   a u t o m a t i c   f a c e   w e i g h t i n g ,   i n   Pro c e e d i n g o f   t h e   I EEE / C V C o n f e re n c e   o n   C o m p u t e Vi s i o n   a n d   Pa t t e rn   Re c o g n i t i o n   Wo r k sh o p s ,   S e a t t l e ,   W A ,   U S A ,   2 0 2 0 ,   p p .   2 8 5 1 2 8 5 9 ,   d o i :   1 0 . 1 1 0 9 / C V P R W 5 0 4 9 8 . 2 0 2 0 . 0 0 3 4 2 .   [ 8 ]   D .   W o d a j o   a n d   S .   A t n a f u ,   D e e p f a k e   V i d e o   D e t e c t i o n   U s i n g   C o n v o l u t i o n a l   V i si o n   T r a n sf o r me r ,   a rX i v   p r e p ri n t 2 0 2 1 ,   d o i :   1 0 . 4 8 5 5 0 / a r X i v . 2 1 0 2 . 1 1 1 2 6 .   [ 9 ]   D .   W o d a j o ,   S .   A t n a f u ,   a n d   Z .   A k h t a r ,   D e e p f a k e   V i d e o   D e t e c t i o n   U si n g   G e n e r a t i v e   C o n v o l u t i o n a l   V i si o n   T r a n sf o r me r ,   a r Xi v   p re p ri n t ,   2 0 2 3 ,   d o i :   1 0 . 4 8 5 5 0 / a r X i v . 2 3 0 7 . 0 7 0 3 6 .   [ 1 0 ]   Y .   L i ,   M . - C .   C h a n g ,   a n d   S .   L y u ,   I n   I c t u   O c u l i :   Ex p o si n g   A I   C r e a t e d   F a k e   V i d e o b y   D e t e c t i n g   Ey e   B l i n k i n g ,   i n   2 0 1 8   I EE E   I n t e r n a t i o n a l   W o rks h o p   o n   I n f o rm a t i o n   Fo r e n s i c s   a n d   S e c u r i t y   ( WIFS ) ,   I EEE,   D e c .   2 0 1 8 ,   p p .   1 7 ,   d o i :   1 0 . 1 1 0 9 / W I F S . 2 0 1 8 . 8 6 3 0 7 8 7 .   [ 1 1 ]   L .   L i   e t   a l . ,   F a c e   X - r a y   f o r   mo r e   g e n e r a l   f a c e   f o r g e r y   d e t e c t i o n ,   i n   Pr o c e e d i n g s   o f   t h e   I E EE/ C V C o n f e re n c e   o n   C o m p u t e r   Vi si o n   a n d   Pa t t e rn   Re c o g n i t i o n ,   S e a t t l e ,   W A ,   U S A ,   2 0 2 0 ,   p p .   5 0 0 1 5 0 1 0 ,   d o i :   1 0 . 1 1 0 9 / C V P R 4 2 6 0 0 . 2 0 2 0 . 0 0 5 0 5 .   [ 1 2 ]   X .   Y a n g ,   Y .   L i ,   a n d   S .   L y u ,   Ex p o si n g   D e e p   F a k e U si n g   I n c o n si s t e n t   H e a d   P o se s,”   i n   I C A S S 2 0 1 9 - 2 0 1 9   I E EE  I n t e r n a t i o n a l   C o n f e re n c e   o n   Ac o u st i c s S p e e c h   a n d   S i g n a l   Pr o c e ssi n g   ( I C AS S P) ,   B r i g h t o n ,   U n i t e d   K i n g d o m,  2 0 1 9 ,   p p .   8 2 6 1 8 2 6 5 ,   d o i :   1 0 . 1 1 0 9 / I C A S S P . 2 0 1 9 . 8 6 8 3 1 6 4 .   [ 1 3 ]   D .   A f c h a r ,   V .   N o z i c k ,   J.   Y a m a g i sh i ,   a n d   I .   Ec h i z e n ,   M e so N e t :   A   c o mp a c t   f a c i a l   v i d e o   f o r g e r y   d e t e c t i o n   n e t w o r k ,   i n   2 0 1 8   I EEE   I n t e r n a t i o n a l   Wo r k s h o p   o n   I n f o r m a t i o n   F o re n s i c a n d   S e c u r i t y   ( WIFS ) ,   H o n g   K o n g ,   C h i n a ,   2 0 1 8 ,   p p .   1 7 ,   d o i :   1 0 . 1 1 0 9 / W I F S . 2 0 1 8 . 8 6 3 0 7 6 1 .   [ 1 4 ]   D .   G u e r a   a n d   E .   J .   D e l p ,   D e e p f a k e   V i d e o   D e t e c t i o n   U s i n g   R e c u r r e n t   N e u r a l   N e t w o r k s,”   i n   2 0 1 8   1 5 t h   I E EE  I n t e rn a t i o n a l   C o n f e re n c e   o n   A d v a n c e d   Vi d e o   a n d   S i g n a l   B a se d   S u r v e i l l a n c e   ( AV S S ) ,   A u c k l a n d ,   N e w   Ze a l a n d ,   2 0 1 8 ,   p p .   1 6 ,   d o i :   1 0 . 1 1 0 9 / A V S S . 2 0 1 8 . 8 6 3 9 1 6 3 .   [ 1 5 ]   S .   B e n   Ja b e u r ,   H .   B a l l o u k ,   W .   B e n   A r f i ,   a n d   J.  M .   S a h u t ,   A r t i f i c i a l   i n t e l l i g e n c e   a p p l i c a t i o n i n   f a k e   r e v i e w   d e t e c t i o n :   B i b l i o me t r i c   a n a l y si a n d   f u t u r e   a v e n u e f o r   r e s e a r c h ,   J o u r n a l   o f   Bu si n e ss  R e se a rc h ,   v o l .   1 5 8 ,   p .   1 1 3 6 3 1 ,   2 0 2 3 ,   d o i :   1 0 . 1 0 1 6 / j . j b u sr e s. 2 0 2 2 . 1 1 3 6 3 1 .   [ 1 6 ]   S .   S h e i k h i ,   A n   e f f e c t i v e   f a k e   n e w d e t e c t i o n   me t h o d   u si n g   W O A - x g b T r e e   a l g o r i t h a n d   c o n t e n t - b a se d   f e a t u r e s,”   Ap p l i e d   S o f t   C o m p u t i n g ,   v o l .   1 0 9 ,   p .   1 0 7 5 5 9 ,   2 0 2 1 ,   d o i :   1 0 . 1 0 1 6 / j . a so c . 2 0 2 1 . 1 0 7 5 5 9 .   [ 1 7 ]   M .   J.   S o n a w a n e ,   S .   S .   M u n d h e ,   K .   S .   G a i k w a d ,   S .   M .   S a t h e ,   a n d   Y .   D .   Ja d h a v ,   D e e p f a k e   V i d e o   D e t e c t i o n   u s i n g   M a c h i n e   L e a r n i n g ,   I n t e rn a t i o n a l   J o u r n a l   o f   Ad v a n c e d   Re se a r c h   i n   S c i e n c e   C o m m u n i c a t i o n   a n d   T e c h n o l o g y v o l .   4 ,   n o .   2,   p p .   2 0 2 4 ,   2 0 2 4 ,   d o i :   1 0 . 4 8 1 7 5 / i j a r sct - 2 2 1 0 3 .   [ 1 8 ]   R .   O a k ,   D e t e c t i n g   r e v i e w   f r a u d   u si n g   me t a h e u r i s t i c   g r a p h   n e u r a l   n e t w o r k s,”   I n t e r n a t i o n a l   J o u r n a l   o f   I n f o rm a t i o n   T e c h n o l o g y   ( S i n g a p o r e ) ,   v o l .   1 6 ,   n o .   7 ,   p p .   4 0 1 9 4 0 2 5 ,   2 0 2 4 ,   d o i :   1 0 . 1 0 0 7 / s 4 1 8 7 0 - 0 2 4 - 0 1 8 9 6 - w.   [ 1 9 ]   A .   I q b a l ,   M .   A .   R a u f ,   M .   Z u b a i r ,   a n d   T .   Y o u n i s ,   A n   Ef f i c i e n t   E n se mb l e   a p p r o a c h   f o r   F a k e   R e v i e w D e t e c t i o n ,   i n   2 0 2 3   3 r d   I n t e r n a t i o n a l   C o n f e re n c e   o n   Art i f i c i a l   I n t e l l i g e n c e   ( I C AI ) ,   I s l a mab a d ,   P a k i st a n ,   2 0 2 3 ,   p p .   7 0 75 ,   d o i :   1 0 . 1 1 0 9 / I C A I 5 8 4 0 7 . 2 0 2 3 . 1 0 1 3 6 6 5 2 .   [ 2 0 ]   S .   L a i ,   J.  W u ,   C .   Y e ,   a n d   Z .   M a ,   U C F - P K S :   U n f o r e see n   C o n s u me r   F r a u d   D e t e c t i o n   w i t h   P r i o r   K n o w l e d g e   a n d   S e ma n t i c   F e a t u r e s,”   I EEE   T r a n s a c t i o n o n   C o m p u t a t i o n a l   S o c i a l   S y st e m s ,   v o l .   1 1 ,   n o .   4 ,   p p .   5 4 5 4 5 4 6 7 ,   2 0 2 4 ,   d o i :   1 0 . 1 1 0 9 / T C S S . 2 0 2 4 . 3 3 7 2 5 1 9 .   [ 2 1 ]   I .   D .   M i e n y e   a n d   N .   Je r e ,   D e e p   L e a r n i n g   f o r   C r e d i t   C a r d   F r a u d   D e t e c t i o n :   A   R e v i e w   o f   A l g o r i t h ms,  C h a l l e n g e s ,   a n d   S o l u t i o n s ,   I EEE  A c c e ss ,   v o l .   1 2 ,   p p .   9 6 8 9 3 9 6 9 1 0 ,   2 0 2 4 ,   d o i :   1 0 . 1 1 0 9 / A C C ESS . 2 0 2 4 . 3 4 2 6 9 5 5 .   [ 2 2 ]   G .   A a b i t o v a ,   M .   A b a l k a n o v ,   G .   A .   A b i t o v a ,   G .   S h u t e y e v a ,   E.   A i t m u k h a n b e t o v a ,   a n d   K .   K u l n i y a z o v a ,   R e v i e w   o f   C l o u d   A I   f o r   R e a l - T i me   F r a u d   D e t e c t i o n ,   i n   2 0 2 4   1 0 t h   I n t e rn a t i o n a l   C o n f e re n c e   o n   A u t o m a t i o n ,   R o b o t i c s   a n d   A p p l i c a t i o n s   ( I C ARA) ,   A t h e n s ,   G r e e c e ,   2 0 2 4 ,   p p .   4 5 4 4 6 0 d o i :   1 0 . 1 1 0 9 / I C A R A 6 0 7 3 6 . 2 0 2 4 . 1 0 5 5 3 1 4 9 .   [ 2 3 ]   W .   H a o ,   W .   Z h a n g ,   a n d   H .   J i n ,   S A G E - N e t :   Emp l o y i n g   S p a t i a l   A t t e n t i o n   a n d   G e o m e t r i c   En c o d i n g   f o r   P o i n t   C l o u d   B a se d   P l a c e   R e c o g n i t i o n ,   I E EE  R o b o t i c a n d   Au t o m a t i o n   L e t t e rs ,   v o l .   9 ,   n o .   6 ,   p p .   4 9 5 8 4 9 6 5 ,   2 0 2 4 ,   d o i :   1 0 . 1 1 0 9 / L R A . 2 0 2 4 . 3 3 8 7 1 1 2 .   [ 2 4 ]   Z .   W u   a n d   I .   S a v i d i s,  C o mp a r a t i v e   A n a l y si o f   G r a p h   I so mo r p h i sm  a n d   G r a p h   N e u r a l   N e t w o r k f o r   A n a l o g   H i e r a r c h y   L a b e l i n g ,   i n   2 0 2 4   2 5 t h   I n t e r n a t i o n a l   S y m p o s i u m   o n   Q u a l i t y   El e c t r o n i c   D e si g n   ( I S Q ED ) ,   S a n   F r a n c i sco ,   C A ,   U S A ,   2 0 2 4 ,   p p .   1 7 ,   d o i :   1 0 . 1 1 0 9 / I S Q ED 6 0 7 0 6 . 2 0 2 4 . 1 0 5 2 8 7 4 9 .   [ 2 5 ]   S .   T a n g ,   L .   Ji n ,   a n d   F .   C h e n g ,   F r a u d   D e t e c t i o n   i n   O n l i n e   P r o d u c t   R e v i e w   S y st e ms v i a   H e t e r o g e n e o u s G r a p h   T r a n sf o r me r ,   I EEE   Ac c e ss ,   v o l .   9 ,   p p .   1 6 7 3 6 4 1 6 7 3 7 3 ,   2 0 2 1 ,   d o i :   1 0 . 1 1 0 9 / A C C ESS . 2 0 2 1 . 3 0 8 4 9 2 4 .       Evaluation Warning : The document was created with Spire.PDF for Python.