I nd o ne s ia n J o urna l o f   E lect rica l En g ineering   a nd   Co m pu t er   Science   Vo l.   36 ,   No .   2 ,  N o v em b e r   20 24 ,   p p .   1 1 1 4 ~1 126   I SS N:  2 502 - 4 7 52 ,   DOI : 1 0 . 1 1 5 9 1 /ijee cs .v 36. i 2 . p p 1 1 1 4 - 1 1 2 6          1114     J o ur na l ho m ep a g e :  h ttp : //ij ee cs . ia esco r e. co m   Dete c tion o f  co lo r iza tion ba sed ima g e f o rg eries using   co nv o lutiona l auto enco der met ho d       So um y a s hree   M ura lid ha r   P a ncha l 1 ,  Ash a   K et ha g a na ha lli   H a nu m a ntha ia h 2 ,     B ind us hree   Cha nn a ba s a v a ra j u Do dd a s idd a v a na ha lli 3 ,   M a nju   M o re   E s hwa r  Ra o 4 ,     Am bik a   B elek er e   J a y a r a m u 1   1 D e p a r t me n t   o f   C o m p u t e r   S c i e n c e   a n d   E n g i n e e r i n g ,   M a n i p a l   I n st i t u t e   o f   T e c h n o l o g y   B e n g a l u r u ,    M a n i p a l   A c a d e m y   o f   H i g h e r   E d u c a t i o n ,   M a n i p a l ,   I n d i a   2 D e p a r t me n t   o f   C o m p u t e r   S c i e n c e   a n d   E n g i n e e r i n g ,   D o n   B o sc o   I n st i t u t e   o f   T e c h n o l o g y ,   B e n g a l u r u ,   I n d i a   3 D e p a r t me n t   o f   C o m p u t e r   S c i e n c e   a n d   E n g i n e e r i n g ,   R EV A   U n i v e r si t y ,   B e n g a l u r u ,   I n d i a   4 D e p a r t me n t   o f   C o m p u t e r   S c i e n c e   a n d   E n g i n e e r i n g ,   P ES U n i v e r s i t y ,   B e n g a l u r u ,   I n d i a       Art icle  I nfo     AB S T RAC T   A r ticle  his to r y:   R ec eiv ed   Mar   15 ,   2 0 2 4   R ev is ed   J u l   26 ,   2 0 2 4   Acc ep ted   J u l   29 ,   2 0 2 4       Re c e n tl y ,   i t  h a s  b e c o m e   d iffi c u lt   to   re c o g n ize   a n d   e a sie r  t o   m isu se   d ig i tal  ima g e s  d u e   to   t h e   larg e   n u m b e r  o f  e d i ti n g   t o o ls  a v a il a b le.   De tec ti n g   fo rg e ries   in   ima g e s  is  c ru c ial  fo r   se c u rit y   a n d   f o re n sic   p u rp o se s.  Th e re fo re ,   th is  re se a rc h   imp lem e n ts  a   d e e p   l e a rn i n g   (DL)  m e th o d   o f   c o n v o l u ti o n a l  a u to e n c o d e r  (CAE)  wh ic h   imp ro v e s  c o lo riza ti o n - b a se d   ima g e   fo rg e r y   d e tec ti o n   b y   lev e ra g in g   sp a ti a l   a n d   c o l o r   in f o rm a ti o n ,   in c re a sin g   th e   d e tec ti o n   a c c u ra c y .   At  first,   th e   p re - p ro c e ss e d   in p u t  f o r g e ry   ima g e s  a re   u se d   with   t h e   wie n e r   fil teri n g - c o n tras t  re stricte d   imp ro v e d   h ist o g ra m   e q u a li z a ti o n   (W E - CLAHE)  tec h n i q u e .   H y b ri d   d u a l - tree   c o m p lex   wa v e let  tri g o n o m e tri c   tran sfo rm   (H‑D TCW T)  a n d   VG G - 1 6   a re   u se d   t o   e x trac t  e ffe c ti v e   fe a tu re s  fro m   th e   c l u ste re d   d a ta.  Im p r o v e d   h o rse   h e rd   o p ti m iza ti o n   (IHH )  is  e m p lo y e d   t o   re d u c e   th e   d ime n si o n a li ty   o f  a   fe a tu re .   At  las t,   t h e   C AE  m o d e l  is i m p lem e n ted   to   si g n ifi c a n tl y   re c o g n ize   th e   ima g e   fo rg e ry .   Th e   a c c u ra c y   o f  CASIA  V1   a n d   G RIP   d a tas e ts  o f  9 9 . 9 5 %   a n d   9 9 . 9 7 % ,   re sp e c ti v e ly   is   a c h iev e d .   He n c e ,   th is  imp lem e n t e d   m e th o d   o b tai n s  a   h ig h   fo r g e ry   d e tec ti o n   p e rfo rm a n c e   th a n   th e   e x ist in g   m e th o d s.   K ey w o r d s :   B lin d   f o r g er y   d etec tio n   C o n v o lu tio n al  a u to en co d er   Dee p   lear n in g   Dig ital im ag es   I m ag e  f o r g er y   T h is i s  a n   o p e n   a c c e ss   a rticle   u n d e r th e   CC B Y - SA   li c e n se .     C o r r e s p o nd ing   A uth o r :   Am b ik a  B elek er e  J ay ar am u   Dep ar tm en t o f   C o m p u ter   Scie n ce   an d   E n g in ee r in g ,   M a n ip al   I n s titu te  o f   T ec h n o lo g y   B en g alu r u   Ma n ip al  Aca d em y   o f   Hig h e r   E d u ca tio n   Man ip al,   5 7 6 1 0 4 ,   Kar n ata k a,   I n d ia   E m ail: a m b ik a. b j@ m an ip al. ed u       1.   I NT RO D UCT I O N   C o p y - m o v e   f o r g er y   ( C MF)   is   a  p r ev alen t  tech n iq u e  em p l o y ed   in   im a g e  m an ip u latio n ,   aim ed   at  d ec eiv in g   v iewe r s .   I ts   p r im ar y   o b jectiv e  is   to   eith er   d r aw  atten tio n   to   ce r tain   elem en ts   o r   co n ce al  s p ec i f ic   in f o r m atio n   with in   an   im ag e   [ 1 ] .   As  th e  r ep ea ted   s ec tio n s   ar e  tak en   f r o m   th e  s am e  im ag e,   th ey   s h ar e  m an y   attr ib u tes  s u ch   as  c o lo r   p atter n s ,   n o is e  lev els  a n d   d y n a m ic  r an g es.  B ec au s e  th ese  r ep ea ti n g   p o r tio n s   b en d - in   with   th e  r est  o f   th e  im ag e,   it  b ec o m es  ch allen g in g   f o r   h u m a n s   to   d if f er en t iate  b etwe en   t h e   d u p licate  p ar ts   an d   th e  o r ig in al  im ag e  [ 2 ] ,  [ 3 ] .   Sp licin g ,   r eto u ch in g   an d   co p y - m o v e  ar e  th e  m o s t  p o p u lar   m et h o d s   u s ed   in   im ag e   f o r g er ies.  A  s ec tio n   o f   an   im ag e  is   p asted   an d   co p ied   to   a  n ew  p o s itio n   in   th e  C M F [ 4 ] .   T h is   ap p r o ac h   r ep ea ts   so m e  elem en ts   th at  ar e  clea r   f r o m   th e  im a g e  b y   u s in g   n o is e,   co lo r ,   co n tr ast  o r   o t h er   f ac to r s .   As  a  co n s eq u en ce ,   it  b ec o m es  in cr ea s in g ly   d if f icu lt  to   d etec t  o th er   ty p es  o f   f o r g er ies  s u ch   as  s p licin g   an d   r eto u ch in g   [ 5 ] ,  [ 6 ] .   I t  is   h e n ce   n ec ess ar y   to   a p p ly   ce r t a in   p r o ce s s in g   tech n iq u es  lik e  r o tatio n ,   s ca lin g ,   Evaluation Warning : The document was created with Spire.PDF for Python.
I n d o n esian   J   E lec  E n g   &   C o m p   Sci     I SS N:   2 5 0 2 - 4 7 52       Dete ctio n   o f c o lo r iz a tio n   b a s ed   ima g e  fo r g eries   u s in g   co n v o lu tio n a l  … ( S o u mya s h r ee   Mu r a lid h a r   P a n ch a l )   1115   d o wn s am p lin g ,   J PEG  co m p r e s s io n   an d   n o is e  ad d itio n   t o   i n cr ea s e  tr u s t  in   co p y - m o v e  a lter ed   im ag es.  T h is   wo r k   f o c u s es  o n   co p y - m o v e  f o r g er y   d etec tio n   ( C MFD )   m eth o d s   as  im ag e  C MF   d etec ti o n   is   a  ch allen g in g   is s u e   [7 ] ,  [ 8 ] .   Sin ce   J PEG  f o r m at  is   u s ed   b y   a   m ajo r ity   o f   d ig ital  ca m er as  an d   i m ag e  p r o ce s s in g   s o f twar e  to   en co d e  d ig ital  im ag es,  it  is   cr u cial  to   d etec t  th e  c o m p r es s in g   h is to r y   o f   J PEG  im ag es .   Ad d itio n ally ,   th e   co m p r ess io n   h is to r y   o f   an   im ag e  r ev ea ls   p o ten tial   ch a n g es  in   a  p ar ticu lar   J PEG  im ag e  [ 9 ] ,  [ 1 0 ] .   C o p y - p aste   an d   s p licin g /im ag e   co m p o s ite  ar e  th e   two   f o r g er ies  th at  t y p ically   af f ec t  d ig ital  im ag er y .   T o   id e n tify   c o p y - p aste  f o r g er ies,  ex is tin g   ac ad em ics  p r o v id e  m an y   tech n iq u es  th at  all  f o llo w  an   ea s y   p r o ce d u r e  o f   f ea tu r e   ex tr ac tio n   an d   f ea tu r e  v ec to r   co m p ar is o n .   H o wev er ,   im a g e   s p licin g   p r o v i d es  s o m e  in h er en t  alliter atio n s   to   th e  im ag es th at  in cr ea s e  v ar iat io n s   alr ea d y   p r esen t.    An y   f o r g er y   d etec tio n   m et h o d ’ s   m ain   o b jectiv e  is   to   id e n tify   th ese  in co n s is ten cies   in   th e  im ag es  [ 1 1 ] .   I t is ea s y   to   p r o d u ce   f ak e   im ag es with o u t le av in g   a   r ac e   with   h elp   o f   a n   im ag e  e d itin g   s o f twar e,   wh ich   is   av ailab le  f o r   f r ee   in   th e  m ar k et.   T h ese  elem en ts   h av e  in cr ea s ed   th e  tr u s t  is s u e  r eg ar d in g   th e  r eliab ilit y   o f   d ig ital  im ag es  in   r e ce n t  y ea r s .   T h er ef o r e,   th er e   is   a  co n s t an tly   in cr ea s in g   n ee d   f o r   ef f i cien t  d ig ital  im ag e   f o r g er y   d etec tio n   m eth o d s   [ 1 2 ] ,  [ 1 3 ] .   T h e  p r o ce s s   o f   p r o d u cin g   C MT I F  in clu d es   p asti n g   an d   c o p y i n g   a   s ec tio n   o f   th e  im ag e  a n d   th e n   p o s t - p r o ce s s in g   th e  r esu ltan t  im ag e  [ 1 4 ] .   T h e  ess en tial  p r o p er ties   in clu d i n g   illu m in atio n   b eh a v io r ,   n o is e  in cu r r e d ,   an d   c o lo r   s tate  m ar e,   ar e  ess en tially   m ain tain ed   in   b o th   th e  s o u r ce   an d   tam p er ed   im ag es  [ 1 5 ] .   Du e  to   a  lack   o f   d ig ital  m ed ia,   m alici o u s   im ag e - r aisi n g   h as  s er io u s   n eg ativ e  ef f ec t s   o n   m ilit ar y ,   p o liti cs,  ac ad em ics  an d   th e  r ea l  wo r ld .   T h u s ,   th e  n ee d   f o r   a n   ef f ec tiv e  m et h o d   o f   id en tify in g   im ag e   tam p er in g   a n d   f r a u d   is   cr u cial   [ 1 6 ] ,  [ 1 7 ] .   Ho wev er ,   th er e  is   a  m ajo r   d if f e r en ce   in   l o w - lev e l  s em an tic  n o tio n s ,   b ec au s e  m o s t  C MF   d etec tio n   s y s tem s   p r im ar ily   r ely   o n   s ca le - in v ar ian t  f ea tu r e  tr a n s f o r m   ( SIFT ) ,   a  lo w - lev el   v is u al  r ep r esen tatio n   o f   d ig it al  im ag es  [ 1 8 ] .   Mo d er n   tech n iq u es  lik e  co n v o lu tio n al  n eu r al  n etwo r k   ( C NN ) ,  m o b ile  n et  an d   R esNet5 0 v 2   ar e  tr ain ed   o n   lar g e  d atasets ,   an d   au to m atica lly   e x tr ac t  th e  p o s s ib le  f ea tu r es   a c c o r d i n g   t o   t h e   d e v el o p m e n t   o f   d e e p   l e a r n i n g   ( D L )   [ 1 9 ] .   Dee p   f e a t u r e s   a r e   u s e d   f o r   p e r s o n   i d e n t i f i ca t i o n ,   s k i n   l e s i o n   cl a s s i f ic a t i o n   a n d   i m a g e   q u a l i t y   a s s es s m e n t ,   o r   a   f e w   i n s t a n c es   o f   C N N - b as e d   f e a t u r e   e x t r a c t i o n s   [ 2 0 ] .     W alia  et  a l.   [ 2 1 ]   im p lem e n ted   s ca le  an d   d ir ec tio n   lo ca l  b in a r y   p atter n   ( SD - L B P),   u tili ze d   f o r   d ig ital   im ag e  m an ip u latio n   d etec tio n .   T h e  im p lem en ted   m eth o d   w as  em p lo y ed   to   lear n   d ee p   an d   co m p lex   f ea tu r es  f r o m   p r e - p r o ce s s ed   im ag es  f o r   class if icatio n   in to   au t h e n tic  an d   f o r g ed   im ag es.  I MD   2 0 2 0 ,   C ASI A  v 1 ,   DVM M,   an d   C ASI A  v 2   wer e   f o u r   d atasets   em p lo y ed   to   ev alu ate  th is   m eth o d   th at  ac h iev ed   h ig h   d etec tio n   ac cu r ac y   u s in g   R esNet5 0 .   Du e  to   less   im ag e  f o r g e r y   lo c aliza tio n ,   th is   m eth o d   r eq u ir ed   an   ex ten s io n   in   lo ca lize d   f o r g er y   th r o u g h   p r o v id in g   in p u t   to   th e   n eu r al  n e two r k .   Sriv astav a   an d   Yad a v   [ 2 2 ]   im p lem en ted   m u ltip le  lo ca l  b in ar y   p atter n s   ( L B P)  u tili ze d   f o r   th e  d etec tio n   o f   b o th   s p licin g   an d   C MF .   An   R GB   im ag e  was   co n v er ted   in to   a   C b   an d   C r   im ag e,   wh ile  YC b C r   im ag e  co m p o n en ts   wer e  ex tr ac ted   i n   th is   im p lem en ted   m u ltip le  L B P  m eth o d .   C ASI A  v 2 . 0 ,   C o lu m b ia  an d   C ASI A  v 1 . 0   wer e   th r ee   d atasets   u tili ze d   f o r   ef f ec tiv ely   ev alu atin g   tam p er in g   d etec tio n ,   em p l o y ed   with   SVM  to   p r o v id e  g o o d   r esu lts   in   b o th   s m al l  an d   lar g e  d atasets .   Du e  to   th eir   im p ac t  o n   lo ca liz in g   f o r g ed   p ar ts   in   s p liced   im ag es,  th is   m eth o d   n ee d e d   to   c o m b in e  DL   an d   ML   m eth o d s ,   in   o r d er   to   ef f icien tl y   lo ca lize  f o r g ed   p ar ts   in   s p liced   im ag es.    R ao   et  a l.   [ 2 3 ]   im p lem en te d   a   k n o wled g e - b ased   f u zz y   ap p r o x im atio n   ( KB FA)   an d   h y b r id   g r ey   wo lf   an t  lio n   o p tim izatio n   (H - GW AL )   ( KB FA  with   H - G W AL )   ap p r o ac h .   H - GW AL   was  im p lem en ted   to   d etec t   s p liced   im ag es,  wh ile   lo ca liz ed   tam p e r ed   r eg io n   s p liced   im ag es  wer e  u tili ze d   b y   th e   KB FA  m o d el.   T h e   KB FA  alg o r ith m   was  u s ed   to   ef f ec tiv ely   d etec t  an d   ca teg o r ize  im ag es,  wh e r ea s   th e  d etec tio n   ac cu r ac y   p er f o r m an ce   was  im p r o v ed   b y   th e  H - GW AL   m eth o d .   H o wev er ,   th e  i m p lem en ted   m o d el  o n l y   lo ca lized   s p liced   im ag es  an d   d i d   n o t  p r o p er l y   class if y   th e   im ag es.   Su s h ir   et  a l.   [ 2 4 ]   im p lem e n ted   a  h y b r id   d ee p   co n v o l u tio n al  ca p s u le  au to e n co d er   ( h y b r i d   DC C AE ) ,   wh ich   was  u tili ze d   f o r   s ig n if ica n t  im ag er   f o r g er y   r ec o g n itio n .   A  wien er   f ilter in g - co n tr ast  lim ited   in cr e ased   h i s to g r am   eq u aliza tio n   was  u s ed   to   ef f ec tiv el y   p r e - p r o ce s s   th e  im a g e.   T h e   im p lem en ted   m et h o d   attain ed   h i g h   p er f o r m an ce   o f   th e   s y s tem ,   b ec a u s e  o f   th e   ef f icien t  r eliab ilit y   an d   tr ain in g   m o d el  ca p ab ilit y ,   th e r eb y   ef f ec tiv ely   d etec tin g   b lin d   im ag e  f o r g er ies.  No n eth eless ,   th e  im p lem en te d   h y b r id   DC C AE   m eth o d   h a d   lo wer   f o r g er y   d etec tio n   a n d   im ag e  r ec o g n itio n   p er f o r m an ce .   Diwan   et  a l.   [ 2 5 ]   im p lem en ted   th e  Su p er p o i n t  ap p r o ac h   f o r   d etec tin g   C M F   in   d ig ital  im ag es,   u s ed   as  a  k ey   p o in t  d etec to r   in   s elf - s u p er v is ed   im ag es.  GR I P,  C M FD,  MI C C - F2 2 0 ,   MI C C - F2 0 0 0 ,   MI C - F2 2 0 ,   C o Mo Fo D,   C ASI A  V2 . 0 ,   an d   C OVE R AGE   wer e  th e  eig h t d atasets   u tili ze d   to   d etec t c o p y - m o v e  im a g e   f o r g er y .   T h e   im p lem en ted   m et h o d   p r o d u ce d   h i g h   r esu lts   in   i m ag es  with   d if f er en t  attac k s ,   an d   also   ef f ec tiv ely   d etec ted   C MF   in   a  d iv er s e  r an g e  o f   f o r g e d   im a g es.  Du e   to   less   ef f ec tiv en ess   in   f o r g er y   d etec tio n ,   th is   Su p er p o i n t  ap p r o ac h   f ac ed   co m p u tatio n al  co m p le x ity ,   alo n g   with   ch allen g es  in   r ea l - tim e  p r o ce s s in g   o r   lar g e - s ca le  ap p licatio n s .     B ib i  et  a l.   [ 2 6 ]   p r esen ted   m u ltip le  s tr u ctu r es  s tack ed   au to en co d er s   ( SAE)   m eth o d ,   wh ich   was  b ased   o n   C NN  u tili ze d   f o r   f o r g er y   d etec tio n .   T h e  SAE  b ased   C NN  m eth o d   was  em p lo y ed   with   m u ltip le  s tr u ctu r es   wh ich   co n tain s   two   an d   th r e e  s tack ed   au to e n co d e r s   f o r   d ec r ea s in g   th e  f ea tu r e  d im en s io n s .   T wo   C ASI A  d atasets   wer e  u tili ze d   to   ev al u ate  th e  p r esen ted   m eth o d ,   w h ich   p r o v id e d   h ig h   f o r g er y   d e tectio n   ac cu r ac y   o n   J PEG  im ag e.   No n eth eless ,   th e  p r esen ted   m eth o d   h a d   o v er f itti n g   is s u e,   d u e  to   th e  co m p lex   ar ch itectu r e  o f   SAE.   Alh aid er y   et   a l.   [ 2 7 ]   i m p lem en ted   r eg io n   g r o win g - m er g in g   s eg m en tatio n   ( R GM S)  ap p r o ac h ,   wh ich   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 5 0 2 - 4 7 52   I n d o n esian   J   E lec  E n g   &   C o m p   Sci ,   Vo l.  36 ,   No .   2 ,  No v em b er   20 24 :  1 1 1 4 - 1 1 2 6   1116   was  u tili ze d   to   d etec t  C MF   in   d ig ital  im ag es.  T h e  im p lem en ted   R GM S  u tili ze d   am o n g   b lo ck - b ased   an d   k ey p o i n t - b ased   m eth o d s   ef f ec tiv ely   lo ca lized   th e  d u p licated   r eg io n s .   I t  ad d itio n ally   im p r o v ed   th e  d etec tio n   an d   r eg io n   o f   in ter est  ass is t ed   in   en h an ci n g   lo ca lizatio n   f o r   s m all  an d   lar g e  r e g io n s .   Yet ,   th is   m eth o d   p o s s ess ed   lo w  ca p ab ilit y   to   r ec o g n ize  th e  d if f er e n ce   b etwe en   th e  au th en tic  an d   f o r g ed   r eg io n s .   T h e  m ain   co n tr ib u tio n s   o f   th is   wo r k   ar e  g iv en   as f o llo ws:   −   A  DL - b ased   f ea tu r e  ex t r ac tio n   ap p r o ac h   is   u s ed   to   ac cu r atel y   d etec t  f o r g er y   im a g es,  alo n g s id e  r ed u cin g   r ed u n d an t  d ata  a n d   p r o v id in g   v alu a b le  f ea tu r es ,   e v en   in   ar ea s   with   lo wer   c o n tr ast  a n d   h u g e - s ized   im ag es a lo n g   VGGN et  an d   D T T .   −   T h is   s tu d y   p r esen ts   a  tech n iq u e  f o r   p r e - p r o ce s s in g   im ag es u s in g   a  W E - C L AHE   wh ich   en h a n ce s   co n tr ast   an d   n o is e ,  a n d   im p r o v es sy s tem   ef f icien cy   t h r o u g h   f ea tu r e  e x tr ac tio n .   −   C o n v o lu tio n al  au to e n co d e r   ( C AE )   is   a  DL - b ased   clas s if icatio n   f r am ewo r k   th at  ac cu r ately   d etec ts   f o r g er y ,   wh ile  en h an cin g   class if icatio n   ac cu r ac y   d u e  t o   its   en h an ce d   ca p ab ilit y .   T h e  r est  o f   th e  p ap er   is   s tr u ctu r ed   f o llo ws:   s ec tio n   2   d escr i b es  th e  p r o p o s ed   m eth o d .   Sec tio n   3   ex p lain s   th e  p r o ce s s   o f   C AE - C NN ,   wh ile   s ec tio n   4   s h o ws  th e  r esu lts   an d   d is cu s s io n ,   an d   co n clu s io n   o f   th is   wo r k   is   g iv en   in   s ec tio n   5.       2.   P RO P O SE D  M E T H O D   I n   th is   wo r k ,   a  C AE   m o d el  i s   im p lem en ted   f o r   c o lo r izatio n - b ased   im ag e  f o r g e r y   d etec t io n .   T h is   wo r k   in cl u d es  C ASI A  V1   a n d   GR I P  d atasets   f o r   c o llectin g   d ata,   an d   W E - C L AHE   u s ed   in   th e  p r e - p r o ce s s in g   p h ase  to   ef f ec tiv ely   elim in ate  n o is e  f r o m   th e  in p u t  im ag e.   H ‑ ( DT C W T – DC T )   an d   VGG - 1 6   m eth o d s   ar e  u s ed   to   ex tr ac t   th e   o p tim al   f ea tu r es  an d   th en ,   I HH  is   em p lo y ed   to   r ed u ce   t h e  f ea tu r es'   d im en s io n ality .   T h e   im p lem en ted   C AE   m o d el   is   u tili ze d   to   s ig n if ican tly   r e co g n ize  im a g e  f o r g er y .   Fig u r e  1   d e n o tes  th e   im p lem en ted   m eth o d ’ s   b l o ck   d iag r am .           Fig u r e  1 .   I m p lem en te d   m o d el’ s   b lo ck   d iag r am       2 . 1 .   Da t a s et s   T h e  wo r k   u tili ze s   two   d atasets   in clu d in g   C ASI A  V1   an d   GR I P  to   ev alu ate  th e   im p lem en te d   m eth o d .   C ASI A  V1   [ 2 8 ]   an d   GR I P  [ 2 9 ]   d atasets   ar e   em p lo y ed   t o   co llect  th e  in f o r m atio n .   T h ese  t wo   d atasets   ar e  u s e d   to   d etec t c o lo r izatio n - b ased   i m ag e  f o r g er ie s.     2 . 1 . 1 .   CASI A  V1   da t a s et   T h is   C ASI A  V1   d ataset  co n s is ts   o f   b o th   f a k e  an d   p r is tin e  im ag es,  wh e r e  th e r e  a r e  9 2 1   tam p er e d   im ag es  an d   8 0 0   au th en tic  im ag es.  T h is   d ataset  h as  1 , 7 2 1   J PEF  co m p r ess ed   im ag es  in   t o tal,   o f   th e  s ize  o f   384 × 2 5 6 .   T h u s ,   t h e  9 2 1   tam p er ed   im ag es  a r e  d i v id ed   i n to   4 6 9   s p liced   an d   4 5 2   c o p y - m o v e  k in d   o f   tam p e r ed   im ag es.  Ad o b e  Ph o to s h o p   s o f twar e  is   u s ed   to   m ak e  s p lice  i m ag es,  wh ich   ar e  s ec tio n s   o f   o n e  im ag e  th at  ar e  co n n ec ted   t o   o th er s .   Fig u r e  2   s h o ws th e  s am p le  im ag es o f   th e  C ASI A  V1   d ataset.           Fig u r e  2 .   Sam p le  im a g es o f   th e  C ASI A  V1   d ataset   Evaluation Warning : The document was created with Spire.PDF for Python.
I n d o n esian   J   E lec  E n g   &   C o m p   Sci     I SS N:   2 5 0 2 - 4 7 52       Dete ctio n   o f c o lo r iz a tio n   b a s ed   ima g e  fo r g eries   u s in g   co n v o lu tio n a l  … ( S o u mya s h r ee   Mu r a lid h a r   P a n ch a l )   1117   2 . 1 . 2 .   G RIP  da t a s et   T h is   GR I P  d ataset  was  cr ea t ed   b y   C o zz o lin o ,   co n tain i n g   8 0   in p u t  im ag es  an d   8 0   p la in   f o r g e r y   im ag es,  wh ich   ar e  ac ce s s ib le  in   1 0 2 4 × 7 6 8   in   th e  f o r m at  o f   PNG.   I n   th e  f o r m at  o f   PNG,   th e   tam p er ed   p o r tio n s   ar e  s ep ar ately   d ep o s ited .   T h e  tam p er ed   p o r tio n ’ s   lo ca tio n   is   s to r ed   in   th e  f o r m at  o f   tex t in   th e  f o r g er y   im ag es.   T h is   d ataset  is   d iv id ed   in to   3   p ar ts   with   5 0   r ea l  im ag es  wi th o u t  f o r g er y   im a g es,  5 0   tam p er ed   im ag es  af ter   tr an s latio n ,   an d   s ca lin g   2 0   s ets o f   an   im a g es a f ter   r o tatio n .   Fig u r e  3   r ep r esen ts   th e  s am p le  i m ag es o f   th e  GR I P   d ataset.           Fig u r e  3 .   Sam p le  im a g es o f   G R I P d ataset       2 . 2 .     P re - pro ce s s ing   Fo llo win g   th e  co llectio n   o f   d ata,   p r e - p r o c ess in g   is   p er f o r m ed   u s in g   th e  wien er   f ilter ‑ C L AHE .   T h e   in co m e  im ag e  s ize  o f   b o th   d atasets   co n tain s   7 6 8 × 1 0 2 4 × 3   f o r   th e  GR I P  d ataset  an d   2 5 6 × 3 8 4 × 3   f o r   th e   C ASI A  V1   d ataset.   An   im p o r tan t  aim   o f   p r e - p r o ce s s in g   im ag e  is   to   in cr ea s e  th e  q u ality   o f   im ag es  an d   p r o v id e  s u p e r io r   ev alu atio n s .   T o   im p r o v e  th e  ac cu r ac y   o f   f o r g er y   d etec tio n ,   th e  u n wa n ted   d is to r tio n s   ar e   co m p r ess ed   an d   th e  f ea tu r es   ar e  in cr ea s ed   in   th e   im ag e.   At  f ir s t,  to   elim in ate  n o is e   p r e - p r o ce s s in g   is   p er f o r m ed ,   an d   th e  im a g e  c o n tr ast  is   in cr ea s ed .   T h is   wo r k   u tili ze s   wien er   f ilter ‑ C L AHE   [ 3 0 ]   t o   p e r f o r m   p r e - p r o ce s s in g .   W ien er   f ilter   wo r k s   o n   s tatis tical  m o d els  h as  a  lo w  p ass   f ilter   wh ich   en s u r es  th at  th e  s ig n als  an d   n o is e  ar e  s tatio n ar y .   Neig h b o u r h o o d   m ea n s   an d   v a r ian ce   ar e  ca lcu lated ,   an d   s tr o n g   s m o o th in g   is   u s ed   wh en   th e  v ar iatio n   is   at  its   m in im u m ,   wh ile  th e  m in im al  s m o o th in g   is   ap p lied   wh en   v ar iatio n   is   at  it s   m ax im u m .   T h is   f ilter   d ec r ea s es  th e   er r o r   b etwe en   th e  o r ig in al   s ig n al  an d   esti m ated   s ig n al.   I f   it  is   ass u m ed   th at  ′   is   th e   esti m ated   im ag e,   an d     is   th e  o r ig in al  im ag e,   th e  e r r o r   is   m ea s u r ed   u s in g   th e  ( 1 ) ,   wh er e  t h e  u n ex p ec te d   ter m   is   ,   th en   ( 2 )   s h o ws th e  m in im u m   er r o r   f u n ctio n .     2 = { ( − ′ ) 2 }   ( 1 )     ′ ( 1 , 2 ) = [ ∗ ( 1 , 2 ) ′ ( 1 , 2 ) | ′ ( 1 , 2 ) | 2 ( 1 , 2 ) + ′ ( 1 , 2 ) ] ( 1 , 2 )   ( 2 )     W h er e,   a  d eg r ad ed   im ag e  tr a n s f o r m   is   ( 1 , 2 ) ,   an   esti m ated   im a g e  in   a  f r e q u en c y   is   ′ ( 1 , 2 ) ,   an d   a   d eg r ad e d   f u n ctio n   tr an s f o r m   i s   ( 1 , 2 ) .   T h en ,   a  n o n - g r ad in g   im ag e  p o wer   s p ec tr al   v alu e  is   ′ ( 1 , 2 ) ,   an d   ( 1 , 2 )   co n ju g ate  ter m   is   ∗ ( 1 , 2 ) .   Pre - pr o ce s s ed   o u tp u t   im ag es  a r e  p a s s ed   as  in p u t   to   th e   f ea t u r e   ex tr ac tio n   p r o ce s s .       2 . 3 .     F e a t ure  ex t r a ct io n   Fo llo win g   th e  im ag e  p r e - p r o c ess in g ,   VGG - 1 6   an d   H‑ ( DT C W T – DC T )   ar e  u tili ze d   in   th is   p r o ce s s   o f   f ea tu r e  ex tr ac tio n .   T h is   p r o ce s s   o f   f ea tu r e  e x tr ac tio n   is   p e r f o r m ed   to   d ec r ea s e  d im en s io n ality   wh er e  a  lar g e   p ix el’ s   n u m b e r   is   ef f ec tiv ely   ex p r ess ed ,   s o   th at  th e  i m p o r tan t  p ar ts   o f   th e  im ag e   ar e  c o llected .   C u r r en tly ,   d is cr ete  wav elet  tr an s f o r m   is   in cr ea s ed   with   DT C W T   f o r   s ig n if ican t  p r o p er ties .   T h e  C NN ’ s   m o s t   r ec en t   v is io n ,   VVG - 1 6   h as  a  h ig h   le ar n in g   ca p ac ity   an d   is   s im p le  to   ass em b le.   Fro m   VGG  1 6 ,   t h e  m o s t  im p o r tan t  f ea tu r es  ar e  ex tr ac ted   with   d ee p   n eu r al  n etwo r k s   p r o ce s s in g   th e  1 6   lay er s .   T h e  ab s tr a ctio n   o f   im p o r ta n t  f ea tu r es  f r o m   VGG - 1 6   an d   DT W C T   i s   in clu d ed   in   th is   f ea tu r e  ex tr ac tio n   p r o ce s s .   L o w  co n tr ast  ar ea s   ar e   en h an ce d   wh ile  th e  q u ality   o f   th e  im ag e  is   im p r o v ed   u s in g   th e  p r e - p r o ce s s in g   tech n i q u e.   T h e  im p o r tan t   f ea tu r es  ar e  th en   ef f ec tiv ely   ex tr ac ted   f r o m   lo w  c o n tr as t  r eg io n s   u s in g   t h e  ef f ec tiv e   f ea tu r e  ex tr ac ti o n   tech n iq u es  VGG - 1 6   an d   H‑ ( DT C W T – D C T ) ,   an d   t h e  p e r f o r m an ce   is   en h an ce d   b y   d ec r ea s in g   th e  f ea tu r e   di m en s io n ality .     2 . 3 . 1 .   H ‑ ( DT CWT – DCT)   Dir ec tio n al  s elec tiv ity   in   2   o r   m o r e   d im en s io n s   an d   s h i f t  v ar ian ce   is s u es  ar e  ad d r ess ed   u s in g   DT C W T   [ 3 1 ] .   W ith   th e   ass is tan ce   o f   a n aly tic  wav elets,   DT C W T   ac h iev es  d ir ec tio n al  s elec tiv ity .   Six   d ir ec tio n al  s u b b a n d s   ar e  g en e r ated   b y   th is   m o d el  e x p o s ed   i n   th e  d ir ec tio n s   in clu d in g   +1 2 ,   +4 5 ,   + 7 5   r ea l  an d   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 5 0 2 - 4 7 52   I n d o n esian   J   E lec  E n g   &   C o m p   Sci ,   Vo l.  36 ,   No .   2 ,  No v em b er   20 24 :  1 1 1 4 - 1 1 2 6   1118   im ag in ar y   p a r ts .   L et  f ilter s   b e  d en o ted   as  ℎ ( ) ,   an d   ( ) .   T h e  f ir s t  ( ) (  )   an d   s ec o n d   ( ) (  )   ar e  ℎ   p h ase   f ilter   b an k   r esp o n s e  e x p r ess ed   in   ( 3 ) .   T o   d ec o m p o s e  th e  im ag e   ( , )   u s in g   DT C W T   f o r   th e   tr an s latio n ’ s   s er ies,  co m p lex   s ca lin g   d ilatio n s   an d   f u n ctio n s   o f   6   C W T   ar e  p r o v id ed   in   ( 4 ) .     ( ) (  ) = { ′ ( ) (  ) }     ( 3 )     ( , ) = ∑  ∈ 2 , , ( , ) + ∑ ∑ ∑ , , ( , ) ∈ 2 ≥  ∈ 2   ( 4 )     W h er e,   th e  s ca lin g   ter m   is   d en o ted   as  , ( , ) ,   an d   6   wav elet  ter m s   ar e  r ep r esen ted   as  , ( , ) ,   wh ile   th e  wav elets  an d   s ca lin g   co ef f icien ts   ar e  s h o wn   as    an d    .   At  last ,   ( , )   im ag e  is   s ep ar ated   in to     s u b - b an d s   o f   n o n - o v e r lap p in g .   Ne x t,  th e  h ig h est  an d   ce n ter   f r eq u en cy   s u b - b an d s   ar e  d iv id e d   i n to   b lo ck s   o f   4 × 4 .  Nex t,  th e  DC T   tr an s f o r m   f u n c tio n   is   ap p ea led   t o   ea ch   s u b - b an d   b lo c k ,   an d   th e  DC T   tr an s f o r m   is   g iv en   in   ( 5 ) .   At  last ,   H‑ ( DT C W T – DC T )   c o ef f icien ts   ar e  ex tr ac ted   f r o m   p r e - p r o ce s s ed   im ag es  u s in g   H‑ ( DT C W T – D C T ) .     ( , ) = √ 2 √ 2 ∑ ∑ ( , )  ( 2 + 1 ) ∏ 2 − 1 = 0 − 1 = 0  ( 2 + 1 ) ∏ 2     ( 5 )     2 . 3 . 2 .   VG G - 16   T h e  VGG - 1 6 ’ s   d ee p   ar c h itectu r e  en h an ce s   f ea tu r e   ex tr ac tio n   f o r   co lo r izatio n - b ased   im a g e  f o r g e r ies  d etec tio n ,   wh ile   it  is   p r e - tr ai n ed   o n   lar g e  d atasets ,   h en ce   in cr ea s in g   th e   m o d el  p e r f o r m an ce   with   m i n im al  tr ain in g   d ata.   T h e   VGG - 1 6   [ 3 2 ]   h as  1 6   lay e r s ,   an d   it   is   an   e x ce llen t  v is io n   n etwo r k .   T h r e e  3   f u lly   co n n ec ted   ( FC )   lay er s ,   1 3   co n v o lu tio n al  lay er s ,   an d   1 6   lear n ab le  weig h ts   lay er s   co n s is t  o f   4 1   la y er s   o f   3 × 224 × 224   p ix el  VGG  in p u t.   I t  h as  two   ty p es   o f   f ilter s :  2 × 2   with   m a x   p o o lin g   lay er ’ s   s tr id e  2   a n d   3 × 3   wit h   co n v o l u tio n al  lay er s ’   s tr id e  1 .   T h e  6 4   an d   1 2 8   f ilter s   ar e  i n   th e  f ir s t  a n d   s ec o n d   co n v o l u tio n al  lay er s .   2 5 6 ,   5 1 2 ,   an d   5 1 5   f ilter s   ar e  in   o th er   co n v o lu tio n al  lay er s .   1 st   an d   2 nd   FC   h av e  4 , 0 9 6   n eu r o n s ,   an d   at  th e  en d ,   3   FC   lay er s   ar e  p r o d u ce d .   L ast  FC   u tili ze d   f o r   f ea tu r es  is   r ed u ce d   to   a  th o u s an d   d im en s io n s .   T h is   co n tain s   1 3 8   m illi o n   p ar am eter s   ap p r o x im a tely ,   an d   is   a  lar g e   n etwo r k .   Fig u r e  4   illu s tr ates th e  VGG - 1 6   ar ch itectu r e.   H‑ ( DT C W T – DC T )   h as  a  h ig h   d ir ec tio n al  s elec tiv ity   f ea tu r e  th at  d ec o m p o s es  im ag e  te x tu r e  f r o m   d if f er en t  d ir e ctio n s   an d   ac q u ir es  d escr ip tio n s   o f   m u ltip le  f ea tu r e  in f o r m atio n .   Ad d itio n ally ,   m ax - p o o lin g   a n d   co n v o l u tio n   ar e  ap p ea led   f o r   t h e  f ir s t 4   b lo ck s   in   VGG - 1 6 .   T h is   is   b ec au s e  th e  o u tp u t o f   th e  ac h iev ed   f ea tu r es  h as a   s ize  o f   16 × 16 × 5 1 2   an d   i n p u t im ag e   s ize  is   3 × 224 × 2 2 4 .   T h e  ex tr ac te d   im ag e  f ea t u r es a r e  p ass ed   as in p u t   to   th e  f ea tu r e   s elec tio n   p h ase.             Fig u r e  4 .   Ar c h itectu r e  o f   VGG - 16       2 . 4 .     F e a t ure  s elec t io n   Fo llo win g   th e  f ea tu r e  e x tr ac ti o n ,   th e   f ea tu r e   d im e n s io n ality   is   d ec r ea s ed   u s in g   th e  I HH.   T h is   I HH   m eth o d   i n cr ea s es  th e  d etec tio n   o f   co lo r izatio n - b ased   im a g e   f o r g e r y   b y   e f f ec tiv ely   e x p lo r in g   s o lu tio n   s p ac e,   r esu ltin g   in   f aster   co n v er g en ce   an d   h ig h   ac cu r ac y .   On e  i m p o r tan t  p r o ce d u r e  th at  en s u r es  o p tim al  f ea tu r e  co llectio n   to   im p r o v e  d etec tio n   ac cu r ac y ,   s p ee d   u p   d etec tio n ,   lo wer   er r o r ,   an d   d ec r ea s e  f ea tu r e   d im en s io n ality   in   f ea tu r e   s elec tio n .   Me tah eu r is tic  alg o r ith m s   ex tr ac t  im p o r tan t  f ea tu r es  f r o m   th e  f ea tu r e   s ets.  T h is   o p tim izatio n   d ep en d s   o n   th e  h o r s e' s   ch ar ac ter is tics ,   an d   it  h as  p h ases   th at  in clu d e  I m itatio n   ( I ) ,   Gr az in g   ( G) ,   So ciab ilit y   ( S),   Def en ce   ( D)   an d   R o am   ( R ) .   B ased   o n   th e  f o llo win g   ( 6 ) ,   th e  m o v e m en t  is   p r o v id ed   t o   Evaluation Warning : The document was created with Spire.PDF for Python.
I n d o n esian   J   E lec  E n g   &   C o m p   Sci     I SS N:   2 5 0 2 - 4 7 52       Dete ctio n   o f c o lo r iz a tio n   b a s ed   ima g e  fo r g eries   u s in g   co n v o lu tio n a l  … ( S o u mya s h r ee   Mu r a lid h a r   P a n ch a l )   1119   h o r s e  at  ea ch   iter atio n .   W h er e  a  h o r s e  v elo city   v ec to r   is   r ep r esen ted   as  ⃗ ⃗ ⃗   ,  ,   th e  p r esen t  iter atio n   is   d en o ted   as   ,   h o r s e’ s   ag e  is   s h o wed   as   ,   an d   ℎ   h o r s e  p o s itio n   is   d en o ted   as  ,  .     ,  = ⃗ ⃗ ⃗   ,  + ( − 1 ) ,    ( 6 )     Gr az in g   ( G) :  t h e  g r az in g   f i eld   is   d ev elo p e d   b y   I HH  o p tim izatio n   ar o u n d   ea ch   h o r s e  with   ℎ   co ef f icien t,  an d   g r az i n g   m o d e l  is   ex p r ess ed   a s   ( 7 )   an d   ( 8 ) .   W h er e ,   th e  h o r s e  m o tio n   v ar i ab le  is   d en o ted   as     ,  ,   an d   th is   e x p r ess io n   is   u ti lized   f o r   d ec r ea s in g   lin ea r ity   with   iter atio n s   o f   .  Fu r th er ,   th e  u p p er   a n d   lo wer   lim it sp ac e  in   g r az in g   is   r ep r esen ted   as     an d    .       ,  = ℎ (  +  ) + ( − 1 )   ( 7 )     ℎ ,  = ℎ ( − 1 ) ,  ×     ( 8 )     Hier ar ch y   ( H) :  h o r s es  o b s er v e   h ier ar c h y   law   in   th e   m id d le  a g e  o f     an d   ,   as  p r o v en   b y   r esear ch .   I t   is   p r o v id ed   in   ( 9 )   an d   ( 1 0 ) .   T h e  h o r s e’ s   b etter   lo ca tio n   is   d e n o ted   as  ∗ ( − 1 ) ,   an d   th e  ef f o r t  o f   h o r s e’ s   b ette r  lo ca tio n   is   r ep r esen ted   as  ⃗ ⃗   ,  .     ⃗ ⃗   ,  = ( − 1 ) ,  [ ∗ ( − 1 ) − ( − 1 ) ]   ( 9 )     ,  = ℎ ( − 1 ) ,  ×   ( 1 0 )     So ciab ilit y   ( S):  i t  is   d ef in ed   as  th e  n u m b er   o f   o b s er v ed   h o r s es  ag ed   b etwe en   y ea r s   5   t o   1 5   th at   ex p r ess   in ter est  in   a  h er d ,   as  ex p r ess ed   in   ( 1 1 )   an d   ( 1 2 ) .   W h er e ,   th e   h o r s e  o r ie n tatio n   is   d en o ted   as  ,    an d   s o cial  v ec to r   m o tio n   is   s h o wn   as   ⃗   ,  .   W ith   th e    f ac to r ,   ,    is   r ed u ce d   in   ea ch   cy cle.     ⃗   ,  = ,  [ ( 1 ∑ ( − 1 ) = 1 ) − ( − 1 ) ]     ( 1 1 )     ,  = ( − 1 ) ,  ×     ( 1 2 )     I m itatio n   ( I ) :  t h e  h o r s e  ch ar ac ter is tic  is   co n s id er ed   as    ter m   in   th e  alg o r ith m .   Oth e r   h o r s es   an d   th e  b eh av io r   o f   s m all  h o r s es  d o   n o t  co n v er t  th eir   liv es  wh ich   is   ex p r ess ed   as  ( 1 3 )   an d   ( 1 4 ) .   W h er e ,   th e   d ec r ea s ed   f ac to r   p er   c y cle  is   d en o ted   as   ,   m o tio n   v ec to r   is   d e n o ted   as  ⃗   ,   an d   th e  p o s itio n   is   s h o wn   a s     ,  .   T h e   b est p o s itio n   o f   th e   to tal  h o r s e  is   s h o wn   as  .       ,  = ,  [ ( 1 ∑ ⃗   ( − 1 ) = 1 ) − ( − 1 ) ]   ( 1 3 )     ,  = ( − 1 ) ,  ×   ( 1 4 )     Def en ce   ( D) :  u s in g   th e  n eg at iv e  co ef f icien ts   s y s tem   o f   d ef en s e  in   I HH  is   d eter m in ed   in   ( 1 5 )   an d   ( 1 6 ) ,   u tili ze d   to   m o v e  a  h o r s e  b ey o n d   a n   u n s u ited   p lace .   W h er e ,   th e  h o r s e  with   th e   wo r s t  p o s itio n   is   r ep r esen ted   as  .  T h e  escap e  v e cto r   is   d en o ted   b y  ⃗ ⃗   ,  .     ⃗ ⃗   ,  = − ,  [ ( 1 ∑ ⃗   ( − 1 ) = 1 ) − ( − 1 ) ]     ( 1 5 )     ,  = ( − 1 ) ,  ×   ( 1 6 )     R o am   ( R ) :  t h e  h o r s e  is   r o am i n g   an d   g r az in g   to   f in d   f o o d   f r o m   o n e  p lace   to   an o th e r .   T h e  r o am in g   b eh av io r   is   co m m o n ly   v iewe d   in   y o u n g   h o r s es,  an d   r ep r esen ted   b y   ( 1 7 )   an d   ( 1 8 ) .   W h er e ,   t h e  r ed u ce d   ter m   is   s h o wn   as  ,   an d   th e  lo ca l  s ea r ch   v elo city   v ec to r   is   r e p r esen ted   by  ⃗   ,  .   I n   I HH,   ( 1 9 )   s h o ws  t h e  h o r s e   v elo city   am o n g   ag es 0   to   5   y e ar s .     ⃗   ,  = ( ,  ) ( − 1 )   ( 1 7 )   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 5 0 2 - 4 7 52   I n d o n esian   J   E lec  E n g   &   C o m p   Sci ,   Vo l.  36 ,   No .   2 ,  No v em b er   20 24 :  1 1 1 4 - 1 1 2 6   1120   ,  = ( − 1 ) ,  ×   ( 1 8 )     = × ( ( − 1 ) ,  ( +  ) [ ( − 1 ) ] ) + ( − 1 ) × [ ( − 1 ) ,  ] [ ( 1 ∑ ( − 1 ) = 1 ) − ( − 1 ) ] + [ ( − 1 ) ,  ( − 1 ) ]   ( 1 9 )     Fo r   s elec tin g   th e  m ea n in g f u l  f ea tu r es,  th e  r eg u latio n   p a r am e ter s     an d     ar e  u s ed .   T h e r ef o r e,   I HH   is   em p lo y ed   to   s el ec t  th e  o p tim al  ch ar ac ter is tics .   Fig u r e  5   illu s tr ates  th e  f lo wch ar t  f o r   I HH.   T h e  f lo w  ch ar t   r ep r esen ts   th e  f ea tu r e  s elec ti o n   m eth o d ’ s   d etailed   d escr ip t io n .   Fo llo win g   th e   p ar am eter   u p d ate,   it  s atis f ies  ev alu atio n   cr iter ia  f o r   th e   im p lem en ted   p er f o r m an ce ;   t h e   p r o ce d u r e  is   r ep ea ted   u n til  ac h iev in g   th e  o p tim al  s o lu tio n .   T h e  o p tim al  f ea tu r es  en h an ce   th e  d etec tio n   s p ee d   an d   p er f o r m an ce   o f   o v er all  b lin g   f o r g er y   d etec tio n .   T h e  o u tp u t o f   s elec t ed   f ea tu r es is   p ass ed   as in p u t t o   th e  class if icatio n   p r o ce ss.           Fig u r e  5 .   I HH  o p tim izatio n   f l o wch ar t       3.   CO NVO L U T I O NA L   AU T O E NCO D E R - CO NVO L U T I O NAL N E URA L   NE T WO RK   Af ter   th e  f ea tu r e   s elec tio n ,   th e  im p lem en ted   C AE - C NN  ( C AE - C NN)   is   u tili ze d   f o r   th e   ca teg o r izatio n   p r o ce s s .   B y   u s in g   co n v o lu ti o n al  lay e r s   to   c ap tu r e  c o m p lex   co lo r   p atter n s   in   im ag es,  C AE - C NN  im p r o v es  th e  ac cu r ac y   o f   f o r g er y   d etec tio n   an d   allo ws  f o r   s tr o n g   d if f er e n tiatio n   b etwe en   f o r g e r y   an d   au th en tic  im a g es.  At  f ir s t,  th e  tr ain in g   d ataset  is   tr ain ed   u s in g   C AE .   T h e  d ec o d er   co m p o n en t  is   d is ca r d ed   af ter   th e   C AE   co m p letes  its   tr ain in g   p r o ce d u r e ,   wh e r ea s   c o m p r ess in g   f ir s t  h ig h - d im e n s io n al  im a g e  d ataset  in to   a  co m p r ess ed   d ataset  o f   im ag e  is   ca r r ied   o u t   b y   u s in g   an   en c o d er .   At  last ,   th e  C AE ’ s   en co d e r   o u tp u t   ( co m p r ess ed   d ataset  im ag e)   i s   u tili ze d   f o r   tr ain in g   a n d   f ee d in g   ca teg o r izatio n   o f   C NN  in clu d in g   VGG,   an d   R esNet .   I n   th is   co n s eq u en ce ,     r ep r esen t s   th e  m o d el  o f   C NN  class if ic atio n   an d   = { 1 , 2 , … } ,   wh er e   ∈ { 0 , 1 } ∀ ∈ ℕ ,   as  N  r ef er s   to tal  class   o u tp u t  tar g et  in   class if icatio n   is s u e.     o f   in itial  tr ain in g   d at aset  i s   co n v er ted   th r o u g h     en co d er   in to   an   en co d e d   co m p r ess ed   2 D  r ep r esen tatio n   .  ̂ = { ̂ 1 , ̂ 2 , … ̂ }   is   th e  r aw   o u tp u t  o f   C NN  class if icat io n   m o d el ,   as   g iv en   i n   ( 2 0 ) .   T h e  r ec o n s tr u ctio n   er r o r   in   ( 2 1 )   is   u s ed   to   m ea s u r e  th e   C NN  clas s if icatio n   m o d el’ s   p er f o r m a n ce .     ̂ = ( )   ( 2 0 )      =  ( ̂ ( ) , ( ) )   ( 2 1 )   Evaluation Warning : The document was created with Spire.PDF for Python.
I n d o n esian   J   E lec  E n g   &   C o m p   Sci     I SS N:   2 5 0 2 - 4 7 52       Dete ctio n   o f c o lo r iz a tio n   b a s ed   ima g e  fo r g eries   u s in g   co n v o lu tio n a l  … ( S o u mya s h r ee   Mu r a lid h a r   P a n ch a l )   1121   T h e  d i f f er en ce   in   m ea s u r em e n ts   lik e  wid e   an d   cr o s s - en tr o p y   lo s s   f u n ctio n s   ar e   r ep r esen ted   b y   t h e   f u n ctio n    .   Nex t,  ( 2 2 )   s h o ws  th e  g en er al  f o r m   o f   th e  co s t  f u n ctio n .   At  last ,   o p tim al  weig h t  p ar am eter s   ar e   attain ed   f o r   t h e  ca teg o r izatio n   m o d el  o f   C NN  b y   r ed u cin g   th e     co s t  f u n ctio n   c o n ce r n in g   task   class if icatio n .      = 1 ∑  ( ( ( ( ) ) ) , ( ) ) = 1     ( 2 2 )     3 . 1 .     I m ple m ent ed  CAE’s  a rc hite ct ura l desig n   T h e  im p lem e n ted   t o p o lo g y   a r ch itectu r e  o f   C AE   is   r e p r es en ted   in   Fig u r e   6 .   At  last ,   t h e  C AE ’ s   p ar am eter   s ettin g s   co n f ig u r ati o n   s etu p   is   d e n o ted   in   T ab le   1 .   T h e  s y m m et r ic  ar ch itectu r e   o f  th e  im p lem en ted   C AE   with   2 D  co n v o lu tio n al  an d   d ec o n v o l u tio n al  lay er s   o f   4   b atch es  co m es  af ter   an   ac t iv atio n   f u n ctio n   o f   r ec tifie d   lin ea r   u n it  (R e L U) .   T h e  d ec o n v o lu tio n al  ( o r   tr an s p o s ed   co n v o lu tio n )   is   p er f o r m s   th e  co n v o lu tio n   lay er ’ s   r ev e r s e  o p e r atio n .   I t  p ar ticu lar ly   c o n v e r ts   in f o r m a tio n   f r o m   a   lo w - d im e n s io n al   s p ac e  to   a  h i g h - d im en s io n al  o n e .     Mo s t  p ar ticu lar ly ,   r aw  in co m e  d im en s io n s   × × 3   ar e  p ass ed   to   1 st   lay er   ( 2 D  co n v 1 - R eL U1 ) ,   wh ich   is   also   an   in co m e   o f   C AE ’ s   E n co d er .   T h e  d im e n s io n s   2 ⁄ × 2 ⁄   d ev el o p   3 2   d o wn s am p led   s p atial  f ea tu r e  m ap s ,   em p lo y in g   3 2   f i lter s   o f   4 × 4   k e r n el  s ize.   Af ter war d ,   th e   o u tco m e   is   p ass ed   in to   2 nd   lay er   ( 2 D   C o n v 2 - R eL U2 )   wh ic h   is   th e  o u tp u t  o f   E n co d er   with   d im en s io n s   2 ⁄ × 2 ⁄ × 3   r ep r esen tatio n   o f   co m p r ess ed   im ag e ,   em p l o y in g   a   d im e n s io n   with   3   f ilter s   o f   2 × 2   k er n el  s ize.   Usi n g   a  s m aller   k er n el   s ize  in   2 nd   lay er   m ak es  it  clea r   b ec au s e  f ea tu r e  m ap s   f r o m   1 st   lay er ’ s   o u tp u t  h av e  s m aller   d im en s io n al  s izes  th an   th e  in p u t  im ag e.   L ik ewise,   th ir d   a n d   f o u r th - lay e r   C AE ’ s   d ec o d e r   co m p o n en t s   p er f o r m   ( 2 D  Dec o n v 4 - R eL U4 ,   2 D   Dec o n v 3 - R eL U3 )   i n   an   e n co d er ’ s   r ev er s e  o p e r atio n   s y m m etr ic  way .           Fig u r e  6 .   C AE   to p o lo g y ’ s   ar c h itectu r al  p r esen tatio n       T ab le  1 .   C AE   to p o l o g y ’ s   p ar a m eter   s ettin g s     La y e r s   I n p u t   S i z e   K e r n e l   S i z e   S t r i d e   O u t p u t   S i z e     En c o d e r   2 D   C o n v   ( E.   I n p u t )   × × 3   4 × 4 × 32   2 × 2 × 1   2 ⁄ × 2 ⁄ × 32   R e LU   2 ⁄ × 2 ⁄ × 32   -   -   2 ⁄ × 2 ⁄ × 32   2 D   C o n v   2 ⁄ × 2 ⁄ × 32   2 × 2 × 3   2 × 2 × 1   4 ⁄ × 4 ⁄ × 3   S i g m o i d   ( E .   O u t p u t )   4 ⁄ × 4 ⁄ × 3   -   -   4 ⁄ × 4 ⁄ × 3     D e c o d e r   2 D   D e c o n v 3   ( D .   I n p u t )   4 ⁄ × 4 ⁄ × 3   2 × 2 × 32   2 × 2 × 1   2 ⁄ × 2 ⁄ × 32   R e LU   2 ⁄ × 2 ⁄ × 32   -   -   2 ⁄ × 2 ⁄ × 32   2 D   D e c o n v 4   2 ⁄ × 2 ⁄ × 32   4 × 4 × 3   2 × 2 × 1   × × 3   S i g m o i d   ( D .   O u t p u t )   × × 3   -   -   × × 3       T h er ef o r e,   ef f ec tiv e   d etec tio n   ac cu r ac y   is   ac h iev e d   b y   u s in g   th e  ap p r o ac h   p r o v i d ed ,  em p l o y in g   two   d if f er en t  d atasets .   I n   co m p a r i s o n   to   th e  ex is tin g   m eth o d s ,   t h e  d im en s io n ality   f ailu r e  an d   d etec tio n   tim e  ar e   lo w.   Hen ce ,   t h e  im p lem e n ted   wo r k   is   an al y ze d   f o r   th e  h ig h l y   ac cu r ate   u s e  in   b lin d   im ag e   f o r g er ies  e f f icien t   d etec tio n .   T h e  f o llo win g   s ec tio n   p r o v id es a   clea r   a n aly s is   o f   th e  p er f o r m an ce   o f   t h e  im p le m en ted   s y s tem .     Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 5 0 2 - 4 7 52   I n d o n esian   J   E lec  E n g   &   C o m p   Sci ,   Vo l.  36 ,   No .   2 ,  No v em b er   20 24 :  1 1 1 4 - 1 1 2 6   1122   4.   RE SU L T S AN D  D I SCU SS I O N   T h e   im p lem e n ted   m et h o d   is   tr ain ed   on   two   d atasets ,   C ASI A  V1   an d   GR I P.  I n tel  c o r e   i7   p r o ce s s o r ,   W in d o ws  1 0   ( 6 4 - b it)  o p er atin g   s y s tem   an d   1 6   GB   R AM   ar e  t h e  s y s tem   r eq u ir em e n ts   f o r   im p lem en tin g   t h e   s u g g ested   m eth o d .   T h is   m et h o d ’ s   e f f ec tiv en ess   is   ca lcu l ated   in   ter m s   o f   s p ec if icity ,   r ec all,   F 1 - s co r e,   p r ec is io n ,   s en s itiv ity   an d   ac c u r ac y ,   ex p lain ed   b el o w.     4 . 1 .     E v a lua t i o n  pa ra m e t er s   T h e  p a r am eter s   lik e   s p ec if icit y ,   r ec all,   F 1 - s co r e,   p r ec is io n ,   s en s itiv ity   an d   ac cu r ac y   ar e   u tili ze d   to   co m p u te  m o d el  p er f o r m an ce .   T h e  p ar am eter s   ar e  ex p r ess ed   m ath em atica lly   in   th e  f o llo win g   ( 2 3 ) ,   ( 2 4 ) ,   ( 2 5 ) ,   ( 2 6 ) ,   ( 2 7 )   an d   ( 2 8 ) .   W h er e ,    ,    ,     an d      ar e   d en o ted   as   f alse  p o s itiv e,   f alse  n eg ativ e ,   tr u e   n e g ativ e   an d   tr u e  p o s itiv e.       =   +    ( 2 3 )       =   +      ( 2 4 )       =  +   +  +  +        ( 2 5 )     −  =   ∗   +      ( 2 6 )        =  (  +  )     ( 2 7 )     Sp e c ifi c ity =  (  +  )     ( 2 8 )     4 . 2 .     Q ua ntit a t iv e  a nd   qu a lita t iv e  a na ly s is   T h is   s ec tio n   p r o v id es  an   ex a m in atio n   o f   th e  C AE   m eth o d   to   d eter m in e  th e  F 1 - s co r e,   s p ec if icity ,   r ec all,   p r ec is io n ,   s en s itiv ity   an d   ac cu r ac y .   T h e  C AE   m eth o d ’ s   p er f o r m an ce   is   ev alu ated   u s in g   two   d atasets   of   C ASI A  V1   an d   GR I P.  T h e  ef f ec tiv en ess   o f   th e  im p lem e n ted   m o d el  is   r ep r esen te d   in   d if f er en t ta b les b elo w.     4 . 2 . 1 .   P er f o r m a nce  a na l y s is   us ing   CA SI A  V1   da t a s et   T ab le  2   r ep r esen ts   th e   p r e s en ted   f ea tu r e   ex tr ac tio n   m eth o d ’ s   p er f o r m an ce .   T h e   p r esen ted   H‑ ( DT C W T – DC T )   an d   VGG - 16  m et h o d s   ar e   co m p ar e d   with   th e   cu r r e n t  f ea t u r e  ex tr ac tio n   m et h o d s   in clu d in g   DT C W T ,   VGG - 1 6 ,   an d   co m p lex   wav elet  tr an s f o r m   ( C W T )   u s in g   th e  C ASI A  V1   d ataset .   T h e  p r esen ted   H‑ ( DT C W T – DC T )   an d   VGG - 16  m eth o d s   ac h iev e   th e  h ig h est  v al u es  o f   9 0 %  p r e cisi o n ,   9 1 %  r ec all ,  9 3 %  ac cu r ac y ,   8 5 %  F 1 - s co r e,   9 2 %   s en s itiv ity ,   an d   8 9 %  s p ec if icity ,   in   co n tr ast  to   t h e   ex is tin g   f ea tu r e   ex tr ac tio n   m eth o d s .   T ab le  3   d en o tes  th e  p r esen ted   f ea tu r e  s elec tio n   m eth o d ’s   p er f o r m an ce .   T h e  p r esen ted   I HH  tech n iq u e   is   co m p ar ed   with   cu r r en t  f ea t u r e  s elec tio n   m o d els  lik e  th e  f r u it  f ly   o p tim izatio n   alg o r ith m   ( FOA) ,   ar tific ial  b ee   co lo n y   ( AB C ) ,   an d   cr o w  s ea r ch   alg o r ith m   ( C SA)   o n   th e  C ASI A  V1   d ataset.   T h e  p r e s en ted   I HH  m eth o d   ac h iev e s   th e  h ig h est  v alu es  o f   9 2 . 2 1   %  p r ec is io n ,   9 3 . 7 9 %  r e ca ll,  9 5 . 6 2 %  ac cu r ac y ,   9 2 . 8 7 %  F 1 - s co r e,   9 0 . 9 8 %   s en s itiv ity   an d   9 4 . 2 6 % sp ec if icity ,   wh en   co m p ar ed   with   o th er   f ea tu r e  s elec tio n   m et h o d s .       T ab le  2 .   Per f o r m an ce   o f   f ea tu r e  ex tr ac tio n   m eth o d s   F e a t u r e   e x t r a c t i o n   m e t h o d s   A c c u r a c y   ( %)   P r e c i s i o n     ( %)   F1 - sc o r e     ( %)   R e c a l l   ( %)   S p e c i f i c i t y   ( %)    S e n s i t i v i t y   ( %)   C W T   71   65   75   68   79   70   D TC W T   65   72   66   75   75   68   VGG - 16   75   74   81   66   71   65   H ‑ ( D TC W T – D C T)   a n d   V G G - 16   93   90   85   91   89   92       T ab le  3 .   Per f o r m an ce   o f   f ea tu r e  s elec tio n   m eth o d s   F e a t u r e   s e l e c t i o n   me t h o d s   A c c u r a c y   ( %)   P r e c i s i o n     ( %)   F1 - sc o r e     ( %)   R e c a l l   ( %)   S p e c i f i c i t y   ( %)    S e n s i t i v i t y   ( %)   F O A   7 9 . 8 9   8 0 . 7 8   8 3 . 4 6   8 1 . 7 1   8 6 . 7 4   8 5 . 5 1   C S A   8 2 . 5 6   8 9 . 1 2   8 5 . 1 3   9 0 . 8 2   9 1 . 6 3   8 7 . 6 2   A B C   9 1 . 2 3   8 6 . 4 5   8 9 . 7 9   8 8 . 9 3   8 7 . 5 2   8 8 . 8 4   I H H   9 5 . 6 2   9 2 . 2 1   9 2 . 8 7   9 3 . 7 9   9 4 . 2 6   9 0 . 9 8   Evaluation Warning : The document was created with Spire.PDF for Python.
I n d o n esian   J   E lec  E n g   &   C o m p   Sci     I SS N:   2 5 0 2 - 4 7 52       Dete ctio n   o f c o lo r iz a tio n   b a s ed   ima g e  fo r g eries   u s in g   co n v o lu tio n a l  … ( S o u mya s h r ee   Mu r a lid h a r   P a n ch a l )   1123   T ab le  4   s h o ws  th e  im p lem e n ted   m o d el ’s   class if icatio n   p er f o r m an ce .   T h e  p r esen ted   C AE   m o d el  is   co m p ar ed   with   cu r r en t  class if icatio n   m o d els  s u ch   as   VGG - 1 6 ,   I n ce p tio n   an d   Xce p tio n Net   u s in g   th e  C ASI A   V1   d ataset.   T h e  im p lem en ted   C AE   m eth o d   attain s   th e  h ig h est  v alu es  o f   9 9 . 5 3 %   p r ec is io n ,   9 9 . 6 2 %  r ec all,   9 9 . 9 5 %  ac cu r ac y ,   9 9 . 8 2 %  F 1 - s co r e,   9 9 . 7 0 %  s en s itiv ity ,   an d   9 9 . 8 9 %  s p ec if icity   wh en   co m p ar ed   to   th e   o t h er   class if icatio n   m o d els.       T ab le  4 .   Per f o r m an ce   o f   class if icatio n   m o d els   C l a s si f i c a t i o n   me t h o d s   A c c u r a c y   ( %)   P r e c i s i o n     ( %)   F1 - sc o r e     ( %)   R e c a l l   ( %)   S p e c i f i c i t y   ( %)    S e n s i t i v i t y   ( %)   VGG - 16   9 1 . 8 4   8 9 . 8 2   8 8 . 9 4   9 2 . 3 1   8 5 . 9 9   9 0 . 8 9   I n c e p t i o n   9 5 . 5 2   9 2 . 7 1   9 3 . 6 1   9 0 . 6 4   9 4 . 8 1   9 1 . 5 7   X c e p t i o n N e t   9 3 . 2 8   9 0 . 9 3   9 4 . 3 7   8 8 . 9 7   9 5 . 7 8   9 5 . 2 6   C A E   9 9 . 9 5   9 9 . 5 3   9 9 . 8 2   9 9 . 6 2   9 9 . 8 9   9 9 . 7 0       4 . 2 . 2 .   P er f o r m a nce  a na l y s is   us ing   G RIP  da t a s et   T ab le  5   r ep r esen ts   th e  p r o p o s ed   m eth o d ’ s   f ea tu r e  e x tr ac tio n   p er f o r m a n ce .   T h e   p r esen ted   H‑ ( DT C W T – DC T )   an d   VGG - 16  m eth o d s   ar e  co m p ar e d   with   cu r r en t m et h o d s   o f   f ea t u r e  e x tr ac tio n ,   in clu d in g   DT C W T ,   VGG - 16  an d   CWT   o n   th e  GR I P  d ataset .   T h e  p r esen ted   H‑ ( DT C W T – DC T )   an d   VGG - 16  m eth o d s   attain   s u p er io r   v al u es  o f   9 1 %  p r ec is io n ,   9 2 %  r ec all,   9 3 %  ac cu r ac y ,   9 0 %   F 1 - s co r e,   9 1 %   s en s itiv ity   an d   9 2 %   s p ec if icity ,   in   co n tr ast to   th e   e x is tin g   m eth o d s   o f   f ea tu r e   ex tr ac tio n .       T ab le  5 .   Per f o r m an ce   o f   f ea tu r e  ex tr ac tio n   m eth o d s   F e a t u r e   e x t r a c t i o n   m e t h o d s   A c c u r a c y   ( %)   P r e c i s i o n     ( %)   F1 - sc o r e     ( %)   R e c a l l   ( %)   S p e c i f i c i t y   ( %)    S e n s i t i v i t y   ( %)   C W T   89   70   88   79   85   87   D TC W T   90   89   75   84   89   79   VGG - 16   78   85   86   90   76   81   H ‑ ( D TC W T – D C T)   a n d   V G G - 16   93   91   90   92   92   91       Fu r th er m o r e ,   T ab le  6   r ep r e s en ts   th e  p r o p o s ed   m eth o d ’s   f ea tu r e  s elec tio n   p er f o r m an ce .   T h e   p r esen ted   I HH  m eth o d   is   co m p ar ed   with   cu r r en t  f ea tu r e  s elec tio n   tech n iq u es  lik e  th e  f r u it  FOA ,  A B C ,   an d   C SA   o n   th e   GR I P  d ataset.   T h e  p r esen ted   I HH  m eth o d   ac h iev e s   th e   h ig h est  v alu es  o f   9 3 . 8 9 %  p r ec is io n ,   9 4 . 4 9 %  r ec all,   9 5 . 3 5 %  ac cu r ac y ,   9 3 . 9 5 %  F 1 - s co r e,   9 3 . 9 5 %  s en s itiv ity ,   an d   9 2 . 6 2 %  s p ec if icity ,   co n tr ar y   to   th e  ex is tin g   f ea tu r e  s elec tio n   m eth o d s .       T ab le  6 .   Per f o r m an ce   o f   f ea tu r e  s elec tio n   m eth o d s   F e a t u r e   s e l e c t i o n   me t h o d s   A c c u r a c y   ( %)   P r e c i s i o n     ( %)   F1 - sc o r e     ( %)   R e c a l l   ( %)   S p e c i f i c i t y   ( %)    S e n s i t i v i t y   ( %)   F O A   8 7 . 3 6   8 8 . 3 5   8 2 . 9 3   8 5 . 9 6   7 9 . 9 8   9 0 . 4 5   C S A   9 2 . 2 5   8 2 . 5 9   8 5 . 8 1   8 6 . 8 5   8 6 . 8 9   8 3 . 9 7   A B C   8 9 . 1 4   9 0 . 7 8   8 9 . 5 0   9 1 . 7 4   8 1 . 7 2   8 5 . 8 4   I H H   9 5 . 3 5   9 3 . 8 9   9 2 . 7 5   9 4 . 4 9   9 2 . 6 2   9 3 . 9 5       T a b l e   7   s h o w s   t h e   i m p l e m e n te d   m o d e l ’s   c l a s s i f i c a ti o n   p e r f o r m a n c e .   T h e   p r e s e n t e d   C AE   m e t h o d   i s   c o m p a r e d   w i t h   c u r r e n t  c l as s i f ic a t i o n   VG G - 1 6 ,   I n c e p t i o n ,   a n d   X c e p t i o n N et   m o d e ls   o n   t h e  G R I P   d a t as et .   T h e  i m p l e m e n t e d   C A E   m e t h o d   a ch i e v e s   t h e  h i g h e s t   v a l u es   o f   9 9 . 5 9 %  p r e c i s i o n ,   9 9 . 7 0 %   r e c a ll ,   9 9 . 9 7 %   a c c u r a c y ,   9 9 . 4 8 %   F 1 - s c o r e ,   9 9 . 6 2 %   s e n s i t i v i t y   a n d   9 9 . 5 8 %   s p e c i f i ci t y ,   c o n t r a r y   t o   t h e   e x i s t i n g   c l as s i f ic a t i o n   m o d e l s .       T ab le  7 .   Per f o r m an ce   o f   class if icatio n   m o d els   C l a s si f i c a t i o n   me t h o d s   A c c u r a c y   ( %)   P r e c i s i o n     ( %)   F1 - sc o r e     ( %)   R e c a l l   ( %)   S p e c i f i c i t y   ( %)    S e n s i t i v i t y   ( %)   VGG - 16   8 5 . 9 0   8 0 . 9 7   9 1 . 6 8   8 9 . 9 8   9 5 . 1 7   8 7 . 8 4   I n c e p t i o n   9 3 . 8 4   9 2 . 5 0   9 2 . 1 8   9 0 . 6 5   9 3 . 2 8   8 9 . 9 5   X c e p t i o n N e t   8 9 . 9 9   9 0 . 6 4   9 3 . 3 5   9 2 . 3 2   9 2 . 9 3   9 4 . 8 6   C A E   9 9 . 9 7   9 9 . 5 9   9 9 . 4 8   9 9 . 7 0   9 9 . 5 8   9 9 . 6 2       Evaluation Warning : The document was created with Spire.PDF for Python.