T E L K O M N I K T elec o m m un ica t io n,  Co m pu t ing ,   E lect ro nics   a nd   Co ntr o l   Vo l.   19 ,   No .   3 J u n e   2 0 2 1 ,   p p .   8 5 8 ~8 7 1   I SS N:  1 6 9 3 - 6 9 3 0 ,   ac cr ed ited   First  Gr ad b y   Kem en r is tek d i k ti,  Dec r ee   No : 2 1 /E/KPT /2 0 1 8   DOI : 1 0 . 1 2 9 2 8 /TE L KOM NI K A. v 1 9 i3 . 1 8 1 5 7     858       J o ur na l ho m ep a g e h ttp : //jo u r n a l.u a d . a c. id /in d ex . p h p /TELK OM N I K A   A comp a ra tive a n a ly sis  of auto ma tic  deep  neural n et wo rks for  ima g e re trieva l       H a na n A.   Al - J ub o uri ,   Sa wsa n M .   M a hm m o d   Co m p u ter E n g in e e rin g   De p t.   Co ll e g e   o E n g i n e e rin g M u sta n siriy a h   Un i v e rsity Ba g h d a d ,   I ra q       Art icle  I nfo     AB S T RAC T   A r ticle  his to r y:   R ec eiv ed   J u l 1 0 ,   2 0 2 0   R ev is ed   Sep   9 ,   2 0 2 0   Acc ep ted   Sep   2 0 ,   2 0 2 0       F e a tu re   d e sc rip to a n d   sim il a rit y   m e a su re a re   th e   two   c o re   c o m p o n e n ts  i n   c o n ten t - b a se d   ima g e   re tri e v a l   a n d   c r u c ial  issu e d u e   to   se m a n ti c   g a p   b e twe e n   h u m a n   c o n c e p tu a m e a n in g   a n d   a   m a c h in e   l o w - lev e fe a tu re .   Re c e n tl y ,   d e e p   lea rn i n g   tec h n i q u e h a v e   s h o wn   a   g re a in tere st   in   ima g e   re c o g n it i o n   e sp e c iall y   in   e x trac ti n g   fe a tu re in f o rm a ti o n   a b o u t h e   ima g e s.  In   th is  p a p e r,   we   in v e stig a ted ,   c o m p a re d ,   a n d   e v a lu a ted   d iff e re n d e e p   c o n v o lu ti o n a n e u ra l   n e two r k a n d   th e ir  a p p li c a ti o n f o ima g e   c las sifica ti o n   a n d   a u to m a ti c   ima g e   re tri e v a l.   Th e   a p p ro a c h e a re sim p le  c o n v o l u ti o n a n e u ra n e two rk ,   Ale x Ne t,   G o o g l e Ne t,   Re sN e t - 5 0 ,   V g g - 1 6 ,   a n d   V g g - 1 9 .   We   co m p a re d   th e   p e rfo rm a n c e   o t h e   d iffere n a p p ro a c h e t o   p r io w o rk in   th is   d o m a in   b y   u si n g   k n o wn   a c c u r a c y   m e tri c a n d   a n a ly z e d   th e   d iffere n c e b e twe e n   th e   a p p r o a c h e s.  Th e   p e rfo rm a n c e o th e se   a p p r o a c h e a re   in v e stig a te d   u si n g   p u b l ic  ima g e   d a tas e ts  c o re l   1K c o re l   1 0 K,   a n d   C a lt e c h   2 5 6 .   He n c e ,   we   d e d u c e d   t h a G o o g leN e a p p r o a c h   y ield s   th e   b e st   o v e ra ll   re su lt s.   In   a d d it i o n ,   we   i n v e sti g a ted   a n d   c o m p a re d   d iffere n sim il a rit y   m e a su re s.  Ba se d   o n   e x h a u ste d   m e n ti o n e d   in v e stig a ti o n s,   we   d e v e l o p e d   a   n o v e l   a lg o rit h m   f o ima g e   re tri e v a l .   K ey w o r d s :   C o n ten t - b ased   im ag r etr iev al   C o n v o lu tio n al   n eu r al  n etwo r k s     I m ag class if icatio n   I m ag r etr iev al  d ee p   lear n in g   T h is i a n   o p e n   a c c e ss   a rticle   u n d e th e   CC B Y - SA   li c e n se .     C o r r e s p o nd ing   A uth o r :   Han an   A.   Al - J u b o u r i   Dep ar tm en t o f   C o m p u ter   E n g i n ee r in g   Mu s tan s ir iy ah   Un iv er s ity   Palest in Stre et,   B ag h d ad ,   I r a q   E m ail:  h an an alju b o u r i@ u o m u s tan s ir iy ah . ed u . iq       1.   I NT RO D UCT I O N   T o d ay ,   d i g ital  p h o to g r ap h ic  d ev ices  ar wid ely   u s ed   r esu lti n g   lar g v o lu m es  o f   d ig ital  im ag es  h av e   b ein g   ac q u ir e d   an d   s to r e d   in   d atab ases   in   d if f e r en f ield s   s u c h   as  s cien tific   r esear c h ,   m ed ic al,   f o r e n s ic  an aly s is ,   an d   s o cial  n etwo r k in g .   So ,   th r etr iev al  o f   t h es im ag es  s h o u ld   b d o n e   ef f ec tiv el y   an d   f ast.  I n f o r m atio n   r etr iev al  ( I R )   attem p ts   to   f in d   m ater ial  s u ch   as  im ag es  o r   tex ts   ( d o cu m en ts )   wh ich   h a v u n s tr u ctu r ed   f o r m   to   g et  in f o r m atio n   f r o m   lar g e   v o lu m o f   th ese  m ater ials   [ 1 ,   2 ] .   I n   ea r l y   im ag e   r etr iev al  s y s tem s ,   im ag es  ar e   in d ex ed   in   d atab ase  u s in g   t ex tu al  an n o tatio n   s u ch   as  k ey wo r d s   o r   p h r ases .   u s er   ask s   th s y s tem   to   f in d   s im ilar   im ag es  b y   en ter in g   th tex tu al  an n o tatio n   an d   th s y s tem   r etr iev es  im ag es  in   o r d er   ac co r d i n g   to   t h d eg r ee   o f   m atch   to   th a n n o t atio n .   Ho wev er ,   s o m lim itati o n s   f ac s u ch   m eth o d .   Fo r   in s tan ce ,   it  is   tim e   co n s u m in g   t o   an n o tate  im ag es in   lar g e - s ca le  d atab ase  m an u ally   an d   th e   tex t m ay   n o t a v a ilab le  d u r in g   im ag e   ca p tu r in g   r esp ec tiv ely .   C o n s e q u en tly ,   co n te n t - b ased   im ag e   r etr iev a l   ( C B I R )   is   p r o ce s s   th at  e x tr ac im a g f ea tu r ( v is u al  c o n ten t)   to   r ep r esen t im ag es a u to m atica lly   an d   in d ex   th em   in   a   d atab ase  [ 3 ] .   Fig u r 1   illu s tr ates  ty p ical  d iag r am   o f   C B I R   s y s tem   th at  s t o r es  im ag es  in   th d atab ase  b y   ex tr ac tin g   im ag f ea tu r es  at   o f f - lin p h ase  [ 4 ] .   Me an wh ile,   t h s y s tem   e x tr ac ts   f ea tu r e   v ec to r   f r o m   a   q u er y   im ag i n   th e   Evaluation Warning : The document was created with Spire.PDF for Python.
T E L KOM NI KA   T elec o m m u n   C o m p u t E l Co n tr o l         A   co mp a r a tive  a n a lysi s   o f a u t o ma tic  d ee p   n eu r a l n etw o r ks fo r   ima g r etri ev a l   ( Ha n a n   A .   A l - Ju b o u r i )   859   s am way   an d   co m p a r es  it  with   th im ag f ea tu r es  in   th d at ab ase  u s in g   s im ilar ity   m ea s u r e.   T h m o s s im ilar   im ag es  ar o r d er ed   in   r a n k ed   l is an d   r etu r n ed   to   th u s er   at  o n - lin p h ase.   Hen ce ,   s o m ir r elev an im ag es  ar e   r etr iev ed   in   th r an k e d   lis d u to   ch allen g s o - ca lled   “sem an tic  g ap ”  wh i ch   is   th g ap   b etwe en   h ig h   an d   lo w   lev el  f ea tu r es  in   m ea n in g   [ 4 ] .   T h er ef o r e,   th e   aim   o f   r esear ch e r s   in   C B I R   is   h o to   d ev el o p   a   s y s tem   o r   alg o r ith m   th at  ca n   b r id g th s em an tic  g ap   b etwe en   h u m an   co n ce p tu al  m ea n in g   f o r   im ag es  an d   m ac h in es  s u ch   as  co m p u ter .   I n   o t h er   wo r d s ,   h o th C B I R   s y s tem   ca n   ex tr ac ef f ec tiv f ea tu r es  th at  r e p r esen th im ag in   th e   d atab ase  an d   r etr ie v in   ter m s   o f   r elev a n t   im ag es .           Fig u r 1 .   T y p ical  d iag r am   o f   C B I R   s y s tem         T h m ain   c o n tr ib u tio n s   o f   th i s   p ap er   ar e   as  f o llo ws:   f i r s t,  c o n v o lu ti o n   n e u r al  n etwo r k s   ( C NNs )   ar e   in v esti g ated   to   class if y   h u g e   am o u n o f   im ag es.  I n   o u r   in v esti g atio n ,   d if f er e n d ee p   lear n in g   ap p r o ac h es  ar e   u s ed   in   class if icatio n   s u ch   im ag es.  Seco n d ,   th C NNs a p p r o a ch es a r ex p lo ited   t o   lear n   f ea tu r es o f   im ag es f o r   im ag r etr iev al.   T h ir d ,   d i f f er e n d is tan ce   f u n ctio n s   ar test ed   f o r   s im ilar ity   m ea s u r es.  T h aim   is   to   ju d g wh ich   d ee p   lear n in g   ap p r o ac h   ca n   p r o d u ce   ef f ec tiv e   f ea tu r es   an d   w h ich   d is tan ce   f u n ctio n   is   m o r e   ac cu r ate   to   r ed u ce   th s em an tic  g ap   is s u in   C B I R .   C o n s eq u en tly ,   n o v el  alg o r ith m   f o r   im a g r etr iev al   is   d ev elo p ed .   T h r em ain d er   o f   th is   p ap e r   is   s tr u ctu r ed   as  f o llo ws.  T h e   r elev an l iter atu r es  ar p r esen ted   i n   s ec tio n   2 .   T h p r o p o s ed   C NNs  u s ed   in   th is   p ap er   ar d escr ib ed   in   s ec tio n   3   wh ile  s ec tio n   4   d escr ib es  th im a g es  d atasets   u s ed   in   th e   in v esti g atio n   an d   p r esen ts   th ex p er im en tal  r esu lts   an aly s is   o f   o u r   e v alu atio n   s y s tem .   Fin a lly ,   s ec tio n   5   d r aws   th f in d in g   o f   o u r   p ap e r   an d   g i v es a   r ec o m m e n d atio n   f o r   f u r t h er   wo r k s .       2.   RE L E T AT E WO RK   Nu m er o u s   s tu d ies  o f   liter atu r h av in v esti g ated   C NNs  in   im ag r etr iev al.   I n   th is   s ec tio n ,   we  will   p r esen t so m o f   th liter atu r e s   u s in g   C NNs in   th ese  s tu d ies.  Fo r   ex am p le,   in   [ 5 ]   th r ee   C NN  f ea tu r es f o r   I R   ar e   p r o p o s ed   b y   f u s in g   th p r o d u ct  r u le  an d   th we ig h ted   av er ag o f   f ea tu r es  s im ilar ity .   T h e   au th o r s   ex tr ac th e   f ea tu r es  o f   im a g es  u s in g   t h r ee   k in d s   o f   C NNs.  Af ter   th at,   b y   u s in g   p r o d u ct  r u le,   th weig h ted   f ea tu r s im ilar ities   b etwe en   th q u er y   an d   d atab a s im ag ar ca lcu lated .   Fin ally ,   th r etr ie v al  r e s u lt  is   f o u n d   b y   r etu r n in g   t h e   im ag es  with   th h ig h est  to p - n   s co r es.  Als o ,   in   [ 6 ] ,   t h f ea tu r es  o f   th e   im ag es  ar e x tr ac te d   b y   an aly zin g   th e   class ical  C NN  an d   th en   th r esu lts   ar co m p ar ed   with   th r ee   class ical  alg o r ith m s .   T h p er f o r m an ce   o f   th e   r etr iev al  s y s tem   is   im p r o v ed   b y   co m b i n in g   c o s in s im ilar ity   m ea s u r em en t a p p r o ac h .   d ee p   C NN  m o d el  is   u tili ze d   in   [ 7 ]   to   e x tr ac th e   f ea tu r r ep r esen tatio n   f r o m   th ac tiv at io n s   o f   th e   co n v o l u tio n al  lay er s   in   lar g e   im ag d ataset  f o r   ap p licatio n s   s u ch   as  r em o te  s en s in g   a n d   p lan b io lo g y .   T h en   d atab ase  in d ex in g   s tr u ctu r an d   r ec u r s iv d en s ity   esti m atio n   ar estab lis h ed   to   r etr iev th im ag es  in   f ast  an d   ef f icien way .   Als o ,   to   im p r o v th ac cu r ac y   o f   th im ag r etr iev al  an d   p r ev e n th o v er f itti n g   o f   tr ain in g   a   C NN ,   th au th o r s   i n   [ 8 ]   p r o p o s d ee p   C NN  with   L 1   r eg u la r izatio n   an d   an   ac tiv atio n   f u n c tio n   n am e d   PR elu .   T h d ee p   n etwo r k   is   s u cc ess f u lly   u s ed   to   s im u late  th b r ain   o f   h u m an   b y   r ec eiv in g   an d   tr a n s f er r in g   in f o r m atio n   an d   it c o n tain s   c o n v o lu tio n   o p er atio n   w h ich   is   ap p r o p r iate   in   im ag p r o ce s s in g .   I n   [ 1 ] ,   d ee p   b elief   n etwo r k   is   in v esti g ated   a n d   tr ain ed   to   lear n   lar g s ca le  r e p r esen tatio n s   f r o m   th e   im ag es  f o r   ap p licatio n   wh er C B I R   jo b s   ar u s ed .   I n   t h at  wo r k ,   s im ilar ity   m ea s u r es  ar ap p lied   f o r   C B I R   task s .   T h e   au th o r s   in   [ 9 ]   in v esti g ate  t h u s in g   o f   C NN  f o r   C B I R   jo b s   as  well   wh er d if f er en s ettin g   ar im p lem en ted   an d   test ed .   h y b r id   o f   C NN  a n d   s u p p o r t   v ec to r   m ac h in ( SVM)   m o d el   is   p r o p o s ed   in   [ 2 ]   u s in g   th e   m in im u m   n u m b er   o f   m ater ials   a n d   tim e   r eso u r ce s .   T h e   l ast  o u tp u lay e r   o f   th p r o p o s ed   C NN  is   ch an g ed   with   a   class if ier   b ased   o n   SVM.   T h e r ar t wo   p ar ts   u s ed   in   th at  w o r k ,   co n v o l u tio n al  p a r an d   r ec o g n itio n   p a r t.  I n   th e   Evaluation Warning : The document was created with Spire.PDF for Python.
                    I SS N :   1 6 9 3 - 6 9 3 0   T E L KOM NI KA   T elec o m m u n   C o m p u t E l Co n tr o l Vo l.  19 ,   No .   3 J u n e   2 0 2 1 :   8 5 8   -   8 7 1   860   co n v o l u tio n al  p ar t,  th im ag es a r p ass ed   th r o u g h   s eq u en c o f   s ev er al  f ilter s   wh er n ew   im ag es a r f o r m in g   n am ed   co n v o lu tio n   m ap s .   I n   t h r ec o g n itio n   p ar t,  SVM  class if ier   is   tr ain ed   to   au to m atica lly   ex tr ac f ea tu r es  o n   test in g   im a g es  an d   tak th f in al  d ec is io n s .   A   k in d   o f   d ee p   lear n in g   is   ap p lied   to   class if y   im ag es  in   [ 1 0 ] .   Alex Net  d ee p   l ea r n in g   n etw o r k   is   ef f ec tiv ely   u s ed   o n   i m ag es  s elec ted   f r o m   I m ag e Net  d atab ase.   T h ex p er im en ts   a r co n d u cte d   o n   th e   im ag es  af te r   cr o p p i n g   im ag es  f o r   d i f f er en t   ar ea s .   I n   [ 1 1 ] ,   th s em an tic   f ea tu r es  o f   th e   im ag es   ar e x tr ac ted   u s in g   C NN  m o d el.   T h en ,   a   d is tan ce   f u n ctio n   is   co m p u ted   to   f in d   th e   s im ilar ity   b etwe en   th s em an tic  f ea tu r es o f   t h im ag es.   I n   [ 1 2 ] ,   a   C NN   ca lled   C o n v Net  ar tr ain e d   t o   class if y   m ed ical  im ag es.  T h m ed ical  i m ag es  ar e   ac q u ir ed   u s in g   c o m p u ted   to m o g r ap h y   o f   a n   o r g an   o r   b o d y   p ar t - s p ec if ic  an ato m ical.   T h p er f o r m an ce   o f   t h e   class if icatio n   is   im p r o v ed   u s i n g   d ata  au g m en tatio n .   Als o ,   d ee p   C NNs  ar p r o p o s ed   in   [ 1 3 ]   f o r   co n ten t   b ased   m ed ical  im ag r etr iev al.   Fo r   r etr iev al  p r o ce s s ,   two   ap p r o ac h es  ar p r o p o s ed .   T h f ir s ap p r o ac h ,   th n etwo r k   is   tr ai n ed   to   g et  th e   p r e d ictio n   o f   th q u er y   im ag e   class   an d   th en   th s p ec if ic   class   is   s ea r ch ed   f o r   r elev an im ag es.  I n   t h s ec o n d   ap p r o ac h ,   th w h o le  d ataset  is   s ea r ch ed   f o r   th r ele v an im ag e s   with o u in clu d i n g   in f o r m atio n   r elate d   to   th q u er y   im ag class .     A   C B I R   s y s tem   is   b u ilt  u s in g   co m b i n atio n   o f   d ee p   f ea tu r e s   g en er ated   b y   C NN  an d   SVM  to   tr ain   a   lin ea r   h y p er p la n in   [ 1 4 ] .   T h au th o r s   u s C NN  f o r   f ea tu r ex tr ac tio n   wh ile  SVM  is   ap p lied   to   f in d   th e   s im ilar ity   b etwe en   im ag p air s .   d ee p   r ep r esen tatio n   f o r   im a g r etr iev al  ca lled   r eg i o n al - m a x im u m   ac tiv atio n s   o f   co n v o lu tio n s   (R - MA C )   is   b u ilt  in   [ 1 5 ] .   Usi n g   R - MA C ,   n u m b er   o f   im ag r eg io n s   ar ag g r eg ated   in to   a   s m all  an d   f ix ed   len g th   f ea t u r e   v ec to r   r o b u s h e n ce   it  is   r o b u s to   s ca le  an d   tr an s latio n .   T h i s   d ee p   C NN  g iv es  h ig h   ac cu r ac y   s in ce   it  ca n   d ea with   im ag es  h av h ig h   r eso l u tio n   o f   d if f er e n r atio s .   I n   [ 1 6 ] ,   C NN  m o d el  is   tr ain ed   o n   I m ag eNe t - 2 0 1 2 .   T h en ,   f o r   C B I R   task ,   th f o u r   lay er s ,   wh ich   a r ex tr a cted   as  th f ea tu r e   r ep r esen tatio n   o f   th d ata,   ar ev alu a ted   u s in g   th r etr iev a p er f o r m an ce .   Fin ally ,   th o r ig in al  f ea tu r es  ar co m p ar ed   with   th b in a r ized   f ea tu r r ep r esen tatio n .   Dif f er en C NNs  with   ap p licatio n   to   C B I R   task s   ar ex am i n ed   an d   co m p ar ed   u s in g   v ar i ed   s ettin g s     in   [ 9 ] .   T h f ea tu r es r ep r esen ta tio n   o f   th im a g es a n d   th e   s im ilar ity   m ea s u r es b etwe en   im ag p air s   ar lear n t to   p r o ce s s   th task s   o f   C B I R .   T h au th o r s   attem p ts   to   ap p r o v if   C NNs  ar ef f ec tiv in   lear n in g   th f ea tu r es  o f   im ag es  wh en   ap p lied   to   C B I R   task s .   d ee p   C NN  m o d el  is   p r o p o s ed   in   [ 1 7 ]   to   lear n   th f ea t u r es  r ep r esen tatio n   f r o m   th ac tiv atio n s   o f   th co n v o lu ti o n al  lay er s .   T h au th o r s   s u g g est  th r ee   r etr ain in g   m eth o d s   in   o r d er   t o   im p r o v t h p er f o r m a n ce   o f   th r etr iev al  p r o ce s s   an d   th a m o u n o f   th r e q u ir e d   m em o r y .   T h ese  ar e:  f u lly   u n s u p er v is ed   r etr ain in g   w h en   n o   in f o r m atio n   is   av ailab le  b u o n ly   f r o m   th d ataset  its elf ,   r etr ain in g   with   r elev an ce   in f o r m atio n   wh e n   th lab els  o f   th tr ain in g   d ata  a r ex is ts ,   an d   r elev an ce   f ee d b ac k - b ased   r etr ain in g   wh en   th er a r f ee d b ac k s   f r o m   u s er s .       3.   DE E P   CO NVO L U T I O N E URAL N E T WO RK S   Ov er   th p ast  y ea r s   th er h a v b ee n   ex te n s iv s tu d ies  u s i n g   d ee p   lear n in g   n etwo r k s   ( DL Ns),   f o r   ex am p le,   d ee p   b elief   n etwo r k ,   B o ltzm an n   m ac h in es,  r estricte d   B o ltzm an n   m ac h in es,  d ee p   B o ltzm an n   m ac h in e,   an d   d ee p   n e u r al  n etwo r k ( DNN)   [ 9 ] .   I n   th is   s tu d y ,   we  h av in v esti g ated ,   co m p a r ed ,   a n d   ev alu ated   s o m e   co m m o n   DL Ns  an d   th eir   a p p licatio n s   f o r   im ag class if icatio n   an d   au to m atic  im ag e   r etr iev al.   T h ese  ar e:   Alex Net,   VGG - 1 6   an d   VGG - 1 9   n etwo r k s ,   Go o g leNe t,  R es Net.   W also   h av co m p a r ed   th p er f o r m an ce   o f   th ese  n etwo r k s   to   p r io r   wo r k s   in   th is   d o m ain   b y   u s in g   k n o wn   ac cu r ac y   m et r ics  an d   an al y ze d   th d if f er en ce s   b etwe en   th ap p r o ac h es.  I n   th f o llo win g   s u b s ec tio n s ,   we  w ill ex p lain   th ese  DL Ns.     3 . 1 .     Alex Net   Alex Net  is   k in d   o f   DL Ns  in tr o d u ce d   b y   Alex   Kr iz h e v s k y   [ 1 8 ] .   T h a r ch itectu r o f   Alex Net  co n v o l u tio n al  n etwo r k   is   illu s tr ated   in   Fig u r 2 .   As  s h o wn   in   th is   f ig u r e,   c o n v o lu tio n   an d   m ax   p o o lin g   o p er atio n s   ar im p lem en ted   a th f ir s co n v o lu tio n al  lay er   with   lo ca r esp o n s n o r m aliza tio n   ( L R N) .   T h co n v o l u tio n al  la y er   p ar am eter s   co n s is o f   s et  o f   lear n ab le   f ilter s .   T h ese  f ilter s   ca n   b u s ed   to   ca lcu late  t h e   f ea tu r es  o f   th e   im ag es  in   class ificatio n .   T h e   f ilter s   o f   th c o n v o lu tio n al  lay er s   a r u p d ated   b y   p er f o r m in g   th e   f u ll  co n v o l u tio n al  o p e r atio n   o n   th f ea tu r m ap s   b etwe en   th co n v o lu tio n al  lay er   an d   its   im m ed iate  p r ev io u s   lay er .   I n   th is   lay er ,   a b o u 9 6   d i f f er en r ec e p tiv f ilter s   ar u s ed   wh er th e   s izes  o f   th ese  f ilter s   ar 1 1 * 1 1 .   Als o ,   s tr id s ize  o f   2   an d   3 * 3   f ilte r s   ar u s ed   to   p er f o r m   th m a x   p o o lin g   o p er atio n .   T h jo b   o f   p o o lin g   lay e r   is   to   r ed u ce   th co m p u tatio n al  co m p lex ity   wh en   n o n lin ea r   d o w n   s am p lin g   is   p er f o r m ed .   T h s am o p er atio n s   ar e   im p lem en ted   b u with   5 * 5   f ilt er s   in   th s ec o n d   lay er ,   3 * 3   f i lter s   with   3 8 4 ,   3 8 4   an d   2 9 6   f e a tu r es  m ap s   in   th e   th ir d ,   f o u r th   an d   f if th   co n v o lu t io n al  lay er s .   Mo r im ag d etai ls   an d   lo ca f ea tu r im ag es  ar ex tr ac ted   s in ce   th s ize  o f   co n v o lu tio n al  lay er   a n d   s tr id is   s m all.   T wo   la y er s ,   wh ich   ar f u lly   c o n n ec ted   ( FC ) ,   ar u s ed   with   d r o p o u t.  I n   Alex N et  n etwo r k ,   th p r o b lem s   o f   tr ain in g   tim co n s u m in g   an d   o v er - f itti n g   p r o b lem s   ar s o lv ed   b y   d r o p o u o p er atio n .   Fin ally ,   s o f tm ax   lay er   is   u s ed .   Alex Net  h as  b ee n   u s ed   in   wid r an g o f   ap p licatio n s   s u ch   as o b ject  d etec tio n ,   v id eo   class if icatio n   an d   im ag s eg m en tatio n   [ 6 ,   1 2 ,   1 9 - 2 2 ] .     Evaluation Warning : The document was created with Spire.PDF for Python.
T E L KOM NI KA   T elec o m m u n   C o m p u t E l Co n tr o l         A   co mp a r a tive  a n a lysi s   o f a u t o ma tic  d ee p   n eu r a l n etw o r ks fo r   ima g r etri ev a l   ( Ha n a n   A .   A l - Ju b o u r i )   861   3 . 2 .   VG G - E   Net   VGG - E   n et  h as  b ee n   p r o p o s ed   b y   Simo y an   et  a l .   to   s im u late  th r elatio n   o f   d ep t h   o f   th e   n et wo r k   with   its   ca p ac ity ,   VGG - E   n et  m ad e   1 9   d ee p   lay er s   co m p ar in g   with   Alex Net.   Fig u r 3   s h o ws th e   ar ch itectu r o f   th e   VGG  n et.   I co n s is ts   o f   R eL ac tiv atio n   f u n ctio n   wh ich   is   u s ed   b y   two   co n v o lu tio n al  lay er s .   R eL is   also   u s ed   b y   s in g le  m ax   p o o lin g   lay er   an d   s o m f u lly   co n n ec ted   lay e r s .   T h p u r p o s b eh in d   p u ttin g   m ax   p o o lin g   af ter   th co n v o lu tio n al  lay e r   is   t o   t u n t h n et wo r k   an d   th e   p a d d in g   is   d o n e   to   p r eser v e   th e   s p atial  r eso lu tio n .   T h e   last   lay er   is   s o f tm ax   lay er   wh ich   is   u s ed   f o r   class if icatio n .   T h s ize  o f   th co n v o lu tio n   f il ter   is   3 x 3   an d   h as a   s tr id o f   2 .   B y   u s in g   s m all  s iz o f   f ilter s ,   it  p r o v id es  lo co m p u tatio n al  co m p lex ity   an d   r e d u ce s   th n u m b e r   o f   p ar am eter s .   T h er a r d if f er e n k in d s   o f   VGG - E   m o d els  wer p r o p o s ed .   T h ese  a r e:  VG G - 1 1 ,   VGG - 1 6 ,   a n d   VGG - 1 9   wh er e   th ese  m o d els  h av 1 1 ,   1 6 ,   a n d   1 9   lay er s   r esp ec tiv ely .   Alth o u g h ,   t h th r ee   m o d els  o f   VGG - h av th r ee   f u lly   co n n ec ted   at  th en d ,   VGG - 1 1   co n tain   8   co n v o lu tio n   lay er s ,   VGG - 1 6   h as  1 3   co n v o l u tio n   lay er s   an d   VGG - 1 9   c o n tain   1 3 8 w eig h ts   an d   1 5 . 5 MA C S [ 2 1 ,   2 3 ] .           Fig u r 2 .   Alex Net   L a y o u t w it h   its   co n v o lu tio n   an d   co n n ec te d   lay er s           Fig u r 3 .   VGG  n etwo r k   lay o u t w h er C o n v   is   th co n v o l u tio n   lay er   a n d   FC   is   f u ll c o n n ec ted       3 . 3 .     G o o g leNe t   Go o g leNe DL is   p r o p o s ed   b y   C h r is tian   Szeg ed y   et  a l.   [ 2 2 ] .   Go o g leNe n etwo r k   h as  b ee n   esp ec i ally   d esig n ed   to   r e d u ce   th co m p u tatio n al  co s an d   ac h iev h i g h   ac cu r ac y   co m p ar ed   with   t r ad itio n al  C NNs.  I t   p r esen ts   th co n ce p o f   in ce p t io n   b lo c k .   I t   h elp s   in   co m b i n i n g   m u lti  s ca le  co n v o lu tio n al  t r an s f o r m atio n s   b y   ex p lo itin g   th id ea   o f   s p lit  m er g an d   t r a n s f o r m   o p er atio n s .   T h u s ,   d if f e r en ty p es  o f   v ar i atio n s   in   th s am ca teg o r y   im ag es  with   d iv e r s r eso lu tio n s   ar lear n t.  I n ce p ti o n   b lo ck s   ar u s ed   in   r ep laci n g   th co n v en tio n al  lay er .   T h e y   h id f ilter s   o f   d if f er en t sizes ( 1 * 1   an d   3 * 3 )   t o   ca p tu r s p atial  i n f o r m atio n   [ 2 3 ,   2 1 ] .   T h ar ch itectu r o f   Go o g leNe is   i llu s tr ated   in   Fig u r 4 .   I n   th is   n etwo r k ,   n in in ce p tio n   m o d u les  ar e   u s ed   co n s is ts   o f   2 2   lay er s .   Al th o u g h ,   Go o g leNe h as  m an y   lay er s   co m p a r ed   t o   o t h er   n et wo r k s   b ef o r it,   th n u m b er   o f   th p ar am eter s   is   m u ch   lo wer   th an   Alex Net  an d   VGG  n etwo r k s .   I h as  7 p ar am eter s   wh ile  Alex Net   an d   VGG  h av 6 0 an d   1 3 8 p ar am eter s   r esp ec tiv ely .   Als o ,   Go o g leNe n etwo r k   h as  f o u r   m ax   p o o lin g   lay er s   an d   o n av e r ag p o o lin g   lay e r   i.e .   o n ly   lay er s   with   p ar am et er s .   T h av er ag e   p o o lin g   lay e r   h as  f ilter   with   a   s ize  o f   5 * 5   an d   h as  th r ee   s tr id es  wh ich   is   u s ed   b ef o r th cla s s if ier .   I also   u s es  d r o p o u lay er   wh ich   h as  r atio   o f   7 0 % f r o m   d r o p p ed   o u tp u ts .   All c o n v o lu tio n al  lay er s   an d   i n ce p tio n   m o d u les u s R eL u   [ 2 1 , 2 2 ].     Evaluation Warning : The document was created with Spire.PDF for Python.
                    I SS N :   1 6 9 3 - 6 9 3 0   T E L KOM NI KA   T elec o m m u n   C o m p u t E l Co n tr o l Vo l.  19 ,   No .   3 J u n e   2 0 2 1 :   8 5 8   -   8 7 1   862       Fig u r 4 .   Go o g leNe t a r ch itect u r e       3 . 3 .     ResNet   Deep   r esid u al  n etwo r k s   o r   ca ll ed   R esNet  i s   p r o p o s ed   b y   Kai m in g   He  et  a l .   [ 2 4 ] .   I is   o n o f   th s tates   o f   ar a n d   g r ea test   C NNs  u s ed   f o r   im a g r ec o g n itio n .   I n   I m a g eNe L ar g Scale  Vis u al  R ec o g n itio n   C h allen g es   in   2 0 1 5 ( I L SVR C - 1 5 ) ,   R esNet   wo n   th at  ch allen g with   to p   5   er r o r   o f   3 . 5 7 %.  Fo r   in s tan ce ,   R esNet - 5 0   h as   r ea ch ed   a n   av e r ag o f   5 . 2 5 % o f   to p - 5   e r r o r   wh en   it  is   tr ain e d   o n   1 . 2 8   m illi o n   tr ain in g   im a g es  in   1 0 0 0   class es.   I h as  s h o wn   h ig h   ac cu r ac y   i n   co m p u te r   v is io n .   Fig u r 5   s h o ws  th ar ch itectu r o f   R esNet - 5 0 .   I n   t h is   s tu d y ,   R esNet - 5 0   h as  b ee n   u s ed   f o r   im ag class if icatio n .   I n   th is   n etwo r k ,   5   co n v o lu tio n al  lay er s   ar u s ed   an d   th in p u t   im ag es  ar e   o f   s ize  2 2 4 * 2 2 4 * 3 .   R esNet - 5 0 ,   wh ic h   h as  5 0 - lay er   C NN  ar ch itectu r e ,   is   c o n s id er ed   to   b e   th e   f ir s d ee p   C NN  th at  ap p lied   r esid u al  lear n in g   [ 2 4 ,   2 5 ] .             Fig u r 5 .   Re sN e a rc h it e c tu r e       4.   P RO P O SE M E T H O D   I n   th is   wo r k ,   two   s ce n ar io s   ar f o llo wed im ag class if icatio n   an d   im ag r etr iev al.   Fig u r 6   s h o ws  th e   s tag es  o f   th f r am ewo r k ,   tr ai n in g ,   C NN  m o d el  tr ain in g ,   im ag class if icatio n ,   f ea tu r ex tr ac tio n ,   s im ilar ity   m ea s u r e,   an d   im a g r etr iev al.   Fo r   im ag class if icatio n ,   C NNs  ar in v esti g ated   to   class if y   h u g am o u n o f   im ag es.  I n   o u r   in v esti g atio n ,   d if f er en t   d ee p   lear n in g   ap p r o ac h es  ar e   u s ed   i n   class if icatio n   s u ch   im ag es.   T h e   C NNs  ap p r o ac h es  ar e x p lo it ed   to   lea r n   f ea tu r es  o f   im a g es.  I m ag e   class if icatio n   is   ac h ie v ed   b y   two   s tag es.  First,  s et  o f   tr ain in g   im a g es  th at  ass o ciate d   with   class   lab e ar u s ed   t o   tr ain   a   class if ier .   Seco n d ,   t h tr ai n ed   class if ier   is   u s ed   to   p r ed ict  th class   lab el  o f   q u er y   im ag e   b ased   o n   its   tr ain ed   k n o wled g e   ab o u th class .   Hen ce ,   th ac cu r ac y   o f   th e   class if ier   is   ev alu ated   ac co r d in g   to   co r r ec p r e d ictio n .   I m ag r etr iev al  is   im p lem en ted   u s in g   f ea tu r es  th at  ar lear n ed   b y   th C NNs  ap p r o ac h es  an d   th e n   r esu lts   ar co m p ar ed .   B ased   o n   o u tco m es a n d   an aly s es a   n ew  alg o r ith m   f o r   im ag e   r etr iev al  i s   d ev elo p ed   ( s ee   s u b s ec tio n   4 . 2 . 3 ) .     4 . 1 .     Da t a   s et s   Dif f er en t   d atasets   h av b ee n   u s ed   f o r   test in g   alg o r ith m s   o r   a p p r o ac h es in   C B I R .   T h d atasets   u s ed   in   th is   p ap er   to   ev alu ate   th p e r f o r m a n ce   o f   C NNs  ar d ata s ets  with   h ig h   q u ality   wh e r th im a g es  ar e     non - lab ele d   an d   c o m p r ess ed .   Data s ets  co r el  1 [ 2 6 ] ,   co r el  5 0 [ 2 6 ]   a n d   C altec h   2 5 6   [ 2 7 ]   ar u s ed   in   th is   wo r k   to   v alid ate  th p r o p o s ed   s y s tem .     Evaluation Warning : The document was created with Spire.PDF for Python.
T E L KOM NI KA   T elec o m m u n   C o m p u t E l Co n tr o l         A   co mp a r a tive  a n a lysi s   o f a u t o ma tic  d ee p   n eu r a l n etw o r ks fo r   ima g r etri ev a l   ( Ha n a n   A .   A l - Ju b o u r i )   863   4 . 1 . 1 .     Co re l 1 K   C o r el   1 d ataset  [ 2 6 ]   co n s is ts   o f   1 0 0 0   im ag es   with   1 0 0   f o r   ea ch   class .   T h e   s ize  o f   im ag es  is   ( 2 5 6 x 3 8 4 )   o r   ( 3 8 4 x 2 5 6 )   ea ch   im a g m ay   b o n o f   th e   ten   class   lab els  ( Af r ican   p ea p o le,   b ea c h ,   b u id in g s ,   b u s es,  d in o s au r s ,   elep h an ts ,   f lo wer s ,   h o u r s es,  m o u n tain s ,   an d   f o o d s ) .   T h ese  lab els  ar an n o tated   m an u ally   u s in g   an   E x ce f ile.     s am p le  o f   2 0   im ag es is   s h o wn   in   Fig u r 7   with   th eir   lab el s .     4 . 1 . 2 .     Co re l 1 0 K   C o r el   1 0 d ataset  [ 2 6 ]   co n s i s ts   o f   1 0 0 0 0   im ag es  with   1 0 0   f o r   ea c h   class .   T h s ize  o f   im ag es  is     ( 1 2 6 x 1 8 7 )   o r   ( 1 8 7 x 1 2 6 ) .   W s lecte d   5 0   class es,  ar t,  wem an ,   d o g ,   clo u d ,   m ac h r o o m ,   ca s tle,   g lass ,   b ea r ,   f ig h tin g   p eo p le,   a n d   f r u it .   Fig u r 8   s h o ws a  s am p le  o f   im ag es.     4 . 1 . 3 .     Ca lt ec h   2 5 6   C altec h   2 5 6   d ataset  [ 2 7 ]   co n s i s ts   o f   3 0 , 6 0 7   im ag es  o f   o b ject s   with   d if f er en s izes.  I m ag es  ar d iv id ed   in to   2 5 6   class s .   R esear ch er s   s e lect  s o m class e s   to   ev alu ate  th eir   ap p r o ac h es  o r   alg o r ith m s .   I n   o u r   ex p e r im en t,   we  ch o s 5 0   class es with   1 0 0   f o r   ea ch   class .   Fig u r 9   s h o ws   s am p le  o f   s o m im a g es.           Fig u r 6 .   Fra m ewo r k   o f   im ag e   class if icatio n   an d   r etr iev al                            ( a)                                                               ( b )                                                          ( c )                                                             ( d )                                                           ( e )                                          ( f )                                                         ( g )                                                             ( h )                                                             ( i)                                                               ( j)       Fig u r 7 .   Sam p le  o f   c o r el   1 i m ag es ( a)   Af r ican   Peo p le  1 ( b )   B ea ch   2 ( c)   B u ild in g s   3 ( d )   B u s es 4   ( e)   Din o s au r s   5 ( f )   E lep h an ts   6 ( g )   Flo wer s   7 ( h )   Ho r s es 8 ( i)   Mo u n tain s   9 ,   an d   ( j)   Fo o d s   1 0                                                                 Fig u r 8 .   Sam p le  o f   co r el   1 0 K   im ag es   Evaluation Warning : The document was created with Spire.PDF for Python.
                    I SS N :   1 6 9 3 - 6 9 3 0   T E L KOM NI KA   T elec o m m u n   C o m p u t E l Co n tr o l Vo l.  19 ,   No .   3 J u n e   2 0 2 1 :   8 5 8   -   8 7 1   864       Fig u r 9 .   Sam p le  o f   C altch 2 5 6   im ag es       4 . 2 .     E x perim ent a l r esu lt s   a nd   a na ly s is     I n   th is   s ec tio n ,   we  p r esen th r esu lts   o f   th ex p er im en ts   co n d u cted   to   ev alu ate  th ac cu r ac y   o f   I R   an d   co m p u tatio n al   ef ficien cy   b ase d   o n   p r p o s ed   C NNs  in   ter m s   o f   im a g class i f icatio n   a n d   im ag r er ie v al.   I m ag e   class if icatio n   is   ac h iev ed   b y   t wo   s tag es.  First,  s et  o f   tr ain in g   im ag es th at  ass o ciate d   with   class   lab el  ar u s ed   to   tr ain   class if ier .   Seco n d ,   th tr ain ed   class if ier   is   u s ed   to   p r ed ict  th class   lab el  o f   q u er y   im ag e   b ased   o n   its   tr ain ed   k n o wled g a b o u t h class .   Hen ce ,   th ac cu r ac y   o f   th class if ier   is   ev alu ated   ac co r d in g   to   co r r ec p r ed ictio n .   I R   r etu r n s   to p   T   im ag es  as  r an k ed   lis f r o m   d ata b ase  im ag es  th at  ar m o s s im ilar   to   q u er y   im ag e   b y   u s in g   a   s im ilar ity   m ea s u r e   with o u u s in g   class   lab els.  T h ac cu r ac y   is   ev alu ated   ac c o r d in g   to   h o m a n y   co r r ec im ag es  o u o f   th T   im ag es  in   th r an k ed   lis t.  All  ex p er im en ts   ar p er f o r m ed   u s in g   MA T L AB   2 0 1 8 a,   o n   co m p u ter   with   a   p r o ce s s o r   I n tel  co r e   i7   C PU 2 . 5   GHz   2 . 6   GHz   an d   8   GB   R AM .       4 . 2 . 1 .     E v a lua t io n o f   t he  perf o rm a nce    I n   im ag class if icatio n ,    co n f u s io n   m atr ix   is   u s u ally   u s ed   to   ev alu ate  th p er f o r m an ce   o f   a   class if ier .   T ab le  1   s h o ws  co n f u s io n   m atr ix   f o r   two   class es  an d   it  ca n   b ex ten d e d   in to   m   class es  ( i.e .   m   x   m ) .   T r u e   p o s itiv ( T P),   tr u e   n eg ativ e   ( T N) ,   f alse  n eg ativ ( FN) ,   an d   f alse  p o s i tiv ( FP )   ar th ter m s   g iv en   to   a n   im ag e   class if icatio n   test   [ 2 8 ] .   Pre cisi o n   o r   ac cu r ac y   is   ca lcu lated   as f o llo ws:      = ( , ) ( , ) = 1                 ( 1 )      =  = 1                   ( 2 )     wh er e,   AC   is   th p r ec is io n   o r   ac cu r ac y .       T ab le  1 .   C o n f u s io n   M atr ix                                               P r e d i c t e d   c l a ss       A c t u a l   c l a ss     C 1   C 2   C 1   TP   FN   C 2   FP   TN       I n   im ag r etr ie v al,   m ea n   a v e r ag p r ec is io n   ( MA P)  is   u s ed   f o r   ev alu atio n   b ased   o n   p r ec is i o n   ( P)  an d   av er ag p r ec is io n   ( AP)   [ 2 8 ] .     =                       ( 3 )     wh er e,     is   th p r ec is io n   o f   im a g r etr iev al,      is   n u m b er   o f   r ele v an r etr ie v ed   im a g es  an d      is   to tal  n u m b e r   o f   r etr iev e d   im ag es ,      = = 1                   ( 4 )     wh er e,      is   av er ag e   p r ec is io n   o f   im ag r etr iev al,     is   p r ec is io n   o f     im ag i n   th e   class ,   an d     is   to tal  n u m b er   o f   im ag es in   th e   class .     =  = 1                   ( 5 )     wh er e,     is   m ea n   av er ag p r ec is io n   o f   im a g r etr iev al ,      is   av er ag p r ec is io n   o f     class   im ag e,   an d     is   to tal  n u m b er   o f   class es in   th d atab ase.   Evaluation Warning : The document was created with Spire.PDF for Python.
T E L KOM NI KA   T elec o m m u n   C o m p u t E l Co n tr o l         A   co mp a r a tive  a n a lysi s   o f a u t o ma tic  d ee p   n eu r a l n etw o r ks fo r   ima g r etri ev a l   ( Ha n a n   A .   A l - Ju b o u r i )   865   4 . 2 . 2 .     I m a g cla s s if ica t io n   Ma n y   ex p e r im en ts   ar co n d u c ted   o n   th e   im ag d atasets .   T h tr ain in g   m o d els  o f   t h n etwo r k s   ar s et   u p   as  f o llo ws:   th d atasets   ar d iv id ed   in t o   7 0 f o r   tr ain in g ,   1 5 f o r   v alid atio n   a n d   1 5 f o r   test in g   d ata.   I n   ad d itio n ,   t h tr ain in g   p ar am et er s   f o r   th e   C NNs  ar s et  as  f o llo ws:   th lear n in g   r ate  is   s et  to   0 . 0 0 0 0 1 t h m ax im u m   e p o ch   n u m b er   is   4 3 5 .   Als o ,   th weig h o f   th lea r n in g   r ate  f ac to r   an d   b ias  lear n in g   r ate  f ac to r   ar s et   to   2 0   f o r   th e   lay er   o f   f u lly   co n n ec ted .     T h m o s co m m o n   C NNs  u s e d   in   th e   p ap e r   as  m en tio n ed   i n   th p r ev io u s   s ec tio n   ar e:  s i m p le  C NN,   Alex Net,   Go o g leNe t,  R esNet - 5 0 ,   Vg g - 1 6   an d   Vg g - 1 9 .   T h ese  m o d els  ar co m p a r ed   wit h   th co n v en tio n al  m eth o d s   u s ed   f o r   I R   s u ch   as  t h h u s atu r atio n   v alu ( HSV)   co lo u r   f ea tu r e,   g r ay   lev el  c o - o cc u r r e n ce   m atr ix   ( GL C M)   f ea tu r es  an d   s ca le  in v ar ian f ea tu r tr an s f o r m   ( SIFT )   [ 6 ] .   T h e   ac cu r ac y   o f   th r e s u lts   o f   th test in g   an d   v alid atio n   d ata  s ets  is   u s e d   o n   im ag d ata  to   ev al u ate  th p er f o r m a n c o f   th ese  m eth o d s .   T h r esu lts   o f   th e   co n v en tio n al  m eth o d s   an d   C NNs m o d els as   f ea tu r ex tr ac to r s   b ased   o n   co r el   1 d ataset  ar s h o wn   in   T ab le  2   with   d ata  a u g m en tatio n .   As ca n   b e   s ee n   f r o m   th is   tab le,   th e   b est ac cu r ac y   ar 9 9 %,  9 7 % a n d   9 5 % a ch iev e d   b y   C NNs   m o d els  wh en   th tr ain i n g ,   v ali d atin g   a n d   test in g   d ata  ar au g m en ted   co m p a r ed   wit h   th c o n v e n tio n al   ap p r o ac h es.        T ab le  2 .   Acc u r ac y   o f   C NNs m o d els as f ea tu r ex tr ac to r s   b ased   o n   c o r el   1 d ata  au g m e n tatio n   d ataset   M e t h o d   A c c u r a c y   ( %)   Tr a i n i n g   T i me   H S V   G LC M   S I F T   C N N   [ 5 ]   A l e x N e t   G o o g l e N e t   R e sN e t - 50   V g g - 16   V g g - 19   0 . 4 3   0 . 3 9   0 . 5 3   0 . 7 9   0 . 9 9   0 . 9 7   0 . 9 5   0 . 9 8   0 . 9 8   N o t   A v a i l a b l e   N o t   A v a i l a b l e   N o t   A v a i l a b l e   N o t   A v a i l a b l e   1 0   mi n .   7   m i n .   8 9   mi n .   4 3   mi n .   1 3 1   m i n .       Fo r   th co r el   1 d atasets ,   th m o d els  b ased   o n   th C NNs  m o d els  d id   co n v er g t o   ex ce llen ac cu r ac y   an d   d em o n s tr ate  h ig h   p er f o r m an ce   in   tr ain in g   s tag with   th least  n u m b er   o f   ep o ch s .   Alth o u g h ,   th er ar n o   s ig n if ican d if f er e n ce s   in   th co n v er g en ce s   o f   th m o d els  ( m o r th an   9 5 %),   th ey   to o k   m o r tr ain in g   tim f o r   co n v er g en ce   as  th e   co m p le x ity   o f   th e   C NNs  ar in cr ea s ed .   O n   th o t h er   h a n d ,   th co n v er g e n ce   ac cu r ac y   r esu lts   f o r   th e   s am d atasets   with o u t   d ata  au g m en tatio n   h av e   n o t   g iv en   g o o d   ac cu r ac y .   Fo r   e x am p le,   th e   test in g   ac cu r ac y   is   1 0 %,  4 6 an d   6 8 f o r   t h s im p le  C NN,   Alex N et  an d   Go o g leNe t r esp ec tiv ely .   I is   s h o w n   th at   to   im p r o v t h p er f o r m a n ce   o f   C NNs,  d ata  au g m en tatio n   ca n   s u cc ess f u lly   b u s ed .     A   s a m p l e   o f   3 0   c l as s   p r o b a b i li t ie s   r e s u l t s   f o r   b o t h   A le x N e t   a n d   G o o g l e N e t   c o n v o l u t i o n al   n e u r a l   n e t w o r k   a s   f e a t u r e   e x t r a c t o r s   w i t h   a u g m e n t a t i o n   i s   s h o w n   i n   F i g u r e   1 0 .   F r o m   t h e   r e s u l t s ,   it   i s   o b s e r v e d   t h a t   m o s t   c l as s es  h a v e   h i g h   a c c u r a c y ,   t h e   c l as s i f i c a t i o n   is   a l m o s t   s u c c es s f u l .   Al s o ,   i t   i s   s h o w n   t h a t   t h e   C N Ns  m o d e l s   r e s u l ts   a r e   s u p e r i o r   t o   t h e   k n o w n   t h r e e   m e t h o d s .   O n   t h e   o t h e r h a n d ,   t h e   r e s u l ts   o f   t h e   C N N s   m o d e ls   as   f e a t u r e   e x t r a ct o r s   b a s e d   o n   c o r e l   5 0 K   a n d   C a lt e ch   2 5 6   d a t a s e t s   a r e   s h o w n   i n   T ab l e   3   a n d   T a b l e   4   w i t h   d a t a   a u g m e n t a t i o n .   F r o m   t h e x p e r i m e n t s ,   i t   i s   a p p a r e n t   t h a t h e   c o r e l   1 K   i m a g e s   d a t a   a r e   c l a s s i f ie d   c o r r e c tl y   u s i n g   C N Ns   m o d e ls   wi t h   h i g h   a c c u r a c y   w h i l e   t h e   C a lt e c h   2 5 6   d a t a   w i t h   5 0   c l a s s es   h a s   l o a c c u r a c y .   I t   i s   c o n c l u d e d   t h a t h e   f e a t u r e s   o f   t h i m a g e s   a r e   l e a r n t   f r o m   t h e   p r e - t r a i n e d   m o d e l s   a n d   it   d o e s   n o t   n e e d   t o   s e a r c h   f e at u r e s   m a n u a ll y .             Fig u r 1 0 .   s am p le  o f   class   p r o b ab ilit ies o f   Alex Net  an d   Go o g leNe t f ea tu r e   ex tr ac tio n   o f   co r el   1 d ataset       Evaluation Warning : The document was created with Spire.PDF for Python.
                    I SS N :   1 6 9 3 - 6 9 3 0   T E L KOM NI KA   T elec o m m u n   C o m p u t E l Co n tr o l Vo l.  19 ,   No .   3 J u n e   2 0 2 1 :   8 5 8   -   8 7 1   866   T ab le  3 .   Acc u r ac y   o f   C NNs m o d els as f ea tu r ex tr ac to r s   b ased   o n   c o r el   5 0 d ata  au g m en t atio n   d ataset   M e t h o d   A c c u r a c y   ( %)   Tr a i n i n g   T i me   A l e x N e t   G o o g l e N e t   R e sN e t - 50   V g g - 16   V g g - 19   0 . 9 6   0 . 9 7   0 . 9 3   0 . 9 7   0 . 9 8   1 9 8   m i n .   3 2 4   m i n .   3 0 6   m i n .   5 6 4   m i n .   5 9 1   m i n .       T ab le  4 .   Acc u r ac y   o f   C NNs m o d els as f ea tu r ex tr ac to r s   b ased   o n   C altec h   2 5 6   d ata  a u g m e n tatio n   d ataset   M e t h o d   A c c u r a c y   ( %)   Tr a i n i n g   T i me   A l e x N e t   G o o g l e N e t   R e sN e t - 50   V g g - 16   V g g - 19   0 . 4 3   0 . 4 4   0 . 4 5   0 . 4 2   0 . 4 4   4 8   mi n .   4 8   mi n .   8 8 9   m i n .   1 7 5 9   m i n .   5 5 5   m i n .       4 . 2 . 3 .     I m a g re t riev a   As  m en tio n ed   ea r lier ,   f ea tu r r ep r esen tatio n   is   o n ch allen g o f   s em in tac  g ap   in   C B I R .   R ec en tly ,   C NN   h as  b ee n   u s ed   t o   lear n   f ea tu r es   to   b m o r ac cu r ate.   Hen ce ,   o u r   aim   in   t h ese  ex p er im e n ts   is   u s in g   ab o v C NNs   ap p r o ac h es  to   lear n   f ea t u r es  an d   h an d le  im ag r et r iev al  with o u u s in g   class   lab els  b y   u s i n g   th em .   R esu lted   f ea tu r es  f r o m   f iv C NNs  ( Alex Net,   Go o g leNe t,  R esNet - 5 0 ,   Vg g - 1 6 ,   a n d   Vg g - 1 9 )   ar s ep er ately   test ed   ac co r d in g   to   th f r am ewo r k   in   Fig u r 6 .   Firstl y ,   ex p er im en ts   o f   i m ag r e tr iev al  ar co n d u cte d   o n   co r el   1 s tan d ar d   d atab ase  to   ju d g wh ic h   d ee p   lear n i n g   ap p r o ac h   ca n   p r o d u ce   e f f ec tiv f ea t u r th a n   o th er s .   L ea v e - o n e - o u m an n er   i s   u s ed   to   ca lcu late   Pre cisi o n s   ( P )   f o r   im ag es  an d   th en   MA Ps   ar co m p u ted .   C ity - b lo ck   ( L 1 )   d is tan ce   f u n ctio n   is   u s ed   to   co m p u te   th s im ilar ity   b etwe en   q u er y   im ag v ec to r   ( f ea t u r e)   an d   d a tab ase  im ag es  v ec to r s .   R esu lte d   s im ilar ity   v alu es  ar r an k e d   in   ascen d in g   o r d e r .   T o p   ( 5 - 1 0 0 )   r etr iev e d   im a g es  in   ter m s   o f   MA Ps   f o r   C NN  ap p r o ac h es  a r e   ca lcu lated   an d   illu s tr ated   in   Fi g u r 1 1 .   I is   clea r   th at  th p er f o r m a n ce   o f   u s in g   f ea tu r ( 1 0 D)   t h at  is   p r o d u ce d   f r o m   Go o g leNe with   2 2 - lay e r s   is   m o r ef f ec tiv an d   r o b u s th an   o th er s   as  lo n g   as  T o p   ( 5 - 1 0 0 )   r et r iev ed   im ag es.  Me an wh ile,   Alex Net  with   20 - lay er s   e x tr ac ted   f ea tu r e   ( 4 0 9 6 D)   th at   h as  l o west  ac h iev em en t.  Vg g - 1 6   an d   - 1 9   p r o d u ce d   f ea tu r es  wh ich   ar e   th s am as  th at  o f   Alex Net   in   len g th   b u th ey   p er f o r m e d   h ig h er .   R esNet - 5 0   ex tr ac ted   s m aller   d im en s io n   o f   f ea tu r wh ich   is   2 0 4 8   co m p ar ed   to   th Alex Net ,   Vg g - 1 6   an d   - 1 9   ap p r o ch es  b u th f ea tu r es  ar m o r r o b u s esp ec ially   at  T o p 3 0 - 1 0 0   r an k e d   lis o f   im ag es.  T h er ef o r e,   it  is   in ter est  to   an aly s   in d iv id u al  cl ass   im ag es  b etwe en   Go o g len et  an d   R esen et - 5 0   at  T o p 1 0 0   r etr iev e d   im ag es.  Hen ce ,   APs   ar clar if ied   in   Fig u r 1 2 .     At  th f i r s v iew,   th er is   b ig   d if f e r en ce   b etwe en   two   ap p r o ac h es  wh er th p er f o r m an ce   o f   Go o g leNe is   h ig h e r   th a n   R esNet - 5 0   o v er   all   class es  ex ce p f o r   th e   b u s   class ,   th r ate  is   e q u al.   I n   o r d er   t o   ju d g h o th d if f er en ce   is   s ig n if ica n t,  a   t - test   s tatis tica l m eth o d   is   u s ed   th at  ca n   b ca lcu lated   as   [ 2 9 ] :     = ̅ 1 ̅ 2 ( (  1 1 ) 1 2 + (  2 1 ) 2 2  1 +  2 2 ) ( 1  1 + 1  2 )               ( 6 )     wh er ̅ 1   an d   ̅ 2   ar th s am p le  p r e cisi o n   r ates  ( ) S 1   an d   S 2   ar s tan d ar d s   d ev iatio n s ,   an d   1   an d   2   ar th e   s am p le  s izes.  T wo   h y p o th eses   ar r eg ar d ed   an d   d eter m in e d   b ased   o n   t - test ,   th n u ll  h y p o th esis   ( H 0 )   wh er e     ̅ 1 ̅ 2 = 0   an d   alter n ativ h y p o th esis   ( H A )   wh er ̅ 1 ̅ 2 0 P - v alu o f   th t est  is   th p r o b ab ilit y   o f   o b s er v in g   a   test .   Sm all  v alu es o f   p   r e f er s   to   th at  th e   n u ll h y p o th esis   is   r ejec ted   at  s ig n if ican ce   lev el  0 . 0 5 .   F o r   e a c h   c l as s   i n   t h e   c o r e l   1 K   d a t a b a s e ,   t h e   t e s t   w as   c o m p u t ed .   T h i s   m e a n s   t h e   s i ze   o f   e a c h   s a m p l e   is   1 0 0   e l e m e n t s   ( i . e .   p r e c i s i o n   v al u e s ) .   H e n c e ,   t h e   f i r s t   s a m p l e   ( S 1 a n d   s e c o n d   s a m p l e   (S 2 )   h a v e   p r e c i s i o n   r a t e s   o f   T o p 1 0 0   r e t r i e v e d   i m a g e s   f r o m   u s i n g   G o o g l e n e t   f e a t u r e   a n d   R es N e t - 5 0   f e a t u r e   r e s p e ct i v e l y .   T h e   t - t e s t   p r o v e d   t h a t   a l l   d i f f r e n c e s   b et w e e n   p r e c es io n   v a l u e s   a r e   s i g n i f i g a n t   e v e n   f o r   B u s e s   c l as s .   F i g u r e   1 3   s h o w s   t h e   tw o   s a m p l e w h e r e   t h e   m o s t   v al u e s   o f   S 1   9 9 %   c o m p a r e d   t o   S 2 .   W e   c a n   c o n c l u d e   t h a t   G o o g l e N et   l ea r e n ed   a   f e a t u r e   w i t h   l o w   d i m e n s i o n   ( 1 0 )   m e a n s   l e s s   c o m p u t a t i o n   a n d   h i g h   a c c u r a c y   d u e   t o   t h i n c e p ti o n   b l o c k   t h at   e x p l o i t s   s p li t ,   m e r g a n d   t r a n s f o r m   o p e r a t i o n s   t o   co m b i n e   m u l t i   s c a l e   c o n v o l u ti o n a l   t r a n s f o r m a ti o n s .   T h e r e f o r e,   d i f f e r e n t   t y p e s   o f   v a r i a t i o n s   i n   t h e   s a m e   ca t e g o r y   i m a g e s   w it h   d i v e r s e   r es o l u ti o n s   a r e   l e a r n t .   I n   o t h e r   w o r d s ,   G o o g l e n e t   h a s   a b i li ty   t o   e x t r a c t   m o r e   d is c r i m i n at i v e   in f o r m a t i o n   a b o u t   i n t e r e s t e d   o b je c t s   t h a n   R es n e t - 5 0   a t   l a y e r   2 2 .   W co n d u cted   o th er   r etr iev al  ex p er im en ts   to   in v esti g ate  th s ec o n d   is s u in   C B I R   wh ich   is   s im ilar ity   m ea s u r es.  I n   th liter atu r e,   d if f er en m ea s u r es  h av b ee n   u s ed   to   co m p u te  th s im ilar ity   b etwe en   q u er y   im ag an d   d atab ase  im ag e s   d ep e n d i n g   o n   im ag e   d escr ip to r .   Fo r   i n s tan ce ,   th e   d escr ip to r   is   r e p r esen ted   as  a   s in g le  v ec to r   o r   s et  o f   v ec to r ,   in   lin ea r   s p ac o r   n o n - lin ea r   m an if o ld .   [ 2 9 ,   3 0 ] .   He n ce ,   c o r r elatio n   ( D 1 ) ,   co s in e   ( D 2 ) ,   Evaluation Warning : The document was created with Spire.PDF for Python.
T E L KOM NI KA   T elec o m m u n   C o m p u t E l Co n tr o l         A   co mp a r a tive  a n a lysi s   o f a u t o ma tic  d ee p   n eu r a l n etw o r ks fo r   ima g r etri ev a l   ( Ha n a n   A .   A l - Ju b o u r i )   867   an d   E u clid ea n   (D 3 )   wer ap p l ied   r ath er   th an   city - b l o ck   (D 4 )   in   o u r   s y s tem   s ep ar ately .   Su p p o s    an d      r ef er to   q u er y   im ag an d   d at ab ase  im ag f ea tu r v ec to r s   r e s p ec tiv ely   with   th   d im en s io n ,   th en   D 1 ,   D 2 ,   D 3 an d   D 4   ar d ef in ed   as f o llo ws [ 3 1 ] .     1 = 1 (  ̅  ) (  ̅  ) (  ̅  ) (  ̅  ) (  ̅  ) (  ̅  )           ( 7 )     wh er   ̅  = 1  an d     ̅  = 1      2 = 1   (   ) (   )                 ( 8 )     3 = (   ) 2 = 1               ( 9 )     4 = |   | = 1                 ( 1 0 )           Fig u r 1 1 .   MA Ps   f o r   C NN  ap p r o ac h es u s in g   co r el   1K         Fig u r 1 2 .   APs   o f   T o p 1 0 0   r etr iev ed   im ag es f o r   co r el   1 d at ab ase  im ag class es           Fig u r 1 3 .   Pre cisi o n   v alu es a l o n g   b u s   class   im ag es     Evaluation Warning : The document was created with Spire.PDF for Python.