In d o n e sian   Jou r n al of  Ele c tr i c a l  En g in e erin g   a n d  C om pu ter S c ien ce   Vol.  14, No.  1, April 2019,   pp.  333~339  ISSN: 2502- 4752,  DOI :   10.115 91/ijeecs. v 14. i 1 . pp333-339          3 33     Jou rn a l  h o me pa ge :  ht tp: //i a e score . com / j o u r na l s / i n d e x . p hp/ i j eec s   Comparing bags of fe atures, conve ntional  convolut ional n e ural  network   and alexnet for fruit reco gnition       Nik   Noor A k m al Abd u l  Hamid, Rabia tu l   Ad a w iy a   Ra za li , Z a i da h   I b r ah im   Facu lt y of Co m put er  a nd  M athe m a tical  S c i ences , U n i vers i t i   Tek n o lo gi  M ARA,   S hah   Al a m ,   S e langor,   M a lay s ia        Art i cl e In fo     ABSTRACT  A r tic le hist o r y :   R e ce i v e d  Jun 17,  2018  Re vise d S e p 30,  201 8   A c c e pte d   D ec 6,  201   Th is   p aper  p res e nt co mp arati v st ud b e tween   B ag  o f   F eat ures  ( B o F ) ,   Con v en tio nal  Conv ol ution a N e ural  N etwo rk   ( CNN )   a nd  Alex net  f o r   frui t   recogni tion .     A ut omat i c   f ru it  r eco gni ti on  can m i n im ize h u m a n in te rve n ti on  i th eir  f r u it  h a rv est i n g   o p e ratio n s op erati on  t i m e   a nd   h arves t i n co st.     O th e   ot her  hand th i s   t as is  v ery   chal len g i ng  becau se  o f   t h sim i la riti es  i sh apes,  col o u r and   text ures   a m o ng   v ari o us  t yp es  o f   f r u its.   Th us,   ro b u s t echni qu e   th at  can  p ro duce  g o o d   r esu lt  i s   n eces sary Due  t o   t h e   o ut s t andi ng  perf o r man ce  o f   d eep  l earn i n g   l i k CN and   its   pre-trai ned   m o del l i ke  Al exN e t   in  i m a g e   r eco gn iti on thi s   p ap er  i n v est i ga t e th accu r ac y   o f   c o nv e n t i o n a C N N ,   a n d   A l e x ne t   i n   r e c o gn iz in th ir t y   d if fe r e n t   t ypes   o f   f ruits   f r o m   a   p u b li cly   av ail a ble  d a taset.    Bes i d e s   th a t the  recog n it i o n   p erf o rman ce  of   B o F   i s   als o   e x a m i n e s i nce  it  i s   on of   t he  m ach ine  learni ng   t ech niq u es  tha t   a c h ie v e goo re su lt  i ob je c t   r ec o g n ition .       T h e   e x p e r ime nt al  r esults  in di cate  th at  a ll  of  t h e se  t h r ee  t echn i qu es  p rodu ce  exc e ll ent   r eco gn iti on  accur acy F u rth e rmo r e,  c on vent io nal   CNN  achieves   t h f a st es re co gn iti on  resu lt com p a r ed  to   BoF, and  A l e xn et. K eyw ord s :   Al exn e Ba g of  f e a t ures   CN N   Fru i t   re co gn itio n   Co pyri gh t © 2 019 In stit u t of Advanced  En gi neeri n g  an d   Scien ce.   All  rights   res e rv ed.  Corres pon d i n g  Au th or:   N i k N oor  A km al A bd ul H a m id,     F a cult y   o f   C o m put e r   a n d  Ma t hem a t i ca l   S c i e nce s ,   Un iv e r sit i  Tekn o lo gi  M A R A,  Sha h  Alam ,   S el a n g o r,  M alays i a.   Em ail:  nik n o o r a kma l 1 9 9 4 @ g m ail.com       1.   I N TR OD U C TI O N    F r uit  rec o g n it i o n   is  u se ful  for  au toma t i c   frui harve s tin tha t   can   r e d u c o r   m i n imi z e   hu ma int e rvention  i their  fruit  harves t i n g   o pera t i o n a n a l so   t he  ope ra ti o n   tim a nd  ha rves ti n g   c ost.  F r u it   rec o g n it io sys t em   p lay s   a im porta nt   r ole   i n   a utom at ica l l y   d et ec tin a n inspe c t in t h fr u i t s   f or  h ar ves tin g   w ithi n   t he  fru i t   i m a ges.   T he  i mple me n t a t i o n   o f   f r u i t   r ec og ni t i o a p p l ica t ion   g i ves  gre a t   val u o f   p r o duc ts  t o   the c o ns u m er [1] .    F r uit   re co gn i t i o a p p lic a tio n i s  al s o use f u l   fo f r u i t   d i se ase   d e t e c tion   an d   reco gni t i on Th detec t i on  a n ide n tific a tio o f   f ru i t   i based   on   h uma n s   n a k ed   e yes   w h i c i s   t i m c o n s um ing  a n c o st ly.  B e s i de s,  it  ca n   faci l i ta t e   t he   c on tro l   o fr uit  di sease s   a t h e   d i s e a se  c an  b e   a voi ded  b y   a p p ro priate  s pri n k l in g   of  p es tic ide s   t h r ou gh au t o m a ti c fruit   r e c o g n i t i o n  proc e s s    The   perf orm a nce   of  f r u it  r e cog n iti on   [ 1] spee ch   r e c o g n i tio n[2] vi su a l   obj e c t   reco gni t i o n   [ 3 ] ,   ce l e br ity fa ce  re cog n iti on   [ 3]  a nd  ma ny o t he doma i ns like   ge n o m i cs  a n d   d r u d i sc over y   [ 3]   h a s   d ram a tica l l y   impro v e s   w i t h   t he  u se  o de ep  l e a rn in g.  D e e le arn i n g   i s   c l as s   o f   m achi n e   lea r n i n g   a l gori t h ms  t ha uses   mu l tip l e   l ay e r s   t h a t   c ont a i n o n l i n ea p r o c e s si ng   uni ts.  On e   o f   t he  t ec h n iq ues  un de de ep  l ea rnin i s   Con v o l u tio na l   N e ura l   N etw o r k (CN N )   [ 4].  CN N   prov i d es   s ucc e ssfu r e sults  i a r e a o f   i m a ge   r e c og ni t i o n   and   cl ass i ficat i on. T he inp u t  i a n   i m a ge  use d for  r e c o g n i t ion,   a n d   d u r ing   co nvo lut i on a l   p ro ce ss, t h e   out put  o the i m age   be ca m e   a c t iva t i on  m a ps.   Co nv o l u t i o nal  la ye act as  a   f il ter   t o w a r d the inp u t   i n term of  s i zes  a n d   pad d i n g   f or   f e a ture   e xtra c t i on.   P ooli ng  l a y e i s   o pera tin g   as  a   r e ducer   o t h fea t ure   m a ps.  A t   t he  e nd,   t he   ou tpu t   l a y er  acts a s  fu l l y  c o nne cted  l a y er  a nd   p erfor m   t h e  obje c t   c lass i f ica t i o n.   Evaluation Warning : The document was created with Spire.PDF for Python.
                         I SSN: 2502- 4752  I n do n e si an  J  E l e c   E n g   &   C o m p  S ci , V o l .   1 4 ,   No. 1, April 2019 :   333 –  3 39  33 4 A l e x n e t,  a   p re- t r a i n ed   C N N   m odel,  h as  p ro duce d   v ery  g o o d   r e su l t s   f o r   t h pas t   f ew  p a s ye ars  [5] .   Al e x Net   i s   t h e   w i n n e o f   I ma g e Net   La rg Sc al e   Vi su al   R eco gni t i o n   Ch all e n g e   ( ILSVRC i n   2 012.    I t   i s   des i g n e d   by  t h S upe rV isio gro up,  w h i c h   c ons i s ts  o G e o f fr ey  H in to n,  A lex   K r izhe vsky ,   a nd  I l ya   S utske v e r   [6].   T his  m o d e sh ow b i i m pac t o n   i ma ge   r e c ogn i t i o a nd  c l as s i fica ti o n   t as ks  a it  pr o d uc es  o u t s t a n din g   perform ance A l exN e t   ac hie v e d   t he   t op  e rror s   f rom   2 6 %   t 1 5 . 3 %   i n  I L S V R C   [ 6 ] .   T h e   n e t w o r k  h a s  m o r e   f ilt ers  p e l a y e wi th   s t ack e d   c o nvo lu t i on al   l a y ers  c o n s i s t i n g   o f   11x 11 5x5 ,3 x3   c on vol uti o n s ma x   p o o li ng dro p o u t da ta  a ugm en ta t i o n ReLU   a c t i v a t i ons,  a n d   S G D   w i t h   m ome n t u m  f o r  f a c e   r e c o g n i t i o n  [ 6 ] [ 7 ] .   R e L U   a c t i v a ti on  i a t ta ch e d  a ft e r   e v e ry   c on vol utio na l   l a y e r. Al e x N e t  wa s  t ra in e d   f o r   s ix  d a y s   si mu lt an e o u s ly  o n   t w N v i d i a  G e F orc e   G TX 580  G P U s   w hi c h  is t h rea s o n   w hy t h eir  ne tw o rk  i s   split i n to tw o  pi p e l i n es [ 8].  Ba o f   w ords  ( Bo W)  [ 9]  h as   b ee use d   f or   doc ume n c l a ssifica tio n .   B a g  o f   F e a t u r e s  ( B o F )  w a s   in t r od uc ed  f i r st  b [1 0]  f or  v ide o   r e t rie v a l   f oll o w e by  [1 1]  f or  i m a ge  c ate gor i z a t io tha t   i nsp i re from   t h e   ori g ina l   t ex t   re presen tat i on   m ode l .     A n   i m a g e   i s   repre s en te as   a n   un orde r e co l l ec ti o n   o f   v i s u a l   w or d s BoF   gi ves   an   e x t re m e ly  c om pac t   d e s c r i p t i on   o i m a g es  a t h ey   a re   r e pr esente d   as  h i s to gra m of  l oca l   d e s cri p t o rs.  The  m a in  i dea   is  t o b t ai v i s u al  w or ds  ( fea t ur es)  by  q u a n ti zin g   t h lo cal   d es crip t o rs  o f   imag e s   i n   t h e   da t a set   base o n   a   v is ual   v o c a b u l ary .   T he  a l g orith m   take as  a in put   t he   t rai n i ng  da ta  d escri p t i o n   an gi ve a s   a n   ou tpu t   a   s e t   o cl us t e rs.  Each   c l u s t e r   i s   re prese n te d   b y   o ne   v i s u al   w or d.  T he   i ma ge  i s   now   r e p re sen t ed  a bag   of  v is ual   w o rds  a n d   a   hi st ogram   c a n   b b u ilt  w i t h   a   d ime n si o n   e qu a l   t the  vis u a l   v oc a b u l ary  si ze ea ch   bi n w i l l   c o n t ai n the  v i s u a l   w ord’ fre q ue nc w i t h   r espec t   t o th i m ag e   [1 2] Th arc h it e c t ure  o f   a   p re-t ra in e d   C NN  m ode l   l i k e   A l e x N et   i fix ed   w h i l e   w ca de si gn   o ur   o w n   arc h i t e c t u re  f o r   a   c on ve n tio na l   CN N   m odel.  W h e the   con v e n t i ona C N N   m odel  g o es  d e e p er  i n   the i r   c o n v o l u t i o n  a r c h i t e c t u r e ,  i t   c a n   r e a c h  a  l o w e r  i d e n t i f i c a t i o n   e rr or  r ate   com p are d   t t h h u m a n’s  ey e s   A   con v e n t i ona CN N   is  a ble  t o   g ive  gre a so lu tio i n   e x t ra cting   t he   h ie ra rchica l   repr esen tat i on  o f   i n p u t   d a t wh i c h   it   r e m a i n s   u n c h a ng e d   t co nv e r s i on   a n d   s c a l e [ 13].  Th c onv e n ti on al   C NN  mo d e p r odu c e g r e a t   resul t for  ob je ct  r e c o g n i tio a p p lica t ion s thus   it  is  s u ita bl e   t o   e xam i ne   t he  fru it  cl assifica t i o n   p rob l em .   H o w e ve r, in c o m puter  v i s i o n, the  fru i t  c lass ifica t i o n   ta sk  p r o v ide s  c ha ll e n ges in  im a ge  re c og n iti on  be c a u se  o the sim ila r sha p e s , co l ors a n d   tex t ures am ong t h e va ri ous fr u i t s. Th u s, t he  m ain o b j ec ti ve  of t h is r esea rc h is  t o   in ves tiga t e   the   rec ogni ti o n   acc urac perfor m a n ce  of  B oF   c ompa re t o   c on ve n t i ona CN N   and  pre- trai ned   CN N   m odel w h ic is  A le xne t   i n   r ec og ni z i ng   f ruit ba se d o n  c ol o r   im ages  a nd gr a y scale   i m a g es.        2.   RESEARCH  M ETH O D   Th e x p e ri me nt s   fo thi s   r e s earch   h av b een   c o ndu c t ed  u si ng   M at la b2 0 18a  us i ng Mac B o o k   P ro w ith   51 2G s t orag e ,   t he  p roc e ss or  i s   3 . 1G H z   I nt e l   C ore   i5  a nd   m em ory  i s   8 G B   R A M .   T h e  F r u i t   d a t a s e t  w a s   ob ta ine d   from   Resea r chG a te [1 4 ].  T his   da ta se c onta i n s   3 cla s s e s  o fru i t s   w hic h   a r e   A p p l e   B ra e burn, A pp le  Go ld en   1 Ap pl Gol d en   2 Ap pl Gold en   3 A p p l R e d   1 , Ap pl Red  2 , A p p l e   R e d  3 ,   A p p l e   R e d   D e l i c i o u s ,   A p p l Re Y e l l ow ,   A p ple   G r ann y   S m i th,  A p ric o t ,   A vo c a do,   A voc a d o   R i p e ,   B an an a ,   B an a n R e d ,   C a c t u F r ui t,  C a n ta l o upe  1 ,   Ca nta l ou pe  2 ,   Car a m bol a ,   C her r y   1,   C herr 2,  C he rry  R a i n i e r Clem ent i ne,   Coc o s,  D a tes,   G rana di lla,   G r ape   P i n k ,   G r a pe  W hi te,   G r ape  Wh i t a n G rape fr u it  P i nk.   T he   d a t ase t   c on si s t s   o f   9 6 0   trai ni n g   i m a ge an 2 40  va l i d a t ion   im a g es   w he re  e ach   c lass  has   exa c t ly  4 0   im age s .   The  im ages  w e r in  vari ous   v i e w s   f or  eac c l a ss.    The   size   o th im ages  f or  e a c cl a ss  i s   100   b 100   p ix els  bu t   a l l   o f   t h e   i ma g e w e r e   r esize d   t 2 2 4 x 2 24  for   th i s   e xpe rime nt .   F i g u re  1   s how sa m p l e   i m ages  f r o Frui t   da t a se f o thir ty   classes.           F i gure  1. S a m ple  P i cture s   f ro m   F r uit D a t a set [1 4]     Evaluation Warning : The document was created with Spire.PDF for Python.
Indonesia n   J  Elec Eng  &   C o m p  S ci   ISSN:  2502- 4752      C o m p a r ing  b a g s  of   f e at u r es ,  co n v ent i on al   co n v ol uti onal  neu r a l   n e tw ork…   (N i k  Noo r   Ak ma l  Ab du l   Hami d )   33 5 2. 1.   B ag  of   F eat u re B o F   I n sp i r ed  f r o m   the  or i g i n a l   t e x r e pr e s e n ta t i on  mo de l,   B oF   w a s   i nt r o duc ed  f or   i m a ge  c ate g or iza t io n   t h a t  w a s  r e p r e s e n t e d  a s   a n  u n o r d e r e d  c o l l e c t i o n   o f  v i s u a l   w o r d s  [ 1 5 ] .  A s   t h e y  a r e  r e p r e s e n t e d  a s   h i s t o g r a m s   of  l oca l   d esc r i p tor s ,   B o F   g i v e an  e x t r e me ly  c om pac t   d es c r ip t i o o f   i m a ge s.   A   l oc a l   d e s cr i p t o r   is  u sed  i n   im age  c a t e gor i z a tio a nd  o b j ec r e c o g n i t i o n   t a s ks  a nd  a l so   t m atc h   s imi l a ob jec t   i ns ta nc es.  Ma n y   m eth o d s   for   fea t ur de s c r i pti o ca b e   e m p l o ye d.     T h u s,   i th i s   w or k,   w tar g et  t he   r esu lt  b a sed  o n   v isua w o rds  a ccur acy.     A c tiv i t ie t o   i den t if obj e c ts  i i m age s ,   tr a n scr i be  s pee c h   i n t te xt ,   m a tc h   new s   item s ,   p o s t or   pr o duc t s   w it use r s’   i n t er est s ,   a nd  se lec t   r e l e v a n r e su l t s   of   se arc h   c an  b e   p e rfo rmed   b y   u s i n g   ma ch i n e   l e arni ng   t ech niq u e s su c h   a s   Bo [3 ].   In   o rd er  t o   ob t a i n  a  B o F   de sc r i ptor ,   w need  t e x t r a c t f eat ur e s   f r o m   t h e   i m a g e .  T h e  f e a t u r e  u s e d   i s  S p e e d e d  U p   R o b u s t  F e a t u r e s   ( S U R F ) .    S U R F  d e s c r i p t o r   i s  e q u a l  t o   c o m m o n   im age  trans f or ma t i o n wh i c h   a r ima g rotati o n scale  cha nge s,  illum i na t i o n   a n d   s ma ll  c ha n g es  i vi e w po int.   I n   a dd it io n,   S U R F   i s   a b l e   to   c om pu te  d i s t i n ct i v de scr i p t or q u ic k l [1 6] .     T he   c lass if ier   use d   t c l as sif y   t h e   S U R F   i S u pp or V e c t or   M a c h i n e   ( S V M) .   S V can  b u s ed  f or   m ul t i p l kind  o f   o bj e c r e c ogni t i on  l i k fr u i t   r e cog n i tio n,   b r a in  w ave   r e c o gni ti o n   a n d   i m a ge   c lass i f ica t i on  of   r e m ote  s e nsin [ 17] .   A   mult ic lass  S V w a u s ed   t o   ac co mmo d a t e   a   m u l t i cl ass   p r ob l e ms  b ut   S VM   act ua l l y   wa deve lope for   b i nar y   c la ssi f i cat i o n   [1 7] .   F i gur sh ow the  il l u str a t i o n   of  p r o cess  f o r   ba o f   f ea t u r e s .           F i gur 2.   I ll us t r a t i on  P r oc ess  of  B a g   o F e atur es  [ 1 8 ]       2. 2.   Co n v ent i o n a l   C o n v o lu tio n al Neura Netwo r k   (CNN)  The  a r chi t ec tu r e   o a   conve n t i o nal  CN N   cons ist s   o f   t h r e e   l a yer s   w hic h   a r e   c onv ol ve  l a y e r ,   poo l i n g   laye r   a n Rec t i f ied  L i n e ar   uni t   ( R eL u)   w hich  i a l so  k n o w n   a a   s truct u r e d   series  o lay e rs  [ 1 ]     The   c onve nti ona l   CN N r o le  i t o   t r a c k   d a t a   sim i l a r   w i t h   t h e   c o nve nt i o n a f eed fo rward   n e u r a l   n et wo rk E a ch  im age  is  s u b m i t t e d   t hr ou g h   t he   l a y er un t il  a   lo ss  f u nct i on  i s   ach ieve a t   t he  t o p   l ayer   [ 5 ] .     T he  e xtr a ct i on  o f   fe at ur e s   f r o a n   i m a g e   i s per f o r m e d   b u s i n f i l t e r a nd  im age  pa tc he s th a t   s tride   o v er  t h e   i n p u t   i m age   i n   t he   c onv ol ve  l ayer .   O n   t he o the r  han d,  R e L u la ye r   r e plac es  a l l  nega t i ve  p ixe l  val ues   in t he f ea tur e  ma p   w i t h   z er o.     I n   o r d er   t o   r e duc t h dim e ns io na li ty,   po o l i n la ye r   is  a ppl ied   t ha t   a llow s   t he   f e a t ur ma to  b d o w n - sam p le d.   M a x   p o o lin la y e r   c o mpu t es   t he   m a x imum   l oca l   o f   fe a t ur m a p .   T he n,   n e i gh bor in p o o l i n g   ta k e s   i npu t   f r o m   t h e   f e a t u r e   m ap th a t   a re  s hi ft ed   b mo re  t h a on e   r ow or   c o l u m ns.   F i g u r e   3   s h o w s   t he  l a y er   o f   a   c onve nti ona CN N   [19] .           F i gur 3.   T he   l aye r   o f   conve nt i ona CN N   [19] .         Evaluation Warning : The document was created with Spire.PDF for Python.
                           I SS N :   250 2- 4 7 5 2   In do n e sia n   J  Elec Eng   &   C o mp  S ci,   Vo l. 1 4 ,  No . 1 ,   Ap r i 2 0 1 9     333  –  3 3 9   33 6 2. 3.   Alex n e The  com m on  pr e- tr a i ne C N N   m odel  i nve s t i g a t e d   i th is  p a p er   i Al e x Net  th at  i th winn er   o th e   ILS V RC   i n   201 2   [1 ][5 ].   A lex N et   h as  m o r filter   l ay er s   wi th   s tac ke of  c on v o lu ti o n   l a y er com p ar e d   t o   t h e   c onve nti ona l   C N N   ar chi t ec t u r e   w he r e   it  is   d e s i gne w ith   d ee per   arc h it e c ture.     F or  t h i re sear ch,  t h e   ful l y- co n n ect e d   l ayers  a r e   fi n e -tun ed   t o   cl a s si fy   3 0   d i ff e r e n t   c a t e go ries  s i n ce   t he  d ata s e t   c o n s i sts  of  30  d i ffer en fr uits.     A il l u s t r a t i o n   o t h la ye r   of   A lexN et   i show i n   F i gur 4.           F i gur e   4.   T he  l ayer of  A l e x n e [ 2 ]       3.   RESULTS  A ND  A NAL YS IS   3. 1.     B a g  of   Fe atures  Th e   si z e   o f   i m a g e   i n   th e   i nput   l ay e r   i 2 24x2 24 x 3   p ix e l fo co l o i m ag es  a nd   2 24x 224 x 1   p ix e l   f o r   gra y sca l i m age s S p eed  u p   Rob u s t   F e a t u res  ( S URF)   i extrac t e i n   B oF   w her e   it  detec t the   be st  s ca le   in varia n ce.     Fo r   th is  m o d e l R G B   ima g e s   a n d   g r a ysca l e   i m a ges  we r e   t es te a nd  t h r e sul t   s how t h at   t h e   t ota l   proc ess i ng  tim e   for  gra y sc a l ima g is  f as ter  tha n   R G B   i m a ges  w h i ch  i due   t t h l e ss  numbe r   o f   p i x el   r e pr ese n t a tio bu t   a c c u r acy  1   i o b t ai ne b y   R G B   i m a ge a nd  n o t  g r a y s c a l e  i m a g e s .     T h i s   i s  b e c a u s e   t h e   c onve r s i o n   p r o cess  fr om  c o l o u r   im age   t o   g r a ysca le   i m a ge   e limi n a t e so me   d a t t h at   m ay   b u s ef ul   i n   o b j e c r e cog n i tio n.     T able  1   s how t h di ff er e n t   r e sul t pr o d u c e by  B oF   f or   c ol or   a nd  g r aysca l e   im ages.       Ta b l e   1.   A c c ura c pe r f or ma nc of  B oF   Inp u t   Im a g e   Input  S i z A ccu r a c y     To tal   Ti me   R G B   I m a g e   224 x 224 x3   1   9  m in  3 Gray sca l e   I m a g e   224 x 224 x1   0 . 9 8   5 m i 47s      3. 2.   Co n v ent i o n a l   C o n v o lu tio n al Neura Netwo r k   (CNN)    Fo co nv en ti on al   C NN,  t h e   d at ase t   i t e st ed   w ith   i ma g e   s i z e   22 4 x2 24 x3 .   In   C N N t h e r a r t w o   m a in la y e r s tha t  pla y im p o rta n ro le s i n   a na lysi ng   t he  da t ase t   whi c h   a r con vol v e   l ay e r   a n d   m ax poo l i ng  l a y e r.    Ex per i m e nts o n  di ffe r e nt   v a l ues  f o r   bo t h  of   t h ese   la ye r s   a r e   p e r f or m e to   d e t er mine t he bes a c c u r a cy  a nd   t he   r e s u l t s  a r e   s h o w n   i n  T a b l e  2 .     B a s e d   o n   T a b l e   2 ,  F r u i t s  d a t a s e t   i t e st e d   t wel v ti mes  t o   s ee  t h ac c u r a c y   o t h e   re cogn i t i on  resu l t   b a s ed  o n   di ff ere n t   conv ol v e   l ay er  a nd   l e arni n g   rat e .   Fo r R G B   i m a g es,  si ng l e   c on vol v e   laye r   w ith  ( 3, 1 6 )   and  lea r nin g   r a t e   0 . 001  a c h ieve  a c c u r a cy of  1   a nd the t o t a pr oce ssi n g   t i m i s   3   m inu t e s   a nd  10  sec onds.     F or   d o u b le  c on v o l v la yer s   w i t ( 5 , 20)   a n d   ( 3 , 20) ,   t he  a c c ur a c is  0 . 9 9 6 7   w i t t o ta pr oc essi n g   time   of  6   m i n ute s   a n d   5   s ec on ds.     M e a nw hi l e   f or   g r a y s c a le  i m a ge ,   a   si ngle   c o nv o l ve  l a y er   w it ( 5 , 2 0)   a n d   lea r n i n g   r ate  0. 00 sh ow t h r e sult  o f   a c c ur a c is  0 . 9 9 3 a nd  the  to ta pr ocess i n g   tim for  the  ex pe rim e nt   i s   min u t es  a nd   18  se c o nd s.     F o r   dou b l c o n v o l v la y e r   for   gr a y sc a l i m age  w i t h   ( 5, 20)   a nd  ( 3 , 2 0)   a n d   lea r n i n g   r a t e   0. 000 1,   t he  t ota l   p r o ce ssi ng  t i m e   i m i nu tes  an d   58   s e c ond s.                   Evaluation Warning : The document was created with Spire.PDF for Python.
Ind ones i a n   J   E lec  En g & Co mp  S c i    IS S N : 2502- 47 52       Co mp aring  b a g s  of  f e atu r e s , c o n vent i o n a l  c o n v ol ut i onal  ne u r a l  n e t w ork…  (Ni k   Noo r  Akma l  Abdu l  Hami d )   33 7 Ta b l e 2.  A c c ura c y pe rfor ma nc of c on ve nt iona l   CN N   Inp u t   No  o la y e rs  C onvolve   La ye r     Stride   E poc h,  L e a r ning  Ra t e   A c c u r a c y   T ota l   T i m e   RG I m ag e       Singl e   La ye r   3, 16   3   5 ,   0 . 0001   1   4  m in  27s  5, 20   2   5 ,   0 . 0001   1   6  m in  08s  3, 16   3   5 ,   0 . 001   1   3  m in  10s  5, 20   2   5 ,   0 . 001   1   5  m in  35s    D ouble   La ye r   5, 20   3, 20   5, 0. 0001   0 . 996 7   6 m i 5s  9, 40   3, 20   5, 0. 0001   1   13  m i 6s       G r a y s c al Im a g e       Singl e   La ye r   3, 16   3   5 ,   0 . 0001   1   4  m in  27s  5, 20   2   5 ,   0 . 0001   1   3  m in  05s  3, 16   3   5 ,   0 . 001   0 . 9 .33   2 m i 47s  5, 20   2   5 ,   0 . 001   0 . 993 3   2 m i 18s    D ouble   La ye r   5, 20   3, 20   5, 0. 0001   1   5  m in  58s  9, 40   3, 20   5, 0. 0001   1   11  m i 28s       3.3.    Alexn et  In   o rd e r   t co m p l e t e   t h i s   e x p e ri m e n t t h i m a g es   a re  r e s i z ed  t o   2 24 x 224 x3   p i x e l s.   F or  t he  expe r i me n t   w i t A l e xne t ,   o n l c o l o im age s   a r e   t este d.    Ba se o Table  3.  F r u i t dataset  was  t e ste d   t hree   ti m e t o   i n v e s t i ga te  t he  e ffec of  d i f fere nt  l e a r n ing   ra tes  to  t h a c c u racy It   s h o w t h a t   acc u r a c y   1   i s   ob ta i n ed  wi t h   0 .0 001   l ea rn i n ra t e   a nd   t h e   t ot a l   p roc e s s in ti me  t o   co mp le t e   t he   e x p e r ime n t   is  2 m i n u t e and   2   seco nds.         Tab l 3.  A ccuracy  p erform an ce  of  Alex net   N o   o Te st   I m a g e   I nput  S i z e   Le a r ning  Ra t e   A cc ur a c Tota l   T i m e   224x 224 x3   0 . 0001   1   22  m i 2s   224x 224 x3   0 . 001   0 . 5708   22  m i 3s   224x 224 x3   0 . 0005   0 . 9542   23  m i 02s       Ta b l e   sh ow s   the  summ ar of  f ru i t   r ecog n i t i on  pe rform a nc us in BoF ,   c onve nt iona CN N   and   A l ex net.   B referrin g   t Ta b l e   4,   w e   ca see   t h a t   a ll  the   thre e  m o d e l s  p r o d u c e  g r e a t  a c c u r a c y  w h i c h  i s   1   exc e p t   f or  c o nve n tio na CN N   w i t h   g raysc a l ima g e   w h i c is   0 .9 9.     T h e   t o t a l   t im for   A l e xne is  t he   l o nge st   com p are d  to th e   ot her tw m o del s   d ue   t o the num ber o f  la y e r th a t  i t   ha s w h i c h is  m ore   th an the   c on ve nt io n a l   C N N.       Tab l 4.  F ruit re cog n i t i on  perfor m a n ce  of  B o F , Con ve nt i ona l CN N  a nd A l exne t   M ode  M a c h in e   L earn i n g         D e e p   L e a r n i n g   Ba g of  F e a t ur e s   C onve ntiona l   C N N     A l e xne t   RG B   Gr ays c a l e   RG B   Gr a y s cal R G Inp u t Siz e   224x 224 x3   224x 224x1   2 24x 224 x3   224x 224 x1   224x 224 x3  Ac c u r a c y   1   1   1   0 .9 1   Tot a l   T i m e   9  m in  3 5 m i 47s  3  m in  10s  2  m i n   1 8s   22  m i 2s       4.   CONCL U S ION  Thi s   p a p er  h a s   p re sen t e d   t he  d i f f e re nt   acc u r ac y   p e rfo rman ce   o B o F ,   c onve nt i ona CN N   an d   A l ex net  for  fr uit  r eco gn i tio n   based  o n   F rui t   d a t ase t .   We   a na lyz t h perf orma nce   of  fru it   r ec o gni t i o n   b ase d   on  c o lo ur  a n d   g raysc a l im ag e s .     B ase d   on  t h re su l t o f   t he   e x p e r i m e n t s ,  w e   c a n  s e e  t h a t   B o F   w i t h   S U R F   and  S V s t i l l   p ro duc e x ce lle nt   r e s ul ts  a CN N .     E ven  t hou g h   t h overa ll  t r ai n i n g   a nd  tes tin t i m e   o BoF   i s   lo nge r com p a r ed  t o   co n v e n t i ona l CN N   b u t   it  i s  s til l fa ste r  t han  A le xN et.     T h i s sh ow s the   rob u s t ne ss of B oF  in   Evaluation Warning : The document was created with Spire.PDF for Python.
                         I SSN: 2502- 4752  I n do n e si an  J  E l e c   E n g   &   C o m p  S ci , V o l .   1 4 ,   No. 1, April 2019 :   333 –  3 39  33 8 rec o g n i z i n frui ts  w i t d i ffere nt   s ha pes,  c ol our  a n d   t e x t u re   F o fut u r e   w or k,  w e   w ill   do  more   e x p e r ime n ts   on o t her  datase t s   w ith  o t h e r  mac hine  lea rn i n g   and  deep  l e a r n in g  t ech niqu e s     ACKNOW LEDG E MEN T The   a u th ors  w o u l d   l i ke   t o   t h a n F a cu l t y   of  C ompu te and  Ma t h e m a tica l   S cie n c e s,  U ni ve rs iti  Tek n o l og i   MA R A ,   S h ah  A l a m, S elan g o r,  for spo nsor in g t h is  r ese a r ch .         REFE RENCES   [1]   N.  A Mu hammad ,   A A .   N asir,   Z.  I brah im and   N.  S abri,  “Ev a l u at ion  o f   C NN  ,   A lexnet   a nd  G oogleNet  f o Fru i t   Recog n it io n , ”  IJE E C S ,   vol.   1 2 ,   no.   2 p p 46 8–4 7 5 ,   2 018 [2]   R .  D .   S a f i y a h ,   Z .   A .  R a h i m ,   S .  S y a f i q ,  Z .   I b r a h i m ,  a n d  N .   S a b r i “P erf o rm a n ce  Ev alu a tio n   f o Visi on-Bas e Veh i cle  Classif i catio U s i ng Co n v o l u t io nal Neu r al N etw o rk,   IJE T , vo l . 7 , pp . 86 9 0 , 20 1 8 .   [3]   Y. Lecu n, Y. Be n gio,  and  G. H i n t o n ,  “Deep  learn i n g ,”  Nature ,   v o l. 52 1 ,   no .   75 53 ,   p p . 4 36 –4 44 ,   20 15 [4]   J. Ub b ens,  M . Cies lak,   P P r usi nkiewi cz,  a n d   I .   S t av nes s “T he  use of   p lan t   m o d el s   i n  deep learni ng : An appl icatio n   to  leaf  co unti n g   in  ros ett e   p l a n t s,”  Plan t Me tho d s ,   vo l.  14,   n o .   1 pp.   1 –1 0,  201 8.   [5]   N.  S ab ri,  Z.  A bdu Azi z Z.   I b r ahi m M . a.R.  A km al  R as ydan   and   A . H .   Ab Gh ani ,   Co m p a r ing   Con vol utio n   Neu r a l   N etwo rk  M odel s   f or  L eaf   R ecog n i t i o n , ”,  In tern atio nal Jo ur na l of Eng i n eeri n g  an Tech no lo gy  ( I JE T) ,   v o l .   7,   pp.   1 4 1 1 4 4 201 8.   [6]   A .  K o r t y l e w s k i ,   B .  E g g e r ,   A .   S c h nei d er,  T.  G erig A.  M o r el-F ors ter,  a nd   T .   Vet t er,  “Em p i r ically   A n a ly zing   t he   Eff ect  o f   D a taset Bias es o Deep Face  Reco gn it io n   S y stems , ” 20 1 7.  [7]   N.   A t e qah ,   B .   M a t ,   N .   Hi daya h ,   B .   Abd ,   a nd  Z .   I b r ahim,   C e l ebri t y   F ace  Re co gn iti o n   u s i n g   D eep  L earni ng ,”,  IJEECS v o l.   12,  n o.   2 ,   pp .   47 6– 4 8 1,   2 01 8.   [8]   I.  S uts k ev er  a nd   G E.  H i n t on,  " Im ageNet   C l a s s ificat io with  D e e p   C onvoluti onal   N eur a l   Network s .",  In  A d van ces   in  Neur a l  In f o rmat io n  Pro cessi ng Sys t em s ,   pp .   1097 -110 5,   2 0 12  [9]   K.   S .   G e orge  a nd  S .   J o s eph,   Tex t   C l a ssifi c a t i on  by  Au gm enting  Bag   o f   W o r d s   ( bo w)  R ep re s e nt ati on  wi th  C o- Occu rren c e  F eatu r e”,  IOS R  Jo urnal  of Compu t er  En gi neeri ng  ( I OS R-JCE),   Vo l 16 No  1 ,   p p   3 4 -3 8 ., 20 1 4 .   [10]   J.  S ivic  a nd  A Zisserman,  “Video  G o o g l e :  A  t e x t   r e t r i e v a l   a p p r o ach  t o   o b ject   m at chi ng  i n   v i d eos , ”  Towar. Categ.  Ob ject Recog n i t . ,   no Iccv,   pp.   1 4 7 0–1 47 7,   200 3.   [11]   C.  S V e neg a s-Barrera   a nd   J .   M a nj arrez,   Vi s u al   C ateg ori zatio wit h   B ags  o f   K eypoints,”  Rev.  M ex.  Bio d i vers. vo l.  82,   n o .   1 pp.   1 79 –1 91,   2 0 1 1 .   [12]   C .  H i b a ,  Z .   H a m i d ,   a n d   A .  O m a r ,   Bag  o f   F eatu r es  M o d el   U si ng  t h N e Ap proa ch es :  A   C o m p r ehens i v e   S t udy ”,  In te rn at io na l J o urna l   Ad v a n c e s   Co mp ute r   S c ie nc e  a n d  Ap pl ic a t i o ns ,   v o l 1 , no .  7 p p . 2 26 –2 34 ,   2 0 1 6 .   [13]   Z.  I brahim,  N .   S abri  a nd  D I s a,  Pal m   O il  Fresh  Fruit  Bunch  R i p e nes s   G radi ng   R eco gn iti on   U sing   C o n v o luti on a l   Neura l   N et work”,  Jou r n a l  o f   T e l ecomm un ication,  Elect ronic  &   Com p u t er  Eng i neerin g ,   V o l   9,   N o.   3 -2,   2 018,   p p .   10 9-1 13.   [14]   Mureșan,  H orea  and  Oltean,  M i ha i .   " Fruit  recognition  f r o m   i mage s   u s in g   deep   l earn i n g ".  A c ta Uni vers itat i Sa pi e n ti ae,  In fo rm atica .   10.   2 6-42.   1 0. 2 4 7 8 / a usi-2 018 -00 0 2 ,   2 0 1 8 .   [15]   E.  O k a f o r,   P P a wara,   F.   K araa b a ,   and  O.   S u r inta,   C om parat i ve   S t u dy  Bet w een  D eep   L ea rn in and   Bag  of  V i s u a Words  f o Wild- A ni mal  Recognition . ,   In I E E E   Sy mp osiu m Se r i e s   fo r Co mpu t a t io na l Inte ll ige n c e  ( S SCI ) pp 1 - 8 ,   20 16 .   [16]   S .   H w a ng B a g -o f-vis ual - words  ap pro ach   b as ed  o S U RF   f eat ures   to  pol yp   d et ectio i n   w irel e ss  cap su le   e n do sc op vide os,   Pr oc.  20 11   Int .  Conf.  Imag P r oces s.  Com put.  Vi sio n ,   P a tt ern   R ecogn it io n ,  IPCV   2 01 1,  v o l 2 ,   no .   i ,   p p .   9 41 –944,   2 0 1 1 .   [17]   Z.  I brah im N.  S ab ri,  and   N .   N A.   M an gshor,   “L ea f   Recog n i t i on  u s in Tex t u r F eat ures  f or  H erb a Plan Iden tif i cati o n Ind o n e sia n   Jour n a l of Elect ri cal   En gin eeri ng an d  Co mp u t er  Sci e n c e 9 (1),  152-15 6 , 2 018  [18]   S .   O ’H ara  an B.A .   D rap e r,  Int r o d u c ti on   t the  b a of   f eat ures   p aradi g m   f o i m ag clas s i fi cati o n   a n ret r ieval”.  arXi p r eprint  a rX iv:1 101 . 3 354,  2 01 1.   [19]   C.   Z han g ,   P .   W ang ,   ,   K .   Chen an J.   K .   Kämäräin en,   I dent ity-a w a re  c on vo l u t i o n a l   n eu ral  n e t w ork s   f or  f acial  exp r essi on  recog n i t io n”.  Jou r na l of  Systems En g i neer ing  a nd Ele ct ro ni cs 28 (4 ),  7 84 -7 92 ,   2 017 .       B I OGRAPHIES  O F AUTHO RS      Nik  Noor   A k m al  A bdul  H am i d   i M a ster’s  s tudent  a Universiti  T e kno lo g i   M A R A,   S hah   Alam S e l a n g o r ,   M a l a y s i a   w here  s he  i con t i n u i ng   h er  e du catio in   t h e   f i e ld  o f   Com puter  S ci ence  i n   W eb   T echnology.  Her   area  o f   interest is  i m a g e   p ro cess i ng d a ta  s ci en ce  and   b i g   dat a an e l ectr o nic   co mm erce.  Evaluation Warning : The document was created with Spire.PDF for Python.
Ind ones i a n   J   E lec  En g & Co mp  S c i    IS S N : 2502- 47 52       Co mp aring  b a g s  of  f e atu r e s , c o n vent i o n a l  c o n v ol ut i onal  ne u r a l  n e t w ork…  (Ni k   Noo r  Akma l  Abdu l  Hami d )   33 9      Rabiatul  A dawiya  R azali  is  a   M a s t e r’s  s tudent  a t   Univers iti  Tek n o l o g MAR A S h ah  Alam, Se l an go r in   t h fiel o f   C o m p u t e Sci e nce  in   W eb  T echno lo g y Her  area  of   i n terest   i im age  processi ng,  dat a b a s e   a n d   kn owle dg e - ba se          Z a idah  I brahim  i s   an  Associate  Prof ess o a t   t he  F aculty  o f   C o mp ut er  a nd  Mat h em ati cal  S cie n ces,  U n iv ersi ti   T eknol og MARA,   Sh ah  A l a m,   S elangor,   M a l a ysi a   S he  has   b een  t e ach in cou r ses   rel a ted   t o   A rti f ic i a Int e lligence  f o ov er   t en  y ears.    S he  i act ively   i nvolved  in   r es e a rch   a n pu bl icati o n   und er  D i gita l   Im age,  A u d io   a n d   S p eec h   T e c h no lo gy   ( DIAST )   r esearc h   i n t eres g r oup  t h at  i n c lud e   t ext  and  ob je c t   r e c o gn it io n.             Evaluation Warning : The document was created with Spire.PDF for Python.