I nte rna t io na l J o urna l o f   Rec o nfig ura ble a nd   E m be dd e d Sy s t e m s   ( I J R E S)   Vo l.  14 ,   No .   2 J u ly   20 25 ,   p p .   339 ~ 3 5 2   I SS N:  2089 - 4864 DOI 1 0 . 1 1 5 9 1 /i j r es . v 1 4 . i 2 . pp 3 3 9 - 352          339       J o ur na l ho m ep a g e h ttp : //ij r es.ia esco r e. co m   Sy ste m a t ic revie w   o a  lightw eig ht  conv o lutiona l ne ura l net w o rk   a rchitec t ures o e dg e devices             M uh a mm a d Ab ba s   Abu  T a l ib 1 ,   Sa m s u l Set u m i n 1 ,   Siti  J u lia na   Abu B a k a r 1 ,   Adi  I zha r   Che  Ani 1 Deni s   E k a   Ca hy a ni 2   1 C e n t r e   f o r   El e c t r i c a l   En g i n e e r i n g   S t u d i e s,  U n i v e r si t i   T e k n o l o g i   M A R A   C a w a n g a n   P u l a u   P i n a n g ,   P e r mat a n g   P a u h ,   M a l a y si a   2 D e p a r t me n t   o f   M a t h e mat i c s ,   F a c u l t y   o f   M a t h e mat i c s   a n d   N a t u r a l   S c i e n c e ,   U n i v e r si t a s   N e g e r i   M a l a n g ,   M a l a n g ,   I n d o n e si a       Art icle  I nfo     AB ST RAC T   A r ticle  his to r y:   R ec eiv ed   No v   1 5 ,   2 0 2 4   R ev i s ed   Ma y   8 ,   2 0 2 5   A cc ep ted   J u n   1 0 ,   2 0 2 5       A   li g h t w e i g h c o n v o lu t io n a n e u r a n e tw o rk   (CNN )   h a b e c o m e   o n e   o f   th e   m a jo stu d ies   in   m a c h in e   lea rn in g   f ield   t o   o p ti m ize   it p o t e n ti a f o e m p lo y in g   it   o n   th e   re so u rc e - c o n s train e d   d e v ice s.  Ho w e v e r,   a   b e n c h m a r k   f o r   f a ir  c o m p a riso n   is  sti ll   m issin g   a n d   t h u s,   th is  p a p e a im to   id e n ti fy   th e   re c e n s tu d ies   re g a rd in g   th e   li g h tw e ig h CNN   a rc h it e c tu re in c lu d i n g   th e   ty p e o f   CNN ,   it a p p li c a ti o n s,  e d g e   d e v ice u sa g e ,   e v a lu a ti o n   t y p e s   a n d   m a tri c e s,  a n d   p e rf o r m a n c e   c o m p a riso n .   T h e   p re f e rre d   re p o rti n g   it e m f o s y ste m a ti c   re v ie ws   a n d   m e ta - a n a l y sis  (P RIS M A )   f ra m e w o rk   w a u se d   a th e   m a in   a p p ro a c h   t o   c o l lec a n d   i n terp re t h e   li tera tu re .   In   th e   p r o c e ss ,   3 7   p a p e rs  w e re   id e n ti f ied   a m e e ti n g   th e   c rit e ria   f o li g h tw e ig h CNN a im e d   a im a g e   c la ss i f ica ti o n   o re g re ss io n   tas k s.  Of   th e se ,   o n ly   2 0   st u d ie e x p lo re d   th e   u se   o f   th e se   m o d e ls  o n   e d g e   d e v ice s.  T o   c o n c lu d e ,   M o b il e Ne t   a p p e a re d   a th e   m o st  u se d   a rc h it e c tu re ,   wh il e   t h e   ty p e o f   CNN   f o c u se d   o n   im a g e   c las si f ica ti o n   f o th e   g e n e ra l - p u rp o se   a p p li c a ti o n .   F o ll o w in g   th a t,   t h e   NV IDIA   Je tso n   Na n o   w a th e   m o st  u ti li z e d   e d g e   d e v ice   in   re c e n re se a rc h .   A d d it io n a ll y ,   p e rf o rm a n c e   e v a l u a ti o n   c o m m o n ly   in c lu d e d   m e a su re li k e   a c c u ra c y   a n d   ti m e ,   a lo n g   w it h   m e tri c su c h   a re c a ll ,   p re c isio n ,   F 1 - S c o re a n d   o t h e sim il a in d ica to rs.  F in a ll y ,   th e   a v e ra g e   a c c u ra c y   f o p e rf o r m a n c e   c o m p a riso n   c a n   se rv e   a th re sh o l d   v a lu e   f o f u tu re   re se a rc h   in   th i sc o p e   o f   stu d y .   K ey w o r d s :   E d g d ev ice   I m ag cla s s i f icatio n   L i g h t w ei g h co n v o l u tio n a n eu r al  n et w o r k   R eso u r ce - co n s tr ain ed   S y s te m a tic  liter at u r r ev ie w   T h is i a n   o p e n   a c c e ss   a rticle   u n d e r th e   CC B Y - SA   li c e n se .     C o r r e s p o nd ing   A uth o r :   Sa m s u Setu m i n     C en tr f o r   E lectr ical  E n g i n ee r in g   St u d ies,  Un i v er s i ti T ek n o l o g i M A R A   C a w a n g a n   P u la u   P in an g   P er m ata n g   P au h ,   1 3 5 0 0   P u lau   P in an g ,   Ma la y s ia    E m ail: sa m s u ls @ u it m . ed u . m y       1.   I NT RO D UCT I O N   R esear ch er s   th e s d a y s   ar p r i m ar il y   f o c u s ed   o n   t h ad v a n ce m e n o f   ar tific ial  i n telli g e n ce   ( A I )   tech n o lo g y   in   o r d er   to   en h a n c s o ciet y 's  q u alit y   o f   li f an d   f ac ilit ate   th in d u s tr ial  r e v o lu t io n .   A lt h o u g h   t h i s   d is cip lin w a s   in tr o d u ce d   b ac k   in   t h 1 9 5 0 s ,   it  h as  g o n th r o u g h   r ap id   d ev elo p m e n i n   th p as d ec ad es,  w h ic h   h a s   co v er ed   b o th   i n s id an d   o u ts id o f   th e   co m p u te r   s cien ce   f ield   [ 1 ] ,   [ 2 ] .   I ca n   b s ee n   t h at  m an y   tech n o lo g ies  a n d   n o n - tec h n o lo g y - b ased   j o u r n als   h a v p u b lis h ed   ar ticle s   r elate d   to   AI   [ 1 ] ,   [ 2 ] .   A I   h a s   p r o g r ess ed   f r o m   s i m p le  r u le - b ased   s y s te m s   to   m o r co m p licated   alg o r ith m s   t h at   ca n   m ak a u to n o m o u s   d ec is io n s   a n d   s o lv p r o b lem s .   T h p r im ar y   id ea   u n d er l y i n g   A I   is   to   d ev elo p   s y s te m s   ca p ab le  o f   d o in g   ac tiv itie s   t h at  w o u ld   n o r m all y   n ee d   h u m an   in tellect,   s u c h   as   v is u al  p er ce p tio n ,   s p ee ch   r ec o g n itio n ,   d ec is io n - m ak in g ,   a n d   lan g u a g tr a n s lat io n   [ 1 ] ,   [ 2 ] .   Fig u r 1   s h o w s   th in ter - r elatio n   o f   d ata  s cie n ce   to   ar tif icial  n e u r al   n et w o r k   t h r o u g h   A I ,   m ac h i n lear n in g   ( M L ) ,   an d   d ee p   lear n in g   ( D L )   [ 1 ] .   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 9 - 4864   I n t J   R ec o n f i g u r ab le  &   E m b ed d ed   Sy s t ,   Vo l.  14 ,   No .   2 J u l y   20 25 339 - 3 5 2   340   Fu r t h er m o r e,   ML   is   o n o f   t h m o s co m m o n   s u b f ield s   i n   A I ,   w h er it  tak e s   d if f er e n t   ap p r o ac h   f r o m   c lass ical  p r o g r a m m i n g   m et h o d .   So ,   in s tead   o f   u s in g   an   al g o r ith m   f o r   s p ec i f ic  p r o b lem   o r   f u n ct io n ,   ML   u s ce r tain   d ataset  f o r   its   alg o r ith m   to   lear n ,   p r ed ict,   a n d   d ec id th o u tco m [ 1 ] ,   [ 2 ] .   Prim ar i l y ,   M L   is   t y p icall y   ca teg o r ized   in to   f o u r   m aj o r   ty p es  s u c h   as  s u p er v i s ed   lear n in g ,   w h ic h   in v o l v es  tr ain i n g   m o d els  o n   lab elled   d ata,   u n s u p er v is ed   le ar n in g ,   w h ic h   i n v o l v es   s ea r ch i n g   f o r   p atter n s   i n   u n lab eled   d ata,   s e m i s u p er v i s ed   lear n in g ,   w h ic h   i n cl u d es  b o t h   s u p er v i s ed   an d   u n s u p er v is ed   lear n in g ,   a n d   r ein f o r ce m e n lear n in g ,   w h ic h   teac h es  m o d els  to   m a k d ec i s io n s   b ased   o n   tr ial  a n d   er r o r   [ 1 ] ,   [ 2 ] .   I n   ad d itio n ,   th ap p licatio n   o f   M L   is   co m m o n l y   d iv id ed   in to   o b j e ct  class if icatio n   o r   r eg r ess io n   ( i.e . ,   p r ed ictio n ) .   So m t y p ical  ex a m p les  o f   alg o r ith m s   i n   ML   in cl u d ar tif icia n eu r al  n et w o r k ,   d ec is io n   tr ee s ,   lin ea r   r eg r ess io n ,   an d   s u p p o r v ec to r   m ac h in [ 1 ] ,   [ 2 ] .   Mo r eo v er ,   co n v o lu tio n al  n e u r al  n et w o r k   ( C NN)   is   o n o f   ML s   ar ti f ic ial  n eu r al  n et w o r k   alg o r ith m s   th at  i s   s p ec ial ized   f o r   i m ag e - b ased   tas k s   [ 1 ] ,   [ 3 ] - [ 6 ] .   I n   o th e r   w o r d s ,   C N is   f u n d a m e n tal  in   m a n y   co m p u ter   v is io n   task s   s u c h   as  i m a g d etec tio n ,   r ec o g n itio n ,   clas s i f icat io n ,   r eg r ess io n ,   an d   s eg m e n tat io n .   C NN  is   m ad e   u p   o f   t h r ee   m ain   la y er s ,   in cl u d in g   co n v o l u tio n a l,  p o o lin g ,   an d   f u ll y   co n n ec ted   la y er [ 1 ] ,   [ 3 ] - [ 6 ] .   Fig u r 2   d ep icts   th b asic  C NN  ar ch it ec tu r an d   its   tr ain i n g   p r o ce s s   [ 1 ] ,   [ 3 ] - [ 6 ] .   First,  co n v o lu t io n al  la y er s   ap p l y   f ilter s   to   in co m in g   d ata,   ca p tu r in g   s p atial  h ier ar ch ies  a n d   lo ca p atter n s   t h at  ar n ec e s s ar y   f o r   ap p licatio n s   s u c h   as  i m a g id en ti f icatio n   [ 1 ] ,   [ 3 ] - [ 6 ] .   Seco n d ,   p o o lin g   la y er s   lo w er s   t h d i m en s i o n alit y   o f   t h d ata,   in cr ea s i n g   co m p u ti n g   e f f icie n c y   a n d   r esil ie n ce   [ 1 ] ,   [ 3 ] - [ 6 ] .   T h ir d ,   f u ll y   co n n ec ted   la y er s   m a k h i g h - le v el   d ec is io n s   b ased   o n   th ex tr ac ted   ch ar ac ter is tics   [ 1 ] ,   [ 3 ] - [ 6 ] .   Si m p l y   p u t,  th f ir s t w o   m ain   la y er s   p er f o r m   f ea t u r ex tr ac tio n   f r o m   t h i n p u t d ata  a n d   th th ir d   m ai n   la y e r   m ap s   t h e x tr ac ted   f ea t u r es  t o   d e cid o r   p r ed ict   th o u tp u t d ata  [ 1 ] ,   [ 3 ] - [ 6 ]   Nev er th e less ,   t h d ev elo p m e n o f   C NN s   ap p licatio n s   u s u a ll y   i n v o l v es  w it h   b ig   d ata  w h ich   r elies   h ea v i l y   o n   clo u d   i n f r astr u ctu r an d   r eso u r ce s   f o r   h i g h   co m p u tat io n   co m p le x it y ,   m e m o r y   an d   lo ad   p o w e r   co n s u m p tio [ 4 ] - [ 8 ] .   I n   r ec e n y ea r s ,   t h w id e s p r ea d   u s e   o f   clo u d   co m p u t in g   i n   m a n y   f ield s   o f   C NN s   ap p licatio n s   h as  r aised   s o m co n ce r n   r eg ar d in g   s tr ict  laten c y   r eq u ir em e n ts ,   s tr ai n ed   n et w o r k   ca p ac it y ,   as  w el l   as  p r iv ac y   a n d   s ec u r it y   is s u e s   [ 4 ] - [ 8 ] .   Ultim a tel y ,   i n   o r d er   to   o v er co m t h e s p r o b lem s   a n d   o p ti m ize  C NN s   ap p licatio n s ,   an   i n cr ea s i n g   d em an d   f o r   d ep lo y i n g   DL   m o d e ls   d ir ec tl y   o n to   ed g d ev ice s   to   en ab le  r ea l - ti m e   in f er en ce   an d   d ec is io n - m a k i n g   h as  b ee n   in tr o d u ce d .   E d g c o m p u ti n g   i n clu d e s   p r o ce s s in g   d ata  at   o r   n ea r   th s o u r ce   o f   d ata  cr ea tio n   w h ic h   is   ca lled   ed g d ev ice s ,   s u ch   as  I o T   d ev ices,  s m ar tp h o n e s ,   o r   s en s o r s ,   r ath er   th an   u s in g   ce n tr alize d   clo u d   in f r astru ct u r e.             Fig u r 1 .   T h in ter - r elatio n   o f   d ata  s cien ce   to   ar tif icia l n e u r al   n et w o r k   t h r o u g h   A I ML ,   a n d   DL   [ 1 ] ,   [ 2 ]           Fig u r 2 .   T h b asic CNN a r ch itectu r an d   it s   tr ain i n g   p r o ce s s   [ 1 ] ,   [ 2 ]     F i g .   1 .   Th e   b a si c   C N N   a r c h i t e c t u r e   a n d   i t s   t r a i n i n g   p r o c e ss  [ 1 ] ,   [ 2 ] .   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J   R ec o n f i g u r ab le  &   E m b ed d ed   Sy s t     I SS N:   2089 - 4864       S ystema tic  r ev iew   o f a   lig h tw e ig h t c o n v o lu tio n a n eu r a l n et w o r …  ( Mu h a mma d   A b b a s   A b u   Ta lib )   341   Ma n y   r esear ch er s   h a v e m p lo y ed   ed g co m p u ti n g   to   g ain   v ar io u s   b en e f its ,   in cl u d i n g   s h o r ter   laten c y ,   lo w er   b an d w id th   u s e,   an d   g r ea ter   p r iv ac y   an d   s ec u r it y   [ 4] - [ 8 ] .   Fo r   th at,   ed g d ev i ce s   eq u ip p ed   w i th   s tr o n g   ce n tr al  p r o ce s s in g   u n it s   ( C P Us)  an d   s p ec ialized   h ar d w ar ac ce ler ato r s   lik g r ap h ic al  p r o ce s s in g   u n it s   ( GP Us),   ten s ile  p r o ce s s in g   u n i ts   ( T P Us),   an d   n eu r al  p r o ce s s i n g   u n it s   ( NP Us)  ca n   ex ec u te  c o m p lica ted   A I   an d   ML   m o d els  lo ca ll y .   Ho w ev er ,   o p tim izi n g   C NN  ar ch itect u r e’ s   ef f icien c y   f o r   ed g d ev ices  d ep lo y m e n p o s es  cr itical  ch alle n g s i n ce   t h eir   a p p licatio n s   v ar y   f r o m   ea c h   o th er   an d   d u to   th l i m ited   co m p u tatio n a l r eso u r ce s   an d   p o w er   co n s tr ai n t s   o f   th ed g d ev ices.  T o   d ate,   m o s s t u d y   in   t h is   s u b j ec h av u s ed   d if f er e n m et h o d   o f   o p tim izatio n   to   p r o d u ce   th eir   lig h t w ei g h C NN  f o r   ed g d ev ice  d ep lo y m e n an d   t h b en ch m ar k   f o r   f air   co m p ar is o n   is   s till   m is s i n g   [ 8 ] - [ 1 2 ] .     No w ,   t h i s   s y s te m s   l iter atu r r ev ie w   ( S L R )   ai m s   to   co llec t,  an al y ze ,   a n d   in ter p r et  th cu r r en o r   r ec en tl y   p u b lis h ed   ar ticles   o n   th li g h t w ei g h C NN  ar ch ite ctu r es  f o r   ed g d ev ice s   a n d   c ateg o r ized   th e m   i n   ter m s   o f   t h s p ec if ic  ar ch ite ctu r o r   b ased - m o d el,   C NN’ s   t y p es  ( i.e . ,   class i f icatio n   o r   r eg r ess io n ) ,   an d   ap p licatio n s   ( i.e . ,   th s u b j ec o r   p u r p o s o f   ea ch   C N N’ s   ar c h itect u r es)  u s ed   f o r   t h eir   r esea r ch .   Nex t,  b ased   o n   th t y p es  o f   ed g d ev ice,   th ev alu a tio n   cr iter ia  ( e. g . ,   ti m e   an d   ac cu r ac y ) ,   ev alu a tio n   m atr i ce s   ( e. g . ,   ac cu r ac y ,   p r ec is io n ,   F1 - Sco r e an d   r o o t m ea n   s q u ar ed   er r o r   ( R MSE ) ) ,   an d   p er f o r m a n ce   co m p ar is o n   b et w ee n   ea ch   s t u d y   in   th f ir s q u esti o n   w ill  b r ec o r d e d   an d   d is cu s s ed .   I n   s h o r t,  th r esear ch   q u es tio n s   in   th i s   p ap er   ar as  f o llo w s   a n d   ca n   b s ee n   as   il lu s tr ated   in   Fi g u r 3 :     R Q1 W h at  is   th c u r r en li g h t w ei g h C N ar ch itect u r es  u s ed   o n   th li m ited   co m p u ta tio n al  r eso u r ce s   o r   ed g d ev ices?     R Q2 W h at  is   t h c u r r en p er f o r m a n ce   o f   t h li g h t w ei g h t   C N ar ch itec tu r u s ed   o n   th li m ited   co m p u tatio n al  r eso u r c es o r   ed g d ev ices?   T h is   SLR  i s   d iv id ed   i n to   f o u r   m aj o r   s ec tio n s .   I n   t h f ir s s ec tio n ,   th in tr o d u ctio n   i s   r ev ie w ed   r eg ar d in g   th e   b ac k g r o u n d   k n o w led g e   o f   A I ,   ML ,   C N N,   a n d   ed g d e v ice,   t h f o cu s ed   li m ita tio n s ,   an d   t h e   r esear ch   q u esti o n s   o f   th i s   liter atu r e.   Fo r   th s ec o n d   s ec tio n ,   m o s o f   th r elate d   ar ticles  o n   th lig h t w ei g h t   C NN  o n   ed g d ev ice s   w ill  b co llected   an d   m ap p ed   b y   u s in g   t h p r ef er r ed   r ep o r tin g   it e m s   f o r   s y s te m atic   r ev ie w s   a n d   m e ta - a n al y s i s   ( P R I SM A )   f r a m e w o r k   a s   t h m et h o d o lo g y   p ar o f   t h is   s t u d y .   T h ir d l y ,   all  th e   r esu lt s   w ill  b an al y ze d   an d   d is cu s s ed   in   o r d er   to   an s w er   th r esear ch   q u e s tio n s   o f   t h cu r r en li g h t w ei g h t   C NN  ar ch i tectu r e s   u s ed   o n   th li m ited   co m p u tatio n al  r eso u r ce s   o r   ed g d ev ices  an d   its   p er f o r m an ce s ,   as  t h e   th ir d   s ec tio n   o f   t h i s   p ap er .   Fin all y ,   t h is   S L R   w ill  b co n clu d ed   in   t h f o u r th   s ec tio n   b y   p r o v id in g   th e   s u m m ar ized   f i n d in g s   a n d   an   i n s i g h t f o r   f u t u r r ec o m m e n d at io n s   o n   t h is   s co p o f   s tu d y .           Fig u r 3 .   Min d   m ap   ill u s tr atio n   o f   t h r esear ch   q u e s tio n s       2.   RE S E ARCH   M E T H O   I n   t h i s   S L R ,   d etailed   tec h n iq u f o r   id en ti f y i n g   r elev an r esear ch   o n   t h s u b j ec r eg ar d in g   lig h t w ei g h C N ar ch itect u r e s   o n   ed g d ev ice s   w as  co n d u cted .   T h is   ap p r o ac h   w as  ad o p ted   b ased   o n   th e   P R I SMA   f r a m e w o r k   [ 1 3 ] ,   an d   th m o d if ied   f lo w c h ar in   F ig u r 4   s h o w s   t h p r ac tical  v i e w   o f   ea ch   s tep   o f   th is   S L R s   m eth o d o lo g y .   B a s icall y ,   t h er w er t h r ee   m a j o r   p h ases   in v o lv ed   in   co m p letin g   t h i s   p ap er .   I n itiall y ,   t h id en ti f icat io n   p h a s d eter m i n ed   th r ec o r d s   ac q u ir ed   f r o m   t h s ea r ch   s tr ateg y   u s ed   i n   an y   k i n d   o f   ac ad e m ic  r esear ch   d atab ase.   S ec o n d l y ,   th i n it ial  p ar o f   th s cr ee n i n g   p h ase  i n v o l v es  e x ec u ti n g   t h s e lectio n   cr iter ia  in   o r d er   to   o n l y   co n s i d er   th n ec e s s ar y   ca te g o r ies  f o r   th d escr ip tiv e   an al y s is .   T h ir d l y ,   t h q u alit y   ass es s m en is   al s o   in clu d ed   as  th s ec o n d   p ar o f   th s cr ee n in g   p h ase  i n   o r d er   t o   f in d   o u th eli g ib ilit y   o f   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 9 - 4864   I n t J   R ec o n f i g u r ab le  &   E m b ed d ed   Sy s t ,   Vo l.  14 ,   No .   2 J u l y   20 25 339 - 3 5 2   342   ea ch   ar ticle  f o r   th is   s co p o f   s tu d y .   Fi n all y ,   t h in cl u d ed   p h ase  s h o w s   t h f i n al  n u m b er   o f   ar ticles  th at  w il b e   u s ed   in   l iter atu r clas s i f icatio n   in   o r d er   to   s atis f y   al l th r ese ar ch   q u esti o n s   s tated   b ef o r eh a n d .           Fig u r 4 .   T h m o d if ied   P R I S MA   f r a m e w o r k   [ 1 3 ]   w ith   al l t h r ec o r d s   f o r   th is   S L R s   m et h o d o lo g y       2 . 1 .     Sea rc s t ra t eg y   First  o f   al l,  th s ea r ch   s tr ateg y   w a s   s p ec i f icall y   ex ec u ted   i n   t w o   ac ad e m ic  d atab ase  in d e x er s ,   s u c h   a s   Sco p u s ,   an d   w eb   o f   s cie n c ( W o S),   as  w ell  a s   t w o   p u b lis h ed   ar ticle  d atab ases ,   s u ch   a s   I E E E   an d   Scien ce Dir ec t.  Mo r eo v er ,   t h s ea r ch   o n l y   i n cl u d ed   j o u r n al  ar ticles,  r ev ie w   p ap er s ,   an d   c o n f er en ce   p ap er s   o r   p r o ce ed in g s   f o r   Sco p u s   an d   W o S,  w h ile  o n l y   r ec o r d s   f o r   jo u r n al  ar ticles  f r o m   I E E E   an d   Scien ce Dir ec w er e   ex tr ac ted .   Nex t,  th k e y w o r d s   u s ed   f o r   all  t h d atab ase  s ea r ch es  w er li g h t w eig h C NN”   A ND  ed g e   d ev ices”  in   t h s ea r ch   f ield s   o f   titl e,   ab s tr ac t,  an d   au th o r s   k e y w o r d .   T h en ,   in   o r d er   t o   f o cu s   m o r o n   th e   r ec en an d   u p d ated   p ap er s ,   th e   p u b licatio n s   y ea r s   i n   t h d at ab ases   w er li m ited   f r o m   2 0 2 0   to   2 0 2 4 .   A ls o ,   t h e   s ea r ch   f o c u s ed   o n   p ap er s   p u b l is h ed   o n l y   i n   E n g li s h .   B y   ap p l y in g   t h ese  ter m s ,   t h s ea r c h   was  n ar r o w ed   d o w n   to   s p ec if ic  ar ea   an d   s co p e   r elate d   to   th is   s tu d y .   A t h is   s t ag e,   to tal  r ec o r d   o f   4 6 0   ar ti cles’   m etad ata  w a s   o b tain ed   th r o u g h o u t th s ea r c h .       2 . 2 .     Select io cr it er ia   Fo r   th s elec tio n   cr iter ia,   all   th r ec o r d ed   m e tad ata  w as  c o m b i n ed   i n   s i n g le  s p r ea d s h ee f o r   th e   s cr ee n i n g   p r o ce s s .   T h m aj o r   g o al  w as   to   m ap   t h av a ilab le   liter atu r o n   t h u s e   o f   lig h t weig h C NN  i n   ed g e   d ev ices  ac co r d in g   to   th s o u r ce   titl e,   j o u r n al  p u b lis h er ,   y e ar   o f   p u b licatio n s ,   r esear ch   f i eld ,   an d   n u m b er   o f   citatio n s ,   as  th e s ca teg o r ies  w il b u s ed   in   th d escr ip tiv an al y s i s   o f   th r esu lt  an d   d is cu s s io n   s ec tio n .   A ll   d ata  f o r   o th er   ca te g o r ies  w a s   ex cl u d ed   an d   r e m o v ed .   F o r   th n e x s tep ,   all  t h p a p er s   d i g i tal  o b j ec t   id en ti f ier s   ( DOI s )   w er s o r ted   o u in   o r d er   to   r em o v d u p licate  r ec o r d s   ea s il y   u s in g   t h e   s p r ea d s h ee t ' s   to o l.  L ast   b u n o least,  r e v ie w   p ap er s   an d   co n f er en ce   p r o ce ed in g s   w er also   e x clu d ed   i n   o r d er   to   k ee p   th r ec o r d s   m o r r ele v an t.  D u to   th e s cr iter ia,   2 8 1   r esear ch   p u b licatio n s   w er r ej ec ted   d u r in g   th in itial  s cr ee n i n g   p r o ce s s ,   an d   o n l y   1 7 9   r ec o r d s   w er le f t f o r   f u r t h er   ass e s s m e n t.     2 . 3 .     Q ua lity   a s s ess m ent   Fo llo w i n g   th in i tial  s cr ee n i n g   p h ase,   q u alit y   ass e s s m e n w a s   p er f o r m ed   o n   ea ch   r e s ea r ch   p ap er   in   o r d er   to   f u r th er   en s u r t h at  o n l y   th m o s e lig ib le  s t u d ies  w er i n cl u d ed   in   t h is   SLR  f o r   cr itical  r ev ie w .   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J   R ec o n f i g u r ab le  &   E m b ed d ed   Sy s t     I SS N:   2089 - 4864       S ystema tic  r ev iew   o f a   lig h tw e ig h t c o n v o lu tio n a n eu r a l n et w o r …  ( Mu h a mma d   A b b a s   A b u   Ta lib )   343   E ac h   ar ticle's  titl an d   ab s tr ac w er s cr u ti n ized   th o r o u g h l y   to   en s u r th e ir   r elev an c y   a n d   co n tr ib u tio n   to   th e   to p ic  u n d er   r ev ie w .   B y   e x ec u tin g   t h is   p r o ce s s ,   it  h elp s   to   p u r if y   t h s e lectio n ,   e n s u r i n g   o n l y   p er tin e n a n d   h ig h - q u al it y   ac ad e m ic   liter at u r is   i n cl u d ed   in   t h r e v ie w   p r o ce s s .   As  r es u lt,   to tal  o f   1 3 2   ar ticles  w er e   r e m o v ed   f r o m   t h r ec o r d s ,   w i th   th r ee   o f   t h e m   b ei n g   r ev ie w   p ap er s   an d   o th er s   b ein g   ar ticles  th at  w er n o t   r elate d   to   i m a g cla s s i f icatio n   o r   r eg r ess io n   ( i.e . ,   s i g n a clas s if ica tio n ,   s o u n d   clas s i f icatio n ,   o b j ec d etec tio n ,   s eg m e n tatio n ,   an d   lo ca lizatio n ) .   A th i s   s tag e,   th er w er o n l y   3 7   r esear ch   p a p er s   lef i n   t h r ec o r d   f o r   t h e   f i n al  p r o ce s s   o f   d ata  ex tr ac tio n .     2 . 4 .     Da t a   ex t ra ct i o n   Du r in g   th d ata  ex tr ac tio n   p h ase,   3 7   p u b licatio n s   w er ca r ef u ll y   s elec ted   f o r   th eir   r elev an ce   an d   ca p ac it y   to   ad d r ess   th r esear ch   q u esti o n s   g i v e n   in   t h p r ec ed in g   s ec tio n .   Fo r   t h at,   b y   u n d er s ta n d in g   th e   cu r r en t tr e n d   o f   li g h t w eig h C NN  o n   ed g d ev ices,  all  t h d a ta  w ill b an al y ze d   as a   li ter atu r class if ica tio n   i n   th lat ter   p ar o f   t h r e s u l a n d   d is cu s s io n   s ec t io n .   W it h   t h at,   v ar io u s   li g h t w ei g h C NN  ar c h itect u r es  t h at   h a v e   b ee n   co n d u cted   in   p r ev io u s   r esear ch   w ith   r eso u r ce - co n s tr ain ed   d ev ices  w i ll  b h ig h l ig h ted ,   in clu d in g   th eir   task - b ased   ca teg o r ies,  ap p licatio n s ,   as  w ell  as  t h t y p es  o f   ed g d ev ices  an d   th e ir   s p ec if i ca tio n s .   T h en ,   th e   k e y   p er f o r m an ce   o f   lig h t w e ig h C N ar ch ite ct u r es  o n   t h e s e   lo w - r eso u r ce   d ev ice s   w ill  b ex a m in ed   i n   ter m s   o f   ev al u atio n   t y p es,  m atr ices,  an d   p er f o r m an ce   co m p ar i s o n s   as r ep o r ted   b y   v ar io u s   r esear c h er s .       3.   RE SU L T S AN D I SCU SS I O   I n   t h is   s ec tio n ,   all  t h r e s u l t s   o b tain ed   a f ter   co n d u cti n g   t h ap p r o ac h   d is c u s s ed   in   th e   p r ev io u s   s ec tio n   w i ll  b o b s er v ed   an d   a n al y ze d .   T h is   s ec tio n   i s   d iv id ed   in to   t w o   s u b s ec tio n s .   T h f ir s s u b s ec tio n   w ill   f o cu s   o n   t h d escr ip ti v an a l y s is   to   s ee   th e   g e n er al  tr en d   o f   th r esear c h ,   an d   t h s ec o n d   s u b s ec tio n ,   liter at u r e   class i f icatio n s ,   w ill  f u r th er   d is cu s s   th co n te n t i n   o r d er   to   f u l f il t h r esear ch   q u e s tio n s   in   t h is   p ap er .     3 . 1 .     Descript iv a na ly s is   Fro m   t h m et h o d o lo g y   co n d u cted ,   th o b tain ed   l iter atu r f o r   th is   s y s te m atic   liter at u r r ev ie w   h as   a   to tal  o f   3 7   p ap er s   th at  ar s p e cif icall y   r elate d   to   t h r esear c h   o f   l ig h t w ei g h C NN  ar ch ite ctu r es  i m p le m en ted   o r   w er d esig n ed   f o r   r eso u r ce - co n s tr ain ed   ed g d e v ices.  B ased   o n   T ab le  1 ,   all  th p ap er s   w er cla s s i f ied   ac co r d in g   to   th y ea r   o f   p u b li ca tio n ,   j o u r n al  p u b lis h er s ,   an d   n u m b er   o f   citatio n s .   T h en ,   t h n u m b er   o f   r elate d   p ap er s   p u b lis h ed   in   t h f o ll o w i n g   y ea r ,   2 0 2 1 2 0 2 4 ,   is   d ep icted   in   Fig u r 5 ,   p u b lis h er   class i f icat io n   i n     Fig u r 6 ,   an d   th n u m b er   o f   ci tatio n s   f r o m   ea c h   p ap er   in   Fig u r 7 .       T ab le  1 .   R esear ch   d atab ase  d e s cr ip tiv an a l y s is   R e f .   N u m b e r   Y e a r   P u b l i s h e r   C i t e d   R e f .   N u m b e r   Y e a r   P u b l i s h e r   C i t e d   [ 1 4 ]   2 0 2 4   El se v i e r   1   [ 3 3 ]   2 0 2 3   El se v i e r   2   [ 1 5 ]   2 0 2 4   El se v i e r   0   [ 3 4 ]   2 0 2 3   El se v i e r   9   [ 1 6 ]   2 0 2 4   W i l e y   0   [ 3 5 ]   2 0 2 2   I EEE   40   [ 1 7 ]   2 0 2 4   El se v i e r   1   [ 3 6 ]   2 0 2 2   S p r i n g e r   11   [ 1 8 ]   2 0 2 4   El se v i e r   4   [ 3 7 ]   2 0 2 2   M D P I   0   [ 1 9 ]   2 0 2 4   M D P I   0   [ 3 8 ]   2 0 2 2   K I P S   6   [ 2 0 ]   2 0 2 4   M D P I   3   [ 3 9 ]   2 0 2 2   W i l e y   3   [ 2 1 ]   2 0 2 3   C S I R - N I S c P R   2   [ 4 0 ]   2 0 2 2   S p r i n g e r   2   [ 2 2 ]   2 0 2 3   C S I R - N I S c P R   1   [ 4 1 ]   2 0 2 2   El se v i e r   22   [ 2 3 ]   2 0 2 3   S p r i n g e r   3   [ 4 2 ]   2 0 2 2   S p r i n g e r   1   [ 2 4 ]   2 0 2 3   W i l e y   1   [ 4 3 ]   2 0 2 1   M D P I   3   [ 2 5 ]   2 0 2 3   I EEE   0   [ 4 4 ]   2 0 2 1   I EEE   12   [ 2 6 ]   2 0 2 3   I EEE   7   [ 4 5 ]   2 0 2 1   W i l e y   16   [ 2 7 ]   2 0 2 3   El se v i e r   3   [ 4 6 ]   2 0 2 1   K S S   2   [ 2 8 ]   2 0 2 3   El se v i e r   4   [ 4 7 ]   2 0 2 1   I EEE   33   [ 2 9 ]   2 0 2 3   El se v i e r   16   [ 4 8 ]   2 0 2 1   El se v i e r   41   [ 3 0 ]   2 0 2 3   C S I R - N I S c P R   1   [ 4 9 ]   2 0 2 1   M D P I   5   [ 3 1 ]   2 0 2 3   C S I R - N I S c P R   5   [ 5 0 ]   2 0 2 1   M D P I   18   [ 3 2 ]   2 0 2 3   I EEE   9               I n   Fig u r 5 ,   th p ie  ch ar s h o w s   t h at  i n   th y ea r   2 0 2 1 ,   th n u m b er   o f   p u b lis h ed   p ap er s   w as  8 ,   w h ic h   w a s   also   th s a m n u m b er   p r o d u ce d   in   2 0 2 2 .   Ho w ev er ,   in   2 0 2 3 ,   th n u m b er   w as  al m o s t   t w ice  th p r ev io u s   p u b lis h ed   p ap er ,   w h ic h   w a s   1 4 .   Mo r eo v er ,   b y   t h m id - y ea r   o f   2 0 2 4 ,   th alr ea d y - p u b lis h ed   ar ticles  w er 7 .   Hen ce ,   it  ca n   b s ee n   an d   p r ed icted   th at  b y   t h en d   o f   2 0 2 4 ,   th n u m b er   o f   p u b lis h ed   p ap er s   w ill  b t w ice  as   lar g e.   Nex t,  Fi g u r 6   s h o w s   th n u m b er   o f   r esear ch   ar ticles  b y   p u b lis h er s .   A cc o r d in g   to   th i s   p ie  ch ar t,  th e   h ig h e s n u m b er   o f   p ap er s   w e r p u b lis h ed   b y   E ls ev ier ,   w h ich   is   1 1   p ap er s   an d   2 9 . 7 o f   th to tal  p ap e r s   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 9 - 4864   I n t J   R ec o n f i g u r ab le  &   E m b ed d ed   Sy s t ,   Vo l.  14 ,   No .   2 J u l y   20 25 339 - 3 5 2   344   r ev ie w ed   in   th i s   ar ticle.   Fo llo w i n g   t h at,   I E E E   an d   MD PI  p u b lis h ed   s ix   p ap er s ,   w ith   1 6 . 2 f r o m   ea c h   p u b lis h er .   O th er   t h a n   t h at,   4   p ap er s   an d   1 0 . 8 w er p u b lis h ed   b y   ea c h   o f   W ile y ,   Sp r i n g er ,   a n d     C SIR - NI ScP R ,   lea v i n g   1   p ap er   an d   2 . 7 % o f   t h to tal  p ap er s   b ein g   p u b li s h ed   b y   KI P S a n d   KSS,  r esp ec tiv e l y .             Fig u r 5 .   Nu m b er   o f   p ap er s   p u b lis h ed   f r o m   ea c h   y ea r   w ith in   2 0 2 1   u n til 2 0 2 4     Fig u r 6 .   Nu m b er   o f   p ap er s   p u b lis h ed   b y   ea ch   p u b lis h er       Af ter   t h at,   Fi g u r 7   an al y ze d   th n u m b er   o f   ci tatio n s   f r o m   ea ch   p ap er   in   t h is   S L R .   T h h o r izo n tal   ax is   d en o tes  th r e f er en ce   n u m b er   o f   ea c h   ar ticle,   a n d   t h e   v er tical  a x i s   s h o w s   th e   n u m b er   o f   its   c itatio n .   B ased   o n   th e   b ar   g r ap h ,   t h h i g h e s n u m b er   o f   citatio n s   is   4 1 ,   f o llo w ed   b y   4 0 ,   3 3 ,   an d   2 2 .   On l y   4   p ap er s   f r o m   th to tal  ar ticle  h a v t h n u m b er   o f   citatio n s   ab o v 2 0 o th er   th a n   th at,   m o s p ap er s   h av t h n u m b er   o f   citatio n s   b elo w   2 0 ,   w h ich   r a n g f r o m   0   to   1 8 .   I n   s u m m ar y ,   b y   o b s er v in g   a n d   an a l y zi n g   t h ese  s i m p le  liter at u r class i f icatio n s ,   it  s u g g est s   t h a th r esear c h   f o c u s ed   o n   t h i s   f ield   i s   s t ill  c u r r en tl y   in   th b eg in n i n g   p h ase.   T h er ef o r e,   f u r th er   r esear ch   is   n ee d ed   in   o r d er   to   c o n tr ib u te   m o r n o v elt y   a n d   s tate - of - t h e - ar ap p r o ac h   to   th s t u d y   o f   lig h t w ei g h t C NN  o n   ed g d ev ices.           Fig u r 7 .   Nu m b er   o f   citat io n s   f r o m   ea ch   p ap er         3 . 2 .     L it er a t ure  cla s s if ica t io n s     Fo r   th liter atu r cla s s i f icatio n ,   th r e v ie w ed   ar ticles  w er class i f ied   ac co r d in g l y   b y   r e f er r in g   to   t h e   lig h t w ei g h C NN  ar ch itectu r e s   f o r   th p u r p o s o f   ed g d ev ice  i m p le m e n tat io n .   T ab le  2   s u m m ar ize  all  t h o s e   lig h t w ei g h C NN  ar ch itect u r e s   o r   b ased   m o d els,  th t y p es   o f   th C NN,   an d   its   ap p lica tio n s .   Me an w h ile,   T ab le   3   f o cu s ed   o n   th o s lig h t w ei g h C NN  ar ch i tectu r es  t h at   h av b ee n   ex p er i m e n ted   o n   ed g d ev ices,  w h ic h   in cl u d es  it s   p er f o r m a n ce   e v al u atio n   in   ter m s   o f   t h eir   e v al u a tio n   t y p e s ,   m atr ices,  a n d   p er f o r m an ce   co m p ar is o n   in   ter m s   o f   a v er ag ac cu r ac y .   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J   R ec o n f i g u r ab le  &   E m b ed d ed   Sy s t     I SS N:   2089 - 4864       S ystema tic  r ev iew   o f a   lig h tw e ig h t c o n v o lu tio n a n eu r a l n et w o r …  ( Mu h a mma d   A b b a s   A b u   Ta lib )   345   T ab le  2 .   R esear ch   d atab ase  liter atu r class i f icatio n s   R e f .     A r c h i t e c t u r e s/ mo d e l s   Ty p e s o f   C N N   A p p l i c a t i o n s   [ 1 4 ]   L i t e - M D C   C l a ssi f i c a t i o n   t y p e s o f   p i g e o n   p e a 's  d i se a se s   P l a n t   d i se a se   d e t e c t i o n   f o r   p i g e o n   p e a   [ 1 5 ]   VGG - 16   C l a ssi f i c a t i o n   o f   c r a c k e d / n o n - c r a c k e d   s u r f a c e s   A u t o mat e d   c r a c k   d e t e c t i o n   i n   b u i l d i n g   i n s p e c t i o n   a n d   m a i n t e n a n c e   [ 1 6 ]   S D L M   C l a ssi f i c a t i o n   o f   c a t a r a c t / n o n - c a t a r a c t   e y e   Ca t a r a c t   e y e   d e t e c t i o n   [ 1 7 ]   S h u f f l e N e t V 2 _ Y O L O v 5 s   C l a ssi f i c a t i o n   t y p e s o f   c a n o l a   k e r n e l   g r a d e s   R e a l - t i me   c a n o l a   d a mag e   d e t e c t i o n   [ 1 8 ]   O n D e v - L C T   C l a ssi f i c a t i o n   G e n e r a l   p u r p o se   f o r   i mag e   c l a ssi f i c a t i o n   [ 1 9 ]   Z e r o - F V e i n N e t   C l a ssi f i c a t i o n   t y p e s o f   f i n g e r s v e i n   F i n g e r   v e i n   r e c o g n i t i o n   [ 2 0 ]   Y O L O v 5   C l a ssi f i c y   t h e   ma t u r i t y   o f   b l u e b e r r y   f r u i t   B l u e b e r r y   f r u i t   m a t u r i t y   d e t e c t i on   [ 2 1 ]   M o b i l e N e t V 2 C o n d e n se N e t V 2 S h u f f l e N e t V 2   C l a ssi f i c a t i o n   o f   f a b r i c ,   su r f a c e ,   a n d   c a st i n g   d e f e c t   P r o d u c t   d e f e c t   d e t e c t i o n   i n   M F G   i n d u st r i e s   [ 2 2 ]   M o b i l e N e t V 2   C l a ssi f i c a t i o n   t y p e s o f   f a b r i c   d e f e c t   F a b r i c   d e f e c t   d e t e c t i o n   i n   t e x t i l e   M F G   [ 2 3 ]   C C N N e t   C l a ssi f i c a t i o n   t y p e s o f   t r a d i t i o n a l   C h i n e se   me d i c i n e   ( T C M )   T r a d i t i o n a l   C h i n e se   me d i c i n e   i m a g e   c l a ssi f i c a t i o n   [ 2 4 ]   M o b i l e N e t   C l a ssi f i c a t i o n   G e n e r a l   p u r p o se   f o r   i mag e   c l a ssi f i c a t i o n   [ 2 5 ]   V G G 1 6 _ B N R e sN e t - 50 R e g N e t - X   C l a ssi f i c a t i o n   G e n e r a l   p u r p o se   f o r   i mag e   c l a ssi f i c a t i o n   [ 2 6 ]   CH - C N N   C l a ssi f i c a t i o n   G e n e r a l   p u r p o se   f o r   i mag e   c l a ssi f i c a t i o n   [ 2 7 ]   M o b i l e V i TF a c e   C l a ssi f i c a t i o n   o f   d i f f e r e n t   b r e e d s o f   sh e e p   S h e e p   f a c e   r e c o g n i t i o n   [ 2 8 ]   V G G N e t - 16 R e sN e t - 5 0 / 5 6 / 1 1 0 G o o g L e N e t D e n se N e t - 40   C l a ssi f i c a t i o n   G e n e r a l   p u r p o se   f o r   i mag e   c l a ssi f i c a t i o n   [ 2 9 ]   L i t e C N N   Cl a ssi f i c a t i o n   o f   d i f f e r e n t   t y p e s o f   p l a n t   d i se a se s   P l a n t   d i se a se   i d e n t i f i c a t i o n   [ 3 0 ]   S h u f f l e N e t v 2   C l a ssi f i c a t i o n   o f   d e f e c t i v e / n o n d e f e c t i v e   c a s t i n g   C a st i n g   d e f e c t   d e t e c t i o n   [ 3 1 ]   C o n d e n se N e t V 2   C l a ssi f i c a t i o n   t y p e s o f   su r f a c e   d e f e c t   S u r f a c e   d e f e c t   d e t e c t i o n   i n   i n d u s t r i a l   i n t e l l i g e n t   p r o d u c t i o n   [ 3 2 ]   C N N   C l a ssi f i c a t i o n   t y p e s o f   f a c i a l   e mo t i o n   F a c i a l   e mo t i o n   r e c o g n i t i o n   f o r   V I P   [ 3 3 ]   EB N A S   C l a ssi f i c a t i o n   G e n e r a l   p u r p o se   f o r   i mag e   c l a ssi f i c a t i o n   [ 3 4 ]   Y O L O v 5 s - B i F P N   C l a ssi f i c a t i o n   o f   p i g   b o d y   r e g i o n   o f   i n t e r e st   ( R o I ) ,   r e g r e ssi o n   o f   p i g   b o d y   t e mp e r a t u r e   P i g   b o d y   t e mp e r a t u r e   a u t o ma t i c   d e t e c t i o n   f o r   e a r l y   d i se a se   w a r n i n g   [ 3 5 ]   Ed g e F i r e S m o k e   C l a ssi f y   t h e   o c c u r a n c e   o f   f o r e st   f i r e s   F i r e - smo k e   d e t e c t i o n   o f   f o r e st   f i r e s   [ 3 6 ]   T r i p l e N e t   C l a ssi f i c a t i o n   G e n e r a l   p u r p o se   f o r   i mag e   c l a ssi f i c a t i o n   [ 3 7 ]   C o n d e n se N e X t V 2   C l a ssi f i c a t i o n   G e n e r a l   p u r p o se   f o r   i mag e   c l a ssi f i c a t i o n   [ 3 8 ]   I n c e p t i o n V 3 M o b i l e N e t V G G 1 6   C l a ssi f i c a t i o n   t y p e s o f   f a c e   w i t h   mask / w i t h o u t   m a s k   F a c e   mask   c l a ss i f i c a t i o n   [ 3 9 ]   H F EN e t   C l a s si f i c a t i o n   o f   d e f e c t i v e / n o n d e f e c t i v e   c e r a mi c   t i l e   su r f a c e   C e r a mi c   t i l e   su r f a c e   d e f e c t   d e t e c t i o n   [ 4 0 ]   S h u f f l e N e t   C l a ssi f i c a t i o n   o f   3 D   o b j e c t   i m a g e s   3 D   o b j e c t   r e c o g n i t i o n   f o r   3 D   s c a n i n g   t e c h n o l o g y   [ 4 1 ]   M o b i l e N e t v 2   R e g r e ssi o n   o f   c r o w d   d e c si t y   e st i mat i o n   Est i m a t i n g   c r o w d   d e n si t y   f o r   p u b l i c   se c u r i t y   man a g e me n t   [ 4 2 ]   R D P N e t   C l a ssi f i c a t i o n   G e n e r a l   p u r p o se   f o r   i mag e   c l a ssi f i c a t i o n   [ 4 3 ]   En se mb l e   B i n a r i z e d   D r o N e t   ( EB D N )   C l a ssi f i c a t i o n   t a sk   f o r   c o l l i si o n - a v o i d a n c e ,   r e g r e ssi o n   t a sk   f o r   p r e d i c t i o n   o f   d e si r e d   st e e r i n g   a n g l e   A u t o n o mo u d r i v i n g   f o r   u n ma n n e d   a u t o n o mo u s v e h i c l e s (U A V )   [ 4 4 ]   BC - N e t   C l a ssi f i c a t i o n   G e n e r a l   p u r p o se   f o r   i mag e   c l a ssi f i c a t i o n ,   sp e e c h   r e c o g n i t i o n   o f   k e y w o r d   sp o t t i n g ,   f a c i a l   e x p r e ssi o n   r e c o g n i t i o n   [ 4 5 ]   M o b i l e N e t - v2   C l a ssi f i c a t i o n   t y p e s o f   so l i d   w a st e   W a st e   c l a ssi f i c a t i o n   f o r   so l i d   w a st e   man a g e me n t   [ 4 6 ]   D e n se N e t   C l a ssi f i c a t i o n   G e n e r a l   p u r p o se   f o r   i mag e   c l a ssi f i c a t i o n   [ 4 7 ]   M o b i l e N e t V 3   C l a ssi f i c a t i o n   t y p e s o f   i c i n g   g r a d e s   I c i n g   mo n i t o r i n g   o f   t r a n smiss i o n   l i n e s   [ 4 8 ]   S p a r k N e t   C l a ssi f i c a t i o n   G e n e r a l   p u r p o se   f o r   i mag e   c l a ssi f i c a t i o n   [ 4 9 ]   M o b i l e N e t V 2   &   S q u e e z e N e t   C l a ssi f i c a t i o n   t y p e s o f   w a st e   R e v e r s e   v e n d i n g   m a c h i n e   f o r   t y p e s o f   w a st e   r e c y c l e s   [ 5 0 ]   A S I R - N e t   C l a ssi f i c a t i o n   t y p e s o f   d i f f e r e n t   g r o u n d   v e h i c l e   t a r g e t   A u t o mat i c   t a r g e t   r e c o g n i t i o n   ( A T R )   i n   sy n t h e t i c   a p e r t u r e   r a d a r   ( S A R i mag e s fo r   mi l i t a r y   su r v e i l l a n c e         Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 9 - 4864   I n t J   R ec o n f i g u r ab le  &   E m b ed d ed   Sy s t ,   Vo l.  14 ,   No .   2 J u l y   20 25 339 - 3 5 2   346   T ab le  3 .   R esear ch   d atab ase  ed g d ev ices   p er f o r m a n ce   clas s if icatio n s     R e f .     Ed g e   d e v i c e   t y p e s   Ev a l u a t i o n   t y p e s   Ev a l u a t i o n   ma t r i c e s   A v e .   a c c u r a c y   ( %)   [ 1 5 ]   R a s p b e r r y   P i   3 B +   -   A c c u r a c y   -   M o d e l   si z e   -   R o b u st n e ss   -   A c c u r a c y     -   R e c a l l   -   P r e c i si o n   -   F1 - S c o r e   9 5 . 3 0   [ 1 6 ]   A n d r o i d   S m a r t p h o n e   -   A c c u r a c y   -   M o d e l   si z e   -   T i me   -   A c c u r a c y     -   I n f e r e n c e   t i me   -   P a r a me t e r s   9 5 . 6 3   [ 1 7 ]   N V I D I A   Je t so n   N a n o   -   S p e e d   -   S e n si t i v i t y   -   P r e c i si o n   -   R e c a l l   -   F1 - S c o r e   -   I n f e r e n c e   s p e e d   -   [ 2 1 ]   N V I D I A   Je t so n   N a n o   -   A c c u r a c y     -   S e n si t i v i t y   -   S p e c i f i c i t y   -   A c c u r a c y     -   R e c a l l   -   P r e c i si o n   -   F1 - S c o r e   9 7 . 0 0   [ 2 2 ]   N V I D I A   Je t so n   N a n o   -   A c c u r a c y     -   S e n si t i v i t y   -   A c c u r a c y     -   R e c a l l   -   P r e c i si o n   -   F1 - S c o r e   9 6 . 5 2   [ 2 5 ]   -   N V I D I A   A G X   X a v i e r   -   N V I D I A   Je t so n   N a n o   -   A c c u r a c y   -   C o mp u t a t i o n c o mp l e x i t y   -   T i me   -   M o d e l   s i z e   -   T o p - a c c u r a c y   -   M A C s   -   L a t e n c y   -   P a r a me t e r s   7 5 . 5 7   [ 2 7 ]   N V I D I A   Je t so n   N a n o   -   A c c u r a c y   -   A c c u r a c y   -   P r e c i si o n   -   R e c a l l   9 7 . 1 3   [ 2 9 ]   Z Y N Q   Z 7 - L i t e   7 0 2 0   F P G A   -   A c c u r a c y   -   S p e e d   -   T i me   -   A c c u r a c y     -   I n f e r e n c e   s p e e d     -   L a t e n c y   9 5 . 7 1   [ 3 0 ]   N V I D I A   Je t so n   N a n o   -   A c c u r a c y     -   S e n si t i v i t y   -   P r e c i si o n   -   R e c a l l   -   F1 - S c o r e   -   A c c u r a c y   9 9 . 5 8   [ 3 1 ]   N V I D I A   Je t so n   X a v i e r   N x   -   A c c u r a c y   -   S e n si t i v i t y   -   A c c u r a c y     -   R e c a l l   -   P r e c i si o n   -   F1 - S c o r e   9 1 . 4 0   [ 3 5 ]   N V I D I A   Je t so n   N a n o   -   A c c u r a c y   -   S e n si t i v i t y   -   T i me   -   A c c u r a c y     -   R e c a l l   -   P r e c i si o n   -   F1 - S c o r e   -   H a mm i n g   l o ss   9 8 . 9 7   [ 3 6 ]   R a s p b e r r y   P i   4   -   T i me   -   C o mp u t a t i o n c o mp l e x i t y   -   L a t e n c y   -   F L O P S   -   [ 3 7 ]   N X P   B l u e B o x   2 . 0   -   M o d e l   S i z e   -   A c c u r a c y   -   T i me   -   C o mp u t a t i o n c o mp l e x i t y   -   F L O P S   -   P a r a me t e r s   -   T o p - a c c u r a c y   -   I n f e r e n c e   t i me   8 4 . 5 5   [ 3 8 ]   R a s p b e r r y   P i   4   -   A c c u r a c y   -   S p e e d   -   L o ss   -   A c c u r a c y   -   P r e c i si o n   -   R e c a l l   -   F1 - S c o r e   9 5 . 5 1   [ 3 7 ]   R a s p b e r r y   P i   4   -   S p e e d   -   C o mp u t a t i o n c o mp l e x i t y   -   T i me   -   M e a n   a b so l u t e   e r r o r   ( M A E)   -   R M S E   -   I n f e r e n c e   sp e e d   a n d   t i me   -   F L O P S   -   [ 4 3 ]   X i l i n x   Z y n q   7 Z 1 0 0   F P G A   -   A c c u r a c y   -   P r e c i si o n   -   S p e e d   -   R M S E   -   F1 - S c o r e   -   F P S   9 5 . 6 0   [ 4 4 ]   N U C L EO - F 7 6 7 ZI   w i t h   S T M 3 2 H 7 4 3   -   T i me   -   M S E   -   L a t e n c y   -   [ 4 7 ]   H u a w e i   A t l a s 2 0 0   D K   -   A c c u r a c y   -   P r e c i si o n     -   T i me   -   A c c u r a c y   -   T i me   -   F P S   7 4 . 5 0   [ 4 8 ]   I n t e l   A r r i a   1 0   G X 1 1 5 0   F P G A   -   T i me   -   S p e e d   -   I n f e r e n c e   t i me     -   S p e e d   u p   -   [ 4 9 ]   -   N V I D I A   Je t so n   N a n o     -   N V I D I A   Je t so n   T X 1   -   A c c u r a c y   -   T i me   -   A c c u r a c y   9 5 . 0 0       Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J   R ec o n f i g u r ab le  &   E m b ed d ed   Sy s t     I SS N:   2089 - 4864       S ystema tic  r ev iew   o f a   lig h tw e ig h t c o n v o lu tio n a n eu r a l n et w o r …  ( Mu h a mma d   A b b a s   A b u   Ta lib )   347   3 . 2 . 1 .   L ig htw eig ht  c o nv o lutio na l neura l net w o rk   a rc hite ct ures   Firstl y ,   Fi g u r 8   s h o w s   th n u m b er   o f   ar ch itect u r es  u s ed   f r o m   all  t h r esear ch   i n   T ab le  2 .   B ased   o n   th ar ch itect u r es  o r   b ased   m o d el,   it  ca n   b s ee n   th at  th er w er s ev er al  s i m i lar   n et w o r k s   t h at  w er b ein g   u s ed   as   th eir   ap p r o ac h es,  s u c h   as  Mo b ileNet  w it h   9   ( 1 9 . 1 %),   Sh u f f leNe w it h   4   ( 8 . 5 %),   VG G - 1 6   w it h   4   ( 8 . 5 %),   C o n d en s eNe w it h   3   ( 6 . 4 %),   r esp ec tiv el y   in   ter m s   o f   n u m b er   o f   th eir   u s a g e.   Me an w h i le,   th Ot h er s   w it h   2 1   ( 4 4 . 7 %),   r e p r esen th e   n u m b e r   o f   d if f er en m o d el s   w it h   o n l y   o n u s ag e.   All  t h ese  ar s o m o f   t h s tate - of - th e - ar ap p r o ac h es  th at  ar cu r r en tl y   b ein g   u s ed   b y   r esear c h er s   i n   th i s   f ield .   W h ile  s o m e   o f   th r esear ch er s   u s t h e m   as  b en c h m ar k s ,   th e r ar also   s ev er al  o th er s   t h at  m o d if y   t h ese  o r ig i n al  n et w o r k s   w it h   v ar io u s   v er s io n s   to   i m p r o v th eir   p er f o r m a n ce s .   A s id f r o m   th at,   t h er w er f e w   w i th   h y b r id   m o d els  o r   m u lt i m o d al  w h ic h   co m b in ed   t w o   o r   m o r n et w o r k s   to g et h er   b y   u s in g   n o v el  ap p r o ac h es.  Fo r   ex am p le,   r esear ch   in   [ 2 7 ]   co m b i n ed   lig h t w ei g h C NN  ar ch itect u r e’ s   Mo b ileNet  m o d el  w it h   Vis io n   T r an s f o r m er   ar ch itect u r e.   A ll  i n   all,   Mo b ileNet  in clu d i n g   its   v ar io u s   v er s io n   is   t h m o s u s e d   lig h t w e ig h C NN  ar ch itec tu r f o r   ed g d ev ices  i m p le m en ta tio n .             Fig u r 8 .   Sev er al  d if f er en t c o m m o n   li g h t w ei g h C NN  ar ch it ec tu r es       3 . 2 . 2 .   T y pes   o f   co nv o lutio na l   neura l net w o rk   Nex t,  as  f o r   th t y p es  o f   l ig h t w ei g h C NN  ar ch itect u r es  i n   T a b le  2 ,   m o s o f   th r esear c h   u s ed   f o r   class i f icatio n   w it h   f e w   o f   th e m   u s ed   f o r   r eg r ess io n ,   a n d   s o m co m b i n ed   b o th   th class i f icatio n   an d   r eg r ess io n .   B ased   o n   Fig u r 9 ,   it  s u g g e s ts   t h at  th clas s i f ica tio n   t y p w a s   th m ai n   ap p r o ac h   th at  w as  b ein g   r esear ch ed   w ith   3 4   ( 9 1 . 9 %)  an d   th r e g r ess io n   t y p w i th   1   ( 2 . 7 %)  w as  m u ch   m o r co m p lica ted   to   b r esea r ch ed   o n .   Sin ce   t h r eg r e s s io n   t y p es  o f   C NN  r eq u ir e s   co n tin u o u s   d ata  f o r   p r ed ictio n ,   its   i m p le m e n tatio n   f o r   r eso u r ce - co n s tr ain ed   d ev i ce s   m a y   r eq u ir h ig h er   co m p u tat io n al  u s ag co m p ar ed   to   th class i f icatio n   t y p es  a n d   th u s ,   t h r es u lt  i n d i ca ted   th at  o n l y   m i n o r   r esear ch   h a s   b ee n   d o n f o r   r eg r ess io n s   ta s k .   Ho w e v er ,   th er w er s till   f e w   s t u d ies  th at  ap p lied   th r eg r ess io n   lig h t w ei g h C NN,   an d   s o m als o   u s ed   it  in   h y b r id   m o d el s   w it h   class i f icat io n   an d   r eg r ess io n   w it h   2   ( 5 . 4 %).   I n   s h o r t,  m o s o f   th r esear ch   in   lig h t w e ig h C NN   w a s   lean i n g   to w ar d s   th clas s i f icatio n   t y p es o f   C NN.             Fig u r 9 .   T h co m m o n   t y p e s   o f   C N N       3 . 2 . 3 .   M o dels   a pp lica t io ns   Fro m   th a s p ec o f   ap p licatio n s ,   T ab le  2   d ep icted   th at  th is   f ield   o f   r esear c h   is   v er y   co m p r eh en s iv e.   T h s tu d ies  w er co n d u cted   f r o m   v ar io u s   f ield   in cl u d i n g   i n d u s tr ial  m a n u f ac tu r i n g   ( MF G)   w it h   8   ( 2 1 . 6 %),   p u b lic  s u r v eilla n ce   a n d   s af e t y   w it h   8   ( 2 1 . 6 %),   h ea lth   w it h   4   ( 1 0 . 8 %),   w a s te  m a n a g e m en w it h   2   ( 5 . 4 %),   ag r icu l tu r ( i.e . ,   an i m a an d   p l an t)   d is ea s e   d etec tio n   w i th   2   ( 5 . 4 %),   an d   m ilit ar y   w it h   1   ( 2 . 7 %)  as  ill u s tr ate  i n   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 9 - 4864   I n t J   R ec o n f i g u r ab le  &   E m b ed d ed   Sy s t ,   Vo l.  14 ,   No .   2 J u l y   20 25 339 - 3 5 2   348   Fig u r 1 0 .   Asi d f r o m   t h at,   t h h ig h es n u m b er   o f   ap p licat io n s   w er f o r   g e n er al - p u r p o s e   ( GP )   u s es  w i th   1 2   ( 3 2 . 4 %)   w h ic h   s h o w s   th f lex ib ilit y   a n d   r eliab ilit y   o f   th n et w o r k   to   b u s ed   w i th   m a n y   d i f f er e n t   ap p licatio n s .             Fig u r 1 0 .   Var io u s   ap p licatio n s   o f   li g h t w eig h C NN  u s f o r   d if f er e n t secto r   o f   i n d u s tr y       3 . 2 . 4 .   T y pes   o f   edg dev ices   On   t h o t h er   h a n d ,   b ased   o n   T ab le  3 ,   2 0   s tu d y   w er f i lte r ed   o u f o r   t h p er f o r m a n ce   an al y s is   o f   lig h t w ei g h C N ar ch itect u r e   d ep lo y ed   in   ed g d e v ice.   A s i d f r o m   th e s 2 0   r esear ch ,   th o th er   1 7   r esear ch   ea r lier   d id   n o co n tin u u s i n g   ed g d ev ices  w h ile  o n l y   ev a lu ati n g   t h eir   li g h t w ei g h C N w i th   s o m o f   t h e   b en ch m ar k   li g h t w ei g h m o d els.  Fig u r 1 1   s u m m ar izes  t h t y p e s   an d   n u m b er s   o f   ed g d ev ices  b ased   o n   th e   r esear ch   i n   T ab le  3 .   Firstl y ,   i ca n   b s ee n   th at   ed g d e v ic es  ca n   b ca teg o r ized   i n to   t wo   t y p es  w h ic h   ar e     on - t h e - s h el f   d ev ices  i n cl u d in g   s ev er al  s y s te m - on - a - ch ip   ( So C )   ( e. g . ,   NVI DI A   J etso n   s er ie s   an d   R asp b er r y   P s er ies),   m icr o co n tr o ller   ( MCU )   w it h   it s   d ev elo p m e n b o ar d   s u ch   a s   t h NU C L E O - F7 6 7 Z I   w it h   ST M3 2 H7 4 3 ,   an d   An d r o id   S m ar tp h o n e.   Me an w h ile,   th o f f - t he - s h e lf   d ev ices  in cl u d th o s b ein g   i m p l e m en ted   as  FP GAs   ( e. g . ,   Xilin x   Z y n q   7 Z 1 0 0 ,   Z Y NQ  Z 7 - L ite  7 0 2 0 ,   an d   I n tel  Ar r ia  1 0   GX1 1 5 0 ) .   Hen ce ,   m o s t   o f   th r ec en s t u d y   s h o w s   th at  NVI DI A   J etso n   N an o   as  t h m o s u s ed   ed g d ev ice  w it h   7   ( 3 1 . 8 %),   f o llo w ed   b y   R asp b e r r y   P 4   w it h   3   ( 1 3 . 6 %),   an d   FP GAs  al s o   w ith   3   ( 1 3 . 6 %)  w h i le  o th er s   ( So C )   w it h   7   ( 3 1 . 8 %)  r ep r esen t h o th er   t y p es   o f   So C   ed g d ev ice s   th a w er u s ed   o n l y   o n ce .             Fig u r 1 1 .   So m o f   th g en er a l e d g d ev ices  u s ed   to   e m b ed   lig h t w ei g h C NN  ar ch itect u r e       3 . 2 . 5 .   E v a lua t io t y pes   a nd   m a t rice s   L ast  b u n o least,  f o r   th ev al u atio n   t y p e s   an d   m atr ices,  m o s o f   th ese  s t u d ies  f o cu s ed   o n   ac cu r ac y ,   ti m e,   s p ee d ,   s en s it iv it y ,   m o d el   s ize,   co m p u tat io n   co m p lex it y ,   an d   o th er s .   Mo r e o v er ,   s ev er al  m a tr ices,  s u c h   as   ac cu r ac y ,   r ec all,   p r ec is io n ,   F1 - Sco r e ,   in f er en ce   ti m an d   s p e ed ,   laten c y ,   p ar a m eter s ,   f lo ati n g   p o in o p er atio n s   ( FL OP s ) ,   an d   o t h er s ,   w er a l w a y s   b ein g   u s ed   i n   o r d er   to   en s u r t h at  t h li g h t w ei g h C N f o r   ed g d e v ices   p er f o r m a n ce   w as  o p ti m ized .   So m e   o f   th ev a lu atio n   m atr i ce s   r ep r esen ea ch   o f   th ev al u atio n   t y p e s   as  th e   m atr ices  ar t h s p ec if ic  ass ess m en o f   ea ch   o f   th e v al u atio n   t y p es.  Fo r   ex a m p le,   ac cu r ac y   a n d   to p - ac cu r ac y   ar th e v alu at io n   m atr ices  f o r   ev alu a tio n   t y p o f   ac cu r ac y ,   i n f er e n ce   ti m an d   laten c y   ar t h e   ev alu a tio n   m atr ices   f o r   e v alu a tio n   t y p o f   ti m e,   a n d   F L OP s   an d   m u ltip l y - ac cu m u late  o p er atio n s   ( M AC s )   ar e   th ev a lu atio n   m atr ices  f o r   ev alu a tio n   t y p o f   co m p u tati o n   co m p lex i t y .   T ab le  3   d esc r ib es  s o m o f   t h e   Evaluation Warning : The document was created with Spire.PDF for Python.