I nte rna t io na l J o urna l o f   Rec o nfig ura ble a nd   E m be dd e d Sy s t e m s   ( I J R E S)   Vo l.  14 ,   No .   2 ,  J u ly   20 25 ,   p p .   339 ~ 3 5 2   I SS N:  2089 - 4864 ,  DOI :  1 0 . 1 1 5 9 1 /i j r es . v 1 4 . i 2 . pp 3 3 9 - 352          339       J o ur na l ho m ep a g e :  h ttp : //ij r es.ia esco r e. co m   Sy ste m a t ic revie w   o f  a  lightw eig ht  conv o lutiona l ne ura l net w o rk   a rchitec t ures o n  e dg e devices             M uh a mm a d Ab ba s   Abu  T a l ib 1 ,   Sa m s u l Set u m i n 1 ,   Siti  J u lia na   Abu B a k a r 1 ,   Adi  I zha r   Che  Ani 1 ,  Deni s   E k a   Ca hy a ni 2   1 C e n t r e   f o r   El e c t r i c a l   En g i n e e r i n g   S t u d i e s,  U n i v e r si t i   T e k n o l o g i   M A R A   C a w a n g a n   P u l a u   P i n a n g ,   P e r mat a n g   P a u h ,   M a l a y si a   2 D e p a r t me n t   o f   M a t h e mat i c s ,   F a c u l t y   o f   M a t h e mat i c s   a n d   N a t u r a l   S c i e n c e ,   U n i v e r si t a s   N e g e r i   M a l a n g ,   M a l a n g ,   I n d o n e si a       Art icle  I nfo     AB ST RAC T   A r ticle  his to r y:   R ec eiv ed   No v   1 5 ,   2 0 2 4   R ev i s ed   Ma y   8 ,   2 0 2 5   A cc ep ted   J u n   1 0 ,   2 0 2 5       A   li g h t w e i g h t  c o n v o lu t io n a l  n e u r a l  n e tw o rk   (CNN )   h a s  b e c o m e   o n e   o f   th e   m a jo r  stu d ies   in   m a c h in e   lea rn in g   f ield   t o   o p ti m ize   it s  p o t e n ti a l  f o r  e m p lo y in g   it   o n   th e   re so u rc e - c o n s train e d   d e v ice s.  Ho w e v e r,   a   b e n c h m a r k   f o r   f a ir  c o m p a riso n   is  sti ll   m issin g   a n d   t h u s,   th is  p a p e r  a im s  to   id e n ti fy   th e   re c e n t  s tu d ies   re g a rd in g   th e   li g h tw e ig h t  CNN   a rc h it e c tu re s  in c lu d i n g   th e   ty p e s  o f   CNN ,   it s  a p p li c a ti o n s,  e d g e   d e v ice s  u sa g e ,   e v a lu a ti o n   t y p e s   a n d   m a tri c e s,  a n d   p e rf o r m a n c e   c o m p a riso n .   T h e   p re f e rre d   re p o rti n g   it e m s  f o r  s y ste m a ti c   re v ie ws   a n d   m e ta - a n a l y sis  (P RIS M A )   f ra m e w o rk   w a s  u se d   a s  th e   m a in   a p p ro a c h   t o   c o l lec t  a n d   i n terp re t  t h e   li tera tu re .   In   th e   p r o c e ss ,   3 7   p a p e rs  w e re   id e n ti f ied   a s  m e e ti n g   th e   c rit e ria   f o r  li g h tw e ig h t  CNN s  a im e d   a t  im a g e   c la ss i f ica ti o n   o r  re g re ss io n   tas k s.  Of   th e se ,   o n ly   2 0   st u d ie s  e x p lo re d   th e   u se   o f   th e se   m o d e ls  o n   e d g e   d e v ice s.  T o   c o n c lu d e ,   M o b il e Ne t   a p p e a re d   a s  th e   m o st  u se d   a rc h it e c tu re ,   wh il e   t h e   ty p e s  o f   CNN   f o c u se d   o n   im a g e   c las si f ica ti o n   f o r  th e   g e n e ra l - p u rp o se   a p p li c a ti o n .   F o ll o w in g   th a t,   t h e   NV IDIA   Je tso n   Na n o   w a s  th e   m o st  u ti li z e d   e d g e   d e v ice   in   re c e n t  re se a rc h .   A d d it io n a ll y ,   p e rf o rm a n c e   e v a l u a ti o n   c o m m o n ly   in c lu d e d   m e a su re s  li k e   a c c u ra c y   a n d   ti m e ,   a lo n g   w it h   m e tri c s  su c h   a s  re c a ll ,   p re c isio n ,   F 1 - S c o re ,  a n d   o t h e r  sim il a r  in d ica to rs.  F in a ll y ,   th e   a v e ra g e   a c c u ra c y   f o r  p e rf o r m a n c e   c o m p a riso n   c a n   se rv e   a s  th re sh o l d   v a lu e   f o r  f u tu re   re se a rc h   in   th i s  sc o p e   o f   stu d y .   K ey w o r d s :   E d g e  d ev ice   I m ag e  cla s s i f icatio n   L i g h t w ei g h t  co n v o l u tio n a l  n eu r al  n et w o r k   R eso u r ce - co n s tr ain ed   S y s te m a tic  liter at u r e  r ev ie w   T h is i s  a n   o p e n   a c c e ss   a rticle   u n d e r th e   CC B Y - SA   li c e n se .     C o r r e s p o nd ing   A uth o r :   Sa m s u l  Setu m i n     C en tr e  f o r   E lectr ical  E n g i n ee r in g   St u d ies,  Un i v er s i ti T ek n o l o g i M A R A   C a w a n g a n   P u la u   P in an g   P er m ata n g   P au h ,   1 3 5 0 0   P u lau   P in an g ,   Ma la y s ia    E m ail: sa m s u ls @ u it m . ed u . m y       1.   I NT RO D UCT I O N   R esear ch er s   th e s e  d a y s   ar e  p r i m ar il y   f o c u s ed   o n   t h e  ad v a n ce m e n t  o f   ar tific ial  i n telli g e n ce   ( A I )   tech n o lo g y   in   o r d er   to   en h a n c e  s o ciet y 's  q u alit y   o f   li f e  an d   f ac ilit ate   th e  in d u s tr ial  r e v o lu t io n .   A lt h o u g h   t h i s   d is cip lin e  w a s   in tr o d u ce d   b ac k   in   t h e  1 9 5 0 s ,   it  h as  g o n e  th r o u g h   r ap id   d ev elo p m e n t  i n   th e  p as t  d ec ad es,  w h ic h   h a s   co v er ed   b o th   i n s id e  an d   o u ts id e  o f   th e   co m p u te r   s cien ce   f ield   [ 1 ] ,   [ 2 ] .   I t  ca n   b e  s ee n   t h at  m an y   tech n o lo g ies  a n d   n o n - tec h n o lo g y - b ased   j o u r n als   h a v e  p u b lis h ed   ar ticle s   r elate d   to   AI   [ 1 ] ,   [ 2 ] .   A I   h a s   p r o g r ess ed   f r o m   s i m p le  r u le - b ased   s y s te m s   to   m o r e  co m p licated   alg o r ith m s   t h at   ca n   m ak e  a u to n o m o u s   d ec is io n s   a n d   s o lv e  p r o b lem s .   T h e  p r im ar y   id ea   u n d er l y i n g   A I   is   to   d ev elo p   s y s te m s   ca p ab le  o f   d o in g   ac tiv itie s   t h at  w o u ld   n o r m all y   n ee d   h u m an   in tellect,   s u c h   as   v is u al  p er ce p tio n ,   s p ee ch   r ec o g n itio n ,   d ec is io n - m ak in g ,   a n d   lan g u a g e  tr a n s lat io n   [ 1 ] ,   [ 2 ] .   Fig u r e  1   s h o w s   th e  in ter - r elatio n   o f   d ata  s cie n ce   to   ar tif icial  n e u r al   n et w o r k   t h r o u g h   A I ,   m ac h i n e  lear n in g   ( M L ) ,   an d   d ee p   lear n in g   ( D L )   [ 1 ] .   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 9 - 4864   I n t J   R ec o n f i g u r ab le  &   E m b ed d ed   Sy s t ,   Vo l.  14 ,   No .   2 ,  J u l y   20 25 :  339 - 3 5 2   340   Fu r t h er m o r e,   ML   is   o n e  o f   t h e  m o s t  co m m o n   s u b f ield s   i n   A I ,   w h er e  it  tak e s   a  d if f er e n t   ap p r o ac h   f r o m   a  c lass ical  p r o g r a m m i n g   m et h o d .   So ,   in s tead   o f   u s in g   an   al g o r ith m   f o r   a  s p ec i f ic  p r o b lem   o r   f u n ct io n ,   ML   u s e  a  ce r tain   d ataset  f o r   its   alg o r ith m   to   lear n ,   p r ed ict,   a n d   d ec id e  th e  o u tco m e  [ 1 ] ,   [ 2 ] .   Prim ar i l y ,   M L   is   t y p icall y   ca teg o r ized   in to   f o u r   m aj o r   ty p es  s u c h   as  s u p er v i s ed   lear n in g ,   w h ic h   in v o l v es  tr ain i n g   m o d els  o n   lab elled   d ata,   u n s u p er v is ed   le ar n in g ,   w h ic h   i n v o l v es   s ea r ch i n g   f o r   p atter n s   i n   u n lab eled   d ata,   s e m i s u p er v i s ed   lear n in g ,   w h ic h   i n cl u d es  b o t h   s u p er v i s ed   an d   u n s u p er v is ed   lear n in g ,   a n d   r ein f o r ce m e n t  lear n in g ,   w h ic h   teac h es  m o d els  to   m a k e  d ec i s io n s   b ased   o n   tr ial  a n d   er r o r   [ 1 ] ,   [ 2 ] .   I n   ad d itio n ,   th e  ap p licatio n   o f   M L   is   co m m o n l y   d iv id ed   in to   o b j e ct  class if icatio n   o r   r eg r ess io n   ( i.e . ,   p r ed ictio n ) .   So m e  t y p ical  ex a m p les  o f   alg o r ith m s   i n   ML   in cl u d e  ar tif icia l  n eu r al  n et w o r k ,   d ec is io n   tr ee s ,   lin ea r   r eg r ess io n ,   an d   s u p p o r t  v ec to r   m ac h in e  [ 1 ] ,   [ 2 ] .   Mo r eo v er ,   co n v o lu tio n al  n e u r al  n et w o r k   ( C NN)   is   o n e  o f   ML ’ s   ar ti f ic ial  n eu r al  n et w o r k   alg o r ith m s   th at  i s   s p ec ial ized   f o r   i m ag e - b ased   tas k s   [ 1 ] ,   [ 3 ] - [ 6 ] .   I n   o th e r   w o r d s ,   C N N  is   f u n d a m e n tal  in   m a n y   co m p u ter   v is io n   task s   s u c h   as  i m a g e  d etec tio n ,   r ec o g n itio n ,   clas s i f icat io n ,   r eg r ess io n ,   an d   s eg m e n tat io n .   C NN  is   m ad e   u p   o f   t h r ee   m ain   la y er s ,   in cl u d in g   co n v o l u tio n a l,  p o o lin g ,   an d   f u ll y   co n n ec ted   la y er s  [ 1 ] ,   [ 3 ] - [ 6 ] .   Fig u r e  2   d ep icts   th e  b asic  C NN  ar ch it ec tu r e  an d   its   tr ain i n g   p r o ce s s   [ 1 ] ,   [ 3 ] - [ 6 ] .   First,  co n v o lu t io n al  la y er s   ap p l y   f ilter s   to   in co m in g   d ata,   ca p tu r in g   s p atial  h ier ar ch ies  a n d   lo ca l  p atter n s   t h at  ar e  n ec e s s ar y   f o r   ap p licatio n s   s u c h   as  i m a g e  id en ti f icatio n   [ 1 ] ,   [ 3 ] - [ 6 ] .   Seco n d ,   p o o lin g   la y er s   lo w er s   t h e  d i m en s i o n alit y   o f   t h e  d ata,   in cr ea s i n g   co m p u ti n g   e f f icie n c y   a n d   r esil ie n ce   [ 1 ] ,   [ 3 ] - [ 6 ] .   T h ir d ,   f u ll y   co n n ec ted   la y er s   m a k e  h i g h - le v el   d ec is io n s   b ased   o n   th e  ex tr ac ted   ch ar ac ter is tics   [ 1 ] ,   [ 3 ] - [ 6 ] .   Si m p l y   p u t,  th e  f ir s t  t w o   m ain   la y er s   p er f o r m   f ea t u r e  ex tr ac tio n   f r o m   t h e  i n p u t d ata  a n d   th e  th ir d   m ai n   la y e r   m ap s   t h e  e x tr ac ted   f ea t u r es  t o   d e cid e  o r   p r ed ict   th e  o u tp u t d ata  [ 1 ] ,   [ 3 ] - [ 6 ] .    Nev er th e less ,   t h e  d ev elo p m e n t  o f   C NN ’ s   ap p licatio n s   u s u a ll y   i n v o l v es  w it h   b ig   d ata  w h ich   r elies   h ea v i l y   o n   clo u d   i n f r astr u ctu r e  an d   r eso u r ce s   f o r   h i g h   co m p u tat io n   co m p le x it y ,   m e m o r y   an d   lo ad   p o w e r   co n s u m p tio n  [ 4 ] - [ 8 ] .   I n   r ec e n t  y ea r s ,   t h e  w id e s p r ea d   u s e   o f   clo u d   co m p u t in g   i n   m a n y   f ield s   o f   C NN ’ s   ap p licatio n s   h as  r aised   s o m e  co n ce r n   r eg ar d in g   s tr ict  laten c y   r eq u ir em e n ts ,   s tr ai n ed   n et w o r k   ca p ac it y ,   as  w el l   as  p r iv ac y   a n d   s ec u r it y   is s u e s   [ 4 ] - [ 8 ] .   Ultim a tel y ,   i n   o r d er   to   o v er co m e  t h e s e  p r o b lem s   a n d   o p ti m ize  C NN ’ s   ap p licatio n s ,   an   i n cr ea s i n g   d em an d   f o r   d ep lo y i n g   DL   m o d e ls   d ir ec tl y   o n to   ed g e  d ev ice s   to   en ab le  r ea l - ti m e   in f er en ce   an d   d ec is io n - m a k i n g   h as  b ee n   in tr o d u ce d .   E d g e  c o m p u ti n g   i n clu d e s   p r o ce s s in g   d ata  at   o r   n ea r   th e  s o u r ce   o f   d ata  cr ea tio n   w h ic h   is   ca lled   ed g e  d ev ice s ,   s u ch   as  I o T   d ev ices,  s m ar tp h o n e s ,   o r   s en s o r s ,   r ath er   th an   u s in g   a  ce n tr alize d   clo u d   in f r astru ct u r e.             Fig u r e  1 .   T h e  in ter - r elatio n   o f   d ata  s cien ce   to   ar tif icia l n e u r al   n et w o r k   t h r o u g h   A I ,  ML ,   a n d   DL   [ 1 ] ,   [ 2 ]           Fig u r e  2 .   T h e  b asic CNN a r ch itectu r e  an d   it s   tr ain i n g   p r o ce s s   [ 1 ] ,   [ 2 ]     F i g .   1 .   Th e   b a si c   C N N   a r c h i t e c t u r e   a n d   i t s   t r a i n i n g   p r o c e ss  [ 1 ] ,   [ 2 ] .   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J   R ec o n f i g u r ab le  &   E m b ed d ed   Sy s t     I SS N:   2089 - 4864       S ystema tic  r ev iew   o f a   lig h tw e ig h t c o n v o lu tio n a l  n eu r a l n et w o r k  …  ( Mu h a mma d   A b b a s   A b u   Ta lib )   341   Ma n y   r esear ch er s   h a v e  e m p lo y ed   ed g e  co m p u ti n g   to   g ain   v ar io u s   b en e f its ,   in cl u d i n g   s h o r ter   laten c y ,   lo w er   b an d w id th   u s e,   an d   g r ea ter   p r iv ac y   an d   s ec u r it y   [ 4] - [ 8 ] .   Fo r   th at,   ed g e  d ev i ce s   eq u ip p ed   w i th   s tr o n g   ce n tr al  p r o ce s s in g   u n it s   ( C P Us)  an d   s p ec ialized   h ar d w ar e  ac ce ler ato r s   lik e  g r ap h ic al  p r o ce s s in g   u n it s   ( GP Us),   ten s ile  p r o ce s s in g   u n i ts   ( T P Us),   an d   n eu r al  p r o ce s s i n g   u n it s   ( NP Us)  ca n   ex ec u te  c o m p lica ted   A I   an d   ML   m o d els  lo ca ll y .   Ho w ev er ,   o p tim izi n g   C NN  ar ch itect u r e’ s   ef f icien c y   f o r   ed g e  d ev ices  d ep lo y m e n t  p o s es  a  cr itical  ch alle n g e  s i n ce   t h eir   a p p licatio n s   v ar y   f r o m   ea c h   o th er   an d   d u e  to   th e  l i m ited   co m p u tatio n a l r eso u r ce s   an d   p o w er   co n s tr ai n t s   o f   th e  ed g e  d ev ices.  T o   d ate,   m o s t  s t u d y   in   t h is   s u b j ec t  h av e  u s ed   d if f er e n t  m et h o d   o f   o p tim izatio n   to   p r o d u ce   th eir   lig h t w ei g h t  C NN  f o r   ed g e  d ev ice  d ep lo y m e n t  an d   t h e  b en ch m ar k   f o r   a  f air   co m p ar is o n   is   s till   m is s i n g   [ 8 ] - [ 1 2 ] .     No w ,   t h i s   s y s te m s   l iter atu r e  r ev ie w   ( S L R )   ai m s   to   co llec t,  an al y ze ,   a n d   in ter p r et  th e  cu r r en t  o r   r ec en tl y   p u b lis h ed   ar ticles   o n   th e  li g h t w ei g h t  C NN  ar ch ite ctu r es  f o r   ed g e  d ev ice s   a n d   c ateg o r ized   th e m   i n   ter m s   o f   t h e  s p ec if ic  ar ch ite ctu r e  o r   b ased - m o d el,   C NN’ s   t y p es  ( i.e . ,   class i f icatio n   o r   r eg r ess io n ) ,   an d   ap p licatio n s   ( i.e . ,   th e  s u b j ec t  o r   p u r p o s e  o f   ea ch   C N N’ s   ar c h itect u r es)  u s ed   f o r   t h eir   r esea r ch .   Nex t,  b ased   o n   th e  t y p es  o f   ed g e  d ev ice,   th e  ev alu a tio n   cr iter ia  ( e. g . ,   ti m e   an d   ac cu r ac y ) ,   ev alu a tio n   m atr i ce s   ( e. g . ,   ac cu r ac y ,   p r ec is io n ,   F1 - Sco r e ,  an d   r o o t m ea n   s q u ar ed   er r o r   ( R MSE ) ) ,   an d   p er f o r m a n ce   co m p ar is o n   b et w ee n   ea ch   s t u d y   in   th e  f ir s t  q u esti o n   w ill  b e  r ec o r d e d   an d   d is cu s s ed .   I n   s h o r t,  th e  r esear ch   q u es tio n s   in   th i s   p ap er   ar e  as  f o llo w s   a n d   ca n   b e  s ee n   as   il lu s tr ated   in   Fi g u r e  3 :   −   R Q1 :  W h at  is   th e  c u r r en t  li g h t w ei g h t  C N N  ar ch itect u r es  u s ed   o n   th e  li m ited   co m p u ta tio n al  r eso u r ce s   o r   ed g e  d ev ices?   −   R Q2 :  W h at  is   t h e  c u r r en t  p er f o r m a n ce   o f   t h e  li g h t w ei g h t   C N N  ar ch itec tu r e  u s ed   o n   th e  li m ited   co m p u tatio n al  r eso u r c es o r   ed g e  d ev ices?   T h is   SLR  i s   d iv id ed   i n to   f o u r   m aj o r   s ec tio n s .   I n   t h e  f ir s t  s ec tio n ,   th e  in tr o d u ctio n   i s   r ev ie w ed   r eg ar d in g   th e   b ac k g r o u n d   k n o w led g e   o f   A I ,   ML ,   C N N,   a n d   ed g e  d e v ice,   t h e  f o cu s ed   li m ita tio n s ,   an d   t h e   r esear ch   q u esti o n s   o f   th i s   liter atu r e.   Fo r   th e  s ec o n d   s ec tio n ,   m o s t  o f   th e  r elate d   ar ticles  o n   th e  lig h t w ei g h t   C NN  o n   ed g e  d ev ice s   w ill  b e  co llected   an d   m ap p ed   b y   u s in g   t h e  p r ef er r ed   r ep o r tin g   it e m s   f o r   s y s te m atic   r ev ie w s   a n d   m e ta - a n al y s i s   ( P R I SM A )   f r a m e w o r k   a s   t h e  m et h o d o lo g y   p ar t  o f   t h is   s t u d y .   T h ir d l y ,   all  th e   r esu lt s   w ill  b e  an al y ze d   an d   d is cu s s ed   in   o r d er   to   an s w er   th e  r esear ch   q u e s tio n s   o f   t h e  cu r r en t  li g h t w ei g h t   C NN  ar ch i tectu r e s   u s ed   o n   th e  li m ited   co m p u tatio n al  r eso u r ce s   o r   ed g e  d ev ices  an d   its   p er f o r m an ce s ,   as  t h e   th ir d   s ec tio n   o f   t h i s   p ap er .   Fin all y ,   t h is   S L R   w ill  b e  co n clu d ed   in   t h e  f o u r th   s ec tio n   b y   p r o v id in g   th e   s u m m ar ized   f i n d in g s   a n d   an   i n s i g h t f o r   f u t u r e  r ec o m m e n d at io n s   o n   t h is   s co p e  o f   s tu d y .           Fig u r e  3 .   Min d   m ap   ill u s tr atio n   o f   t h e  r esear ch   q u e s tio n s       2.   RE S E ARCH   M E T H O D    I n   t h i s   S L R ,   a  d etailed   tec h n iq u e  f o r   id en ti f y i n g   r elev an t  r esear ch   o n   t h e  s u b j ec t  r eg ar d in g   lig h t w ei g h t  C N N  ar ch itect u r e s   o n   ed g e  d ev ice s   w as  co n d u cted .   T h is   ap p r o ac h   w as  ad o p ted   b ased   o n   th e   P R I SMA   f r a m e w o r k   [ 1 3 ] ,   an d   th e  m o d if ied   f lo w c h ar t  in   F ig u r e  4   s h o w s   t h e  p r ac tical  v i e w   o f   ea ch   s tep   o f   th is   S L R ’ s   m eth o d o lo g y .   B a s icall y ,   t h er e  w er e  t h r ee   m a j o r   p h ases   in v o lv ed   in   co m p letin g   t h i s   p ap er .   I n itiall y ,   t h e  id en ti f icat io n   p h a s e  d eter m i n ed   th e  r ec o r d s   ac q u ir ed   f r o m   t h e  s ea r ch   s tr ateg y   u s ed   i n   an y   k i n d   o f   ac ad e m ic  r esear ch   d atab ase.   S ec o n d l y ,   th e  i n it ial  p ar t  o f   th e  s cr ee n i n g   p h ase  i n v o l v es  e x ec u ti n g   t h e  s e lectio n   cr iter ia  in   o r d er   to   o n l y   co n s i d er   th e  n ec e s s ar y   ca te g o r ies  f o r   th e  d escr ip tiv e   an al y s is .   T h ir d l y ,   t h e  q u alit y   ass es s m en t  is   al s o   in clu d ed   as  th e  s ec o n d   p ar t  o f   th e  s cr ee n in g   p h ase  i n   o r d er   t o   f in d   o u t  th e  eli g ib ilit y   o f   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 9 - 4864   I n t J   R ec o n f i g u r ab le  &   E m b ed d ed   Sy s t ,   Vo l.  14 ,   No .   2 ,  J u l y   20 25 :  339 - 3 5 2   342   ea ch   ar ticle  f o r   th is   s co p e  o f   s tu d y .   Fi n all y ,   t h e  in cl u d ed   p h ase  s h o w s   t h e  f i n al  n u m b er   o f   ar ticles  th at  w il l  b e   u s ed   in   l iter atu r e  clas s i f icatio n   in   o r d er   to   s atis f y   al l th e  r ese ar ch   q u esti o n s   s tated   b ef o r eh a n d .           Fig u r e  4 .   T h e  m o d if ied   P R I S MA   f r a m e w o r k   [ 1 3 ]   w ith   al l t h e  r ec o r d s   f o r   th is   S L R ’ s   m et h o d o lo g y       2 . 1 .     Sea rc h  s t ra t eg y   First  o f   al l,  th e  s ea r ch   s tr ateg y   w a s   s p ec i f icall y   ex ec u ted   i n   t w o   ac ad e m ic  d atab ase  in d e x er s ,   s u c h   a s   Sco p u s ,   an d   w eb   o f   s cie n c e  ( W o S),   as  w ell  a s   t w o   p u b lis h ed   ar ticle  d atab ases ,   s u ch   a s   I E E E   an d   Scien ce Dir ec t.  Mo r eo v er ,   t h e  s ea r ch   o n l y   i n cl u d ed   j o u r n al  ar ticles,  r ev ie w   p ap er s ,   an d   c o n f er en ce   p ap er s   o r   p r o ce ed in g s   f o r   Sco p u s   an d   W o S,  w h ile  o n l y   r ec o r d s   f o r   jo u r n al  ar ticles  f r o m   I E E E   an d   Scien ce Dir ec t  w er e   ex tr ac ted .   Nex t,  th e  k e y w o r d s   u s ed   f o r   all  t h e  d atab ase  s ea r ch es  w er e  “ li g h t w eig h t  C NN”   A ND  “ ed g e   d ev ices”  in   t h e  s ea r ch   f ield s   o f   titl e,   ab s tr ac t,  an d   au th o r ’ s   k e y w o r d .   T h en ,   in   o r d er   t o   f o cu s   m o r e  o n   th e   r ec en t  an d   u p d ated   p ap er s ,   th e   p u b licatio n s ’   y ea r s   i n   t h e  d at ab ases   w er e  li m ited   f r o m   2 0 2 0   to   2 0 2 4 .   A ls o ,   t h e   s ea r ch   f o c u s ed   o n   p ap er s   p u b l is h ed   o n l y   i n   E n g li s h .   B y   ap p l y in g   t h ese  ter m s ,   t h e  s ea r c h   was  n ar r o w ed   d o w n   to   a  s p ec if ic  ar ea   an d   s co p e   r elate d   to   th is   s tu d y .   A t  t h is   s t ag e,   a  to tal  r ec o r d   o f   4 6 0   ar ti cles’   m etad ata  w a s   o b tain ed   th r o u g h o u t th e  s ea r c h .       2 . 2 .     Select io n  cr it er ia   Fo r   th e  s elec tio n   cr iter ia,   all   th e  r ec o r d ed   m e tad ata  w as  c o m b i n ed   i n   a  s i n g le  s p r ea d s h ee t  f o r   th e   s cr ee n i n g   p r o ce s s .   T h e  m aj o r   g o al  w as   to   m ap   t h e  av a ilab le   liter atu r e  o n   t h e  u s e   o f   lig h t weig h t  C NN  i n   ed g e   d ev ices  ac co r d in g   to   th e  s o u r ce   titl e,   j o u r n al  p u b lis h er ,   y e ar   o f   p u b licatio n s ,   r esear ch   f i eld ,   an d   n u m b er   o f   citatio n s ,   as  th e s e  ca teg o r ies  w il l  b e  u s ed   in   th e  d escr ip tiv e  an al y s i s   o f   th e  r esu lt  an d   d is cu s s io n   s ec tio n .   A ll   d ata  f o r   o th er   ca te g o r ies  w a s   ex cl u d ed   an d   r e m o v ed .   F o r   th e  n e x t  s tep ,   all  t h e  p a p er s ’   d i g i tal  o b j ec t   id en ti f ier s   ( DOI s )   w er e  s o r ted   o u t  in   o r d er   to   r em o v e  d u p licate  r ec o r d s   ea s il y   u s in g   t h e   s p r ea d s h ee t ' s   to o l.  L ast   b u t  n o t  least,  r e v ie w   p ap er s   an d   co n f er en ce   p r o ce ed in g s   w er e  also   e x clu d ed   i n   o r d er   to   k ee p   th e  r ec o r d s   m o r e  r ele v an t.  D u e  to   th e s e  cr iter ia,   2 8 1   r esear ch   p u b licatio n s   w er e  r ej ec ted   d u r in g   th e  in itial  s cr ee n i n g   p r o ce s s ,   an d   o n l y   1 7 9   r ec o r d s   w er e  le f t f o r   f u r t h er   ass e s s m e n t.     2 . 3 .     Q ua lity   a s s ess m ent   Fo llo w i n g   th e  in i tial  s cr ee n i n g   p h ase,   a  q u alit y   ass e s s m e n t  w a s   p er f o r m ed   o n   ea ch   r e s ea r ch   p ap er   in   o r d er   to   f u r th er   en s u r e  t h at  o n l y   th e  m o s t  e lig ib le  s t u d ies  w er e  i n cl u d ed   in   t h is   SLR  f o r   a  cr itical  r ev ie w .   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J   R ec o n f i g u r ab le  &   E m b ed d ed   Sy s t     I SS N:   2089 - 4864       S ystema tic  r ev iew   o f a   lig h tw e ig h t c o n v o lu tio n a l  n eu r a l n et w o r k  …  ( Mu h a mma d   A b b a s   A b u   Ta lib )   343   E ac h   ar ticle's  titl e  an d   ab s tr ac t  w er e  s cr u ti n ized   th o r o u g h l y   to   en s u r e  th e ir   r elev an c y   a n d   co n tr ib u tio n   to   th e   to p ic  u n d er   r ev ie w .   B y   e x ec u tin g   t h is   p r o ce s s ,   it  h elp s   to   p u r if y   t h e  s e lectio n ,   e n s u r i n g   o n l y   p er tin e n t  a n d   h ig h - q u al it y   ac ad e m ic   liter at u r e  is   i n cl u d ed   in   t h e  r e v ie w   p r o ce s s .   As  a  r es u lt,   a  to tal  o f   1 3 2   ar ticles  w er e   r e m o v ed   f r o m   t h e  r ec o r d s ,   w i th   th r ee   o f   t h e m   b ei n g   a  r ev ie w   p ap er s   an d   o th er s   b ein g   ar ticles  th at  w er e  n o t   r elate d   to   i m a g e  cla s s i f icatio n   o r   r eg r ess io n   ( i.e . ,   s i g n a l  clas s if ica tio n ,   s o u n d   clas s i f icatio n ,   o b j ec t  d etec tio n ,   s eg m e n tatio n ,   an d   lo ca lizatio n ) .   A t  th i s   s tag e,   th er e  w er e  o n l y   3 7   r esear ch   p a p er s   lef t  i n   t h e  r ec o r d   f o r   t h e   f i n al  p r o ce s s   o f   d ata  ex tr ac tio n .     2 . 4 .     Da t a   ex t ra ct i o n   Du r in g   th e  d ata  ex tr ac tio n   p h ase,   3 7   p u b licatio n s   w er e  ca r ef u ll y   s elec ted   f o r   th eir   r elev an ce   an d   ca p ac it y   to   ad d r ess   th e  r esear ch   q u esti o n s   g i v e n   in   t h e  p r ec ed in g   s ec tio n .   Fo r   t h at,   b y   u n d er s ta n d in g   th e   cu r r en t tr e n d   o f   li g h t w eig h t  C NN  o n   ed g e  d ev ices,  all  t h e  d a ta  w ill b e  an al y ze d   as a   li ter atu r e  class if ica tio n   i n   th e  lat ter   p ar t  o f   t h e  r e s u l t  a n d   d is cu s s io n   s ec t io n .   W it h   t h at,   v ar io u s   li g h t w ei g h t  C NN  ar c h itect u r es  t h at   h a v e   b ee n   co n d u cted   in   p r ev io u s   r esear ch   w ith   r eso u r ce - co n s tr ain ed   d ev ices  w i ll  b e  h ig h l ig h ted ,   in clu d in g   th eir   task - b ased   ca teg o r ies,  ap p licatio n s ,   as  w ell  as  t h e  t y p es  o f   ed g e  d ev ices  an d   th e ir   s p ec if i ca tio n s .   T h en ,   th e   k e y   p er f o r m an ce   o f   lig h t w e ig h t  C N N  ar ch ite ct u r es  o n   t h e s e   lo w - r eso u r ce   d ev ice s   w ill  b e  ex a m in ed   i n   ter m s   o f   ev al u atio n   t y p es,  m atr ices,  an d   p er f o r m an ce   co m p ar i s o n s   as r ep o r ted   b y   v ar io u s   r esear c h er s .       3.   RE SU L T S AN D  D I SCU SS I O N    I n   t h is   s ec tio n ,   all  t h e  r e s u l t s   o b tain ed   a f ter   co n d u cti n g   t h e  ap p r o ac h   d is c u s s ed   in   th e   p r ev io u s   s ec tio n   w i ll  b e  o b s er v ed   an d   a n al y ze d .   T h is   s ec tio n   i s   d iv id ed   in to   t w o   s u b s ec tio n s .   T h e  f ir s t  s u b s ec tio n   w ill   f o cu s   o n   t h e  d escr ip ti v e  an a l y s is   to   s ee   th e   g e n er al  tr en d   o f   th e  r esear c h ,   an d   t h e  s ec o n d   s u b s ec tio n ,   liter at u r e   class i f icatio n s ,   w ill  f u r th er   d is cu s s   th e  co n te n t i n   o r d er   to   f u l f il t h e  r esear ch   q u e s tio n s   in   t h is   p ap er .     3 . 1 .     Descript iv e  a na ly s is   Fro m   t h e  m et h o d o lo g y   co n d u cted ,   th e  o b tain ed   l iter atu r e  f o r   th is   s y s te m atic   liter at u r e  r ev ie w   h as   a   to tal  o f   3 7   p ap er s   th at  ar e  s p e cif icall y   r elate d   to   t h e  r esear c h   o f   l ig h t w ei g h t  C NN  ar ch ite ctu r es  i m p le m en ted   o r   w er e  d esig n ed   f o r   r eso u r ce - co n s tr ain ed   ed g e  d e v ices.  B ased   o n   T ab le  1 ,   all  th e  p ap er s   w er e  cla s s i f ied   ac co r d in g   to   th e  y ea r   o f   p u b li ca tio n ,   j o u r n al  p u b lis h er s ,   an d   n u m b er   o f   citatio n s .   T h en ,   t h e  n u m b er   o f   r elate d   p ap er s   p u b lis h ed   in   t h e  f o ll o w i n g   y ea r ,   2 0 2 1 – 2 0 2 4 ,   is   d ep icted   in   Fig u r e  5 ,   p u b lis h er   class i f icat io n   i n     Fig u r e  6 ,   an d   th e  n u m b er   o f   ci tatio n s   f r o m   ea c h   p ap er   in   Fig u r e  7 .       T ab le  1 .   R esear ch   d atab ase  d e s cr ip tiv e  an a l y s is   R e f .   N u m b e r   Y e a r   P u b l i s h e r   C i t e d   R e f .   N u m b e r   Y e a r   P u b l i s h e r   C i t e d   [ 1 4 ]   2 0 2 4   El se v i e r   1   [ 3 3 ]   2 0 2 3   El se v i e r   2   [ 1 5 ]   2 0 2 4   El se v i e r   0   [ 3 4 ]   2 0 2 3   El se v i e r   9   [ 1 6 ]   2 0 2 4   W i l e y   0   [ 3 5 ]   2 0 2 2   I EEE   40   [ 1 7 ]   2 0 2 4   El se v i e r   1   [ 3 6 ]   2 0 2 2   S p r i n g e r   11   [ 1 8 ]   2 0 2 4   El se v i e r   4   [ 3 7 ]   2 0 2 2   M D P I   0   [ 1 9 ]   2 0 2 4   M D P I   0   [ 3 8 ]   2 0 2 2   K I P S   6   [ 2 0 ]   2 0 2 4   M D P I   3   [ 3 9 ]   2 0 2 2   W i l e y   3   [ 2 1 ]   2 0 2 3   C S I R - N I S c P R   2   [ 4 0 ]   2 0 2 2   S p r i n g e r   2   [ 2 2 ]   2 0 2 3   C S I R - N I S c P R   1   [ 4 1 ]   2 0 2 2   El se v i e r   22   [ 2 3 ]   2 0 2 3   S p r i n g e r   3   [ 4 2 ]   2 0 2 2   S p r i n g e r   1   [ 2 4 ]   2 0 2 3   W i l e y   1   [ 4 3 ]   2 0 2 1   M D P I   3   [ 2 5 ]   2 0 2 3   I EEE   0   [ 4 4 ]   2 0 2 1   I EEE   12   [ 2 6 ]   2 0 2 3   I EEE   7   [ 4 5 ]   2 0 2 1   W i l e y   16   [ 2 7 ]   2 0 2 3   El se v i e r   3   [ 4 6 ]   2 0 2 1   K S S   2   [ 2 8 ]   2 0 2 3   El se v i e r   4   [ 4 7 ]   2 0 2 1   I EEE   33   [ 2 9 ]   2 0 2 3   El se v i e r   16   [ 4 8 ]   2 0 2 1   El se v i e r   41   [ 3 0 ]   2 0 2 3   C S I R - N I S c P R   1   [ 4 9 ]   2 0 2 1   M D P I   5   [ 3 1 ]   2 0 2 3   C S I R - N I S c P R   5   [ 5 0 ]   2 0 2 1   M D P I   18   [ 3 2 ]   2 0 2 3   I EEE   9               I n   Fig u r e  5 ,   th e  p ie  ch ar t  s h o w s   t h at  i n   th e  y ea r   2 0 2 1 ,   th e  n u m b er   o f   p u b lis h ed   p ap er s   w as  8 ,   w h ic h   w a s   also   th e  s a m e  n u m b er   p r o d u ce d   in   2 0 2 2 .   Ho w ev er ,   in   2 0 2 3 ,   th e  n u m b er   w as  al m o s t   t w ice  th e  p r ev io u s   p u b lis h ed   p ap er ,   w h ic h   w a s   1 4 .   Mo r eo v er ,   b y   t h e  m id - y ea r   o f   2 0 2 4 ,   th e  alr ea d y - p u b lis h ed   ar ticles  w er e  7 .   Hen ce ,   it  ca n   b e  s ee n   an d   p r ed icted   th at  b y   t h e  en d   o f   2 0 2 4 ,   th e  n u m b er   o f   p u b lis h ed   p ap er s   w ill  b e  t w ice  as   lar g e.   Nex t,  Fi g u r e  6   s h o w s   th e  n u m b er   o f   r esear ch   ar ticles  b y   p u b lis h er s .   A cc o r d in g   to   th i s   p ie  ch ar t,  th e   h ig h e s t  n u m b er   o f   p ap er s   w e r e  p u b lis h ed   b y   E ls ev ier ,   w h ich   is   1 1   p ap er s   an d   2 9 . 7 %  o f   th e  to tal  p ap e r s   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 9 - 4864   I n t J   R ec o n f i g u r ab le  &   E m b ed d ed   Sy s t ,   Vo l.  14 ,   No .   2 ,  J u l y   20 25 :  339 - 3 5 2   344   r ev ie w ed   in   th i s   ar ticle.   Fo llo w i n g   t h at,   I E E E   an d   MD PI  p u b lis h ed   s ix   p ap er s ,   w ith   1 6 . 2 %  f r o m   ea c h   p u b lis h er .   O th er   t h a n   t h at,   4   p ap er s   an d   1 0 . 8 %  w er e  p u b lis h ed   b y   ea c h   o f   W ile y ,   Sp r i n g er ,   a n d     C SIR - NI ScP R ,   lea v i n g   1   p ap er   an d   2 . 7 % o f   t h e  to tal  p ap er s   b ein g   p u b li s h ed   b y   KI P S a n d   KSS,  r esp ec tiv e l y .             Fig u r e  5 .   Nu m b er   o f   p ap er s   p u b lis h ed   f r o m   ea c h   y ea r   w ith in   2 0 2 1   u n til 2 0 2 4     Fig u r e  6 .   Nu m b er   o f   p ap er s   p u b lis h ed   b y   ea ch   p u b lis h er       Af ter   t h at,   Fi g u r e  7   an al y ze d   th e  n u m b er   o f   ci tatio n s   f r o m   ea ch   p ap er   in   t h is   S L R .   T h e  h o r izo n tal   ax is   d en o tes  th e  r e f er en ce   n u m b er   o f   ea c h   ar ticle,   a n d   t h e   v er tical  a x i s   s h o w s   th e   n u m b er   o f   its   c itatio n .   B ased   o n   th e   b ar   g r ap h ,   t h e  h i g h e s t  n u m b er   o f   citatio n s   is   4 1 ,   f o llo w ed   b y   4 0 ,   3 3 ,   an d   2 2 .   On l y   4   p ap er s   f r o m   th e  to tal  ar ticle  h a v e  t h e  n u m b er   o f   citatio n s   ab o v e  2 0 ;  o th er   th a n   th at,   m o s t  p ap er s   h av e  t h e  n u m b er   o f   citatio n s   b elo w   2 0 ,   w h ich   r a n g e  f r o m   0   to   1 8 .   I n   s u m m ar y ,   b y   o b s er v in g   a n d   an a l y zi n g   t h ese  s i m p le  liter at u r e  class i f icatio n s ,   it  s u g g est s   t h a t  th e  r esear c h   f o c u s ed   o n   t h i s   f ield   i s   s t ill  c u r r en tl y   in   th e  b eg in n i n g   p h ase.   T h er ef o r e,   f u r th er   r esear ch   is   n ee d ed   in   o r d er   to   c o n tr ib u te   m o r e  n o v elt y   a n d   a  s tate - of - t h e - ar t  ap p r o ac h   to   th e  s t u d y   o f   lig h t w ei g h t C NN  o n   ed g e  d ev ices.           Fig u r e  7 .   Nu m b er   o f   citat io n s   f r o m   ea ch   p ap er         3 . 2 .     L it er a t ure  cla s s if ica t io n s     Fo r   th e  liter atu r e  cla s s i f icatio n ,   th e  r e v ie w ed   ar ticles  w er e  class i f ied   ac co r d in g l y   b y   r e f er r in g   to   t h e   lig h t w ei g h t  C NN  ar ch itectu r e s   f o r   th e  p u r p o s e  o f   ed g e  d ev ice  i m p le m e n tat io n .   T ab le  2   s u m m ar ize  all  t h o s e   lig h t w ei g h t  C NN  ar ch itect u r e s   o r   b ased   m o d els,  th e  t y p es   o f   th e  C NN,   an d   its   ap p lica tio n s .   Me an w h ile,   T ab le   3   f o cu s ed   o n   th o s e  lig h t w ei g h t  C NN  ar ch i tectu r es  t h at   h av e  b ee n   ex p er i m e n ted   o n   ed g e  d ev ices,  w h ic h   in cl u d es  it s   p er f o r m a n ce   e v al u atio n   in   ter m s   o f   t h eir   e v al u a tio n   t y p e s ,   m atr ices,  a n d   p er f o r m an ce   co m p ar is o n   in   ter m s   o f   a v er ag e  ac cu r ac y .   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J   R ec o n f i g u r ab le  &   E m b ed d ed   Sy s t     I SS N:   2089 - 4864       S ystema tic  r ev iew   o f a   lig h tw e ig h t c o n v o lu tio n a l  n eu r a l n et w o r k  …  ( Mu h a mma d   A b b a s   A b u   Ta lib )   345   T ab le  2 .   R esear ch   d atab ase  liter atu r e  class i f icatio n s   R e f .     A r c h i t e c t u r e s/ mo d e l s   Ty p e s o f   C N N   A p p l i c a t i o n s   [ 1 4 ]   L i t e - M D C   C l a ssi f i c a t i o n   t y p e s o f   p i g e o n   p e a 's  d i se a se s   P l a n t   d i se a se   d e t e c t i o n   f o r   p i g e o n   p e a   [ 1 5 ]   VGG - 16   C l a ssi f i c a t i o n   o f   c r a c k e d / n o n - c r a c k e d   s u r f a c e s   A u t o mat e d   c r a c k   d e t e c t i o n   i n   b u i l d i n g   i n s p e c t i o n   a n d   m a i n t e n a n c e   [ 1 6 ]   S D L M   C l a ssi f i c a t i o n   o f   c a t a r a c t / n o n - c a t a r a c t   e y e   Ca t a r a c t   e y e   d e t e c t i o n   [ 1 7 ]   S h u f f l e N e t V 2 _ Y O L O v 5 s   C l a ssi f i c a t i o n   t y p e s o f   c a n o l a   k e r n e l   g r a d e s   R e a l - t i me   c a n o l a   d a mag e   d e t e c t i o n   [ 1 8 ]   O n D e v - L C T   C l a ssi f i c a t i o n   G e n e r a l   p u r p o se   f o r   i mag e   c l a ssi f i c a t i o n   [ 1 9 ]   Z e r o - F V e i n N e t   C l a ssi f i c a t i o n   t y p e s o f   f i n g e r s v e i n   F i n g e r   v e i n   r e c o g n i t i o n   [ 2 0 ]   Y O L O v 5   C l a ssi f i c y   t h e   ma t u r i t y   o f   b l u e b e r r y   f r u i t   B l u e b e r r y   f r u i t   m a t u r i t y   d e t e c t i on   [ 2 1 ]   M o b i l e N e t V 2 ,  C o n d e n se N e t V 2 ,  S h u f f l e N e t V 2   C l a ssi f i c a t i o n   o f   f a b r i c ,   su r f a c e ,   a n d   c a st i n g   d e f e c t   P r o d u c t   d e f e c t   d e t e c t i o n   i n   M F G   i n d u st r i e s   [ 2 2 ]   M o b i l e N e t V 2   C l a ssi f i c a t i o n   t y p e s o f   f a b r i c   d e f e c t   F a b r i c   d e f e c t   d e t e c t i o n   i n   t e x t i l e   M F G   [ 2 3 ]   C C N N e t   C l a ssi f i c a t i o n   t y p e s o f   t r a d i t i o n a l   C h i n e se   me d i c i n e   ( T C M )   T r a d i t i o n a l   C h i n e se   me d i c i n e   i m a g e   c l a ssi f i c a t i o n   [ 2 4 ]   M o b i l e N e t   C l a ssi f i c a t i o n   G e n e r a l   p u r p o se   f o r   i mag e   c l a ssi f i c a t i o n   [ 2 5 ]   V G G 1 6 _ B N ,  R e sN e t - 50 ,  R e g N e t - X   C l a ssi f i c a t i o n   G e n e r a l   p u r p o se   f o r   i mag e   c l a ssi f i c a t i o n   [ 2 6 ]   CH - C N N   C l a ssi f i c a t i o n   G e n e r a l   p u r p o se   f o r   i mag e   c l a ssi f i c a t i o n   [ 2 7 ]   M o b i l e V i TF a c e   C l a ssi f i c a t i o n   o f   d i f f e r e n t   b r e e d s o f   sh e e p   S h e e p   f a c e   r e c o g n i t i o n   [ 2 8 ]   V G G N e t - 16 ,  R e sN e t - 5 0 / 5 6 / 1 1 0 ,  G o o g L e N e t ,  D e n se N e t - 40   C l a ssi f i c a t i o n   G e n e r a l   p u r p o se   f o r   i mag e   c l a ssi f i c a t i o n   [ 2 9 ]   L i t e C N N   Cl a ssi f i c a t i o n   o f   d i f f e r e n t   t y p e s o f   p l a n t   d i se a se s   P l a n t   d i se a se   i d e n t i f i c a t i o n   [ 3 0 ]   S h u f f l e N e t v 2   C l a ssi f i c a t i o n   o f   d e f e c t i v e / n o n d e f e c t i v e   c a s t i n g   C a st i n g   d e f e c t   d e t e c t i o n   [ 3 1 ]   C o n d e n se N e t V 2   C l a ssi f i c a t i o n   t y p e s o f   su r f a c e   d e f e c t   S u r f a c e   d e f e c t   d e t e c t i o n   i n   i n d u s t r i a l   i n t e l l i g e n t   p r o d u c t i o n   [ 3 2 ]   C N N   C l a ssi f i c a t i o n   t y p e s o f   f a c i a l   e mo t i o n   F a c i a l   e mo t i o n   r e c o g n i t i o n   f o r   V I P   [ 3 3 ]   EB N A S   C l a ssi f i c a t i o n   G e n e r a l   p u r p o se   f o r   i mag e   c l a ssi f i c a t i o n   [ 3 4 ]   Y O L O v 5 s - B i F P N   C l a ssi f i c a t i o n   o f   p i g   b o d y   r e g i o n   o f   i n t e r e st   ( R o I ) ,   r e g r e ssi o n   o f   p i g   b o d y   t e mp e r a t u r e   P i g   b o d y   t e mp e r a t u r e   a u t o ma t i c   d e t e c t i o n   f o r   e a r l y   d i se a se   w a r n i n g   [ 3 5 ]   Ed g e F i r e S m o k e   C l a ssi f y   t h e   o c c u r a n c e   o f   f o r e st   f i r e s   F i r e - smo k e   d e t e c t i o n   o f   f o r e st   f i r e s   [ 3 6 ]   T r i p l e N e t   C l a ssi f i c a t i o n   G e n e r a l   p u r p o se   f o r   i mag e   c l a ssi f i c a t i o n   [ 3 7 ]   C o n d e n se N e X t V 2   C l a ssi f i c a t i o n   G e n e r a l   p u r p o se   f o r   i mag e   c l a ssi f i c a t i o n   [ 3 8 ]   I n c e p t i o n V 3 ,  M o b i l e N e t ,  V G G 1 6   C l a ssi f i c a t i o n   t y p e s o f   f a c e   w i t h   mask / w i t h o u t   m a s k   F a c e   mask   c l a ss i f i c a t i o n   [ 3 9 ]   H F EN e t   C l a s si f i c a t i o n   o f   d e f e c t i v e / n o n d e f e c t i v e   c e r a mi c   t i l e   su r f a c e   C e r a mi c   t i l e   su r f a c e   d e f e c t   d e t e c t i o n   [ 4 0 ]   S h u f f l e N e t   C l a ssi f i c a t i o n   o f   3 D   o b j e c t   i m a g e s   3 D   o b j e c t   r e c o g n i t i o n   f o r   3 D   s c a n i n g   t e c h n o l o g y   [ 4 1 ]   M o b i l e N e t v 2   R e g r e ssi o n   o f   c r o w d   d e c si t y   e st i mat i o n   Est i m a t i n g   c r o w d   d e n si t y   f o r   p u b l i c   se c u r i t y   man a g e me n t   [ 4 2 ]   R D P N e t   C l a ssi f i c a t i o n   G e n e r a l   p u r p o se   f o r   i mag e   c l a ssi f i c a t i o n   [ 4 3 ]   En se mb l e   B i n a r i z e d   D r o N e t   ( EB D N )   C l a ssi f i c a t i o n   t a sk   f o r   c o l l i si o n - a v o i d a n c e ,   r e g r e ssi o n   t a sk   f o r   p r e d i c t i o n   o f   d e si r e d   st e e r i n g   a n g l e   A u t o n o mo u s  d r i v i n g   f o r   u n ma n n e d   a u t o n o mo u s v e h i c l e s (U A V )   [ 4 4 ]   BC - N e t   C l a ssi f i c a t i o n   G e n e r a l   p u r p o se   f o r   i mag e   c l a ssi f i c a t i o n ,   sp e e c h   r e c o g n i t i o n   o f   k e y w o r d   sp o t t i n g ,   f a c i a l   e x p r e ssi o n   r e c o g n i t i o n   [ 4 5 ]   M o b i l e N e t - v2   C l a ssi f i c a t i o n   t y p e s o f   so l i d   w a st e   W a st e   c l a ssi f i c a t i o n   f o r   so l i d   w a st e   man a g e me n t   [ 4 6 ]   D e n se N e t   C l a ssi f i c a t i o n   G e n e r a l   p u r p o se   f o r   i mag e   c l a ssi f i c a t i o n   [ 4 7 ]   M o b i l e N e t V 3   C l a ssi f i c a t i o n   t y p e s o f   i c i n g   g r a d e s   I c i n g   mo n i t o r i n g   o f   t r a n smiss i o n   l i n e s   [ 4 8 ]   S p a r k N e t   C l a ssi f i c a t i o n   G e n e r a l   p u r p o se   f o r   i mag e   c l a ssi f i c a t i o n   [ 4 9 ]   M o b i l e N e t V 2   &   S q u e e z e N e t   C l a ssi f i c a t i o n   t y p e s o f   w a st e   R e v e r s e   v e n d i n g   m a c h i n e   f o r   t y p e s o f   w a st e   r e c y c l e s   [ 5 0 ]   A S I R - N e t   C l a ssi f i c a t i o n   t y p e s o f   d i f f e r e n t   g r o u n d   v e h i c l e   t a r g e t   A u t o mat i c   t a r g e t   r e c o g n i t i o n   ( A T R )   i n   sy n t h e t i c   a p e r t u r e   r a d a r   ( S A R )  i mag e s fo r   mi l i t a r y   su r v e i l l a n c e         Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 9 - 4864   I n t J   R ec o n f i g u r ab le  &   E m b ed d ed   Sy s t ,   Vo l.  14 ,   No .   2 ,  J u l y   20 25 :  339 - 3 5 2   346   T ab le  3 .   R esear ch   d atab ase  ed g e  d ev ices ’   p er f o r m a n ce   clas s if icatio n s     R e f .     Ed g e   d e v i c e   t y p e s   Ev a l u a t i o n   t y p e s   Ev a l u a t i o n   ma t r i c e s   A v e .   a c c u r a c y   ( %)   [ 1 5 ]   R a s p b e r r y   P i   3 B +   -   A c c u r a c y   -   M o d e l   si z e   -   R o b u st n e ss   -   A c c u r a c y     -   R e c a l l   -   P r e c i si o n   -   F1 - S c o r e   9 5 . 3 0   [ 1 6 ]   A n d r o i d   S m a r t p h o n e   -   A c c u r a c y   -   M o d e l   si z e   -   T i me   -   A c c u r a c y     -   I n f e r e n c e   t i me   -   P a r a me t e r s   9 5 . 6 3   [ 1 7 ]   N V I D I A   Je t so n   N a n o   -   S p e e d   -   S e n si t i v i t y   -   P r e c i si o n   -   R e c a l l   -   F1 - S c o r e   -   I n f e r e n c e   s p e e d   -   [ 2 1 ]   N V I D I A   Je t so n   N a n o   -   A c c u r a c y     -   S e n si t i v i t y   -   S p e c i f i c i t y   -   A c c u r a c y     -   R e c a l l   -   P r e c i si o n   -   F1 - S c o r e   9 7 . 0 0   [ 2 2 ]   N V I D I A   Je t so n   N a n o   -   A c c u r a c y     -   S e n si t i v i t y   -   A c c u r a c y     -   R e c a l l   -   P r e c i si o n   -   F1 - S c o r e   9 6 . 5 2   [ 2 5 ]   -   N V I D I A   A G X   X a v i e r   -   N V I D I A   Je t so n   N a n o   -   A c c u r a c y   -   C o mp u t a t i o n s  c o mp l e x i t y   -   T i me   -   M o d e l   s i z e   -   T o p - 1  a c c u r a c y   -   M A C s   -   L a t e n c y   -   P a r a me t e r s   7 5 . 5 7   [ 2 7 ]   N V I D I A   Je t so n   N a n o   -   A c c u r a c y   -   A c c u r a c y   -   P r e c i si o n   -   R e c a l l   9 7 . 1 3   [ 2 9 ]   Z Y N Q   Z 7 - L i t e   7 0 2 0   F P G A   -   A c c u r a c y   -   S p e e d   -   T i me   -   A c c u r a c y     -   I n f e r e n c e   s p e e d     -   L a t e n c y   9 5 . 7 1   [ 3 0 ]   N V I D I A   Je t so n   N a n o   -   A c c u r a c y     -   S e n si t i v i t y   -   P r e c i si o n   -   R e c a l l   -   F1 - S c o r e   -   A c c u r a c y   9 9 . 5 8   [ 3 1 ]   N V I D I A   Je t so n   X a v i e r   N x   -   A c c u r a c y   -   S e n si t i v i t y   -   A c c u r a c y     -   R e c a l l   -   P r e c i si o n   -   F1 - S c o r e   9 1 . 4 0   [ 3 5 ]   N V I D I A   Je t so n   N a n o   -   A c c u r a c y   -   S e n si t i v i t y   -   T i me   -   A c c u r a c y     -   R e c a l l   -   P r e c i si o n   -   F1 - S c o r e   -   H a mm i n g   l o ss   9 8 . 9 7   [ 3 6 ]   R a s p b e r r y   P i   4   -   T i me   -   C o mp u t a t i o n s  c o mp l e x i t y   -   L a t e n c y   -   F L O P S   -   [ 3 7 ]   N X P   B l u e B o x   2 . 0   -   M o d e l   S i z e   -   A c c u r a c y   -   T i me   -   C o mp u t a t i o n s  c o mp l e x i t y   -   F L O P S   -   P a r a me t e r s   -   T o p - 1  a c c u r a c y   -   I n f e r e n c e   t i me   8 4 . 5 5   [ 3 8 ]   R a s p b e r r y   P i   4   -   A c c u r a c y   -   S p e e d   -   L o ss   -   A c c u r a c y   -   P r e c i si o n   -   R e c a l l   -   F1 - S c o r e   9 5 . 5 1   [ 3 7 ]   R a s p b e r r y   P i   4   -   S p e e d   -   C o mp u t a t i o n s  c o mp l e x i t y   -   T i me   -   M e a n   a b so l u t e   e r r o r   ( M A E)   -   R M S E   -   I n f e r e n c e   sp e e d   a n d   t i me   -   F L O P S   -   [ 4 3 ]   X i l i n x   Z y n q   7 Z 1 0 0   F P G A   -   A c c u r a c y   -   P r e c i si o n   -   S p e e d   -   R M S E   -   F1 - S c o r e   -   F P S   9 5 . 6 0   [ 4 4 ]   N U C L EO - F 7 6 7 ZI   w i t h   S T M 3 2 H 7 4 3   -   T i me   -   M S E   -   L a t e n c y   -   [ 4 7 ]   H u a w e i   A t l a s 2 0 0   D K   -   A c c u r a c y   -   P r e c i si o n     -   T i me   -   A c c u r a c y   -   T i me   -   F P S   7 4 . 5 0   [ 4 8 ]   I n t e l   A r r i a   1 0   G X 1 1 5 0   F P G A   -   T i me   -   S p e e d   -   I n f e r e n c e   t i me     -   S p e e d   u p   -   [ 4 9 ]   -   N V I D I A   Je t so n   N a n o     -   N V I D I A   Je t so n   T X 1   -   A c c u r a c y   -   T i me   -   A c c u r a c y   9 5 . 0 0       Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J   R ec o n f i g u r ab le  &   E m b ed d ed   Sy s t     I SS N:   2089 - 4864       S ystema tic  r ev iew   o f a   lig h tw e ig h t c o n v o lu tio n a l  n eu r a l n et w o r k  …  ( Mu h a mma d   A b b a s   A b u   Ta lib )   347   3 . 2 . 1 .   L ig htw eig ht  c o nv o lutio na l neura l net w o rk   a rc hite ct ures   Firstl y ,   Fi g u r e  8   s h o w s   th e  n u m b er   o f   ar ch itect u r es  u s ed   f r o m   all  t h e  r esear ch   i n   T ab le  2 .   B ased   o n   th e  ar ch itect u r es  o r   b ased   m o d el,   it  ca n   b e  s ee n   th at  th er e  w er e  s ev er al  s i m i lar   n et w o r k s   t h at  w er e  b ein g   u s ed   as   th eir   ap p r o ac h es,  s u c h   as  Mo b ileNet  w it h   9   ( 1 9 . 1 %),   Sh u f f leNe t  w it h   4   ( 8 . 5 %),   VG G - 1 6   w it h   4   ( 8 . 5 %),   C o n d en s eNe t  w it h   3   ( 6 . 4 %),   r esp ec tiv el y   in   ter m s   o f   n u m b er   o f   th eir   u s a g e.   Me an w h i le,   th e  Ot h er s   w it h   2 1   ( 4 4 . 7 %),   r e p r esen t  th e   n u m b e r   o f   d if f er en t  m o d el s   w it h   o n l y   o n e  u s ag e.   All  t h ese  ar e  s o m e  o f   t h e  s tate - of - th e - ar t  ap p r o ac h es  th at  ar e  cu r r en tl y   b ein g   u s ed   b y   r esear c h er s   i n   th i s   f ield .   W h ile  s o m e   o f   th e  r esear ch er s   u s e  t h e m   as  b en c h m ar k s ,   th e r e  ar e  also   s ev er al  o th er s   t h at  m o d if y   t h ese  o r ig i n al  n et w o r k s   w it h   v ar io u s   v er s io n s   to   i m p r o v e  th eir   p er f o r m a n ce s .   A s id e  f r o m   th at,   t h er e  w er e  a  f e w   w i th   h y b r id   m o d els  o r   m u lt i m o d al  w h ic h   co m b in ed   t w o   o r   m o r e  n et w o r k s   to g et h er   b y   u s in g   n o v el  ap p r o ac h es.  Fo r   ex am p le,   r esear ch   in   [ 2 7 ]   co m b i n ed   a  lig h t w ei g h t  C NN  ar ch itect u r e’ s   Mo b ileNet  m o d el  w it h   a  Vis io n   T r an s f o r m er   ar ch itect u r e.   A ll  i n   all,   Mo b ileNet  in clu d i n g   its   v ar io u s   v er s io n   is   t h e  m o s t  u s e d   lig h t w e ig h t  C NN  ar ch itec tu r e  f o r   ed g e  d ev ices  i m p le m en ta tio n .             Fig u r e  8 .   Sev er al  d if f er en t c o m m o n   li g h t w ei g h t  C NN  ar ch it ec tu r es       3 . 2 . 2 .   T y pes   o f   co nv o lutio na l   neura l net w o rk   Nex t,  as  f o r   th e  t y p es  o f   l ig h t w ei g h t  C NN  ar ch itect u r es  i n   T a b le  2 ,   m o s t  o f   th e  r esear c h   u s ed   f o r   class i f icatio n   w it h   a  f e w   o f   th e m   u s ed   f o r   r eg r ess io n ,   a n d   s o m e  co m b i n ed   b o th   th e  class i f icatio n   an d   r eg r ess io n .   B ased   o n   Fig u r e  9 ,   it  s u g g e s ts   t h at  th e  clas s i f ica tio n   t y p e  w a s   th e  m ai n   ap p r o ac h   th at  w as  b ein g   r esear ch ed   w ith   3 4   ( 9 1 . 9 %)  an d   th e  r e g r ess io n   t y p e  w i th   1   ( 2 . 7 %)  w as  m u ch   m o r e  co m p lica ted   to   b e  r esea r ch ed   o n .   Sin ce   t h e  r eg r e s s io n   t y p es  o f   C NN  r eq u ir e s   co n tin u o u s   d ata  f o r   p r ed ictio n ,   its   i m p le m e n tatio n   f o r   r eso u r ce - co n s tr ain ed   d ev i ce s   m a y   r eq u ir e  a  h ig h er   co m p u tat io n al  u s ag e  co m p ar ed   to   th e  class i f icatio n   t y p es  a n d   th u s ,   t h e  r es u lt  i n d i ca ted   th at  o n l y   m i n o r   r esear ch   h a s   b ee n   d o n e  f o r   r eg r ess io n s   ta s k .   Ho w e v er ,   th er e  w er e  s till   a  f e w   s t u d ies  th at  ap p lied   th e  r eg r ess io n   lig h t w ei g h t  C NN,   an d   s o m e  als o   u s ed   it  in   h y b r id   m o d el s   w it h   class i f icat io n   an d   r eg r ess io n   w it h   2   ( 5 . 4 %).   I n   s h o r t,  m o s t  o f   th e  r esear ch   in   lig h t w e ig h t  C NN   w a s   lean i n g   to w ar d s   th e  clas s i f icatio n   t y p es o f   C NN.             Fig u r e  9 .   T h e  co m m o n   t y p e s   o f   C N N       3 . 2 . 3 .   M o dels ’   a pp lica t io ns   Fro m   th e  a s p ec t  o f   ap p licatio n s ,   T ab le  2   d ep icted   th at  th is   f ield   o f   r esear c h   is   v er y   co m p r eh en s iv e.   T h e  s tu d ies  w er e  co n d u cted   f r o m   v ar io u s   f ield   in cl u d i n g   i n d u s tr ial  m a n u f ac tu r i n g   ( MF G)   w it h   8   ( 2 1 . 6 %),   p u b lic  s u r v eilla n ce   a n d   s af e t y   w it h   8   ( 2 1 . 6 %),   h ea lth   w it h   4   ( 1 0 . 8 %),   w a s te  m a n a g e m en t  w it h   2   ( 5 . 4 %),   ag r icu l tu r e  ( i.e . ,   an i m a l  an d   p l an t)   d is ea s e   d etec tio n   w i th   2   ( 5 . 4 %),   an d   m ilit ar y   w it h   1   ( 2 . 7 %)  as  ill u s tr ate  i n   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 9 - 4864   I n t J   R ec o n f i g u r ab le  &   E m b ed d ed   Sy s t ,   Vo l.  14 ,   No .   2 ,  J u l y   20 25 :  339 - 3 5 2   348   Fig u r e  1 0 .   Asi d e  f r o m   t h at,   t h e  h ig h es t  n u m b er   o f   ap p licat io n s   w er e  f o r   g e n er al - p u r p o s e   ( GP )   u s es  w i th   1 2   ( 3 2 . 4 %)   w h ic h   s h o w s   th e  f lex ib ilit y   a n d   r eliab ilit y   o f   th e  n et w o r k   to   b e  u s ed   w i th   m a n y   d i f f er e n t   ap p licatio n s .             Fig u r e  1 0 .   Var io u s   ap p licatio n s   o f   li g h t w eig h t  C NN  u s e  f o r   d if f er e n t secto r   o f   i n d u s tr y       3 . 2 . 4 .   T y pes   o f   edg e  dev ices   On   t h e  o t h er   h a n d ,   b ased   o n   T ab le  3 ,   2 0   s tu d y   w er e  f i lte r ed   o u t  f o r   t h e  p er f o r m a n ce   an al y s is   o f   lig h t w ei g h t  C N N  ar ch itect u r e   d ep lo y ed   in   ed g e  d e v ice.   A s i d e  f r o m   th e s e  2 0   r esear ch ,   th e  o th er   1 7   r esear ch   ea r lier   d id   n o t  co n tin u e  u s i n g   ed g e  d ev ices  w h ile  o n l y   ev a lu ati n g   t h eir   li g h t w ei g h t  C N N  w i th   s o m e  o f   t h e   b en ch m ar k   li g h t w ei g h t  m o d els.  Fig u r e  1 1   s u m m ar izes  t h e  t y p e s   an d   n u m b er s   o f   ed g e  d ev ices  b ased   o n   th e   r esear ch   i n   T ab le  3 .   Firstl y ,   i t  ca n   b e  s ee n   th at   ed g e  d e v ic es  ca n   b e  ca teg o r ized   i n to   t wo   t y p es  w h ic h   ar e     on - t h e - s h el f   d ev ices  i n cl u d in g   s ev er al  s y s te m - on - a - ch ip   ( So C )   ( e. g . ,   NVI DI A   J etso n   s er ie s   an d   R asp b er r y   P i  s er ies),   m icr o co n tr o ller   ( MCU )   w it h   it s   d ev elo p m e n t  b o ar d   s u ch   a s   t h e  NU C L E O - F7 6 7 Z I   w it h   ST M3 2 H7 4 3 ,   an d   An d r o id   S m ar tp h o n e.   Me an w h ile,   th e  o f f - t he - s h e lf   d ev ices  in cl u d e  th o s e  b ein g   i m p l e m en ted   as  FP GAs   ( e. g . ,   Xilin x   Z y n q   7 Z 1 0 0 ,   Z Y NQ  Z 7 - L ite  7 0 2 0 ,   an d   I n tel  Ar r ia  1 0   GX1 1 5 0 ) .   Hen ce ,   m o s t   o f   th e  r ec en t  s t u d y   s h o w s   th at  NVI DI A   J etso n   N an o   as  t h e  m o s t  u s ed   ed g e  d ev ice  w it h   7   ( 3 1 . 8 %),   f o llo w ed   b y   R asp b e r r y   P i  4   w it h   3   ( 1 3 . 6 %),   an d   FP GAs  al s o   w ith   3   ( 1 3 . 6 %)  w h i le  o th er s   ( So C )   w it h   7   ( 3 1 . 8 %)  r ep r esen t  t h e  o th er   t y p es   o f   So C   ed g e  d ev ice s   th a t  w er e  u s ed   o n l y   o n ce .             Fig u r e  1 1 .   So m e  o f   th e  g en er a l e d g e  d ev ices  u s ed   to   e m b ed   a  lig h t w ei g h t  C NN  ar ch itect u r e       3 . 2 . 5 .   E v a lua t io n  t y pes   a nd   m a t rice s   L ast  b u t  n o t  least,  f o r   th e  ev al u atio n   t y p e s   an d   m atr ices,  m o s t  o f   th ese  s t u d ies  f o cu s ed   o n   ac cu r ac y ,   ti m e,   s p ee d ,   s en s it iv it y ,   m o d el   s ize,   co m p u tat io n   co m p lex it y ,   an d   o th er s .   Mo r e o v er ,   s ev er al  m a tr ices,  s u c h   as   ac cu r ac y ,   r ec all,   p r ec is io n ,   F1 - Sco r e ,   in f er en ce   ti m e  an d   s p e ed ,   laten c y ,   p ar a m eter s ,   f lo ati n g   p o in t  o p er atio n s   ( FL OP s ) ,   an d   o t h er s ,   w er e  a l w a y s   b ein g   u s ed   i n   o r d er   to   en s u r e  t h at  t h e  li g h t w ei g h t  C N N  f o r   ed g e  d e v ices   p er f o r m a n ce   w as  o p ti m ized .   So m e   o f   th e  ev a lu atio n   m atr i ce s   r ep r esen t  ea ch   o f   th e  ev al u atio n   t y p e s   as  th e   m atr ices  ar e  t h e  s p ec if ic  ass ess m en t  o f   ea ch   o f   th e  e v al u atio n   t y p es.  Fo r   ex a m p le,   ac cu r ac y   a n d   to p - 1  ac cu r ac y   ar e  th e  e v alu at io n   m atr ices  f o r   ev alu a tio n   t y p e  o f   ac cu r ac y ,   i n f er e n ce   ti m e  an d   laten c y   ar e  t h e   ev alu a tio n   m atr ices   f o r   e v alu a tio n   t y p e  o f   ti m e,   a n d   F L OP s   an d   m u ltip l y - ac cu m u late  o p er atio n s   ( M AC s )   ar e   th e  ev a lu atio n   m atr ices  f o r   ev alu a tio n   t y p e  o f   co m p u tati o n   co m p lex i t y .   T ab le  3   d esc r ib es  s o m e  o f   t h e   Evaluation Warning : The document was created with Spire.PDF for Python.