I nte rna t io na l J o urna l o f   Rec o nfig ura ble a nd   E m be dd e d Sy s t e m s   ( I J R E S)   Vo l.  1 5 ,   No .   1 Ma r ch   20 2 6 ,   p p .   42 ~ 53   I SS N:  2089 - 4864 DOI 1 0 . 1 1 5 9 1 /i j r es . v 1 5 . i 1 . pp 42 - 53           42     J o ur na l ho m ep a g e h ttp : //ij r es.ia esco r e. co m   Deplo y m en a nd   ev a lua tion o faci a l expres sio n reco g nition o Andro id and  Te mi V3  in  co n trolled  settings       M o ha m a d H a riz  Na za m i d 1 ,   Ro zit a   J a ila ni 1 ,   Nur  K ha lid a Z a k a r ia 1 ,   Anw a P .   P .   Abdu l M a j ee d 2   1 F a c u l t y   o f   El e c t r i c a l   En g i n e e r i n g ,   U n i v e r si t i   T e k n o l o g i   M A R A ,   S h a h   A l a m,  M a l a y si a   2 F a c u l t y   o f   En g i n e e r i n g   a n d   T e c h n o l o g y ,   S u n w a y   U n i v e r si t y ,   B a n d a r   S u n w a y ,   M a l a y si a       Art icle  I nfo     AB ST RAC T   A r ticle  his to r y:   R ec eiv ed   J an   2 1 ,   2 0 2 5   R ev i s ed   Dec   1 1 ,   2 0 2 5   A cc ep ted   J an   1 1 ,   2 0 2 6       F a c ial  e x p re ss io n   re c o g n it io n   ( F ER)  is  v it a f o i m p ro v in g   h u m a n - ro b o in tera c ti o n   (HRI).  T h is  stu d y   p re se n ts  th e   d e p lo y m e n a n d   e v a lu a t io n   o f   a n   o p ti m ize d   F ER  m o d e o n   a n d ro i d   d e v ice s,  sp e c i f ica ll y   tes ted   o n   th e   T e m V 3   ro b o in   c o n tro ll e d   e n v iro n m e n ts.  T ra in e d   u sin g   F ER+  a n d   CK+   d a tas e ts  a n d   o p ti m ize d   w it h   T e n so rF lo w   L it e   (T F L it e )   a n d   M o b il e Ne tV2 ,   t h e   m o d e a c h iev e d   a   v a li d a ti o n   a c c u ra c y   o f   9 2 . 3 2 % .   I ts  p e rf o rm a n c e   wa a ss e ss e d   o n   th e   T e m V 3   r o b o a n d   a   S a m su n g   A 5 2   sm a rtp h o n e ,   f o c u sin g   o n   C P U   u sa g e ,   m e m o r y ,   a n d   p o w e c o n su m p ti o n .   Cro ss - d e v ice   c o m p a ti b il it y   a n d   re a l - ti m e   p e rf o r m a n c e   c h a ll e n g e s   w e re   a d d re ss e d   th r o u g h   m o d e q u a n ti z a ti o n   a n d   th re a d   o p ti m iza ti o n .   Re a l - ti m e   t e stin g   o n   th e   T e m V 3   sh o w e d   a n   o v e ra ll   a c c u ra c y   o f   8 2 . 2 8 % ,   w it h   e m o ti o n - sp e c if ic  a c c u ra c i e ra n g in g   f ro m   4 6 . 1 9 %   to   9 2 . 2 8 % .   T h is  stu d y   o ff e r p ra c ti c a in sig h ts  f o o p ti m izin g   F E s y ste m s   a c ro ss   a n d ro i d   p latf o rm s,  w it h   p o ten ti a l   a p p l ica ti o n in   e d u c a ti o n ,   h e a lt h c a re ,   a n d   c u sto m e se rv ic e .   T h e   re su lt su p p o rt   th e   f e a sib il it y   o im p le m e n ti n g   F E m o d e ls  a b a c k e n d in   a n d r o i d   a p p li c a ti o n s,   e n a b li n g   m o re   in tu it iv e   a n d   re sp o n siv e   HRI.  F u t u re   w o rk   w il f o c u o n   i m p ro v in g   m o d e e ff icie n c y   f o lo w e r - e n d   d e v ice a n d   e x p lo ri n g   o n - d e v ice   lea rn in g   tec h n iq u e s to   b o o st ac c u ra c y   in   d iv e rse   re a l - w o rld   e n v iro n m e n ts.   K ey w o r d s :   Facial  ex p r ess io n   r ec o g n itio n   I m ag p r o ce s s i n g   L i g h t w ei g h m o d el   R o b o t in teg r atio n   T em i V 3   T h is i a n   o p e n   a c c e ss   a rticle   u n d e r th e   CC B Y - SA   li c e n se .     C o r r e s p o nd ing   A uth o r :   R o zita  J ailan i   Facu lt y   o f   E lectr ical  E n g in ee r in g ,   U n i v er s iti T ek n o lo g i M AR A   Sh a h   A la m ,   Selan g o r ,   Ma la y s i a   E m ail:   r o zitaj @ u i t m . ed u . m y       1.   I NT RO D UCT I O N   Hu m an - r o b o in ter ac tio n   ( H R I )   p lay s   s i g n i f ica n r o le  in   v ar io u s   s ec to r s ,   i n clu d i n g   h ea l t h ca r an d   HR I .   O n n o tab le  ap p licatio n   is   a s s i s ti v r o b o ts   th a u tili ze   ar tif icia i n telli g e n ce   ( A I )   to   p r o v id e m o tio n al   s u p p o r in   eld er l y   ca r s ett i n g s   [ 1 ] ,   [ 2 ] .   HR I   h as  ad v a n ce d   co n s id er ab l y   w it h   t h e   in te g r atio n   of   A I   tech n o lo g ies.  Fo r   in s ta n ce ,   n atu r al  lan g u a g p r o ce s s in g   ( NL P )   tech n o lo g ie s   h a v e   en ab led   s ea m le s s   co m m u n icatio n   w it h   u s er s   ac r o s s   d iv er s ac ce n ts ,   lan g u ag e s ,   a n d   s p ee ch   p atter n s   [ 3 ] .   A d d itio n all y ,   co m p u ter   v is io n   tech n o lo g ie s   f ac il itate   th r ec o g n i tio n   o f   h u m a n   g e s tu r es  an d   ex p r es s io n s ,   allo w i n g   f o r   m o r n atu r al   in ter ac tio n s   [ 4 ] ,   [ 5 ] .   Fu tu r d ev elo p m en t s   i n   HR I   ar ex p ec ted   to   in co r p o r ate  m u lti - m o d al  i n ter ac tio n   ca p ab ilit ies,  co m b in i n g   s p ee c h ,   g e s tu r e s ,   f ac ial  e x p r ess io n s ,   an d   to u c h ,   to   en ab le  ev e n   m o r n at u r al  an d   in t u iti v in ter ac tio n s .   Facial  ex p r es s io n   r ec o g n itio n   ( FER)  li g h t w ei g h m o d els   ca n   b ca teg o r ized   in to   t wo   class es :   r eg r ess io n   m o d els  a n d   clas s if icatio n   m o d els.  T h is   s t u d y   f o cu s es  o n   c lass if ica tio n   m o d el s ,   w h ich   ar e   co n s id er ed   to   b m o r r eliab le .   A   co m p ar is o n   o f   d if f er en m o d els  co n d u cted   b y   o th er   r esear ch er s   is   s h o w n   i n   T ab le   1 .   B ased   o n   th is   tab le,   th s u cc es s   r ate  o f   FER  d etec tio n   a m o n g   v ar io u s   lig h t w e ig h m o d els  r an g e s   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J   R ec o n f i g u r ab le  &   E m b ed d ed   Sy s t     I SS N:   2089 - 4864       Dep lo yme n t a n d   ev a lu a tio n   o f   fa cia l e xp r ess io n   r ec o g n itio n   o n   A n d r o id     ( Mo h a ma d   Ha r iz   N a z a mid )   43   f r o m   ap p r o x i m a tel y   5 5 to   5 7 f o r   T en s o r Flo w   L ite  ( T FL ite)   m o d el s .   T h h i g h e s s u cc ess   r ate  o b s er v ed   w a s   5 6 . 8 9 %,  ac h iev ed   u s i n g   T FL ite  m o d el  w ith   t h M n as Net  n et w o r k   [ 6 ] .       T ab le  1 .   T h co m p ar is o n   o f   d i f f er en t li g h t w ei g h m o d els  [ 6 ]   M o d e l   B a t c h   D r o p o u t   O p t i mi z e r   LR   S u c c e ss ra t e   ( %)           TF   TFL i t e   M n a sN e t   A = 1 . 5   D = 3   8   N o n e   A d a m   0 . 0 0 0 1   5 6 . 8 6 4   5 6 . 8 8 9   Ef f i c i e n t N e t B 0   8   N o n e   S G D   0 . 0 1   5 6 . 1 6 4   5 6 . 1 6 4   M n a sN e t   A = 1 . 0   D = 7   8   N o n e   A d a m   0 . 0 0 0 1   5 5 . 9 8 9   5 6 . 0 1 4   Ef f i c i e n t N e t B 0   8   N o n e   A d a m   0 . 0 0 1   5 5 . 9 1 4   5 5 . 9 3 9   Ef f i c i e n t N e t B 0   8   N o n e   A d a m   0 . 0 0 1   5 5 . 6 8 9   5 5 . 6 8 9   D e n se N e t 1 2 1   8   N o n e   A d a m   0 . 0 0 0 1   5 5 . 6 3 9   5 5 . 6 3 9   Ef f i c i e n t N e t B 1   8   N o n e   S G D   0 . 0 1   5 5 . 4 8 9   5 5 . 4 8 9   Ef f i c i e n t N e t B 0   4   N o n e   A d a m   0 . 0 0 1   5 5 . 2 6 4   5 5 . 2 6 4   M n a sN e t   A = 1 . 0   D = 3   8   N o n e   A d a m   0 . 0 0 0 1   5 5 . 1 1 4   5 5 . 1 1 4   Ef f i c i e n t N e t B 0   4   N o n e   S G D   0 . 0 1   5 5 . 0 8 9   5 5 . 0 8 9   M o b i l e N e t V 2   8   0 . 2   A d a m   0 . 0 0 1   5 4 . 8 3 9   5 4 . 8 3 9   G h o st N e t   8   N o n e   A d a m   0 . 0 0 0 1   5 4 . 7 1 4   5 4 . 7 1 4   M n a sN e t   A = 1 . 0   D = 1   8   N o n e   A d a m   0 . 0 0 0 1   5 4 . 5 8 9   5 4 . 5 6 4   M o b i l e N e t V 3 L a r g e   A = 1 . 2 5   16   0 . 5   A d a m   0 . 0 0 1   5 4 . 4 8 9   5 4 . 3 8 9   Ef f i c i e n t N e t V 2 B 1   16   N o n e   S G D   0 . 0 1   5 4 . 4 6 4   5 4 . 4 3 9   M o b i l e N e t V 3 L a r g e   A = 1 . 2 5   16   0 . 2   A d a m   0 . 0 0 1   5 4 . 3 6 4   5 4 . 3 3 9   Ef f i c i e n t N e t V 2 B 0   8   N o n e   S G D   0 . 0 1   5 4 . 2 6 4   5 4 . 2 3 9   S q u e e z e N e t   C = 1 . 0   8   0 . 2   A d a m   0 . 0 0 0 1   5 4 . 1 3 9   5 4 . 1 1 4   Ef f i c i e n t N e t V 2 B 1   8   N o n e   S G D   0 . 0 1   5 4 . 0 6 4   5 4 . 0 3 9   M o b i l e N e t V 3 S mal l   A = 1 . 2 5   16   0 . 5   A d a m   0 . 0 0 1   5 3 . 9 6 3   5 3 . 9 3 8       Me an w h ile,   r o b o ap p licatio n s   h a v b ec o m i n d is p e n s ab le   in   v ar io u s   s ec to r s ,   p ar ticu la r l y   w it h in   m en tal  h ea lt h ,   ed u ca tio n ,   an d   s er v ice s   [ 7 ] - [ 1 1 ] ,   d u e   to   th ei r   d ed icate d   f u n c tio n ali t y   a n d   r eso u r ce   ef f icie n c y .   T h d em a n d   f o r   lig h ter ,   m o r ef f icien m o d el s   s u itab le  f o r   r o b o tic  ap p licatio n s   h as   led   to   i n n o v ati v s o l u tio n s   s u c h   as  t h lo ca s lid in g   w i n d o w   atte n tio n   n et w o r k   ( SW A - Net) ,   w h ich   ac h ie v es  an   ac c u r ac y   o f   9 0 . 0 3 o n   R A F - DB   d atasets   [ 1 2 ] ,   an d   r ec en tr an s f o r m er - b ased   FER   ap p r o ac h es,  s u c h   as  th atte n ti v p o o lin g   v i s io n   tr an s f o r m er   b y   Xu e   et  a l [ 1 3 ] ,   r ep o r an   a cc u r ac y   o f   8 9 . 9 4 o n   th R AF - DB   d atas et,   s h o w i n g   s tr o n g   g en er aliza tio n   in   r ea l - w o r ld   s ce n ar io s .   T h ese  ad v an ce m e n ts   d eliv er   im p r es s iv r es u lts   d es p ite  r ed u ce d   m o d el  s izes a n d   r eso u r ce   d e m an d s .   An o th er   i m p o r tan co m p o n e n o f   th FE R   m o d el  is   t h d atasets   u s e d   f o r   tr ain i n g .   B ased   o n   th e   s tu d y ,   t h er ar m u ltip le  t y p e s   o f   d atasets   av ailab le  f o r   tr ain i n g   FE R   m o d els.  On o f   t h m o s co m m o n l y   u s ed   b en c h m ar k s   i s   FE R   2 0 1 3   an d   its   ex te n d ed   v er s io n ,   F E R [ 1 4 ] .   FER+  d ataset s   ar e   co n s id er ed   clea n er   an d   ca n   p r o v id b etter   ac cu r ac y .   A d d itio n all y ,   th C K+   d at aset   [ 1 5 ] ,   o r ig in all y   co m p r i s in g   v id eo   s eq u e n ce s ,   h as  b ee n   ad ap ted   b y   s o m r e s ea r ch er s   i n to   4 8 ×4 8   g r a y s ca le   i m a g es   f o r   u s e   in   i m ag e   clas s if ica tio n   tr ain i n g .   FER+  h as  d e m o n s tr ated   g o o d   ac cu r ac y   i n   p o o lin g   v i s io n   tr an s f o r m er   r esear ch ,   ac h i ev in g   v alid atio n   ac cu r ac y   o f   8 9 . 9 4 [ 1 3 ] .   Me a n w h ile,   t h C K+   d atase is   o n o f   t h b est,  o f f er in g   a n   ac c u r ac y   o f   1 0 0 [ 1 6 ] T h h ig h   ac cu r ac y   o f   t h C K+   d ataset  ca n   b attr ib u ted   to   th co n s is ten c y   o f   t h d ata  i n   i m ag e   clas s if i ca tio n .   FER+  al s o   b en ef its   f r o m   b ein g   clea n   v er s io n   o f   t h FE R   2 0 1 3   d ataset   [ 1 7 ] ,   w ith   s o m e   n o is r e m o v ed .   T h n o is i n   th d ata  ca n   b s ee n   i n   Fi g u r 1 .           Fig u r 1 .   T h n o is e   in   th FER 2 0 1 3   d atasets       T h i m p le m e n tat io n   o f   li g h t w ei g h FE R   m o d els  o n   d i f f er en m o b ile   d ev ice s   h as  b e en   w id el y   s tu d ied ,   w it h   m u l tip le  m o d els  b ein g   d ep lo y ed   ac r o s s   v ar io u s   m o b ile  p latf o r m s ,   as  il lu s tr ate d   in   T ab le  2   in   th e   p r ac tical  r ev ie w   [ 6 ]   o f   t h FE R   s y s te m   in   th F i g u r e   1 .   W h i le  in   t h m icr o co n tr o ller ,   it  h a s   h i g h   ca p ab ilit y   i n   r ea ti m ap p licatio n   e m b ed d ed   in   th er ap e u tic  s y s te m s   [ 1 8 ] .   Ho w e v er ,   th i n te g r atio n   o f   th e s m o d els  i n to   r ea r o b o ts   s till   r eq u ir es  te s ti n g   to   ev al u ate  th eir   p er f o r m an c in   r ea l - ti m d etec tio n   a n d   t h ac cu r ac y   o f   FE R   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 9 - 4864   I n t J   R ec o n f i g u r ab le  &   E m b ed d ed   Sy s t Vo l.  1 5 ,   No .   1 Ma r c h   202 6 :   42 - 53   44   in   r ea l - ti m e n v ir o n m en t.  C u r r en tl y ,   th ap p licatio n   o f   FE R   o n   t h T em i   V3   r o b o is   s til u n d er   ex p lo r atio n ,   as  th er i s   li m ited   r esear ch   o n   its   u s in   r ea l - li f i m p le m e n tatio n s .   I n   FER  s y s te m s   f o r   m o b ile  d ev ices  o r   s m ar tp h o n es,  e v al u atio n   m etr i cs  in cl u d late n c y   in   m illi s ec o n d s .   A d d itio n all y ,   ass e s s i n g   th ac c u r ac y   o f   th e   m o d el s   d u r i n g   i m p le m e n tatio n   in v o l v es  co m p ar i n g   th m o d el' s   o u tp u w i th   ac tu al  h u m a n   e m o tio n s .   T h ese   ass es s m en m etr ics  d eter m in e   th ef f icie n c y   o f   th m o d el 's   p r o ce s s in g   d u r i n g   in ter ac tio n s   w ith   h u m a n s   a n d   ev alu a te  th m o d el's r eliab ilit y   in   r ea l - l i f i m p le m en ta tio n s .       T ab le  2 .   T esti n g   o f   d i f f er e n m o d el  o n   d i f f er en t a n d r o id   d e v ice  [ 6 ]   M o d e l   S i z e   ( MB )   D e v i c e   l a t e n c y   ( ms )     Z e n F o n e   5   P i x e l   6   G a l a x y   A 4 0   R a s p b e r r y   P i   4   D e n se N e t 1 2 1   1 5 . 3 9   6 6 3   1 7 1   7 5 1   3 2 9 8   Ef f i c i e n t N e t B 0   2 . 4   87   29   79   3 3 3   M n a sN e t   A = 1 . 0   D = 1   5 . 7 7   1 0 4   39   86   4 6 1   M n a sN e t   A = 1 . 5   D = 3   1 2 . 2 4   2 4 9   66   2 2 7   5 6 2   M o b i l e N e t V 2   6 . 7 6   94   37   1 0 6   4 7 2   M o b i l e N e t V 3 L a r g e   A = 1 . 0   M I N I   4 . 6   74   28   78   4 0 2   M o b i l e N e t V 3 L a r g e   A = 1 . 0   7 . 6   83   32   91   7 4 6   S h u f f l e N e t   C H = 6 4   0 . 7 8   76   36   84   74   S h u f f l e N e t   C H = 1 2 8   1 . 8 2   1 7 7   70   1 7 0   1 8 6   S h u f f l e N e t   C H = 2 0 0   3 . 4 1   3 5 1   1 5 2   3 4 1   3 3 8   S h u f f l e N e t V 2   S F = 0 . 5   4 . 4 7   57   25   63   1 2 5 7   S h u f f l e N e t V 2   S F = 1 . 0   9 . 6 6   1 6 4   60   1 4 2   1 2 7 0   S h u f f l e N e t V 2   S F = 1 . 5   1 7 . 6 6   2 6 8   74   2 5 3   1 3 2 1   S q u e e z e N e t   C = 1 . 0   2 . 4 1   92   38   94   3 9 7       T h T em i   V3 ,   ill u s tr ated   i n   Fig u r 2 ,   is   a n   ad v a n ce d   s er v ice  r o b o f ea tu r i n g   s m ar p ath   p lan n in g ,   f ac tr ac k i n g ,   N L P ,   tex t - to - s p ee ch   ( T T S) ,   s p ee ch - to - te x ( STT ) ,   an d   ca m er ca p ab ilit ie s .   W h ile  th r o b o s u p p o r ts   v ar io u s   c u s to m izat i o n   ap p r o ac h es,  th is   s t u d y   f o cu s es  o n   a n d r o id   ap p licatio n   d ev elo p m e n b y   in te g r atin g   th ex i s ti n g   s o f t war d ev elo p m en k it  ( SDK)   p r o v id ed   b y   T em i .   T h an d r o i d   ap p licatio n   w as   in s ta lled   o n   th T em i   V3   u s i n g   t h a n d r o id   d eb u g   b r id g ( A DB )   [ 1 9 ] ,   en ab lin g   s ea m le s s   d ep lo y m e n an d   o p tim izatio n   o f   th r o b o t’ s   ad v an ce d   f u n ctio n alitie s   to   alig n   w it h   t h o b j ec tiv es o f   th r ese ar ch .           Fig u r 2 .   R o b o T em i   V3       I n   th is   p ap er ,   th au th o r   w il co n tr ib u te  to   FER  m o d el  u s in g   co m b in a tio n   o f   th FE R d ataset   an d   C K+ 4 8   d ataset,   e m p lo y i n g   th T en s o r Flo w   f r a m e w o r k   an d   th p r e - tr ai n ed   Mo b ileNetV2   [ 2 0 ]   n et w o r k .   T h p ap e r ' s   co n tr ib u tio n s   i n cl u d d ev elo p in g   a n d   o p tim izin g   an   an d r o id   ap p licatio n   f o r   im p le m e n tat io n   o n   an d r o id   d ev ices  an d   th T e m i   V3   r o b o t.  T h an d r o id   ap p licatio n   w ill  b d ev elo p ed   u s i n g   t h R o b o T em i   SDK   [ 1 9 ]   an d   Op en C A P I   [ 2 1 ]   f o r   r ea l - ti m d etec tio n .   Op ti m iza tio n   e f f o r ts   w i ll  f o cu s   o n   es tab lis h in g   g u id eli n e s   f o r   d ev elo p in g   a n   o p tim ized   an d r o id   ap p licatio n .   I w i ll  b eg i n   w it h   b ac k g r o u n d   in f o r m atio n   an d   r esear ch   o n   t h i m p le m e n tati o n   o f   li g h t w eig h m o d els  i n   an d r o id   s y s te m s ,   alo n g   w ith   th d ev elo p m e n o f   m o d el s   u s i n g   t h T FL ite   f r a m e w o r k   [ 2 2 ] .   Fo llo w i n g   th i s ,   th p ap er   w il d etail  th m et h o d o lo g y   an d   ap p r o ac h   u s ed   to   i m p le m en th FE R   m o d el  i n to   cu s to m   an d r o id   ap p licatio n ,   as  w el as  th ap p r o ac h   em p lo y ed   to   co llect  an d   an al y ze   r ea l - ti m d etec tio n   d ata  u s in g   t h FE R   s y s te m   o n   t h T e m i   V3 .   T h s u b s eq u en s ec tio n   w il p r esen th r esu lts   o f   th p er f o r m a n ce   an al y s is   an d   o f f er   o p tim izatio n   s u g g e s tio n s   f o r   ap p   d ev elo p m e n t   to   en h a n ce   t h b ac k e n d .   F o llo w i n g   t h is ,   t h p ap er   w i ll  d is c u s s   t h tes tin g   o f   th FER  s y s te m   o n   t h T e m i   V3 ,   f o cu s in g   o n   co n tr o lled   s u b j ec ts   an d   en v ir o n m e n ts .   Fi n all y ,   th au t h o r   w ill  co n cl u d th f i n d in g s   an d   s u g g es t   i m p r o v e m en t s   an d   d ir ec tio n s   f o r   f u t u r d ev elo p m en t.   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J   R ec o n f i g u r ab le  &   E m b ed d ed   Sy s t     I SS N:   2089 - 4864       Dep lo yme n t a n d   ev a lu a tio n   o f   fa cia l e xp r ess io n   r ec o g n itio n   o n   A n d r o id     ( Mo h a ma d   Ha r iz   N a z a mid )   45   2.   RE S E ARCH   M E T H O D   T h is   s ec tio n   ex p lai n s   t h m et h o d o lo g y   ad o p ted   in   th is   s t u d y   in   d etail.   I b eg in s   w it h   an   i n tr o d u ctio n   to   th cu s to m   FER  T FLite   m o d el,   th an d r o id   ap p licatio n   in teg r atio n   w it h   t h cu s to m   T FL ite   m o d el,   a n d   th e   ap p r o ac h   u s ed   to   co llect  d ata  f o r   co n tr o lle d   s u b j ec ts   f o r   th r ea l - ti m d etec tio n   te s t.       2 . 1 .     F a cia l e x press io n r ec o g nitio n   T en s o rF lo w   L it m o d el   T h d atasets   u s ed   to   tr ain   t h FER  m o d el  w er co m b in at i o n   o f   t h FE R +   [ 1 4 ]   an d   m o d if ied   C K+   [ 1 5 ]   w it h   t h s p ec i f icatio n   o f   4 8 ×4 8   in   g r ay s ca les  d ata s ets .   T o g eth er ,   th e y   co n tai n   8 . 1 5 9   b lack - a n d - w h ite   ( g r a y s ca le)   p h o to s   w it h   r es o lu tio n   o f   4 8   b y   4 8   p ix el s .   F o r   tr ain in g   an d   te s ti n g ,   t h d a taset  is   d i v id ed   in to   t w o   s e ts 7 . 3 4 3   p h o to s   f o r   tr ain in g   a n d   8 1 6   p h o to s   f o r   test i n g .   T h i m a g es  r ep r esen s e v en   f u n d a m en ta f ac ia l   e m o tio n s an g er ,   f ea r ,   s ad n es s ,   n eu tr alit y ,   h ap p in e s s ,   s u r p r is e,   an d   d is g u s t.  T h n u m b er   o f   im a g es  v ar ies  ac r o s s   th e s s ev e n   d is tin c e m o tio n   ca teg o r ies.  Fi g u r 3   i l lu s tr ate s   t h p r o p o s ed   m o d el  ar ch itect u r f o r   t h FER  s y s te m .   T h i n p u la y er   r ec eiv es  p r e - p r o ce s s ed   g r a y s c ale  f ac ial   i m ag e s   o f   s ize  4 8 ×4 8   p ix els,  w h ic h   ar e   th en   r esized   to   9 6 ×9 6   an d   c o n v er ted   to   R GB   f o r m at  to   m atc h   th in p u r eq u ir e m e n ts   o f   th p r e - tr ain ed   Mo b ileNetV2   [ 2 0 ]   m o d el.   T h i s   m o d el,   w ith   i n cl u d to p =False,  s er v es  a s   p o w er f u f e atu r ex tr ac to r .   An   atten tio n   la y er   is   ap p lied   to   en h a n ce   t h m o d el s   f o cu s   o n   s alien f ac ial  r e g io n s .   T h ex t r ac ted   f ea tu r es  ar e   th en   p as s ed   th r o u g h   g lo b al  av er ag p o o lin g   ( G A P )   lay er   to   r ed u ce   d im e n s io n alit y .   T o   m iti g ate  o v er f itti n g ,   t w o   Dr o p o u la y er s   w it h   d r o p o u r ate  o f   0 . 5   ar u s ed .   f u ll y   co n n ec ted   d en s la y er   w it h   1 2 8   u n it s   a n d   R eL ac ti v atio n   i n tr o d u ce s   n o n - li n ea r it y ,   f o llo w ed   b y   f in al  d en s o u tp u t la y er   w it h   s i g m o id   ac ti v atio n   f o r   bi n ar y   class if ica tio n .   T h is   ar ch itect u r en ab les  th m o d el  to   p r ed ict   o n o f   t w o   f ac ial  ex p r ess io n   clas s es.  T h e   tr ain ed   m o d el  is   later   co n v er te d   to   T FL ite   [ 2 2 ]   f o r m at  to   en a b le  ef f icie n t d ep lo y m en t o n   ed g d ev ices.           Fig u r 3 .   T h FER  m o d el  n et w o r k s       2 . 2 .     Andro id a pp lica t io n f o r   f a cia l e x press io n r ec o g nitio n   T h FER  s y s te m   d es ig n   i n   an d r o id   Stu d io ,   as  illu s tr ated   in   Fig u r 4 ,   b eg in s   w i th   i n itia liz atio n   u s in g   th Haa r   C ascad m o d el  an d   Op en C [ 2 0 ]   to   d etec th p r esen ce   o f   f ac o n   th s cr ee n   b ef o r d eter m i n i n g   th ex p r ess io n .   T h d ev elo p e d   m o d el  is   s in g le - o u tp u s y s te m ,   p r o d u cin g   o u tp u ts   in   t h r an g o f   0   t o   6 . 5 ,   w it h   ea c h   r an g co r r esp o n d in g   to   s p ec if ic  e m o tio n   clas s i f icatio n .   T h is   s y s te m   w a s   d ev elo p ed   in   an d r o id   s tu d io   to   f ac ilit ate  i m p le m e n t atio n   o n   m u ltip le  d ev ices.  T h ap p licatio n   co n s i s ts   o f   t h r ee   m a i n   ac ti v itie s :   Ma in A cti v it y ,   C a m er a A cti v it y ,   an d   FacialE x p r ess io n A cti v i t y .   T h Ma in A ct iv it y   s er v e s   as  th lan d in g   p ag e,   f ea t u r in g   b u tto n   th at  n a v ig ates  to   th C a m er a A cti v it y   a n d   FacialE x p r es s io n A c tiv i t y   f o r   r ea l - ti m FE R   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 9 - 4864   I n t J   R ec o n f i g u r ab le  &   E m b ed d ed   Sy s t Vo l.  1 5 ,   No .   1 Ma r c h   202 6 :   42 - 53   46   d etec tio n .   T h in ter f ac f o r   th Ma in Acti v it y   i s   s h o wn   in   F ig u r 4 ( a)   o n   th lef t.  Me an w h ile,   t h e   C a m er a A ct iv i t y   an d   FacialE x p r ess io n Acti v it y   h an d le  r ea l - ti m f ac d etec tio n   an d   F E R   p r o ce s s in g ,   as   d ep icted   in   th f lo w c h ar in   Fig u r 5 ,   w it h   th eir   in ter f a ce   d is p lay ed   in   Fi g u r 4 ( b )   o n   th r ig h t.  T h d ev elo p m en o f   th ap p licatio n   w as  g u id ed   b y   th R o b o T e m i   d o cu m en ta tio n   [ 1 9 ] ,   Op en C d o cu m e n tatio n   [ 2 1 ] ,   an d   an d r o id   d ev elo p er   d o cu m e n tatio n   [ 2 3 ] ,   [ 2 4 ] .           ( a)   ( b )     Fig u r 4 .   T h ap p licatio n   v ie w   f o r ( a)   Ma in A cti v it y   a n d   ( b )   C a m er a A cti v it y   an d   FacialE x p r ess io n Acti v it y           Fig u r 5 .   T h f lo w c h ar t f o r   an d r o id   a p p licatio n   d ev elo p ed   o n   an d r o id   s tu d io   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J   R ec o n f i g u r ab le  &   E m b ed d ed   Sy s t     I SS N:   2089 - 4864       Dep lo yme n t a n d   ev a lu a tio n   o f   fa cia l e xp r ess io n   r ec o g n itio n   o n   A n d r o id     ( Mo h a ma d   Ha r iz   N a z a mid )   47   2 . 3 .     Da t a   c o llect io n o perf o r m a nce  a na ly s i s   T h alg o r ith m   u n d er w e n s y s t e m atic  e v al u atio n   ac r o s s   d i v e r s d ev ices,  i n clu d i n g   th T em V3   an d   th Sa m s u n g   Gala x y   A 5 2   2 0 2 1 .   T h T em V3   is   eq u ip p ed   w it h   a n   A R He x a - C o r p r o ce s s o r   an d   4   GB   o f   R A [ 2 5 ] ,   [ 2 6 ] ,   w h ile  th S a m s u n g   Gala x y   A 5 2   2 0 2 1   f ea tu r es  an   Octa - C o r C P ( 2 x 2 . 3   GHz   Kr y o   4 6 5   Go ld   &   6 x 1 . 8   GHz   Kr y o   4 6 5   Sil v er ) ,   8   GB   o f   R A M,   an d   a n   A d r en o   6 1 8   GP U   [ 2 7 ] ,   [ 2 8 ] .   T h ese  ev alu at io n s   ai m ed   to   ass es s   p er f o r m a n ce   m etr ics  s u c h   as  late n c y   an d   c o m p u tatio n al  ef f icie n c y ,   en s u r in g   t h al g o r ith m 's   co m p atib il it y   a n d   ef f ec ti v e n es s   ac r o s s   d if f er en h ar d w ar p la tf o r m s .   T h test in g   p r o ce d u r f o r   th alg o r ith m   i n v o l v ed   in itia lizi n g   th p r o g r a m   o n   t h s p ec i f ie d   d ev ices,   f o llo w ed   b y   co n tin u o u s   r u n   d u r atio n   o f   ap p r o x i m a tel y   t wen t y   m i n u te s .   P ar ticip an ts   p o s itio n ed   th e m s el v es   in   f r o n o f   th ca m er an d   in t er ac ted   w it h   th d ev ice s   to   te s th FER  s y s te m .   T h ey   n a v ig ated   to   th m ai n   p ag an d   ac ce s s ed   th FER  s y s te m   b y   ac ti v ati n g   t h d esig n a ted   b u tto n   w it h i n   th ap p licati o n .   A d d itio n all y ,   n o n - d etec tio n   s ce n ar io   w a s   tes ted   b y   h a v i n g   p ar ticip an ts   ex i t   th ca m er f r a m e,   en s u r i n g   n o   s u b j ec r em ai n ed   w it h i n   it s   b o u n d ar ies  w h ile  t h FER s y s te m   co n ti n u ed   to   o p er ate.   T h is   ev alu at io n   ai m s   to   ass ess   p o w er ,   C P U,   an d   R AM   co n s u m p tio n   to   g u id ap p licatio n   o p tim izatio n   f o r   b ac k en d   d ep lo y m e n t.  R A u s ag is   m ea s u r ed   u n d er   tw o   co n d itio n s n o n - d etec tio n   ( n o   u s er   in   f r a m e)   a n d   d etec tio n   ( u s er   p r esen t) ,   h elp in g   id e n ti f y   o p p o r tu n ities   to   r elea s u n n ec es s ar y   ac ti v it ies  a n d   r ed u ce   m e m o r y   lo ad .   C P co n s u m p tio n   is   an al y ze d   to   u n d er s ta n d   its   i m p ac o n   s y s te m   late n c y ,   w it h   co m p ar is o n s   b et w ee n   t w o   d ev ices  o f f er in g   in s i g h ts   b ased   o n   h ar d w ar ca p ab ilit ies.  P o w er   co n s u m p t io n   is   also   ev al u ated   to   m i n i m ize  en er g y   u s a g d u r i n g   co n ti n u o u s   o p er atio n ,   en s u r in g   t h ap p licatio n   r e m ai n s   ef f icien w h e n   r u n n in g   i n   th b ac k g r o u n d   o f   an d r o id   s y s te m s .     2. 4 .     Da t a   c o llect io n o n c o ntr o lled  s et t ing s   I n   th is   s tu d y ,   th d ata  co llectio n   w a s   d o n f o r   co n tr o lled   s ettin g s   ( w ell  li g h ted   r o o m )   as  ill u s tr ated   in   Fig u r 6 .   T h lin o f   s ig h o f   th s u b j ec w ill  f ac th s cr e en   o f   T em V3   as  in   Fig u r 6 ( a) ,   w h ile  in   s o m e   ca s es,  th er ar d if f er e n ce s   i n   th h ei g h t,  th T em V3   s cr e en   w ill  tilt   to   m a k s u r th l in o f   s i g h o f   th e   s u b j ec t f ac es t h s cr ee n   a s   s h o w n   i n   Fi g u r 6 ( b ) .           ( a)   ( b )     Fig u r 6 .   Data   co llectio n   s et u p ; ( a)   th co n tr o lled   s ettin g s   f o r   d ata  co llectio n   an d   ( b )   T em i V 3   ca p ab ilit ies f o r   f ac tr ac k i n g   b ased   o n   d if f er en t h u m an   h ei g h t       3.   RE SU L T S AN D I SCU SS I O N   T h is   s ec tio n   w il d etail  t h r e s u lt s   o b tain ed   f r o m   t h s tu d y ,   d iv id ed   in to   s y s te m   o p ti m iz atio n   a n d   an al y s is ,   FER  T FL ite   m o d el  r esu lt,  a n d   FER r ea l ti m d etec tio n   test i n g   o n   co n tr o lled   s u b jects.     3 . 1 .     L ig ht w eig ht  f a ci a l e x press io n r ec o g nitio m o del   T h lig h t w ei g h m o d el  d ev el o p ed   u s in g   t h n et w o r k   d es cr ib ed   in   th m eth o d o lo g y   a ch iev ed   a   v alid atio n   ac c u r ac y   o f   9 2 . 8 6 %.  T h is   ac cu r ac y   i s   co n s id er ed   f air   w h e n   co m p ar ed   to   p r ev io u s   s t u d ies,  s u c h   as   th v alid atio n   ac cu r ac y   o f   8 9 . 9 4 w a s   r ep o r ted   b y   Xu et  a l .   [ 1 3 ]   u s in g   tr an s f o r m er - b ased   m o d el,   an d   th e   C K+   d ataset,   w h ich   r ep o r ted   v alid atio n   ac c u r ac y   o f   1 0 0 [ 1 6 ] ,   [ 2 9 ] ,   [ 3 0 ] .           Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 9 - 4864   I n t J   R ec o n f i g u r ab le  &   E m b ed d ed   Sy s t Vo l.  1 5 ,   No .   1 Ma r c h   202 6 :   42 - 53   48   3 . 2 .     Andro id a pp lica t io n per f o r m a nce  a na ly s is   a nd   o pti m i za t io n ( T e m i   V3   v s   Sa m s u ng   A5 2   2 0 2 1 )   3 . 2 . 1 .   CP p er f o r m a nce   T h T em i   V3   C P p er f o r m a n ce   p ea k s   at  3 0 u s a g e,   d e m o n s tr ati n g   ef f icie n o p er atio n   c o m p ar ab le  to   s tan d ar d   ap p licatio n s .   Fi g u r 7   illu s tr ates   in ter v als  o f   id l C P u s a g e,   co in cid i n g   w it h   p er io d s   w h e n   FE R   ac tiv it y   ce a s es  a f ter   p ar ticip a n ts   d is co n ti n u d etec tio n .   T h ese  f in d i n g s   s u g g est   th a t h e   FER   s y s te m   ca n   ef f ec tiv e l y   o p er ate  co n cu r r en t l y   w i th   o th er   ap p lic atio n s ,   d el iv er in g   f ee d b ac k   b ased   o n   FE R   m o d d ec i s io n s .   T h C P is   in v er s el y   p r o p o r ti o n al  to   th laten c y   o f   t h ap p licatio n .   Me an w h ile,   t h Sa m s u n g   A 5 2   ex h ib its   a   p ea k   C P co n s u m p tio n   o f   3 1 %,  as  d ep icted   in   Fig u r 7 ( b ) ,   w h ich   is   co m p ar ab le  to   th p er f o r m a n ce   o f   t h T em V3 .   No tab l y ,   C P u s ag d r o p s   al m o s to   ze r o   wh en   th e   ac ti v it y   i s   ter m in ate d ,   s u c h   as   w h e n   a   p ar ticip an r etu r n s   to   th m ai n   p ag e.   No tab ilit y   h ap p en s   i n   th T em V3   as  in   Fig u r e   7 ( a) .   T h C P p o w er   is   in v er s el y   p r o p o r tio n al  to   th l aten c y   o f   t h ap p licatio n .   B y   k n o w i n g   th i s ,   p o w er   o p ti m iza tio n   ca n   b d o n b y   d estro y i n g   th ac t iv i t y   a n d   n a v ig a tin g   it to   Ma i n   A cti v it y   wh en   t h er is   n o   FER d etec tio n   h ap p en in g .           ( a)   ( b )     Fig u r 7 .   C P p er f o r m a n ce   o f ( a)   T em i   V3   an d   ( b )   Sa m s u n g   A 5 2       3 . 2 . 2 .   M em o ry   c o ns u m ptio n   Fig u r 8   s h o w s   t h R A co n s u m p t io n   f o r   T em V3   an d   Sa m s u n g   A 5 2 .   T h T em V3   ex h ib its   a   p ea k   R A u s ag o f   7 2 0 . 4   MB   o u o f   it s   av a ilab le  4   GB ,   as   d ep icted   in   Fi g u r 8 ( a) .   T h is   p ea k   o cc u r s   n o tab l y   w h e n   p ar ticip an ts   m o v o u o f   f r a m o r   d is tan ce   th e m s e l v es  f r o m   t h d ev ice,   u n d er s c o r in g   th n ee d   to   o p tim ize  t h ap p licatio n   to   tr ig g er   FER  s elec ti v el y ,   s u c h   as   b y   u s i n g   b u tto n   o r   d etec tin g   f ac i n   f r o n o f   th ca m er a.   Me an w h i le,   Fig u r 8 ( b )   d is p lay s   t h m e m o r y   co n s u m p tio n   o f   t h Sa m s u n g   A 5 2   d u r in g   FE R   s y s te m   o p er atio n .   P ea k s   in   th e   g r ap h   o cc u r   w h e n   p ar ticip an t s   m o v o u o f   f r a m o r   d is tan ce   th e m s elv e s   f r o m   th d ev ice,   r eq u ir in g   i n cr ea s ed   p r o ce s s in g   m e m o r y   to   d etec f ac ial  ex p r ess io n s .   T h ese  is s u e s   ca n   b o v er co m b y   d estro y in g   th ac tiv it y   an d   n a v i g ati n g   it  to   Ma in   A cti v it y   w h e n   th er is   n o   FER  d etec tio n   h ap p en in g .           ( a)   ( b )     Fig u r 8 .   Me m o r y   co n s u m p tio n ( a)   T em i   V3   an d   ( b )   Sa m s u n g   A 5 2       3 . 2 . 3 .   E nerg y   c o ns u m ptio n   E n er g y   co n s u m p tio n   d ata,   illu s tr ated   in   Fi g u r 9 ,   is   cr u cial  f o r   o p tim izi n g   b atter y   u s a g d u r in g   ap p licatio n   d ev elo p m e n t.  I n te r v als  o f   n o   b atter y   co n s u m p ti o n   co in cid w it h   t h ce s s atio n   o f   FE R   ac ti v it y ,   s u g g e s ti n g   th at  ef f ec ti v m a n ag e m e n o f   FE R   ac tiv it y   ca n   s ig n i f ica n tl y   e x te n d   th T em V3 ' s   b atter y   li f as  s h o w n   in   Fi g u r 9 ( a) .   I n   co n tr ast,  Fig u r 9 ( b )   d ep icts   th en er g y   co n s u m p tio n   o f   th F E R   s y s te m   o n   t h e   Sa m s u n g   A 5 2 ,   s h o w i n g   m o d e r ate  p o w er   co n s u m p tio n   at   its   p ea k .   Si m ilar   to   C P u s a g e,   en er g y   co n s u m p tio n   d ec r ea s es si g n i f ica n tl y   w h e n   t h FER ac ti v it y   s to p s ,   as sh o wn   in   Fig u r 9 ( b ) .   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J   R ec o n f i g u r ab le  &   E m b ed d ed   Sy s t     I SS N:   2089 - 4864       Dep lo yme n t a n d   ev a lu a tio n   o f   fa cia l e xp r ess io n   r ec o g n itio n   o n   A n d r o id     ( Mo h a ma d   Ha r iz   N a z a mid )   49       ( a)   ( b )     Fig u r 9 .   E n er g y   co n s u m p tio n ; ( a)   T em i V 3   an d   ( b )   Sa m s u n g   A 5 2       3 . 2 . 4 .   O pti m iza t io n   Me an w h ile,   th laten c y   o f   ea ch   d ev ice  is   as  f o llo w s T em i   V3   w it h   1 2 0   m s   an d   Sa m s u n g   Gala x y   A 5 2   2 0 2 1   w it h   9 2   m s .   B ase d   o n   th d ata  p r esen ted ,   o p ti m izi n g   t h FER  s y s te m   i m p l e m en tatio n   ca n   b ac h iev ed   th r o u g h   s e v er al  k e y   ch ar ac ter is tics .   First,  co n d iti o n al  a ctiv atio n   en s u r es  th F E R   s y s te m   i s   o n l y   ac tiv w h e n   f ac is   d etec ted ,   u tili zin g   m o d els  lik Op en C o r   b u tto n - tr ig g er ed   m ec h an is m   to   in itiate  it.   Seco n d ,   R eso u r ce   Ma n ag e m e n is   cr itical,   r eq u ir i n g   p r o p e r   ter m i n atio n   in   t h ap p licati o n   co d to   p r ev en t   u n n ec es s ar y   p o w er ,   R A M,   o r   C P co n s u m p t io n   d u r in g   id l p er io d s .   L astl y ,   d ev ice  p er f o r m a n ce   h i g h li g h t s   ef f icien laten c y   a n d   o p er atio n al  ef f ec tiv e n e s s   o n   b o th   th T em V3   r o b o t   an d   Sa m s u n g   Gala x y   A 5 2 ,   ef f ec tiv e l y   m an a g i n g   C P U,   R A M,   an d   en er g y   u s a g e.   Fu r t h er   co n s id er atio n s   f o r   d ev elo p in g   t h FER  s y s te m   in   an   a n d r o id   ap p licatio n   in cl u d ad d r ess in g   n o is i s s u es  t h at  ar is w h en   u s er s   ar d is tan f r o m   th d e v ice 's   ca m er a,   p o s itio n ed   o u ts id t h f r a m e,   o r   w h en   n o   f ac i s   d etec ted .   T h ese  ch allen g es   ca n   b ef f ec tiv e l m an a g ed   b y   in teg r ati n g   f ac e   d etec tio n   m o d el  in to   t h b ac k en d   o f   t h a n d r o id   ap p licatio n ,   en s u r i n g   t h at  t h e   FER s y s te m   ac ti v ate s   o n l y   u p o n   d etec tin g   f ac [ 3 1 ] ,   [ 3 2 ] .   T o   co n clu d th is   p ar o f   th r esu lt s ,   p er f o r m a n ce   an al y s i s   w a s   co n d u cted   to   o p tim ize  th ac tiv it y   lif ec y cle  m a n ag e m e n ( s u c h   as  ac ti v it y   cr ea tio n   an d   d estru ctio n )   i n   J av a - b ased   an d r o id   ap p licatio n   d ev elo p m en t.  T h an al y s i s   r ev ea led   an   in v er s r elatio n s h i p   b etw ee n   C P q u alit y   an d   ap p licatio n   laten c y b etter   C P Us  r esu lt  in   lo w er   laten c y .   Des p ite  th v ar y i n g   C P p er f o r m a n ce ,   o v er all  C P c o n s u m p tio n   r e m ain s   co n s tan t,  as  t h ap p licatio n   is   t h s a m e.   T h co m p ar is o n   b et w ee n   t h Sa m s u n g   A 5 2   an d   T e m V3   d ev ices  w as  u n d er tak e n   to   o b s er v th s u cc e s s   o f   o p ti m i za tio n   ef f o r ts .   F u r th er   te s ti n g   o f   r ea l - ti m FE R   d etec tio n   o n   th T e m i V 3   is   p l an n ed   to   ass e s s   t h m o d el ' s   ac cu r ac y   i n   r ea l - t i m s ce n ar io s   [ 3 3 ] [ 3 4 ] .     3 . 3 .     Co ntr o lled su bje ct   da t a   co llect io n   T h FER  s y s te m   d e m o n s tr ate d   v ar iab le  p er f o r m a n ce   ac r o s s   3 0   s u b j ec ts   i n   co n tr o lled   en v ir o n m en t,   as  ill u s tr ated   i n   Fi g u r 1 0 .   T h s y s te m   ac h ie v ed   an   av er a g ac cu r ac y   o f   8 2 . 2 8 %,  w it h   in d iv id u al  s u b j ec ac cu r ac ies  r an g in g   f r o m   3 9 . 1 3 to   1 0 0 %.  No ta b ly ,   f iv s u b j ec ts   ( 1 8 ,   2 1 ,   2 2 ,   2 3 ,   an d   3 0 )   ex h ib ited   p er f ec r ec o g n itio n   r ates,  w h i le  th m aj o r ity   ( ap p r o x i m atel y   2 0   o u o f   3 0 )   s h o w ed   ac cu r ac ies  ab o v 8 0 %.  Ho w e v er ,   th s y s te m   s tr u g g led   w i th   f e w   s u b j ec ts ,   p ar ticu lar l y   s u b j ec ts   4 ,   5 ,   an d   1 4 ,   w h er ac c u r ac y   f ell  b elo w   7 0 %.   T h is   w id p er f o r m a n ce   r an g s u g g e s ts   t h at  w h ile  th FE R   s y s te m   is   h i g h l y   ef f ec ti v f o r   m o s s u b j ec ts ,   it  m a y   b s en s it iv to   i n d iv id u al  f ac ia l c h ar ac ter is tic s   o r   ex p r ess io n   n u a n ce s .   T h p r esen ce   o f   b o t h   p er f ec t sco r es a n d   s ig n i f ica n tl y   lo w er   ac cu r ac y   h ig h li g h ts   t h n ee d   f o r   f u r th er   in v esti g atio n   in to   th f ac to r s   in f l u e n ci n g   r ec o g n itio n   ac cu r ac y .   T h es e   f i n d in g s   u n d er s co r th i m p o r tan ce   o f   r ef i n i n g   th e   alg o r ith m   to   en h an c e   co n s is ten c y   ac r o s s   d iv er s s u b j ec ts ,   p o ten tiall y   t h r o u g h   i m p r o v ed   f ea tu r ex tr ac tio n   o r   th in co r p o r atio n   o f   ad ap tiv lear n i n g   tec h n iq u es t o   ac co u n t f o r   in d i v id u al  v ar iat io n s   i n   f ac i al  e x p r ess io n s .   T h FER  s y s te m   d e m o n s tr ate d   v ar y i n g   lev el s   o f   ac cu r ac y   ac r o s s   d if f er en e x p r ess io n s   w h e n   test ed   o n   3 0   s u b j ec ts   in   co n tr o lled   en v ir o n m e n t.  As  ill u s tr ated   i n   Fi g u r 1 1 ,   th s y s te m   ex ce l led   in   r ec o g n iz in g   h ap p y   ( 9 2 . 2 8 %)  an d   n eu tr al  ( 9 1 . 8 2 %)  ex p r ess io n s ,   s h o w e d   m o d er ate  p er f o r m a n ce   f o r   s ad   ( 7 5 . 8 9 %),   an d   s tr u g g led   w i th   a n g r y   ( 6 1 . 4 2 %)   an d   s u r p r is ( 4 6 . 1 8 %)  ex p r ess io n s .   T h o v er all  av er a g ac c u r ac y   w a s   7 3 . 5 2 %.   T h ese  r esu lts   h i g h li g h s ig n i f ica n d is p ar it y   in   th s y s te m 's  ab ilit y   to   d etec d if f e r en e m o tio n al  s tates,  w it h   p ar ticu lar   ch alle n g e s   in   d is ti n g u i s h in g   b et w ee n   s u r p r is an d   an g er .   T h h ig h   ac c u r ac y   f o r   h ap p y   an d   n eu tr a l   ex p r ess io n s   s u g g est s   r o b u s p er f o r m an ce   f o r   th e s co m m o n   s tates,  w h ic h   is   p r o m i s i n g   f o r   m an y   r ea l - w o r ld   ap p licatio n s .   Ho w ev er ,   t h lo w er   ac c u r ac y   f o r   an g r y   an d   s u r p r is ex p r es s io n s ,   a lo n g   w it h   r ep o r ted   in s ta n ce s   o f   m is cla s s i f icatio n   b et w ee n   s ad /an g r y   an d   n eu tr al  ex p r es s io n s ,   i n d icate s   ar ea s   r eq u ir in g   i m p r o v e m e n t.  T h es e   f in d in g s   u n d e r s c o r e   th e   n e e d   f o r   f u r th e r   r ef in em en t   o f   th e   F E R   a lg o r i th m s ,   es p e c i a lly   in   d if f e r e n ti a ti n g   b e t w e en   ea s il y   co n f u s ed   e x p r ess io n s ,   t o   en h an ce   t h s y s te m 's r eliab il it y   ac r o s s   b r o ad er   r an g o f   em o tio n al  s tates.   Ho w e v er ,   th er w er ch alle n g es  n o ted   in   t h r ec o g n it io n   o f   s u r p r is an d   an g er   ca u s i n g   t h e   ac cu r ac y   to   b lo w ,   w h ich   s o m eti m e s   co n f u s ed   w it h   ea c h   o th er .   Sp ec if icall y ,   a n g r y   ex p r es s io n s   w er o cc asio n all y   m is tak e n   f o r   s ad   o r   s u r p r is ed ,   an d   v ice  v er s a.   A d d itio n all y ,   m is cla s s i f icatio n s   o f   s ad   an d   an g r y   e x p r ess io n s   s o m eti m es r es u lted   i n   n e u tr a l f a cial  e x p r ess io n .   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 9 - 4864   I n t J   R ec o n f i g u r ab le  &   E m b ed d ed   Sy s t Vo l.  1 5 ,   No .   1 Ma r c h   202 6 :   42 - 53   50       Fig u r 1 0 .   FER  d etec tio n   ac cu r ac y   f o r   3 0   s u b j ec ts             Fig u r 1 1 .   FER d etec tio n   ac cu r ac y   f o r   5   d if f er en t e x p r ess io n s       4.   CO NCLU SI O N   T h s tu d y   a i m ed   to   e v al u ate  t h p er f o r m a n ce   o f   FE R   s y s t e m   o n   m o b ile  d ev ices  a n d   th e   T em V 3   r o b o t,  f o cu s in g   o n   ac cu r ac y ,   laten c y ,   a n d   r ea l - ti m ap p licatio n s .   T h FER  s y s te m   ac h iev ed   v a lid atio n   ac cu r ac y   o f   9 2 . 8 6 %,  s u r p ass in g   t h Vis io n   T r an s f o r m er   m o d el s   8 9 . 9 4 ac cu r ac y .   P er f o r m an ce   an a l y s is   r ev ea led   th at  C P p o w er   i s   in v er s el y   p r o p o r tio n al  to   ap p licatio n   laten c y ,   h ig h li g h tin g   t h n ee d   f o r   o p tim izatio n   tec h n iq u e s   to   en h an ce   p o w er   ef f icie n c y   a n d   R A m an a g e m e n i n   an d r o i d   ap p licatio n s .   T h o p tim izatio n   s u g g est io n   h ad   b ee n   p r o p o s ed   in   th r e s u lt  to   f u r th er   o p ti m ize  t h a n d r o id   ap p licatio n   d ev elo p ed .   T h is   p ap er   h as  p r esen ted   t h p r eli m i n ar y   r e s u l t   o n   th te s o f   t h a n d r o id   ap p licatio n   d ev elo p ed   in to   T em V3   o n   t h co n tr o lle d   s u b j ec t.  T h is   p ar o f   th r esu lt   w i ll  b f u r th er   d is c u s s ed   o n   th co n ti n u atio n   o f   th is   p ap er .     Fo r   f u tu r w o r k ,   ex p an d i n g   th test in g   o f   th FER  s y s te m   ac r o s s   b r o ad er   r an g o f   m o d el   ar ch itect u r es,  in cl u d in g   Mo b ileNetV2 ,   Mo b ileNetV3 ,   an d   E f f icien tNet,   is   r ec o m m e n d ed   to   ev alu ate  tr ad e - of f s   b et w ee n   ac cu r ac y   a n d   r eso u r ce   ef f icie n c y .   I n co r p o r atin g   lar g er   an d   m o r d iv er s e   d atasets ,   s u c h   as  Af f ec tNet  w ill  h elp   i m p r o v e   th g en er aliza tio n   o f   th m o d el  ac r o s s   ag g r o u p s ,   eth n icities ,   an d   lig h ti n g   co n d itio n s .   F u r th er ,   th ad o p tio n   o f   T en s o r Flo w   L i te  an d   o th er   lig h t w ei g h d ep lo y m e n f r a m e w o r k s   s h o u ld   co n tin u to   b ex p lo r ed   f o r   o p ti m izi n g   i n f er e n ce   o n   ed g an d   e m b ed d ed   s y s te m s .   F u t u r ef f o r ts   m a y   al s o   in v o l v b en c h m ar k in g   t h FE R   s y s te m   o n   ad d itio n al  e m b e d d ed   p latf o r m s   s u ch   as  R asp b er r y   P i,  E d g T P U o r   NVI DI A   J etso n   Na n o   to   ass es s   cr o s s - p lat f o r m   p er f o r m an ce   u n d er   r ea l - w o r ld   co n s tr ain ts .   T h is   w o u ld   en ab le  th d ev elo p m e n o f   m o r r o b u s t,  ad ap tiv FER  s y s t e m s   ca p ab le  o f   h an d li n g   v ar i ab le  en v ir o n m en ts .   T h ese  i m p r o v e m e n t s   w ill  e n h an ce   th s y s te m 's  r eliab ilit y   a n d   u s ab ili t y   ac r o s s   ap p licatio n   d o m ai n s   s u c h   as   ass is tiv e   r o b o tics ,   e m o tio n - a w ar lear n in g   e n v ir o n m en ts ,   an d   m o b ile  s ec u r it y   s y s te m s .   T h f in d i n g s   o f   th is   s tu d y   la y   s o lid   f o u n d atio n   f o r   s u c h   ad v a n ce m en t s ,   u n d e r s co r in g   t h tr an s f o r m ati v p o ten tial  o f   FER  i n   en ab lin g   m o r r esp o n s iv a n d   in t u iti v HR I .   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J   R ec o n f i g u r ab le  &   E m b ed d ed   Sy s t     I SS N:   2089 - 4864       Dep lo yme n t a n d   ev a lu a tio n   o f   fa cia l e xp r ess io n   r ec o g n itio n   o n   A n d r o id     ( Mo h a ma d   Ha r iz   N a z a mid )   51   ACK NO WL E D G M E NT S   T h au th o r s   w o u ld   lik to   ex p r ess   th eir   s i n ce r g r atit u d to   Un i v er s iti  T ek n o lo g M AR A   ( UiT M)   f o r   p r o v id in g   r esear ch   s u p p o r an d   g r an f ac ilit ie s Kizz u   Kid s   R eh ab ili tatio n   C e n tr f o r   g e n er o u s l y   s p o n s o r in g   th T em V3   r o b o t,   w h ic h   p lay ed   p iv o tal  r o le   in   test in g   an d   s o f t w ar d ev elo p m e n t;  an d   E UR E K A   R o b o tics   C en tr e,   C ar d i f f   Me tr o p o litan   Un i v er s it y ,   UK,   f o r   th e ir   v al u ab le  r esear ch   co llab o r atio n .       F UNDIN G   I NF O RM AT I O N   T h is   w o r k   w as  f u n d ed   b y   th e   Stra teg ic  R esear c h   P ar tn er s h i p   ( SR P )   g r an ( 1 0 0 - R MC  5 /3 /SR P   I NT   ( 0 4 7 /2 0 2 3 )   an d   1 0 0 - R MC  5 /3 /SR P   I NT   ( 0 4 8 /2 0 2 3 ) )   f r o m   t h Un iv er s iti  T ek n o lo g i   MA R A   ( UiT M) ,   Ma la y s ia .       AUTHO CO NT RIB UT I O NS ST A T E M E NT   T h is   jo u r n al  u s e s   th C o n tr ib u to r   R o les  T ax o n o m y   ( C R ed iT )   t o   r ec o g n ize  in d i v id u al  au t h o r   co n tr ib u tio n s ,   r ed u ce   au t h o r s h ip   d is p u tes,  an d   f ac ilit ate  co lla b o r atio n .     Na m o f   Aut ho r   C   M   So   Va   Fo   I   R   D   O   E   Vi   Su   P   Fu   Mo h a m ad   Har iz  B in   Naz a m id                               R o zita  J ailan i                               Nu r   Kh al id ah   Z ak ar ia                               An w ar   P .   P .   A b d u Ma j ee d                                 C     C o n c e p t u a l i z a t i o n   M     M e t h o d o l o g y   So     So f t w a r e   Va     Va l i d a t i o n   Fo     Fo r mal   a n a l y si s   I     I n v e st i g a t i o n   R     R e so u r c e s   D   :   D a t a   C u r a t i o n   O   :   W r i t i n g   -   O r i g i n a l   D r a f t   E   :   W r i t i n g   -   R e v i e w   &   E d i t i n g   Vi     Vi su a l i z a t i o n   Su     Su p e r v i si o n   P     P r o j e c t   a d mi n i st r a t i o n   Fu     Fu n d i n g   a c q u i si t i o n         CO NF L I C T   O F   I N T E R E S T   ST A T E M E NT   Au t h o r s   s tate  n o   co n f lic t o f   i n t er est.       E T H I CAL AP P RO V AL   T h r esear ch   r elate d   to   h u m a n   u s h as  b ee n   co m p l ied   w it h   all  th r elev a n n atio n al  r eg u l atio n s   an d   in s t itu tio n al  p o licies  i n   ac co r d an ce   w ith   t h ten e ts   o f   th He ls in k Dec lar atio n   an d   h as  b ee n   ap p r o v ed   b y   th e   Un i v er s iti  T ek n o lo g M AR A   ( UiT M)   E th ics  C o m m it t ee   u n d er   ap p r o v al  n u m b er   o f   R E C /0 6 /2 0 2 4   ( P G/FB /2 1 ) .       DATA AV AI L AB I L I T Y   Der iv ed   d ata  s u p p o r tin g   th f i n d in g s   o f   t h is   s t u d y   ar a v ailab le  f r o m   th e   co r r esp o n d in g   au t h o r   [ in itial s ,   R J ]   o n   r eq u est.       RE F E R E NC E S   [ 1 ]   A .   O b a i g b e n a   e t   a l . ,   A I   a n d   h u m a n - r o b o t   i n t e r a c t i o n :   A   r e v i e w   o f   r e c e n t   a d v a n c e s a n d   c h a l l e n g e s,”   G S C   A d v a n c e d   Re se a rc h   a n d   Re v i e w s ,   v o l .   1 8 ,   n o .   2 ,   p p .   3 2 1 3 3 0 ,   2 0 2 4 ,   d o i :   1 0 . 3 0 5 7 4 / g s c a r r . 2 0 2 4 . 1 8 . 2 . 0 0 7 0 .   [ 2 ]   B .   S a w i k   e t   a l . ,   R o b o t s   f o r   El d e r l y   C a r e :   R e v i e w ,   M u l t i - C r i t e r i a   O p t i mi z a t i o n   M o d e l   a n d   Q u a l i t a t i v e   C a se   S t u d y ,   H e a l t h c a r e v o l .   1 1 ,   n o .   9 ,   2 0 2 3 ,   d o i :   1 0 . 3 3 9 0 / h e a l t h c a r e 1 1 0 9 1 2 8 6 .   [ 3 ]   Y .   D o n g   a n d   X .   Z h o u ,   A d v a n c e m e n t i n   A I - d r i v e n   mu l t i l i n g u a l   c o m p r e h e n si o n   f o r   so c i a l   r o b o t   i n t e r a c t i o n s:   A n   e x t e n si v e   r e v i e w ,   El e c t ro n i c   Re se a r c h   Arc h i v e ,   v o l .   3 1 ,   n o .   1 1 ,   p p .   6 6 0 0 6 6 3 3 ,   2 0 2 3 ,   d o i :   1 0 . 3 9 3 4 / e r a . 2 0 2 3 3 3 4 .   [ 4 ]   M .   S p e z i a l e t t i ,   G .   P l a c i d i ,   a n d   S .   R o ssi ,   Emo t i o n   R e c o g n i t i o n   f o r   H u man - R o b o t   I n t e r a c t i o n :   R e c e n t   A d v a n c e a n d   F u t u r P e r sp e c t i v e s,”   Fr o n t i e rs  i n   R o b o t i c s   a n d   AI ,   v o l .   7 ,   2 0 2 0 ,   d o i :   1 0 . 3 3 8 9 / f r o b t . 2 0 2 0 . 5 3 2 2 7 9 .   [ 5 ]   H .   D o n g ,   R e se a r c h   P r o g r e ss  a n d   R e v i e w   o n   S e r v i c e   I n t e r a c t i o n   b e t w e e n   I n t e l l i g e n t   S e r v i c e   R o b o t s   a n d   C u s t o me r s,”   i n   Pro c e e d i n g -   2 0 2 3   I n t e rn a t i o n a l   C o n f e re n c e   o n   S e r v i c e   R o b o t i c s,   I C o S 2 0 2 3 ,   2 0 2 3 ,   p p .   7 8 85 ,   d o i :   1 0 . 1 1 0 9 / I C o S R 5 9 9 8 0 . 2 0 2 3 . 0 0 0 2 5 .   [ 6 ]   M .   K r u mn i k l   a n d   V .   M a i w a l d ,   F a c i a l   Emo t i o n   R e c o g n i t i o n   f o r   M o b i l e   D e v i c e s:   A   P r a c t i c a l   R e v i e w ,   I EEE  Ac c e ss ,   v o l .   1 2 ,   p p .   1 5 7 3 5 1 5 7 4 7 ,   2 0 2 4 ,   d o i :   1 0 . 1 1 0 9 / A C C ESS . 2 0 2 4 . 3 3 5 8 4 5 5 .   Evaluation Warning : The document was created with Spire.PDF for Python.