I nte rna t io na l J o urna l o f   E lect rica l a nd   Co m pu t er   E ng ineering   ( I J E CE )   Vo l.   1 6 ,   No .   4 A u g u s t   20 2 6 ,   p p .   1 8 9 9 ~ 1 9 1 2   I SS N:  2088 - 8 7 0 8 ,   DOI : 1 0 . 1 1 5 9 1 /ijece. v 1 6 i 4 . pp 1 8 9 9 - 1 9 1 2           1899       J o ur na l ho m ep a g e h ttp : //ij ec e. ia esco r e. co m   Rea l - time  f a cia l a nd bo dy  pos e emo tion recog nition  f o r children   with  a ut ism  bas e d on Y O LOv8  an d LST M         Siti  Nuro hm a hwa t i 1 ,   Ana nd a   P utr a   K a nieza 2 ,   Ade  Rif k y   Set ia wa n 3 ,   Ahm a d F a dla n 2   1 D e p a r t me n t   o f   P h y si c s E d u c a t i o n ,   F a c u l t y   o f   Te a c h e r   Tr a i n i n g   a n d   Ed u c a t i o n ,   S e b e l a s   M a r e t   U n i v e r si t y ,   S u r a k a r t a ,   I n d o n e s i a   D e p a r t m e n t   o f   E l e c t r i c a l   E n g i n e e r i n g ,   F a c u l t y   o f   En g i n e e r i n g ,   S e b e l a M a r e t   U n i v e r s i t y ,   S u r a k a r t a ,   I n d o n e si a   3 D e p a r t me n t   o f   I n f o r mat i c s   E n g i n e e r i n g ,   V o c a t i o n a l   S c h o o l s,  S e b e l a s   M a r e t   U n i v e r si t y ,   S u r a k a r t a ,   I n d o n e s i a       Art icle  I nfo     AB S T RAC T   A r ticle  his to r y:   R ec eiv ed   Dec   1 6 ,   2 0 2 5   R ev is ed   Ma y   1 1 ,   2 0 2 6   Acc ep ted   J u l 2 2 ,   2 0 2 6       Ch il d re n   wit h   a u ti sm   sp e c tru m   d iso r d e (ASD)   o fte n   fa c e   c h a ll e n g e i n   re c o g n izin g   a n d   e x p re ss in g   e m o ti o n s,   wh ic h   c a n   a ffe c th e ir   b e h a v io a n d   p a rti c ip a ti o n   in   i n c lu si v e   c las sro o m   e n v iro n m e n ts.  Th is  stu d y   p r o p o se a   re a l - ti m e   m u lt imo d a l   e m o ti o n   re c o g n i ti o n   s y ste m   in teg ra ti n g   d e e p   lea rn i n g   a n d   In tern e o Th i n g (Io T)  tec h n o l o g ies   to   su p p o rt  e a rly   e m o ti o n a l   m o n it o r in g   i n   c h il d re n   wi th   AS D.  Th e   fra m e wo rk   c o m b in e Y OLOv 8   f o r   fa c ial  e x p re ss io n   d e tec ti o n   a n d   YO LOv 8 - b a se d   p o se   e stim a ti o n   fo b o d y   m o v e m e n a n a ly si s,  a l o n g   with   a   lo n g   sh o rt - term   m e m o ry   (LS T M n e two rk   fo tem p o ra e m o ti o n   c las sifica ti o n .   At  t h e   fa c ial  lev e l,   th e   sy ste m   re c o g n ize fiv e   e m o ti o n a sta tes sa d ,   h a p p y ,   n e u tral,   b o re d o m ,   a n d   tan tru m .   At  th e   tem p o ra lev e l,   t h e   LS T M   m o d e c las sifies   b e h a v i o ra se q u e n c e in to   th re e   c a teg o ries n e u tral/ b o re d ,   h a p p y ,   a n d   tan tr u m ,   e n a b li n g   h i e ra rc h ica l   e m o ti o n   i n terp re tati o n   fr o m   in sta n tan e o u e x p re ss io n to   tem p o ra l   p a tt e rn s.  Ex p e rime n tal  re su lt sh o t h a t h e   fa c ial  e x p re ss io n   m o d e a c h i e v e 9 2 %   p re c isio n ,   w h i le  t h e   LS T M - b a se d   c las sifier  re a c h e 9 5 %   p e a k   v a li d a ti o n   a c c u ra c y   a n d   9 3 . 3 3 %   fi n a tes a c c u ra c y .   Th e   sy ste m   is  d e p l o y e d   o n   a   we b - b a se d   m o n i to ri n g   p latf o rm   wit h   re a l - ti m e   n o t ifi c a ti o n s   fo r   e d u c a to rs  a n d   p a re n ts.  T h e   p r o p o se d   a p p ro a c h   d e m o n stra tes   e ffe c ti v e n e ss   in   p ro v id i n g   ti m e ly   e m o ti o n a i n sig h ts  to   su p p o rt  e a rly   in ter v e n ti o n   a n d   imp ro v e   in c lu siv e   e d u c a ti o n   f o c h il d re n   with   ASD.   K ey w o r d s :   Au tis m   s p ec tr u m   d is o r d er   E m o tio n   d etec tio n   I n clu s iv ed u ca tio n   L o n g   s h o r t - ter m   m e m o r y     R ea l - tim m o n ito r in g   YOL Ov 8   T h is i a n   o p e n   a c c e ss   a rticle   u n d e r th e   CC B Y - SA   li c e n se .     C o r r e s p o nd ing   A uth o r :   Sit i N u r o h m ah wati   Dep ar tm en t o f   Ph y s ics E d u ca t io n ,   Facu lty   o f   T ea ch er   T r ain i n g   an d   E d u ca tio n ,   Seb elas M a r et  Un iv er s ity   Ken tin g an ,   3 6   I r .   Su tam i Ro ad ,   J eb r es Dist r ict,   Su r ak ar ta  5 7 1 2 6 ,   I n d o n esia   E m ail: r ah m awa ttii 4 5 @ s tu d en t.u n s . ac . id       1.   I NT RO D UCT I O N     Au tis m   s p ec tr u m   d is o r d er   ( ASD)   is   n e u r o d e v elo p m en t al  co n d itio n   c h ar ac ter ized   b y   en d u r in g   ch allen g es  in   s o cial  co m m u n i ca tio n   an d   i n ter ac tio n ,   alo n g   with   th p r esen ce   o f   r estricte d ,   r ep etitiv e   p atter n s   o f   b eh av io r ,   i n ter ests ,   o r   a ctiv ities   [ 1 ] .   ASD  is   a   d e v elo p m en tal   d is o r d e r   th at   s ig n if ican tly   a f f ec ts   co m m u n icatio n ,   b eh av io r ,   a n d   s o cial  in ter ac tio n   [ 2 ] .   R ec en g lo b al  esti m ates  o f   au tis m   s p ec tr u m   d is o r d e r   p r ev alen ce   s h o v ar iab ilit y   a cr o s s   s tu d ies,  with   r ep o r ted   r ates  r an g in g   ap p r o x im ately   f r o m   6 0   to   1 0 0   p er   1 0 , 0 0 0   ch ild r en   b ased   o n   lar g e - s ca le  r ev iews  an d   m eta - an al y s es  co n d u cted   ac r o s s   m u ltip le  co u n tr ies  b etwe en   2 0 0 8   an d   2 0 2 1   [ 3 ] .   C h ild r en   with   ASD  co m m o n ly   p r esen t   d if f er en ce s   in   la n g u a g c o m p r eh en s io n   a n d   s o cial  co m m u n icatio n ,   alo n g s id at y p ical  s o cial  in ter ac tio n   p atter n s ,   in clu d in g   r e d u ce d   u s o f   g estu r es  an d   n o n v e r b al  b e h av io r s ,   as  well  as  d if f icu lties   in   m o to r   c o o r d in atio n   [ 4 ] .   T h ese  ch all en g es  ar f u r th e r   co m p o u n d e d   b y   th ea r ly   em er g en ce   o f   c h ar ac ter is tic  au tis tic  f ea tu r es  in   ch ild h o o d ,   wh i ch   p er s is o v er   tim an d   co n tr ib u te  to   s ig n if ican t i m p air m en ts   in   d aily   f u n cti o n i n g   [ 5 ]   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 8 - 8 7 0 8   I n t J E lec  &   C o m p   E n g ,   Vo l.   1 6 ,   No .   4 Au g u s t   20 2 6 :   1 8 9 9 - 1 912   1900   I n   in clu s iv ed u ca tio n al  s ettin g s ,   id en tify in g   an d   i n ter p r etin g   th em o tio n al  s tates  o f   ch ild r en   wit h   ASD  r em ain s   s ig n if ican ch allen g f o r   ed u ca to r s   [ 6 ] .   Data   f r o m   t h I n d o n esian   Min is tr y   o f   E d u ca tio n   an d   C u ltu r ( 2 0 2 1 )   r e p o r ts   2 , 2 7 0   s p ec ial  s ch o o ls ,   2 7 , 2 6 5   te ac h er s ,   an d   1 3 3 , 8 2 6   s tu d e n t s   with   d is ab ilit ie s ,   r esu ltin g   in   an   im b alan ce   b etwe en   av ailab le  s u p p o r a n d   s tu d en n ee d s   [ 7 ] .   T h is   lim itatio n   r ed u ce s   th ab ilit y   o f   teac h er s   to   p r o v id i n d iv i d u alize d   atten tio n   an d   r ea l - ti m em o tio n al  m o n ito r in g .   C o n s eq u en tly ,   b o t h   ed u ca to r s   an d   p a r en ts   f ac d if f icu lties   in   r esp o n d in g   ap p r o p r iately   to   ch ild r en ' s   em o tio n al  co n d itio n s   [ 8 ] [ 9 ] [ 1 0 ] .   T h p r e v alen ce   o f   th ese   b eh av io r s   is   s u b s tan tially   h ig h er   in   ch ild r e n   with   ASD  wit h   ap p r o x im ately   o f   35 % 5 0 co m p a r ed   to   th o s with   in tellectu al  d is ab ili ties   a b o u 5 % 1 7 %,  m ak i n g   it  two   to   th r ee   tim es  m o r e   co m m o n   i n   th ASD  p o p u lati o n   [ 1 1 ] .   T h is   h ig h lig h ts   th u r g en n ee d   f o r   ef f ec tiv to o ls   to   s u p p o r em o tio n al   m o n ito r in g   an d   ea r ly   in ter v en t io n .   R ec en ad v an ce s   in   tech n o lo g y ,   p ar tic u lar ly   in   ass is tiv e   an d   in tellig en s y s tem s ,   h a v s h o wn   s ig n if ican p o te n tial  in   im p r o v in g   ac ce s s ib ilit y   an d   en g a g em en f o r   ch ild r e n   with   d is ab ilit ies  [ 1 2 ] [ 1 3 ] Sev er al  s tu d ies  h av e x p lo r e d   em o tio n   r ec o g n itio n   u s in g   im ag p r o ce s s in g   an d   d ee p   lear n in g   a p p r o ac h es .   Pre v io u s   s tu d ies  h av in tr o d u ce d   r ea l - tim e m o tio n   d etec tio n   s y s tem s   u s in g   s tatic  im ag es  o r   v id e o - b ased   ap p r o ac h es;  h o wev e r ,   t h eir   p er f o r m a n ce   r e m ain s   lim ited   i n   d y n am ic   class r o o m   en v ir o n m en ts   [ 1 4 ] .   Oth er   wo r k s   em p lo y e d   im ag p r o ce s s in g   tech n iq u es  f o r   f ac ial  ex p r ess io n   r ec o g n itio n   [ 1 5 ] [ 1 6 ] h o wev e r ,   th ese   m eth o d s   r e q u ir e   co n tr o lled   c o n d itio n s ,   s u c h   as  d ir ec f ac o r ien tatio n   to war d   th e   ca m er a,   r e d u cin g   th ei r   r o b u s tn ess   in   r ea l - wo r ld   s ce n ar io s .   I n   ad d itio n ,   m o s e x is tin g   a p p r o ac h es  r el y   o n   s in g le - m o d ality   d ata  an d   o f ten   s tr u g g le  to   ac cu r ately   d etec s u b tle  o r   m ix ed   e m o tio n al  ex p r ess io n s .   Fu r th er m o r e,   t h lack   o f   r ea l - tim e   m o n ito r in g   an d   in teg r atio n   wi th   co m m u n icatio n   p latf o r m s   l im its   th eir   p r ac tical  ap p licab il ity   f o r   co n tin u o u s   em o tio n al  tr ac k i n g   in   class r o o m   en v ir o n m en ts .   T o   ad d r ess   th ese  lim itatio n s ,   t h is   s tu d y   p r o p o s es th d ev elo p m en t o f   m u ltimo d al  r ea l - ti m em o tio n   d etec tio n   s y s tem   b ased   o n   d ee p   lear n in g   an d   I n ter n et  o f   T h i n g s   ( I o T )   tech n o l o g ies.  T h s y s tem   in teg r ates y o u   o n ly   lo o k   o n ce   ( YOL Ov 8 )   f o r   f ac ial  ex p r ess io n   d etec tio n ,   YOL Ov 8 - b ased   k ey p o in d etec tio n   f o r   b o d y   m o v em en t   an aly s is ,   an d   lo n g   s h o r t - ter m   m e m o r y   ( L STM )   f o r   tem p o r al  em o tio n   class if icatio n .   T h e   s y s tem   is   im p lem en ted   o n   R asp b er r y   Pi  p latf o r m   eq u ip p ed   with   ca m er f o r   r ea l - tim d ata  ac q u is itio n   [ 1 7 ] .   T h e   p r o ce s s ed   d ata  ar e   tr an s m itted   th r o u g h   a n   I o T - b ased   i n f r astr u ctu r an d   v is u alize d   o n   a   we b - b ased   d ash b o ar d ,   with   ad d itio n al  n o tific atio n   s u p p o r t to   p r o v id r ea l - tim u p d ates to   ed u ca to r s   an d   p ar e n ts .     T h m ain   co n tr ib u tio n s   o f   th i s   s tu d y   ar e   as  f o llo ws:   i )   t h i n teg r atio n   o f   m u ltimo d al  v is u al  f ea tu r es   co m b in in g   f ac ial   an d   b o d y   m o v em en t   d ata  f o r   im p r o v e d   e m o tio n   r ec o g n itio n   ac cu r ac y ,   i i )   th a p p licatio n   o f   L STM   to   ca p tu r e   tem p o r al  e m o tio n al  p atter n s   in   ch ild r en   with   ASD,   an d   iii )   th e   d e v elo p m en o f   r ea l - tim m o n ito r in g   s y s tem   t h at  s u p p o r ts   ea r ly   i n ter v en tio n   in   in clu s iv ed u ca tio n al   en v ir o n m e n t s .   Un lik p r ev io u s   s tu d ies  th at  p r im ar ily   r ely   o n   s in g le - m o d ality   f ac ial  an aly s is ,   th p r o p o s ed   f r am ewo r k   co m b in es  f ac ial   ex p r ess io n   r ec o g n itio n ,   b o d y   k ey p o i n t   d etec tio n ,   tem p o r al  m o d elin g ,   an d   I o T - b ased   m o n ito r in g   in   u n if ied   r ea l - tim s y s tem .   T h is   s tu d y   a im s   to   en h an ce   em o tio n al  awa r en ess ,   r ed u ce   th e   r is k   o f   s elf - in ju r io u s   b eh av io r ,   an d   s u p p o r t m o r ef f ec tiv e   lear n in g   e x p er ien ce s   f o r   ch ild r en   with   ASD  [ 1 8 ] .       2.   M E T H O D   2 . 1 .     Resea rc h desi g n a n d da t a s et   a cquis it io n   T h is   s tu d y   ad o p ts   r esear ch   an d   d ev elo p m en ( R & D)   ap p r o ac h   to   d esig n   an d   im p lem en a   r ea l - tim e   em o tio n   d etec tio n   s y s tem   f o r   ch ild r en   with   ASD.   T h r e s ea r ch   is   co n d u cted   i n   ch r o n o lo g ical  p r o ce s s   co n s is tin g   o f   d ata  ac q u is itio n ,   p r ep r o ce s s in g ,   m o d el  d ev elo p m en t,  tr ain in g ,   an d   s y s tem   d ep lo y m e n t.  T h e   d ataset  u tili ze d   in   th is   r esear c h   was  o b tain ed   f r o m   two   p r im ar y   s o u r ce s .   T h f ir s s o u r ce   i n v o lv e d   d ir ec t   d ata   co llectio n   f r o m   au tis tic  ch ild r en   at  Har m o n y   Su r ak ar ta   Sp ec ial  E d u ca tio n   Sch o o l,   wh ile  th s ec o n d   co m p r is ed   p u b licly   av ailab le  d atasets   r etr iev ed   f r o m   t h K ag g le  p latf o r m .   to tal  o f   6 . 8 3 9   f ac ial  ex p r ess io n   im ag es  wer co m p iled ,   r ep r e s en tin g   v ar i o u s   em o tio n al  s ta tes  in clu d in g   h ap p in ess ,   s ad n ess ,   n eu tr ality ,   a n d   an g er .   T h ese  d atasets   wer p r ep r o ce s s ed   an d   an n o tated   to   e n s u r co n s is ten cy   an d   q u ality   b ef o r b ei n g   u s ed   f o r   m o d el  tr ain in g .   T h f ac ial   ex p r ess io n   im ag es  wer e   s u b s eq u en tly   u s ed   as  in p u f o r   t h YOL Ov 8   o b ject  d etec tio n   m o d el  to   p e r f o r m   e m o tio n   class if icatio n .   T h d ataset  d is tr ib u tio n   is   illu s tr ated   in   Fig u r 1 .   Fo r   b o d y   m o v em en t   an aly s is ,   th is   s tu d y   em p l o y s   th YO L Ov 8   p o s esti m atio n   m o d el   to   ex tr ac t   s p atial  k ey p o in ts   f r o m   v id e o   d ata.   T h m o d el  is   tr ain ed   u s in g   th co m m o n   o b jects  in   co n t ex ( C OC O)   d ataset   f o r m at,   wh ich   d e f in es  1 7   h u m an   b o d y   k ey p o in ts ,   in clu d in g   th n o s e,   ey es,  ea r s ,   s h o u ld er s ,   elb o ws,  wr is ts ,   h ip s ,   k n ee s ,   a n d   a n k les.  T h e   YOL Ov 8   p o s m o d el  is   u ti lized   to   au to m atica lly   d etec t   an d   e x tr ac b o d y   lan d m ar k s   f r o m   v id e o   r ec o r d i n g s   o f   ch ild r e n   with   ASD.   T h ese  k ey p o in ts   r ep r esen s p atial  f ea tu r es  o f   b o d y   m o v em en ts   an d   ar e   u s ed   as  in p u f o r   s u b s eq u e n tem p o r al  a n aly s is .   T h s tr u ctu r o f   th e   k ey p o in a n n o tatio n s   is   illu s tr ated   in   Fig u r 2 .   T o   class if y   em o tio n - r elate d   m o v em en p atter n s ,   v id eo   d a tasets   wer co llected   th r o u g h   two   m ain   m eth o d s d ir ec t   r ec o r d in g s   at  Har m o n y   Su r a k ar ta  Sp ec ial   E d u ca tio n   Sch o o an d   c u r at ed   v id e o   m ater ials   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J E lec  &   C o m p   E n g     I SS N:   2088 - 8 7 0 8         R ea l - time   fa cia l a n d   b o d y   p o s emo tio n   r ec o g n itio n   f o r   ch ild r en   …  ( S iti N u r o h ma h w a ti )   1901   o b tain ed   f r o m   o n lin s o u r ce s .   T h e   v id eo s   ca p tu r e d   v ar io u s   ac tiv ities   an d   em o tio n al   b eh av io r s   ex h ib ited   b y   ch ild r en   with   ASD.   T h co lle cted   v id eo s   wer s eg m en ted   i n to   s eq u en ce s   an d   m an u ally   an n o tated   b ased   o n   f ac ial  ex p r ess io n s ,   b o d y   m o v e m en ts ,   an d   co n tex t u al  b e h av io r al  cu es.  T h is   a n n o tatio n   p r o c ess   en s u r es  th at  th s eq u en tial  d ata  ac c u r ately   r ep r esen ts   d iv er s em o tio n al  s tates.  T h p r ep ar e d   s eq u e n ce s   ar th en   s tr u ctu r ed   as   tim e - s er ies d ata  to   b u s ed   as i n p u t f o r   th L STM   m o d el.           Fig u r e   1 .   Facial  ex p r ess io n   d a taset c o n s is tin g   o f   m u ltip le  ca t eg o r ies           Fig u r 2 .   Key p o in ts   r ep r esen tatio n   b ased   o n   th C OC d ataset  co v er in g   1 7   p o in ts   o f   h u m an   b o d y       2 . 2 .     YO L O v 8 - ba s ed  f a cia l e x press io n det ec t io n   Ob ject  d etec tio n   is   f u n d am en tal  task   in   th f ield   o f   d ee p   lear n in g   t h at  in v o l v es  id en t if y in g   an d   lo ca lizin g   o b jects  with in   a   d ig ital  im ag e.   I n   th is   s tu d y ,   th e   YOL Ov 8   m o d el  is   em p lo y e d   d u to   its   en h an ce d   ac cu r ac y ,   f aster   d etec tio n   s p e ed ,   an d   im p r o v e d   a b ilit y   to   r e co g n ize  s m all  a n d   c o m p lex   o b jects  co m p ar e d   to   its   p r ed ec ess o r s   [ 1 9 ] [ 2 0 ] .   Y OL Ov 8   in tr o d u ce s   ar ch itectu r al  im p r o v em en t,  in clu d in g   an   en h an ce d   b ac k b o n e   n etwo r k ,   a n   an ch o r - f r ee   d et ec tio n   h ea d ,   a n d   m u lti - s ca le  f ea tu r f u s io n ,   wh ich   b o o s t   class if icatio n   an d   lo ca lizatio n   p er f o r m an ce .   T h is   m ak es  it  p ar ticu lar ly   s u itab le  f o r   d etec tin g   s u b tle  an d   d y n a m ic  f ac ial   ex p r ess io n s   in   ch ild r e n   with   a u tis m   [ 2 1 ] .   T h f ac ial  em o tio n   d etec tio n   p r o ce s s   co n s is ts   o f   th r ee   s tag es:  f ac ial  ex p r ess io n   d ataset  p r ep ar atio n ,   tr ain in g   o f   th d ee p   lear n in g   m o d el  th r o u g h   p h ases   o f   tr ai n in g ,   v alid atio n ,   an d   test in g ,   an d   d ep l o y m en f o r   r ea l - tim in f er e n ce .   T h e   tr ain i n g   p h ase  u tili ze s   p r e - tr ai n e d   YOL Ov 8   m o d el  f i n e - tu n e d   with   to tal  o f   1 0 0   ep o ch s   to   ad ap to   d o m ai n - s p ec if ic  f ac ial  f ea tu r es.  T h tr ain ed   m o d el  is   ca p ab le  o f   d etec tin g   an d   class if y in g   v ar io u s   em o tio n al  ex p r ess io n s   ex h ib ited   b y   a u tis tic  ch ild r en   in   r ea tim e,   e n ab lin g   c o n tin u o u s   em o tio n   m o n ito r in g   in   in clu s iv class r o o m   en v ir o n m en t.     2 . 3 .     YO L O v 8 - ba s ed  bo dy   key po int  det ec t io n   Key p o in t - b ased   o b ject  d etec ti o n   is   an   ad v an ce d   c o m p u ter   v is io n   ap p r o ac h   th at  id e n tifie s   o b jects  b y   lo ca tin g   cr itical  b o d y   lan d m a r k s ,   s u ch   as  jo in ts   an d   s k eleta l   p o in ts .   T h is   m eth o d   is   p ar ticu lar ly   ef f ec tiv f o r   an aly zin g   d y n am ic  b o d y   m o v em en ts ,   in clu d in g   ar m   an d   u p p er - b o d y   g estu r es  in   ch ild r e n   ca p tu r ed   th r o u g h   v id eo   s eq u e n ce s   [ 2 2 ] .   I n   th is   s tu d y ,   th YOL Ov 8   k ey p o i n d etec tio n   m o d el  is   em p lo y ed   to   ex tr ac b o d y   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 8 - 8 7 0 8   I n t J E lec  &   C o m p   E n g ,   Vo l.   1 6 ,   No .   4 Au g u s t   20 2 6 :   1 8 9 9 - 1 912   1902   lan d m ar k s   f r o m   web ca m   r ec o r d in g s   o f   ch ild r e n   with   ASD.   T h m o d el  is   in itialized   with   C OC O - 2 0 1 7   p r etr ain ed   weig h ts ,   wh ich   p r o v id an n o tatio n s   f o r   1 7   s tan d a r d   h u m an   k e y p o i n ts   [ 2 3 ] .   T h e   tr ain in g   p r o ce s s   is   co n d u cte d   o v er   1 . 0 0 0   e p o ch s   t o   en s u r e   s tab le  co n v er g e n ce   a n d   r o b u s f ea t u r e x tr ac tio n .   Y OL Ov 8   is   s elec ted   d u to   its   h ig h   in f er en ce   s p e ed   an d   s u p er io r   ac cu r ac y   in   b o th   o b ject  d etec tio n   a n d   p o s esti m atio n   ta s k s ,   m ak in g   it   s u itab le  f o r   r ea l - tim ap p licatio n s   in   d y n am ic  clas s r o o m   en v ir o n m en ts .   T h e   ex tr ac ted   k ey p o in ts   ar e   u s ed   as sp atial  f ea tu r r ep r ese n tatio n s   f o r   s u b s eq u en t e m o ti o n   class if icatio n .   T h ese  f ea tu r es e n ab le  th s y s tem   to   an aly ze   b o d y   m o v em en t   p atter n s   ass o ciate d   with   d if f er en em o tio n al   s tates.  Fu r th er m o r e,   th e   r ea l - tim e   k ey p o i n tr ac k in g   m ec h an is m   s u p p o r ts   p o ten tial  ap p lic atio n s   in   b eh av io r al  m o n ito r in g ,   em o tio n - awa r e   ass is tiv s y s tem s ,   an d   ea r ly   in ter v en tio n   s tr ateg ies f o r   ch ild r en   with   ASD.     2 . 4 .     L ST M - ba s ed  m o v em ent   pa t t er n det ec t io n   T h L STM   n etwo r k   is   im p le m en ted   in   th is   s tu d y   as  th te m p o r al  class if icatio n   m o d el  t o   r ec o g n ize   em o tio n al  s tates  b ased   o n   s eq u en tial  m o v em en t   d ata.   L ST is   p ar ticu lar ly   s u itab le   f o r   tim e - s er ies  an aly s is   d u to   its   g ated   m em o r y   a r c h itectu r e,   wh ich   en a b les  th n etwo r k   to   r etai n   lo n g - ter m   d ep en d e n cies  an d   ca p tu r tem p o r al  p atter n s   ef f ec tiv ely   [ 2 4 ] [ 2 5 ] .   I n   th is   s tu d y ,   th e   L STM   m o d el  is   em p lo y ed   to   class if y   em o tio n al  s tates  b ased   o n   s eq u en ce s   o f   b o d y   k ey p o in ts   ex tr ac ted   f r o m   v id eo   f r am es.  T h p r o p o s ed   ar ch itectu r co n s is ts   o f   m u ltip le  h id d en   lay e r s   f o llo wed   b y   So f tMa x   o u tp u lay er   to   class if y   em o tio n al  ca teg o r ies,  in clu d i n g   h a p p in e s s ,   s ad n ess ,   n eu tr ality ,   b o r e d o m ,   an d   tan tr u m .   T h m o d e is   tr ain ed   u s in g   b ac k p r o p ag atio n   th r o u g h   tim with   ca teg o r ical  cr o s s - en tr o p y   lo s s   an d   t h Ad am   o p t im izer   to   im p r o v e   lear n in g   ef f icien c y   an d   g e n e r aliza tio n   ca p ab ilit y .   Mo d el  p er f o r m an ce   is   ev alu ated   u s in g   s ep ar ate  test   d ataset  an d   m ea s u r ed   th r o u g h   s tan d ar d   ev al u atio n   m etr ics,  in clu d in g   ac cu r ac y ,   p r e cisi o n ,   r ec all,   an d     F1 - s co r e.   T h d etailed   p er f o r m an ce   ev alu atio n   m etr ics  o f   th m o d el,   in clu d in g   p r ec is io n ,   r ec all,   an d   F1 - s co r e   ac r o s s   th test ed   class es,  ar p r esen ted   in   T ab le  1 .   Pre v io u s   s tu d ies  h a v d em o n s tr ated   th e   ef f ec tiv e n ess   o f   L STM   in   em o tio n   r ec o g n itio n   task s .     Hu an g   et   a l.   [ 2 6 ]   a p p lied   la y er ed   L STM   ar ch itectu r e,   f o r   s eq u en tial  d ata  m o d elin g   a n d   ac h iev ed   im p r o v ed   class if icatio n   p er f o r m an ce   t h r o u g h   p ar am ete r   o p tim izatio n .   Ok et  a l.   [ 2 7 ]   p r o p o s ed   an   atten tio n - b ased   L STM   m o d el  f o r   E E G - b ased   em o tio n   r ec o g n itio n ,   h ig h lig h tin g   th a b ilit y   o f   tem p o r al  n e two r k s   to   im p r o v em o tio n al  s tate  esti m atio n .   I n   ad d itio n ,   Nan d in et  a l.   [ 2 8 ]   e m p h asize  th at  L STM s   g ated   m em o r y   s tr u ct u r is   ef f ec tiv in   r etain i n g   lo n g - r an g d ep e n d en cies  f o r   em o tio n   p r ed ictio n .   I n   th e   co n te x o f   t h is   s tu d y ,   th u s o f   L STM   en h an ce s   th s y s tem s   ab ilit y   to   lear n   tem p o r al  p atter n s   in   b o d y   m o v em en d ata,   th er eb y   im p r o v in g   th r o b u s tn ess   o f   em o tio n   d ete ctio n   in   ch ild r e n   with   ASD.       T ab le  1 .   Per f o r m an ce   m etr ics   M e t r i c   C l a s 0   C l a s 1   W e i g h t e d   a v e r a g e   P r e c i s i o n   0 . 9 9   0 . 5 5   0 . 9 7   R e c a l l   0 . 9 8   0 . 6 7   0 . 9 6   F1 - sc o r e   0 . 9 8   0 . 6 0   0 . 9 6   S u p p o r t   2 0 6   9   2 1 5       2 . 5 .     Sy s t e m   im plem ent a t io a nd   t esting   T h p r o p o s ed   em o tio n   d etec t io n   s y s tem   was  im p lem en ted   u s in g   R asp b er r y   Pi  in teg r a ted   with   a   web ca m   f o r   r ea l - tim e   d ata  a cq u is itio n   in   class r o o m   en v ir o n m en ts .   T h s y s tem   co m b in es  YOL Ov 8 - b ased   f ac ial  ex p r ess io n   d etec tio n   an d   b o d y   k e y p o in t   d etec tio n   to   ca p tu r s p atial   f ea tu r es  f r o m   ch ild r en   with   ASD.   T h ex tr ac ted   b o d y   k ey p o in t s   ar s u b s eq u en tly   p r o ce s s ed   u s in g   L STM   n etwo r k   t o   an aly ze   tem p o r al  m o v em en p atter n s   an d   class if y   em o tio n al  s tates,  in clu d in g   h ap p in ess ,   s ad n ess ,   n eu tr al ity ,   b o r e d o m ,   an d   tan tr u m .   T h o v e r all  im p lem e n tatio n   ar ch itectu r e   o f   t h p r o p o s ed   s y s tem   is   illu s tr ated   in   Fig u r 3 .   Fig u r e   3   ill u s t r a tes   t h e   o v e r a ll  im p l em en tat io n   ar ch ite ct u r o f   t h e   p r o p o s e d   m u l tim o d a em o ti o n   r e co g n it io n   s y s te m   f o r   c h il d r e n   wit h   ASD   in   i n cl u s i v e   e d u c a tio n a l   e n v ir o n m e n ts .   T h e   i m p l em e n t ati o n   p r o c ess   co n s is ts   o f   s e v e r a l   s ta g es ,   i n c l u d i n g   r e al - ti m e   v i d e o   c a p t u r e,   p r e p r o c ess i n g ,   f a cia l   e x p r ess i o n   d ete cti o n ,   b o d y   k e y p o in e x t r a cti o n ,   te m p o r al  s eq u e n ce   p r o ce s s i n g ,   a n d   e m o tio n   class if ica ti o n .   Y OL O v 8   i s   u t iliz e d   f o r   f a cia l   ex p r ess i o n   a n d   b o d y   k ey p o i n t   d et ec ti o n ,   w h il e   t h e   L ST M   n e tw o r k   is   em p l o y e d   t o   an al y ze   s e q u e n tia l   m o v em en t   p att er n s .   T h e   clas s if i ed   em o t io n al   s ta tes   a r e   tr an s m it te d   t h r o u g h   an   I o T - b a s ed   co m m u n i ca t io n   f r am ew o r k   a n d   d is p la y ed   o n   w eb - b as ed   m o n it o r i n g   d as h b o a r d .   I n   ad d i ti o n ,   t h s y s t em   is   i n t e g r ate d   wit h   a   W h atsA p p   n o t if i ca ti o n   s e r v ic e   t o   p r o v i d r e al - ti m e   e m o ti o n a l st at u s   u p d ates   t o   e d u ca to r s   a n d   p ar en ts .   Sy s tem   test in g   was  co n d u cted   u n d e r   r ea l - wo r ld   class r o o m   co n d itio n s   to   e v alu ate  th p er f o r m a n ce   an d   p r ac tical  ap p licab ilit y   o f   th p r o p o s ed   f r am ewo r k .   T h e   p er f o r m an ce   e v alu atio n   f o cu s ed   o n   b o th   f ac ial - ex p r ess io n - b ased   an d   m o v em en t - b ased   em o tio n   r ec o g n itio n   m o d els  u s in g   ac cu r ac y ,   p r ec is io n ,   r ec all,   a n d     F1 - s co r m etr ics.  T h ex p er i m en tal  r esu lts   in d icate   th at  th p r o p o s ed   f r am ewo r k   ac h iev ed   s tab le  an d   r eliab le   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J E lec  &   C o m p   E n g     I SS N:   2088 - 8 7 0 8         R ea l - time   fa cia l a n d   b o d y   p o s emo tio n   r ec o g n itio n   f o r   ch ild r en   …  ( S iti N u r o h ma h w a ti )   1903   p er f o r m an ce   u n d er   d y n am ic  class r o o m   co n d itio n s .   T h i n teg r atio n   o f   m u ltimo d al  em o tio n   r ec o g n itio n   an d   I o T - b ased   m o n ito r in g   p r o v i d es  p r ac tical  s o lu tio n   f o r   co n tin u o u s   em o tio n al  o b s e r v atio n   a n d   ea r l y   in ter v en tio n   s u p p o r t in   in clu s i v ed u ca tio n al  en v ir o n m e n ts .           Fig u r 3 .   Ar c h itectu r o f   th p r o p o s ed   m u ltimo d al  em o tio n   r ec o g n itio n   a n d   m o n ito r in g   s y s tem       3.   RE SU L T S AN D I SCU SS I O N   3 . 1 .       F a cia l e x press io n det ec t io n per f o rm a nce   T h f ac ial  e x p r ess io n   r ec o g n itio n   m o d el   b ased   o n   YOL O v 8   was  tr ain e d   th r o u g h   s ev e r al  s tag es,  in clu d in g   d ataset  ac q u is itio n ,   p r ep r o ce s s in g ,   tr ain i n g ,   v alid atio n ,   a n d   test in g .   T h t r ain in g   p r o ce s s   was   co n d u cte d   iter ativ ely   f o r   1 0 0   ep o ch s   to   o p tim ize  t h e   m o d el’ s   lear n in g   ca p ab ilit y   an d   im p r o v its   g en er aliza tio n   p e r f o r m an ce   i n   r ec o g n izin g   em o tio n al  ex p r ess io n s   o f   ch ild r en   with   A SD.  T h ev alu ated   em o tio n   ca teg o r ies  co n s is ted   o f   n e u tr al,   h a p p y ,   s ad ,   a n d   an g r y   e x p r ess io n s ,   wh ich   we r co n s is ten tly   ap p lied   th r o u g h o u th e x p er im e n tal  an aly s is .   T o   ev alu ate  th class if icatio n   p er f o r m a n ce   ac r o s s   d if f er en em o tio n al   ca teg o r ies,  th p r ec is io n ,   r ec al l,  an d   F1 - s co r e   m etr ics we r c alcu lated ,   as su m m ar ized   in   T ab le  1 .   Fig u r 4   illu s tr ates  th tr ain in g   an d   v alid atio n   p er f o r m a n ce   m etr ics  o b tain ed   d u r in g   th f ac ial  ex p r ess io n   d etec tio n   p r o ce s s .   T h Av er ag Pre cisi o n   at  I o U   th r esh o ld   0 . 5   ( AP5 0 )   an d   AP5 0 9 5   v al u es  in cr ea s ed   s ig n if ican tly   d u r in g   th ea r ly   tr ain in g   ep o c h s   an d   g r ad u ally   co n v er g ed   to war d   s tab le  v alu es  in   th e   later   ep o ch s .   T h is   tr en d   in d i ca tes  th at  th p r o p o s ed   YOL Ov 8 - b ased   m o d el  was  ab le  to   ef f ec tiv ely   lear n   r ep r esen tativ f ac ial  f ea tu r es  wh ile  m ain tain in g   s tab le  d etec tio n   p er f o r m an ce   ac r o s s   d if f er en I n ter s ec tio n   o v er   Un io n   ( I o U)   th r esh o ld s   r an g in g   f r o m   0 . 5   t o   0 . 9 5 .   T h p r ec is io n   an d   r ec all  m etr i cs  also   d em o n s tr ated   co n s is te n im p r o v em e n th r o u g h o u th tr ain in g   p h ase,   with   b o th   m etr ics  ap p r o ac h in g   v alu es  clo s to   0 . 9 0   o n   th v alid atio n   d ataset.   Af ter   1 0 0   tr ain in g   ep o ch s ,   th p r o p o s ed   m o d el  a ch iev ed   v alid atio n   p r ec is io n   o f   9 2 %,  ac co m p an ied   b y   s tab le  r ec all  an d   m ea n   Av er ag Pre cisi o n   ( m AP )   v a lu es.  T h co n v e r g en ce   o f   th ese  ev alu atio n   m etr ics  in d ica tes  th at  th m o d el  ac h iev ed   b alan ce d   p e r f o r m an ce   b etwe en   p r ed ictio n   ac cu r ac y   an d   d etec tio n   ca p ab ilit y   wh ile  m in im izin g   f alse - p o s itiv class if icatio n s .   Fu r th er m o r e ,   th s tab le  co n v e r g en ce   p atter n   s u g g ests   th at  th m o d el  was  ab le  to   m ain tain   g o o d   g e n er aliza tio n   p er f o r m an ce   with o u t sig n if ica n t o v er f itti n g   d u r in g   th e   tr ain i n g   p r o ce s s .   Fig u r 5   p r esen ts   s ev er al  ex am p les  o f   f ac ial  em o tio n   d ete ctio n   r esu lts   p r o d u ce d   b y   th e   p r o p o s ed   s y s tem .   T h m o d el  s u cc ess f u lly   id en tifie d   th p r ed ef in e d   e m o tio n   ca teg o r ies,  in clu d in g   n eu tr al,   h a p p y ,   s ad ,   an d   tan tr u m   ex p r ess io n s ,   u n d er   v ar y in g   f ac ial  o r ie n tatio n s   an d   class r o o m   co n d iti o n s .   T h ese  r esu lts   d em o n s tr ate  th at  th e   p r o p o s e d   f ac ial  ex p r ess io n   r ec o g n itio n   f r am ewo r k   is   ca p a b le  o f   p er f o r m in g   r ea l - tim e   em o tio n   d etec tio n   in   d y n am ic  ed u ca tio n al  en v ir o n m en ts   in v o lv in g   c h ild r en   with   ASD.   C o m p ar ed   with   co n v en tio n al   im ag e - b ased   f ac ial  em o tio n   r ec o g n itio n   a p p r o ac h es,  th e   p r o p o s ed   YOL Ov 8 - b ased   f r a m ewo r k   p r o v id es  im p r o v ed   d etec tio n   s ta b ilit y   an d   r ea l - tim p r o ce s s in g   ca p ab ilit y   th r o u g h   ef f icien f ea tu r ex tr ac tio n .   T h in teg r atio n   o f   f ac ial  ex p r ess io n   an aly s is   with in   th m u ltimo d al  em o tio n   r ec o g n itio n   s y s tem   also   co n tr ib u tes  to   m o r r eliab le   em o tio n al  m o n ito r i n g   in   i n clu s iv class r o o m   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 8 - 8 7 0 8   I n t J E lec  &   C o m p   E n g ,   Vo l.   1 6 ,   No .   4 Au g u s t   20 2 6 :   1 8 9 9 - 1 912   1904   en v ir o n m en ts .   T h ese  f in d in g s   in d icate   th at  th p r o p o s ed   m eth o d   h as  s tr o n g   p o ten tial  to   s u p p o r co n tin u o u s   em o tio n al  o b s er v atio n   a n d   ea r ly   b eh av i o r al  in ter v e n tio n   f o r   ch ild r en   with   ASD.           Fig u r 4 .   T r ain in g   m etr ic  cu r v es f o r   m o d el  ev alu atio n   o f   f ac ial  ex p r ess io n   d etec tio n             Fig u r 5 .   E m o tio n   d etec tio n   r e s u lts   o f   n eu tr al,   h a p p y ,   s ad ,   an d   tan tr u m   e x p r ess io n s       3 . 2 .     B o dy   k ey po ints det ec t io n a nd   po s t ura l a na ly s is   Fig u r 6   p r esen ts   th ev al u atio n   m etr ics  o b tain ed   d u r in g   th tr ain in g   p r o ce s s   o f   th YOL Ov 8 - b ased   b o d y   k ey p o in t   d etec tio n   m o d el  u s in g   C OC O - 2 0 1 7   d ataset.   T h ev alu atio n   was  co n d u cte d   o n   th v alid atio n   d ataset  to   ass ess   th m o d el’ s   p er f o r m an ce   i n   d etec tin g   b o d y   lan d m ar k s   an d   esti m atin g   h u m an   p o s tu r u n d e r   d if f er en m o v em en co n d itio n s .   Sev er al  p er f o r m a n ce   in d icato r s   wer an aly ze d ,   in clu d in g   m AP  at  an   I n ter s ec tio n   o v er   Un i o n   th r esh o ld   o f   0 . 5 ,   m AP  ac r o s s   I o th r esh o ld s   f r o m   0 . 5   to   0 . 9 5 ,   a s   well  as  p r ec is io n   an d   r ec all  f o r   b o th   b o u n d in g   b o x   ( B )   an d   k ey p o in t ( P)   p r ed ic tio n s .   T h ex p er im en tal  r esu lts   d e m o n s tr ate  th at  t h p r o p o s ed   m o d el   ac h iev e d   s tab le  c o n v er g e n ce   th r o u g h o u th 1 , 0 0 0   tr ain in g   ep o ch s .   At  ep o c h   9 7 9 ,   th m o d el  r ea ch e d   its   o p tim al  p er f o r m an ce ,   with   m AP@ 0 . 5   v alu es  o f   0 . 9 1 9   f o r   b o u n d in g   b o x   d etec tio n   an d   0 . 8 1 0   f o r   k e y p o in t   p r ed ictio n .   I n   ad d itio n ,   th e   o b tain ed   p r ec is io n   an d   r ec a ll  v alu es  in d icate   s tr o n g   d e tectio n   ca p ab ilit y ,   with   Pre c is io n ( B )   0 . 8 9 3 ,   Pre cisi o n ( P)  0 . 8 4 8 ,   R ec all( B )   0 . 8 2 2 ,   an d   R ec all( P)  0 . 7 5 8 .   T h ese  r esu lts   in d icate   th at  th YOL Ov 8   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J E lec  &   C o m p   E n g     I SS N:   2088 - 8 7 0 8         R ea l - time   fa cia l a n d   b o d y   p o s emo tio n   r ec o g n itio n   f o r   ch ild r en   …  ( S iti N u r o h ma h w a ti )   1905   ar ch itectu r was  ca p ab le  o f   ac cu r ately   id en tify in g   b o d y   l an d m ar k s   wh ile  m ain tain in g   b alan ce d   d etec tio n   p er f o r m an ce   ac r o s s   d if f er en t   b o d y   m o v e m en co n d itio n s .   Alth o u g h   t h m AP@ 0 . 5 0 . 9 5   v alu es  wer lo wer   th an   th c o r r esp o n d in g   m AP@ 0 . 5   v alu es,  th is   b eh a v io r   is   ex p ec ted   b ec au s s tr icter   I o th r esh o ld s   r eq u ir e   m o r p r ec is lo ca lizatio n   o f   b o d y   k ey p o in ts .   Nev er t h eless ,   th o b tain e d   r esu lts   co n f ir m   th ef f ec tiv en ess   an d   r o b u s tn ess   o f   th p r o p o s ed   m o d el  f o r   h u m an   p o s tu r esti m ati o n   an d   b o d y   k e y p o i n t d etec tio n   task s .   T h s tab le  lear n in g   p atter n   o b s er v ed   in   t h tr ain in g   cu r v es  also   in d icate s   th at  th m o d el  m ain tain ed   g o o d   g e n er aliza tio n   ca p ab ilit y   with o u t sig n if ican o v er f itti n g   d u r in g   th tr ai n in g   p r o ce s s .           Fig u r 6 .   T r ain in g   m etr ic  cu r v es f o r   m o d el  ev alu atio n   o f   b o d y   k ey p o in t d etec tio n       Fig u r 7   s h o ws  th im p lem en tatio n   r esu lts   o f   th p r o p o s ed   YOL Ov 8 - b ased   b o d y   k ey p o in d etec tio n   an d   p o s tu r al  a n aly s is   s y s tem   f o r   em o tio n   r ec o g n itio n   in   ch il d r en   with   ASD.   T h m o d el   s u cc ess f u lly   d etec ted   h u m an   b o d y   p o s tu r b y   id e n tify in g   m u ltip le  b o d y   k e y p o i n ts ,   in clu d in g   th h ea d ,   s h o u ld e r s ,   ar m s ,   h ip s ,   k n ee s ,   an d   leg s ,   wh ich   ar e   r ep r esen ted   b y   co n n ec ted   s k eleta lin es.  I n   ad d itio n ,   th s y s tem   was  ab le  to   class if y   s ev er al  em o tio n al   an d   b e h av io r al  s tates,  s u ch   as  h ap p y tan t r u m ,   a n d   b o r e d ,   with   h ig h   c o n f id en ce   s co r es.   T h e   r esu lts   d em o n s tr ate  th at   th e   p r o p o s ed   f r am ewo r k   ca n   a cc u r ately   ca p tu r e   b o d y   m o v em en p atter n s   an d   p o s tu r al  b eh a v io r s   u n d er   d if f er en en v ir o n m e n tal  co n d itio n s   an d   b o d y   o r ien tatio n s .   T h ese  f in d in g s   in d icate   th at  th m o d el  is   ca p ab le  o f   p er f o r m in g   r o b u s r ea l - tim b o d y   m o v em e n an aly s is   f o r   b eh av io r al  m o n ito r in g   ap p licatio n s .           Fig u r 7 .   Key p o in d etec tio n   r esu lts   o f   s ev er al  em o tio n s   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 8 - 8 7 0 8   I n t J E lec  &   C o m p   E n g ,   Vo l.   1 6 ,   No .   4 Au g u s t   20 2 6 :   1 8 9 9 - 1 912   1906   T h ex tr ac te d   b o d y   k e y p o i n ts   p lay   an   im p o r tan r o le  i n   s u p p o r tin g   m u ltimo d al   em o tio n   r e co g n itio n ,   p ar ticu lar ly   f o r   ch ild r en   with   ASD,   wh o s em o tio n al  s tates  ar o f ten   r ef lecte d   th r o u g h   r e p etitiv m o v em en ts ,   p o s tu r ch an g es,  an d   n o n v er b al  b o d y   g estu r es.  C o m p ar ed   with   co n v en tio n al  f ac ial - ex p r ess io n - o n l y   ap p r o ac h es,  th e   in teg r atio n   o f   b o d y   p o s tu r an al y s is   p r o v i d e s   ad d itio n al  c o n tex tu al   in f o r m atio n   th at  im p r o v es  th r eliab ilit y   o f   em o tio n   r ec o g n itio n   in   d y n am ic   class r o o m   en v ir o n m e n ts .   T h er e f o r e,   t h p r o p o s ed   b o d y   k ey p o i n t   d etec tio n   f r am ewo r k   co n tr ib u tes  to   m o r co m p r eh en s iv b eh av io r al  m o n ito r in g   an d   s u p p o r ts   r ea l - tim em o tio n al  ass ess m en t in   in clu s iv ed u ca tio n al  s ettin g s .     3 . 3 .     M o t io pa t t er n r ec o g nit io n a nd   t em po ra l e m o t io n a na ly s is   Fig u r 8   illu s tr ates  o n o f   th ch ar ac ter is tic  b eh av io r al  m o v em en p atter n s   ex h ib ited   b y   ch ild r en   with   ASD  d u r in g   ta n tr u m   ep is o d e,   s p ec if ically   r e p etitiv s elf - h itti n g   b eh a v io r   u s in g   b o th   h an d s .   Su c h   r ep etitiv b o d y   m o v em en ts   r e p r esen im p o r ta n n o n v er b al  i n d icato r s   th at  ca n   p r o v id e   ad d itio n al  co n tex tu al   in f o r m atio n   f o r   em o tio n   r ec o g n itio n   s y s tem s .   I n   th is   s tu d y ,   tem p o r al  m o v em en a n aly s is   was  p er f o r m e d   t o   ca p tu r d y n am ic   b eh a v io r al  p atter n s   th at  n o t   b r ep r esen ted   th r o u g h   f ac ial  ex p r ess io n s .   T o   class if y   s eq u en tial  m o v em en p atter n s   in to   d is tin ct  em o tio n al  ca teg o r ies,  L STM   n eu r al  n etwo r k   was  em p lo y ed   d u to   its   ca p ab ilit y   to   ef f ec tiv ely   m o d e tem p o r al  d ep en d e n cies  in   s e q u en tial  d ata.   T h class if icati o n   p r o ce s s   u tili ze d   b o d y   k ey p o in t   in f o r m atio n   e x tr ac ted   f r o m   1 7   a n ato m ical  la n d m ar k s   b ased   o n   th e   C OC O   an n o tatio n   f o r m at.   T h ese  k ey p o in ts   wer e   co llecte d   co n tin u o u s ly   ac r o s s   2 0   co n s ec u tiv f r a m es,  wh er e   ea ch   s e q u en ce   was  u s ed   as  s in g le  in p u t sam p le  f o r   th e   L STM   m o d el  to   r e p r esen t te m p o r al  m o v e m en t b e h av io r .           Fig u r 8 .   Seq u en tial b eh a v io r a l m o v em en p atter n s   ac r o s s   tem p o r al  f r am es   d u r i n g   tan tr u m   ep is o d es       T h p r o p o s ed   L STM - b ased   f r am ewo r k   ca teg o r ize d   b o d y   m o v em en t   p atter n s   in t o   th r ee   em o tio n al   s tates,  n am ely   tan tr u m ,   h a p p y ,   an d   n eu tr al/b o r ed .   T h e   u s o f   tem p o r al   s eq u en ce   m o d elin g   en ab led   th s y s tem   to   r ec o g n ize  d y n am ic  b o d y   ex p r ess io n s   m o r ef f ec tiv ely   th a n   s tatic  im ag e - b ased   ap p r o ac h es.  T h is   ca p ab ilit y   is   p ar ticu lar ly   im p o r ta n t in   ASD  b eh av io r al  a n aly s is ,   wh er em o tio n al  s tates a r f r eq u e n tly   ex p r ess ed   th r o u g h   r ep etitiv m o v e m en ts ,   p o s tu r e   ch an g es,  an d   n o n v er b al  g estu r es r ath er   th an   f ac ial  ex p r ess io n s   alo n e.   Fig u r 9   p r esen ts   th v alid atio n   ac cu r ac y   an d   v alid atio n   l o s s   cu r v es  o b tain ed   d u r in g   th tr ain in g   p r o ce s s   o f   th L STM   m o d el.   T h v alid atio n   ac cu r ac y   i n cr e ased   s ig n if ican tly   d u r in g   th e   i n itial  tr ain in g   p h ase,   r is in g   f r o m   ap p r o x im atel y   4 7 to   7 3 with in   th f ir s f iv ep o ch s .   Fo llo win g   th is   s tag e,   th m o d el  d em o n s tr ated   s tab le  lear n in g   b eh av io r   b ef o r co n tin u in g   to   im p r o v a n d   r ea c h in g   p ea k   v alid atio n   ac cu r ac y   o f   9 5 at  ep o c h   1 7 .   T h ac c u r ac y   v alu es  r em ai n ed   r elativ ely   s tab le  d u r in g   th r em ain i n g   tr ain in g   e p o ch s ,   in d icatin g   co n s is ten t m o d el  p e r f o r m a n ce   an d   ef f ec tiv tem p o r al  f ea tu r lea r n in g .   Simu ltan eo u s ly ,   th v alid atio n   lo s s   ex h ib ited   g r ad u al  d e cr ea s th r o u g h o u th tr ain in g   p r o ce s s ,   r ef lectin g   ef f ec tiv m in im izatio n   o f   p r ed ictio n   e r r o r s   d u r in g   m o d el  o p tim izatio n .   T h in v er s r elatio n s h ip   b etwe en   in cr ea s in g   v alid atio n   ac cu r ac y   an d   d ec r ea s in g   v alid atio n   lo s s   s u g g ests   th at  t h p r o p o s ed   L STM   m o d el  s u cc ess f u lly   ca p tu r e d   t em p o r al  m o v em en p atter n s   with o u ex h ib itin g   s ig n if ican o v er f itti n g   b e h av io r .   T h ese  f in d in g s   in d icate   th at  t h tem p o r al  m o d elin g   ap p r o a ch   co n tr i b u ted   s u b s tan tially   to   im p r o v in g   em o tio n   class if icatio n   p er f o r m an ce   b ased   o n   b eh av i o r al  m o v em en t se q u en ce s .   Fig u r 1 0   p r esen ts   th c o n f u s io n   m atr ix   o f   th p r o p o s ed   tem p o r al  em o tio n   class if icatio n   m o d el.   T h e   ex p er im en tal  r esu lts   d em o n s tr ate  ex ce llen class if icatio n   p er f o r m an ce   f o r   th e   n eu tr al/ b o r ed   a n d   ta n tr u m   ca teg o r ies,  wh er all  n eu t r al/b o r ed   s am p les  an d   f iv o u o f   s ix   tan tr u m   s am p les  wer co r r e ctly   class if ied .   Fo r   th h ap p y   ca teg o r y ,   th m o d el  co r r ec tly   id e n tifie d   f o u r   o u o f   f iv s am p les,  wh ile   o n s am p le  was  m is class if ied   as  tan tr u m   d u to   s im ilar ities   in   b o d y   m o v e m en in ten s ity   an d   tr an s itio n al  b eh av io r al  p atter n s .   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J E lec  &   C o m p   E n g     I SS N:   2088 - 8 7 0 8         R ea l - time   fa cia l a n d   b o d y   p o s emo tio n   r ec o g n itio n   f o r   ch ild r en   …  ( S iti N u r o h ma h w a ti )   1907   T h co n f u s io n   m atr ix   an aly s i s   in d icate s   th at  th p r o p o s ed   m o d el  was  ca p ab le  o f   d is tin g u is h in g   r e p etitiv e   b eh av io r al   m o v em en ts   ass o ciate d   with   d if f er en t   em o tio n al   s tates  in   ch ild r en   with   ASD.   T h r elativ ely   s m all  n u m b er   o f   m is class if icatio n s   d em o n s tr ates  th e   ef f ec tiv e n ess   o f   t h tem p o r al   f ea tu r e   ex tr a ctio n   m ec h an is m   i n   ca p tu r in g   s eq u en tial  m o tio n   c h ar ac ter is tics .   Fu r th er m o r e,   th r esu lts   co n f ir m   th at  i n teg r ati n g   b o d y   m o v em e n an aly s is   with   tem p o r al  m o d elin g   im p r o v es  th r o b u s tn ess   o f   em o tio n   r ec o g n itio n   u n d er   d y n am ic  class r o o m   co n d itio n s .           Fig u r 9 .   Valid atio n   ac cu r ac y   an d   v alid atio n   lo s s   tr en d s   d u r in g   L T SM  m o d el  tr ain in g           Fig u r 1 0 .   C o n f u s io n   m atr ix   o f   tem p o r al  e m o tio n   class if icatio n   r esu lts       T ab le  2   s u m m ar izes  t h p er f o r m an ce   o f   th e   L STM - b ased   tem p o r al  e m o tio n   r ec o g n itio n   m o d el   in   ter m s   o f   p r ec is io n ,   r ec all,   F1 - s co r e,   an d   o v er all  class if icatio n   ac cu r ac y .   T h n eu tr al/b o r ed   ca teg o r y   ac h iev ed   p er f ec p r ec is io n ,   r ec all,   an d   F1 - s co r v alu es  o f   1 . 0 0 ,   in d icatin g   h ig h l y   ac cu r ate  an d   s tab le  r ec o g n itio n   p er f o r m an ce   f o r   n o n - a ctiv b eh av io r al  s tates.  T h tan tr u m   ca teg o r y   also   d em o n s tr ated   s tr o n g   class if icatio n   ca p ab ilit y   with   a   p r ec is io n   v alu o f   1 . 0 0   an d   an   F1 - s co r e   o f   0 . 9 1 ,   wh ile  th e   h a p p y   ca teg o r y   ac h iev e d   an     F1 - s co r o f   0 . 8 9   d esp ite  m in o r   m is class if icatio n   in s tan ce s .   Ov er all,   th p r o p o s ed   m o d el  a ch iev ed   class if icatio n   ac cu r ac y   o f   9 3 . 3 3 %,  with   m ac r o - a v e r ag ed   an d   weig h ted - av er a g e   F1 - s co r es  o f   0 . 9 3 .   T h ese  r esu lts   d em o n s tr ate  th at  th e   in teg r atio n   o f   b o d y   k ey p o in t   ex tr ac tio n   an d   te m p o r al  s eq u en ce   m o d elin g   u s in g   L ST p r o v id es  r eliab le  p e r f o r m an ce   f o r   e m o tio n   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 8 - 8 7 0 8   I n t J E lec  &   C o m p   E n g ,   Vo l.   1 6 ,   No .   4 Au g u s t   20 2 6 :   1 8 9 9 - 1 912   1908   r ec o g n itio n   b ased   o n   m o v e m en p atter n s .   C o m p ar ed   with   co n v en ti o n al  s tatic  im ag e - b ased   em o tio n   r ec o g n itio n   ap p r o ac h es,  th p r o p o s ed   tem p o r al  f r am ewo r k   o f f er s   im p r o v e d   co n tex tu a u n d e r s tan d in g   o f   b eh av io r al  e x p r ess io n s   an d   s u p p o r ts   r ea l - tim em o tio n al  m o n ito r in g   in   in clu s iv ed u c atio n al  en v ir o n m en ts   f o r   ch ild r en   with   ASD.       T ab le  2 .   E v alu atio n   m et r ics f o r   L T SM  m o d el  p er f o r m an ce   M e t r i c   P r e c i s i o n     R e c a l l     F1 - sc o r e   S u p p o r t   N e u t r a l / B o r e d   1 . 0 0   1 . 0 0   1 . 0 0   5   H a p p y   0 . 8 0   1 . 0 0   0 . 8 9   4   Ta n t r u m   1 . 0 0   0 . 8 3   0 . 9 1   6   A c c u r a c y   0 . 9 3   0 . 9 3   0 . 9 3   15   M a c r o   a v g   0 . 9 3   0 . 9 4   0 . 9 3   15   W e i g h t e d   a v g   0 . 9 5   0 . 9 3   0 . 9 3   15       3 . 4 .     Co m pa ra t iv a na ly s is   wit h e x is t ing   m et ho ds   T o   ev alu ate   th e f f ec tiv en ess   o f   t h p r o p o s ed   ap p r o ac h ,   co m p a r ativ an al y s is   was  co n d u cte d   ag ain s s ev er al  e x is tin g   em o ti o n   r ec o g n itio n   m eth o d s   r ep o r ted   in   p r ev i o u s   s tu d ies.  T h c o m p ar is o n   f o c u s es  o n   k ey   asp ec ts ,   in clu d in g   d etec tio n   ap p r o ac h ,   in p u m o d ality ,   r ea l - tim ca p ab ilit y ,   an d   class if icatio n   p er f o r m an ce .   T h is   a n aly s is   aim s   to   id e n tify   t h a d v an tag es  an d   lim itatio n s   o f   th e   p r o p o s ed   m u ltimo d a l   f r am ewo r k   in   co m p ar is o n   wit h   co n v en tio n al  s in g le - m o d alit y   em o tio n   r ec o g n itio n   s y s tem s .   T ab le  3   p r esen ts   co m p ar at iv an aly s is   b etwe en   th p r o p o s ed   f r am ewo r k   an d   s ev er a ex is tin g   em o tio n   r ec o g n itio n   a p p r o ac h es.  Pre v io u s   s tu d ies  h av e   p r im ar ily   f o cu s ed   o n   s in g le - m o d ality   em o tio n   r ec o g n itio n ,   p ar ticu lar ly   f ac ia l - ex p r ess io n - b ased   an aly s is .   Fo r   in s tan ce ,   T alaa t   [ 1 6 ]   in te g r ated   C NN - b ased   f ac ial  em o tio n   r ec o g n itio n   with   I o T   tech n o lo g y   f o r   r ea l - ti m m o n ito r i n g .   Nev e r th eless ,   th s y s tem   r eq u ir e d   d ir ec t f ac ial  o r ien tatio n   to war d   th ca m er a n d   d i d   n o u tili ze   b o d y   m o v e m en t f ea tu r es,  lim itin g   its   r o b u s tn ess   in   d y n am ic  class r o o m   en v ir o n m en ts .   Similar ly ,   Ho s n e y   et  a l .   [ 2 9 ]   d ev elo p ed   a n   atten tio n - e n h an ce d   YOL Ov 8   f r am ewo r k   f o r   f ac ial  em o tio n   r ec o g n itio n ,   ac h ie v in g   h ig h   class if icatio n   ac cu r ac y   o f   9 7 . 2 %.  Ho wev er ,   th e   p r o p o s ed   ap p r o ac h   r elied   m ai n ly   o n   f ac ial  ex p r ess io n s   an d   lack ed   tem p o r al  b e h av io r al  an aly s is .   I n   ad d itio n ,   Z h an g   et  a l.   [ 3 0 ]   u tili ze d   YO L Ov 8   with   an   atten tio n   m ec h an is m   to   a n aly ze   b o d y   b eh av i o r ,   ac h iev in g   r ea l - tim p er f o r m an ce .   Ho wev e r ,   th m eth o d   f o c u s ed   p r i m ar ily   o n   b e h av io r   r ec o g n itio n   r ath er   th an   co m p r eh e n s iv em o tio n al  s tate  class if icat io n .   Mo r r ec en tly ,   San g ee th et  a l.   [ 3 1 ]   p r o p o s ed   m u ltimo d al   S p atio - tem p o r al   m u ltimo d al   em o tio n   r ec o g n itio n   n etwo r k   ( ST - ME R N)   in te g r atin g   L STM ,   T C N,   an d   B iLST M - Atten tio n   ar ch itectu r es  with   f ac ial  lan d m ar k s ,   g a ze ,   ac tio n   u n its   ( AUs),   g eo m etr ic  f ea tu r es,  an d   laten p o s d escr ip to r s .   Alth o u g h   th f r a m ewo r k   ac h iev ed   h ig h   class if icatio n   ac cu r ac y   o f   9 4 . 3 %,  th e   ap p r o ac h   in v o lv e d   h ig h   co m p u tatio n al  co m p le x ity ,   d ep e n d en cy   o n   lar g an n o tate d   d a tasets ,   an d   lim ite d   lig h tweig h t I o T - b ased   d e p lo y m en t f o r   p r ac tical  r ea l - tim m o n ito r in g   ap p licatio n s .       T ab le  3 .   C o m p a r ativ an aly s is   b etwe en   th p r o p o s ed   f r am ew o r k   with   ex is tin g   m eth o d s   S t u d y   M e t h o d   M o d a l i t y   R e a l - Ti me  C a p a b i l i t y   A c c u r a c y   Li mi t a t i o n   Ta l a a t   [ 1 6 ]   C N N - b a s e d   f a c i a l   e mo t i o n   r e c o g n i t i o n   a n d   I o T   F a c i a l   e x p r e ss i o n   Y e s   9 0 . 5 %   R e q u i r e d i r e c t   f a c e   o r i e n t a t i o n   a n d   d o e n o t   u t i l i z e   b o d y   m o v e me n t   f e a t u r e s   H o sn e y   e t   a l .   [ 2 9 ]   A t t e n t i o n - e n h a n c e d   Y O LO v 8   F a c i a l   e x p r e ss i o n   Y e s   9 7 . 2 %   R e l i e s   o n l y   o n   f a c i a l   e x p r e s si o n s   a n d   l a c k t e m p o r a l   m o v e me n t   a n a l y s i s   Zh a n g   e t   a l .   [ 3 0 ]   Y O LO v 8   w i t h   a t t e n t i o n   m e c h a n i sm   B o d y   b e h a v i o r   Y e s   9 1 . 3 %   F o c u ses   o n   b e h a v i o r   r e c o g n i t i o n   r a t h e r   t h a n   e m o t i o n a l   s t a t e   c l a ssi f i c a t i o n   S a n g e e t h a   e t   a l .   [ 3 1 ]   M u l t i m o d a l   S T - M E R N :   LS TM   +   TC N   +   B i LST M - A t t e n t i o n   F a c i a l   l a n d mar k s,  p o s e ,   g a z e ,   A u s,  g e o me t r i c   f e a t u r e s,  a n d   l a t e n t   p o se  d e s c r i p t o r s   Y e s   9 4 . 3 %   H i g h   c o m p u t a t i o n a l   c o m p l e x i t y ,   d e p e n d e n c y   o n   l a r g e   a n n o t a t e d   d a t a se t s,   a n d   l i mi t e d   l i g h t w e i g h t   I o T - b a s e d   d e p l o y m e n t   f o r   p r a c t i c a l   r e a l - t i m e   m o n i t o r i n g   a p p l i c a t i o n s.   P r o p o se d   M e t h o d   Y O LO v 8   +   K e y p o i n t   D e t e c t i o n   +   LST M   +   I o T   F a c i a l   e x p r e ss i o n   a n d   b o d y   mo v e me n t   Y e s   9 2 . 0 ( f a c i a l   e x p r e ss i o n )   9 5 . 0 ( m o v e me n t   p a t t e r n )   P e r f o r ma n c e   ma y   b e   a f f e c t e d   b y   u n s t a b l e   l i g h t i n g   c o n d i t i o n s       I n   co n tr ast,  th p r o p o s ed   f r a m ewo r k   in teg r ates  YOL Ov 8 - b ased   f ac ial  ex p r ess io n   r ec o g n itio n ,   b o d y   k ey p o i n t   ex tr ac tio n ,   an d   L ST M - b ased   tem p o r al  m o d elin g   to   im p r o v em o tio n   r ec o g n iti o n   p er f o r m an ce   in   r ea l - wo r ld   class r o o m   e n v ir o n m en ts .   T h in teg r atio n   o f   f ac ial  ex p r ess io n   an d   b o d y   m o v em en a n aly s is   Evaluation Warning : The document was created with Spire.PDF for Python.