I nte rna t io na l J o urna l o f   Rec o nfig ura ble a nd   E m be dd e d Sy s t e m s   ( I J R E S)   Vo l.  15 ,   No .   2 ,   J u ly   20 26 ,   p p .   450 ~ 4 6 0   I SS N:  2089 - 4864 DOI 1 0 . 1 1 5 9 1 /i j r es . v 1 5 . i 2 . pp 4 5 0 - 460          450       J o ur na l ho m ep a g e h ttp : //ij r es.ia esco r e. co m   A real - ti m m ul ti - m o da deep l ea rning  f ra m ew o rk  f o r studen a tt entivenes s  as ses s m en in onl i ne l ea rning  enviro n ments       Ra j a s ek a ra n M a riswa m y P . V.   P ra v ee n Sun da r   D e p a r t me n t   o f   C o mp u t e r   S c i e n c e ,   A d h i p a r a s a k t h i   C o l l e g e   o f   A r t s a n d   S c i e n c e ,   ( A f f i l i a t e d   t o   T h i r u v a l l u v a r   U n i v e r si t y ) ,   K a l a v a i I n d i a       Art icle  I nfo     AB ST RAC T   A r ticle  his to r y:   R ec eiv ed   Au g   3 1 ,   2 0 2 4   R ev i s ed   A p r   6 ,   2 0 2 6   A cc ep ted   Ma y   3 1 ,   2 0 2 6       T h e   ra p id   g ro w th   o f   o n li n e   lea rn in g   p latf o rm h a in c re a se d   th e   n e e d   f o r   in telli g e n sy ste m c a p a b le  o f   m o n it o rin g   st u d e n t   a tt e n ti v e n e ss   in   re a ti m e   to   im p ro v e   lea rn in g   e ff e c ti v e n e ss   a n d   a d a p ti v e   in stru c ti o n .   T h is  p a p e p ro p o se a   m u lt i - m o d a d e e p   lea rn in g   f ra m e w o r k   f o a tt e n ti v e n e ss   a ss e ss m e n b y   in teg ra ti n g   v isu a l,   b e h a v io ra l,   a n d   tem p o ra i n f o rm a ti o n   e x trac ted   f ro m   o n li n e   c las sro o m   in tera c ti o n s.   T h e   p ro p o se d   sy ste m   c o n sists   o f   f o u m a jo c o m p o n e n ts,   n a m e l y   d a ta  a c q u isit i o n ,   p re p r o c e ss in g   a n d   n o rm a li z a ti o n ,   d e e p   f e a tu re   e x trac ti o n   w it h   tem p o ra lea rn in g ,   a n d   a tt e n ti v e n e ss   e v a lu a ti o n   w it h   a n a ly ti c g e n e ra ti o n .   V isu a l   a n d   s p a ti a l   c h a ra c teristics   a re   lea rn e d   u si n g   a   c o n v o lu ti o n a n e u ra l   n e tw o rk   (CNN ),   w h il e   te m p o ra b e h a v io ra p a tt e rn a re   c a p tu re d   th r o u g h   a   lo n g   sh o rt - term   m e m o r y   (L S T M n e tw o rk   to   m o d e se q u e n ti a e n g a g e m e n d y n a m ic s.  T h e   f ra m e w o rk   is  d e sig n e d   to   o p e r a te  in   b o t h   re a l - ti m e   a n d   o f f li n e   m o d e s,  e n a b li n g   l iv e   m o n it o rin g   d u r in g   v irt u a c las se a we ll   a p o st - se ss io n   a n a ly sis  o f   r e c o rd e d   lec tu re s.   T h e   c o m p u tatio n a p ip e li n e   is  o p ti m ize d   th ro u g h   f ix e d - p o in p r o c e ss in g ,   p a ra ll e c o n v o lu ti o n   e x e c u ti o n ,   a n d   late n c y - a wa re   te m p o ra m o d e li n g ,   m a k i n g   it   su it a b le  f o f ield   p r o g ra m m a b le  g a te  a rra y   ( F P G A ) - b a s e d   a n d   e m b e d d e d   im p le m e n tatio n u n d e r   c o n stra in e d   c o m p u tatio n a l   re so u rc e s.  Ex p e ri m e n tal  e v a lu a ti o n   c o n d u c te d   o n   a n   i n - h o u s e   d a tas e d e m o n stra tes   th a th e   p ro p o se d   f ra m e w o rk   a c h ie v e 9 2 . 9 %   c las si f ica ti o n   a c c u ra c y   a n d   a   9 1 . 9 %   F 1 - sc o re ,   w h il e   m a in tain i n g   stro n g   g e n e ra li z a ti o n   c a p a b il it y   o n   c r o ss - d a tas e b e n c h m a rk s.  F u rth e rm o re ,   late n c y   a n a ly sis  sh o w a n   a v e ra g e   p ro c e ss in g   ti m e   o f   3 1 . 6   m p e f ra m e ,   e n a b li n g   n e a re a l - ti m e   in f e re n c e   a a p p ro x im a t e l y   3 0   f ra m e s p e se c o n d .   K ey w o r d s :   L o n g   s h o r t - ter m   m e m o r y   Ma ch i n lear n i n g   Mu lti - m o d al  f ea t u r an al y s i s   On li n lear n i n g   Stu d e n t a tten tiv e n e s s   T h is i a n   o p e n   a c c e ss   a rticle   u n d e r th e   CC B Y - SA   li c e n se .     C o r r e s p o nd ing   A uth o r :   R aj asek ar an   Ma r is w a m y   Dep ar t m en t o f   C o m p u ter   Scie n ce ,   A d h ip ar asak th C o lle g o f   A r ts   a n d   Scien ce   ( Af f iliated   to   T h ir u v all u v ar   Un iv er s it y )   Vello r e ,   T am i l N ad u ,   I n d ia   E m ail:  m ar aj asek ar an @ g m a il. co m       1.   I NT RO D UCT I O N   T h r ap i d   ad v an ce m e n o f   d ig ital  tech n o lo g ie s   h a s   f u n d am e n tal l y   tr a n s f o r m ed   th ed u ca tio n al   lan d s ca p e,   lead in g   to   t h e m er g e n ce   o f   i n telli g e n le ar n in g   e n v ir o n m en t s   a n d   te ch n o lo g y - e n h a n ce d   ed u ca tio n al  ec o s y s te m s .   T h w id esp r ea d   ad o p tio n   o f   o n lin lear n in g   p latf o r m s ,   v ir t u al  class r o o m s ,   lear n in g   m an a g e m e n s y s te m s   ( L MS) ,   an d   m ass iv o p en   o n li n co u r s es  ( MO O C s )   h a s   s i g n if ica n tl y   i m p r o v ed   th e   ac ce s s ib ilit y ,   f le x ib ilit y ,   an d   s ca lab ilit y   o f   ed u ca tio n .   Fu r t h e r m o r e,   th in teg r atio n   o f   in ter n et  o f   th i n g s   ( I o T )   tech n o lo g ies  h as  en ab led   th d ev elo p m en o f   s m ar class r o o m s   in   w h ic h   in ter co n n ec ted   d ev ices,  in cl u d i n g   e m b ed d ed   ca m er as,  s m ar b o ar d s ,   w ea r ab le  s en s o r s ,   an d   ed g co m p u ti n g   m o d u le s ,   co n ti n u o u s l y   co llect  an d   p r o ce s s   ed u ca tio n al  d ata  to   s u p p o r p er s o n alize d   lear n in g   ex p er ien ce s .   T h i n cr ea s i n g   r elian ce   o n   d ig ita l   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J   R ec o n f i g u r ab le  &   E m b ed d ed   Sy s t     I SS N:   2089 - 4864       A   r ea l - time  mu lti - mo d a l d ee p   lea r n in g   fr a mewo r fo r   s tu d en t a tten tiven ess     ( R a ja s ek a r a n   Ma r is w a my )   451   lear n in g   i n f r astr u ctu r e s   h a s   ac ce ler ated   th d ep lo y m e n t o f   d i s tr ib u ted   an d   i n tel lig e n t e d u ca tio n al  ar ch i tectu r e s   ca p ab le  o f   s u p p o r tin g   lar g e - s c ale  lear n er   p o p u latio n s   [ 1 ] [ 4 ] .   Desp ite  th n u m er o u s   ad v an t ag es  o f f er ed   b y   o n lin a n d   s m ar lear n in g   en v ir o n m e n ts ,   m ai n tai n in g   s tu d e n en g a g e m e n a n d   atte n ti v en e s s   r e m ain s   cr itical  ch alle n g e.   I n   co n v e n tio n al  c lass r o o m   s ett in g s ,   in s tr u cto r s   ca n   d ir ec tl y   o b s er v lear n er s '   f ac ial  ex p r es s io n s ,   g az p atter n s ,   b o d y   p o s tu r e,   an d   b eh av io r al  r esp o n s es  to   as s ess   e n g ag e m e n le v els  a n d   p r o v id ti m el y   in ter v e n tio n s .   Ho w e v er ,   s u c h   d ir ec o b s er v atio n   b ec o m e s   i n cr ea s i n g l y   d if f ic u lt  in   o n li n lear n i n g   en v ir o n m en ts   a n d   lar g e - s ca le  s m ar t   class r o o m s   w h er e   in s tr u cto r s   m u s s i m u lta n eo u s l y   m o n i to r   n u m er o u s   lear n er s   ac r o s s   d is tr ib u ted   lo ca ti o n s .   C o n s eq u e n tl y ,   s tu d e n ts   m a y   e x p er ien ce   d is tr ac tio n s ,   r ed u ce d   m o tiv at io n ,   co g n iti v f atig u e,   an d   d i m i n i s h ed   co n ce n tr atio n ,   ad v er s el y   a f f ec ti n g   lear n i n g   o u tco m es   an d   ac ad e m ic  p er f o r m a n ce .   T h er ef o r e,   co n ti n u o u s   m o n ito r in g   an d   ass es s m en t   o f   lear n er   atte n ti v en es s   h a v b ec o m e   ess e n tia c o m p o n en t s   o f   m o d er n   ed u ca ti o n al  s y s te m s   ai m ed   at  i m p r o v i n g   i n s tr u ctio n al  ef f e ctiv e n ess   a n d   p er s o n alize d   lea r n in g   s u p p o r t [ 5 ] [ 8 ] .   A tte n ti v e n es s   r ep r esen ts   lear n er 's  co g n iti v e,   e m o tio n al,   an d   b eh av io r al  in v o lv e m e n i n   t h lear n i n g   p r o ce s s .   I en co m p as s es  m u l ti p le  d im e n s io n s ,   in c lu d i n g   v is u al  atten tio n ,   in f o r m a tio n   p r o ce s s i n g ,   e m o t io n al   en g a g e m en t,  p ar ticip atio n   le v els,  a n d   r esp o n s iv e n es s   to   i n s tr u ctio n al   co n te n t.  T r ad itio n al  ap p r o ac h es  f o r   ass es s i n g   atte n ti v e n es s ,   s u c h   as  s el f - r ep o r ted   s u r v e y s ,   q u esti o n n a ir es,  q u izze s ,   a n d   m an u al  i n s tr u cto r   o b s er v atio n s ,   ar o f ten   s u b j ec tiv an d   f ail  to   ca p tu r th d y n a m ic  n atu r o f   lear n er   en g a g e m e n t.  Mo r eo v er ,   th ese  ap p r o ac h es  ar in ca p a b l o f   p r o v id in g   co n t in u o u s   r ea l - ti m f ee d b ac k   n ec es s ar y   f o r   ad ap tiv lear n in g   s y s te m s   an d   i n telli g e n ed u c atio n al  in ter v e n tio n s .   T h in cr ea s in g   d e m a n d   f o r   o b j ec ti v an d   au to m ated   atten ti v e n ess   a s s e s s m e n h a s   m o ti v ated   r esear ch er s   to   ex p lo r d ata - d r iv en   ap p r o ac h es  ca p ab le  o f   co n tin u o u s l y   m o n ito r in g   lear n er   b eh av io r   in   r ea l - w o r ld   ed u c atio n al  s ett in g s   [9 ] [ 1 2 ] .   R ec en d e v elo p m e n ts   i n   ar ti f i cial  in tel lig e n ce ,   co m p u ter   v i s io n ,   an d   ed u ca tio n al  d ata  an al y tics   h a v e   en ab led   th a u to m ated   ass e s s m e n o f   s t u d en t   atte n ti v en e s s   u s i n g   m u l ti m o d al  s en s o r y   d ata.   E m b ed d ed   ca m er as  an d   I o T - en ab led   s en s in g   d ev ices  co n tin u o u s l y   g e n er ate  v is u al  a n d   b eh av io r al  in f o r m atio n   t h at  ca n   b an al y ze d   u s in g   d ee p   lear n in g   tec h n iq u es.  C o n v o lu tio n al  n eu r al  n et w o r k s   ( C NN s )   h av d e m o n s tr ated   r e m ar k ab le  e f f ec tiv e n e s s   i n   e x tr ac ti n g   d i s cr i m in at iv s p ati al  f ea t u r es  s u c h   a s   f ac ial  e x p r ess io n s ,   e y e   g az e   d ir ec tio n ,   h ea d   o r ien tatio n ,   a n d   b eh av io r al  p atter n s .   A d d it io n all y ,   te m p o r al  d ep en d en ci es  ass o ciate d   w i th   lear n er   en g a g e m en ca n   b ef f ec ti v el y   m o d eled   u s in g   r ec u r r en n eu r al  ar ch i tectu r e s   s u c h   as  lo n g   s h o r t - ter m   m e m o r y   ( L ST M)   n et w o r k s .   T h in te g r atio n   o f   C NN  an d   L S T M   m o d els  f ac il itates  t h d ev elo p m e n o f   r o b u s t   s p atio - te m p o r al  atten tiv e n e s s   r ec o g n itio n   s y s te m s   ca p ab le  o f   ca p tu r in g   b o th   in s ta n ta n eo u s   v i s u a cu es  an d   lo n g - ter m   b eh a v io r al  d y n a m i cs,  th er eb y   i m p r o v in g   t h ac cu r ac y   o f   e n g a g e m en p r ed ictio n   i n   ed u ca t io n al   en v ir o n m e n t s   [ 1 3 ] [ 1 6 ] .   I n   ad d itio n   to   C NN - L ST ar ch itectu r es,  s e v er al  s tu d i es  h av i n v e s ti g ated   ad v an ce d   f ac ial  ex p r ess io n   r ec o g n itio n   an d   a t ten tio n   m o d elin g   tec h n iq u es  t o   en h a n ce   lear n er   b eh av io r   an al y s i s .   Atten t io n - a w ar d ee p   lear n in g   f r a m e wo r k s ,   en s e m b le  lear n in g   m o d els,  g az esti m a tio n   ap p r o ac h es,  an d   co m p u ter   v is io n - b ased   b eh av io r al  r ec o g n itio n   s y s te m s   h a v d e m o n s tr ated   co n s id er ab le  s u cc e s s   in   id e n ti f y in g   en g a g e m en t - r elate d   p atter n s   u n d er   u n co n s tr ain ed   clas s r o o m   co n d itio n s .   T h ese  s y s te m s   le v er ag f ac ia l   lan d m ar k s ,   e m o tio n a s ta tes,  p o s tu r in f o r m a tio n ,   a n d   v is u al  atten tio n   i n d icato r s   to   p r o v id m o r ac c u r ate   an d   co m p r e h en s iv a s s es s m en ts   o f   lear n er   atten t iv e n es s .   Su ch   ad v an ce m e n ts   h i g h l ig h t h g r o w i n g   p o ten t ial   o f   ar ti f icial  i n tel lig e n ce - d r iv en   ed u ca t io n al  a n al y tic s   f o r   s u p p o r tin g   i n tell ig e n teac h in g   a n d   lear n i n g   p r o ce s s es [ 1 7 ] [ 1 9 ] .   A lt h o u g h   e x is tin g   at ten t iv e n ess   d etec tio n   f r a m e w o r k s   h a v ac h iev ed   p r o m i s i n g   cla s s i f icatio n   p er f o r m a n ce ,   th eir   p r ac tical  d ep lo y m e n w it h in   I o T - en ab led   s m ar clas s r o o m   e n v i r o n m e n ts   r e m ai n s   ch alle n g i n g .   R ea l - t i m e   atte n ti v en e s s   m o n ito r in g   r eq u ir es  lo w - laten c y   i n f er en ce ,   h ig h   co m p u tat io n al   ef f icien c y ,   a n d   r eliab le   o p er atio n   u n d er   r eso u r ce - co n s tr ain e d   co n d itio n s .   Fo r   v id eo - b ased   lear n i n g   an al y tic s ,   in f er en ce   late n c y   m u s t y p ical l y   r e m ai n   b elo w   3 3   m s   p er   f r a m to   s u p p o r r ea l - ti m p r o ce s s i n g   at  3 0   f r a m e s   p er   s ec o n d .   Ho w e v er ,   d ee p   C NN - L ST ar ch itectu r es  o f t en   in v o lv s u b s tan t ial  co m p u tatio n al  co m p le x it y ,   m e m o r y   co n s u m p tio n ,   a n d   en er g y   r eq u ir e m e n t s .   R eso u r ce - co n s tr ai n ed   ed g d ev ice s ,   in cl u d in g   f ield   p r o g r am m ab le  g ate  ar r a y   ( FP GA ) - b ased   ac ce ler ato r s ,   s y s te m - on - c h ip   ( So C )   p latf o r m s ,   an d   lo w - p o w er   e m b ed d ed   p r o ce s s o r s ,   f r eq u en tl y   lac k   th co m p u tat io n al  r eso u r ce s   n ec es s ar y   to   ex ec u te  lar g e - s ca le  d ee p   lear n in g   m o d el s   ef f icie n tl y .   Fu r th er m o r e,   tr an s m itti n g   r a w   v id eo   s tr ea m s   to   clo u d   s er v er s   in tr o d u ce s   s ig n i f ica n co m m u n icatio n   o v er h ea d ,   n et w o r k   co n g e s tio n ,   p r iv ac y   co n ce r n s ,   an d   in cr ea s e d   r esp o n s laten c y ,   th er eb y   li m iti n g   th p r ac ticalit y   o f   ce n tr alize d   p r o ce s s in g   ap p r o ac h es [ 2 0 ] [ 2 2 ] .   E x is ti n g   r esear ch   p r ed o m i n an tl y   f o cu s e s   o n   i m p r o v i n g   a tte n ti v en e s s   cla s s i f icatio n   ac cu r ac y   w it h i n   s o f t w ar e - o r ien ted   en v ir o n m e n ts   w h ile  p a y i n g   li m ited   atten tio n   to   h ar d w ar e - a w ar e   o p tim iza tio n   an d   e m b ed d ed   d ep l o y m e n co n s id er atio n s .   Mo s ex i s ti n g   s y s te m s   r el y   o n   ce n tr alize d   co m p u tin g   ar ch itect u r es  o r   s in g le - m o d al  s en s in g   ap p r o ac h es,  m ak in g   t h e m   u n s u ita b le  f o r   lar g e - s ca le  r ea l - ti m e   s m ar cla s s r o o m   i m p le m en ta tio n s .   A lt h o u g h   r ec en s t u d ies  h a v ex p lo r ed   s tu d en b eh a v io r   r ec o g n itio n ,   p o s esti m atio n ,   an d   v id eo - b ased   class r o o m   an a l y t ics,  r elativ el y   f e w   i n v e s ti g ati o n s   h a v ad d r ess ed   cr itical  is s u e s   s u c h   as  m o d el   m o d u lar it y ,   p ip elin p ar allelis m ,   q u a n tizatio n - a w ar d esi g n ,   h ar d w ar e - s o f t w ar co - o p tim izatio n ,   r eso u r ce - Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 9 - 4864   I n t J   R ec o n f i g u r ab le  &   E m b ed d ed   Sy s t ,   Vo l.  15 ,   No .   2 J u l y   202 6 450 - 4 6 0   452   ef f icien i n f er e n ce ,   a n d   FP GA / v er y   lar g e   s ca le  i n te g r atio n   ( VL SI)   i m p le m e n tatio n   r ea d in es s .   F u r th er m o r e,   th i n teg r atio n   o f   r ea l - ti m ed g in telli g en ce   w i th   o f f lin ed u ca tio n al  a n al y tic s   r e m ai n s   lar g el y   u n ex p lo r ed   in   cu r r en li ter at u r [ 2 3 ] [ 2 5 ] .   T h ese  li m ita tio n s   r e v ea s i g n i f ican r esear ch   g ap   at  th i n ter s ec tio n   o f   ed u ca tio n al  a n al y tics ,   d ee p   lear n in g ,   I o T   co m p u ti n g ,   an d   r ec o n f ig u r ab le  e m b ed d ed   s y s te m s .   T h er is   an   u r g en t   n ee d   f o r   u n if ied   atten ti v e n ess   m o n ito r in g   f r a m e w o r k   t h at  n o o n l y   ac h ie v es  h i g h   clas s i f icatio n   ac cu r ac y   b u a ls o   s u p p o r ts   ef f icien d ep lo y m en o n   r eso u r ce - co n s tr ai n ed   ed g d ev ices  an d   r ec o n f ig u r ab le  h ar d w ar p latf o r m s .   Su c h   f r a m e w o r k   s h o u ld   f ac ilit ate  l o w - late n c y   in f er e n ce ,   s ca lab le  o p e r atio n ,   p r iv ac y - p r eser v i n g   p r o ce s s in g ,   an d   s ea m le s s   i n te g r atio n   w it h i n   I o T - en ab led   s m ar t c las s r o o m   in f r astru ct u r es.       2.   L I T E R AT U RE   R E VI E W   Mo n ito r in g   s t u d en atte n ti v en ess   is   cr u cia f o r   i m p r o v i n g   lear n in g   o u tco m es  i n   b o th   p h y s ical  a n d   o n lin lear n i n g   en v ir o n m e n ts .   A t ten t iv e n es s   is   a   m u lti - d i m en s io n al  co n s tr u ct  th at  e n co m p a s s e s   b eh a v io r al,   co g n iti v e,   a n d   e m o tio n al  asp ec ts   o f   e n g a g e m e n t.  A cc u r ate l y   ca p tu r i n g   th is   co n s tr u c r em ai n s   c h alle n g e ,   p ar ticu lar l y   i n   o n li n o r   h y b r i d   lear n in g   co n te x ts ,   w h er tr ad itio n al  o b s er v atio n al  c u es  ar e   li m ited .   A   g r o w i n g   b o d y   o f   r esear ch   h as  ex p lo r e d   th u s o f   ad v a n ce d   s e n s i n g   tec h n o lo g ies,  co m p u ter   v i s io n ,   an d   m ac h i n e   lear n in g   tec h n iq u es to   q u a n ti f y   atten tiv e n e s s   o b j ec tiv el y .   R ec en s tu d ie s   h av d e m o n s tr ated   th p o ten tial  o f   u s i n g   w e ar ab le  s en s o r s   an d   w ir ele s s   n et w o r k s   f o r   r ea l - ti m atten t iv e n es s   ass e s s m en t.  T h ao   et  a l.   [ 1 ]   p r o p o s e d   f r am e w o r k   i n te g r atin g   p h y s io lo g ical  s i g n al s ,   in cl u d in g   h ea r r ate,   g alv a n ic   s k i n   r esp o n s e,   an d   m o tio n   p atter n s ,   w ith   d ee p   lear n in g   m o d el s   to   m o n ito r   atten tio n .   T h eir   f i n d i n g s   i n d icate d   th at  co m b in in g   m u lti p le  p h y s io lo g ical  s i g n al s   i m p r o v es  p r ed ictio n   ac cu r ac y   co m p ar ed   to   s i n g l e - s e n s o r   ap p r o ac h es.  E lectr o en ce p h alo g r a m   ( E E G)   s i g n a ls   h a v also   b ee n   e m p lo y ed   to   p r o v id d ir ec m ea s u r o f   co g n iti v en g ag e m en t.  Up ad h y a y   et  a l.   [ 2 ]   co l lecte d   E E d ata  in   co n j u n ctio n   w it h   a u d io - v is u al  lear n in g   co n ten an d   ap p lied   d ee p   lear n in g   tec h n iq u e s   to   d if f er en tiate  atte n ti v e   an d   in atte n ti v s tate s .   W h ile   th ese  s e n s o r - d r i v en   ap p r o ac h es  ar p r ec is e,   th e y   o f ten   r eq u ir s p ec ialized   h ar d w ar e,   li m iti n g   s ca lab ilit y   i n   lar g o n l in lear n in g   e n v ir o n m e n t s .   R es e a r ch   h as   al s o   em p h as iz e d   t h r o l e   o f   s o ci a l   a n d   af f e c ti v e   f a ct o r s   i n   a tt en t iv en ess .   Pu tw a in   et   a l .   [ 3 ]   in v e s ti g ated   th r elatio n s h ip s   b etw ee n   ac ad e m ic  en j o y m e n t,  b o r ed o m ,   an d   ac h iev e m e n t,  estab lis h i n g   th a t   e m o tio n al   en g a g e m e n t   d ir ec tly   i n f lu e n ce s   atte n tio n a s ta tes   o v er   ti m e.   Si m i lar l y ,   Haa taj et  a l.   [ 4 ]   ex p lo r ed   teac h er - s t u d en e y co n tac d u r in g   g r o u p   w o r k   u s i n g   m u l ti - p er s o n   g az e - tr ac k i n g ,   r ev ea li n g   th at   m u t u al  g az e   an d   teac h er   r esp o n s i v e n ess   s ig n i f ican tl y   co r r elate d   w i th   s u s tai n ed   s t u d en atte n ti o n .   T h ese  f in d i n g s   u n d er s co r th i m p o r tan ce   o f   co n s id er in g   s o cial  an d   e m o t io n al  f ac to r s   alo n g s id p h y s i o lo g ical  in d icato r s   w h e n   ass e s s i n g   lear n er   en g a g e m en t.   Vis u a cu e s   s u ch   a s   f ac ial  e x p r ess io n s ,   e y g az e,   a n d   h ea d   p o s tu r h a v b ee n   e x ten s i v el y   u tili ze d   to   in f er   atten ti v e n es s .   Z h a n g   [ 5 ]   d em o n s tr ated   th e f f ec t i v en e s s   o f   e x tr ac ti n g   f ac ial   in f o r m atio n   f r o m   ed u ca tio n al  i m a g d ata  f o r   lear n in g   b eh a v io r   an al y s i s .   L i k e w i s e,   Z a k k an d   Vad ap alli  [ 6 ]   h ig h lig h ted   t h e   v alu e   o f   f ac ia e m o t io n   r ec o g n itio n   as   an   in d icato r   o f   lear n in g   a f f ec t   an d   e n g ag e m e n t.  B u ild in g   u p o n   th e s e   v is u al  a n al y s is   tech n iq u e s ,   Xi o n g   et  a l.   [ 7 ]   d ev elo p ed   C NN - tr a n s f o r m er   f r a m e w o r k   t h at  co m b i n es  C NN f o r   s p atial  f ea t u r e x tr ac tio n   w it h   tr an s f o r m er   la y er s   f o r   te m p o r al  m o d eli n g   o f   v id eo   d ata.   T h eir   ap p r o ac h   s u cc e s s f u ll y   ca p tu r ed   b o th   s h o r t - ter m   f lu ct u atio n s   an d   lo n g - ter m   tr e n d s   in   s t u d en en g ag e m en t.  Fu r t h er m o r e,   Xie  et  a l.   [ 8 ]   em p lo y ed   m u lti - d i m en s io n al  f ea t u r f u s io n   b y   in te g r atin g   f ac ial  ac tio n   u n its ,   g az d ir ec tio n ,   an d   b o d y   p o s tu r e,   d e m o n s tr ati n g   t h at  co m b i n in g   m u ltip le  v is u al   an d   b eh av io r al  f ea tu r es  i m p r o v es  atte n ti v en e s s   d etec tio n   p er f o r m a n ce .   Sh a h   et  a l.   [ 1 0 ]   ex am i n ed   b eh av i o r al  m o n i to r in g   i n   e - lear n in g   b y   tr ac k i n g   h ea d   m o v e m e n ts ,   f ac ial  ex p r ess io n s ,   an d   in ter ac tio n   p atter n s ,   s h o w i n g   th at  v id eo - b ased   an al y s i s   alo n ca n   r eliab l y   esti m ate  atten tiv e n e s s   an d   p r o v id s ca lab le  s o lu t io n   f o r   o n lin co u r s e s .   H y b r id   an d   m u lti - m o d al  f r a m e w o r k s   h av e m er g ed   as  ef f ec tiv s o l u tio n s   f o r   im p r o v in g   atten ti v e n ess   d etec tio n .   T h p h y s io lo g ical  s en s i n g   ap p r o ac h   p r o p o s ed   b y   T h ao   et  a l.   [ 1 ]   d em o n s tr ated   th e   ad v an ta g es  o f   co m b i n i n g   m u ltip le  b io m etr ic  s i g n als  f o r   atten tio n   ass es s m en t,  w h ile  t h v is u a an al y tics   f r a m e w o r k s   d ev elo p ed   b y   X i o n g   et  a l.   [ 7 ]   an d   Xie  et  a l.   [ 8 ]   s h o w ed   th at  i n te g r atin g   s p atial,   te m p o r al,   an d   b eh av io r al  in f o r m a tio n   ca n   ca p tu r co m p lex   e n g a g e m en t p atter n s   t h at  s in g le - m o d alit y   s y s te m s   m a y   o v er lo o k .   C o llecti v el y ,   t h ese  s t u d ies  i n d icate   th at  in co r p o r atin g   co g n iti v e,   e m o tio n a l,  p h y s io lo g i ca l,  an d   b eh av io r al  d i m en s io n s   p r o v id es a   m o r co m p r e h en s iv u n d er s tan d i n g   o f   lear n er   atte n ti v en e s s .       3.   M E T H O D   T h is   s e cti o n   p r es en ts   th p r o p o s e d   s ca la b le   h y b r i d   d ee p   lea r n in g   f r am e w o r k   ( S HDL F)   f o r   r o b u s t   an d   T h is   s tu d y   p r o p o s es   d a ta - d r i v en   f r am ew o r k   f o r   ass ess in g   s tu d en t   a tten t iv en ess   in   b o th   r e al - tim an d   v i d e o - b as ed   o n lin le a r n in g   en v ir o n m en ts .   T h e   f r am ew o r k   in teg r a tes  m u lti - m o d al  f ea tu r es  f r o m   v is u al,   b eh av io r a l,   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J   R ec o n f i g u r ab le  &   E m b ed d ed   Sy s t     I SS N:   2089 - 4864       A   r ea l - time  mu lti - mo d a l d ee p   lea r n in g   fr a mewo r fo r   s tu d en t a tten tiven ess     ( R a ja s ek a r a n   Ma r is w a my )   453   an d   t em p o r al  s o u r ce s ,   an d   a d o p C NN - L S T d ee p   l ea r n in g   ar ch ite ctu r e   t o   class if y   atten t iv en ess .   T h e   m eth o d o lo g y   is   d esig n e d   t o   o p e r at d u r in g   l iv o n lin s e s s io n s   an d   r et r o s p ec tiv ely   o n   r e c o r d e d   lec tu r es,   p r o v i d in g   in s tr u c to r s   w ith   ac ti o n a b le   in s ig h ts   t o   im p r o v e   en g ag em en t a n d   le ar n in g   o u t c o m es.   T h is   s t u d y   f o r m u lates  s t u d e n atten ti v e n ess   esti m atio n   as  a   s u p er v is ed   b i n ar y   cla s s i f icatio n   p r o b le m   o v er   s y n c h r o n ized   m u lt i - m o d al  te m p o r al  d ata  s tr ea m s .   Gi v en   s et  o f   ti m e - ali g n ed   i n p u t s   co m p r is in g   v i s u a l   f r a m e s ,   b eh av io r al  in ter ac tio n   lo g s ,   an d   s es s io n - le v el  m e tad ata,   th o b j ec ti v is   to   lear n   m ap p i n g   t h at   p r ed icts   th p r o b ab ilit y   o f   atte n ti v en e s s   at  ea c h   ti m s tep .   Fo r m all y ,   le t th m u lti - m o d al  d ataset  b d ef in ed   as:     = { ( , , , ) } = 1       w h er e ,   × × 3   d en o tes  t h R GB   v i d eo   f r a m e,     r ep r esen ts   b eh a v io r al  in ter ac tio n   f ea tu r e s ,     d en o tes te m p o r al  m etad ata  f e atu r es,   an d   { 0 , 1 }   is   th g r o u n d - tr u t h   atten ti v en e s s   lab el.   T h o b j ec tiv is   to   lear n   p ar a m etr ic  f u n ctio n :     : ×   × [ 0 , 1 ]         w h er Θ  d en o tes   m o d el  p ar am eter s   a n d   th o u tp u t   r ep r esen ts   t h p r o b ab ilit y   o f   th s t u d en b ein g   atte n ti v a t   ti m t.   B in ar y   clas s i f icatio n   i s   ad o p ted   in   th is   s t u d y ,   w h er e:   = 1   in d icate s   atten t iv e   a n d   = 0   in d icate s   in atte n ti v e.   d ec is io n   th r e s h o ld   τ =0 . 5   is   ap p lied   d u r in g   in f er e n ce .     3 . 1 .   Da t a s et   des cr iptio n   T h s tu d y   e m p lo y s   d u al   d ataset  ap p r o ac h   to   en s u r d iv er s it y   a n d   g e n er aliza b ilit y .   T h f i r s d atase t   is   cu s to m   i n - h o u s d ataset,   co llected   f r o m   1 5 0   s tu d en ts   ac r o s s   m u l tip le   o n lin co u r s e s   o v er   s ix   m o n th s .   T h is   d ataset  ca p tu r es:     Vis u a l d ata:  w eb ca m   r ec o r d in g s   o f   s tu d e n ts   f ac es a n d   u p p er   b o d ies d u r in g   s y n c h r o n o u s   s ess io n s .     B eh av io r al  i n ter ac tio n   lo g s :   c lick s tr ea m   d ata,   k e y s tr o k e s ,   f o r u m   p ar ticip atio n ,   a s s i g n m e n s u b m is s io n s ,   an d   r esp o n s ti m es to   q u izze s   an d   p o lls .     T em p o r al  s ess io n   d ata:  lo g i n /l o g o u t ti m esta m p s ,   ti m s p e n o n   ac tiv it ies,  an d   s e s s io n   p au s es.   T h s ec o n d   d ataset  is   th Data s et  f o r   Af f ec ti v State s   i n   E - E n v ir o n m e n t s   ( D A iSEE )   d atase t ,   p u b lic   b en ch m ar k   co n tai n i n g   o v er   9 , 0 0 0   v id eo   clip s   o f   s tu d en t s   in   o n lin lear n i n g   en v ir o n m en ts .   E ac h   clip   is   an n o tated   w it h   f o u r   af f ec ti v e   s tates e n g a g e m en t,  b o r ed o m ,   co n f u s io n ,   an d   f r u s tr atio n at  f o u r   in te n s i t y   lev els  ( lo w ,   m ed iu m ,   h i g h ,   an d   v er y   h ig h ) .   T h DA iSEE   d ataset  p r o v id es  ex ter n al  v al id atio n   an d   en s u r es  th e   m o d el  g en er al izes a cr o s s   d iv e r s lear n in g   co n te x t s .     3 . 2 .   Sy s t em   a rc hite ct ure  o v er v iew   T h p r o p o s ed   f r am e w o r k   is   d esig n ed   as  u n if ied   m u lti - m o d al  atten tiv e n e s s   as s ess m e n a r ch itect u r th at   i n te g r ates  h eter o g e n eo u s   d ata  s o u r ce s   to   esti m ate  s t u d en e n g a g e m en t   in   o n li n lear n in g   en v ir o n m e n ts .   T h s y s te m   i s   m o d u lar ,   s ca lab le,   an d   d ep lo y ab le  i n   b o th   s y n ch r o n o u s   ( r ea l - ti m e)   an d   as y n ch r o n o u s   ( o f f lin e)   in s tr u ctio n a l setti n g s .   T h o v er all  ar ch itectu r co n s i s ts   o f   f o u r   p r i m ar y   co m p u ta tio n al  m o d u les:     Data   ac q u is it io n   m o d u le ,     P r ep r o ce s s in g   an d   n o r m a lizati o n   m o d u le ,     Dee p   f ea tu r ex tr ac tio n   an d   te m p o r al  m o d eli n g   m o d u le ,     A tte n ti v e n es s   s co r in g   an d   an a l y tics   m o d u le .   A   h i g h - le v el  f u n ctio n a l r ep r esen tatio n   o f   th s y s te m   ca n   b ex p r ess ed   as:     : { , , }         w h er   d en o tes  v i s u al   in p u ts ,     b eh a v io r al  s i g n al s ,     tem p o r al  m etad ata,   an d     th e   p r ed icte d   atten ti v e n ess   s co r at  ti m t.     3 . 2 . 1 .   Da t a   a cquis it io m o du le   T h d ata  ac q u is itio n   m o d u le  i s   r esp o n s ib le  f o r   ca p tu r in g   s y n ch r o n ized   m u lti - m o d al  i n p u t s   d u r in g   an   o n lin lear n i n g   s e s s io n .   I t o p er ates th r o u g h   i n te g r atio n   w i th :     W eb ca m   v id eo   s tr ea m s ,     L MS  i n ter ac tio n   lo g s ,     Ses s io n - lev el  m etad ata  m o n ito r s .   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 9 - 4864   I n t J   R ec o n f i g u r ab le  &   E m b ed d ed   Sy s t ,   Vo l.  15 ,   No .   2 J u l y   202 6 450 - 4 6 0   454   T h v is u al  i n p u t stre a m   is   r ep r esen ted   as:     = { 1 , 2 , . . . , }         w h er ea ch   f r a m × × 3   co r r esp o n d s   to   an   R GB   i m ag ca p t u r ed   at  ti m t.   B eh av io r al  in ter ac tio n   d ata  ar co llected   as st r u ct u r ed   f ea tu r v ec to r s :     = { 1 , 2 , . . . , }       th ese  i n cl u d click   f r eq u e n c y ,   k e y s tr o k r ate,   m o u s d y n a m ics,  q u iz  p ar ticip atio n   e v en ts ,   a n d   r esp o n s e   laten c y   m etr ic s .   T em p o r al  m etad ata  in clu d lo g in   d u r at io n ,   id le  in ter v als,  a n d   p au s f r eq u en c y ,   p r o v id i n g   co n tex t u al  i n f o r m atio n   f o r   en g ag e m e n i n ter p r etatio n .   A ll  m o d ali ties   ar ti m e - s y n ch r o n i ze d   u s i n g   s h ar ed   ti m e s ta m p i n g   p r o to co l to   en s u r ac cu r ate  m u lti - m o d al  f u s io n .     3 . 2 . 2 .   P re pro ce s s ing   a nd   no rm a liza t io m o d ule   T h p r ep r o ce s s in g   m o d u le   en s u r es  s ig n al  co n s i s ten c y ,   n o i s r ed u ctio n ,   a n d   d i m e n s io n al   n o r m aliza t io n   p r io r   to   f ea tu r lear n in g .   Fo r   v i s u al  d ata,   p r ep r o ce s s in g   in c lu d es:     Face   d etec tio n   an d   cr o p p in g ,     Facial  lan d m ar k   ali g n m e n t ,     I llu m in a tio n   n o r m aliza tio n ,     Fra m r esizi n g .   Ma th e m atica ll y ,   th tr a n s f o r m atio n   ca n   b d escr ib ed   as:     = ( )         w h er Φ ( )   r ep r esen ts   t h co m p o s ite  p r ep r o ce s s in g   o p er ato r .   B eh av io r al  f ea t u r es  u n d er g o   n o r m al izatio n   u s i n g   m i n - m ax   s ca lin g :     ̂ = m i n   ( ) m ax ( ) m i n   ( )       th is   s tep   p r ev en t s   m o d alit y   d o m i n an ce   d u r i n g   f u s io n   an d   i m p r o v es c o n v er g e n ce   s tab il it y   d u r in g   tr ain in g .     3 . 2 . 3 .   Dee f ea t ure  ex t ra ct io n a nd   t e m po ra m o delin g   mo du le   T h is   m o d u le  p er f o r m s   h ier ar c h ical  r ep r esen tatio n   lear n i n g   f r o m   s p atial  an d   te m p o r al  p atte r n s .   a.   Sp atial  f ea t u r ex tr ac tio n   E ac h   n o r m alize d   f r a m e   is   p ass ed   th r o u g h   C NN  b ac k b o n to   o b tain   h ig h - d i m en s io n a l   e m b ed d in g s :     =  ( )         w h er   en co d es f ac ia l e x p r ess i o n s ,   g az o r ien tat io n   cu e s ,   an d   h ea d   p o s tu r f ea t u r es.   b.   Mu lti - m o d al  f u s io n   T h s p atial  e m b ed d in g   i s   co n c aten ated   w it h   b eh av io r al  an d   p o s e - r elate d   f ea t u r es:     = [ , , , ̂ ]         th is   f u s ed   v ec to r   in teg r ate s   ap p ea r an ce - b ased   an d   in ter ac tio n - b a s ed   s ig n al s .   c.   T em p o r al  m o d elin g   Giv e n   th at  atten t iv e n es s   ex h i b its   te m p o r al  co n tin u i t y ,   s eq u en t ial  m o d elin g   is   p er f o r m e d   u s in g   a   L ST n et w o r k :     =  ( , 1 )         th h id d en   s tate    ca p tu r es lo n g - r an g d ep en d en cie s   an d   atte n tio n   tr an s itio n s   o v er   ti m e.     3 . 2 . 4 .   At t ent iv eness   s co r ing   a nd   a na ly t ics  m o d ule   T h f in al  m o d u le  co n v er t s   te m p o r al  e m b ed d in g s   i n to   in te r p r etab le  atten tiv e n es s   m e tr ic s .   Fra m e - lev el  atte n ti v en e s s   p r o b ab ilit y   is   co m p u ted   as:   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J   R ec o n f i g u r ab le  &   E m b ed d ed   Sy s t     I SS N:   2089 - 4864       A   r ea l - time  mu lti - mo d a l d ee p   lea r n in g   fr a mewo r fo r   s tu d en t a tten tiven ess     ( R a ja s ek a r a n   Ma r is w a my )   455   = ( + )       w h er σ ( )   d en o tes th s i g m o i d   ac tiv atio n   f u n ctio n .   Ses s io n - lev el  at ten t iv e n es s   s c o r is   o b tain ed   v ia  te m p o r al  ag g r e g atio n :     = 1 = 1       to   r ed u ce   s to ch asti f l u ctu a tio n s ,   ex p o n e n tia l s m o o t h i n g   i s   a p p lied :     = + ( 1 ) 1         th r esu lti n g   m etr ics ar v is u al ized   th r o u g h   an   i n s tr u cto r   an al y tics   d as h b o ar d ,   d is p lay i n g :     R ea l - ti m atten tiv e n es s   p er ce n tag e ,     A tte n tio n   f lu ct u atio n   cu r v es ,     Dis tr ac ted   d u r atio n   i n ter v al s ,     C las s - lev el  a g g r e g ated   s tati s ti cs .     3 . 3 .   M ulti - m o da l f ea t ure  f us io n   T o   ef f ec ti v el y   in teg r ate  h eter o g en eo u s   s ig n al s   d er iv ed   f r o m   v is u al  ap p ea r an ce ,   g az d y n a m ics,  h ea d   p o s o r ien tatio n ,   an d   b eh av io r al  in ter ac tio n   p atter n s ,   s tr u ctu r ed   m u lti - m o d al  f ea t u r e   f u s io n   s tr ateg y   is   e m p lo y ed .   T h p u r p o s o f   th is   s tag is   to   g e n er ate   u n i f ied   laten r ep r esen t atio n   t h at  ca p t u r es  co m p le m e n tar y   cr o s s - m o d al   in f o r m atio n   w h ile   m a in ta i n in g   d i s cr i m in at iv e   ca p ab ilit y   f o r   atten tiv e n e s s   class i f icatio n .   L et  t h ex tr ac ted   f ea tu r es a t t i m s tep   t b d ef in ed   as :       : d ee p   s p atial  v is u a l e m b ed d in g   o b tain ed   f r o m   t h C NN  b ac k b o n e ,       : e y g az f ea t u r v ec to r ,       : h ea d   p o s r ep r esen tatio n ,       _ : n o r m alize d   b eh a v io r al  f ea t u r v ec to r .   T h f ir s t f u s io n   s tr ate g y   ad o p ts   ea r l y   f u s io n   t h r o u g h   d ir ec t c o n ca ten atio n :     = [ , , , ̂ ]         T h d im e n s io n alit y   o f   t h f u s e d   v ec to r   b ec o m es:           w h er e:     = + + +       T h is   co n ca ten ated   r ep r esen tat io n   p r eser v es  f u ll  m o d ali t y - s p ec if ic  i n f o r m atio n   an d   e n ab les  s u b s eq u e n la y er s   ( e. g . ,   L ST M)   to   lear n   in ter - m o d al  d ep en d en cie s   i m p lic itl y .   Ho w e v er ,   d ir ec co n ca ten a tio n   m a y   in tr o d u ce   s ca le  i m b ala n ce   o r   m o d alit y   d o m in a n ce   i f   n o t p r o p er ly   r eg u l ar ized .   T o   ad d r ess   p o ten tial  m o d alit y   i m b ala n ce   an d   allo w   ad ap tiv co n tr ib u tio n   f r o m   ea ch   m o d ali t y ,   w ei g h ted   f u s io n   f o r m u la tio n   is   in tr o d u c ed .   I n   th is   f o r m u latio n ,   ea ch   m o d alit y   is   s c aled   b y   lear n ab le   co ef f icie n t:       = + +       + + = 1 , , , 0         T h co ef f icien t s   α ,   β,   an d   γ   ar lear n ed   d u r in g   m o d el  tr ain i n g   t h r o u g h   b ac k p r o p ag ati o n .   T o   en s u r th e   s u m m atio n   c o n s tr ai n t,  th w e i g h t s   ar p ar a m eter ized   u s i n g   a   s o f t m ax   f u n ct io n :     [ , , ] =   ( [ , , ] )         w h er , ,   an d     ar u n co n s tr ai n ed   tr ain ab le  p ar a m eter s .   T h is   f o r m u latio n   e n s u r es:     C o n v ex   co m b i n atio n   o f   m o d al ities ,     Stab ilit y   d u r in g   o p ti m izat io n ,     A d ap tiv e m p h a s is   b ased   o n   f ea tu r d is cr i m in ati v s tr en g th .   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 9 - 4864   I n t J   R ec o n f i g u r ab le  &   E m b ed d ed   Sy s t ,   Vo l.  15 ,   No .   2 J u l y   202 6 450 - 4 6 0   456   3 . 4 .   T e m po ra m o delin g   u s i ng   lo ng   s ho rt - t er m   m e m o ry   A tte n ti v e n es s   is   i n h er en tl y   t e m p o r al  p h en o m e n o n s h o r t - t er m   f l u ct u atio n s   s u c h   as  b r ief   g az s h i f ts   o r   h ea d   m o v e m e n t s   s h o u ld   n o b e   in ter p r eted   as   d is en g a g e m en t.  T h er ef o r e,   tem p o r al  m o d elin g   i s   in co r p o r ated   to   ca p tu r s eq u en tial  d ep en d en cie s   ac r o s s   f u s e d   m u lti - m o d al  r ep r esen tatio n s .   A   L ST n et w o r k   is   e m p lo y ed   to   m o d el  te m p o r a l d y n a m ics a n d   s m o o t h   f r a m e - lev el  p r ed ictio n s .   Af ter   m u lt i - m o d al  f u s io n   ( s u b s ec tio n   3 . 3 ) ,   ea ch   f r a m t i s   r ep r esen ted   b y   f u s ed   f ea t u r v ec to r :           Fo r   tem p o r al  w in d o w   o f   le n g th   T T T ,   th in p u t seq u e n ce   is   d ef in ed   as:     = { 1 , 2 , , }       w h er e:   T   d en o tes  th s eq u en c len g t h   ( e. g . ,   3 0 6 0   f r am e s )   an d     is   th f u s ed   f ea t u r d im e n s io n alit y .   T h u s ,   th L ST r ec eiv es a n   i n p u t te n s o r :       ×       T h L ST n et w o r k   is   d esi g n ed   to   ad d r ess   th v an is h i n g   g r ad ien p r o b le m   in h er en i n   tr ad itio n al  R NNs.  I m ain tain s   m e m o r y   ce ll    th at  p r eser v es lo n g - ter m   co n tex t u al  i n f o r m atio n .   A t e ac h   ti m s tep   t,  th L ST p er f o r m s   th f o llo w i n g   o p er atio n s :     Fo r g et  g a te     = ( + 1 + )           I n p u g a te     = ( + 1 + )           C an d id ate  ce ll st a te     ̈ =  ( + 1 + )           C ell  s tate  u p d ate     = 1 + ̈           Ou tp u g ate     = ( + 1 + )         Hid d en   s tate  u p d ate     =  ( )       w h er e:       is   th h id d en   s tate ,       is   th m e m o r y   ce ll ,     σ( )   d en o tes th s i g m o id   ac tiv atio n ,       r ep r esen ts   ele m e n t - w i s m u ltip licatio n ,     , ,   ar tr ain ab le  p ar am eter s .   T h is   g ati n g   m ec h an i s m   en ab le s   s elec ti v m e m o r y   r ete n tio n   a n d   ad ap tiv te m p o r al  f il ter in g   o f   atten t io n   cu e s .   Fo r   n o tatio n al  co m p ac t n es s ,   th L ST u p d ate  m a y   b s u m m ar ized   as:     = ( + 1 + )         w h er th co m p o s ite  f u n ct io n   en ca p s u lates  all  g ati n g   o p e r atio n s   d escr ib ed   ab o v e.   T h h id d en   s tate    is   m ap p ed   to   atten tiv e n es s   p r o b a b ilit y   t h r o u g h   f u ll y   co n n ec te d   lay er .   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J   R ec o n f i g u r ab le  &   E m b ed d ed   Sy s t     I SS N:   2089 - 4864       A   r ea l - time  mu lti - mo d a l d ee p   lea r n in g   fr a mewo r fo r   s tu d en t a tten tiven ess     ( R a ja s ek a r a n   Ma r is w a my )   457   4.   RE SU L T   AND   DI SCUS SI O N   T h d atasets   e m p lo y ed   in   t h ex p er i m e n ts   ar th s tan d a r d   b e n ch m ar k   d ata s ets  f o r   th task   o f   d etec tin g   th e   p r o p o s ed   m u lti - m o d al  a tten tiv e n es s   as s es s m e n f r a m e w o r k   w as  i m p le m e n te d   u s i n g   P y th o n   3 . 1 0   an d   P y T o r ch   2 . 0   as  th p r im ar y   d ee p   lear n i n g   f r a m e w o r k .   Op en C 4 . 7   w as  e m p lo y ed   f o r   f ac d etec tio n   an d   f r a m p r ep r o ce s s in g ,   w h ile  N u m P y   a n d   P an d as  w er u s ed   f o r   s tr u ctu r ed   d ata  h an d li n g .   M o d el  ev alu atio n   a n d   s tatis t ical  m e tr ics  w er co m p u ted   u s i n g   Sci k it - lear n .   Vis u ali za tio n   o f   tr ain in g   cu r v es  a n d   p er f o r m a n ce   tr en d s   w a s   p er f o r m ed   u s i n g   Ma tp l o tlib   an d   Seab o r n .   T r ain in g   w as  ac ce ler ated   u s i n g   C U DA - e n ab led   GP co m p u tatio n .   A ll  e x p er i m e n ts   w er co n d u cted   o n   w o r k s ta tio n   eq u ip p ed   w i th   a n   NVI DI A   R T 3 0 6 0   G P U   ( 1 2   GB   VR AM ) ,   I n tel  C o r i7   ( 1 2 th   Gen )   p r o ce s s o r ,   3 2   GB   R A M,   r u n n i n g   Ub u n t u   2 2 . 0 4 .   T h av er ag tr ain i n g   ti m p er   ep o ch   w a s   ap p r o x im a tel y   7 . 8   m i n u tes,  r es u lti n g   i n   to tal  tr ain in g   d u r at io n   o f   r o u g h l y   6 . 5   h o u r s   f o r   5 0   ep o ch s .   Mo d el  p er f o r m an ce   w as  e v al u ated   u s i n g   s ta n d ar d   class if ica tio n   m etr ics  i n cl u d in g   ac cu r ac y ,   p r ec is io n ,   r ec all ,   F1 - s co r e,   an d   R OC - A U C .   T h ev alu a tio n   p r o to co in cl u d ed   tr ain i n g ,   v alid atio n ,   an d   in d ep en d en test i n g   s p lit s ,   alo n g   w it h   cr o s s - d ataset  v alid atio n   to   ass ess   g e n er aliza b ilit y .   T h o v er all   class i f icatio n   p er f o r m a n ce   ac r o s s   tr ain i n g ,   v alid atio n ,   an d   te s t sp lits   i s   p r esen ted   i n   T ab le  1 .       T ab le  1 Ov er all  class i f icatio n   p er f o r m a n ce   M e t r i c   T r a i n i n g   V a l i d a t i o n   T e st   A c c u r a c y   ( %)   9 6 . 8   9 3 . 7   9 2 . 9   P r e c i si o n   ( %)   9 5 . 9   9 2 . 8   9 1 . 6   R e c a l l   ( %)   9 7 . 4   9 3 . 1   9 2 . 3   F1 - s c o r e   ( %)   9 6 . 6   9 2 . 9   9 1 . 9   R O C - A U C   0 . 9 8 2   0 . 9 5 6   0 . 9 4 8       As  o b s er v ed   in   T ab le  1 ,   th p r o p o s ed   m o d el  ac h iev e s   test   ac cu r ac y   o f   9 2 . 9 w it h   h ig h   R O C - A U C   o f   0 . 9 4 8 ,   in d icatin g   s tr o n g   d is cr i m i n ativ ca p ab ilit y .   T h m ar g i n al  g ap   b et w ee n   tr ain i n g   an d   v alid atio n   p er f o r m a n ce   co n f ir m s   m i n i m a l o v er f itti n g .   T h co n f u s io n   m atr ix   f o r   th te s t d ataset  i s   s h o w n   i n   T ab le  2 .       T ab le  2 C o n f u s io n   m atr i x   ( tes t set)     P r e d i c t e d   a t t e n t i v e   P r e d i c t e d   i n a t t e n t i v e   A c t u a l   a t t e n t i v e   6 , 4 8 2   5 2 3   A c t u a l   i n a t t e n t i v e   6 0 2   4 , 1 9 7       T ab le  2   d em o n s tr ates  t h at  f alse  n e g ati v es  ar r elati v el y   lo w ,   w h ich   is   cr itical  i n   at ten ti v en e s s   m o n ito r i n g   s y s te m s   w h er m is s ed   en g a g e m e n d etec tio n   c an   d is to r an al y tic s .   T o   ev alu ate  r o b u s tn es s ,   th e   tr ain ed   m o d el  w as tes ted   o n   th DA i SEE   d ataset  w it h o u f i n e - t u n i n g .   T h r esu lts   ar s u m m ar ized   in   T ab le  3 .       T ab le  3 .   C r o s s - d ataset  p er f o r m an ce   o n   D A iSEE   M e t r i c   P r o p o se d   mo d e l   A c c u r a c y   ( %)   8 8 . 6   P r e c i si o n   ( %)   8 7 . 9   R e c a l l   ( %)   8 6 . 3   F1 - s c o r e   ( %)   8 7 . 1   R O C - A U C   0 . 9 1 2       As  s h o w n   in   T ab le  3 ,   th m o d el  m a in ta in s   an   ac cu r ac y   o f   8 8 . 6 d esp ite  d o m ain   s h i f t,   d em o n s tr ati n g   s tr o n g   g e n er a lizatio n   ca p ac it y .   T o   q u an ti f y   t h co n tr ib u tio n   o f   ea c h   m o d ali t y ,   ab latio n   ex p er i m e n ts   w er co n d u cted .   T h co m p ar ativ r es u lt s   ar p r esen ted   i n   T ab le  4 .       T ab le  4 .   Mo d ality   co n tr ib u tio n   an al y s is   M o d e l   v a r i a n t   A c c u r a c y   ( %)   F 1   ( %)   R O C - A U C   C N N   o n l y   ( v i su a l )   8 4 . 3   8 3 . 5   0 . 8 7 2   C N N + L S T M   8 7 . 9   8 6 . 8   0 . 9 0 3   V i su a l + b e h a v i o r a l   8 9 . 2   8 8 . 5   0 . 9 2 1   V i su a l + b e h a v i o r a l + p o se   9 1 . 4   9 0 . 8   0 . 9 3 6   F u l l   mu l t i - mo d a l   ( p r o p o se d )   9 2 . 9   9 1 . 9   0 . 9 4 8   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 9 - 4864   I n t J   R ec o n f i g u r ab le  &   E m b ed d ed   Sy s t ,   Vo l.  15 ,   No .   2 J u l y   202 6 450 - 4 6 0   458   T ab le  4   clea r ly   in d icate s   t h a m u lti - m o d al  f u s io n   i m p r o v es  F1 - s co r b y   8 . 4 co m p a r ed   to   th e   v is u al - o n l y   b ase lin e,   co n f ir m in g   t h e f f ec tiv e n es s   o f   f ea t u r e - le v el  in te g r atio n .   T h in f lu en ce   o f   s eq u e n ce   len g th   o n   m o d el  p er f o r m a n ce   is   ill u s tr ated   i n   T ab le  5 .   A s   s h o w n   i n   T ab le  5 ,   p e r f o r m a n c s tab ilizes  b e y o n d   4 5   f r a m es,  i n d icati n g   d i m in i s h in g   r et u r n s   f o r   lo n g er   s eq u e n ce s .   T h co m p u tatio n al  late n c y   o f   ea c h   m o d u le   is   s u m m ar ized   in   T ab le  6 .       T ab le  5 E f f ec t o f   te m p o r al  s e q u en ce   le n g t h   S e q u e n c e   l e n g t h   ( f r a me s)   A c c u r a c y   ( %)   F 1   ( %)   10   8 8 . 1   8 7 . 4   20   9 0 . 6   8 9 . 9   30   9 1 . 8   9 1 . 0   45   9 2 . 7   9 1 . 7   60   9 2 . 9   9 1 . 9     T ab le  6 R ea l - ti m la ten c y   an a l y s i s   C o mp o n e n t   A v g   t i me   ( ms)   F a c e   d e t e c t i o n   9 . 4   C N N   f e a t u r e   e x t r a c t i o n   1 4 . 7   F u si o n + L S T M   6 . 2   P r o b a b i l i t y   o u t p u t   1 . 3   T o t a l   p e r   f r a me   3 1 . 6         T ab le  6   c o n f ir m s   t h at  t h s y s t e m   p r o ce s s es   f r a m es  a ap p r o x i m atel y   3 0   FP S,  m a k i n g   it  s u itab le  f o r   liv clas s r o o m   d ep lo y m e n t.   T h 5 - s ec o n d   d ash b o ar d   u p d ate  w i n d o w   r ed u ce s   p r ed ictio n   n o is b y   ap p r o x im a tel y   1 7 %.  Fro m   h ar d w ar d ep lo y m e n p er s p ec tiv e,   th ac h ie v ed   av er ag laten c y   o f   3 1 . 6   m s   p er   f r a m s a tis f ies  r ea l - ti m co n s t r ain ts   f o r   em b ed d ed   ed g d ev ices.  T o   co n tex tu alize   p er f o r m an ce ,   th p r o p o s ed   m o d el  w a s   co m p ar ed   w it h   r ep r esen tati v p r io r   w o r k s .   T h co m p ar is o n   is   s h o w n   in   T ab le  7 .   As  in d icate d   i n   Fi g u r 1 ,   th p r o p o s ed   f r a m e w o r k   ac h iev e s   th h ig h est  ac c u r ac y   w h i le  m ain tai n i n g   r ea l - ti m ca p ab ilit y ,   o u tp er f o r m i n g   p r io r   ap p r o ac h es  b y   m ar g in   o f   4 1 0 %.   C o m p ar ed   w ith   p r io r   w o r k ,   th p r o p o s ed   f r a m e w o r k   ac h iev e s   s u p er io r   p r ed ictiv p er f o r m an ce   an d   o p er atio n al  p r ac ticalit y ,   m ak i n g   it s u itab le   f o r   in telli g e n t c las s r o o m   an al y tics   s y s te m s .       T ab le  7 C o m p ar is o n   w i th   e x i s tin g   m et h o d s   M e t h o d   M o d a l i t i e s   D a t a se t   A c c u r a c y   ( %)   F 1   ( %)   R e a l - t i me   c a p a b l e   C N N - b a se d   e n g a g e me n t   [ 6 ]   V i su a l   o n l y   D A i S EE   8 2 . 4   8 1 . 7   No   L S T M   f a c i a l   b e h a v i o r   [ 1 0 ]   V i su a l + t e mp o r a l   D A i S EE   8 5 . 9   8 5 . 1   P a r t i a l   M u l t i - mo d a l   a t t e n t i o n   mo d e l   [ 8 ]   V i su a l + a u d i o   C u s t o m   8 8 . 3   8 7 . 6   No   P r o p o se d   f r a me w o r k   V i su a l + b e h a v i o r a l + t e mp o r a l   D A i S EE   9 2 . 9   9 1 . 9   Y e s           Fig u r 1 .   A cc u r ac y   co m p ar is o n       5.   CO NCLU SI O N   T h is   w o r k   p r esen ted   a   r ea l - ti m m u lti - m o d al  at ten ti v e n es s   ass es s m en f r a m e w o r k   f o r   i n telli g e n t   o n lin lear n in g   en v ir o n m e n ts .   T h p r o p o s ed   a r ch itectu r in t eg r ates  v i s u a l,  b eh av io r al,   an d   tem p o r al  f ea t u r es  th r o u g h   s tr u ct u r ed   p ip elin co m p r is in g   d ata  ac q u i s itio n ,   p r ep r o ce s s in g ,   d ee p   f ea t u r ex tr ac tio n ,   te m p o r al   m o d eli n g   u s i n g   L ST M,   an d   w eig h ted   f ea t u r f u s io n   f o r   f in al  atten tiv e n e s s   s co r in g .   B y   m o d eli n g   b o th   in s ta n ta n eo u s   c u es  a n d   s eq u e n tial  b e h av io r al  d y n a m ic s ,   t h s y s te m   ca p t u r es  s u s tai n ed   e n g a g e m en p atte r n s   r ath er   th a n   r el y in g   s o lel y   o n   f r a m e - le v el  p r ed ictio n s .   E x p er i m en tal  r es u lts   d e m o n s tr ated   s t r o n g   p er f o r m a n ce ,   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J   R ec o n f i g u r ab le  &   E m b ed d ed   Sy s t     I SS N:   2089 - 4864       A   r ea l - time  mu lti - mo d a l d ee p   lea r n in g   fr a mewo r fo r   s tu d en t a tten tiven ess     ( R a ja s ek a r a n   Ma r is w a my )   459   ac h iev in g   9 2 . 9 test   ac cu r ac y   an d   9 1 . 9 F1 - s co r o n   th i n - h o u s d ataset.   C r o s s - d ata s et   ev alu atio n   f u r t h er   v alid ated   g e n er aliza tio n   ca p a b ilit y   u n d er   d o m ain   s h if co n d itio n s .   A b lat io n   s t u d ies  co n f ir m ed   t h at  m u lti - m o d al  f u s io n   s i g n i f ican tl y   i m p r o v es  p r ed ictiv p er f o r m a n ce   co m p ar ed   to   u n i m o d al  ap p r o ac h es,  w h ile   te m p o r al  m o d elin g   r ed u ce s   f alse  d is en g a g e m e n d etec tio n .   R ea l - ti m late n c y   a n al y s is   s h o w ed   an   a v er ag p r o ce s s in g   ti m o f   ap p r o x i m at el y   3 1 . 6   m s   p er   f r am e,   en ab li n g   d ep lo y m en at  n ea r l y   3 0   FP in   liv class r o o m   s ce n ar io s .   C o m p ar ed   w it h   ex is t in g   ap p r o ac h es,  t h p r o p o s ed   f r a m e w o r k   o f f er s   i m p r o v ed   ac cu r ac y ,   r o b u s tn es s   to   e n v ir o n m e n tal   v ar iatio n s ,   a n d   p r ac tical  r ea l - ti m o p er ab ilit y .   Fu t u r w o r k   w ill  f o cu s   o n   in te g r atin g   tr an s f o r m er - b ased   te m p o r al  en co d er s ,   in co r p o r atin g   ad d itio n al  m o d alities   s u ch   as  a u d io   cu es,   en h a n ci n g   f air n e s s   th r o u g h   m o r d iv er s d ataset s ,   an d   d ev elo p in g   lig h t w ei g h ed g e - d ep lo y ab le  v er s io n s .   E x p lain ab le  A I   tech n iq u e s   w il also   b ex p lo r ed   to   i m p r o v in ter p r etab ilit y   a n d   tr a n s p ar en c y   o f   atten tiv e n e s s   p r ed ictio n s .       F UNDIN G   I NF O RM AT I O N   Au t h o r s   s tate  n o   f u n d i n g   i n v o l v ed .       AUTHO CO NT RIB UT I O NS ST A T E M E NT   T h is   jo u r n al  u s e s   th C o n tr ib u to r   R o les  T ax o n o m y   ( C R ed iT )   t o   r ec o g n ize  in d i v id u al  au t h o r   co n tr ib u tio n s ,   r ed u ce   au t h o r s h ip   d is p u tes,  an d   f ac ilit ate  co lla b o r atio n .     Na m o f   Aut ho r   C   M   So   Va   Fo   I   R   D   O   E   Vi   Su   P   Fu   R aj asek ar an   Ma r is w a m y                               P . V.   P r av ee n   Su n d ar                                 C     C o n c e p t u a l i z a t i o n   M     M e t h o d o l o g y   So     So f t w a r e   Va     Va l i d a t i o n   Fo     Fo r mal   a n a l y si s   I     I n v e st i g a t i o n   R     R e so u r c e s   D   :   D a t a   C u r a t i o n   O   :   W r i t i n g   -   O r i g i n a l   D r a f t   E   :   W r i t i n g   -   R e v i e w   &   E d i t i n g   Vi     Vi su a l i z a t i o n   Su     Su p e r v i si o n   P     P r o j e c t   a d mi n i st r a t i o n   Fu     Fu n d i n g   a c q u i si t i o n         CO NF L I C T   O F   I N T E R E S T   ST A T E M E NT   Au t h o r s   s tate  n o   co n f lic t o f   i n t er est.       DATA AV AI L AB I L I T Y   Data   av ailab ilit y   is   n o ap p licab le  to   th is   p ap er   as  n o   n ew   d ata  w er cr ea ted   o r   an aly ze d   in   th i s   s tu d y .       RE F E R E NC E S   [ 1 ]   L .   Q .   T h a o   e t   a l . ,   M o n i t o r i n g   a n d   i mp r o v i n g   s t u d e n t   a t t e n t i o n   u s i n g   d e e p   l e a r n i n g   a n d   w i r e l e ss  se n so r   n e t w o r k s,”   S e n so rs   a n d   Ac t u a t o r s A :   Ph y si c a l ,   v o l .   3 6 7 ,   2 0 2 4 ,   d o i :   1 0 . 1 0 1 6 / j . sn a . 2 0 2 4 . 1 1 5 0 5 5 .   [ 2 ]   R .   U p a d h y a y   e t   a l . ,   El e c t r o e n c e p h a l o g r a D a t a   C o l l e c t i o n   f o r   S t u d e n t   E n g a g e me n t   A n a l y si w i t h   A u d i o - V i su a l   C o n t e n t ,   b i o Rx i v ,   p p .   2 0 2 2 2 0 2 9 ,   2 0 2 2 .   [ 3 ]   D .   W .   P u t w a i n ,   S .   B e c k e r ,   W .   S y me s,   a n d   R .   P e k r u n ,   R e c i p r o c a l   r e l a t i o n s   b e t w e e n   st u d e n t s’   a c a d e mi c   e n j o y men t ,   b o r e d o m,  a n d   a c h i e v e me n t   o v e r   t i me ,   L e a r n i n g   a n d   I n st r u c t i o n ,   v o l .   5 4 ,   p p .   7 3 8 1 ,   2 0 1 8 ,   d o i :   1 0 . 1 0 1 6 / j . l e a r n i n s t r u c . 2 0 1 7 . 0 8 . 0 0 4 .   [ 4 ]   E.   H a a t a j a ,   V .   S a l o n e n ,   A .   L a i n e ,   M .   T o i v a n e n ,   a n d   M .   S .   H a n n u l a ,   T h e   R e l a t i o n   B e t w e e n   T e a c h e r - S t u d e n t   Ey e   C o n t a c t   a n d   T e a c h e r s’   I n t e r p e r so n a l   B e h a v i o r   D u r i n g   G r o u p   W o r k :   a   M u l t i p l e - P e r so n   G a z e - T r a c k i n g   C a se   S t u d y   i n   S e c o n d a r y   M a t h e ma t i c s   Ed u c a t i o n ,   E d u c a t i o n a l   P syc h o l o g y   Re v i e w ,   v o l .   3 3 ,   n o .   1 ,   p p .   5 1 6 7 ,   2 0 2 1 ,   d o i :   1 0 . 1 0 0 7 / s1 0 6 4 8 - 0 2 0 - 0 9 5 3 8 - w.   [ 5 ]   M .   Z h a n g ,   Ed u c a t i o n a l   P sy c h o l o g y   A n a l y si M e t h o d   f o r   Ex t r a c t i n g   S t u d e n t s’   F a c i a l   I n f o r mat i o n   B a se d   o n   I mag e   B i g   D a t a ,   O c c u p a t i o n a l   T h e r a p y   I n t e r n a t i o n a l ,   p p .   1 1 1 ,   2 0 2 2 ,   d o i :   1 0 . 1 1 5 5 / 2 0 2 2 / 8 7 0 9 5 9 1 .   [ 6 ]   B .   E.   Z a k k a   a n d   H .   V a d a p a l l i ,   Es t i m a t i n g   S t u d e n t   L e a r n i n g   A f f e c t   U si n g   F a c i a l   Emo t i o n s   ,   i n   2 0 2 0   2 n d   I n t e r n a t i o n a l   Mu l t i d i sc i p l i n a ry   I n f o rm a t i o n   T e c h n o l o g y   a n d   En g i n e e r i n g   C o n f e r e n c e   ( I MIT EC ) ,   K i mb e r l e y ,   S o u t h   A f r i c a :   I EEE,   2 0 2 0 ,   p p .   1 6 d o i :   1 0 . 1 1 0 9 / I M I T EC 5 0 1 6 3 . 2 0 2 0 . 9 3 3 4 0 7 5 .   [ 7 ]   Y .   X i o n g ,   G .   X i n y a ,   a n d   J.   X u ,   C N N - T r a n sf o r mer:   A   d e e p   l e a r n i n g   me t h o d   f o r   a u t o ma t i c a l l y   i d e n t i f y i n g   l e a r n i n g   e n g a g e me n t ,   Ed u c a t i o n   a n d   I n f o rm a t i o n   T e c h n o l o g i e s ,   v o l .   2 9 ,   n o .   8 ,   p p .   9 9 8 9 1 0 0 0 8 ,   2 0 2 4 ,   d o i :   1 0 . 1 0 0 7 / s1 0 6 3 9 - 0 2 3 - 1 2 0 5 8 - z.   [ 8 ]   N .   X i e ,   Z .   L i u ,   Z .   L i ,   W .   P a n g ,   a n d   B .   L u ,   S t u d e n t   e n g a g e me n t   d e t e c t i o n   i n   o n l i n e   e n v i r o n me n t   u si n g   c o m p u t e r   v i si o n   a n d   m u l t i - d i me n s i o n a l   f e a t u r e   f u s i o n ,   Mu l t i m e d i a   S y s t e m s ,   v o l .   2 9 ,   n o .   6 ,   p p .   3 5 5 9 3 5 7 7 ,   2 0 2 3 ,   d o i :   1 0 . 1 0 0 7 / s 0 0 5 3 0 - 0 2 3 - 0 1 1 5 3 - 3.   [ 9 ]   T .   S a t h y a ,   J.  A .   B a r a k k a ,   V .   V a l a r mat h i ,   A .   J.  B e r l i n d a ,   A .   S .   G .   V a r sh a ,   a n d   K .   D h i v y a d h a r sh i n i ,   A ssessme n t   o f   S t u d e n t   A t t e n t i v e n e ss  i n   C l a ssr o o En v i r o n me n t   U si n g   D e e p   L e a r n i n g ,   i n   2 0 2 3   I n t e rn a t i o n a l   C o n f e r e n c e   o n   C i r c u i t   P o w e a n d   C o m p u t i n g   T e c h n o l o g i e s   ( I C C PC T ) ,   K o l l a m,  I n d i a :   I EEE,   2 0 2 3 ,   p p .   2 6 30 ,   d o i :   1 0 . 1 1 0 9 / I C C P C T 5 8 3 1 3 . 2 0 2 3 . 1 0 2 4 5 1 9 4 .   Evaluation Warning : The document was created with Spire.PDF for Python.