I nte rna t io na l J o urna l o f   I nfo rm a t ics a nd   Co m m un ica t io n T ec hn o lo g y   ( I J - I CT )   Vo l.  15 ,   No .   3 ,  Sep tem b er   20 26 ,   p p .   9 3 5 ~ 9 4 3   I SS N:  2252 - 8 7 7 6 ,  DOI :  1 0 . 1 1 5 9 1 /iji ct . v15 i 3 . pp 935 - 9 4 3          935       J o ur na l ho m ep a g e :  h ttp : //ij ict. ia esco r e. co m   Cro ss - mo da l atte ntion fusio n  using  vis io n t ra nsfo rm ers  for  ro bust stud ent  att entivenes s es tima tion       Ra j a s ek a r a n  M a riswa m y ,  P ra v ee n Sun da r   D e p a r t me n t   o f   C o mp u t e r   S c i e n c e ,   A d h i p a r a s a k t h i   C o l l e g e   o f   A r t s   a n d   S c i e n c e ,   T h i r u v a l l u v a r   U n i v e r si t y ,   V e l l o r e ,   I n d i a       Art icle  I nfo     AB S T RAC T   A r ticle  his to r y:   R ec eiv ed   J u n   2 1 ,   2 0 2 4   R ev is ed   Ap r   2 2 ,   2 0 2 6   Acc ep ted   Ma y   7 ,   2 0 2 6       Au to m a ted   st u d e n t  a tt e n t iv e n e ss   e stim a ti o n   is   a   fu n d a m e n tal  c o m p o n e n t  o f   in telli g e n t  e - lea rn i n g   sy ste m s  a n d   a d a p ti v e   c las sro o m   a n a l y ti c s.  Trad it io n a l   c o n v o lu ti o n a l  a n d   re c u rre n t  a rc h i tec tu re s  o ften   str u g g le  to   m o d e l  l o n g - ra n g e   tem p o ra l  d e p e n d e n c ies   a n d   c o m p lex   in ter - m o d a l  re latio n sh i p s  i n h e re n t   in   e n g a g e m e n t  b e h a v io r .   T o   a d d re s s  th e se   li m it a ti o n s,   th is   p a p e r  p ro p o se s  a   c ro ss - m o d a l  a tt e n ti o n   fu si o n   fra m e wo rk   b u il t   u p o n   a   v isi o n   tr a n sfo rm e r  (ViT)   b a c k b o n e   fo r   ro b u st  st u d e n t  a tt e n ti v e n e ss   e stim a ti o n .   T h e   p ro p o se d   a rc h it e c tu re   lev e ra g e s  p a tch - b a se d   v isu a l  e n c o d i n g   th ro u g h   a   ViT  to   c a p tu re   g lo b a l  sp a ti a l  d e p e n d e n c ies ,   wh i le  b e h a v io ra l  c u e s  su c h   a s  g a z e   d irec ti o n ,   h e a d   p o se ,   a n d   b li n k   d y n a m ics   a re   e m b e d d e d   i n to   a   sh a r e d   late n t   re p re se n tatio n   s p a c e .   A  c ro ss - m o d a l  m u lt i - h e a d   a tt e n ti o n   m e c h a n ism   is  in tro d u c e d   to   d y n a m ica ll y   lea rn   in tera c ti o n s   b e twe e n   v isu a l   a n d   b e h a v i o ra l   m o d a li ti e s,  re p lac in g   sta ti c   we ig h ted   fu si o n   stra teg ies .   Tem p o ra l   d y n a m ics   a re   m o d e led   u si n g   a   Tran sfo rm e r  e n c o d e r,   e n a b li n g   e ffe c ti v e   l o n g - ra n g e   se q u e n c e   m o d e li n g   wi th o u t  re c u r re n t  d e p e n d e n c ies .   E x p e rime n tal  e v a lu a ti o n   o n   a   b e n c h m a rk   a tt e n t iv e n e ss   d a tas e t  d e m o n stra tes   su p e rio r  p e rfo rm a n c e   c o m p a re d   to   CNN – LS T M - b a se d   m o d e ls,  a c h iev i n g   imp ro v e d   a c c u ra c y ,   F 1 - sc o re ,   a n d   ro b u st n e ss   u n d e r  c h a l len g i n g   li g h t i n g   a n d   o c c lu sio n   c o n d it io n s .   Ab latio n   stu d ies   v a li d a te  th e   c o n tri b u t io n   o f  c ro ss - m o d a l   a tt e n ti o n   a n d   tran sfo rm e r - b a se d   tem p o ra l   m o d e li n g .   Th e   p r o p o se d   fra m e wo rk   m a in tain s   re a l - ti m e   fe a sib il it y   wh i le sig n ifi c a n tl y   e n h a n c i n g   d isc rimin a ti v e   c a p a b il it y .   K ey w o rd s :   C ar d io v ascu lar   d is ea s e   Dee p   lear n in g   E ch o ca r d i o g r am   im a g in g   Io T   Pre d ictio n   VGNet - C NN   T h is i s  a n   o p e n   a c c e ss   a rticle   u n d e r th e   CC B Y - SA   li c e n se .     C o r r e s p o nd ing   A uth o r :   R ajasek ar an   Ma r is wam y   Dep ar tm en t o f   C o m p u ter   Scie n ce ,  Ad h ip a r asak th i Co lleg e  o f   Ar ts   an d   Scien ce ,  T h ir u v allu v ar   Un iv er s ity   Vello r e ,   I n d ia    E m ail:  m ar ajasek ar an @ g m ail. co m       1.   I NT RO D UCT I O N   C ar d io v ascu lar   d is ea s es  ( C VDs)  r em ain   th e  lea d in g   ca u s e  o f   d ea th   g l o b ally ,   ac c o u n ti n g   f o r   an   esti m ated .   T h e  r ap id   ex p an s io n   o f   o n lin e  ed u ca tio n   an d   v i r tu al  class r o o m s   h as f u n d am en t ally   tr an s f o r m ed   th e   lan d s ca p e  o f   teac h in g   an d   lear n in g .   Ma s s iv e  o p en   o n lin e  c o u r s es  ( MO OC s ) ,   h y b r id   i n s tr u ctio n al  m o d els,  a n d   f u lly   r em o te  a ca d em ic  p r o g r am s   h av e  en a b led   s ca lab le   ac ce s s   to   ed u ca tio n   ac r o s s   g eo g r a p h ical  an d     s o cio - ec o n o m ic  b o u n d a r ies.  Ho wev er ,   th is   d ig ital  tr an s f o r m atio n   h as  also   in tr o d u ce d   a   cr i tical  ch allen g e:  th e   d if f icu lty   o f   m o n ito r in g   s tu d en t  atten tiv en ess   in   t h e  ab s e n ce   o f   p h y s ical  class r o o m   s u p er v is io n   [ 1 ] - [ 3 ] .     Un lik e  tr ad itio n al   in - p e r s o n   en v ir o n m en ts   wh er e   in s tr u ct o r s   ca n   o b s er v e   f ac ial  e x p r e s s io n s ,   p o s tu r e,   an d   b eh av io r al   cu es  to   g au g e   en g ag em en t,  o n lin e  p latf o r m s   o f ten   lack   r eliab le  m ec h an is m s   to   ass ess   wh eth er   lear n er s   ar e  atten tiv e,   d is tr ac ted ,   o r   d is e n g a g ed .   C o n s eq u en tly ,   au to m ated   atten tiv en ess   m o n ito r in g   h as   em er g ed   as  a  c r u cial  c o m p o n en t  o f   in tellig en t  e - lea r n in g   s y s tem s ,   en ab lin g   a d ap tiv e  co n ten t   d eliv er y ,   p er s o n alize d   f ee d b ac k ,   an d   d a ta - d r iv en   p ed ag o g ical  in ter v en tio n s   [ 4 ] - [ 6 ] .   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8 7 7 6   I n t J I n f   &   C o m m u n   T ec h n o l ,   Vo l.  15 ,   No .   3 ,  Sep tem b er   20 26 :  935 - 9 4 3   936   Stu d en t  atten tiv en e s s   is   in h er en tly   a  m u lti - d im en s io n al  co n s tr u ct  th at  m an if ests   th r o u g h   v is u al  an d   b eh av io r al   s ig n als  s u ch   as  g a ze   d ir ec tio n ,   h ea d   o r ien tatio n ,   f ac ial  m icr o - e x p r ess io n s ,   b li n k   r ate,   a n d   p o s tu r e   d y n am ics.  T h ese  s ig n als  ev o l v e  o v e r   tim e  a n d   i n ter ac t  in   c o m p lex   wa y s .   R ec en t  ad v a n ce s   in   co m p u ter   v is io n   an d   d ee p   lear n in g   h a v e  f ac ili tated   th e  d ev el o p m en t   o f   a u t o m ated   en g ag em en t   d etec tio n   s y s tem s ,   p r im ar ily   lev er ag in g   co n v o lu tio n al   n eu r al  n etwo r k s   ( C NNs)  f o r   s p atial  f ea tu r e  e x tr ac tio n   a n d   r ec u r r en t  n eu r al   n etwo r k s   ( R NNs),   p ar ticu lar ly   lo n g   s h o r t - ter m   m em o r y   ( L STM )   m o d els,   f o r   tem p o r al  m o d elin g .   W h ile  th ese   ar ch itectu r es  h av e  ac h iev ed   m o d er ate  s u cc ess ,   th ey   ex h ib it  n o tab le  lim itatio n s   wh en   ap p lied   to   th e  n u an ce d   task   o f   atten tiv en ess   esti m atio n   in   u n co n s tr ain ed   o n lin e   e n v i r o n m en ts   [ 7 ] - [ 9 ] .   C NN - b ased   ap p r o ac h es  ex c el  at  ca p tu r in g   lo ca l  s p atial  p atter n s   th r o u g h   h ier ar c h ic al  f ea tu r e  ex tr ac tio n .   Ho wev e r ,   th eir   in h er en t  in d u ctiv e  b ias  to war d   lo ca lity   r estricts  th eir   ab ilit y   to   m o d el  g lo b a l   co n tex tu al  r elatio n s h ip s   with in   an   im ag e.   E n g a g em en t - r ela ted   cu es  o f ten   r eq u ir e  h o lis tic  in ter p r etatio n ;  f o r   in s tan ce ,   s u b tle  co m b in atio n s   o f   ey e  g az e  d ev iatio n   an d   h ea d   p o s e  s h if ts   m ay   in d icate   co g n itiv e  d is en g ag em en t.  Stan d ar d   C NN  ar ch itectu r es  r ely   o n   p r o g r e s s iv ely   s tack ed   co n v o lu tio n al   f ilter s   to   en lar g e  th e   r ec ep tiv e  f ield ,   b u t  th is   p r o c ess   r em ain s   co n s tr ain ed   b y   s p atial  lo ca lity   an d   d ep th - d ep en d en t  ag g r eg atio n .   C o n s eq u en tly ,   C NN - b ased   s y s tem s   m ay   s tr u g g le  to   ca p tu r e  l o n g - r a n g e  s p atial  d e p en d e n cies  th at  ar e  ess en tial  f o r   r o b u s t a tten ti v en ess   in f er e n ce   [ 1 0 ] - [ 1 2 ] .   T o   ad d r ess   tem p o r al  d y n am i cs,  m an y   ex is tin g   w o r k s   in c o r p o r ate   L STM   o r   g ated   r ec u r r en t  u n it  ( GR U)   n etwo r k s .   R ec u r r en t   ar ch itectu r es  ar e  d esig n ed   to   p r o ce s s   s eq u en tial  d ata   b y   m ain tain in g   h id d en   s tates  th at  p r o p a g ate  in f o r m atio n   a cr o s s   tim e  s tep s .   Alt h o u g h   L STM s   m itig ate   th e   v an is h in g   g r ad ie n t  p r o b lem   r elativ e  to   v a n illa  R NNs,  th ey   s till   ex h ib it  lim itatio n s   in   m o d elin g   lo n g - r a n g e  d e p en d e n cies,  p ar ticu lar ly   in   ex ten d ed   v i d e o   s eq u en ce s .   T h e  s eq u e n tial  n atu r e  o f   r ec u r r e n ce   in tr o d u ce s   co m p u tatio n al  in ef f icien cies  an d   r estricts  p ar alleliza tio n   d u r in g   tr ain in g   [ 1 3 ] - [ 1 7 ] .   Mo r e o v er ,   th e  m em o r y   m ec h an is m   o f   L STM s   m ay   n o t  ef f ec tiv ely   c ap tu r e  co m p lex   tem p o r al  in ter ac tio n s   s p an n in g   lo n g   in ter v al s ,   esp ec ially   wh en   atten tiv en ess   p atter n s   f lu ctu at e  g r ad u ally   o v er   tim e.   As  a  r esu lt,  r ec u r r en t  m o d els  ca n   p r o d u ce   u n s tab le  o r   d elay ed   r esp o n s es to   s u b tle  en g ag em en t sh if ts .   T wo   co r e  ch allen g es  th er ef o r e  em er g e  in   atten tiv e n ess   esti m atio n :  ( 1 )   e f f ec tiv e  m o d elin g   o f   lo n g - r an g e  tem p o r al  d e p en d e n cies,  an d   ( 2 )   d y n am ic  in ter - m o d al  f ea tu r e  in ter ac tio n .   First,  atten tiv en ess   is   n o t  s o lely   d eter m in e d   b y   in s tan tan eo u s   b eh av io r   b u t   r ath er   b y   s u s tain ed   p atter n s   ac r o s s   ex ten d ed   tem p o r a l   win d o ws.  C ap tu r in g   th ese  p atter n s   r eq u ir es  ar ch itectu r es  ca p ab le  o f   g lo b al  tem p o r al   r ea s o n in g   with o u t   s eq u en tial  b o ttlen ec k s .   Seco n d ,   v is u al  an d   b eh av io r al  s ig n als  ar e  n o t  in d ep en d en t;  th ey   i n ter ac t  in   n o n - lin ea r   an d   co n tex t - s en s itiv e  way s .   A  r o b u s t  en g ag em en t  esti m atio n   s y s tem   m u s t  th er ef o r e  lear n   cr o s s - m o d al   r elatio n s h ip s   r ath er   th a n   t r ea ti n g   m o d alities   as is o lated   f ea tu r e  s tr ea m s   [ 1 8 ] - [ 2 1 ] .   T r an s f o r m e r - b ased   ar ch itect u r es  o f f er   a  p r i n cip led   s o l u tio n   to   th ese  ch allen g es.   Or ig in ally   in tr o d u ce d   in   n atu r al  lan g u ag e  p r o ce s s in g ,   th e  T r a n s f o r m er   r e p lace s   r ec u r r en ce   with   s elf - atten tio n   m ec h an i s m s   th at  d ir ec tly   m o d el  p air wis e  in ter ac tio n s   ac r o s s   s eq u en ce   elem e n ts .   Self - atten tio n   en ab les  g lo b al  d ep en d e n cy   m o d elin g   b y   co m p u tin g   r elev a n ce   s co r es  b etwe en   all  p o s itio n s   in   a  s eq u en ce   s im u ltan eo u s ly .   T h is   d esig n   elim in ates  s eq u en tial  co n s tr ain ts ,   im p r o v es  p ar a llelizatio n ,   an d   en h an ce s   lo n g - r an g e  d e p en d e n cy   ca p tu r e.   I n   co m p u ter   v is io n ,   th e  v is io n   tr an s f o r m er   ( ViT )   ex ten d s   th is   p ar ad i g m   b y   d iv id in g   im ag es  in to   p atch es  an d   p r o ce s s in g   t h em   as  to k en   s eq u en ce s ,   th e r eb y   en ab lin g   g lo b al  s p atial  atten tio n .   Un lik e  C NNs,  ViT s   d o   n o t  r ely   o n   lo ca lity - b iased   co n v o l u tio n al  f ilter s ;  in s tead ,   th ey   lear n   co n tex tu al  r elatio n s h ip s   ac r o s s   th e  en tire   im ag e  f r o m   th e  o u ts et  [ 2 2 ] - [ 2 5 ].   Mo tiv ated   b y   th ese  ad v an ta g e s ,   th is   p ap er   p r o p o s es  a  cr o s s - m o d al  atten tio n   f u s io n   f r am e wo r k   b u ilt  upon  ViT   f o r   r o b u s t  s tu d en t  atten tiv en ess   es tim atio n .   T h e  p r o p o s ed   ar ch itectu r e  r ep lace s   co n v en tio n al   co n v o l u tio n al  an d   r ec u r r en t  m o d u les  with   tr an s f o r m er - b a s ed   s p atial  an d   tem p o r al  m o d elin g   co m p o n en ts .   Vis u al  f r am es  ar e  p r o ce s s ed   th r o u g h   a  ViT   b ac k b o n e  to   c ap tu r e  g lo b al  s p atial  d ep en d e n cies.  B eh av io r al  f ea tu r es,  in clu d in g   g az e  d ir ec t io n ,   h ea d   p o s e,   an d   b lin k   d y n a m ics,  ar e  em b ed d e d   in to   a  s h a r ed   laten t  s p ac e.   A   cr o s s - m o d al  m u lti - h ea d   atten t io n   m ec h an is m   d y n am ically   l ea r n s   in ter ac tio n s   b etwe en   v is u al  an d   b e h av io r al  m o d alities ,   en ab lin g   ad a p tiv e   f ea tu r e   weig h tin g   b ased   o n   c o n tex tu al  r elev an ce .   T em p o r a l  d ep en d en cies  ar e   s u b s eq u en tly   m o d eled   u s in g   a  T r an s f o r m er   e n co d er ,   allo win g   co m p r eh en s iv e  s eq u e n ce - lev el  r ea s o n in g   with o u t r ec u r r en ce .       2.   L I T E R AT U RE   R E VI E W   Au to m ated   s tu d en t   atten tiv en ess   d etec tio n   h as  ev o lv e d   s ig n if ican tly   with   th e   g r o wth   o f   o n lin e  an d   h y b r id   lear n i n g   e n v ir o n m en ts .   E ar ly   r esear ch   p r im ar ily   f o cu s ed   o n   v is u al  o b s er v atio n   an d   b eh av io r al   an aly s is   with in   s tr u ctu r ed   class r o o m   s ettin g s .   Neg r o n   an d   Gr a v es  [ 1 ]   in tr o d u ce d   th e  class r o o m   atten tiv en ess   class if icatio n   to o l   ( C lass AC T ) ,   a  s y s tem   d esig n ed   to   ca teg o r ize  atten tiv en ess   lev els  u s in g   v is u al  m o n ito r in g   tech n iq u es .   T h eir   f r am ewo r k   d em o n s tr ated   th e  f ea s ib ilit y   o f   au to m ate d   e n g ag em e n t  class if icatio n ;  h o wev e r ,   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J I n f   &   C o m m u n   T ec h n o l     I SS N:   2252 - 8 7 7 6       C r o s s - mo d a l a tten tio n   f u s io n   u s in g   visi o n   tr a n s fo r mers   fo r   r o b u s t  s tu d en t  … ( R a ja s ek a r a n   Ma r is w a my )   937   it  r elied   o n   h a n d cr a f ted   f ea tu r es  an d   r u le - b ased   d ec is io n   m e ch an is m s ,   lim itin g   ad a p tab ilit y   in   u n c o n s tr ain ed   o n lin e  lear n in g   s ce n ar io s .   W ith   th e  in cr ea s in g   ad o p tio n   o f   e - lea r n in g   p latf o r m s ,   r ese ar ch   atten tio n   s h if ted   to war d   b eh av io r al   m o n ito r in g   i n   v ir tu al  en v ir o n m en ts .   R ev ad ek ar   et  a l.   [ 2 ]   p r o p o s ed   a  s y s tem   f o r   g au g i n g   s tu d en t  atten tio n   u s in g   f ac ial  d etec tio n   an d   ac ti v ity   t r ac k in g   i n   o n lin e  class r o o m s .   Alth o u g h   th eir   wo r k   em p h asized   co n tin u o u s   en g ag em e n t  m o n ito r in g ,   it  lack ed   ad v an ce d   tem p o r al  m o d elin g   s tr ateg ies.  Sh ah   et  a l.   [ 3 ]   f u r th e r   ex ten d e d   b eh av io r al  a n aly s is   b y   in c o r p o r atin g   g az e  d ir ec tio n ,   h ea d   o r ien tatio n ,   an d   f ac ial  ex p r ess io n s   to   ass ess   att en tiv en es s   d u r in g   e - lear n in g   s ess io n s .   W h ile  ef f ec tiv e  in   d em o n s tr atin g   th e  im p o r tan ce   o f   b eh av i o r al  cu es,   th e  s tu d y   em p lo y ed   c o n v e n tio n al  m ac h in e   lear n in g   cla s s if ier s   with o u t  m o d elin g   lo n g - r an g e  tem p o r al   d ep en d e n cies.   Su b s eq u en t  s tu d ies  e m p h asize d   f ac e - ba s ed   a n d   o cu lar   f ea tu r e  ex tr ac tio n   f o r   atten tiv e n ess   d etec tio n .   Pan d ey   et  a l.   [ 4 ]   i n tr o d u c ed   a  f ac e  d etec tio n - b ased   atten tiv en ess   m ea s u r e  tailo r ed   f o r   class r o o m   en v ir o n m en ts .   T h ei r   ap p r o ac h   f o cu s ed   o n   id e n tify in g   f ac ial  p r esen ce   an d   o r ien tatio n   b u t   r em ain ed   lim ited   to   f r am e - lev el   in f er e n ce .   Pai   et  a l.   [ 5 ]   u tili ze d   C NNs   f o r   r ea l - tim e  ey e   m o n ito r in g   to   d ete ct  d r o wsi n ess   an d  atten tiv en ess .   Alth o u g h   C NNs  im p r o v ed   s p atial  f ea tu r e  lea r n in g ,   t h eir   lo ca lity - b iased   a r ch itectu r e  r estricte d   g lo b al  co n tex tu al  m o d elin g .   Hea d   p o s e  esti m atio n   h as  also   b ee n   ex p lo r ed   as  a  s tr o n g   in d icato r   o f   en g ag em en t.   Pin zo n - Go n za lez   an d   B ar b a - G u am an   [ 6 ]   em p lo y ed   h ea d   p o s itio n   esti m atio n   to   d eter m in e   atten tio n   lev els  in   r em o t e   class r o o m s .   T h eir   f in d in g s   v a lid ated   h ea d   o r ien tatio n   as  a  r elia b le  b eh av io r al  cu e;  h o we v er ,   th e  ap p r o ac h   tr ea ted   m o d alities   in d ep en d e n tly   an d   d id   n o t  m o d el  in ter - m o d al  in ter ac tio n s .   Mo r e  co m p r eh en s iv e  m o d elin g   s tr ateg ies  wer e  later   p r o p o s ed   b y   E lb awa b   an d   Hen r iq u es   [ 7 ] ,   wh o   c o m b in e d   em o tio n al  an d   n o n - em o tio n al   f ea tu r e s   u s in g   m ac h i n e  lear n in g   tech n iq u es  to   en h an ce   atten t iv en ess   p r ed ictio n .   W h ile  in c o r p o r atin g   af f ec tiv e  s ig n als  im p r o v ed   p e r f o r m an c e,   th e  r elian ce   o n   tr ad itio n al  lear n in g   p ip elin es  lim ited   th e   ab ilit y   to   ca p tu r e   co m p lex   tem p o r al  an d   cr o s s - m o d al  d e p en d e n cies .   Fro m   an   ev alu atio n   s tan d p o in t,  r eliab ilit y   ass e s s m en t  r em ain s   ess en tial  in   at ten tiv en ess   m o n ito r in g   s y s tem s .   T h e  in tr ac lass   co r r el atio n   co ef f icien t  ( I C C )   f r am e wo r k   p r o p o s ed   b y   B i  an d   K u esten   [ 8 ]   p r o v i d es   a  s tatis t ical  f o u n d atio n   f o r   ass es s in g   in ter - r ater   co n s i s ten cy   an d   m o d el  r eliab ilit y .   Su ch   ev al u atio n   s tr ateg ies ar e   r elev an t w h en   v alid atin g   e n g a g em en t d etec tio n   m o d els ag ai n s t a n n o tated   g r o u n d   tr u th   lab els.       3.   MET H O D   T h e  p r o p o s ed   f r am ewo r k   is   d esig n ed   to   esti m ate  s tu d en t   atten tiv en ess   f r o m   v id eo   s tr ea m s   in   b o th   r ea l - tim e  an d   o f f lin e   m o d es.  T h e  s y s tem   p r o c ess es  in p u t  v i d eo   f r am es  to   ex t r ac t  v is u al  a n d   b e h av io r al   cu es,  f u s es  th ese  m o d alities   u s in g   atten tio n - d r iv e n   m ec h an is m s ,   m o d els  tem p o r al   d ep e n d en cies  th r o u g h   a   tr an s f o r m er   e n co d e r ,   an d   o u tp u ts   a  p r o b a b ilis tic  atten tiv en ess   s co r e.   T h e  o v e r all  p ip elin e  co n s is ts   o f   th e  f o llo win g   s tag es:   a)   Fra m e  ac q u is itio n   an d   p r ep r o c ess in g   b)   ViT - b ased   s p atial  f ea tu r e  e x tr a ctio n   c)   B eh av io r al  f ea tu r e  e m b ed d in g   ( g az e  an d   h ea d   p o s e)   d)   C r o s s - m o d al  m u lti - h ea d   atten t io n   f u s io n   e)   T em p o r al  tr a n s f o r m er   en co d in g   f)   Atten tiv en ess   class if icatio n   T h e  d ataset  is   th e  d ataset  f o r   af f ec tiv e   s tates  in   e - en v ir o n m en ts   ( DAiSEE ) ,   a  p u b lic  b en ch m ar k   co n tain in g   o v er   9 , 0 0 0   v id e o   clip s   o f   s tu d en ts   in   o n lin e  lea r n in g   en v ir o n m en ts .   E ac h   cli p   is   an n o tated   wit h  f o u r   a f f ec tiv e  s tates — en g ag em en t,  b o r ed o m ,   co n f u s io n ,   an d   f r u s tr atio n — at  f o u r   in ten s ity   lev els  ( lo w,   m ed iu m ,   h ig h ,   v er y   h i g h ) .   T h e  DAiSEE   d ataset  p r o v id es  ex ter n al  v alid atio n   an d   e n s u r es  th e  m o d el  g en er alize s   ac r o s s   d iv er s e  lear n in g   co n tex ts .   T h e  p r o p o s ed   ar c h itectu r e   f o llo ws  a  d u al - s tr ea m   tr an s f o r m er - b ased   d esig n   th at  e x p lici tly   m o d els   co m p lem en tar y   v is u al  an d   b eh av io r al   cu es  b e f o r e   in teg r a tin g   th em   th r o u g h   atten tio n - d r iv en   f u s io n .   T h e   f r am ewo r k   is   s tr u ctu r ed   to   ca p tu r e   s p atial  co n tex t,   b eh av io r al   d y n a m ics,  an d   lo n g - r an g e  tem p o r al   d ep en d e n cies in   a  u n i f ied   en d - to - en d   tr ai n ab le  s y s tem .     3 . 1 .     Vis ua l  s t re a m   T h e  v is u al  s tr ea m   is   r esp o n s i b le  f o r   e x tr ac tin g   r ich   s p atial  r ep r esen tatio n s   f r o m   r aw  R GB   f r am es   ca p tu r ed   d u r in g   o n lin e  lear n i n g   s ess io n s .   E ac h   i n p u t  f r am e  is   f ir s t  r esized   an d   n o r m aliz ed ,   th en   p ar titi o n ed   in to   f ix e d - s ize  n o n - o v er lap p in g   p atch es.   I f   th e   f r am e   r eso lu t io n   is   H× W ,   an d   th e   p atch   s ize  is   P×P,  th e  im a g e   is   d ec o m p o s ed   in to   =  2   p atch es.  E ac h   p atch   is   f latten ed   a n d   li n ea r ly   p r o jecte d   in to   a   h ig h - d im en s io n al   em b ed d in g   s p ac e  th r o u g h   a  le ar n ab le  p r o jectio n   m at r ix ,   f o r m in g   a  s eq u e n ce   o f   p atch   to k e n s .   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8 7 7 6   I n t J I n f   &   C o m m u n   T ec h n o l ,   Vo l.  15 ,   No .   3 ,  Sep tem b er   20 26 :  935 - 9 4 3   938   T o   r etain   s p atial  s tr u ctu r e,   p o s itio n al  en co d i n g s   ar e  ad d e d   to   ea ch   to k en   em b ed d i n g .   T h ese   en r ich ed   to k en s   ar e  th en   p ass ed   th r o u g h   a  s tack   o f  ViT   en co d e r   b lo ck s .   E ac h   b lo c k   co n s is ts   o f   m u lti - h ea d   s elf - atten tio n   ( MH SA)   an d   f ee d - f o r war d   lay er s   with   r esid u al  co n n ec tio n s   a n d   lay er   n o r m a lizatio n .   T h e   s elf - atten tio n   m ec h a n is m   allo ws  ea ch   p atch   to k e n   to   atten d   t o   all  o t h er   p atch es  with in   t h e  f r a m e,   th e r eb y  m o d elin g   g lo b al  s p atial  d ep en d en cies.  T h is   is   p ar ticu lar ly   i m p o r tan t f o r   atten tiv en ess   esti m atio n ,   wh er e  f ac ial   cu es,  ey e  r eg i o n s ,   an d   co n tex t u al  p o s tu r e  in f o r m atio n   m ay   in ter ac t n o n - lo ca lly .   T h e  o u tp u t  o f   th e  ViT   b ac k b o n e  is   a  r ef in ed   v is u al  to k en   r e p r e s en tatio n   th at  ca p tu r es  h o li s tic  s p atia l   co n tex t.  A   s p ec ial  class if icatio n   to k en   o r   p o o led   r ep r esen tatio n   is   ex tr ac te d   to   s u m m a r ize  th e  f r am e - le v el   v is u al  in f o r m atio n .   T h is   r ep r e s en tatio n   en co d es  f ac ial  o r ien t atio n ,   ey e  r eg i o n   p atter n s ,   p o s tu r e  in d icato r s ,   an d   o th er   ap p ea r an ce - b ased   cu es r elev an t to   atten tiv en ess .     3 . 2 .     B eha v io r a l  s t re a m   T h e  b eh a v io r al  s tr ea m   o p er ate s   in   p ar allel  to   e x p licitly   m o d el  s tr u ctu r ed   b eh av io r al  f ea tu r es  d er iv ed   f r o m   th e  s am e   v id e o   f r am e .   I n s tead   o f   r ely in g   s o lely   o n   im p licit  lear n in g   f r o m   p ix els,  th is   s tr ea m   in co r p o r ates  in ter p r etab le  b eh av io r al  in d icato r s   s u ch   as  g az e  d ir ec tio n   v ec to r s   an d   h ea d   p o s e  an g les  ( y aw,   p itch ,   an d   r o ll).   T h e  g az e  v e cto r ,   ty p ically   r e p r esen ted   in   3 D  s p ac e,   ca p tu r es  wh er e  th e   s tu d en t  is   lo o k in g   r elativ e  to   th e  ca m er a  o r   s cr ee n .   Hea d   p o s e  p ar am eter s   q u an tify   o r ien tatio n   d ev iatio n s   th at  m ay   in d icate   d is tr ac tio n .   T h ese  f ea tu r es a r e   co n ca ten ated   to   f o r m   a  b e h av i o r al  f ea tu r e  v ec to r   at  ea c h   tim e  s tep .   T o   alig n   th e   b eh a v io r al   f ea tu r es  with   th e  v is u al  em b e d d in g   s p a ce ,   th e  c o n ca ten ated   v ec t o r   is   p ass ed   th r o u g h   lin ea r   p r o jectio n   lay er s .   T h ese  f u lly   co n n ec ted   lay er s   tr an s f o r m   lo w - d im en s io n a l  b eh av io r al  in p u ts   in to   a  h ig h er - d im en s io n al  b e h av io r al  em b ed d i n g   c o m p ati b le  with   tr an s f o r m er   atten tio n   o p e r atio n s .   No n - lin ea r   ac t iv atio n   f u n ctio n s   an d   n o r m aliza tio n   m ay   b e   ap p lied   to   en h an ce   r ep r esen tatio n   ca p ac ity   an d   s tab ilize  tr ain in g .   T h e  r esu ltin g   b e h a v io r al  em b ed d in g   p r o v i d es  co m p ac t,  s tr u ctu r ed   i n f o r m atio n   ab o u t  s tu d e n t  en g ag em e n t th at  co m p lem en ts   th e  h ig h - d im en s io n al  v is u al  to k en   r e p r esen tatio n .     3 . 3 .     Cro s s - mo da l f us io n a nd   t em po ra l  m o delin g   Af ter   in d ep en d en t  en co d in g ,   th e  v is u al  to k en   r ep r esen tatio n   an d   b e h av io r al  em b ed d i n g   ar e  f u s ed   u s in g   cr o s s - m o d al  m u lti - h ea d   atten tio n .   I n   t h is   m ec h an is m ,   o n e   m o d ality   ( e. g . ,   v is u a l  to k en s )   s er v es  as   q u er ies,  wh ile  th e  o t h er   m o d a lity   ( b eh av io r al  em b e d d in g s )   p r o v id es  k e y s   an d   v alu es.  T h i s   en ab les  ad ap tiv e   weig h tin g   o f   b e h av io r al  c u es c o n d itio n e d   o n   v is u al  co n tex t,   allo win g   th e  m o d el  t o   d y n am ically   d eter m in e  th e   r elativ e  im p o r ta n ce   o f   g az e   a n d   h ea d   p o s e  in f o r m atio n   f o r   e ac h   f r am e .   T h e   f u s ed   f ea tu r es  ar e  th en   o r g a n ized   in to   tem p o r al  s eq u en ce s   an d   p ass ed   to   a  t r an s f o r m e r - b ased   t em p o r al   en co d er .   Un lik e  r ec u r r en t  a r ch itectu r es,  th e  tem p o r al   tr an s f o r m er   m o d els  lo n g - r an g e  d ep en d en cies  u s in g   s elf - at ten tio n   ac r o s s   tim e  s tep s ,   en ab lin g   th e   s y s tem   to   ca p tu r e  s u s tain ed   e n g ag em e n t  p atter n s   an d   g r a d u al  s h if ts   in   atten tiv en ess .   Fin a lly ,   th e  tem p o r ally   en co d ed   r e p r esen tatio n   is   p r o ce s s ed   th r o u g h   a   class if icatio n   h ea d   with   a   So f tm ax   lay er   to   p r o d u ce   atten tiv en ess   p r o b ab ilit ies.  T h is   h ier ar ch ical  d esig n   en s u r es  r o b u s t  s p atial  m o d elin g ,   ex p licit  b eh av io r al   in teg r atio n ,   a n d   ef f icien t seq u en ce   lear n in g   with in   a  f u lly   atten tio n - d r iv en   f r am ewo r k .     3 . 4 .     ViT   ba c k bo ne   T o   o v er c o m e  lo ca lity   co n s tr ai n ts   o f   co n v o l u tio n al  n etwo r k s ,   th e  p r o p o s ed   f r am ewo r k   em p lo y s   a  ViT   b ac k b o n e  f o r   s p atial  f ea tu r e   ex tr ac tio n .   E ac h   in p u t  f r a m e  ∈ × ×   is   d iv i d ed   i n to   n o n - o v er l ap p in g   p atch es o f   s ize  P×P.  E ac h   p atc h   is   f latten ed   an d   lin ea r ly   p r o j ec ted   in to   a  lat en t e m b ed d in g   s p ac e.     =    (  ℎ ) +          is   th e  lear n ab le  p r o jectio n   m a tr ix      r ep r esen ts   p o s itio n al  en c o d in g     d en o tes p atch   e m b ed d in g s   T h is   tr an s f o r m s   th e  im ag e  in to   a  s eq u en ce   o f   to k en s   s u itab le  f o r   tr an s f o r m e r   p r o ce s s in g .   E ac h   tr an s f o r m er   en c o d er   b lo c k   co m p u tes  s elf - atten tio n   ac r o s s   all  p atch   to k en s ,   en ab li n g   g lo b al   s p atial  d ep en d e n cy   m o d elin g .   T h e  atten tio n   m ec h an is m   is   d e f in ed   as:        ( , , ) =   ( √ )         wh er e:   Q ,   K,   V  ar e  q u e r y ,   k ey ,   a n d   v a lu e  m atr ices     is   th e  k ey   d im e n s io n   T h is   allo ws ea ch   p atch   to   atte n d   to   e v er y   o th er   p atch ,   ca p t u r in g   h o lis tic  co n tex tu al   r elatio n s h ip s .   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J I n f   &   C o m m u n   T ec h n o l     I SS N:   2252 - 8 7 7 6       C r o s s - mo d a l a tten tio n   f u s io n   u s in g   visi o n   tr a n s fo r mers   fo r   r o b u s t  s tu d en t  … ( R a ja s ek a r a n   Ma r is w a my )   939   3 . 5 .     B eha v io r a l  f ea t ure  e m bedd ing   B eh av io r al  cu es  p r o v id e  c o m p lem en tar y   in f o r m atio n   to   v i s u al  ap p ea r an ce   f ea tu r es.  T h e   p r o p o s ed   f r am ewo r k   em b ed s   g az e  v ec to r s   an d   h ea d   p o s e  p a r am eter s   i n to   a  u n if ied   laten t sp ac e.   L et  th e  b eh av i o r al  f ea tu r e  v ec t o r   at  tim e  t   b e:     = [ , ]       wh er e:   =  g az e  d ir ec tio n   v ec to r     =  h ea d   p o s e  an g les ( y aw,   p itc h ,   r o ll)     3 . 6 .     G a ze   v ec t o r  enco din g   T h e  g az e  d i r ec tio n   is   r ep r esen ted   as a   3 D  v ec to r   an d   p r o jecte d   in to   th e  e m b ed d in g   d im en s io n :     ′ = +       3 . 7 .     H ea d  po s e  em bedd ing   Hea d   p o s e  an g les ar e  s im ilar ly   p r o jecte d :     ′ = ℎ + ℎ       t h e  f in al  b eh a v io r al  em b ed d i n g   is :     ′ = [ ′ , ′ ]       T h is   em b ed d in g   alig n s   d im e n s io n ality   with   v is u al  to k en s   f o r   f u s io n .     3 . 7 .     Cro s s - mo da l a t t ent io n f us io n   I n s t e a d   o f   s t a ti c   c o n c a t e n a ti o n   o r   w e i g h t e d   s u m m a t i o n ,   t h e   p r o p o s e d   f r a m e w o r k   e m p l o y s   c r o s s - m o d al  m u l t i - h e a d   a t te n t i o n   t o   d y n a m ic a l l y   m o d e l   i n te r d e p e n d e n c i e s   b e t w e e n   v is u a l   a n d   b e h a v i o r a l   m o d a l i t i es .   Giv en   v is u al  to k en s     an d   b eh a v io r al  em b e d d in g   ′ ,   cr o s s - atten tio n   is   co m p u ted   as:        ( , , ) =   ( √ )       wh er e  q u er ies  ar e  d er iv e d   f r o m   v is u al  f ea tu r es  an d   k ey s /v a lu es  f r o m   b e h av io r al  em b ed d i n g s   ( o r   v ice  v er s a  d ep en d i n g   o n   co n f ig u r atio n ) .     3 . 8 .     M ulti - hea d a t t ent io n f o rm ula t io n       ( , , ) =  ( ℎ  1 , . . . , ℎ  ℎ )       E ac h   h ea d   lea r n s   d is tin ct  in ter - m o d al  r elatio n s h ip s ,   en ab lin g :   −   Ad ap tiv e  m o d ality   weig h tin g   −   C o n tex t - awa r e  f ea tu r e  i n ter ac t io n   −   R o b u s tn ess   to   n o is e  in   in d iv id u al  m o d alities   T h e  f u s ed   r ep r esen tatio n   is   d e n o ted   as:         3 . 9 .     T em po r a l  t ra ns f o r m er   enco der   Atten tiv en ess   is   in h er en tly   s eq u en tial.  I n s tead   o f   r ec u r r e n t  m o d elin g ,   t h e  p r o p o s ed   f r am ew o r k   u s es  a   tr an s f o r m er   e n co d e r   to   ca p tu r e  lo n g - r an g e  tem p o r al  d ep en d en cies.   Giv en   th e  f u s ed   s e q u en ce :     = { 1 , 2 , . . . , }       T em p o r al  e n co d in g   is   p er f o r m ed   as:     ′ =     ( )     Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8 7 7 6   I n t J I n f   &   C o m m u n   T ec h n o l ,   Vo l.  15 ,   No .   3 ,  Sep tem b er   20 26 :  935 - 9 4 3   940   T h is   m ec h an is m :   −   E n ab les g lo b al  tem p o r al  atten t io n   −   E lim in ates r ec u r r en ce   c o n s tr ai n ts   −   I m p r o v es p ar alleliza tio n   −   C ap tu r es lo n g - ter m   e n g ag e m e n t p atter n s   Po s itio n al  en co d in g s   ar e  a d d e d   to   p r eser v e  tem p o r al  o r d er in g .     3 . 1 0 .     At t ent iv eness   cla s s if ic a t io n hea d   T h e  tem p o r ally   en co d ed   r ep r e s en tatio n   Z ′ is   p ass ed   th r o u g h   a  f u lly   co n n ec ted   class if icatio n   h ea d .   Fo r   ea ch   tim e  s tep :     =   ( ′ + )       wh er e:   :   is   th e  o u tp u t p r o jectio n   m atr i x   :   is   b ias   :   is   th e  atten tiv en ess   p r o b ab ilit y   d is tr ib u tio n   T h e  f in al  atten tiv en ess   s co r e  c an   b e  co m p u ted   as:   −   Per - f r am e  p r o b a b ilit y   −   Sli d in g   win d o w  av e r ag e   −   Seq u en ce - lev el  ag g r eg atio n   C o m p ar ed   to   c o n v e n tio n al  C NN – L STM   p ip elin es,  th e  p r o p o s ed   tr an s f o r m er - b ased   f r am ewo r k   in tr o d u ce s   s ev er al   ar ch itectu r al  ad v an tag es  th at   s ig n if ican tl y   en h a n ce   atten tiv en ess   esti m atio n   p er f o r m a n ce .   First,  b y   em p lo y in g   a  Vi T   b ac k b o n e  i n s tead   o f   co n v o lu ti o n al  lay er s ,   th e  m o d el  ca p tu r es  g lo b al  s p atial  d ep en d e n cies  ac r o s s   th e   en tire   f r am e   th r o u g h   s elf - atten tio n ,   r ath er   th a n   r ely in g   o n   th e   lim i ted   r ec ep tiv e   f ield s   o f   co n v o lu tio n al  k er n els.       4.   RE SU L T S AN D  P E RF O RM ANCE  E VA L UAT I O N   T h is   s ec tio n   p r esen ts   th e  q u an titativ e  an d   c o m p ar ati v e  e v alu atio n   o f   th e   p r o p o s ed   T r an s f o r m er - b ased   cr o s s - m o d al  atten tiv en e s s   est im atio n   f r am ewo r k .   T h e   m o d el  is   ev alu ated   u s in g   s ta n d ar d   class if icatio n   m etr ics  in clu d in g   ac cu r ac y ,   p r ec is io n ,   r ec all ,   F1 - s co r e,   an d  a r ea   u n d er   th e  R OC   cu r v e  ( AU C ) .   Per f o r m a n ce   is   co m p ar ed   ag ain s t  b aselin e  d e ep   lear n in g   m o d els  an d   s elec t ed   m eth o d s   f r o m   p r i o r   liter atu r e.   T h e  d ataset  was   d iv id ed   in t o   tr ain in g   ( 7 0 %),   v alid atio n   ( 1 5 %),   a n d   test in g   ( 1 5 %)  s u b s ets  u s in g   s tr atif ied   s am p lin g .   All   ex p er im en ts   wer e  co n d u cted   u s in g   id en tical  p r ep r o ce s s in g   an d   ev alu atio n   p r o to c o ls   to   en s u r e  f air n ess .   T h e  d ataset  was   d iv id ed   in to   tr ain in g   ( 7 0 %),   v alid atio n   ( 1 5 %),   an d   test in g   ( 1 5 %)  s u b s ets  u s in g   s tr atif ied   s am p lin g .   All  ex p er im en ts   wer e  co n d u cte d   u s i n g   id en tical  p r ep r o ce s s in g   an d   ev alu atio n   p r o to co ls   to   en s u r e   f air n ess .     4 . 1 .     O v er a ll  cla s s if ica t io n pe rf o rma nce   T o   ev alu ate  th e  co m p lete  f r am ewo r k ,   all  p r im ar y   clas s if icatio n   m etr ics  o n   th e  test   s et  ar e   s u m m ar ized   in   T ab le  1.   T h e   h ig h   r ec all  in d icate s   s tr o n g   d etec tio n   ca p ab ilit y   f o r   atten tiv e  s tu d en ts ,   wh ile  h i g h   s p ec if icity   co n f ir m s   r eliab le  i d en tific atio n   o f   in att en tiv e  s t ates.  T h e  b ala n ce d   F1 - s co r e   d em o n s tr ates  s tab le  p er f o r m an ce   ac r o s s   b o th   class es.       T ab le  1 .   Ov e r all  p er f o r m an ce   m etr ics   M e t r i c   P r o p o se d   f r a m e w o r k   A c c u r a c y   9 4 . 8 7 %   P r e c i s i o n   9 3 . 9 5 %   R e c a l l   ( S e n si t i v i t y )   9 5 . 4 2 %   S p e c i f i c i t y   9 3 . 8 1 %   F1 - S c o r e   9 4 . 6 8 %   AUC   0 . 9 7 2       4 . 2 .     Abla t io n  s t ud y   T o   q u a n tify   th e  im p a ct  o f   ar ch itectu r al  co m p o n en ts ,   a  d et ailed   ab latio n   s tu d y   was  co n d u cted   as   s h o wn   in   T a b le  2 .   All  ev al u atio n   m etr ics  ar e   r ep o r ted   f o r   f ai r n ess .   T h e  r esu lts   d em o n s tr ate  th at  ea ch   ar ch itectu r al  en h a n ce m en t c o n tr ib u tes co n s is ten tly   ac r o s s   all  ev alu atio n   m etr ics.   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J I n f   &   C o m m u n   T ec h n o l     I SS N:   2252 - 8 7 7 6       C r o s s - mo d a l a tten tio n   f u s io n   u s in g   visi o n   tr a n s fo r mers   fo r   r o b u s t  s tu d en t  … ( R a ja s ek a r a n   Ma r is w a my )   941   T ab le  2 .   Ab latio n   s tu d y   with   m u ltip le  m etr ics   M o d e l   v a r i a n t   A c c u r a c y   P r e c i s i o n   R e c a l l   F1 - S c o r e   AUC   C N N   +   LSTM   ( B a sel i n e )   8 6 . 3 2 %   8 5 . 7 4 %   8 6 . 1 0 %   8 5 . 9 1 %   0 . 8 8 4   V i si o n   t r a n sf o r m e r   o n l y   9 0 . 1 4 %   8 9 . 6 2 %   9 0 . 3 1 %   8 9 . 7 2 %   0 . 9 2 1   V i T  +   B e h a v i o r a l   ( C o n c a t e n a t i o n )   9 2 . 0 8 %   9 1 . 7 3 %   9 1 . 5 8 %   9 1 . 6 5 %   0 . 9 4 3   V i T  +   C r o ss - M o d a l   A t t e n t i o n   9 3 . 1 1 %   9 2 . 8 5 %   9 2 . 5 8 %   9 2 . 7 0 %   0 . 9 5 6   F u l l   p r o p o s e d   f r a mew o r k   9 4 . 8 7 %   9 3 . 9 5 %   9 5 . 4 2 %   9 4 . 6 8 %   0 . 9 7 2       4 . 3 .   Co m pa riso n wit h  ex is t ing   m et ho ds   T o   p o s itio n   th e   p r o p o s ed   f r am ewo r k   a g ain s t  p r io r   liter atu r e,   m u ltip le  p e r f o r m an ce   m etr ics  ar e   co m p ar ed   with   r ep r esen tativ e   ap p r o ac h es  as  in   T ab le  3.   T h e  p r o p o s ed   m et h o d   c o n s is ten tly   o u tp er f o r m s   ex is tin g   tech n iq u es  ac r o s s   all   ev alu atio n   m etr ics,  n o t  o n ly   ac cu r ac y .   T h e  im p r o v em e n t  in   r ec all  in d icate s   b etter   d etec tio n   o f   en g ag ed   s tu d en ts ,   wh ile  h ig h e r   p r ec is io n   r ed u ce s   f alse e n g ag em e n t p r e d i ctio n s .       T ab le  3 .   C o m p a r ativ e  p er f o r m an ce   with   ex is tin g   s tu d ies   M e t h o d   A c c u r a c y   P r e c i s i o n   R e c a l l   F1 - S c o r e   El b a w a b   a n d   H e n r i q u e s  [ 7 ]   8 9 . 3 0 %   8 8 . 9 2 %   8 8 . 6 0 %   8 8 . 7 5 %   S h a h   e t   a l .   [ 3 ]   8 5 . 6 0 %   8 4 . 8 8 %   8 5 . 1 0 %   8 4 . 9 2 %   P a n d e y   e t   a l .   [ 4 ]   8 3 . 4 0 %   8 2 . 9 5 %   8 2 . 8 0 %   8 2 . 8 8 %   P r o p o se d   f r a m e w o r k   9 4 . 8 7 %   9 3 . 9 5 %   9 5 . 4 2 %   9 4 . 6 8 %       4 . 4 .     Co m pu t a t io na l  e f f iciency   T o   en s u r e   p r ac tical  f ea s ib ilit y ,   co m p u tatio n al  m etr ics  ar e   also   an aly ze d   as  s h o wn   in   T a b le  4.   Desp ite  a  h ig h e r   p ar am eter   co u n t,  th e  p r o p o s ed   f r am ewo r k   m ain t ain s   co m p etitiv e  i n f er en ce   s p ee d   d u e  to   p ar allel   atten tio n   co m p u tatio n .   T h e  r e s u lts   co n f ir m   th e  ef f ec tiv en ess   o f   th e  p r o p o s ed   T r an s f o r m er - b ased   cr o s s - m o d al   f r am ewo r k   f o r   s tu d en t  atten tiv en ess   esti m atio n .   T h e   m o d el  ac h ie v es  s u p er i o r   ac c u r ac y   a n d   F1 - s co r e   co m p ar ed   to   b aselin e  an d   e x is tin g   ap p r o ac h es,   in d icatin g   s tr o n g   o v er all   class if icatio n   ca p a b ilit y   an d   b alan ce d   er r o r   d is tr ib u tio n .   I n   ad d itio n   to   ac c u r ac y ,   th e   f r am ewo r k   m ain tain s   s tab le  p r ec is io n   an d   r ec all  v alu es,  d em o n s tr atin g   its   ab ilit y   to   co r r ec tly   id en tif y   b o th   atten tiv e  an d   in atten tiv e  s tu d en ts   with o u t  b ias  to war d   a   s p ec if ic  class .   T h e  h ig h   AU C   f u r th er   r ef lects  s tr o n g   class   s ep ar ab ilit y   an d   r eliab le  d i s cr im in atio n   ac r o s s   d ec is io n   th r esh o ld s .   T h e  i n clu s io n   o f   tr an s f o r m er - b ased   tem p o r al  en c o d in g   s ig n if ican tly   en h an ce s   p er f o r m an ce   b y   ca p tu r in g   lo n g - r an g e  en g ag e m en t  p atter n s   th at  s tatic  f r am e - lev el  m o d els  ca n n o t  r ep r esen t.   I m p o r ta n tly ,   th ese  p e r f o r m a n ce   g ain s   d o   n o t   co m p r o m i s e  co m p u tatio n al  f ea s ib ilit y .   Desp ite  in cr ea s ed   ar ch itectu r al  co m p lex ity ,   th e   m o d el   p r eser v es  p r ac tical  in f er en ce   ef f icien cy   th r o u g h   p ar allel  atten tio n   m ec h an is m s ,   m ak in g   it su itab le  f o r   r ea l - tim e  o r   n ea r   r ea l - tim e  d ep lo y m en t in   o n lin e  lear n in g   en v ir o n m en ts .       T ab le  4 .   Mo d el  co m p lex ity   an d   in f er e n ce   p er f o r m a n ce   M o d e l   P a r a me t e r s ( M )   I n f e r e n c e   t i me   ( ms/fr a m e )   Th r o u g h p u t   ( F P S )   C N N   +   LSTM   1 2 . 4   1 8 . 7   53   V i si o n   t r a n sf o r m e r   2 1 . 8   1 6 . 2   61   P r o p o se d   f r a m e w o r k   2 4 . 6   1 7 . 4   57       5.   CO NCLU SI O N   T h is   p ap er   p r esen ted   a  T r an s f o r m er - b ased   cr o s s - m o d al  f r a m ewo r k   f o r   r o b u s t  s tu d en t  atten tiv en ess   esti m atio n   in   o n lin e   lear n in g   en v ir o n m en ts .   T h e   p r o p o s ed   ar ch itectu r e  in teg r ates  a  ViT   b ac k b o n e  f o r   g lo b al   s p atial  d ep en d en cy   m o d elin g ,   b eh av io r al  f ea t u r e  em b e d d in g   f o r   g az e  a n d   h ea d   p o s e  r ep r esen tatio n ,   cr o s s - m o d al  m u lti - h ea d   atten tio n   f o r   ad ap tiv e  f ea tu r e  f u s io n ,   a n d   a  tr an s f o r m er - b ased   tem p o r a l  en co d er   f o r   lo n g - r an g e  s eq u en ce   m o d elin g .   Un lik e  co n v e n tio n al  C NN – L ST M  ar ch itectu r es,  th e   f r am ewo r k   is   f u lly   atten tio n - d r iv en ,   en a b lin g   d y n am ic  m u ltimo d al  in ter ac tio n   with o u t   r ec u r r en t  b o ttlen ec k s .   Qu an titativ e  ev alu atio n   d em o n s tr ates  th e   ef f ec tiv en es s   o f   th e   p r o p o s ed   m eth o d .   T h e  m o d el  ac h iev ed   9 4 . 8 7 %   ac cu r ac y ,   9 3 . 9 5 %  p r ec is io n ,   9 5 . 4 2 %  r ec all,   9 4 . 6 8 %  F1 - s co r e,   an d   an   AUC   o f   0 . 9 7 2   o n   th e  test   s et.   C o m p ar ed   to   th e  C NN – L STM   b aselin e  ( 8 6 . 3 2 %  ac cu r ac y ,   8 5 . 9 1 %  F1 - s co r e) ,   th e  p r o p o s ed   a p p r o ac h   im p r o v e d   p e r f o r m a n ce   b y   m o r e   th an   8 %  in   ac cu r a cy   an d   n ea r l y   9 %  in   F1 - s co r e.   T h e  ab latio n   s tu d y   f u r th er   c o n f ir m e d   in cr em en tal  g ain s   f r o m   c r o s s - m o d al  atten tio n   an d   te m p o r al  tr an s f o r m er   en co d in g .   Ad d itio n ally ,   th e  m o d el  m ain tain ed   p r ac tical   in f er en ce   ef f icien cy   ( 1 7 . 4   m s   p er   f r am e ) ,   s u p p o r tin g   n ea r   r e al - tim e  d ep lo y m en t.       Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8 7 7 6   I n t J I n f   &   C o m m u n   T ec h n o l ,   Vo l.  15 ,   No .   3 ,  Sep tem b er   20 26 :  935 - 9 4 3   942   F UNDING   I NF O R M A T I O N    Au th o r s   s tate  n o   f u n d in g   in v o lv ed .       AUTHO R  CO NT RI B UT I O NS ST A T E M E N T     T h is   jo u r n al  u s es  th e  C o n tr ib u to r   R o les  T ax o n o m y   ( C R ed iT)   to   r ec o g n ize  in d iv id u al  au th o r   co n tr ib u tio n s ,   r ed u ce   au th o r s h ip   d is p u tes,  an d   f ac ilit ate  co llab o r atio n .     Na m e  o f   Aut ho r   C   M   So   Va   Fo   I   R   D   O   E   Vi   Su   P   Fu   R ajasek ar an   Ma r is wam y   ✓   ✓   ✓   ✓   ✓   ✓     ✓   ✓   ✓       ✓   ✓   Pra v ee n   Su n d a r   ✓     ✓   ✓       ✓       ✓   ✓     ✓       C   :    C o n c e p t u a l i z a t i o n   M   :    M e t h o d o l o g y   So   :    So f t w a r e   Va   :    Va l i d a t i o n   Fo   :    Fo r mal   a n a l y s i s   I   :    I n v e s t i g a t i o n   R   :    R e so u r c e s   D   :   D a t a   C u r a t i o n   O   :   W r i t i n g   -   O r i g i n a l   D r a f t   E   :   W r i t i n g   -   R e v i e w   &   E d i t i n g   Vi   :    Vi su a l i z a t i o n   Su   :    Su p e r v i s i o n   P   :    P r o j e c t   a d mi n i st r a t i o n   Fu   :    Fu n d i n g   a c q u i si t i o n         CO NF L I C T   O F   I N T E R E S T   ST A T E M E NT   Au th o r s   s tate  n o   co n f lict o f   in t er est.       DATA AV AI L AB I L I T Y    Data   av ailab ilit y   is   n o t  ap p li ca b le  to   th is   p ap er   as  n o   n e w  d ata  wer e  cr ea ted   o r   an aly ze d   in   th is   s tu d y .       RE F E R E NC E S   [ 1 ]   T.   P .   N e g r o n   a n d   C .   A .   G r a v e s,   “ C l a s sr o o m   a t t e n t i v e n e ss   c l a ss i f i c a t i o n   t o o l   ( C l a ssA C T) :   T h e   sy s t e m  i n t r o d u c t i o n , ”   i n   2 0 1 7   I E EE   I n t e r n a t i o n a l   C o n f e r e n c e   o n   Pe r v a si v e   C o m p u t i n g   a n d   C o m m u n i c a t i o n s W o rks h o p s   ( Pe r C o m   W o rk sh o p s) ,   M a r .   2 0 1 7 ,   p p .   2 6 – 2 9 ,   d o i :   1 0 . 1 1 0 9 / p e r c o mw . 2 0 1 7 . 7 9 1 7 5 1 3 .   [ 2 ]   A .   R e v a d e k a r ,   S .   O a k ,   A .   G a d e k a r ,   a n d   P .   B i d e ,   “ G a u g i n g   a t t e n t i o n   o f   st u d e n t s  i n   a n   e - l e a r n i n g   e n v i r o n me n t , ”     i n   2 0 2 0   I EE E  4 t h   C o n f e re n c e   o n   I n f o rm a t i o n   & a m p ;   C o m m u n i c a t i o n   T e c h n o l o g y   ( C I C T ) ,   D e c .   2 0 2 0 ,   p p .   1 – 6 ,     d o i :   1 0 . 1 1 0 9 / c i c t 5 1 6 0 4 . 2 0 2 0 . 9 3 1 2 0 4 8 .   [ 3 ]   N.   A .   S h a h ,   K .   M e e n a k sh i ,   A .   A g a r w a l ,   a n d   S .   S i v a s u b r a ma n i a n ,   “ A ssessme n t   o f   st u d e n t   a t t e n t i v e n e ss   t o   e - l e a r n i n g   b y   mo n i t o r i n g   b e h a v i o u r a l   e l e m e n t s, ”   i n   2 0 2 1   I n t e r n a t i o n a l   C o n f e r e n c e   o n   C o m p u t e r C o m m u n i c a t i o n   a n d   I n f o rm a t i c s  ( I C C C I ) ,   Ja n .   2 0 2 1 ,   p p .   1 – 7 ,   d o i :   1 0 . 1 1 0 9 / i c c c i 5 0 8 2 6 . 2 0 2 1 . 9 4 0 2 2 8 3 .   [ 4 ]   R .   K .   P a n d e y ,   A .   A .   F a r i d i ,   a n d   G .   S h r i v a s t a v a ,   “ A t t e n t i v e n e ss  mea s u r e   i n   c l a ssr o o m   e n v i r o n me n t   u si n g   f a c e   d e t e c t i o n , ”   i n   2 0 2 1   6 t h   I n t e r n a t i o n a l   C o n f e r e n c e   o n   I n v e n t i v e   C o m p u t a t i o n   T e c h n o l o g i e s   ( I C I C T ) ,   Ja n .   2 0 2 1 ,   p p .   1 0 5 3 – 1 0 5 8 ,     d o i :   1 0 . 1 1 0 9 / i c i c t 5 0 8 1 6 . 2 0 2 1 . 9 3 5 8 6 0 0 .   [ 5 ]   R .   P a i ,   A .   D u b e y ,   a n d   N .   M a n g a o n k a r ,   “ R e a l   t i m e   e y e   m o n i t o r i n g   s y s t e m   u s i n g   C N N   f o r   d r o w s i n e s s   a n d   a t t e n t i v e n e s s   s y s t e m , ”   i n   2 0 2 1   A s i a n   C o n f e r e n c e   o n   I n n o v a t i o n   i n   T e c h n o l o g y   ( A S I A N C O N ) ,   A u g .   2 0 2 1 ,   p p .   1 – 4 ,   d o i :   1 0 . 1 1 0 9 / a s i a n c o n 5 1 3 4 6 . 2 0 2 1 . 9 5 4 4 6 2 4 .   [ 6 ]   J.  G .   P i n z o n - G o n z a l e z   a n d   L.   B a r b a - G u a ma n ,   “ U se   o f   h e a d   p o s i t i o n   e s t i m a t i o n   f o r   a t t e n t i o n   l e v e l   d e t e c t i o n   i n   r e mo t e   c l a ssr o o ms,”   i n   Pr o c e e d i n g s  o f   t h e   F u t u re  T e c h n o l o g i e s  C o n f e r e n c e   ( FT C )   2 0 2 1 ,   V o l u m e   1 ,   S p r i n g e r   I n t e r n a t i o n a l   P u b l i s h i n g ,   2 0 2 1 ,   p p .   2 7 5 – 2 9 3 .   [ 7 ]   M .   El b a w a b   a n d   R .   H e n r i q u e s,   “ M a c h i n e   l e a r n i n g   a p p l i e d   t o   s t u d e n t   a t t e n t i v e n e s s  d e t e c t i o n :   u si n g   e m o t i o n a l   a n d     n o n - e m o t i o n a l   mea su r e s , ”   Ed u c a t i o n   a n d   I n f o rm a t i o n   T e c h n o l o g i e s ,   v o l .   2 8 ,   n o .   1 2 ,   p p .   1 5 7 1 7 – 1 5 7 3 7 ,   M a y   2 0 2 3 ,     d o i :   1 0 . 1 0 0 7 / s 1 0 6 3 9 - 023 - 1 1 8 1 4 - 5.   [ 8 ]   J.  B i   a n d   C .   K u e st e n ,   “ I n t r a c l a ss  c o r r e l a t i o n   c o e f f i c i e n t   ( < s c p > I C C < / scp > ) :   A   f r a mew o r k   f o r   m o n i t o r i n g   a n d   a ssess i n g   p e r f o r m a n c e   o f   t r a i n e d   s e n s o r y   p a n e l s  a n d   p a n e l i st s,”   J o u r n a l   o f   S e n so r y   S t u d i e s ,   v o l .   2 7 ,   n o .   5 ,   p p .   3 5 2 – 3 6 4 ,   2 0 1 2 ,     d o i :   1 0 . 1 1 1 1 / j . 1 7 4 5 - 4 5 9 x . 2 0 1 2 . 0 0 3 9 9 . x .   [ 9 ]   S .   T,   A .   B .   J ,   V .   V ,   B .   A .   J,   G .   V .   A .   S ,   a n d   D .   K ,   “ A ssessm e n t   o f   s t u d e n t   a t t e n t i v e n e s s  i n   c l a ssr o o m  e n v i r o n me n t   u s i n g   d e e p   l e a r n i n g , ”   i n   2 0 2 3   I n t e r n a t i o n a l   C o n f e re n c e   o n   C i r c u i t   P o w e r   a n d   C o m p u t i n g   T e c h n o l o g i e s   ( I C C PC T ) ,   A u g .   2 0 2 3 ,   p p .   2 6 – 3 0 ,   d o i :   1 0 . 1 1 0 9 / i c c p c t 5 8 3 1 3 . 2 0 2 3 . 1 0 2 4 5 1 9 4 .   [ 1 0 ]   S .   G u p t a   a n d   P .   K u mar,  “ A t t e n t i o n   r e c o g n i t i o n   s y s t e m i n   o n l i n e   l e a r n i n g   p l a t f o r m u s i n g   E EG   si g n a l s , ”   i n   Em e r g i n g   T e c h n o l o g i e s   f o r   S m a rt   C i t i e s ,   S p r i n g e r   S i n g a p o r e ,   2 0 2 1 ,   p p .   1 3 9 – 1 5 2 .   [1 1 ]   B .   S u n   e t   a l . ,   “ S t u d e n t   c l a ss  b e h a v i o r   d a t a se t :   a   v i d e o   d a t a set   f o r   r e c o g n i z i n g ,   d e t e c t i n g ,   a n d   c a p t i o n i n g   st u d e n t s ’     b e h a v i o r s  i n   c l a ssr o o m   sce n e s,”   N e u ra l   C o m p u t i n g   a n d   Ap p l i c a t i o n s ,   v o l .   3 3 ,   n o .   1 4 ,   p p .   8 3 3 5 – 8 3 5 4 ,   Ja n .   2 0 2 1 ,     d o i :   1 0 . 1 0 0 7 / s 0 0 5 2 1 - 020 - 0 5 5 8 7 - y.   [1 2 ]   M .   S a r i ,   A .   M o u ssa o u i ,   a n d   A .   H a d i d ,   “ A   si m p l e   y e t   e f f e c t i v e   c o n v o l u t i o n a l   n e u r a l   n e t w o r k   m o d e l   t o   c l a ss i f y   f a c i a l   e x p r e ssi o n s , ”   i n   M o d e l l i n g   a n d   I m p l e m e n t a t i o n   o f   C o m p l e x   S y s t e m s ,   S p r i n g e r   I n t e r n a t i o n a l   P u b l i s h i n g ,   2 0 2 0 ,   p p .   1 8 8 – 2 0 2 .   [1 3 ]   A .   A .   R a v i n d r a n ,   “ I n t e r n e t - of - t h i n g s  e d g e   c o m p u t i n g   s y st e ms  f o r   s t r e a mi n g   v i d e o   a n a l y t i c s:   t r a i l s   b e h i n d   a n d   t h e   p a t h s  a h e a d , ”   I o T ,   v o l .   4 ,   n o .   4 ,   p p .   4 8 6 – 5 1 3 ,   O c t .   2 0 2 3 ,   d o i :   1 0 . 3 3 9 0 / i o t 4 0 4 0 0 2 1 .   [1 4 ]   A .   I .   W a n g   a n d   R .   Ta h i r ,   “ Th e   e f f e c t   o f   u si n g   K a h o o t !   f o r   l e a r n i n g   –   A  l i t e r a t u r e   r e v i e w , ”   C o m p u t e rs &a m p ;   Ed u c a t i o n ,   v o l .   1 4 9 ,   p .   1 0 3 8 1 8 ,   M a y   2 0 2 0 ,   d o i :   1 0 . 1 0 1 6 / j . c o m p e d u . 2 0 2 0 . 1 0 3 8 1 8 .   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J I n f   &   C o m m u n   T ec h n o l     I SS N:   2252 - 8 7 7 6       C r o s s - mo d a l a tten tio n   f u s io n   u s in g   visi o n   tr a n s fo r mers   fo r   r o b u s t  s tu d en t  … ( R a ja s ek a r a n   Ma r is w a my )   943   [1 5 ]   F. - C .   Li n ,   H . - H .   N g o ,   C . - R .   D o w ,   K . - H .   L a m,   a n d   H .   L.   L e ,   “ S t u d e n t   b e h a v i o r   r e c o g n i t i o n   sy s t e m   f o r   t h e   c l a ssr o o m   e n v i r o n me n t   b a s e d   o n   s k e l e t o n   p o se  e st i ma t i o n   a n d   p e r s o n   d e t e c t i o n , ”   S e n s o rs ,   v o l .   2 1 ,   n o .   1 6 ,   p .   5 3 1 4 ,   A u g .   2 0 2 1 ,   d o i :   1 0 . 3 3 9 0 / s 2 1 1 6 5 3 1 4 .   [1 6 ]   J.  S h e n ,   H .   Y a n g ,   J.   L i ,   a n d   Z .   C h e n g ,   “ A sse ssi n g   l e a r n i n g   e n g a g e me n t   b a s e d   o n   f a c i a l   e x p r e s si o n   r e c o g n i t i o n   i n   M O O C ’ s   sce n a r i o , ”   M u l t i m e d i a   S y s t e m s ,   v o l .   2 8 ,   n o .   2 ,   p p .   4 6 9 – 4 7 8 ,   O c t .   2 0 2 1 ,   d o i :   1 0 . 1 0 0 7 / s 0 0 5 3 0 - 0 2 1 - 0 0 8 5 4 - x.   [1 7 ]   M. - E.   O t g o n b o l d   e t   a l . ,   “ S H EL5 K :   a n   e x t e n d e d   d a t a set   a n d   b e n c h mar k i n g   f o r   safe t y   h e l m e t   d e t e c t i o n , ”   S e n so rs ,   v o l .   2 2 ,   n o .   6 ,   p .   2 3 1 5 ,   M a r .   2 0 2 2 ,   d o i :   1 0 . 3 3 9 0 / s2 2 0 6 2 3 1 5 .   [ 18 ]   S .   W a n g ,   C .   Zh a n g ,   Y .   S h u ,   a n d   Y .   Li u ,   “ L i v e   v i d e o   a n a l y t i c s   w i t h   F P G A - b a se d   smar t   c a mer a s,”   i n   Pr o c e e d i n g s   o f   t h e   2 0 1 9   Wo r k sh o p   o n   H o t   T o p i c s  i n   V i d e o   A n a l y t i c s  a n d   I n t e l l i g e n t   E d g e s ,   O c t .   2 0 1 9 ,   p p .   9 – 1 4 ,   d o i :   1 0 . 1 1 4 5 / 3 3 4 9 6 1 4 . 3 3 5 6 0 2 7 .   [ 19 ]   S .   W i l l e r m a r k   a n d   M .   G e l l e r st e d t ,   “ F a c i n g   r a d i c a l   d i g i t a l i z a t i o n :   c a p t u r i n g   t e a c h e r s’   t r a n s i t i o n   t o   v i r t u a l   c l a ssr o o ms  t h r o u g h    i d e a l   t y p e   e x p e r i e n c e s , ”   J o u r n a l   o f   Ed u c a t i o n a l   C o m p u t i n g   Re se a r c h ,   v o l .   6 0 ,   n o .   6 ,   p p .   1 3 5 1 – 1 3 7 2 ,   F e b .   2 0 2 2 ,     d o i :   1 0 . 1 1 7 7 / 0 7 3 5 6 3 3 1 2 1 1 0 6 9 4 2 4 .   [2 0 ]   X .   W a n g ,   T .   L i u ,   J.   W a n g ,   a n d   J.   Ti a n ,   “ U n d e r s t a n d i n g   l e a r n e r   c o n t i n u a n c e   i n t e n t i o n :   a   c o mp a r i s o n   o f   l i v e   v i d e o   l e a r n i n g ,     p r e - r e c o r d e d   v i d e o   l e a r n i n g   a n d   h y b r i d   v i d e o   l e a r n i n g   i n   C O V I D - 1 9   p a n d e mi c , ”   I n t e r n a t i o n a l   J o u rn a l   o f   H u m a n – C o m p u t e r   I n t e r a c t i o n ,   v o l .   3 8 ,   n o .   3 ,   p p .   2 6 3 – 2 8 1 ,   2 0 2 1 ,   d o i :   1 0 . 1 0 8 0 / 1 0 4 4 7 3 1 8 . 2 0 2 1 . 1 9 3 8 3 8 9 .   [2 1 ]   Y .   W u ,   L .   Z h a n g ,   G .   C h e n ,   a n d   P .   N .   M i c h e l i n i ,   “ U n c o n s t r a i n e d   f a c i a l   e x p r e ssi o n   r e c o g n i t o n   b a se d   o n   c a sc a d e   d e c i s i o n   a n d   g a b o r  f i l t e r s,”   i n   2 0 2 0   2 5 t h   I n t e r n a t i o n a l   C o n f e r e n c e   o n   P a t t e r n   Re c o g n i t i o n   ( I C P R) ,   J a n .   2 0 2 1 ,   p p .   3 3 3 6 – 3 3 4 1 ,   d o i :   1 0 . 1 1 0 9 / i c p r 4 8 8 0 6 . 2 0 2 1 . 9 4 1 1 9 8 3 .   [ 2 2 ]       R .   P e r i y a sam y ,   M .   G o v i n d a r a j i ,   I .   N a su r u l l a ,   V .   S r i n i v a s a n ,   a n d   K .   R a ma   D e v i ,   “ O p t i m i z i n g   c a l l   c e n t e r   a g e n t   e f f i c i e n c y   t h r o u g h  d e e p   l e a r n i n g - b a s e d   c l a ss i f i c a t i o n s   u s i n g   S M F C C A E , ”   I n t e r n a t i o n a l   J o u r n a l   o f   Re c o n f i g u r a b l e   a n d   Em b e d d e d   S y s t e m s   ( I J RE S ) ,  v o l .   1 5 ,   n o .   1 ,   2 0 2 6   [2 3 ]   Z.   Tr a b e l s i ,   F .   A l n a j j a r ,   M .   M .   A .   P a r a mb i l ,   M .   G o c h o o ,   a n d   L.   A l i ,   “ R e a l - t i me   a t t e n t i o n   m o n i t o r i n g   s y st e m  f o r   c l a s sr o o m:     a   d e e p   l e a r n i n g   a p p r o a c h   f o r   st u d e n t ’ s  b e h a v i o r   r e c o g n i t i o n , ”   Bi g   D a t a   a n d   C o g n i t i v e   C o m p u t i n g ,   v o l .   7 ,   n o .   1 ,   p .   4 8 ,   M a r .   2 0 2 3 ,   d o i :   1 0 . 3 3 9 0 / b d c c 7 0 1 0 0 4 8 .   [2 4 ]   Z.   W a n g ,   F .   Ze n g ,   S .   L i u ,   a n d   B .   Ze n g ,   “ O A EN e t :   o r i e n t e d   a t t e n t i o n   e n s e mb l e   f o r   a c c u r a t e   f a c i a l   e x p r e ss i o n   r e c o g n i t i o n , ”     Pa t t e r n   Re c o g n i t i o n ,   v o l .   1 1 2 ,   p .   1 0 7 6 9 4 ,   A p r .   2 0 2 1 ,   d o i :   1 0 . 1 0 1 6 / j . p a t c o g . 2 0 2 0 . 1 0 7 6 9 4 .   [2 5 ]   S .   H u ss a i n   a n d   J .   J e y a c h i d r a ,   “ A   st a c k e d   c l a ss i f i e r   mo d e l   f o r   e n h a n c e d   st u d e n t   p e r f o r ma n c e   p r e d i c t i o n   i n   e - l e a r n i n g   e n v i r o n m e n t s , ”   I n d o n e s i a n   J o u r n a l   o f   El e c t r i c a l   E n g i n e e r i n g   a n d   I n f o rm a t i c s (I J EEI) ,   v o l .   1 4 ,   n o .   1 ,   2 0 2 6 .       B I O G RAP H I E S O F   AUTH O RS       Ra ja se k a r a n   Ma r iswa m y           is  a   P h . D.  sc h o lar  a t  Ad h ip a ra sa k t h i  Co l leg e   o f  Arts   a n d   S c ien c e ,   sp e c ializin g   i n   Artif icia l  In telli g e n c e   a n d   M a c h i n e   Lea rn in g .   His  re se a rc h   fo c u se s   o n   E - lea rn in g   a n a l y ti c s,  p a rti c u larly   e x a m in i n g   stu d e n t  a t t e n ti v e n e ss   a n d   a ss e ss m e n t   m e th o d o lo g ies   i n   li v e   lec tu re s  c o m p a re d   t o   p re - re c o rd e d   v i d e o - b a se d   in str u c ti o n .   His  wo r k   a ims   to   d e v e lo p   in tell ig e n t ,   d a ta - d riv e n   fra m e wo rk s  t o   e n h a n c e   e n g a g e m e n t  m o n i to ri n g   a n d   lea rn in g   o u tco m e s  i n   d ig it a l  e d u c a ti o n   e n v ir o n m e n ts.  He   se rv e s  a s   a   Lab o ra to r y   Tec h n icia n   in   th e   De p a rtme n t  o f   Co m p u ter  S c ien c e   a t  Th iru v a ll u v a r  Un i v e rsity .   His  a c a d e m ic  in tere sts   in c lu d e   d e e p   lea rn in g ,   e d u c a ti o n a l  d a ta  m in in g ,   lea rn in g   a n a l y ti c s,   a n d   AI - d ri v e n   p e rfo rm a n c e   e v a lu a ti o n   sy ste m s.  He   is  c o m m it ted   to   a d v a n c in g   tec h n o l o g y - e n a b led   e d u c a ti o n   th r o u g h   in n o v a ti v e   a n d   sc a lab le AI  so lu ti o n s.   He   c a n   b e   c o n tac ted   a t  e m a il :  m a ra jas e k a ra n @g m a il . c o m .         Dr .   P ra v ee n  Su nd a r           M CA,  M . P h il . ,   P h . D.  is  a n   I n d ian   a c a d e m icia n   a n d   re se a rc h e r  c u rre n tl y   se rv i n g   a s  As so c iate   P ro fe ss o r  &   He a d   o f   t h e   De p a rtme n t  o f  C o m p u ter   S c ien c e   a n d   Ap p li c a ti o n s  a t  Ad h i p a ra sa k th i  Co ll e g e   o f  Arts  a n d   S c ien c e ,   G . B.   Na g a r,   Ka lav a i   –   6 3 2 5 0 6 ,   Tam il   Na d u ,   In d i a .   He   lea d s  th e   d e p a rtme n t  in   b o t h   tea c h in g   a n d   re se a rc h ,   with   re sp o n si b il it ies   sp a n n i n g   c u r ricu lu m   d e v e lo p m e n t,   re se a rc h   su p e rv isi o n ,   a n d   a c a d e m ic  a d m in istratio n .   Dr.  S u n d a r  b e g a n   h is  a c a d e m ic  jo u r n e y   wit h   a   Ba c h e lo r  o f  C o m p u ter  Ap p li c a ti o n s  (BCA),  fo ll o w e d   b y   a   M a ste r  o f  Co m p u ter  Ap p li c a ti o n s  ( M CA).  He   we n t  o n   to   e a rn   a n   M . P h il .   in   C o m p u ter  S c ien c e   a n d   late r  c o m p lete d   h is  P h . D.,   wit h   d o c to ra l  re se a rc h   fo c u se d   o n   e d u c a ti o n a l  d a ta  m in in g   a n d   st u d e n t  e n g a g e m e n t.   Be fo re   jo in i n g   h is  c u rre n t   in stit u ti o n ,   h e   g a i n e d   e x p e rie n c e   in   b o th   in d u str y   a n d   a c a d e m ia,  in c l u d i n g   ro les   i n   s o ftwa re   d e v e lo p m e n t  a n d   a s  He a d   o f  t h e   M CA  De p a rtme n t  a t  a n o th e r  c o ll e g e .   His  re se a rc h   in tere sts  in c lu d e   m a c h in e   lea rn i n g ,   d a ta  m in in g ,   e - lea rn in g ,   d a ta  re tri e v a l,   a n d   s u p e r v ise d /u n su p e rv ise d  lea rn in g ,   a n d   h e   h a s  p u b l ish e d   m u lt ip le  p a p e rs  in   i n tern a ti o n a l  j o u r n a ls  a n d   c o n fe re n c e s.  Dr.   S u n d a r  h a s  a lso   fil e d   a   p a te n t  re l a ted   to   a n   “ I n telli g e n t  Dr u g   Ab u se   Asc e rta in   S y ste m .  He   c a n   b e   c o n tac ted   a t  e m a il :  p ra v e e n su n d a rp v @ g m a il . c o m .     Evaluation Warning : The document was created with Spire.PDF for Python.