I nte rna t io na l J o urna l o f   E lect rica l a nd   Co m pu t er   E ng ineering   ( I J E CE )   Vo l.   16 ,   No .   5 ,  Octo b er   20 26 ,   p p .   2 7 5 0 ~ 2 7 6 8   I SS N:  2088 - 8 7 0 8 ,   DOI : 1 0 . 1 1 5 9 1 /ijece. v 16 i 5 . pp 2 7 5 0 - 2 7 6 8           2750       J o ur na l ho m ep a g e :  h ttp : //ij ec e. ia esco r e. co m   Rea l - time  multim o da l f a tigue de tec tion usin g  f a cia l v isio n and   a lert  int eg ra tion  v ia  ESP32  f o r occ upa tiona l health  a pplica tions       Andrés  E nri qu e  Ro j a s   P rim o ,   Alf re do   L a za ro   G utie rr ez ,   F elix   P ucuh ua y la - Rev a t t a     D e p a r t a m e n t o   d e   I n g e n i e r í a   E l e c t r ó n i c a ,   F a c u l t a d   d e   I n g e n i e r í a ,   U n i v e r si d a d   T e c n o l ó g i c a   d e l   P e r ú ,   L i ma ,   P e r ú       Art icle  I nfo     AB S T RAC T   A r ticle  his to r y:   R ec eiv ed   Dec   2 1 ,   2 0 2 5   R ev is ed   Ma y   6 ,   2 0 2 6   Acc ep ted   J u l 2 2 ,   2 0 2 6       Early   d e tec ti o n   o f  wo r k   fa ti g u e   is a ma jo r  c h a ll e n g e   in   in d u strial  se tt in g s  d u e   to   t h e   lac k   o f   n o n - in v a siv e ,   a c c e ss ib le,  a n d   l o w - c o st  s y ste m s  c a p a b le  o f   o p e ra ti n g   i n   re a l  ti m e .   In   t h is  c o n tex t,   th is  re se a rc h   p ro p o se s  a   m u lt imo d a l   re a l - ti m e   fa ti g u e   d e tec ti o n   sy ste m   u sin g   fa c ial  v isi o n   a n d   a rti ficia l  in telli g e n c e ,   a ime d   a t  risk   p re v e n ti o n   a n d   p r o m o ti n g   o c c u p a ti o n a l  h e a lt h .   Th e   sy ste m   in teg ra tes   g e o m e tri c   a n d   b e h a v io ra l  p a ra m e ters ,   su c h   a s  e y e   a sp e c t  ra ti o   (EAR),   h e a d   ti lt ,   a n d   m o u th   o p e n i n g ,   p ro c e ss e d   o n   a   Ra sp b e rry   P i  5   u sin g   M e d iaPi p e   a n d   a   h y b rid   c o n v o l u ti o n a l  n e u ra l  n e two rk   (CNN )   M o b i leV iT   m o d e l.   Visu a l   a n d   a u d ib le  a lerts  a re   m a n a g e d   b y   a n   ES P 3 2   m icro c o n tro ll e r  u sin g   t h e   m e ss a g e   q u e u i n g   tele m e try   tran s p o rt   ( M QTT )   p ro t o c o l,   w h il e   a   g ra p h ica l  in terf a c e   d e v e lo p e d   i n   Tk i n ter  a ll o ws   re a l - ti m e   m o n it o r in g   o f   o p e ra to r  sta t u s.   Ex p e rime n tal  re su lt s,   e v a l u a ted   in   a   sim u late d   wo rk   e n v ir o n m e n t   u si n g   AI - g e n e ra ted   sy n t h e ti c   v id e o s ,   sh o w  a n   a c c u ra c y   g re a ter  th a n   9 7 %   a n d   a   late n c y   o f  les s  th a n   2 5 0   m s ,   c o n firmi n g   t h e   sy ste m ' s   e ffe c ti v e n e ss   in   t h e   e a rly   d e tec ti o n   o f  si g n s   o f  d ro ws i n e ss   a n d   a tt e n ti o n   d e ficit.   I n   c o n c lu si o n ,   t h e   p ro p o s a l  re p re se n ts  a   n o n - i n v a siv e ,   sc a lab le,  a n d   e fficie n t  so lu ti o n   th a t  c o m b i n e s  c o m p u ter  v isi o n ,   d e e p   lea rn i n g ,   a n d   t h e   In tern e t  o f  Th in g s (Io T)   to   stre n g t h e n   wo r k p lac e   sa fe ty   a n d   we ll - b e in g .   K ey w o r d s :   Ar tific ial  in tellig en ce     E SP 3 2   m icr o co n t r o ller   Fatig u e  d etec tio n     I n ter n et  o f   th in g s     Occ u p atio n al  h ea lth     R asp b er r y   Pi 5   T h is i s  a n   o p e n   a c c e ss   a rticle   u n d e r th e   CC B Y - SA   li c e n se .     C o r r e s p o nd ing   A uth o r :   An d r és E n r iq u e  R o jas Pr im o   Dep ar tam en to   d e   I n g en ier ía  E lectr ó n ica,   Facu ltad   d e   I n g e n i er ía,   Un iv er s id ad   T ec n o ló g ica  d el  Per ú   Av .   So l,  B lo ck   2 ,   San   J u an   d e  L u r ig an c h o ,   L im a,   Per ú   E m ail: U 2 0 2 3 1 6 6 @ u tp . ed u . p e       1.   I NT RO D UCT I O N   Fatig u e  is   r ec o g n ized   as  a   co m p lex   p h en o m en o n   i n v o lv i n g   b o th   p h y s io lo g ical  an d   p s y ch o lo g ical  ex h au s tio n ,   w h ich   d ir ec tly   af f ec ts   p eo p le' s   wo r k   p er f o r m an ce   an d   well - b ein g   [ 1 ] ,  [ 2 ] .  I ts   im p ac t  is   wid esp r ea d :  it  is   esti m ated   th a t  th e  g lo b al  p r e v alen ce   r ea ch e s   2 4 . 2 %  f o r   g en er al  f atig u e  a n d   7 . 7 %  f o r   ch r o n ic  f atig u e,   with   a  g r ea ter   im p ac t  o n   wo m en   [ 3 ] .  On   a  s o cio ec o n o m ic   lev el,   its   ef f ec ts   a r e  e v id en t  in   h ig h - r is k   s ec to r s :  th e  W o r ld   Hea lth   Or g an izatio n   ( W HO)   esti m ates  th at  f atig u e  co n t r ib u tes  s ig n if ican tly   to   th e  1 . 2 5   m illi o n   an n u al  d ea th s   f r o m   tr af f ic  ac cid en ts   [ 4 ] ,  in   ad d itio n   to   co m p r o m is in g   s af ety   in   in d u s tr ies  s u ch   as  co n s tr u ctio n ,   tr a n s p o r tatio n ,   a n d   m in in g   [ 5 ] .  I n   th is   s en s e,   f atig u e  n o t  o n l y   af f ec ts   th e  h ea lth   o f   wo r k er s ,   b u t   also   p u b lic  s af ety   an d   in d u s tr ial  p r o ce s s es,  wh er e  alter n ativ e   s o lu tio n s   ar e  ev en   b ein g   d eb a ted   [ 2 ] .   I n   th e  in d u s tr ial  s ec to r ,   f atig u e  h as  b ee n   id en tifie d   as  o n e  o f   th e  m ain   ca u s es  o f   h u m an   er r o r   [ 6 ] .  Var io u s   s tu d ies  ag r ee   th at  b et wee n   3 0 %  an d   9 0 %  o f   s er io u s   in cid en ts   ar e  d ir ec tly   r elate d   to   wo r k er   f atig u e,   co n f ir m in g   th at  th is   f ac to r   co m p r o m is es  o p er atio n al  s af ety   in   m u ltip le  s ec to r s   [ 6 ] ,  [ 7 ] .  Fu r th er m o r e ,   m ed ical   liter atu r e  r an k s   am o n g   th e  to p   f iv e  ca u s es  o f   m ed ical  co n s u ltatio n ,   ass o ciate d   with   s e r io u s   illn ess es   an d   f u n ctio n al  im p air m en t  [ 3 ] .  I t s   co n s eq u en ce s   g o   b e y o n d   p h y s ical  h ea lth :  it  is   ass o ciate d   with   d ep r ess io n ,   an x iety ,   a n d   lo s s   o f   p r o d u ctiv ity   [ 8 ] ,  ev e n   af f ec tin g   s p ec i f ic  p o p u latio n s   s u ch   as  f ar m er s ,   wh er e  alm o s t  a   q u ar ter   r e p o r t  e x h au s tio n   a n d   h alf   s u f f er   f r o m   s leep   p r o b lem s   [ 9 ] .  I n   in d u s tr ial  wo r k er s ,   th e  im p ac t  tr an s lates  Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J E lec  &   C o m p   E n g     I SS N:   2088 - 8 7 0 8         R ea l - time  mu ltimo d a l fa tig u e   d etec tio n   u s in g   fa ci a l v is io n   a n d   a lert   …   ( A n d r és E n r iq u e  R o ja s   P r imo )   2751   in to   m u s cu lo s k eleta l  p ain ,   a b s en teeism ,   an d   lo wer   jo b   s ati s f ac tio n   [ 1 0 ] .  C o n tr o l  r o o m   o p er ato r s ,   wh o   ar e   s u b jecte d   to   r ep etitiv e  a n d   c o g n itiv ely   d em an d in g   task s ,   ar e  h ig h ly   v u ln er a b le  to   m e n tal  f atig u e,   wh ich   r ed u ce s   th eir   ab ilit y   to   co n ce n tr ate  an d   r esp o n d   [ 1 1 ] .  Sim ilar ly ,   in   cr itical  s ec to r s   s u ch   as  n u clea r   p o wer   p lan ts ,   o p er ato r   f atig u e   h as b e en   lin k ed   t o   s er io u s   er r o r s   with   p o ten tially   ca tast r o p h ic  co n s eq u en ce s   [ 1 2 ] .   At  th e  n atio n al  lev el,   s tu d ies  o n   f atig u e  at  wo r k   ar e  s till   s ca r ce ,   b u t  a  r ec e n t  s tu d y   r e v ea led   th at  u n iv er s ity   s tu d en ts   ex p er ien ce d   in cr ea s ed   lev els  o f   f atig u e  d u r in g   th e  p a n d em ic  d u e  to   p r o lo n g ed   ex p o s u r e  to   o n lin e  class es,  wh ich   led   to   a   d ec lin e  in   th eir   ac ad em ic  p er f o r m a n ce   [ 1 3 ] .  T h is   g ap   h ig h lig h ts   th e  n ee d   to   im p lem en t  n o n - in v asiv e  tech n o lo g ies  f o r   h ea lth   m o n ito r in g   in   t h e  wo r k p lace ,   wh ich   li m its   th e  ab ilit y   t o   d etec t r is k s   ass o ciate d   with   p h y s ical  an d   m en tal  ex h au s tio n   e ar ly   o n .   T h e  p r o b lem   a d d r ess ed   in   t h is   s tu d y   is   th e  lack   o f   f atig u e  d etec tio n   s y s tem s   th at  ar e  n o n - in v asiv e,   ac ce s s ib le,   lo w - co s t,  an d   ca p ab le  o f   o p er atin g   au t o m atica lly   in   r ea l  tim e  wi th in   wo r k   en v ir o n m en ts .   R ec en t   s tu d ies  h ig h lig h t  th at   f atig u e   r em ain s   d if f icu lt  to   id en tif y   u s in g   co n v en tio n al  m eth o d s   an d   th at  th er e   is   s till   a  cr itical  n ee d   f o r   m o r e  ef f icie n t  au to m atic  to o ls   f o r   its   co n tin u o u s   m o n ito r in g   [ 1 1 ] .  T h e   s tu d y   p r o p o s es   t h e   d esi g n ,   im p l em e n tat i o n ,   a n d   v ali d at io n   o f   a   s y s te m   b as ed   o n   f a cial   v is io n   an d   ar t if ici al   i n t e lli g e n c e,   i n t e g r ate d   wit h   a n   ale r t   d e v ic e  u s i n g   an   E SP 3 2   m ic r o c o n t r o lle r .   T h e  s t u d y   s e ek s   t o   e v al u at e   th e  t ec h n o lo g i ca l  ef f e cti v e n ess   o f   t h e  p r o t o t y p e,   c o n s i d e r i n g   p e r f o r m a n c e  m e tr ics  s u ch   as   d et ec ti o n   a cc u r a cy ,   f alse   p o s iti v e  r a te ,   r es p o n s e  l ate n cy ,   an d   r e lia b i li ty   o f   t h e   al er ts   g e n e r a te d .   T h e   o b je cti v e  is   to   v er if y   wh et h e r   th e  a p p li ca ti o n   o f   th is   m u lti m o d al   a p p r o a c h   ca n   r ed u ce   o cc u p at io n al   r is k s   ass o cia te d   wit h   d r o wsi n ess   a n d   att en ti o n   d e f i cit   d is o r d er ,   c o n tr ib u t in g   t o   t h e  d e v el o p m e n t   o f   s a f e r   an d   m o r e   p r e v e n t iv e  in d u s t r ia l  en v i r o n m e n ts .   I n   ter m s   o f   ju s tific atio n ,   th e  li ter atu r e  h ig h lig h ts   th at  f atig u e   is   d if f icu lt  to   d etec t  au to m atica lly   d u e  to   th e  s u b tlety   o f   its   v is u al  i n d icato r s ,   r ei n f o r ci n g   th e   n ee d   f o r   m u ltim o d al,   n o n - in v asiv e  s y s tem s   f o r   r ea l - tim e  m o n ito r in g   [ 1 4 ] .  Fro m   a   co n ce p tu al  p o in t  o f   v iew,   co g n itiv e  f atig u e  is   d ef in e d   as  a  s tate  ch ar ac ter ized   b y   tire d n ess ,   lack   o f   en er g y ,   d if f icu lty   c o n ce n t r atin g ,   an d   i m p air ed   ex ec u tiv e   f u n ctio n s ,   wh ich   in cr ea s es  th e   r is k   o f   er r o r s   in   cr itical  s it u atio n s   [ 1 5 ] .  Alth o u g h   f atig u e  an d   ex ce s s iv e  d ay tim e  s leep in ess   ar e  o f ten   co n f u s ed ,   t h e  f o r m er   h as  a  g r e ater   im p ac t  o n   p s y c h o lo g ical,   s o cial,   an d   o cc u p atio n al  d im e n s io n s   [ 8 ] .  I ts   m ai n   tr ig g er s   in clu d e  p ar tial  s leep   d ep r iv atio n   an d   cir ca d ia n   p r o ce s s es,  wh o s e  ef f ec ts   h av e   b ee n   co m p ar ed   to   th o s e   o f   alco h o l  co n s u m p tio n   i n   co g n itiv e  im p air m e n t  [ 6 ] .  I ts   m an if estatio n s   in clu d e  m em o r y   lap s es,  er r o r s ,   an d   d ec r ea s ed   co n ce n tr atio n ,   wh ich   u n d er s co r es  its   d an g er   in   h ig h ly   d em an d i n g   en v ir o n m en ts   [ 1 1 ] .  T h e   r ep er cu s s io n s   o f   f atig u e  also   ex ten d   to   th e   ec o n o m ic  s p h er e.   I n   c o u n tr ies  s u ch   as  th e   Un ited   States ,   th e   an n u al  co s t  ass o ciate d   with   ch r o n ic  f atig u e   s y n d r o m e  ca n   ex ce ed   $ 1 1 , 7 8 0   p er   p atien t  [ 3 ] .  Alth o u g h   s tr ateg ies  s u ch   as  er g o n o m ic  in te r v en tio n s   h av e   b ee n   im p lem e n ted ,   th eir   ef f ec tiv e n ess   in   r e d u cin g   f atig u e  an d   p h y s ical   p ain   h as b ee n   lim ited   [ 1 0 ] .    Ar tific ial  in tellig en ce   an d   c o m p u ter   v is io n   h av e  estab li s h ed   th em s elv es  as  ce n tr al  p illar s   o f   in n o v atio n   [ 1 3 ] – [ 1 5 ] .  Dee p   le ar n in g   a p p lied   to   v i d eo   a n aly s is   allo ws  f atig u e  p atter n s   to   b e  d etec ted   in   r ea l   tim e,   ac h iev in g   ac c u r ac y   o f   o v er   9 4 %  [ 1 3 ] .  Am o n g   th e  m o s t  r eliab le  m etr ics  is   th e  p er ce n tag e  o f   ey elid   clo s u r e  ( PERC L OS) ,   wh o s e  ef f ec tiv en ess   h as  b ee n   co r r o b o r ated   in   b o th   in d u s tr ial  co n tex ts   an d   n u clea r   co n tr o l r o o m s   [ 6 ] – [ 1 3 ] .  At  th e   s am e  tim e,   p h y s io lo g ical  b i o m ar k er s   s u ch   as  h ea r t  r ate   v ar i ab ilit y   ( HR V)   h av e   p r o v e n   to   b e   r o b u s t  p r ed icto r s   o f   co g n itiv e   f atig u e,   ac h iev in g   ac cu r ac y   lev els  clo s e  to   9 7 %  u s in g   m ac h i n e  lear n in g   alg o r ith m s ,   alth o u g h   th ey   ar e  in v asiv e  f o r   th e  u s er   wh en   im p lem en tin g   th e  s y s tem   [ 1 5 ] .  Alth o u g h   elec tr o en ce p h al o g r am   ( E E G)   an d   elec tr o ca r d i o g r am   ( E C G )   b ased   m eth o d s   ca n   d etec t  d r o wsi n ess   wi th   g o o d   ac cu r ac y ,   s ev er al  s tu d ies  n o te  th at  th ey   ar e  n o t  id ea l  f o r   r ea l  wo r k   o r   d r iv in g   en v i r o n m e n ts .   T h eir   r elian ce   o n   body - attac h ed   s en s o r s   an d   s p ec ialized   eq u ip m e n t  m ak es  th em   in tr u s iv e  an d   o f ten   u n co m f o r ta b le,   wh ich   r ed u ce s   th eir   p r ac ticality   o u ts id e  co n tr o lled   c o n d itio n s   [ 1 6 ] ,  [ 1 7 ] .   I n   th is   co n te x t,  s ev er al   s tu d ies  ag r ee   th at  co m p u ter   v is io n   is   a  m o r e  p r ac tical  an d   v iab le  alter n ativ e   [ 1 1 ] – [ 1 4 ] .   R ec en t  r ev iews  h ig h lig h t  th at  s y s tem s   b ased   o n   b eh a v io r al  f ea tu r es  s u ch   as  f ac ial  tr ac k in g   ar e  wid ely   ad o p ted   d u e  to   th eir   ea s e  o f   u s e  an d   lo w  co s t,  alth o u g h   th eir   p er f o r m an c e  ca n   b e   af f ec ted   b y   v ar iatio n s   in   lig h tin g   a n d   ca m er a  a n g les  [ 1 6 ] .   T h is   r ein f o r ce s   th e  n ee d   to   ad o p t  m u ltimo d al   ap p r o ac h es  th at   co m b in e  m u ltip le  v is u al  an d   p o s tu r al  p ar a m eter s   to   in cr ea s e  th e  r o b u s tn ess   o f   th e  s y s tem   in   d y n a m ic  wo r k   en v ir o n m e n ts .   T h e  co n tr ib u tio n   o f   th is   r esear ch   f o cu s es  o n   th e  d ev elo p m en t  o f   a  n o n - i n v asiv e  m u lti p ar am etr ic  s y s tem   ca p ab le  o f   s im u ltan eo u s ly   in teg r atin g   an d   an aly zin g   d if f er en t  f ac ial  an d   p o s tu r al  i n d icato r s   ass o ciate d   with   f atig u e.   Un lik e  tr a d itio n a l  ap p r o ac h es  b ased   s o lely   o n   b lin k in g   o r   ey e   clo s u r e,   th e  p r o p o s al  in co r p o r ates  a  b r o ad er   s et  o f   ch ar ac ter is tics ,   in clu d in g   ey e  asp ec t  r atio   f o r   d etec tin g   p r o lo n g ed   clo s u r es,  th e  p r o b a b ilit y   o f   m o u th   o p e n in g   f o r   id e n tify in g   y awn in g ,   a n d   h ea d   o r ien tatio n   b y   ca lcu latin g   th e   an g le  a n d   v er tical  i n clin atio n   r elativ e  to   th e  wo r k s tatio n .   T h is   co m b in ed   an aly s is   allo ws  f o r   a  m o r e  r o b u s t  ass ess m en t  o f   t h e  u s er ' s   co n d itio n ,   r e d u cin g   d e p en d e n ce   o n   a  s in g le  p a r am eter   t h at ,   in   r ea l  c o n d itio n s ,   ca n   b e   a f f ec ted   b y   ex ter n al  f ac to r s   s u ch   as  lig h tin g ,   th e  o p er ato r ' s   n atu r al  m o v em en t,   o r   in d iv i d u al  v a r iab ilit y .   T h an k s   to   th is   m u ltimo d a l   in teg r atio n ,   th e   s y s tem   in cr ea s es its   r eliab ilit y   in   th e  ea r ly   d e tectio n   o f   f atig u e  in   o cc u p atio n al  en v ir o n m en ts .   T o   th is   en d ,   th e   r esear ch   ai m s   to   co n tr ib u te  t o   th e   f ield   o f   o cc u p atio n al  s af ety   b y   p r o v id in g   an   ac ce s s ib le,   s ca lab le   to o l  th at  ca n   b e  ad ap ted   to   d if f e r en t  wo r k   en v ir o n m en ts   wh er e  p r o d u ctiv ity   an d   r is k   p r ev en tio n   ar e  p r io r ities .   I n   a d d itio n ,   th e   m u lti - p ar a m eter   a p p r o ac h   allo ws  f o r   th e   o p tim i za tio n   o f   d etec tio n   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 8 - 8 7 0 8   I n t J E lec  &   C o m p   E n g ,   Vo l.   16 ,   No .   5 ,   Octo b e r   20 26 :   2 7 5 0 - 2 7 6 8   2752   alg o r ith m s   an d   th e   in co r p o r a tio n   o f   n ew  s o u r ce s   o f   in f o r m atio n   th at  s tr en g th en   th e  s y s tem 's  p r ed ictiv e   ca p ab ilit ies.   T h e  m ain   co n tr ib u tio n s   o f   th is   wo r k   ar e  as f o llo ws:   a.   T h e  d ev elo p m en t  o f   a  r ea l - t im e  m u ltimo d al  f atig u e  d ete ctio n   s y s tem   in teg r atin g   o cu lar ,   f ac ial,   an d   p o s tu r al  f ea tu r es with in   a  u n if i ed   co m p u ter   v is io n   f r am ewo r k .   b.   T h e  im p lem en tatio n   o f   an   ef f i cien t  ed g e - b ased   s o lu tio n   o n   a   R asp b er r y   Pi  5 ,   en ab lin g   r ea l - tim e  o p er atio n   with o u t r eq u i r in g   h ig h - p er f o r m an ce   co m p u tin g   r eso u r ce s .   c.   T h e   i n t e g r a ti o n   o f   a n   I n t e r n e t  o f   T h i n g s   ( I o T )   b a s e d   a l e r t  s y s t e m   u s i n g   m e s s a g e   q u e u i n g   te le m e t r y   t r a n s p o r t  ( M Q T T )   a n d   a n   E SP 3 2   m o d u l e ,   p r o v i d i n g   i m m e d i a t e   v is u a l   a n d   a u d i t o r y   f e e d b a c k   u p o n   f a t i g u e   d e t e c t i o n .   d.   T h e  p r o p o s al  o f   a  n o n - in tr u s iv e  an d   co s t - ef f ec tiv e  s o lu tio n   f o r   o cc u p atio n al  h ea lth   m o n ito r in g   in   r ea l - wo r ld   en v ir o n m e n ts .   e.   T h e  v alid atio n   o f   th e  p r o p o s ed   s y s tem   th r o u g h   co n tr o lled   ex p er im en ts   u s in g   s y n th e tic  v id eo   d ata,   ac h iev in g   h ig h   d etec tio n   ac cu r ac y   an d   l o w  laten cy .   I n   th is   co n tex t,  th e  m ain   o b je ctiv e  o f   th is   s tu d y   is   to   d ev el o p   an   ar tific ial  in tellig en ce - b a s ed   s y s tem   ca p ab le  o f   d etec tin g   f atig u e  in   r ea l  tim e  an d   is s u in g   i n teg r at ed   aler ts   v ia  a  m icr o c o n tr o ller ,   with   a  clea r   f o cu s   o n   o cc u p atio n al  h ea lt h   ap p l icatio n s .   T o   ac h iev e   th is ,   t h e  wo r k   in co r p o r ates  s ev er al  co m p lem e n tar y   co m p o n en ts :  a  co m p u ter   v is io n   m o d el  th at   an aly ze s   f ac ial  s ig n als  to   id en tif y   ea r l y   s ig n s   o f   f atig u e,   a   p r o to ty p e  aler t  m ec h an is m   t h at  ac tiv ates  au to m atica lly   u p o n   d etec tin g   cr itical  s tates,  an d   a n   in tu itiv e   in ter f ac e  th at  allo ws  f o r   co n tin u o u s   m o n ito r in g   o f   th e  o p er a to r ' s   co n d itio n .   Fin ally ,   th e  s y s tem   is   ev alu ated   in   co n tr o lled   s ce n a r io s   to   ass ess   its   p er f o r m an ce   in   ter m s   o f   d etec tio n   ac cu r ac y ,   f a ls e  p o s itiv e  r ate,   co m m u n icatio n   laten cy ,   a n d   t h e  r eliab ilit y   o f   t h e  g en e r ated   aler ts .       2.   M E T H O D    T h e   m e t h o d o l o g y   e m p l o y e d   i n   t h is   r es e a r c h   i s   b a s e d   o n   a  c o n t r o l l e d   e x p e r i m e n t a l   a p p r o a c h   d e s i g n e d   t o   v a l i d a t e  t h e   p e r f o r m a n c e   o f   t h e   f a t i g u e   d et e c ti o n   s y s t e m   w i t h o u t   r e q u i r i n g   t h e   d i r e ct   p a r t i c i p a ti o n   o f   r e a l  i n d i v i d u a l s .   T h e   p r o p o s e d   s y s te m   i m p l e m e n ts   a   m u l ti p a r a m et r i c   c o m p u t e r   v i s i o n   m o d e l   t h at   i n t e g r at e s   v a r i o u s   v i s u a l   i n d i c at o r s   f o r   r e a l - t im e   f a t i g u e   d e t e c ti o n ,   w i t h   d i r e c t   a p p l i c at i o n s   i n   o c c u p a t i o n a l   h e a lt h .   T h e   m e t h o d o l o g i c a l   p r o c es s   w as   s t r u c t u r e d   i n t o   s e v e r a l s e q u e n ti a l  s t a g es ,   as   s h o w n   i n   F i g u r e   1 ,   f o r m i n g   a   w o r k f l o w   t h a t   s p a n s   f r o m   t h e   i d e n t i f i c a tio n   o f   r e l e v a n t   f a c i a l   p a r a m et e r s   t o   t h e   te c h n i c a l   v al i d a ti o n   o f   t h e   m o d e l .           Fig u r e  1 .   Flo wch ar t  o f   th e   m et h o d o lo g ical  p r o ce s s   o f   th e  f ati g u e  d etec tio n   s y s tem   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J E lec  &   C o m p   E n g     I SS N:   2088 - 8 7 0 8         R ea l - time  mu ltimo d a l fa tig u e   d etec tio n   u s in g   fa ci a l v is io n   a n d   a lert   …   ( A n d r és E n r iq u e  R o ja s   P r imo )   2753   2 . 1 .     L it er a t ure  re v iew    C o m p u ter   v is io n - b ased   f atig u e  d etec tio n   m eth o d s   ar e  co m m o n ly   class if ied   in to   o cu lar ,   f ac ial,   an d   p o s tu r al  ap p r o ac h es.  Ocu lar   m eth o d s   r ely   o n   in d icato r s   s u ch   as  th e  ey e  asp ec t  r atio   ( E A R )   an d   PER C L OS   to   ev alu ate  ey e  clo s u r e  an d   b li n k in g   b e h av io r ,   wh ic h   ar e  s tr o n g ly   ass o ciate d   with   f atig u e   [ 1 2 ] ,   [ 1 8 ] .   Facial   ap p r o ac h es  ex ten d   t h is   an aly s is   b y   in co r p o r atin g   m o u th   m o v em en ts   to   d etec t  y awn i n g   u s in g   f ac ial  lan d m a r k s   [ 1 9 ] ,   wh ile  p o s tu r al  m eth o d s   an aly ze   h ea d   an d   n ec k   p o s itio n ,   as  h ea d   tilt in g   is   clo s ely   li n k ed   t o   d r o wsi n ess   d u e  to   th e  r ed u ce d   ab ilit y   to   m ain tain   an   u p r ig h t  p o s tu r e   [ 2 0 ] .  T h ese  ap p r o ac h es  b el o n g   to   th e  b r o ad er   ca teg o r y   o f   b eh a v io r - b ased   m eth o d s ,   as  th ey   r ely   o n   e x ter n ally   o b s er v ab le  f ea tu r es  ca p tu r ed   th r o u g h   co m p u ter   v is io n   s y s tem s .   T h i s   clas s if icatio n   alig n s   with   p r ev io u s   s tu d ies  th at  g r o u p   d r o wsi n ess   d etec tio n   tech n iq u es in to   b eh av io r al,   p h y s io lo g ical,   an d   h y b r id   ap p r o a ch es  [ 1 6 ] .    B u ild in g   u p o n   th ese  ap p r o ac h es,  s ev er al  s tu d ies  h av e  em p l o y ed   g e o m etr ic  d escr ip to r s   d er i v ed   f r o m   f ac ial  lan d m ar k s   to   c h ar ac ter i ze   f atig u e - r elate d   b eh av i o r s .   I n   o cu lar   a n aly s is ,   th e  E AR   h as  b ee n   wid ely   u s ed   to   d etec t  b lin k in g   p atter n s   an d   p r o lo n g ed   e y e  clo s u r e,   as  it   is   co m p u ted   f r o m   E u clid ea n   d is tan ce s   b etwe en   ey e  lan d m ar k s   an d   e x h ib its   s tab le  v alu es  wh en   th e   ey es  ar e   o p en ,   d ec r ea s in g   d u r in g   clo s u r e  [ 2 1 ] .   Similar ly ,   f ac ial - b ased   ap p r o ac h es  u tili z e  th e  m o u t h   asp ec t  r atio   ( MA R )   to   d etec t  y awn in g   th r o u g h   th r esh o ld - b ased   class if icatio n   o f   s u s tain ed   m o u th   o p en in g   [ 1 9 ] .  Desp ite  th eir   co m p u tatio n al  e f f icien cy   an d   s u itab ilit y   f o r   r ea l - tim e  ap p licatio n s ,   th ese  g e o m etr ic  m eth o d s   m a y   b e  af f ec te d   b y   illu m in atio n   c h an g es,  h e ad   p o s e  v a r iatio n s ,   an d   in d i v id u al  f ac ial  d if f er en c es,  wh ich   ca n   r e d u ce   d etec tio n   r eliab ilit y   in   u n c o n s tr ain ed   c o n d itio n s   [ 2 1 ] .    I n   ad d itio n ,   s tu d ies  b ased   o n   p h y s ical  m ea s u r em e n ts   h av e  s h o wn   th at   r ely in g   o n   a   s in g le  p ar am eter ,   s u ch   as  h ea d   p o s tu r e,   m ay   b e  i n s u f f icien t  to   ac cu r ately   d etec t  d r o wsi n ess ,   s in ce   n o r m al  d r i v in g   b e h av io r s   ca n   p r o d u ce   s im ilar   p atter n s   a n d   lead   to   f alse  alar m s   [ 2 0 ] .   T o   ad d r ess   th ese  lim itatio n s ,   r ec en t  wo r k s   h a v e   in co r p o r ated   co n v o l u tio n al  n eu r al  n etwo r k s   ( C NNs)  to   au to m atica lly   lear n   d is cr im in a tiv e  f ea tu r es  f r o m   im ag e  d ata,   im p r o v in g   d etec tio n   p e r f o r m an ce   u n d er   co m p lex   co n d itio n s .   I n   p ar ticu lar ,   h y b r id   ap p r o ac h es   co m b in in g   C NN - b ased   ey e  s tate  clas s if icatio n   with   MA R - b ased   y awn in g   d etec tio n   h av e  d em o n s tr ated   im p r o v e d   r o b u s tn ess   b y   in teg r atin g   lear n ed   r ep r esen tatio n s   with   g eo m etr ic  f ea tu r es  [ 1 9 ] .   E x ten d in g   b e y o n d   v is io n - b as ed   m eth o d s ,   r ec en t  r esear ch   h as  ex p lo r ed   f atig u e   d etec tio n   s tr ateg ies  b ased   o n   p h y s io lo g ical,   b e h a v io r al,   v eh ic u lar ,   an d   h y b r id   f ea tu r es,  em p h asizin g   th at  n o   s in g le  ap p r o ac h   is   s u f f icien t  to   a d d r ess   all  r ea l - wo r ld   co n d itio n s   [ 1 6 ] .   Ph y s io lo g ical - b ased   m et h o d s ,   p ar tic u lar ly   th o s e  r ely in g   o n   E E G,   E C G,   an d   elec tr o o c u lo g r am   ( E OG)   s ig n als,  o f f er   h ig h   ac cu r ac y   b y   d ir ec tly   ca p tu r in g   th e  d r iv er ’ s   in ter n al  s tate;  h o wev er ,   th ei r   in tr u s iv e  n atu r e   an d   d ep en d en ce   o n   wea r ab le  s en s o r s   l im it  th eir   p r ac tical  ap p licab ilit y .   I n   c o n tr ast,  v is io n - b ased   ap p r o ac h es   p r o v id e   a  n o n - in tr u s iv e   alter n ativ e   b u t   r em ain   s en s itiv e  to   en v ir o n m en tal  f ac to r s   s u ch   as illu m in atio n ,   o cc lu s io n s ,   an d   s ce n e  v ar iab ilit y   [ 2 2 ] .   Fu r th er m o r e ,   co m p a r ativ e  s tu d ies  h av e  s h o wn   th at  p h y s io lo g ical  s ig n als  ten d   to   b e  m o r e  r eliab le  b u t  in tr o d u ce   ch allen g es  s u ch   as  s ig n al  v ar iab ilit y ,   co m p u tatio n al  co m p lex ity ,   an d   lim ited   s ca lab ilit y ,   wh er ea s   b eh av io r al   m eth o d s   ar e  ea s ier   to   d e p lo y   b u t  less   r o b u s t  u n d er   u n co n s tr ain ed   co n d itio n s   [ 2 3 ] .   T o   o v er c o m e   th ese  lim itatio n s ,   h y b r id   a n d   m u ltimo d al  ap p r o ac h es  h av e  em er g ed   as  a  p r o m is in g   d i r ec tio n ,   co m b in in g   m u ltip le  s o u r ce s   o f   in f o r m atio n   to   im p r o v e  r o b u s tn ess   an d   d etec tio n   ac cu r ac y .   I n   p ar ticu la r ,   th e  in teg r atio n   o f   b eh av io r al  a n d   p h y s io lo g ical   f ea tu r es  h as  b ee n   s h o wn   to   s ig n if ican tly   en h an ce   p e r f o r m an ce ,   in cr ea s in g   d etec tio n   ac c u r ac y   f r o m   m o d er ate  lev els  to   n ea r   h ig h - p er f o r m a n ce   r a n g es,  with   s o m e  h y b r id   s y s tem s   ac h iev in g   r esu lts   ap p r o ac h i n g   n ea r - p er f ec t  ac c u r ac y   u n d er   co n tr o lled   co n d itio n s   [ 1 6 ] .   Ho wev er ,   th ese  s y s tem s   also   in tr o d u ce   ch alle n g es  r elate d   to   d ata  f u s io n ,   c o m p u tatio n al   co s t,  a n d   r ea l - ti m e  im p lem en tatio n ,   wh ich   m u s t b e  ca r e f u lly   ad d r e s s ed   to   en s u r e  p r ac tical  d e p lo y m en t  [ 2 2 ] .   Desp ite  th e  s ig n if ican t  p r o g r ess   ac h iev ed   in   f atig u e  d etec tio n   s y s tem s ,   s ev er al  lim ita ti o n s   r em ain   u n ad d r ess ed   in   cu r r en t  ap p r o a ch es.  I n   p ar ticu lar ,   v is io n - b as ed   m eth o d s ,   wh ile  n o n - in tr u s i v e  an d   s u itab le  f o r   r ea l - tim e  ap p licatio n s ,   ar e  s ti ll  h ig h ly   s en s itiv e  to   en v ir o n m en tal  co n d itio n s   s u ch   as  illu m in atio n   c h an g es,   o cc lu s io n s ,   an d   h e ad   p o s e  v a r iatio n s ,   wh ich   ca n   r e d u ce   th eir   r eliab ilit y   in   p r ac tical  s ce n ar io s .   On   th e  o t h er   h an d ,   p h y s io lo g ical - b ased   m e th o d s   p r o v id e  h i g h er   ac c u r ac y   b y   d ir ec tly   ca p tu r in g   th e  d r i v er ’ s   in ter n al  s tate;  h o wev er ,   th eir   in tr u s iv e  n at u r e  an d   d e p en d e n ce   o n   s p ec ialized   s en s o r s   lim it  th eir   u s ab ilit y   in   r ea l - wo r ld   d ep lo y m e n ts .   Alth o u g h   h y b r id   an d   m u ltim o d al  ap p r o ac h es h av e  b ee n   p r o p o s ed   to   o v er c o m e  th ese  lim itatio n s   b y   co m b i n in g   m u ltip le  s o u r ce s   o f   in f o r m atio n ,   m an y   ex is tin g   s o lu tio n s   r ely   o n   co m p lex   ar ch itectu r es,  h ig h   co m p u tatio n al  r eso u r ce s ,   o r   r eq u ir e  h eter o g en eo u s   d ata  s o u r ce s   th at  ar e  n o t  alwa y s   av ailab le  in   r ea l - tim e   en v ir o n m en ts .   T h er ef o r e,   th er e  is   a  clea r   n ee d   f o r   ef f icien t  an d   n o n - i n t r u s iv e  s y s tem s   ca p ab le  o f   in teg r atin g   m u ltip le  b eh a v io r al  in d icato r s   wh ile  m ain tain in g   lo w  co m p u tatio n al  co s t  an d   r ea l - tim e  p er f o r m a n ce .   I n   th is   co n tex t,  th e  p r esen t  wo r k   p r o p o s es  a  m u ltimo d al  f atig u e  d etec tio n   s y s tem   b ased   ex clu s iv ely   o n   c o m p u ter   v is io n ,   in teg r atin g   o c u lar ,   f ac ial,   an d   p o s tu r al  f ea tu r es   with in   a  u n if ied   f r am ewo r k .   B y   co m b in in g   co m p lem en tar y   in d icato r s   s u ch   as  ey e  clo s u r e,   y awn in g   b e h av io r ,   a n d   h ea d   p o s itio n ,   th e   p r o p o s ed   ap p r o ac h   aim s   to   im p r o v e  d etec tio n   r o b u s tn ess   wh ile   av o id in g   th e  lim itatio n s   ass o ciate d   with   s in g le - m o d ality   s y s tem s   an d   in tr u s iv e  s en s in g   tech n iq u es.  Ad d itio n ally ,   th e  s y s tem   in co r p o r ates  a  r ea l - tim e  aler t  m ec h an is m   th at   p r o v id es  im m ed iate  f ee d b ac k   to   th e  u s er   wh en   f atig u e - r el ated   ev en ts   ar e  d etec ted ,   en h an cin g   its   p r ac tical  Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 8 - 8 7 0 8   I n t J E lec  &   C o m p   E n g ,   Vo l.   16 ,   No .   5 ,   Octo b e r   20 26 :   2 7 5 0 - 2 7 6 8   2754   ap p licab ilit y   in   s af ety - cr itical   en v ir o n m e n ts .   T h is   d esig n   s ee k s   to   ac h iev e   a   b alan ce   b etwe en   ac cu r ac y ,   ef f icien cy ,   a n d   p r ac tical  ap p li ca b ilit y ,   m ak in g   it su itab le  f o r   r ea l - wo r ld   f atig u e  m o n ito r in g   s ce n ar io s .   Un lik e  p r ev io u s   ap p r o ac h es  th at  r ely   o n   eith er   s in g le - m o d ality   d etec tio n   o r   in t r u s iv e  p h y s io lo g ical   s en s o r s ,   th e  p r o p o s ed   s y s tem   in teg r ates  m u ltip le  b e h av io r al  in d icato r s   with in   a  lig h tweig h t  ed g e - co m p u tin g   ar ch itectu r e.   Fu r th er m o r e,   th e  in teg r atio n   o f   r ea l - tim e  I o T - b ased   aler ts   u s in g   MQ T T   an d   E SP 3 2   en ab les   im m ed iate  r esp o n s e,   m a k in g   t h e  s y s tem   s u itab le  f o r   p r ac tical  d ep lo y m e n t in   o cc u p atio n al  en v ir o n m en ts .     2 . 2 .     Select io n o f   v a ri a bles   a nd   det ec t io n c rit er ia   B ased   o n   th e  f i n d i n g s   o f   th e   li ter at u r e   r ev iew ,   t h e   m o s t   w id e ly   u s e d   q u a n ti tat iv e   m et r ics   i n   s ci e n ti f ic   s tu d ies   o n   f a ti g u e  a n d   d r o ws in ess   we r e  a d o p t e d   [ 1 2 ] – [ 1 8 ] .   T h es e  m et r ics  we r e  s ele ct ed   to   en s u r e  t h e  a cc u r ac y   an d   r eli ab ilit y   o f   t h e   v is u al   s i g n s   co m p u te d   b y   t h e   f ati g u e   d et ec ti o n   s y s t em .   T h e   p a r a m et e r s   in c lu d ed :   a.   E AR   f o r   d etec tin g   b lin k   f r eq u en cy   an d   p r o lo n g e d   ey e  cl o s u r e,   b.   Mo u th   o p en in g   as a n   in d icato r   o f   d r o wsi n ess   an d   lo s s   o f   atten tio n ,   c.   Hea d   tilt   an g le  f o r   id en tify i n g   p o s tu r al  f atig u e  i n d icato r s .   T h ese  m etr ics  wer e   in teg r ate d   in to   th e  s y s tem   to   estab lis h   d etec tio n   cr iter ia   th at  g u id e   th e   r ea l - tim e  ac tiv atio n   o f   aler ts .     2 . 3 .     M a t er ia ls   a nd   t o o ls   Fig u r e  2   s u m m ar izes  th e  p h y s ical  an d   lo g ical  co m p o n en ts   u s ed   in   th e  s y s tem   im p lem en t atio n .   T h e   alg o r ith m   was  d ev elo p ed   u s in g   th e  Py th o n   p r o g r am m i n g   lan g u ag e  alo n g   with   s p ec ialized   lib r ar ies  f o r   im ag e   p r o ce s s in g   an d   r ea l - tim e  v i d e o   an aly s is .   Op en C V  an d   Me d iaPip e   wer e  u s ed   f o r   f ac ial  la n d m ar k   ex tr ac tio n   an d   p r e p r o ce s s in g ,   w h ile  T en s o r Flo w  was  em p lo y ed   to   im p lem en t  th e  n eu r al  n etwo r k – b ased   m o u th - s tate  class if ier .   Fo r   th is   p u r p o s e,   a   p u b licly   av ailab le   y awn in g   d a taset  o b tain ed   f r o m   Kag g le   was  u s ed   to   tr ain   a n d   v alid ate  th e  m o u th - o p en i n g   m o d el,   en ab lin g   th e  d is cr im in atio n   b etwe en   o p e n   an d   clo s ed   m o u th   s tates  u n d er   d if f er en t  c o n d itio n s   [ 2 4 ] .   M QT T   s er v ed   as  th e  co m m u n icatio n   p r o to c o l  f o r   ex ch a n g in g   aler t  m ess ag es  b etwe en   th e   R asp b er r y   Pi  5 ,   th e  E SP 3 2   m icr o co n tr o ller ,   a n d   th e   PC   in ter f ac e.   Fu r th er m o r e,   t h e  g r ap h ical   in ter f ac e  was  im p lem en ted   u s in g   th e   T k i n ter   lib r ar y ,   wh ich   allo ws  f o r   r ea l - tim e  v is u aliza tio n   o f   th e  d etec tio n   r esu lts .   R eg ar d in g   h ar d war e,   th e  s y s t em   in clu d es  a   2 2 0   V  AC   to   5   V  DC   p o wer   s u p p ly   to   e n s u r e  s tab le   o p er atio n   o f   all  co m p o n en ts .   A  L o g itech   C 5 0 5 e  HD  web ca m   was  s elec ted   as  th e  d ata - ac q u is itio n   d ev ice  d u e  to   its   s u itab ili ty   f o r   n o n - i n v a s iv e  f atig u e - m o n ito r in g   ap p licatio n s ,   f o llo win g   th e  cu r r en t   tr en d   o f   av o i d in g   wea r ab le  o r   in tr u s iv e  s en s in g   ap p r o ac h es  [ 1 4 ] .   All  in co m in g   v id eo   f r am es  ar e  p r o ce s s ed   o n   a  R asp b er r y   Pi  5 ,   wh ich   f u n ctio n s   as  th e  m ain   co m p u tatio n al  u n it  an d   p r o v i d es  s u f f icien t  p er f o r m an ce   to   ex ec u te  lig h tweig h t   co m p u ter - v is io n   an d   m ac h in e - lear n in g   alg o r ith m s   with o u t  r eq u ir in g   ex te r n al  p r o ce s s in g   h ar d war e  [ 2 5 ] .   T h e   E SP 3 2   m icr o co n tr o ller   is   u s ed   as  an   ex ter n al  aler t  m o d u le,   ac tiv atin g   L E Ds  an d   a  b u zz er   in   r esp o n s e  to   f atig u e  ev en ts .             Fig u r e  2 .   Flo wch ar t  o f   th e   m et h o d o lo g ical  p r o ce s s   o f   th e  f ati g u e  d etec tio n   s y s tem   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J E lec  &   C o m p   E n g     I SS N:   2088 - 8 7 0 8         R ea l - time  mu ltimo d a l fa tig u e   d etec tio n   u s in g   fa ci a l v is io n   a n d   a lert   …   ( A n d r és E n r iq u e  R o ja s   P r imo )   2755   2 . 4 .     Sy s t e m   des ig n   Fig u r e  3   p r esen ts   th e  o v er all  e x ec u tio n   f lo w  o f   th e  p r o p o s ed   f atig u e - m o n ito r in g   s y s tem .   T h e  p r o ce s s   b eg in s   with   th e  i n itializatio n   o f   th e  ca m er a  a n d   s o f twar e   m o d u les,  f o llo we d   b y   co n tin u o u s   f r am e  ac q u is itio n   an d   p r e p r o ce s s in g .   On ce   a  f ac e  is   d etec ted ,   th e  s y s tem   ev alu ates  th e  ex tr ac ted   f ea tu r e s   th r o u g h   th e  e y e,   m o u th ,   a n d   p o s tu r e  d etec tio n   s u b m o d u les.  W h en   an y   s ig n   o f   f atig u e   is   id en tifie d ,   t h e  co r r esp o n d i n g   aler t  is   tr an s m itted   v ia  MQ T T   to   b o t h   th e  E SP 3 2   an d   th e   g r a p h ica l  in ter f ac e,   e n ab lin g   th e   ac tiv atio n   o f   v is u al  a n d   au d ib le  n o tific atio n s .   T h e  lo o p   co n tin u es u n til th e  u s er   s to p s   th e  m o n ito r i n g   s ess io n .           Fig u r e  3 .   Sy s tem   ex ec u tio n   f l o w       T o   co m p lem en t  th e   f lo wch ar t,  Fig u r e  4   illu s tr ates  th e  in ter n al  s tr u ctu r e  o f   t h e  d etec tio n   m o d u les   r esp o n s ib le  f o r   an al y zin g   f ac i al  ch ar ac ter is tics   as s o ciate d   w ith   f atig u e.   T h is   d iag r am   d etai ls   th e  p r ep r o ce s s in g   s tag e — im p lem en ted   with   Op en C V  an d   Me d iaPip e  an d   th e   ex tr ac tio n   o f   k ey   f ea t u r es  s u ch   as  th e  ey e  asp ec t   r atio ,   p r o lo n g ed   ey e   clo s u r e,   h ea d - tilt   an g le,   a n d   m o u t h - o p en in g   s eg m en tatio n .   Me d iaPip e   is   in co r p o r ate d   as  th e  p r im ar y   lan d m a r k - e x tr ac tio n   f r am ew o r k   d u e  to   its   ab ilit y   to   g en e r ate  h ig h - r eso lu tio n   f ac ial  k ey   p o in ts   in   r ea l  tim e  an d   m ain tain   s tab le  t r ac k in g   ev e n   u n d er   p a r tial  o cc lu s io n s ,   m ak in g   it  s u itab le  f o r   id en tify in g   s u b tle  m icr o - ex p r ess io n s   an d   p o s tu r al  v ar iatio n s   r elev an t   to   f atig u e  ass ess m en t  [ 2 2 ] .   T h ese  p ar am eter s   ar e  th en   p r o ce s s ed   in   th e   f ea tu r e - an aly s is   s tag e,   wh er e  th e  m o u th - s t ate  class if ier   is   im p lem en ted   u s in g   a  lig h tweig h t  C NN  co m b in ed   with   tr an s f o r m er - b ased   c o m p o n en ts .   T o g e th er ,   th ese  s u b m o d u les  p r o v i d e  th e  m u ltimo d al  f o u n d atio n   th at  e n ab les th e  s y s tem   to   d etec t f atig u e  in d icato r s   in   r ea l tim e.             Fig u r e  4 .   Featu r e   an aly s is   an d   tr ain in g   s tag e   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 8 - 8 7 0 8   I n t J E lec  &   C o m p   E n g ,   Vo l.   16 ,   No .   5 ,   Octo b e r   20 26 :   2 7 5 0 - 2 7 6 8   2756   Fig u r e s   5   a n d   6   s h o w   t h e   c o m m u n i ca t io n   an d   ale r t   s u b s y s te m   t h at   s u p p o r ts   th e   s o f t wa r e   a r c h it ec t u r e .   T h e  R asp b er r y   Pi  5   e x ec u te s   th e  d etec tio n   alg o r ith m s   a n d   p u b lis h es  f atig u e  e v en ts   t h r o u g h   th e  MQ T T   p r o to co l,  wh ile  th e  E SP 3 2   r ec eiv es  th ese  m es s ag es  an d   m an ag es  th e  co r r esp o n d in g   aler t  ac tio n s .   T h e  v is u al  aler t  is   g en er ated   th r o u g h   h ig h - in ten s ity   L E Ds,  an d   th e   au d ib le  aler t  is   ac tiv ated   th r o u g h   a  b u zz er   co n n ec te d   to   th e  E SP 3 2 .   T h is   m o d u lar   c o m m u n icatio n   d esig n   en s u r es  th at  aler ts   ca n   b e  tr ig g er ed   with   m in im al  laten cy ,   in d ep en d en tly   o f   th e  co m p u tat io n al  lo ad   o f   th e  d etec tio n   m o d u les.           F i g u r e   5 .   M Q T T - b as e d   c o m m u n i c a t i o n   a n d   a l e r t   s u b s y s t e m   b e t w e e n   t h e   R as p b e r r y   P i   5   a n d   t h e   E S P 3 2   m o d u l e           Fig u r e  6 .   MQ T T - p h y s ical  p r o t o ty p e  o f   th e  E SP 3 2 - b ased   aler t m o d u le  u s ed   d u r in g   r ea l - tim e  v alid atio n       2 . 5 .     Va lid a t i o n  pro ce du re   A  s et  o f   s y n th etic  v id eo s   g e n e r ated   u s in g   d if f u s io n - b ased   m o d els  ( AI - d r i v en   f ac ial  g e n er a tio n   to o ls )   was  u s ed   f o r   s y s tem   v alid atio n .   T h is   s tu d y   r elies  ex clu s iv ely   o n   s y n th etic  v id e o s   to   en s u r e  co n tr o lled   a n d   r ep r o d u cib le  v alid atio n   co n d itio n s .   T h ese  v id eo s   wer e  d esig n ed   to   r ep r esen t  co n tr o lled   v is u al  s tates   ass o ciate d   with   b o th   f atig u e   an d   n o n - f atig u e  co n d itio n s ,   in clu d in g   h alf - clo s ed   ey es,  y awn in g ,   a n d   h ea d   tilt in g .   Af ter   g en er atio n ,   all  im ag es  wer e  m an u ally   r e v iewe d   an d   class if ied   to   estab lis h   s y n th etic  g r o u n d   tr u th ,   wh ich   s er v ed   as  an   o b je ctiv e  r ef er en ce   f o r   co m p ar in g   th e  s y s tem ’ s   o u tp u ts   an d   ev al u atin g   its   d etec tio n   ca p ab ilit y   u n d er   s tab le  an d   r ep r o d u cib le  v is u al  co n d itio n s .   T h is   ap p r o ac h   alig n s   with   m eth o d o lo g ical   p r ac tices  r ep o r ted   in   t h e  lit er atu r e,   wh ich   h ig h lig h t  th e   lim ited   a v ailab ilit y   o f   s ta n d ar d ized   d atasets   s p ec if ically   d esig n ed   f o r   o cc u p atio n al  f atig u e  d etec tio n   u n d er   r ea l - wo r ld   co n d itio n s ,   p ar ticu lar ly   f o r   b li n k   an d   m u ltimo d al  b e h av io r al  an aly s is .   C o n s eq u en tly ,   m an u al  an n o tatio n   r em ai n s   a  co m m o n ly   ad o p ted   s tr ateg y   f o r   co n s tr u ctin g   g r o u n d - tr u th   l ab els in   ex p er im e n tal  ev alu ati o n s   [ 2 6 ] ,   [ 2 7 ]   On ce   th is   r ef er en ce   d ataset  was  d ef in ed ,   th e  s y s tem   o u tp u ts   wer e  co m p ar ed   with   th e  m a n u al  lab els   to   co m p u te  class ical  p er f o r m an ce   m etr ics,  in clu d i n g   ac cu r ac y ,   p r ec is io n ,   r ec all,   an d   th e   F1 - s co r e  f o r   ea ch   ev en t  an d   ca teg o r y .   I n   p ar a llel,  th e  MQ T T   p r o to c o l  w as  em p lo y ed   as  a  lig h tweig h t  co m m u n icatio n   m ec h an is m   b etwe en   th e  m ain   p r o ce s s in g   m o d u le  ( R asp b er r y   Pi)  an d   th e  E SP 3 2   m icr o co n tr o ller   r esp o n s ib le  Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J E lec  &   C o m p   E n g     I SS N:   2088 - 8 7 0 8         R ea l - time  mu ltimo d a l fa tig u e   d etec tio n   u s in g   fa ci a l v is io n   a n d   a lert   …   ( A n d r és E n r iq u e  R o ja s   P r imo )   2757   f o r   ex ec u tin g   p h y s ical  aler ts .   T h e  s elec tio n   o f   MQ T T   is   s u p p o r ted   b y   its   ex ten s iv e  u s e  in   r ea l - tim e  m o n ito r in g   s y s tem s   an d   its   p r o v e n   r eliab ilit y   f o r   tr an s m itti n g   cr itical  d ata  in   I o T   en v ir o n m en ts ,   as  d o cu m e n ted   in   p r ev i o u s   s tu d ies  o n   v is io n - b ased   f atig u e  d e tectio n   s y s tem s   [ 2 8 ] .   Du e  to   its   lo w  laten cy   an d   m in im al  r eso u r ce   co n s u m p tio n ,   MQ T T   en s u r es  th at  d etec t ed   f atig u e   ev en ts   ar e   tr an s m i tted   im m ed iately ,   en ab lin g   tim ely   ac tiv atio n   o f   v is u al  an d   au d ito r y   aler ts   o n   th e  E SP 3 2   [ 6 ] .     2 . 6 .     E v a lua t i o n  cr it er ia   T o   ass ess   th e  s y s tem ’ s   p er f o r m an ce ,   th e  f o llo win g   k ey   m etr ics we r e  co n s id er ed :   a.   Dete ctio n   ac cu r ac y : th e   p er ce n tag e  o f   c o r r ec tly   i d en tifie d   f a tig u e - r elate d   ev e n ts ,   b.   Fals e  p o s itiv e  r ate:  th e  p er ce n t ag e  o f   in c o r r ec t a ler ts   g e n er at ed ,   c.   R esp o n s e  laten cy : th e  elap s ed   tim e  b etwe en   d etec tio n   a n d   al er t a ctiv atio n ,   d.   Aler t r eliab ilit y : th e  ef f ec tiv en ess   o f   v is u al  an d   au d ito r y   ale r t d eliv er y .   I n   a d d itio n ,   th e   aler t  ac tiv ati o n   th r esh o ld   was  f in e - t u n ed   t o   en s u r e   tim ely   an d   ac cu r ate   r esp o n s es  u n d er   v ar y i n g   lig h tin g   co n d it io n s   an d   f ac ial  o r ien tatio n s ,   t h er eb y   e n h an cin g   th e   r o b u s tn ess   an d   s tab ilit y   o f   th e  s y s tem   ac r o s s   d iv er s e  wo r k p lace   en v ir o n m e n ts     2 . 7 .     M a t hema t ica l  f o rm ula t i o n o f   t he  det ec t io n a l g o rit h m s   T h e  p r o p o s ed   d etec tio n   s y s te m   r elies  o n   a   s et  o f   g e o m etr ic  an d   s tatis tical  m o d els  d e r iv ed   f r o m   f ac ial  lan d m ar k s .   T h ese  f o r m u latio n s   d escr ib e  h o w  ey e  o p en n ess ,   m o u th   b eh av io r ,   an d   h ea d   o r ien tatio n   a r e   q u an tifie d   f r o m   ea c h   v id eo   f r a m e.   All  f ac ial  co o r d in ates  ar e  o b tain ed   u s in g   t h e  Me d iaPip e  Face   Me s h   m o d el,   wh ich   p r o v i d es  n o r m alize d   l an d m ar k   p o s itio n s   th at  ar e  later   co n v er ted   in t o   p ix el - b as ed   co o r d i n ates  f o r   p r o ce s s in g .     2 . 7 . 1 .   E uclid ea n di s t a nce   T h e  E u clid ea n   d is tan ce   is   u s ed   to   co m p u te  th e  g eo m etr ic   s ep ar atio n   b etwe en   f ac ial  lan d m ar k s   i n   ea ch   f r am e,   f o r m in g   th e  b asis   f o r   th e  f ea tu r es e x tr ac ted   i n   th e  ey e  an d   h ea d - p o s e  m o d u les.  Fo r   an y   two   p o in ts   = ( , )   an d   = ( , ) ,   th e  E u clid ea n   d is tan ce   i s   d ef in ed   as:     ( , ) = √ ( − ) 2 + ( − ) 2        ( 1 )     W h er e     an d     r ep r esen t  two   f ac ial  lan d m ar k s   s elec ted   ac co r d in g   to   th e  in d ex   p o s itio n s   d ef in ed   b y   th e   Face   Me s h   m o d el  ( e. g . ,   3 3 ,   1 6 0 ,   1 5 8   f o r   t h e  ey e  r eg i o n ) ,   ,   d e n o te  th e  h o r izo n tal  p ix el  c o o r d in ates  o f   th e  lan d m ar k s ,   r ep r esen t  t h eir   v e r tical  p ix el  co o r d in ates,   an d ,   ( , )   is   th e  g e o m etr ic  m ea s u r em e n t  u s ed   to   co m p u te  th e  ey elid   d is tan ce s   in   th e  E AR   f o r m u latio n   an d   th e  v er tical  an d   h o r izo n tal  co m p o n en ts   in v o lv e d   in   h ea d - tilt   esti m atio n .   T h is   m etr ic  is   n o t  ap p lied   to   th e  m o u th   s u b m o d u le,   as  m o u th   o p en i n g   is   ev alu ated   u s in g   a  C NN - b ased   class if ier   r ath er   th an   g e o m etr ic  r atio s .     2 . 7 . 2 .   E AR   Af ter   co m p u tin g   th e  lan d m a r k   d is tan ce s ,   th e  E AR   is   u s ed   to   q u an tify   ey elid   o p en n ess .   T h is   g eo m etr ic  in d icato r   h as  b ee n   wid ely   ad o p ted   i n   f atig u e  an d   d r o wsi n ess   d etec tio n   b ec au s e   it  p r o v id es  a   s tab le  r ep r esen tatio n   o f   ey e   clo s u r e   ev en   u n d er   v ar y i n g   illu m in a tio n   o r   h ea d   p o s e  co n d itio n s   [ 2 9 ] .   T h e  E AR   is   d ef in ed   as   ( 2 ) :      ( )   =   +   ( 2 )     W h er e  A   an d   B   d en o te  th e  v er tical  d is tan ce s   b etwe en   th e  ey elid s ,   C   is   th e  h o r izo n tal  d is ta n ce   b etwe en   th e  ey e  co r n er s ,   an d    ( )   r ep r esen ts   th e  e y elid - o p e n in g   r atio   at  tim e  .   Hig h er   E AR   v alu es  co r r esp o n d   to   o p en   ey es,  wh ile  lo wer   v alu es  in d ic ate  ey elid   clo s u r e,   a   b eh a v io r   s tr o n g ly   ass o ciate d   with   ea r ly   f atig u e   s y m p to m s   [ 2 9 ] .     2 . 7 . 3 .   Ada ptiv e  E AR  ba s elin e  m o del   Sin ce   n atu r al  ey e   o p e n in g   v ar ies  f r o m   p er s o n   t o   p e r s o n   an d   ca n   ch an g e  s lig h tly   o v er   tim e,   th e   s y s tem   m ain tain s   a  d y n am ic  r ef er en ce   v alu e  th at   ad ap ts   to   t h e  u s er ' s   ty p ical  ey elid   b eh av i o r .   T h is   r ef er e n ce   is   u p d ated   u s in g   th e  in s tan tan eo u s   E AR   o b tain ed   f r o m   ( 2 ) ,   wh ich   p r o v id es  th e  ey e - o p en i n g   m ea s u r em e n t  in   ea ch   f r am e.   T h e  ad a p tatio n   p r o ce s s   f o llo ws an   ex p o n en tial sm o o th in g   f o r m u latio n :      r ef ( )   =   ( 1 − )  r ef ( − 1 ) +  ( )      ( 3 )   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 8 - 8 7 0 8   I n t J E lec  &   C o m p   E n g ,   Vo l.   16 ,   No .   5 ,   Octo b e r   20 26 :   2 7 5 0 - 2 7 6 8   2758   W h er e   ( )   r ep r esen ts   th e  u p d ated   r ef er en ce   lev el  at  tim e  ,   wh ile   ( )   co r r esp o n d s   to   th e  cu r r en t  E AR   co m p u ted   f r o m   ( 2 ) .   T h e  p ar am eter     ac ts   as  a  s m o o th in g   f ac to r   th at  co n tr o ls   h o w  q u i ck ly   th e  r ef e r en ce   ad ju s ts   to   g r ad u al  v ar iatio n s .   T h is   ap p r o ac h   s tab ilizes  th e  ey e - o p e n in g   b aselin e  an d   p r ev en ts   s h o r t - ter m   f lu ctu atio n s   s u ch   as  m icr o   b lin k s   o r   n o is e  in   la n d m ar k   d etec tio n   f r o m   b ei n g   m is in ter p r eted   as  s ig n s   o f   f atig u e.     2 . 7 . 4 .   P ro lo ng ed  ey e   clo s ure  cr it er io n   On ce   th e  in s tan tan eo u s   E AR   h as  b ee n   co m p u ted   u s in g   ( 2 )   an d   th e  ad a p tiv e  r ef er e n ce   lev el  h as  b ee n   u p d ated   t h r o u g h   ( 3 ) ,   th e  s y s tem   ev alu ates  wh eth er   t h e  ey e  is   ab n o r m ally   clo s ed .   T h e   d ec is io n   r elies  o n   co m p ar in g   th e  u s er ’ s   n atu r al  ey e – o p e n in g   b aselin e  with   th e   cu r r en t  e y elid   co n f ig u r atio n .   T h is   co m p ar is o n   is   ex p r ess ed   as   ( 4 ) :      r ef ( )   −    ( )   ≥ ∆ ℎ   ( 4 )     I n   th is   e x p r ess io n ,    ( )   r ep r esen ts   th e  i n s tan tan eo u s   e y e - o p en in g   r atio   d ef i n ed   i n   ( 2 ) ,   wh ile   r ef ( )   is   th e  s m o o th e d   b aselin e   o b tai n ed   f r o m   ( 3 ) .   T h e  s u b tr ac tio n    r ef ( ) −  ( )   q u an tifie s   h o w  m u ch   t h e   cu r r en t  e y elid   p o s itio n   d ev iat es  f r o m   th e   u s er ’ s   ty p ical  ey e - o p en in g   lev el.   W h en   th is   d e v iatio n   ex ce e d s   th e   th r esh o ld   ∆ ℎ ,   th e  s y s tem   in ter p r e ts   th e  ev en t a s   a  clo s u r e  d ee p e r   th an   ex p ec ted   f r o m   n atu r al  b lin k in g .     2 . 7 . 5 .   H ea d - t ilt  a ng le  f o r  po s t ure  a s s ess m ent   T h e  p o s tu r e   d etec tio n   m o d u le   ev alu ates  wh eth er   th e  u s er ’ s   h ea d   d e v iates  f r o m   an   u p r i g h t  p o s itio n   b y   c o m b in in g   a n g u lar   an d   v er tical  d is p lace m en t  m ea s u r es.   T wo   f ac ial  la n d m ar k s ,   th e   n o s e  tip   an d   th e   ch in ,   ar e  u s ed   to   esti m ate  h ea d   o r ien tatio n   in   ea ch   f r am e .   T h e   h ea d - tilt   an g le  is   co m p u ted   f r o m   th eir   r elativ e   p o s itio n s   as   ( 5 ) :     ( ) =   |  − 1 ( ℎ  − ℎ  − ) |   ( 5 )     W h er e,   ( ℎ  ,   ℎ  )   an d   (  ,  )   r ep r esen t  th e  c o o r d in ates  o f   th e  ch in   a n d   n o s e,   r esp ec tiv ely .   T h e   r esu ltin g   an g le  r ef lects  th e  d e v iatio n   f r o m   a n   u p r i g h t  p o s tu r e  an d   is   co m p ar ed   ag ai n s t  a  p r ed ef in ed   th r esh o ld   to   id en tify   a b n o r m al  h ea d   tilt .   I n   ad d itio n   to   a n g u lar   a n aly s is ,   v er tical  h ea d   m o v em e n t  is   ass es s ed   b y   tr ac k in g   th e  d is p l ac em en t  o f   th e  n o s e  r elativ e  to   a  r ef er en ce   p o s itio n   r ec o r d ed   u n d er   n eu tr al  co n d itio n s .   T h is   d is p lace m en t  is   co m p u ted   u s in g   th e  E u clid ea n   d is tan ce   d ef in ed   in   ( 1 ) ,   ass u m in g   m in im al  h o r izo n tal  v ar iatio n .   W h en   th e  v er tical   d is p lace m en t  ex ce e d s   a  p r ed e f in ed   t h r esh o ld   o v er   a   s u s tain ed   p e r io d ,   it  is   class if ied   as  a n   ab n o r m al   p o s tu r e.   B y   co m b in in g   b o th   a n g u la r   an d   v e r tical  cr iter ia,   t h e  s y s tem   d is tin g u is h es  n o r m al  h ea d   m o v em en ts   f r o m   f atig u e - r elate d   d ev iatio n s .     2 . 7 . 6 .   M o uth - o penin g   pro ba bil it y   m o del   T h e  m o u th - s tate  esti m atio n   is   p er f o r m ed   u s in g   a  h y b r id   m o d el  th at  co m b in es  co n v o l u tio n al  an d   tr an s f o r m er - b ased   co m p o n en t s   to   an aly ze   p atter n s   f r o m   th e  cr o p p e d   m o u th   r e g io n .   As  s h o wn   in   Fig u r e  4 ,   th e   in p u t  im ag e  is   f ir s t  p r o ce s s ed   b y   a  Mo b ileNetV2   b ac k b o n e  to   ex tr ac t  s p atial  f ea tu r es,  wh ich   ar e  th en   r ef in ed   b y   a  Mo b ileViT   b lo ck   to   ca p t u r e  co n tex tu al  in f o r m atio n   [ 3 0 ] ,  [ 3 1 ] .   A  g lo b al  av er a g e  p o o lin g   lay er   r ed u ce s   th e  f ea tu r e  m ap s ,   an d   th e  f in al  p r ed ictio n   is   o b tain ed   th r o u g h   a  lig h tweig h t  d e n s e  class if ier   co m p o s ed   o f   a  R eL U - ac tiv ated   lay er ,   a  d r o p o u t  s tag e,   an d   a  s ig m o id   o u tp u t.  T h is   p r o ce s s   y ield s   a  p r o b a b ilit y   v alu e  r ep r esen tin g   th e   lik elih o o d   th a t th e  m o u th   is   o p en .     (  | ) =  −  ( )      ( 6 )     I n   th is   ex p r ess io n ,     d en o tes  th e  m o u th   im a g e  at  tim e  ,   an d    −  ( )   r ep r esen ts   th e  m ap p i n g   f r o m   t h e  in p u t  r e g io n   o f   in ter est  to   a   p r o b ab ilit y   v al u e  in   th e  r a n g e  [ 0 , 1 ] .   T h is   p r o b a b ilis tic  o u tp u t  is   u s ed   t o   d is tin g u is h   b etwe en   n o r m al  m o u th   m o v em en ts   an d   y awn in g - r elate d   p atter n s .     2 . 7 . 7 .   Ya wn - det ec t io n t hresh o ld   On ce   th e  p r o b a b ilit y   o f   m o u t h   o p e n in g   h as  b ee n   co m p u ted   b y   ( 6 ) ,   th e  s y s tem   d eter m i n e s   wh eth er   th e  u s er   is   ex h ib itin g   y awn - lik e  b eh av io r   b y   co m p a r in g   th i s   p r o b ab ilit y   to   a  p r ed ef in e d   d ec is io n   th r esh o ld .   T h is   r u le  is   ex p r ess ed   as   ( 7 ) :     Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J E lec  &   C o m p   E n g     I SS N:   2088 - 8 7 0 8         R ea l - time  mu ltimo d a l fa tig u e   d etec tio n   u s in g   fa ci a l v is io n   a n d   a lert   …   ( A n d r és E n r iq u e  R o ja s   P r imo )   2759   P ( ope n | I t )   ≥          ( 7 )     Her e,     d en o tes  th e  th r esh o l d   t h at  s ep ar ates  n o r m al  o r al  ac ti v ity   f r o m   s ig n if ican t  o p en - m o u th   s tates.  Fo r   th e  r esear ch ,   a  v alu e  o f   0 . 5   was  estab lis h ed .   W h en   th e  p r o b ab ilit y   co n s is ten tly   ex ce ed s   th is   v alu e  in   co n s ec u tiv e   f r am es,  th e  s y s tem   in ter p r ets  th e  b eh av i o r   as  a  y awn   r ath e r   th an   a   tr an s ien t  ar ticu latio n   o r   r a n d o m   m o u t h   m o v em en t.   T h is   th r esh o l d - b ased   cr iter io n   all o ws  f o r   r eliab le  y awn   d etec tio n   wh ile  m ain tain in g   co m p u tatio n al   ef f icien c y ,   as   it  av o id s   th e   n ee d   f o r   a d d itio n al  tem p o r al  m o d elin g   o r   s eq u e n ce - b ased   class if icatio n .     2 . 8 .     Dec is io n  cr it er ia   a nd   t h re s ho ld s elec t io n   T h e  f atig u e  d etec tio n   s y s tem   co m b in es  th e   m ath em atica l   f o r m u latio n s   d escr ib e d   in   Sectio n   2 . 7   with   a  s et  o f   em p ir ically   d ef in ed   th r esh o ld s   to   d eter m in e  f atig u e - r elate d   ev en ts   in   r ea l  tim e.   Fo r   o cu lar   an aly s is ,   a   d y n am ic  E AR   b aselin e  is   co m p u ted   u s in g   ex p o n e n tial  s m o o th in g   with   a  s m o o th in g   f a cto r   o f   0 . 0 2 .   A  clo s u r e  ev en t  is   d etec ted   wh en   th e  d if f er en ce   b etwe en   th e  b aselin e  an d   th e  in s tan tan eo u s   E AR   ex ce ed s   a  th r esh o ld   o f   0 . 0 4   f o r   at   least  two   co n s ec u tiv e  f r a m es.  Sh o r t   clo s u r es  last i n g   less   th an   0 . 4 0   s ec o n d s   a r e  class if ied   as  n o r m al   b lin k s ,   wh ile  p r o l o n g e d   ey e  cl o s u r e  is   d ef in ed   as a   d u r atio n   ex ce ed in g   5   s ec o n d s .   Fo r   m o u t h - s tate  an aly s is ,   a  p r o b ab ilit y   th r esh o ld   o f   0 . 5   is   u s ed   to   class if y   th e  o u tp u t  o f   t h e  C NN - b ased   m o d el  as  o p en   o r   clo s ed .   A  y awn   ev en t  is   d etec te d   wh en   th e   m o u th   r em ai n s   o p en   f o r   at  least  2 0   co n s ec u tiv e  f r am es.   I n   th e  p o s tu r e  m o d u le,   f atig u e - r elate d   d ev iatio n s   ar e   id e n tifie d   u s in g   b o th   an g u lar   a n d   v e r tical  cr iter ia.   A  h ea d - tilt   an g le  g r e ater   th an   1 3 °  is   co n s id er ed   ab n o r m al,   wh ile  v er tical  d is p lac em en t  is   ev alu ated   u s in g   a   th r esh o ld   o f   4 0   p ix els  r elativ e  t o   a   r ef er en ce   p o s itio n .   I n   b o th   ca s es,  th e  c o n d itio n   m u s t  p e r s is t  f o r   at  least 6   s ec o n d s   to   b e  class if ied   as a   f atig u e - r elate d   p o s tu r e  e v en t.       3.   RE SU L T S    T h is   s ec tio n   p r esen ts   th e  r esu l ts   o b tain ed   d u r in g   th e  d e v elo p m en t  an d   im p lem en tatio n   o f   th e  f atig u e   d etec tio n   s y s tem   b ased   o n   c o m p u ter   v is io n .   T h e  f i n d in g s   ar e  s tr u ctu r ed   ac co r d in g   to   th e  s p ec if ic  o b jectiv es o f   th e  s tu d y ,   co v e r in g   th e  e v alu atio n   o f   th e  m u ltimo d al  d etec tio n   m o d el,   th e  p er f o r m an ce   o f   th e  MQ T T   aler t   s y s tem ,   th e  v alid atio n   o f   th e  s y s tem   in   a  s im u lated   en v ir o n m en t  with   s y n th etic   v id eo s ,   an d   th e  v er if icatio n   o f   th e  f u n ctio n ality   o f   t h e  g r a p h i ca l in ter f ac e  d u r in g   r ea l - tim e  m o n ito r in g .     3 . 1 .     P er f o r m a nce  o f   t he  im p lem ent ed  a lg o rit hm s   T o   ev al u ate  th e   ef f ec tiv en ess   o f   th e   p r o p o s ed   f atig u e - d etec t io n   s y s tem ,   ea ch   d etec tio n   m o d u le  was  ass es s ed   in d ep en d e n tly   u s in g   v alid atio n   d atasets   r ep r esen tat iv e  o f   r ea l  o p er atin g   co n d itio n s .   T h e  m o u th - s tate  class if icatio n   m o d u le,   b ased   o n   th e  h y b r id   Mo b ileNetV2 – Mo b ileViT   ar ch itectu r e,   d em o n s tr ated   h i g h   r eliab ilit y   in   d is tin g u is h in g   b e twee n   o p en   an d   clo s ed   m o u th   s tates.  T ab le  1   s u m m ar izes  t h e  p r ec is io n ,   r ec all,   an d   F1 - s co r e  o b tain ed   f o r   ea c h   class   wh en   ap p ly in g   a  d ec is i o n   th r esh o l d   o f   0 . 5 .       T ab le  1 .   C lass if icatio n   m etr ics f o r   th e   m o u t h - s tate  class if ier   C l a s s   P r e c i s i o n   R e c a l l   F1 - sc o r e   S u p p o r t   C l o se d   0 . 9 9   0 . 9 8   0 . 9 8   5 0 1   O p e n   0 . 9 8   0 . 9 9   0 . 9 8   5 0 2       T h e  class if ier   ac h iev ed   an   o v er all  ac cu r ac y   o f   0 . 9 8   o n   th e   v alid atio n   s et.   T h is   r esu lt  in d icate s   th at   b o th   class es  ar e   r ec o g n ized   with   a  s im ilar   lev el  o f   r el iab ilit y ,   wh ich   is   ex p ec ted   g iv en   th e   b alan ce d   d is tr ib u tio n   o f   s am p les in   th e  d ataset.     T h e  lear n in g   b eh a v io r   o f   th e   m o d el  is   illu s tr ated   in   Fig u r e   7   an d   Fig u r e  8 ,   w h ich   s h o w  t h e  ac cu r ac y   an d   lo s s   cu r v es  r ec o r d ed   d u r in g   tr ain in g .   As  o b s er v ed ,   th e  tr ain in g   an d   v alid atio n   ac c u r ac y   p r o g r ess iv ely   in cr ea s e  an d   co n v er g e  to war d   s tab le  v alu es,   in d icatin g   th at   th e  m o d el  ca p tu r es  th e   r elev a n t  p atter n s   with o u t   s ig n s   o f   u n d e r f itti n g .   Similar ly ,   th e  lo s s   cu r v es  ex h i b it  a  co n s is ten t  d o wn war d   tr e n d   with   n o   a b r u p t   f lu ctu atio n s ,   s u g g esti n g   th at  o v er f itti n g   is   well - co n tr o lle d   d e s p ite  th e  u s e  o f   r elativ ely   c o m p ac t a r ch itectu r e.   Fig u r e  9   p r esen ts   th e   co n f u s io n   m atr i x   co r r esp o n d in g   to   th e  v alid atio n   r esu lts   o f   th e   m o u th - s tate   class if ier .   T h e  m atr ix   s h o ws  a  clea r   d iag o n al  d o m in an ce ,   i n d icatin g   th at  t h e  m o d el  co r r ec tly   d is tin g u is h es   b etwe en   o p e n   an d   clo s ed   m o u th   s tates  in   m o s t  ca s es.  Ou t  o f   5 0 1   i n s tan ce s   lab eled   as  “c lo s ed , ”  th e  class if ier   co r r ec tly   p r e d icted   4 9 2   a n d   m is clas s if ied   o n ly   9 .   Similar ly ,   f o r   th e  5 0 2   “o p e n ”  in s tan ce s ,   it  co r r ec tly   id en tifie d   4 9 5   an d   p r o d u ce d   7   m is class if icatio n s .   T h ese  r e s u lts   alig n   with   th e  p r ec is io n   an d   r ec all  v alu e s   r ep o r ted   in   T ab le  1 ,   co n f ir m in g   th at  b o t h   class es a r e  r ec o g n i ze d   with   a  h ig h   lev el  o f   co n s is ten cy .     Evaluation Warning : The document was created with Spire.PDF for Python.