I nte rna t io na l J o urna l o f   E lect rica l a nd   Co m pu t er   E ng ineering   ( I J E CE )   Vo l.   1 6 ,   No .   4 A u g u s t   20 2 6 ,   p p .   2 2 2 0 ~ 2 2 2 9   I SS N:  2088 - 8 7 0 8 ,   DOI : 1 0 . 1 1 5 9 1 /ijece. v 1 6 i 4 . pp 2 2 2 0 - 2 2 2 9           2220       J o ur na l ho m ep a g e h ttp : //ij ec e. ia esco r e. co m   co nv o lutiona l n eura l net wo rk  - ba sed driv er mon i toring   sy stem f o r drows i ness  and dis trac ti o n det ec tion       Sa ra   B enk o uid er ,   Na s re dd in L a g ra a   La b o r a t o i r e   d 'I n f o r ma t i q u e   e t   d e   M a t h é mat i q u e s,  U n i v e r s i t é   A mar   Te l i d j i   d e   La g h o u a t ,   La g h o u a t ,   A l g e r i a       Art icle  I nfo     AB S T RAC T   A r ticle  his to r y:   R ec eiv ed   Feb   1 ,   2 0 2 6   R ev is ed   Ap r   2 9 ,   2 0 2 6   Acc ep ted   J u l 2 2 ,   2 0 2 6       Ro a d   a c c id e n ts  c a u se d   b y   d ri v e d ro ws in e ss   a n d   d istrac ti o n   a re   a   m a jo g lo b a c o n c e rn ,   a fa ti g u e   a n d   i n a tt e n ti o n   sig n ifi c a n tl y   slo re a c ti o n   ti m e   a n d   in c re a se   a c c id e n risk .   To   a d d re ss   th is  issu e ,   th is  p a p e p ro p o se a   v isio n - b a se d   d ri v e m o n it o ri n g   sy ste m   u sin g   fa c ial  a n a l y sis  fro m   a n   o n - b o a rd   c a m e ra .   Th e   sy ste m   d e te c ts  th e   fa c e   a n d   e x trac ts  k e y   r e g io n o f   in tere st,  in c l u d i n g   th e   e y e s,  m o u th ,   a n d   h e a d ,   wh ich   a re   a n a ly z e d   in d e p e n d e n t ly   u sin g   c o n v o lu ti o n a n e u ra n e tw o rk s.  Tem p o ra i n fo r m a ti o n   is   c a p tu re d   b y   a g g re g a ti n g   th e   c o n v o l u ti o n a n e u ra n e tw o rk   (CNN o u t p u ts  o v e a   fi x e d   ti m e   win d o w.  Dr o ws in e ss   is  e stim a ted   b y   f u sin g   e y e   a n d   m o u t h   fe a tu re with   a   m u lt il a y e r   p e rc e p tro n ,   wh i le  d istrac ti o n   is  d e tec ted   b a se d   o n   h e a d   m o v e m e n ts.   A n   imp o rtan a d v a n tag e   o t h e   p r o p o se d   a p p ro a c h   is  it s   ro b u stn e ss   to   p a rti a in p u t   lo ss ,   a ll o win g   t h e   sy ste m   to   re m a in   f u n c ti o n a l   e v e n   wh e n   s o m e   fa c ial  re g io n s   a re   m issin g   o o c c lu d e d ,   su c h   a wh e n   we a rin g   su n g las se o fa c e   m a sk s .   Ex p e rime n tal  re su l ts  sh o h ig h   d e tec ti o n   a c c u ra c y ,   re a c h in g   9 7 . 3 %   fo d r o ws in e ss   a n d   9 8 %   fo d istrac ti o n   u n d e id e a l   c o n d i ti o n s,  with   o n l y   li m it e d   p e rfo rm a n c e   d e g ra d a ti o n   i n   c h a ll e n g in g   sc e n a rio s.  Th e se   re su lt c o n firm   th e   su it a b il it y   o t h e   p r o p o se d   s y ste m   fo re a l - ti m e   d riv e m o n it o ri n g   a p p l ica ti o n s.   K ey w o r d s :   C o n v o lu tio n al  n eu r al  n etwo r k s   Dis tr ac tio n   d etec tio n   Dr iv er   m o n it o r in g   Dr o wsi n ess   d etec tio n   F ac ial  an aly s is     Mu ltil ay er   p er ce p tr o n   R ea l - tim s y s tem s   T h is i a n   o p e n   a c c e ss   a rticle   u n d e r th e   CC B Y - SA   li c e n se .     C o r r e s p o nd ing   A uth o r :   Sar B en k o u id er   L ab o r ato ir d ' I n f o r m atiq u et  d Ma th ém atiq u es,  Un iv e r s ité  Am ar   T elid ji d L ag h o u at   M’ k am ,   L ag h o u at,   Alg er ia   E m ail:  s . b en k o u i d er @ lag h - u n iv . d z       1.   I NT RO D UCT I O N   R o ad   tr af f ic  ac cid en ts   ar m ajo r   g lo b al  p r o b lem .   Acc o r d in g   to   th W o r ld   Hea lth   Or g an izatio n   ( W HO) ,   m o r th an   1 . 1 9   m illi o n   p e o p le  d ie   ev er y   y ea r   d u e   to   r o ad   tr af f ic  ac ci d en ts .   Ma n y   o f   t h ese  ac cid en ts   ar ca u s ed   b y   h u m an   f ac to r s ,   esp ec ially   d r iv er   d r o wsi n ess   an d   d is tr ac tio n   [ 1 ] .   Dr o wsi n ess   r ed u ce s   atten tio n ,   s lo ws  r ea ctio n   tim e,   an d   a f f ec ts   d ec is io n - m ak in g ,   wh ich   in cr ea s es  th r is k   o f   s er io u s   ac cid en ts   [ 2 ] ,   [ 3 ] Dis tr ac tio n   also   in cr ea s es  ac ci d en r is k   b y   s h if tin g   th d r iv er s   atten tio n   awa y   f r o m   th r o a d   an d   d r iv in g   task s   [ 4 ] ,   [ 5 ] .   Fo r   th is   r ea s o n ,   d etec tin g   d r iv er   d r o wsi n ess   an d   d is tr ac tio n   h as  b ec o m an   im p o r tan g o al  o f   ad v an ce d   d r iv e r   ass is tan ce   s y s tem s   ( ADAS) .   T h ese  s y s tem s   aim   to   im p r o v e   r o ad   s af ety   b y   m o n ito r in g   t h d r iv er s   s tate,   esp ec ially   with   th r ec en t u s o f   d ee p   lear n in g   m eth o d s   [ 6 ] .   I n   r ec e n y ea r s ,   m a n y   s tu d ies  h av u s ed   d ee p   n eu r al   n etwo r k s   to   d etec d r i v er   d r o wsi n ess   [ 7 ] [ 1 1 ]   an d   d is tr ac tio n   [ 1 2 ] [ 1 6 ]   f r o m   im ag es  ca p tu r ed   b y   in - v e h icle  ca m er as.  C o n v o lu tio n al   n eu r al  n etwo r k s   ( C NNs)  ar co m m o n ly   u s ed   to   an aly ze   f ac ial  cu es  s u ch   as  ey clo s u r e,   b lin k   r ate  [ 1 7 ] ,   y awn in g   [ 1 8 ] ,   an d   h ea d   m o v e m en ts   [ 1 4 ] .   T o   in cl u d tim e - r elate d   in f o r m atio n ,   s o m wo r k s   co m b in C NNs with   r ec u r r en t n eu r al  n etwo r k s   [ 1 9 ] [ 2 1 ]   s u ch   as  lo n g   s h o r t - ter m   m em o r y   ( L ST M )   [ 2 2 ] [ 2 4 ] .   T h ese  m o d els  ca n   lear n   tem p o r al   p atter n s   lin k ed   to   d r o wsi n ess   an d   d is tr ac tio n   a n d   h a v s h o w n   g o o d   r esu lts   o n   r ea l d r iv i n g   d ata  [ 6 ] ,   [ 1 7 ] .   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J E lec  &   C o m p   E n g     I SS N:   2088 - 8 7 0 8         A   co n vo l u tio n a n eu r a l n etw o r - b a s ed   d r iver m o n ito r in g   s y s tem  fo r     ( S a r a   B en ko u i d er )   2221   Ho wev er ,   th ese  ap p r o ac h es  h av s ev er al  lim itatio n s .   Mo d e ls   b ased   o n   co m p le x   tem p o r a n etwo r k s   o r   3 D   co n v o lu tio n   ar e   co m p u tatio n ally   ex p en s iv a n d   r eq u ir s ig n if ican t   m em o r y   r eso u r ce s ,   wh ich   m ak es  th eir   d ep l o y m e n o n   r ea l - tim e   em b ed d ed   s y s tem s   d if f icu lt  [ 2 5 ] .   I n   ad d itio n ,   m a n y   ex is tin g   m eth o d s   ass u m e   th av ailab ilit y   o f   all  v is u al  in p u ts   an d   a r th er e f o r h ig h l y   s en s itiv to   ch an g es  in   lig h tin g   co n d itio n s   an d   p ar tial  f ac ial  o cc lu s io n s ,   s u ch   as  s u n g lass es  o r   f ac m as k s .   W h en   s o m f ac ial  in f o r m atio n   is   m is s in g   o r   u n r eliab le,   th p er f o r m an ce   o f   th ese  m et h o d s   o f ten   d e g r ad es  s ig n if ican tly   o r   t h s y s tem   m ay   f ail  t o   o p er ate   p r o p er l y .   T h ese  lim itatio n s   h i g h lig h th e   n ee d   f o r   s im p le,   e f f icien t,  an d   r o b u s ap p r o ac h e s   th at  ca n   o p er ate  r eliab ly   in   r ea d r iv i n g   c o n d itio n s ,   ev en   wh e n   s o m i n p u in f o r m atio n   is   m is s in g ,   w h ile  s atis f y in g   th e   co n s tr ain ts   o f   em b e d d ed   s y s tem s .   I n   t h i s   p a p e r ,   w e   p r o p o s e   a   m o d u l a r   v i s i o n - b a s e d   s y s te m   u s i n g   s e p a r a t e   c o n v o l u t i o n a l   n e u r a n e t w o r k s   f o r   t h e   e y e s ,   m o u t h ,   a n d   h e a d   r e g i o n s .   A   li g h t w e i g h t e m p o r a l   a g g r e g a t i o n   m e t h o d   a n d   a   f u s i o n   s t r at e g y   a r e   e m p l o y e d   t o   c o m b i n e   i n f o r m a t i o n   f r o m   t h e s e   r e g i o n s .   A n   i m p o r t a n t   a d v a n t a g e   o f   t h e   p r o p o s e d   a r c h i t e ct u r e   l i es   i n   i t s   r o b u s t n es s   t o   p a r t i a l   i n f o r m a t i o n   l o s s .   S i n c e   e ac h   f a c i a r e g i o n   i s   a n a l y z e d   i n d e p e n d e n t l y ,   t h e   s y s t e m   c a n   c o n t i n u e   t o   o p e r a t e v e n   w h e n   o n e   o r   m o r e   r e g i o n s   o f   i n t e r e s t   ( R O I s )   a r m is s i n g   o r   p a r t i a lly   o c c l u d e d ,   s u c h   as  i n   t h e   p r e s e n c e   o f   s u n g l a s s es   o r   f a c e   m a s k s .   T h e   p r o p o s e d   s y s t e m   a i m s   t o   a c h i e v r e l i a b l e   d e t e ct i o n   p e r f o r m a n c e   w h i l e   r e m a i n i n g   c o m p u t a t i o n a l l y   e f f i ci e n t   a n d   s u i t a b l e   f o r   r e a l - t i m e   e m b e d d e d   ap p l i c a t i o n s .   T h e   m a i n   c o n t r i b u t i o n s   o f   t h is   p a p e r   ca n   b e   s u m m a r i z e d   a s   f o l l o ws :   i )   a   m o d u l a r   m u l ti - R O I   C N N - b a s e d   a r c h i t e c t u r e   f o r   s i m u l ta n e o u s   d r i v e r   d r o w s i n e s s   a n d   d i s t r a c t i o n   d e t e c ti o n ,   w h e r e   e a c h   f a c i a l   r e g i o n   ( e y e s ,   m o u t h ,   a n d   h e a d )   i s   p r o c e s s e d   i n d e p e n d e n t l y ,   i i )   a   l i g h t w ei g h t   t e m p o r a l   a g g r e g a t i o n   s t r a t e g y   t h a t   c a p t u r e s   d y n a m i c   d r i v e r   b e h a v i o r s   w i t h o u t   r e l y i n g   o n   c o m p u t a t i o n a ll y   e x p e n s i v e   r e c u r r e n o r   3 D   c o n v o l u t i o n a l   m o d e l s ,   i i i )   a   r o b u s t   f u s i o n   m e c h a n is m   t h a t   c o m b i n e s   c o m p l e m e n ta r y   i n f o r m a t i o n   f r o m   d i f f e r e n t   f a c i a l   r e g i o n s   t o   i m p r o v e   d e t e c t i o n   r el i a b il i t y ,   i v )   a n   o c c l u s i o n - r e s i l i e n t   d es i g n   t h a e n a b l es   t h e   s y s t e m   t o   m a i n t ai n   s t a b l p e r f o r m a n c e   e v e n   i n   t h e   p r e s e n c e   o f   s u n g l a s s e s ,   f a c e   m a s k s ,   o r   p a r t i a l   f a c i al   o c c l u s i o n s ,   a n d   v )   a   c o m p u t a t i o n a l l y   e f f i ci e n t   f r a m e w o r k   s u i t a b l e   f o r   r e a l - t i m e   d e p l o y m e n t   o n   e m b e d d e d   s y s t em s   w h i l e   ac h i e v i n g   c o m p e t i t i v e   p e r f o r m a n c e .   T h e   r e s t   o f   t h i s   p a p e r   i s   o r g a n i ze d   a s   f o l l o w s .   Se c t i o n   2   p r e s e n t s   t h e   p r o p o s e d   m e t h o d .   S e c t i o n   3   r e p o r ts   t h e   ex p e r i m e n t a l   r es u l ts .   S e ct i o n   4   co n c l u d e s   t h e   p a p e r   a n d   d i s c u s s e s   f u t u r e   w o r k .       2.   O UR  AP P RO ACH   Ou r   p r o p o s ed   ap p r o ac h   aim s   to   d etec d r iv er   d r o wsi n ess   an d   d is tr ac tio n   v ia  f ac ial  a n aly s is   u s in g   v id eo   s tr ea m   ca p tu r e d   b y   an   on - b o ar d   ca m er a .   I r elies  o n   m u ltimo d al  C NN - b ased   ar ch itectu r th at  ex p lo its   co m p lem en tar y   in f o r m atio n   f r o m   th ey es,  m o u th ,   an d   h ea d   m o v em e n ts .   E ac h   in f o r m atio n   s o u r ce   is   in d ep en d en tly   an aly ze d   b y   s p ec ialized   n etwo r k ,   an d   th e x tr ac ted   in f o r m atio n   is   th en   f u s ed   to   esti m ate  th e   d r iv er s   d r o wsi n ess   an d   d is tr ac tio n   s tates.  T h is   m o d u lar   d esig n   im p r o v es  r o b u s tn ess ,   as  th s y s tem   ca n   co n tin u to   o p er ate  ev e n   wh e n   o n o r   m o r f ac ial  in p u ts   ar m is s in g   o r   p ar tially   o cc lu d ed ,   wh ich   is   co m m o n   in   r ea l   d r iv i n g   co n d itio n s .   T h p r o p o s ed   s y s tem   is   s tr u ctu r e d   in to   th r ee   m ain   m o d u les:   i)   Face   d etec tio n   an d   R OI s   ex tr ac tio n   m o d u le,   ii)  C NN - m u ltil ay er   p er ce p tr o n   ( M L P) - b ased   d r o wsi n ess   d etec tio n   m o d u le ,   an d   iii)   C NN - b ased   d is tr ac tio n   d etec tio n   m o d u le   as sh o wn   in   Fig u r e   1 .           Fig u r 1 .   Ar c h itectu r o f   th p r o p o s ed   s y s tem   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 8 - 8 7 0 8   I n t J E lec  &   C o m p   E n g ,   Vo l.   1 6 ,   No .   4 Au g u s t   20 2 6 :   2 2 2 0 - 2229   2222   2 . 1 .     F a ce   d et ec t io n a nd   RO I s   ex t ra ct io n mo du le   T h is   m o d u le  co n s titu tes  th f i r s s tep   o f   th e   p r o p o s ed   s y s tem .   I ts   o b jectiv is   t o   a u to m ati ca lly   lo ca te  th d r iv er ' s   f ac f r o m   th v id e o   s tr ea m   ac q u ir ed   b y   an   o n - b o ar d   ca m er a,   th e n   to   ex tr ac th e   r eg io n s   o f   in te r est  ( R OI s )   n ec ess ar y   f o r   th d etec tio n   o f   d r o wsi n ess   an d   d is tr ac t io n .     2 . 1 . 1 .   F a ce   d et ec t i o n   Fo r   ea ch   v id eo   f r a m e   ,   f ac d etec tio n   is   p er f o r m ed   to   lo ca lize   th d r iv er s   f ac th r o u g h   b o u n d in g   b o x   d e f in ed   as:     =  ( ) = ( , , , )     W h er ( , )   d en o te  th co o r d in ates o f   th to p - lef t c o r n er ,   an d   ( , )   co r r esp o n d   to   th wid th   a n d   h eig h o f   th d etec ted   f ac e,   r esp ec tiv ely .   I n   o u r   ap p r o ac h ,   a   YOL O - b a s ed   f ac d etec to r   is   em p lo y e d   d u to   its   ab ilit y   to   ac h iev r ea l - tim p er f o r m an ce   wh ile  m ain tain i n g   h ig h   d etec tio n   ac cu r ac y   u n d er   ch allen g in g   co n d itio n s   s u ch   as  illu m in atio n   v ar iatio n s ,   o cc lu s io n s ,   an d   h ea d   p o s ch a n g es.  Un lik e   tr ad itio n al  m u lti - s tag d etec to r s ,   YOL p er f o r m s   d etec tio n   in   s in g le   f o r war d   p ass   b y   d ir ec tl y   r e g r ess in g   b o u n d in g   b o x   c o o r d in ates  an d   ass o ciate d   co n f i d en ce   s co r es  o v er   th e n tire   im ag e.   T o   en s u r r eliab le  l o ca lizatio n ,   r ed u n d a n d etec tio n s   ar eli m in ated   u s in g   n o n - m ax im u m   s u p p r ess io n   ( NM S),   wh ich   r etain s   th b o u n d in g   b o x   with   t h h ig h est  co n f id en ce   s co r e   wh ile   s u p p r ess in g   o v e r lap p in g   p r e d ictio n s .     2 . 1 . 2 .   Reg io ns   o f   inte re s t   ( R O I s )   ex t ra ct io n   Sin ce   YOL d o es   n o t   in h e r en tly   p r o v id e   f i n e - g r ai n ed   f a cial  s tr u ctu r i n f o r m atio n ,   a   d ed icate d   lan d m ar k   d etec tio n   m o d el  is   in co r p o r ated   to   esti m ate  k ey   f a cial  p o in ts :       =    ( , )     wh er   r ep r esen ts   th s et  o f   f ac ial  lan d m ar k s   co r r esp o n d in g   to   cr itical  r eg io n s   s u ch   as  th ey es  an d   m o u th .   d en s lan d m ar k   d etec to r   ( Me d iaPip Face   Me s h )   is   ad o p ted   to   e n h an ce   s p atial  p r ec is io n   an d   r o b u s tn ess   ag ain s t h ea d   m o v em en ts .   B ased   o n   th d etec ted   f ac a n d   th esti m ated   lan d m ar k s ,   th r ee   s em an tically   m ea n in g f u l   R OI s   ar ex tr ac ted :     E y R OI : Cap tu r es th ey r eg io n   f o r   an aly zin g   ey elid   cl o s u r an d   b lin k in g   p atter n s .     Mo u th   R OI : Cap tu r es th m o u th   ar ea ,   m ain ly   u s ed   f o r   d etec t in g   y awn in g .     Hea d   R OI in clu d es  t h f u ll  h ea d   r eg io n   to   esti m ate  h ea d   o r ie n tatio n   a n d   m o v e m en ts   r elate d   to   d is tr ac tio n .   T h ex tr ac tio n   o f   r eg io n   o f   i n ter est ( R OI )   at  tim   f o r   a   m o d ality     ( ey es,  m o u th   o r   h ea d )   i s   d ef in ed   b y :    = ( : + , : + ) , {  ,  ,  }     2 . 1 . 3 .     Sp a t ia no rma liza t io n   T o   g u ar a n tee  co n s is ten in p u r ep r esen tatio n   f o r   s u b s eq u en C NN - b ased   p r o ce s s in g ,   e ac h   R OI   is   r esized   to   p r e d ef in ed   r eso lu t io n   u s in g   b ilin ea r   in ter p o latio n :      =   b i l i n ea r   (  , ,   ) , {   ,  ,  }     T h ad o p ted   r eso lu tio n s   ar 6 4 ×1 2 8   f o r   ey es,  6 4 × 6 4   f o r   th m o u th ,   an d   1 2 8 × 1 2 8   f o r   th h ea d .   B ilin ea r   in ter p o latio n   is   s elec ted   as  it  p r o v id es  an   ef f ec tiv co m p r o m is b etwe en   co m p u tatio n al  ef f icien cy   an d   p r eser v atio n   o f   s p atial  s tr u ctu r es.      2 . 1 . 4 .     I nte ns it y   no rm a liza t io n :   T o   r e d u ce   th i n f lu en ce   o f   li g h tin g   v ar iatio n s   an d   im p r o v s y s tem   r o b u s tn ess ,   th e   p ix e v alu es  o f   ea ch   R OI   ar n o r m alize d   with in   th in ter v al   [ 0 , 1 ]      =  255 , {   ,  ,  }     T h is   o p er atio n   e n s u r es a   u n if o r m   in p u r ep r esen tatio n   b ef o r e   p r o ce s s in g   b y   th C NN  m o d e ls .     Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J E lec  &   C o m p   E n g     I SS N:   2088 - 8 7 0 8         A   co n vo l u tio n a n eu r a l n etw o r - b a s ed   d r iver m o n ito r in g   s y s tem  fo r     ( S a r a   B en ko u i d er )   2223   2 . 2 .     CNN MLP - ba s ed  dro w s ines s   det ec t io n m o du le   T h is   m o d u le  aim s   to   d etec d r iv er   d r o wsi n ess   th r o u g h   th co m b in e d   an aly s is   o f   e y an d   m o u th   m o v em en ts   o v er   a   tem p o r al  win d o o f   T   co n s ec u tiv f r a m es.  T h is   tem p o r al  f o r m u latio n   en a b les  th s y s tem   to   ca p tu r th e   d y n am ic  ev o lu tio n   o f   d r o wsi n ess - r elate d   p atte r n s   s u ch   as b lin k in g   an d   y awn in g .   T h p r o p o s ed   f r am ewo r k   a d o p ts   co m p u tatio n ally   ef f icien two - s tag s tr ateg y .   Fi r s t,  C NN s   in d ep en d en tly   p r o ce s s   ea ch   f r am to   ex tr ac s p atial  f ea tu r es  f r o m   f ac ial  R OI s .   T h en ,   tem p o r al  in f o r m atio n   is   m o d eled   b y   ML P,  w h ich   ag g r eg ates  th s eq u e n ce   o f   C NN  o u tp u ts   o v er   th tem p o r al  win d o w   as  s h o wn   i n   Fig u r 2 .   T h is   d ec o u p led   d esig n   b et wee n   s p atial  an d   tem p o r al  m o d elin g   s im p lifie s   tr ain in g ,   im p r o v es  s tab ilit y ,   an d   s ig n if ican tly   r e d u ce s   co m p u tatio n al  co m p lex ity   co m p a r ed   to   r ec u r r e n o r   3 co n v o lu tio n a l   ap p r o ac h es.  I n   ad d itio n ,   th in d ep en d en p r o ce s s in g   o f   ea ch   f ac ial  r eg io n   en h an ce s   r o b u s tn ess   to   p ar tial   o cc lu s io n s   an d   m is s in g   in f o r m atio n .           Fig u r 2 .   C NN - MLP - b ased   d r o wsi n ess   d etec tio n   alg o r ith m       2 . 2 . 1 .   CNN - ba s ed  f ea t ure  ex t ra ct io n   Fo r   ea ch   m o d ality   {   ,  } ,   tem p o r al  s eq u en ce   o f   R OI s   is   co n s id er ed :     = {  1 ,  2 , . . ,  }     E ac h   R OI   is   p r o ce s s ed   in d ep en d en tly   b y   d ed icate d   C NN  b r an ch .   T h C NN  ar ch itectu r co n s is ts   o f :   i)   C o n v 2 ( 3 ×3 ,   3 2   f ilter s )   +   R eL U ,   ii)  Ma x   Po o lin g   ( 2 ×2 ) ,   i ii)  C o n v 2 D   ( 3 × 3 ,   6 4   f ilter s )   +   R eL U ,   iv )   Glo b al   Av er ag Po o lin g ,   v )   Fu lly   C o n n ec ted   lay er ,   an d   v i)   Sig m o id   ac tiv atio n .   Fo r   ea ch   f r a m e   ,   th C NN  o u tp u ts   co n tin u o u s   co n f i d en ce   s c o r e:     =  (  ) ,               [ 0 , 1 ]     Af ter   p r o ce s s in g   th f u ll tem p o r al  win d o w,   a   tem p o r al  s co r e   v ec to r   is   o b tain e d :     = [ 1 , 2 , . . , ]     2 . 2 . 2 .   T em po ra f us io n a nd   dro wsi nes s   estim a t io n   T h tem p o r al  s co r v ec to r s   ex tr ac ted   f r o m   th e y an d   m o u th   C NNs  ar co n ca ten ated   t o   f o r m   th e   in p u t o f   th ML P:     = [ ,  ] 2   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 8 - 8 7 0 8   I n t J E lec  &   C o m p   E n g ,   Vo l.   1 6 ,   No .   4 Au g u s t   20 2 6 :   2 2 2 0 - 2229   2224   T h ML lear n s   ab o u tem p o r al  d ep en d e n cies  an d   in ter m o d al  r elatio n s h ip s   b etwe en   ey a n d   m o u th   b eh av io r s .   I t p r o d u ce s   g l o b a l d r o wsi n ess   co n f id en ce   s co r e:       =   ( 2  ( 1 + 1 ) + 2 )     w h er 1   a n d   2   ar weig h t   m atr i ce s ,     1 ,   2   ar e   b ias  ter m s   a n d   t h o u tp u t     [ 0 , 1 ]   r ep r esen ts   th p r o b a b ilit y   o f   d r o wsi n ess   o v er   th tem p o r al  win d o w.     2 . 2 . 3 .   Dec is io s t ra t eg y   T h f in al  d ec is io n   is   o b tain ed   b y   th r esh o l d in g   t h ML P o u tp u t:       = ( 1 ,      0 ,                     )     w h er   i s   p r ed ef in ed   th r esh o ld   ( ty p ically     = 0 . 5 ).   T h is   d elay ed   d ec is io n   s tr ateg y   im p r o v es  r o b u s tn ess   an d   av o id s   f r am e - le v el  n o is e.     2 . 3 .     CNN - ba s ed  dis t ra ct io n det ec t io n m o du le   T h p r o p o s ed   C NN - b ased   d is tr ac tio n   d etec tio n   m o d u le  aim s   to   id en tif y   d r iv er   d is tr ac tio n   b y   an aly zin g   h ea d   p o s an d   m o tio n   p atter n s   o v er   tem p o r al  win d o o f   T   co n s ec u tiv f r am es.  Un lik e   d r o wsi n ess   d etec tio n ,   wh ich   r elies  o n   m u ltip le  f ac ial  cu es,  d is tr ac tio n   d etec tio n   p r im ar il y   d ep e n d s   o n   h ea d   o r ien tatio n   d y n am ics,  wh ich   a r s tr o n g   in d icato r s   o f   v is u al  a n d   co g n itiv d is tr ac tio n .     2 . 3 . 1 .   I np ut  da t a   a nd   t em po r a l w ind o w   s eq u en ce   o f   h ea d   R eg io n s   o f   I n ter est ( R OI s )   is   ex tr ac ted   o v er   tem p o r al  win d o w:      = {  1 ,  2 , . . ,  }     2 . 3 . 2 .   CNN - ba s ed  f ea t ure  ex t ra ct io n   E ac h      is   p r o ce s s ed   in d ep en d e n tly   b y   d ed icate d   C N N   b r an ch   d esig n ed   to   ex tr ac t   d is cr im in ativ s p atial  f ea tu r es  r elate d   to   h ea d   o r ien tatio n   an d   m o v em en as  s h o wn   in   Fig u r 3 .   T h e   C N N   ar ch itectu r f o llo ws  th s am d esig n   p r in cip les  as  t h o th er   m o d ality - s p ec if ic  n etwo r k s   ( C N N      C N N ) .   Fo r   ea c h   f r am e   ,   th C NN  p r o d u ce s   d is tr ac tio n   co n f i d en ce   s co r e:     =  (  ) ,           [ 0 , 1 ]     T h is   s co r r ep r esen ts   th p r o b ab ilit y   o f   d is tr ac tio n   at  tim e   .           Fig u r 3 .   C NN - b ased   d is tr ac tio n   d etec tio n   alg o r ith m     Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J E lec  &   C o m p   E n g     I SS N:   2088 - 8 7 0 8         A   co n vo l u tio n a n eu r a l n etw o r - b a s ed   d r iver m o n ito r in g   s y s tem  fo r     ( S a r a   B en ko u i d er )   2225   2 . 3 . 3 .   T em po ra a g g re g a t io n   T o   in co r p o r ate  tem p o r al  in f o r m atio n ,   t h f r am e - lev el   s co r es  ar ag g r eg ated   u s in g   an   av er ag in g   s tr ateg y :     = ( ) =     T h is   ag g r eg atio n   r ed u ce s   n o is an d   p r o v id es a   s tab le  esti m atio n   o f   d is tr ac tio n   o v e r   th tem p o r al  win d o w.     2 . 3 . 4 .   Dec is io r ule   f in al  b in ar y   d is tr ac tio n   d ec i s io n   is   o b tain ed   b y   ap p ly in g   a   th r esh o ld         to   th ag g r eg ated   s co r e:        = ( 1 ,          0 ,                     )     w h er e,   1   in d icate s   d is tr ac ted   s tate,   0   in d icate s   n o r m al  s tate,   an d     is   p r ed ef in e d   d e cisi o n   th r esh o ld   ( ty p ically     = 0 . 5 ).   Un lik f r a m e - b a s ed   d ec is io n s ,   th is   d elay ed   b in ar iatio n   im p r o v es  r o b u s tn ess   b y   lev er ag in g   tem p o r al  c o n s is ten cy .       3.   SI M UL A T I O R E S UL T   T o   ev alu ate  th e   p er f o r m a n c o f   th p r o p o s ed   m et h o d ,   m u ltip le  ex p e r im en tal  s ce n ar io s   wer d esig n ed ,   r a n g in g   f r o m   id ea co n d itio n s   to   m o r ch allen g in g   s itu atio n s   in v o lv in g   f ac ial  o cc lu s io n s ,   s u ch   as  d r iv er s   wea r in g   s u n g lass es  o r   s u r g ical  m ask s .   T h e x p er im en tal  ev alu atio n   is   co n d u cted   u s in g   v id eo   s eq u en ce s   ac q u ir e d   u n d er   d if f er en c o n d itio n s ,   in clu d in g   n o r m al  d r iv in g ,   d r o wsi n ess ,   d is tr ac tio n ,   an d   o cc lu s io n   s ce n ar io s .   T h v id e o s   ar s eg m en ted   in to   tem p o r al  win d o ws  o f   len g th   T ,   r an g i n g   f r o m   5 0   to   2 0 0 0   f r am es,  u s in g   s lid in g   win d o s tr ateg y   th at  g en e r ates  lar g n u m b er   o f   tem p o r al  s am p les.  T h d ataset  in clu d es  r ec o r d in g s   f r o m   a   s in g le  d r i v er ,   allo win g   c o n tr o ll ed   an al y s is   o f   tem p o r al   m o d el in g   an d   r o b u s tn ess   to   o cc lu s io n s .   A n n o tatio n s   ar d ef in e d   at  t h tem p o r al  win d o lev el,   wh er e   d r o wsi n ess   is   lab eled   b ased   o n   ey clo s u r e   an d   y awn in g   b eh av io r ,   a n d   d is tr ac tio n   is   d e f in ed   b ased   o n   h ea d   p o s d ev iat io n .   T h s im u latio n   an d   d ataset  p ar am eter s   u s ed   i n   all  ex p er im en ts   ar s u m m ar i ze d   in   T ab le  1 .   T h p r o p o s ed   s y s tem   is   ev alu ated   u n d er   t h r ee   d is tin ct  test   co n d it io n s   in   o r d e r   to   e v alu ate  its   r o b u s tn ess .       T ab le  1 .   Simu latio n   p ar am eter s   C a t e g o r y   P a r a me t e r s   V a l u e s   D a t a s e t   & E x p e r i m e n t a l   S e t u p   N u mb e r   o f   d r i v e r s   1   C P U   I n t e l   C o r e   i 7   R A M   1 6   G B   F r a me  r a t e   3 0   f p s   Te mp o r a l   s e g m e n t a t i o n   S l i d i n g   w i n d o w   D r o w si n e ss  c l a sses   D r o w sy   /   N o n - d r o w s y   D i st r a c t i o n   c l a ss e s   D i st r a c t e d   /   A t t e n t i v e   S c e n a r i o s   N o r mal ,   S u n g l a sses ,   S u r g i c a l   M a s k   R e g i o n s   o f   I n t e r e s t   Te mp o r a l   w i n d o w   si z e   T   [ 5 0   -   2 0 0 0 ]   f r a mes   Ey e   R O I   si z e   6 4   × 1 2 8   M o u t h   R O I   si z e   6 4   ×   6 4   H e a d   R O I   si z e   1 2 8   ×   1 2 8   C N N   P a r a m e t e r s   K e r n e l   si z e   ( 3   ×   3 )   N u mb e r   o f   f i l t e r s   3 2   ( C o n v 1 ) ,   6 4   ( C o n v 2 )   A c t i v a t i o n   f u n c t i o n   R e LU   P o o l i n g   M a x   P o o l i n g   ( 2   ×   2 )   F e a t u r e   a g g r e g a t i o n   G l o b a l   A v e r a g e   P o o l i n g   O u t p u t   a c t i v a t i o n   S i g m o i d   M LP   I n p u t s   S e ye s ,   S m ou t h   H i d d e n   l a y e r s   1   H i d d e n   u n i t s   16   O u t p u t   a c t i v a t i o n   S i g m o i d       3 . 1 .     I dea co nd it io n   I n   th is   s ce n ar io ,   th d r iv er   d o es  n o wea r   s u n g lass es  o r   s u r g ical  m ask .   Un d er   t h ese  co n d itio n s ,   th f ac ial  r eg io n s   o f   in ter est  ( e y es,  m o u th ,   an d   h ea d )   ar e   clea r ly   v is ib le,   allo win g   th e   p r o p o s e d   s y s tem   to   u s all   v is u al  in f o r m atio n   f o r   d etec tio n .   Fig u r 4   s h o ws  th p e r f o r m an ce   o f   d r o wsi n ess   an d   d is tr ac tio n   d etec tio n   i n   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 8 - 8 7 0 8   I n t J E lec  &   C o m p   E n g ,   Vo l.   1 6 ,   No .   4 Au g u s t   20 2 6 :   2 2 2 0 - 2229   2226   id ea co n d itio n s ,   wh er t h d r i v er   d o es  n o wea r   s u n g lass es  o r   s u r g ical  m ask .   W o b s er v th at  as  th s ize  o f   th tim win d o T   in cr ea s es,  th ac cu r ac y   im p r o v es f o r   b o th   d r o wsi n ess   an d   d is tr ac tio n   d et ec tio n .   Dis tr ac tio n   d etec tio n   g i v es  s lig h tly   b etter   r esu lts ,   r ea ch i n g   ab o u t   98% ,   wh ile  d r o wsi n ess   d etec tio n   r ea ch es  ar o u n d   9 7 . 3 %   at  lar g T T h is   ca n   b e   ex p lain e d   b y   t h f ac th at   d is tr ac tio n s   ar p r im ar ily   r elate d   t o   h ea d   m o v em en ts ,   wh ich   a r e asier   to   d etec t th an   th s u b tle  f ac ial  ch an g es a s s o ciate d   with   d r o wsi n ess ,   s u ch   as  ey clo s u r a n d   y aw n in g .   B o th   cu r v es  b ec o m e   s tab le  f o r   lar g tem p o r al  win d o ws,  s h o win g   th at   lo n g e r   win d o ws  b r in g   litt le  im p r o v e m en t.  T h ese  r esu lts   co n f ir m   th r o b u s tn ess   an d   ef f ec tiv e n e s s   o f   o u r   p r o p o s ed   s y s tem   in   id ea l d r iv in g   co n d itio n s .           Fig u r 4 .   Dis tr ac tio n   v s   d r o wsi n ess   d etec tio n   p er f o r m an ce   ( id ea l c o n d itio n s )       3 . 2 .     Su ng la s s es  c o nd it io n   I n   r ea d r iv in g   s itu atio n s ,   m a n y   d r i v er s   wea r   s u n g lass es  to   p r o tect  th eir   e y es  f r o m   s u n lig h t.  Vis u al   in f o r m atio n   f r o m   th e   ey es ,   s u ch   as  e y clo s u r an d   b lin k in g ,   p la y   a n   im p o r tan t   r o le   in   d etec tin g   d r o wsi n ess   an d   d is tr ac tio n ,   as   in   Fig u r 5 .   Ho wev er ,   s u n g lass es  m ak t h is   task   m o r c h allen g in g   b y   p ar tially   h id i n g   th e   ey es,  ca u s in g   r e f lectio n s ,   an d   r ed u cin g   im a g q u ality .   T h er ef o r e,   th is   s ec tio n   an al y ze s   th im p ac o f   s u n g lass es  o n   th p er f o r m an ce   o f   th p r o p o s ed   s y s tem .   Fig u r 5 ( a)   s h o ws  th ef f ec o f   s u n g lass es  o n   d r o wsi n ess   d etec tio n   ac cu r ac y   f o r   d if f er en t   tem p o r al  win d o s izes  T .   W ith o u s u n g lass es,  ac cu r ac y   in c r ea s es  f r o m   ab o u t   95%   to   ap p r o x im ately   9 7 . 3 % ,   as  T   in cr ea s es.  W n o tice  th at  wi th   s u n g lass es,  th ac cu r ac y   is   s ig n if ican tly   lo wer ,   r ea c h in g   ar o u n d   9 0 % ,   at   lar g e   T .   T h is   d if f er en ce   ( ab o u t   7% )   is   to   s tr o n g   e y o cc lu s io n   an d   r ef lectio n s   ca u s ed   b y   s u n g lass es W o b s er v th at   ev e n   with   s u n g lass es,  th s y s tem   s till   p er f o r m s   well.   W h en   en o u g h   f r a m es  ar e   u s ed ,   th e   ac cu r ac y   b ec o m es  s tab le   an d   r em ai n s   h ig h .   T h is   s h o w s   th at  th e   p r o p o s ed   s y s tem   is   r o b u s t a n d   ca n   d etec t d r o wsi n ess   ev en   wh en   th e   d r iv er   wea r s   s u n g lass es.   Fig u r 5 ( b )   illu s tr ates  th ef f ec o f   s u n g lass es  o n   d is tr ac tio n   d etec tio n   ac cu r ac y .   W o b s er v th at   wh en   th d r iv er   is   n o wea r in g   s u n g lass es,  th s y s tem   a ch iev es  in cr ea s ed   ac cu r ac y   f o r   all  o b s er v atio n   d u r atio n s .   T h ac cu r ac y   in cr e ases   g r ad u ally   with     an d   r ea ch es  ab o u t   9 8 f o r   lar g wi n d o ws.  Ho wev er ,   w h en   s u n g lass es  ar wo r n ,   th ac cu r ac y   is   s lig h tly   lo wer ,   esp ec ially   f o r   s m all  v alu es  o f   .   Ho wev er ,   as    in cr ea s es,  th p er f o r m a n ce   i m p r o v es  an d   s tab ilizes  ar o u n d   9 6 . 5 % .   T h p er f o r m a n ce   g ap   b etwe en   th two   ca s es  r em ain s   lim ited   ( ar o u n d   1 . 5 % ) .   T h ese  r esu lts   in d icate   th at  s u n g lass es  h av m in o r   im p ac o n   d is tr ac tio n   d etec tio n ,   a n d   th p r o p o s ed   s y s tem   r em ain s   r o b u s t e v en   wh en   ey e   v is ib ilit y   is   p ar tially   h id d e n .     3 . 3 .     Su rg ica m a s k   c o nd it io n   Sin ce   th C OVI D - 1 9   p an d e m ic,   wea r in g   f ac m ask s   ( s u r g i ca m ask s   o r   cl o th   m ask s )   h a s   b ec o m co m m o n   in   v e h icles,  p ar ticu la r ly   f o r   p r o f ess io n al  d r iv e r s   s u ch   as  tax is   an d   p u b lic  tr an s p o r t.  Face   m ask s   h id e   th m o u th   r e g io n   an d   p ar o f   t h f ac e,   wh ich   is   cr itical  s o u r ce   o f   in f o r m atio n   f o r   d etec t in g   d r o wsi n ess   an d   d is tr ac tio n .   T h is   s ec tio n   an aly ze s   th e   im p ac t o f   s u r g ical  m ask s   o n   th p r o p o s ed   s y s te m ,   s ee   Fig u r 6 .   Fig u r 6 ( a)   illu s tr ates  th im p ac o f   wea r in g   s u r g ical  m ask   o n   d r o wsi n ess   d etec tio n   ac c u r ac y   f o r   d if f er en tem p o r al  win d o s izes   T .   I n   b o th   s ce n ar io s ,   we  o b s er v th at  ac c u r ac y   i n cr ea s es  as  T   g r o ws.  W ith o u m ask ,   th ac cu r ac y   r ap id l y   in cr ea s es  an d   s tab ilizes  at  ar o u n d   97%   f o r   lar g tem p o r al  win d o ws.  W h en   th d r iv e r   wea r s   s u r g i ca l m ask ,   th ac cu r ac y   is   lo wer   an d   c o n v e r g es  to o   a p p r o x im ately   91%   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J E lec  &   C o m p   E n g     I SS N:   2088 - 8 7 0 8         A   co n vo l u tio n a n eu r a l n etw o r - b a s ed   d r iver m o n ito r in g   s y s tem  fo r     ( S a r a   B en ko u i d er )   2227   T h is   d ec r ea s o f   ab o u   6%   is   m ain ly   d u e   to   t h lo s s   o f   m o u th - r elate d   v is u al  in f o r m atio n ,   s u ch   as   y awn in g ,   wh ich   is   h id d en   b y   th m ask .   Ho wev er ,   o u r   s y s tem   s till   p er f o r m s   well  w ith   m ask   wo r n ,   esp ec ially   f o r   lar g v al u es o f   T .   T h ese  r esu lts   d em o n s tr ate  th at  th p r o p o s ed   m eth o d   is   r o b u s t e v en   wh en   p ar t o f   th f ac e   is   h id d en .   Fig u r 6 ( b )   s h o ws  th i n f lu en ce   o f   s u r g ical  m ask   o n   d is tr ac tio n   d etec tio n   ac cu r ac y .   I n   b o th   ca s es,   th ac cu r ac y   i n cr ea s es  wh en   th tem p o r al  win d o s ize  T   b ec o m es  lar g er .   W ith o u s u r g ical  m ask ,   th ac cu r ac y   in cr ea s es  q u ick ly   a n d   s tab ilizes  at  ar o u n d   98%   f o r   lar g tem p o r al  win d o ws.  W h en   th d r iv er   wea r s   s u r g ical  m ask ,   th ac c u r ac y   is   s lig h tly   lo wer   an d   co n v er g e s   to   ap p r o x im ately   97% .   T h e   p er f o r m an ce   d r o p   is   th er ef o r lim ited   to   ab o u t   1% ,   wh ich   in d icate s   th at  m ask   wea r in g   h as  v er y   s m all  im p ac o n   o u r   d is tr ac tio n   d etec tio n   s y s tem .   B ec au s it  m ain ly   d ep en d s   o n   h ea d   m o v em e n ts ,   wh ich   ar n o s tr o n g ly   af f ec te d   b y   wea r in g   m ask .   T h ese  r e s u lts   s h o th at  th p r o p o s ed   s y s tem   wo r k s   well  f o r   d is tr ac tio n   d etec tio n   e v en   wh en   th d r iv er   wea r s   s u r g ical  m ask .           ( a)   ( b )     Fig u r 5 .   E f f ec t o f   s u n g lass es o n   d r o wsi n ess   an d   d is tr ac tio n   d etec tio n   p er f o r m a n ce : ( a)   d r o wsi n ess   d etec tio n   an d   ( b )   d is tr ac tio n   d etec tio n           ( a)   ( b )     Fig u r 6 .   E f f ec t o f   s u r g ical  m a s k   o n   d r o wsi n ess   an d   d is tr ac tio n   d etec tio n   p er f o r m an ce :   ( a)   d r o wsi n ess   d etec tio n   an d   ( b )   d is tr ac tio n   d etec tio n       4.   CO NCLU SI O N   I n   th is   p ap e r ,   we  p r o p o s ed   s y s tem   to   d etec d r iv er   d r o wsi n ess   an d   d is tr ac tio n   u s in g   f ac i al  an aly s is   f r o m   an   o n - b o ar d   ca m er a.   O u r   s y s tem   u s es  m o d u lar   ar ch ite ctu r with   C NNs  to   an aly ze   th ey es,  m o u t h ,   an d   h ea d   r eg i o n s ,   co m b in ed   with   a   s im p le  tem p o r al  f u s io n   m eth o d   to   ca p tu r d r i v er   b e h av io r   o v er   tim e.     Du to   its   m o d u lar   d esig n ,   th e   s y s tem   r em ain s   r o b u s to   p ar t ial  in f o r m atio n   lo s s   an d   ca n   c o n tin u to   o p er ate  e v en   wh e n   s o m e   f ac i al  r eg io n s   a r m is s in g   o r   o c clu d ed ,   w h ich   is   c o m m o n   lim itatio n   o f   m a n y   ex is tin g   ap p r o ac h es.  E x p er im en tal  r esu lts   d em o n s tr ate  th at  th p r o p o s ed   s y s tem   ac h iev es  h ig h   ac cu r ac y   an d   s tr o n g   r o b u s tn ess   u n d er   v ar i o u s   d r iv in g   co n d itio n s .   I n   p ar ticu lar ,   it  attain s   u p   to   9 7 . 3 ac cu r ac y   f o r   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 8 - 8 7 0 8   I n t J E lec  &   C o m p   E n g ,   Vo l.   1 6 ,   No .   4 Au g u s t   20 2 6 :   2 2 2 0 - 2229   2228   d r o wsi n ess   d etec tio n   an d   9 8 f o r   d is tr ac tio n   d etec tio n   i n   id ea s ce n ar i o s .   E v en   wh e n   th d r iv er   wea r s   s u n g lass es  o r   s u r g ical  m as k ,   th s y s tem   m ain tain s   r elia b le  p er f o r m an ce ,   with   ac cu r a cy   r em ain in g   ab o v e   9 0 f o r   d r o wsi n ess   an d   9 7 f o r   d is tr ac tio n ,   co n f ir m in g   its   s u itab ili ty   f o r   r ea l - tim d r iv er   m o n ito r in g   ap p licatio n s .   As  f u tu r wo r k ,   we  p r o p o s to   in teg r ate  p er s o n alize d   a d a p tatio n   s tr ateg ies  th at  tak in to   ac co u n t   in d iv id u al  d r iv er   ch ar ac ter is t ics,  wh ich   co u ld   im p r o v s y s tem   ac cu r ac y   an d   r e d u ce   d etec tio n   er r o r s .   I n   ad d itio n ,   in tr o d u cin g   tem p o r al   weig h tin g   o r   atten tio n   m ec h a n is m s   wo u ld   allo w   m o r e   ef f ec tiv ex p lo itatio n   o f   th m o s r elev an in f o r m atio n   with in   th tem p o r al  win d o w.   Fin ally ,   co m p r e h en s iv ev alu atio n   u n d er   r ea l   d r iv in g   co n d itio n s ,   i n clu d in g   d if f er en t   d r iv e r   p r o f iles   a n d   v ar io u s   d r iv in g   s ce n ar io s   s u c h   as  n ig h ttime   d r iv in g ,   ad v er s wea th er   co n d itio n s ,   a n d   d en s tr af f ic,   is   ess en tial to   v alid ate  th r o b u s tn ess   an d   p r ac tical  ap p licab ilit y   o f   th p r o p o s ed   s y s tem .       AUTHO CO NT RI B UT I O NS ST A T E M E N T     T h is   jo u r n al  u s es  th C o n tr ib u to r   R o les  T ax o n o m y   ( C R ed iT)   to   r ec o g n ize  in d iv id u al  au th o r   co n tr ib u tio n s ,   r ed u ce   au th o r s h ip   d is p u tes,  an d   f ac ilit ate  co llab o r atio n .     Na m o f   Aut ho r   C   M   So   Va   Fo   I   R   D   O   E   Vi   Su   P   Fu   Sar B en k o u id er                                 Nasr ed d in L ag r aa                                 C     C o n c e p t u a l i z a t i o n   M     M e t h o d o l o g y   So     So f t w a r e   Va     Va l i d a t i o n   Fo     Fo r mal   a n a l y s i s   I     I n v e s t i g a t i o n   R     R e so u r c e s   D   :   D a t a   C u r a t i o n   O   :   W r i t i n g   -   O r i g i n a l   D r a f t   E   :   W r i t i n g   -   R e v i e w   &   E d i t i n g   Vi     Vi su a l i z a t i o n   Su     Su p e r v i s i o n   P     P r o j e c t   a d mi n i st r a t i o n   Fu     Fu n d i n g   a c q u i si t i o n         F UNDING   I NF O R M A T I O   Au th o r s   s tate  n o   f u n d in g   in v o lv ed .       CO NF L I C T   O F   I N T E R E S T   ST A T E M E NT   Au th o r s   s tate  n o   co n f lict o f   in t er est.       DATA AV AI L AB I L I T Y   D a t a   a v a il a b i li t y   is   n o t   a p p l i ca b l e   t o   t h is   p a p e r   a s   n o   n e w   d at w e r e   c r e a t e d   o r   a n al y z e d   i n   t h is   s t u d y .       RE F E R E NC E S   [ 1 ]   W o r l d   H e a l t h   O r g a n i z a t i o n ,   G l o b a l   s t a t u s r e p o r t   o n   r o a d   s a f e t y ,   G e n e v a ,   S w i t z e r l a n d ,   2 0 2 3 .   [ 2 ]   J.  A .   H o r n e   a n d   L .   A .   R e y n e r ,   S l e e p   r e l a t e d   v e h i c l e   a c c i d e n t s ,   B MJ ,   v o l .   3 1 0 ,   n o .   6 9 7 9 ,   p p .   5 6 5 5 6 7 ,   M a r .   1 9 9 5 ,   d o i :   1 0 . 1 1 3 6 / b mj . 3 1 0 . 6 9 7 9 . 5 6 5 .   [ 3 ]   A .   S a h a y a d h a s ,   K .   S u n d a r a j ,   a n d   M .   M u r u g a p p a n ,   D e t e c t i n g   d r i v e r   d r o w si n e ss   b a se d   o n   se n so r s :   A   r e v i e w ,   S e n so rs ,   v o l .   1 2 ,   n o .   1 2 ,   p p .   1 6 9 3 7 1 6 9 5 3 ,   D e c .   2 0 1 2 ,   d o i :   1 0 . 3 3 9 0 / s 1 2 1 2 1 6 9 3 7 .   [ 4 ]   N a t i o n a l   H i g h w a y   Tr a f f i c   S a f e t y   A d mi n i st r a t i o n ,   D i s t r a c t e d   d r i v i n g   r e p o r t ,   W a s h i n g t o n ,   D C ,   U S A ,   2 0 2 2 .   [ 5 ]   G .   A l h a m a d   a n d   M . - B .   K u r d y ,   A   r e v i e w   o f   d r i v e r   d i s t r a c t i o n   d e t e c t i o n   w h i l e   d r i v i n g   b a s e d   o n   c o n v o l u t i o n a l   n e u r a l   n e t w o r k s,”   I AES   I n t e r n a t i o n a l   J o u rn a l   o f   Art i f i c i a l   I n t e l l i g e n c e   ( I J - AI ) ,   v o l .   1 4 ,   n o .   6 ,   p p .   4 4 1 5 4 4 2 6 ,   D e c .   2 0 2 5 ,   d o i :   1 0 . 1 1 5 9 1 / i j a i . v 1 4 . i 6 . p p 4 4 1 5 - 4 4 2 6 .   [ 6 ]   T.   F o n se c a   a n d   S .   F e r r e i r a ,   D r o w s i n e ss  d e t e c t i o n   i n   d r i v e r s:   a   s y st e m a t i c   r e v i e w   o f   d e e p   l e a r n i n g - b a se d   mo d e l s ,   Ap p l i e d   S c i e n c e s ,   v o l .   1 5 ,   n o .   1 6 ,   p .   9 0 1 8 ,   A u g .   2 0 2 5 ,   d o i :   1 0 . 3 3 9 0 / a p p 1 5 1 6 9 0 1 8 .   [ 7 ]   R .   F l o r e z ,   F .   P a l o m i n o - Q u i s p e ,   R .   J .   C o a q u i r a - C a st i l l o ,   J.  C .   H e r r e r a - Le v a n o ,   T.   P a i x ã o ,   a n d   A .   B .   A l v a r e z ,   A   C N N - b a s e d   a p p r o a c h   f o r   d r i v e r   d r o w s i n e ss  d e t e c t i o n   b y   r e a l - t i m e   e y e   st a t e   i d e n t i c a t i o n ,   Ap p l i e d   S c i e n c e s ,   v o l .   1 3 ,   n o .   1 3 .   p p .   7 8 4 9 7 8 6 6 ,   Ju n .   0 5 ,   2 0 2 3 ,   d o i :   1 0 . 2 0 9 4 4 / p r e p r i n t s 2 0 2 3 0 6 . 0 2 6 7 . v 1 .   [ 8 ]   A .   S o h a i l ,   A .   A .   S h a h ,   S .   I l y a s ,   a n d   N .   A l sh a mm r y ,   A   C N N - b a s e d   d e e p   l e a r n i n g   f r a mew o r k   f o r   d r i v e r d r o w si n e ss  d e t e c t i o n ,   I n t e r n a t i o n a l   J o u r n a l   o f   A d v a n c e d   C o m p u t e S c i e n c e   a n d   A p p l i c a t i o n s ,   v o l .   1 5 ,   n o .   3 ,   p p .   1 6 9 1 7 8 ,   2 0 2 4 ,   d o i :   1 0 . 1 4 5 6 9 / I JA C S A . 2 0 2 4 . 0 1 5 0 3 1 7 .   [ 9 ]   D .   S a l e m a n d   M .   W a l e e d ,   D r o w si n e ss  d e t e c t i o n   i n   r e a l - t i me   v i a   c o n v o l u t i o n a l   n e u r a l   n e t w o r k s a n d   t r a n sf e r   l e a r n i n g ,   J o u r n a l   o f   En g i n e e ri n g   a n d   A p p l i e d   S c i e n c e ,   v o l .   7 1 ,   n o .   1 ,   p .   1 2 2 ,   D e c .   2 0 2 4 ,   d o i :   1 0 . 1 1 8 6 / s 4 4 1 4 7 - 0 2 4 - 0 0 4 5 7 - z.   [ 1 0 ]   O .   F .   H a ss a n ,   A .   F .   I b r a h i m,   A .   G o m a a ,   M .   A .   M a k h l o u f ,   a n d   B .   H a f i z ,   R e a l - t i m e   d r i v e r   d r o w si n e ss  d e t e c t i o n   u si n g   t r a n sf o r m e r   a r c h i t e c t u r e s :   a   n o v e l   d e e p   l e a r n i n g   a p p r o a c h ,   S c i e n t i f i c   R e p o rt s ,   v o l .   1 5 ,   n o .   1 ,   p .   1 7 4 9 3 ,   M a y   2 0 2 5 ,   d o i :   1 0 . 1 0 3 8 / s4 1 5 9 8 - 025 - 0 2 1 1 1 - x.   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J E lec  &   C o m p   E n g     I SS N:   2088 - 8 7 0 8         A   co n vo l u tio n a n eu r a l n etw o r - b a s ed   d r iver m o n ito r in g   s y s tem  fo r     ( S a r a   B en ko u i d er )   2229   [ 1 1 ]   A .   M a d a n e ,   A .   S i n g h ,   S .   F a r g a d e ,   a n d   A .   D o n g a r e ,   R e a l - t i me   d r i v e r   d r o w si n e ss   d e t e c t i o n   u s i n g   d e e p   l e a r n i n g   a n d   c o mp u t e r   v i s i o n   t e c h n i q u e s ,   I n t e rn a t i o n a l   J o u rn a l   o f   S c i e n t i f i c   Re se a rc h   i n   S c i e n c e ,   E n g i n e e r i n g   a n d   T e c h n o l o g y ,   v o l .   1 2 ,   n o .   3 ,   p p .   2 2 2 2 2 9 ,   M a y   2 0 2 5 ,   d o i :   1 0 . 3 2 6 2 8 / I JS R S ET2 5 1 2 3 3 5 .   [ 1 2 ]   K .   A .   A l S h a l f a n   a n d   M .   Za k a r i a h ,   D e t e c t i n g   d r i v e r   d i st r a c t i o n   u s i n g   d e e p - l e a r n i n g   a p p r o a c h ,   C o m p u t e rs,  Ma t e r i a l s   &   C o n t i n u a ,   v o l .   6 8 ,   n o .   1 ,   p p .   6 8 9 7 0 4 ,   2 0 2 1 ,   d o i :   1 0 . 3 2 6 0 4 / c m c . 2 0 2 1 . 0 1 5 9 8 9 .   [ 1 3 ]   R .   S a l a k a p u r i ,   N .   K .   N a v u r i ,   T.   V o b b i l i n e n i ,   G .   R a v i ,   K .   K a r ma k o n d a ,   a n d   K .   A .   V a r d h a n ,   I n t e g r a t e d   d e e p   l e a r n i n g   f r a mew o r k   f o r   d r i v e r   d i st r a c t i o n   d e t e c t i o n   a n d   r e a l - t i m e   r o a d   o b j e c t   r e c o g n i t i o n   i n   a d v a n c e d   d r i v e r   a ssi s t a n c e   s y st e ms,   S c i e n t i f i c   R e p o r t s v o l .   1 5 ,   n o .   1 ,   p .   2 5 1 2 5 ,   J u l .   2 0 2 5 ,   d o i :   1 0 . 1 0 3 8 / s4 1 5 9 8 - 025 - 0 8 4 7 5 - 4.   [ 1 4 ]   B .   B a h e t i ,   S .   G a j r e ,   a n d   S .   T a l b a r ,   D e t e c t i o n   o f   d i st r a c t e d   d r i v e r   u si n g   c o n v o l u t i o n a l   n e u r a l   n e t w o r k ,   i n   2 0 1 8   I EEE / C V F   C o n f e re n c e   o n   C o m p u t e Vi s i o n   a n d   P a t t e r n   R e c o g n i t i o n   W o r k sh o p ( C V PRW ) ,   Ju n .   2 0 1 8 ,   p p .   1 1 4 5 1 1 4 5 6 ,   d o i :   1 0 . 1 1 0 9 / C V P R W . 2 0 1 8 . 0 0 1 5 0 .   [ 1 5 ]   M .   A l j a si a n d   R .   K a s h e f ,   E 2 D R :   A   d e e p   l e a r n i n g   e n s e m b l e - b a s e d   d r i v e r   d i st r a c t i o n   d e t e c t i o n   w i t h   r e c o mm e n d a t i o n s   m o d e l ,   S e n so rs ,   v o l .   2 2 ,   n o .   5 ,   p .   1 8 5 8 ,   F e b .   2 0 2 2 ,   d o i :   1 0 . 3 3 9 0 / s2 2 0 5 1 8 5 8 .   [ 1 6 ]   S. - J.  Ji a o ,   L. - Y .   L i u ,   a n d   Q .   L i u ,   A   h y b r i d   d e e p   l e a r n i n g   m o d e l   f o r   r e c o g n i z i n g   a c t i o n o f   d i s t r a c t e d   d r i v e r s,   S e n so rs ,   v o l .   2 1 ,   n o .   2 1 ,   p .   7 4 2 4 ,   N o v .   2 0 2 1 ,   d o i :   1 0 . 3 3 9 0 / s 2 1 2 1 7 4 2 4 .   [ 1 7 ]   R .   G h o d d o o s i a n ,   M .   G a l i b ,   a n d   V .   A t h i t s o s,   A   r e a l i s t i c   d a t a se t   a n d   b a se l i n e   t e mp o r a l   m o d e l   f o r   e a r l y   d r o w s i n e ss  d e t e c t i o n ,   i n   2 0 1 9   I EE E/ C VF   C o n f e re n c e   o n   C o m p u t e r   Vi si o n   a n d   Pa t t e rn   Re c o g n i t i o n   Wo r k sh o p ( C VPR W) ,   Ju n .   2 0 1 9 ,   p p .   1 7 8 1 8 7 ,   d o i :   1 0 . 1 1 0 9 / C V P R W . 2 0 1 9 . 0 0 0 2 7 .   [ 1 8 ]   R .   J a b b a r ,   K .   A l - K h a l i f a ,   M .   K h a r b e c h e ,   W .   A l h a j y a se e n ,   M .   J a f a r i ,   a n d   S .   Ji a n g ,   R e a l - t i me   d r i v e r   d r o w si n e ss  d e t e c t i o n   f o r   A n d r o i d   a p p l i c a t i o n   u s i n g   d e e p   n e u r a l   n e t w o r k s ,   Pr o c e d i a   C o m p u t e S c i e n c e ,   v o l .   1 3 0 ,   p p .   4 0 0 4 0 7 ,   2 0 1 8 ,   d o i :   1 0 . 1 0 1 6 / j . p r o c s . 2 0 1 8 . 0 4 . 0 6 0 .   [ 1 9 ]   F .   F a r a j i ,   F   L o t f i ,   J.  K h o r r a md e l ,   A .   N a j a f i ,   a n d   A .   G h a f f a r i ,   D r o w s i n e ss d e t e c t i o n   b a s e d   o n   d r i v e r   t e m p o r a l   b e h a v i o r   u si n g   d e e p   l e a r n i n g ,   a r Xi v   p re p ri n t   a r Xi v : 2 1 0 4 . 0 0 1 2 5 ,   v o l .   a b s/ 2 1 0 4 . 0 ,   2 0 2 1 .   [ 2 0 ]   A .   P i n g o   e t   a l . ,   D r i v i n g   b e h a v i o r   c l a ssi f i c a t i o n   u s i n g   a   C o n v LST M ,   Fu t u re  T r a n s p o rt a t i o n ,   v o l .   5 ,   n o .   2 ,   p .   5 2 ,   M a y   2 0 2 5 ,   d o i :   1 0 . 3 3 9 0 / f u t u r e t r a n s p 5 0 2 0 0 5 2 .   [ 2 1 ]   A .   A b o u O u f ,   I .   S o b h ,   M .   N a sser,   O .   A l saq a ,   O .   El e z a b y ,   a n d   J.   F .   W .   Za k i ,   M u l t i m o d e l   sy s t e f o r   d r i v e r   d i st r a c t i o n   d e t e c t i o n   a n d   e l i mi n a t i o n ,   I EEE  Ac c e ss ,   v o l .   1 0 ,   p p .   7 2 4 5 8 7 2 4 6 9 ,   2 0 2 2 ,   d o i :   1 0 . 1 1 0 9 / A C C ESS . 2 0 2 2 . 3 1 8 8 7 1 5 .   [ 2 2 ]   M .   L i u ,   X .   X u ,   J.  H u ,   a n d   Q .   J i a n g ,   R e a l - t i me  d e t e c t i o n   o f   d r i v e r   f a t i g u e   b a s e d   o n   C N N LSTM ,   I ET I m a g e   P ro c e ssi n g ,   v o l .   1 6 ,   n o .   2 ,   p p .   5 7 6 5 9 5 ,   F e b .   2 0 2 2 ,   d o i :   1 0 . 1 0 4 9 / i p r 2 . 1 2 3 7 3 .   [ 2 3 ]   O .   N a si r   e t   a l . ,   S A F E - D R I V E - A I :   A   C N N LSTM a t t e n t i o n   f r a m e w o r k   f o r   d r o w s i n e ss  d e t e c t i o n ,   En g i n e e ri n g ,   T e c h n o l o g y   &   Ap p l i e d   S c i e n c e   Re s e a rc h ,   v o l .   1 5 ,   n o .   5 ,   p p .   2 7 5 9 4 2 7 6 0 0 ,   O c t .   2 0 2 5 ,   d o i :   1 0 . 4 8 0 8 4 / e t a sr . 1 2 7 2 5 .   [ 2 4 ]   J.  Li u ,   Y .   Li u ,   D .   L i ,   H .   W a n g ,   X .   H u a n g ,   a n d   L .   S o n g ,   D S D C LA :   d r i v i n g   st y l e   d e t e c t i o n   v i a   h y b r i d   C N N - L S TM   w i t h   m u l t i - l e v e l   a t t e n t i o n   f u s i o n ,   A p p l i e d   I n t e l l i g e n c e ,   v o l .   5 3 ,   n o .   1 6 ,   p p .   1 9 2 3 7 1 9 2 5 4 ,   A u g .   2 0 2 3 ,   d o i :   1 0 . 1 0 0 7 / s1 0 4 8 9 - 0 2 3 - 0 4 4 5 1 - 5.   [ 2 5 ]   S .   Ji ,   W .   X u ,   M .   Y a n g ,   a n d   K .   Y u ,   3 D   c o n v o l u t i o n a l   n e u r a l   n e t w o r k f o r   h u ma n   a c t i o n   r e c o g n i t i o n ,   I EE T ra n s a c t i o n o n   Pa t t e r n   An a l y si s   a n d   Ma c h i n e   I n t e l l i g e n c e ,   v o l .   3 5 ,   n o .   1 ,   p p .   2 2 1 2 3 1 ,   Ja n .   2 0 1 3 ,   d o i :   1 0 . 1 1 0 9 / TPA M I . 2 0 1 2 . 5 9 .       B I O G RAP H I E S O F   AUTH O RS       S a r a   Be n k o u id e r           r e c e iv e d   h e M . S c   d e g re e   i n   c o m p u ter  sc ien c e   fro m   Un i v e rsity   o S c ien c e a n d   Tec h n o l o g y   Ho u a ri  Bo u m e d ien e ,   (Al g iers ),   in   2 0 0 9 ,   a n d   h e P h d e g re e   i n   c o m p u ter  sc ien c e   fro m   Un iv e rsit y   o Lag h o u a t,   Alg e ria,  i n   2 0 2 0 .   S h e   is  c u rre n tl y   a   m e m b e a t   th e   In fo rm a ti c a n d   M a th e m a ti c Lab o ra to ry   (L IM o t h e   U n iv e rsit y   o Lag h o u a t.   He r   re se a rc h   in tere sts  in c lu d e   Lo c a li z a ti o n   in   m o b il e   n e two rk (W S Ns ,   VA Ne ts ,   UA Vs ),   Un m a n n e d   Ae rial  Ve h icle   M o b il it y ,   M o b il e   C o m p u ti n g ,   Dri v e m o n it o rin g   s y ste m a n d   c o ll isio n   a v o id a n c e   i n   a   sw a rm   o f   UA Vs .   S h e   c a n   b e   c o n tac ted   a s. b e n k o u i d e r@lag h - u n iv . d z .         Na sr e d d in e   La g r a a            r e c e iv e d   h is  P h in   a u t o m a ti o n   fr o m   th e   Eco le  Na ti o n a le   P o ly tec h n i q u e ,   Alg e ria  (2 0 0 8 ).   He   tea c h e s   v a rio u c o u rse s   o n   c o m p u ter  a rc h it e c tu re ,   m u lt ime d ia,  m o b il e   n e two rk a n d   n e two rk   se c u rit y .   His  re se a rc h   in tere sts  a re Ve h icu lar   n e two rk s,   n e two r k   se c u rit y ,   d e c e n tralize d   c o n tro l,   f u z z y ,   a n d   a rti f icia n e u ra n e two r k s.  He   i s   se rv in g   i n   th e   tec h n ica p r o g ra m   c o m m it tee o m a n y   in tern a ti o n a c o n fe re n c e s,  Wi re les a n d   M o b i le  Co m p u ti n g ,   Ne two rk in g   a n d   C o m m u n ica ti o n (W i M o b ) ,   a n d   I n n o v a ti o n i n   In fo rm a ti o n   Tec h n o l o g y   (IIT ) .   H e   c a n   b e   c o n tac ted   a t   n . la g ra a @la g h - u n i v . d z .         Evaluation Warning : The document was created with Spire.PDF for Python.