I AE S In t er na t io na l J o urna l o f   Art if icia l In t ellig ence   ( I J - AI )   Vo l.   15 ,   No .   5 ,  Octo b er   2 0 2 6 ,   p p .   4 3 0 4 ~ 4 3 1 4   I SS N:  2 2 5 2 - 8 9 3 8 ,   DOI : 1 0 . 1 1 5 9 1 /ijai.v 15 .i 5 . p p 4 3 0 4 - 4 3 1 4           4304       J o ur na l ho m ep a g e :  h ttp : //ij a i . ia esco r e. co m   H y brid mo del  f o r  driver dro wsi nes s predic tion usin g  neuro - fuzzy a nd rand o m forest       M o uh ci ne  L a k hlo ufi,   E l Me hd i Mel lo uli   La b o r a t o r y   o f   E n g i n e e r i n g ,   S y s t e m   a n d   A p p l i c a t i o n ,   N a t i o n a l   S c h o o l   o f   A p p l i e d   S c i e n c e s,  U n i v e r s i t y   o f   S i d i   M o h a m e d   B e n   A b d e l l a h ,   F e z ,   M o r o c c o       Art icle  I nfo     AB S T RAC T   A r ticle  his to r y:   R ec eiv ed   J an   2 1 ,   2 0 2 5   R ev is ed   J u l 2 2 ,   2 0 2 6   Acc ep ted   Au g   1 2 ,   2 0 2 6       In   th is  re se a rc h ,   a   n e w  h y b ri d   m o d e l  d e sig n e d   wa s  in tr o d u c e d   to   id e n ti fy   d riv e r  d ro ws in e ss   b y   i n teg ra ti n g   a n   a d a p ti v e   n e u ro - f u z z y   in fe re n c e   sy ste m   (AN F IS )  wit h   t h e   ra n d o m   fo re st   (RF )  m e th o d .   Driv e r   d r o ws in e ss   is  o n e   o f   th e   m a jo r  ris k   fa c to rs  f o r  r o a d   a c c id e n ts ,   a n d   ti m e ly ,   a c c u ra te  id e n ti fica ti o n   o f  it   is  v i tal  fo r  imp r o v in g   traffic  sa fe ty .   Th e   m a in   e m p h a sis  o f  o u r  wo rk   is   o n   th e   c o m b i n a ti o n   o f  AN F I S   wi th   RF .   AN F I S   u se s  fu z z y   lo g ic  to   re p re se n t   in tri c a te  sy ste m s  with   u n c e rtain ti e s  a n d   n o n - l in e a r  re latio n sh i p s,  o n   th e   o t h e r   h a n d ,   RF   o ffe rs  p o we rfu l  c las sifi c a ti o n   b y   it s  e n se m b le  lea rn in g   t e c h n iq u e ,   p e rfo rm in g   we ll   in   h ig h - d ime n sio n a l  fe a tu re   sp a c e s.  Th is  c o m b in a ti o n   c a p it a li z e s  o n   e a c h   m o d e l' s  stre n g th s:  AN F IS   f o r  it s  d y n a m ic  re sp o n d i n g   t o   u n c e rtain   d a ta  a n d   RF   f o r  i ts  h i g h   c las sifica ti o n   a c c u ra c y ,   r o b u stn e ss ,   a n d   re sista n c e   to   o v e rfit ti n g .   Th e   re su lt s  fr o m   th e   d iffere n t   e x p e rime n ts   c o n firme d   th a t  th e   h y b ri d   A NFIS - RF   o u tp e rf o rm e d   it s  c o m p o n e n ts  c o n sid e ra b l y .   It  wa s  a b le  to   re t u rn   a n   e n h a n c e m e n t  in   a c c u ra c y   b y   2 . 7 0 %   c o m p a re d   to   AN F IS ,   a n d   0 . 1 6 %   c o m p a re d   t o   RF ,   w h il e   a t   th e   s a m e   ti m e ,   d ro p p i n g   t h e   m e a n   sq u a re d   e rro r   (M S E)   b y   3 3 . 4 0 %   c o m p a re d   to   A NFIS   a n d   2 . 8 5 %   c o m p a re d   to   RF .   Kn o w in g   t h a t  RF   is  a lrea d y   b e tt e r  t h a n   o t h e r  trad it io n a l  m a c h in e   lea rn in g   m e th o d s  i n   c las sifica ti o n ,   t h e se   re su lt s  e m p h a siz e   it s m a jo r  ro le i n   t h e   e ffe c ti v e n e ss   o f  th e   h y b ri d   m o d e l .   K ey w o r d s :   Ad ap tiv e  n e u r o - f u zz y   in f er e n ce   s y s tem   Dr o wsi n ess   d etec tio n   Facial  lan d m ar k s   Neu r o - f u zz y   s y s tem s   Per ce n tag e  o f   e y e  clo s u r e   R an d o m   f o r est   T h is i s  a n   o p e n   a c c e ss   a rticle   u n d e r th e   CC B Y - SA   li c e n se .     C o r r e s p o nd ing   A uth o r :   Mo u h cin e  L a k h lo u f i   L ab o r ato r y   o f   E n g i n ee r in g ,   Sy s tem   an d   Ap p licatio n ,   Natio n a l Sch o o l o f   A p p lied   Scien ce s   Un iv er s ity   o f   Sid i M o h a m ed   B en   Ab d ellah   Fez,   Mo r o cc o   E m ail:  m o u h cin e . lak h lo u f i@ u s m b a. ac . m a       1.   I NT RO D UCT I O N   D r i v e r   d r o w s i n e s s   i s   t h e  to p   c o n tr i b u t i n g   f a c to r   i n   f a t a l  r o a d   a c c i d e n t s .   I t  i s   t h er e f o r e  v e r y   r i s k y   f o r   d r i v er s   a s   we l l   a s   o t h e r   r o a d   u s e r s .   T h e   W o r l d   H e a l th   O r g a n i z a t io n   h a s   r ec o g n i z ed   t h a t  a p p r o x im a t e l y   2 0 %   o f   t r a f f i c   a c c id en t s   r e s u l t   f r o m   s l e e p y   d r iv i n g   a n d ,   th e r e f o r e,   t h ey   h av e   m ad e   i t   a   p r i o r i t y   to   d ev e l o p   d r o w s y   s t a t e  d e t ec t i o n   s y s t em s   t h a t  w a r n   d r iv e r s   b e f o r e   th e y   c a n   l o s e  c o n t r o l .   N e x t  g e n e r a t io n   i n - v e h i c l e   d r o w s in e s s   m o n i t o r i n g   s y s t em s   a r e   c ap a b le   o f   d e t ec t i n g   s u b t l e   f e a t u r e s   o f   d r o w s i n e s s   t o   c a u t io n   th e   d r i v e r   i n   t i m e .   Dr o wsi n ess   d etec tio n   m eth o d s   ar e  ess en tially   th o s e   th at  m ea s u r e  p h y s io lo g ical,   v eh icle - b ased ,   an d   b eh av io r al   ch an g es.  Ph y s io lo g ical  m eth o d s   r ef er   to   m o n it o r in g   th e  b r ain   ac tiv ity   ( elec t r o en ce p h alo g r a p h y   ( E E G) ) ,   h ea r t  r ate  ( elec tr o ca r d io g r ap h y   ( E C G) ) ,   o r   s k in   c o n d u cta n ce   ( g alv an ic   s k in   r es p o n s e  ( GSR ) )   o f   a   p er s o n   wh ich   is   a  v er y   ac cu r a te  way   o f   g ath er in g   d ata   [ 1 ] ,   [ 2 ] .   Ho wev e r ,   s u ch   m eth o d s   a r e  u s u ally   in tr u s iv e ,   an d   th e r ef o r e ,   it  is   n o t  ea s y   t o   in co r p o r ate   th em   i n   ca r s ,   a s   an   ex am p le,   E E G  s en s o r s   n ec ess itate  th at  th e   d r iv er ' s   h ea d   h as  elec tr o d es  o n   it  wh ich   m ay   d i v er t  h is   atten tio n   f r o m   th e  r o ad   [ 3 ] ,   [ 4 ] .   Veh icle - b ase d   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J Ar tif   I n tell     I SS N:   2252 - 8 9 3 8       Hyb r id   mo d el  fo r   d r iver d r o w s in ess   p r ed ictio n   u s in g   n eu r o - fu z z y  a n d   r a n d o m  fo r est   ( Mo u h cin e  La kh lo u fi )   4305   m ea s u r es  d etec t  th e  s ig n s   o f   g ettin g   s leep y   wh ile  d r iv in g   b y   s tu d y in g   th e  d r iv in g   p atter n s   lik e  lan e  d ev iatio n s   o r   s teer in g   co r r ec tio n s   [ 5 ] ,   [ 6 ] .   Fin ally ,   b e h av io r al   m ea s u r es  f o cu s   o n   an aly zin g   f ac i al  ex p r ess io n s ,   ey e   m o v em en ts   [ 7 ] ,   b lin k s ,   an d   y awn s   to   ass e s s   aler tn ess .   T h e  tech n iq u es  ar e  b ased   o n   v is u a l  p er ce p tio n   an d   a   ca m er a,   s o   th e r e  is   n o   r eq u ir em en t  f o r   wea r in g   a  s en s o r ,   an d   it  is   ea s y   to   im p lem en t  t h e  m eth o d s   in   th e     r ea l w o r ld   [ 8 ] .   T h is   s tu d y   p r im ar ily   co n ce n tr ates   o n   b eh av io r al  m ea s u r es  b ec au s e  th ey   p r o v id e  a  n o n - in tr u s iv e  way   o f   g ettin g   r ea l - lev el  in s ig h ts   in to   a  d r iv e r ' s   wak ef u ln ess   th r o u g h   f ac ial  an d   e y e  m o v em e n t   r ec o g n itio n   [ 9 ] .  C o m p ar ed   to   p h y s io lo g ical  m eth o d s   th at  n ec ess itate  s en s o r s   to   b e  attac h e d ,   co m p u ter   v i s io n   m eth o d s   allo w   d r iv er s   to   b e  m o n ito r ed   in   r ea l - tim e,   th u s   th ey   ar e  t h e  b est  f it  f o r   r ea l  d r iv in g   s itu atio n s .   S o m e  o f   t h e  ty p ical  in d icato r s   ar e  ey e  an d   m o u th   f ea tu r es  th at  ca n   s h o w  if   a  p er s o n   is   s leep y   th r o u g h   s ig n s   lik e  p er ce n tag e  o f   ey e   clo s u r e   ( PERC L OS)   [ 1 0 ]   an d   y awn in g .   R e c e n t   s t u d i e s   d e m o n s t r a te   t h e   p o t e n t i al   o f   m a c h in e   l ea r n in g   an d   d e e p   le a r n i n g   ( D L ) - b a s e d   m o d e l s   f o r   i d en t i f y i n g   s l e e p in e s s .   T o   c i te   e x am p l e s ,   a   r ea l - t i m e   ap p l i ca t i o n   o f   a  r e cu r r e n t   n eu r a l   n e t wo r k   ( R N N )   i s   i n tr o d u c ed ,   w h ic h   c a n   c o n s t a n t ly   wa t c h   a  d r i v er   an d   ef f i c i en t l y   s p o t  f a t ig u e  [ 1 1 ] .   A p ar t   f r o m   t h a t ,   a  3 D  co n v o lu t i o n a l  n eu r a l   n e t w o r k   ( C N N )   w h ic h   i d en t i f i e s   f a c ia l   e x p r e s s i o n s   an d   i m p o r t a n t  p o in t s   o f   t h e   f ac e   h a s   b ee n   d o cu m en te d   a s   p e r f o r m i n g   b e t t e r   in   t er m s   o f   a c cu r ac y   f o r   d r o w s i n e s s   d e t e c t i o n   [ 1 2 ] .  A l t h o u g h   l e s s   ex p lo r e d   i n   th i s   f i e ld   a d ap t i v e   n e u r o - f u zz y   in f er e n c e   s y s t e m   ( A N F I S)   i s   w e ll - s u i t ed   f o r   h a n d l i n g   c o m p l ex   s y s t e m s   wi t h   u n c e r ta i n t i e s ,   a   k ey   a s p ec t   o f   d r i v e r   s t a t e   m o n i t o r i n g .   C o m b i n in g   n eu r a l  n e t w o r k s   a n d   f u z z y   lo g i c,   AN F I S   a d a p t s   e f f e c t iv e l y   to   d r i v i n g   d a t a   v a r i a t io n s ,   a s   s e en   i n   [ 1 3 ]   ap p l i c a t io n   t o   c l a s s i f y   v ig i l a n ce   l ev e l s   ( a l e r t,   d r o w s y ,   a n d   s l e ep )   f r o m   E E G   d a ta   u s i n g   w av e l et - e n tr o p y   f e a t u r e s .   A d d i t io n a l ly ,   A N F I S   h a s   s h o w n   p r o m i s e   in   d e te c t i n g   d r o w s i n e s s   s t a t e s   f r o m   s t ee r in g   d a ta   f o r   ad ap t i v e  f e a t u r e   s e l e c t io n   [ 1 4 ] .   S i m ila r l y ,   r an d o m   f o r e s t   ( RF )   b as e d   m e th o d s   h a v e  b e en   ef f ec t i v e   in   c l a s s i f y i n g   f a t i g u e ,   e v e n   w i t h   n o i s y   o r   in d i v i d u a l - s p e c i f i c  d a t a   [ 1 5 ] ,   a s   w e l l   a s   s t e e r in g   an g l e  d a t a  f o r   l a n e  d e p ar t u r e  d e t e c t io n   r e l a t ed   to   d r o w s in e s s   [ 1 6 ] .    T h e  ex p er im en tal   r esu lts   wer e  ev alu ate d   u s in g   v id eo s   f r o m   t h e  NT HU - DDD  d atas et  [ 1 7 ] ,  a  co m m o n l y   u s ed   r ef er e n ce   in   d r o wsi n ess   d etec tio n   r esear ch .   T h e  r esu lts   o b tain ed   in   th is   wo r k   wer e  co m p ar ed   to   class if icatio n   r ep o r ts   an d   th e  f in d in g s   o f   o t h er   s tu d ies  t h at  u s ed   th e   s am e  d ataset.   T h e   co m p ar is o n   b etwe en   th ese  wo r k s   h ig h lig h ts   th e   p r o p o s ed   m o d el' s   ca p ab ilit y   to   o u tp er f o r m   th e  p r ev io u s   ap p r o ac h es  in   th e   liter atu r e.   T h is   p ap er   m ain ly   f o cu s es  o n   an   in n o v ativ e  h y b r i d   m o d el  wh ich   h as  b ee n   d ev el o p ed   b y   co m b in i n g   th e  s tr en g th s   o f   ANFI S  with   class if icatio n   alg o r ith m s   to   tack le  b eh av io r   d ata  u n ce r tai n ties   f o r   d r o wsi n ess   d etec tio n .   T h e   m eth o d   tak e s   ad v an tag e  o f   ANFI S' s   ca p ab ilit y   to   r e p r esen t  n o n lin ea r   an d   u n ce r tain   r elatio n s h ip s   an d   at  t h e  s am e  tim e,   p r o v i d in g   r eliab le   d e cisi o n s   with   th e  h elp   o f   class if icatio n   m eth o d s .   Hen ce ,   o u r   m ain   o b jectiv e   is   to   m in im ize  o u r   p r e d ictio n   er r o r s ,   e n lar g e   o u r   m o d el' s   ca p ab ilit y   to   b e   well  g en er alize d   in   d iv er s e  d r i v in g   en v ir o n m en ts ,   an d   e v en tu ally   co n tr ib u te  to   th e  b etter   p r ev en tio n   o f   d r o wsi n ess - r elate d   d an g e r s   o n   th e   r o a d .     T h is   p ap er   h as  b ee n   s tr u ct u r e d   in   a  way   th at:  s ec tio n   1   g iv e s   an   ac co u n t  o f   t h e  s ig n if ica n c e  o f   d r iv e r   d r o wsi n ess   d etec tio n ,   an d   also   it  b r in g s   a  b r ief   r ev iew  o f   th e   r elate d   r esear ch .   Sectio n   2   is   co n ce r n e d   with   th e  d etails  o f   th e  m eth o d o l o g y   th at  was  u s ed   in   th is   s tu d y ,   a n d   th e  d ataset  th at  was  em p l o y ed   is   d escr ib e d .   Sectio n   3   is   d ev o ted   to   th e  p r esen tatio n   o f   th e  e x p er im e n tal  r esu lts   an d   an   ex ten s iv e   an aly s is   is   m ad e   h ig h lig h tin g   th e   p er f o r m a n ce   o f   th e   p r o p o s ed   h y b r id   m o d e l  in   co m p ar is o n   with   th e   in d i v id u al  m o d els  an d   o th er   r elate d   s tu d ies.  Fin ally ,   s ec tio n   4   s u m s   u p   t h e  p a p er   t h r o u g h   a   d is cu s s io n   o f   th e   f in d in g s ,   th e   f ir s t  th r ee   im p licatio n s ,   an d   h o w  th ey   g u id e  th e  f u tu r e  r esear ch   d ir ec tio n s .         2.   M E T H O D   T h is   s tu d y   p r o p o s es  a  m u lti - s tep   m eth o d o lo g ical  ap p r o ac h ,   as  s h o wn   in   Fig u r e  1 ,   wh ich   d etails  th e  co m p lete  p ip elin e  f o r   d r iv er   d r o wsi n ess   d etec tio n .   T h e  f r a m ewo r k   s tar ts   with   f ac ial  lan d m ar k   ex tr ac tio n   an d   th e  co m p u tatio n   o f   b e h av io r al  f ea tu r es  ( ey e  asp ec t  r atio   ( E AR ) ,  m o u th   asp ec t  r atio   ( MA R ) ,   an d   PERC L OS) ,   f o llo wed   b y   i n d ep e n d en t   p r e d ictio n s   g en er ated   b y   th e   ANFI S  an d   RF   m o d els.  Fin ally ,   th ese  p r ed ictio n s   a r e  co m b in ed   th r o u g h   a   weig h ted   f u s io n   s tr ateg y   o p tim ized   u s in g   g r ad ie n t d escen t.   L ik ewise,   ANFI S  an d   R F  m o d els  ca n   ea ch   b e  th o u g h t  o f   a s   p er f o r m i n g   th e   f ir s t  lev el  o f   p r ed ictio n   in d ep en d en tly .   Her e,   ANFI S  tak es  ad v an tag e  o f   its   s tr en g th   in   m o d ellin g   u n ce r tain t ies  an d   n o n - lin ea r   r elatio n s h ip s   th at  ar e  p r esen t  in   th e  d r o wsi n ess   d etec tio n   d ata.   I t  g o es  th r o u g h   s ev e r al  s tag es  s u ch   as  f u zz if icatio n ,   n o r m aliza tio n ,   a n d   d ef u zz if icatio n   to   m ak e  p r e d ictio n s   b ased   o n   f u zz y   r u les.  T h ese  s tag es a llo w   th e  m o d el  to   u n d er s tan d   th e  s lig h t  ch an g es  in   b eh a v io r   th at  in d icate   d r o wsi n ess ,   an d   ANFI S’  p er f o r m a n ce   will b e  ev alu ated   to   g iv e  an   i n itial p r ed ictio n .   Me an wh ile,   th e  R F  m o d el  b u ild s   u p   a  c o llectio n   o f   d e cisi o n   tr ee s   b y   ap p ly i n g   t h e   b o o ts tr ap   s am p lin g   an d   f ea tu r e  s elec tio n   m eth o d s .   E ac h   tr ee   will  g iv e  its   p r ed ictio n ,   an d   th en   th ese  ar e  co m b in ed   u s in g   m ajo r ity   v o tin g   t o   f o r m u late  th e  f in al  d ec is io n .   Hen ce ,   th e   en s em b le  m eth o d   ( E M)   n o t  o n ly   in cr ea s es  th e  Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8 9 3 8   I n t J Ar tif   I n tell ,  Vo l.  15 ,   No .   5 ,  Octo b er   2 0 2 6 :   4 3 0 4 - 4 3 1 4   4306   m o d el' s   s tab ilit y   b u t  also   m ak es  it  m o r e  e f f icien t  in   r e co g n izin g   d r o wsi n ess   s tate s .   R F ' s   p r ed ictio n   is   ev alu ated   as we ll,  th u s   g iv in g   a  co m p lem en tar y   o u tco m e  to   ANFI S ' s .   I n   th e  last   p h ase,   th e  ANFI S   a n d   R F  m o d el  o u tp u ts   ar e  in teg r ated   th r o u g h   a  weig h ted   f u s i o n   m o d el.   T h is   f u s io n   tak es  ad v an tag e   o f   th e  two   m o d els'   f u n d am en tal   d if f er en ce s   a n d   ad ju s ts   th eir   w eig h ts   ac co r d i n g ly   b y   m ea n s   o f   a  g r ad ien t  d esce n t  alg o r ith m .   T h is   m eth o d   d et er m in es  th e  o p tim al  co m b in at io n   o f   ANFI S  an d   R F  p r ed ictio n s   th at  r esu lts   in   m in im al  er r o r .   Sy n er g is tically ,   th e  h y b r id   ANFI S - R F  m o d el   r esu lts   in   in cr ea s ed   p r ed ictio n   ac cu r ac y   an d   less   m ea n   s q u ar ed   er r o r   ( MSE )   b y   ef f ec tiv ely   b alan cin g   ANFI S’s  f lex ib ilit y   d ea lin g   with   th e  u n ce r tain   n atu r e   o f   d ata  an d   R F’s  p o wer f u l  class if icatio n   f ea tu r es .   T h er e f o r e,   t h is   f u s io n   p r o v id es  b etter   r esu lts   in   d r iv er   d r o wsi n ess   d etec tio n .           Fig u r e  1 .   Ov e r v iew  o f   th e  p r o p o s ed   h y b r id   ANFI S – R F f r am ewo r k   f o r   d r i v er   d r o wsi n ess   d etec tio n       2 . 1 .     Da t a s et   des cr iptio n a nd   f ea t ure  ex t r a ct io n   T h e  NT HU - DDD  d ataset   ai m s   to   ev alu ate  d r iv er   d r o wsi n ess   an d   b eh av io r   ( I Ds  0 0 1 – 0 0 6 )   ea ch   r ec o r d e d   d u r in g   1 2   s ep ar ate  d r iv in g   s ess io n s   u n d er   d if f er en t   co n d itio n s ,   in clu d in g   s ce n ar io s   with   an d   with o u t  g lass es.  E ac h   r ec o r d in g   is   a n n o tated   with   t h e  d r iv er ’ s   v ig ila n ce   s tate  ( d r o wsy   o r   n o n - d r o wsy )   an d   ass o ciate d   b eh av io r s   s u ch   as  s leep y C o m b in atio n ,   s lo wB lin k W ith No d d in g ,   an d   y awn in g ,   as  illu s tr ated   in   T ab le  1 .   I n   to tal,   th is   d ataset  co m p r is es  6 6 , 4 9 1   r ec o r d in g s   f r o m   6   in d iv id u als.  I t  is   d iv id ed   s o   th at  7 0 %  is   u s ed   f o r   tr ain in g   an d   th e  r em ain in g   3 0 %  f o r   test in g .   B y   an aly zin g   th is   d ata  co llectio n ,   o n e  ca n   g ai n   d ee p   in s ig h t  in to   th e  b eh av io r al   ch a n g es  r elate d   to   d r o wsi n ess ,   an d   it  also   f o r m s   a  s tr o n g   b asis   f o r   th e  cr ea tio n   o f   p r ed ictiv e   m o d els th at  s ee k   to   im p r o v e  r o ad   s af ety .   T h e  f ac ial  la n d m ar k - b ased   d r o wsi n ess   d etec tio n   s y s tem   i s   an   ess en tial  elem en t  o f   th e  r esear ch   r ep o r ted   i n   th is   p ap er .   T o   lo ca te  th e  f ac e  f ir s t,  th e  au th o r s   u s ed   th e  Dlib   lib r ar y   th at  u tili ze s   a  p r etr ain ed   h is to g r am   o f   o r ien ted   g r ad ien ts   ( HOG)   d etec to r   alo n g   with   a  lin ea r   s u p p o r t  v ec to r   m ac h in e  ( SVM ) .   Af ter   r ec o g n izin g   th e  f ac e  r eg io n ,   6 8   f ac ial  lan d m ar k s   r ef er r in g   t o   th e  two   ey es  an d   m o u th   am o n g   o th e r   k ey   f ac ial   co m p o n en ts ,   wer e  m ap p ed   f o r   ea ch   f r am e .   Fro m   th ese  lan d m ar k s ,   it  is   p o s s ib le  to   ca lcu late  th r ee   b eh av io r al  c h ar ac ter is tics :  E AR ,   MA R ,   an d   PERC L OS.  T h e  g r ea t  ad v an tag e  o f   th ese  f ea tu r es  is   th at  t h ey   g iv e  d r i v er s '   d r o wsi n ess   n o n - in t r u s iv ely   an d   r eliab ly .   T h e  E AR   is   a   s ca lar   v alu e  th at   ex p lain s   h o w  o p en   o r   clo s ed   th e  ey es a r e  [ 1 8 ] ,   [ 1 9 ] .   W h en   a  p er s o n   is   s leep y ,   ey e  E AR   v alu e  s lo wly   b ec o m es  ze r o .   T h e  E AR   v al u e  f o r   a n   ey e  is   m ea s u r e d   two   tim es  f o r   b o th   th e   r ig h t a n d   lef t e y e  b y   u s in g   E u c lid ea n   d is tan ce s   b etwe en   p ar ti cu lar   ey e  lan d m ar k s   as p er   ( 1 ) .      _ = ‖ 38 − 42 ‖ + ‖ 39 − 41 ‖ 2 ‖ 37 − 40 ‖   an d    _ = ‖ 44 − 48 ‖ + ‖ 45 − 47 ‖ 2 ‖ 43 − 46 ‖     ( 1 )     T h e  f in al  E AR   v alu e  is   o b tain ed   b y   a v er ag in g   th e  r ig h t a n d   l ef t e y e  r atio s   as d ef in e d   in   ( 2 ) .      =  _ +  _ 2     ( 2 )   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J Ar tif   I n tell     I SS N:   2252 - 8 9 3 8       Hyb r id   mo d el  fo r   d r iver d r o w s in ess   p r ed ictio n   u s in g   n eu r o - fu z z y  a n d   r a n d o m  fo r est   ( Mo u h cin e  La kh lo u fi )   4307   T h e  MA R   aim s   to   ass ess   m o u th   o p en in g   an d   is   p ar tic u lar ly   ef f ec tiv e   f o r   y aw n in g   d etec tio n   [ 2 0 ] .   MA R   is   co m p u ted   u s in g   d is tan ce s   b et wee n   s elec ted   m o u th   lan d m ar k s   as ( 3 ) .     = ‖ 62 − 68 ‖ + ‖ 63 − 67 ‖ + ‖ 64 − 66 ‖ 3 ‖ 61 − 65 ‖     ( 3 )       T ab le  1 .   Sam p les f r o m   th e  NT HU - DDD  d ataset  illu s tr at in g   d r o wsi n ess   b eh av io r s   ID   S t a t u s   C o n d i t i o n   B e h a v i o r   B e h a v i o r a l   s a m p l e s     D r o w sy   G l a sses   S l e e p y   c o m b i n a t i o n     S l o w   b l i n k   w i t h   n o d d i n g   Y a w n i n g   N o   g l a s ses   S l e e p y   c o m b i n a t i o n     S l o w   b l i n k   w i t h   n o d d i n g   Y a w n i n g   N o   d r o w s y   G l a sses   S l e e p y   c o m b i n a t i o n     S l o w   b l i n k   w i t h   n o d d i n g   Y a w n i n g   N o   g l a s ses   S l e e p y   c o m b i n a t i o n     S l o w   b l i n k   w i t h   n o d d i n g   Y a w n i n g       I n   a d d i t i o n ,   P E R C L OS   is   o b t a in e d   b y   c a l c u l a ti n g   t h e   r a ti o   o f   f r a m e s   i n   w h i c h   t h e   E A R   r e m ai n s   b e l o w  a   p r e d e f i n e d   e y e - c l o s u r e   t h r esh o l d   o v e r   a   s p e c i f i e d   o b s e r v a ti o n   i n t e r v a l ,   i n d i c at i n g   p a r t i a l   o r   f u l l   e y e   c l o s u r e  [ 2 1 ] .   P E R C L OS   p r o v i d e s   a  r o b u s t   t e m p o r a l   m e a s u r e   o f   p r o l o n g e d   e y e   c l o s u r e   a n d   r e d u c e d   a l e r t n es s .   S p e c i f i ca l l y ,   P E R C L O S is   o b ta i n e d   b y   a p p l y i n g   a   f i x e d   t h r e s h o l d   T   =   0 . 2 0   t o   t h e  f r a m e - l e v e l   E AR   s i g n a l ( E AR   <   T   i n d i c a ti n g   a   c l o s e d   e y e ) ,   co n s i s t e n t   wi t h   t h e   E A R   f o r m u l a t i o n   o f   S o u k u p o v á   [ 1 8 ]   [ 1 9 ] ,   a n d   c o m p u t i n g   t h e  p r o p o r t i o n   o f   c l o s e d - e y e   f r a m es   wi t h i n   a   s l i d i n g   w i n d o w   o f   N  =   3 0   c o n s e c u t i v e  f r a m e s   ( a p p r o x i m a t e l y   1   s e c o n d   a t   t h e   d a t as e t' s   n a ti v e   f r a m e   r a te ) ,   a d v a n c e d   f r a m e   b y   f r a m e   t o   p r o d u c e   a   c o n t i n u o u s   s i g n a l .   T h e  NT HU - DDD  d ataset  u s e d   in   t h is   s tu d y   is   cu r ated   a n d   an n o tated .   T h er e f o r e,   n o   m is s in g   v alu es   wer e  o b s er v ed   in   th e  ex tr ac t ed   f ea tu r es.  T o   m itig ate  n o is e  in tr o d u ce d   b y   f ac ial  lan d m ar k   d etec tio n   an d     in ter - s u b ject  v ar iab ilit y ,   all  f ea tu r es  ( E AR ,   MA R ,   an d   PER C L OS)   wer e  n o r m alize d   u s in g   m in – m ax   s ca lin g   to   m ap   th eir   v alu es  in t o   th e   r a n g e  [ 0 , 1 ] .   T h is   n o r m aliza tio n   was  ap p lied   g lo b ally   ac r o s s   th e  p o o led   r ec o r d i n g s   o f   all  s u b jects,  an d   n o   ad d itio n al  tem p o r al  s m o o th i n g   was  ap p lied   to   th e  f r a m e - lev el  E A R   an d   MA R   s ig n als   b ey o n d   th is   s ca lin g ,   as PE R C L OS a lr ea d y   p r o v id es tem p o r al  ag g r eg atio n   o f   ey e - clo s u r e   in f o r m atio n .   T h e  n o r m alize d   f ea tu r es  wer e  n ex t  ex am in e d   f r am e  b y   f r am e  an d   d ir ec tly   u s ed   as  in p u ts   to   th e  lear n in g   m o d els.  I n   th e  ca s e  o f   th e  ANFI S  m o d el ,   th e  ch ar a cter is tics   wer e  f u zz if ied   b y   m ea n s   o f   g en er alize d   b ell - s h ap ed   m em b er s h i p   f u n ct io n s   f o r   th e  r ep r esen tatio n   o f   u n ce r tain ties   an d   n o n lin ea r   r elatio n s h ip s .   On   th e  o th er   h a n d ,   f o r   th e   RF   class if ier ,   th e  s am e  n o r m alize d   f ea t u r es  wer e  g iv en   as  n u m er ical   in p u ts   with o u t  an y   f u r th er   tr a n s f o r m atio n .   T h is   c o m m o n   p r ep r o ce s s in g   tactic  g u ar an tees  n u m e r ical  s tab ilit y   d u r in g   t r ain in g   a n d   allo ws f o r   a  f air   c o m p ar is o n   b etwe en   m o d els.       2 . 2 .     M o del t ra ini ng   pro ce du re   T h e  ANFI S  m o d el ,   b ased   o n   J an g ' s   wo r k   in   1 9 9 3   [ 2 2 ] u tili ze s   a  n eu r al  n etwo r k   c o m b in e d   with   f u zz y   lo g ic  u s in g   T ak ag i - Su g en o - K an g   ( T SK)   "if - th en "  r u les  [ 2 3 ] .   T h e  m o d el' s   in p u t  lay er   r ec eiv es  th e  th r ee   b eh av io r al  d escr ip to r s ,   E AR ,   MA R ,   an d   PER C L OS,  an d   it   is   f o llo wed   b y   a  f u zz if icatio n   lay er   wh er e  ea ch   in p u t  is   ass o ciate d   with   th r e e  lin g u is tic  ter m s   ( lo w,   m e d iu m ,   an d   h ig h )   u s in g   g en e r alize d   b ell - s h ap ed   m em b er s h ip   f u n ctio n s   ( g b ell m f ) ,   as  d ep icted   in   Fig u r e  2 .   T h e  p ar am eter s   o f   th ese  m em b er s h ip   f u n ctio n s   ar e   b ein g   o p tim ized   as  tr ain in g   p r o g r ess es  u s in g   th e  Ad am   alg o r ith m   to   en h an ce   t h e  ab ilit y   o f   th e  m o d el  to   ad ap t   to   d ata  v ar iab ilit y .   T h e  f u zz if ied   in p u ts   ar e  th en   co m b in e d   in   th e  r u le  lay er   to   p r o d u ce   2 7   f u zz y   r u les  th at  co v er   all  p o s s ib le  co m b in atio n s   o f   th e  th r ee   lin g u is tic  s tates  o f   th e  th r ee   in p u t  v ar iab les.  T h e  f ir in g   s tr en g th   o f   ev er y   r u le,   wh ich   is   co m p u ted   b y   m u ltip ly in g   th e  m em b er s h ip   d e g r ee s   o f   th e  co r r e s p o n d in g   in p u ts ,   is   p r esen ted   in   ( 4 ) .   Def u zz if icatio n   o u t p u ts   ar e  co m p u ted   as ( 5 ) .     = ( _  ) . ( _  ) .  ( _  )   ( 4 )     Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8 9 3 8   I n t J Ar tif   I n tell ,  Vo l.  15 ,   No .   5 ,  Octo b er   2 0 2 6 :   4 3 0 4 - 4 3 1 4   4308   = ( _  ) + ( _  ) + ( _  ) +   ( 5 )     T h e  R F  m o d el  [ 2 4 ]   is   an   e n s em b le  lear n in g   m eth o d   i n   m a ch in e  lear n i n g   th at   cr ea tes  a  m o d el  b y   ag g r eg atin g   s ev er al  d ec is io n   tr ee s   to   im p r o v e  th e  p r ed icti o n ,   ac cu r ac y ,   an d   r eliab ilit y   o f   th e  m o d el.   E ac h   d ec is io n   tr ee   in   t h e  f o r est  is   li k e  a   f lo wch ar t   with   a   well - o r g an ized   s tr u ctu r e  wh e r e  th e   b r a n ch es  r ep r esen t  th e  p o s s ib le  d ec is io n s   o r   ac tio n s   t h at  lead   to   th e  s p ec if ic   o u tc o m es.  RF   is   b ased   o n   t h e  co lle ctiv e  p o wer   o f   m an y   tr ee s ,   with   ea ch   tr ee   b ein g   tr ain ed   o n   a  d if f er en t  s u b s et  o f   th e  d ata,   wh ich   b r in g s   ab o u t  s o m e  v ar iatio n   am o n g   th em   an d   th u s   r ed u ce s   th e  ch a n ce   o f   o v er f itti n g .   T h is   d iv er s ity   en h an ce s   th e  m o d el' s   ab ilit y   to   g en er alize   well  o n   n ew  d ata.   T h is   wo r k   im p lem en ts   an   RF   cla s s if ier   co m p o s ed   o f   1 0 0   tr ee s ,   p r o v id i n g   a  g o o d   tr ad e - o f f   b etwe en   co m p u tatio n al  ef f icie n cy   an d   p r e d ictio n   s tab ilit y .           Fig u r e  2 .   Stru ctu r e  o f   ANFI S with   E AR ,   MA R ,   an d   PERC L OS in p u ts       2 . 3 .     M o del f us io n m et ho do l o g y   Gr ad ien t  d escen t  is   em p l o y e d   to   d ete r m in e  th e   o p tim al  v alu es  o f   th e  weig h tin g   c o ef f i cien ts .   T h e  co m b in ed   p r ed ictio n   m o d el  with   th e  b ias co m p o n en t is ex p r e s s ed   in   ( 6 ) .     = 1 ⋅ + 2 ⋅  +   ( 6 )     T h e  f u s ed   p r ed ictio n   is   co m p u ted   b y   lin ea r ly   c o m b in i n g   th e  o u tp u ts   o f   th e  ANFI S a n d   RF   m o d els u s in g   th e   weig h tin g   c o ef f icien ts   1 ,   an d   2 ,   with     ac tin g   as  th e   b ias  p a r am eter .   Du r in g   tr ai n in g ,   th ese  p a r am eter s   ar e   iter ativ ely   ad ju s ted   to   m in im iz e  th e  MSE   b etwe en   th e  p r ed ic ted   an d   ac tu al  o u tp u ts ,   as f o r m u lated   in   ( 7 ) .     = 1 ∑ ( ( ) − ( ) ) 2 = 1   ( 7 )     T h e  weig h ts   1 ,  2 ,   an d   th e  b ias    ar e  u p d ated   at  ea ch   iter atio n   o f   g r ad ien t d escen t a s   ( 8 ) .     1 = 1 −  1 ; 2 = 2 −  2 ; = −       ( 8 )     W h er e    is   th e  lear n in g   r ate.       3.   RE SU L T S AN D  D I SCU SS I O N   3 . 1 .     E v a lua t ing   m o del per f o rm a nce   I n   o r d er   t o   th o r o u g h ly   ass es s   h o w  well  o u r   m o d els  ca n   d etec t  d r iv er   d r o wsi n ess ,   we  em p lo y e d   s ev er al  p er f o r m an ce   m etr ics.   MSE   r ep o r ts   th e   m ea n   s q u ar ed   d e v iatio n   o f   p r e d ictio n s   f r o m   g r o u n d - tr u th   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J Ar tif   I n tell     I SS N:   2252 - 8 9 3 8       Hyb r id   mo d el  fo r   d r iver d r o w s in ess   p r ed ictio n   u s in g   n eu r o - fu z z y  a n d   r a n d o m  fo r est   ( Mo u h cin e  La kh lo u fi )   4309   v alu es  [ 2 5 ] ,   wh ile  r o o t  m ea n   s q u ar ed   er r o r   ( R MSE )   g iv es  a  m o r e  r elata b le  m ea s u r e  o f   th is   d if f er en ce ,   an d   m ea n   ab s o lu te  er r o r   ( MA E )   m ea s u r es  th e  av er ag e  ab s o lu t e  d ev iatio n .   R ec all  an d   F1 - s co r e  wer e  ev alu ated   to   em p h asize  r ec all  o f   d r o wsy   s t ates  an d   th e   p r ec is io n – r ec all  b alan ce ,   r esp ec tiv el y ,   wh ile  a r ea   u n d er   t h e  cu r v e   ( AUC )   ass es s ed   th e  m o d els'  ab ilit y   to   d is tin g u is h   class es  r eg ar d less   o f   th e   d ec is io n   th r esh o ld ;  ac c u r ac y   q u an tifie d   th e  o v er all  p r o p o r t io n   o f   co r r ec tly   class if ied   s a m p les.   T h ese  p e r f o r m an ce   m etr ics  s h o u ld   n o t  b e  co n f u s ed   with   th e  l o s s   f u n ctio n s   u s ed   f o r   tr ai n in g ,   wh ich   d e p en d   o n   th e  m o d el  ty p e:  ANFI S  was  tr ain ed   b y   m in im izin g   MA E ,   w h er ea s   th e  DL   m o d els ⎯ ar tific ial  n eu r a l  n etwo r k   ( ANN ) ,   C NN,   lo n g   s h o r t - ter m   m e m o r y   ( L STM ) ,  b id ir ec tio n al  lo n g   s h o r t - ter m   m e m o r y   ( B L STM ) ,  g ated   r ec u r r en t  u n it  ( G R U ) ⎯ wer e  tr ain ed     th r o u g h   b in ar y   c r o s s - en tr o p y   lo s s .   All  co m p ar ativ e  r esu lt s   ar e  b ased   ex clu s iv ely   o n   p er f o r m a n ce   m etr ics  o b tain ed   o n   th e   test   d ata,   i n d ep en d e n t  o f   th e   tr ain i n g   p r o ce s s ;  MA E   an d   MSE   ar e   r ep o r ted   o n l y   af ter   th r esh o ld in g   th e   p r o b ab ilis tic  o u tp u ts ,   q u a n tify in g   d ec is io n - er r o r   s ize,   wh ile   class if icati o n   m etr ics  i n d icate   o v er all  m o d el  ef f icien c y .     T h r ee   m o d el  t y p es   wer e   test ed ,   n a m ely   f u zz y   s y s tem   ( FS ) ,   DL ,   a n d   E M,   with   h y p er p ar am eter s   ca r ef u lly   t u n ed   f o r   th e   b est  p e r f o r m a n ce   a n d   least  tr ai n in g   f l u ctu atio n .   R ath er   th a n   r el y in g   o n   m ass iv ely   d ee p   ar ch itectu r es,  we  f av o r e d   s im p ler   m o d els  to   lim it  o v er f itti n g   f r o m   ex ce s s   p ar am eter s .   All  FS   an d   DL   m o d els  wer e  o p tim ized   o v er   1 0 0   tr ai n in g   e p o ch s   with   Ad am   [ 2 6 ] ,   ch o s en   f o r   its   ef f icien t  co n v er g en ce   an d   s tab le   lear n in g   r ates.  B in ar y   cr o s s - en tr o p y   was  u s ed   f o r   s o m e   m o d els ,   p ar ticu lar l y   f o r   b i n ar y   class if icatio n ,   as  it   im p r o v e d   class   s ep ar atio n   ( d r o wsy   v s .   n o n - d r o wsy )   an d   r ed u ce d   m is class if icatio n .     A  b atch   s ize  o f   1 6   was  u s ed   in   s o m e  ca s es,  alo n g   with   d r o p o u t  r eg u lar izatio n   to   lim it  o v er f itti n g ,   wh ile  ' r elu '   an d   ' s ig m o id '   ac tiv atio n s   in   d en s e  lay er s   im p r o v ed   th e   n etwo r k ' s   ab ilit y   to   ca p tu r e  n o n lin ea r ities .   T ab le   2   s h o ws  th e  r ep r esen tativ e  p ar am eter s   o f   ea c h   m o d el,   r ef lectin g   t u n in g   s p ec ialized   to   ea ch   alg o r ith m ' s   r eq u ir em e n ts .   T h e  h y p er p ar a m eter s   s u m m ar ized   in   T ab le  2   wer e  d ete r m in ed   em p ir icall y ,   th r o u g h   iter ativ e   m an u al  ex p er im en tatio n   g u i d ed   b y   p r elim in ar y   tr ials   an d   v alu es  co m m o n ly   r e p o r ted   in   th e  liter atu r e  f o r   co m p ar ab le  task s ,   r ath er   th a n   a  f o r m al  g r id - s ea r ch   o r   cr o s s - v alid atio n   p r o ce d u r e.   Fo r   A NFI S,  MA E   s er v ed   b o th   as  th e   tr ain in g   lo s s   an d   a s   an   ev alu atio n   m etr ic,   ch o s en   f o r   its   r o b u s tn ess   to   o u tlier s   an d   s tab le  g r ad ien t   b eh av io r ;   it  was  c o m b in e d   wi th   MSE   an d   R MSE   as  e v alu a tio n   m etr ics  f o r   a  f u ller   ass es s m en t  o f   p r e d ictio n   er r o r s   an d   ea s ier   co m p a r is o n   a cr o s s   m o d els.       T ab le  2 .   Hy p er p ar a m eter s   o f   e ac h   m o d el   M o d e l   t y p e   M o d e l   H y p e r p a r a me t e r s   FS   A N F I S   n _ i n p u t :   3 ,   n _ mem b :   3 ,   mem b _ f u n c :   g b e l l mf ,   o p t i mi z e r :   a d a m,   l o ss :   M e a n A b so l u t e Er r o r ,   n _ e p o c h s:   1 0 0   D e e p   n e u r a l   n e t w o r k s   ANN   l a y e r s:   [ D e n se( 3 2 ,   r e l u ) ,   D e n s e ( 1 6 ,   r e l u ) ,   D e n s e ( 1 ,   s i g mo i d ) ] ,   l o s s:   b i n a r y _ c r o ss e n t r o p y ,   o p t i m i z e r :   a d a m,  m e t r i c s :   a c c u r a c y ,   e p o c h s:   1 0 0 ,   b a t c h _ si z e :   1 6 ,   v a l i d a t i o n _ s p l i t :   0 . 2   C N N   l a y e r s:   [ C o n v 1 D ( 3 2 ,   2 ,   r e l u ) ,   F l a t t e n ( ) ,   D e n se( 1 ,   si g m o i d ) ] ,   l o s s:   b i n a r y _ c r o ss e n t r o p y ,   o p t i m i z e r :   a d a m,  m e t r i c s :   a c c u r a c y ,   e p o c h s:   1 0 0 ,   b a t c h _ si z e :   1 6 ,   v a l i d a t i o n _ s p l i t :   0 . 2   B LST M   l a y e r s:   [ B i d i r e c t i o n a l ( LSTM ( 6 4 ,   r e t u r n _ se q u e n c e s=T r u e ) ) ,   B i d i r e c t i o n a l ( LST M ( 6 4 ) ) ,   D e n s e ( 1 ,   si g m o i d ) ] ,   l o ss :   b i n a r y _ c r o ss e n t r o p y ,   o p t i m i z e r :   a d a m,  m e t r i c s :   a c c u r a c y ,   e p o c h s:   1 0 0 ,   b a t c h _ si z e :   1 6 ,   v a l i d a t i o n _ s p l i t :   0 . 2   LSTM   l a y e r s:   [ LST M ( 6 4 ,   r e t u r n _ se q u e n c e s = Tr u e ) ,   LST M ( 6 4 ) ,   D e n se(1 ,   si g m o i d ) ] ,   l o ss :   b i n a r y _ c r o ss e n t r o p y ,   o p t i m i z e r :   a d a m,  m e t r i c s:   a c c u r a c y ,   e p o c h s:   1 0 0 ,   b a t c h _ s i z e :   1 6 ,   v a l i d a t i o n _ sp l i t :   0 . 2   G R U   l a y e r s:   [ G R U ( 6 4 ,   r e t u r n _ se q u e n c e s = Tr u e ) ,   G R U ( 6 4 ) ,   D e n se(1 ,   si g m o i d ) ] ,   l o ss :   b i n a r y _ c r o ss e n t r o p y ,   o p t i m i z e r :   a d a m,  m e t r i c s:   a c c u r a c y ,   e p o c h s:   1 0 0 ,   b a t c h _ s i z e :   1 6 ,   v a l i d a t i o n _ sp l i t :   0 . 2   Tr a d i t i o n a l   s u p e r v i s e d   l e a r n i n g   me t h o d s   S V M   k e r n e l :   r b f ,   p r o b a b i l i t y :   Tr u e   K - n e a r e s t   n e i g h b o r s   ( K N N )   n _ n e i g h b o r s:   7   Lo g i s t i c   r e g r e ssi o n   so l v e r :   l b f g s   En se mb l e   met h o d s   R a n d o m   f o r e s t   n _ e st i ma t o r s :   1 0 0 ,   ma x _ d e p t h :   1 0   G r a d i e n t   b o o s t i n g   n _ e st i ma t o r s :   1 0 0 ,   l e a r n i n g _ r a t e :   0 . 0 5 ,   ma x _ d e p t h :   5   X G B o o st   n _ e st i ma t o r s :   1 0 0 ,   l e a r n i n g _ r a t e :   0 . 0 5 ,   ma x _ d e p t h :   5   A d a B o o st   n _ e st i ma t o r s :   1 0 0       T h e  lo s s   cu r v es  in   Fig u r e  3   ar e  s tu d ied   o n ly   to   ass ess   co n v er g e n ce   an d   tr ain in g   s tab ilit y ,   n o t  f o r   d ir ec t p er f o r m an ce   co m p ar is o n ,   wh ich   r elies o n   th e  ev alu atio n   m etr ics r ep o r ted   in   T a b les  3   an d   4 .   Fig u r e  3 ( a)   s tab ilizes  ea r lie s t  an d   with   th e   f ewe s t  o s cil latio n s ,   wh er ea s   t h e  DL   m o d els  in   Fig u r e  3 (b )   t o   3 ( f )   r e q u ir e  m o r e   ep o ch s   an d   d is p lay   co m p ar ati v ely   less   s tab le  v alid atio n   lo s s .   As  d ep icted   i n   Fig u r e  3 ( a ) ,   ANFI S  co n v er g es  m u ch   f aster   a n d   m o r e  s tab le   t h an   th e  o th er   m o d els,  r a p id ly   r ed u cin g   b o th   tr ain in g   an d   v al id atio n   lo s s   with in   th e  f ir s t  3 0   ep o ch s   with   o n l y   m in o r   o s cillatio n s .   ANN  as   in   Fig u r e  3 ( c)   an d   C NN  as  in   Fig u r e  3 ( e) ,   b y   co n tr ast,  ar e  s lo wer   lear n er s ,   co n v er g in g   o n ly   af ter   6 0 – 8 0   ep o c h s .   L STM   as  in   Fig u r e  3 ( b ) ,   GR U  as  in     Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8 9 3 8   I n t J Ar tif   I n tell ,  Vo l.  15 ,   No .   5 ,  Octo b er   2 0 2 6 :   4 3 0 4 - 4 3 1 4   4310   Fig u r e  3 ( f ) ,   a n d   B L STM   as  in   Fig u r e   3 ( d )   co n v er g e  f aster ,   s tab ilizin g   a r o u n d   4 0   ep o c h s ,     b u t  th eir   v alid atio n - lo s s   cu r v es  ar e  n o ticea b ly   m o r e  u n s tab le  th an   ANFI S's ,   in d icatin g   h ig h er   s en s itiv ity   to   tem p o r al  d y n a m ics  an d   lo w er   g e n er aliza tio n   a b ilit y ;  B L STM   co n v e r g es  f astes t  a m o n g   th em ,   y et   its   co n v er g ed   lo s s   r em ain s   h ig h e r   th an   ANFI S's ,   co n f ir m in g   th e  h y b r id   n e u r o - FS   g r ea ter   o p t im izatio n   s tab ilit y .   T h is   ca n   b e  attr ib u ted   to   ANF I S's   s m all  n u m b er   o f   tr ain a b le  p ar am eter s   ( th e  m em b er s h ip - f u n ctio n   p a r am eter s   o f   th r ee   f u zz if ied   in p u ts   an d   lin ea r   co n s eq u en ts   o f   2 7   T S K  r u les),   th e  s m o o t h ,   d if f er e n tiab le  b ell - s h ap ed   m em b er s h ip   f u n ctio n s ,   an d   t h e  lo w - d im en s io n al  t h r ee - f ea tu r e  in p u t  s p ac e ,   all  f av o r in g   s tab le  g r ad ie n t - b ased   o p tim izatio n .   T h e  DL   ar c h itec tu r es,  d esig n ed   to   ex p lo it  lar g er ,   m o r e  h eter o g e n eo u s   d atase ts ,   ar e  m o r e  p r o n e  to   o v er f itti n g   g i v en   NT HU - DDD' s   lim ited   s u b ject  d iv er s ity ,   co n s is ten t  with   th e  v alid atio n - lo s s   f lu ctu atio n s   n o ted   ab o v e.           ( a)   ( b )           ( c)   ( d )           ( e)   (f)     Fig u r e  3 .   T r ain in g   a n d   v alid atio n   lo s s   cu r v es o v er   1 0 0   e p o ch s   f o r   ( a)   ANFI S,  ( b )   L STM ,   ( c )   ANN,     ( d )   B L STM ,   ( e)   C NN,   an d   ( f )   GR U   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J Ar tif   I n tell     I SS N:   2252 - 8 9 3 8       Hyb r id   mo d el  fo r   d r iver d r o w s in ess   p r ed ictio n   u s in g   n eu r o - fu z z y  a n d   r a n d o m  fo r est   ( Mo u h cin e  La kh lo u fi )   4311   3 . 2 .     Co m pa riso n o f   ind iv idu a l a nd   hy brid m o del per f o rm a nce   T o   ev al u ate  th e   ef f ec tiv e n ess   o f   t h e  p r o p o s ed   a p p r o ac h ,   a  c o m p r e h en s iv e  c o m p a r is o n   b etwe e n   in d iv id u al  m o d els  an d   h y b r id   ANFI S – X  co n f ig u r atio n s   was  co n d u cted .   T h e  o b jectiv e  o f   th is   an aly s is   is   n o t  o n ly   to   ass ess   th e  p r ed ictiv e  c ap ab ilit y   o f   s tan d alo n e  class if ier s ,   b u t  also   to   ex am in e  th e  im p ac t  o f   in teg r atin g   ANFI S  as  a  f u zz y   in f er en c e  co m p o n en t  with in   h y b r i d   ar ch itectu r es.  R ath er   th an   ac tin g   s o lely   as  an   in d ep en d en t  class if ier ,   ANFI S  is   in co r p o r ate d   as  a  c o r e  m o d u le  d esig n ed   to   h an d le  u n c er tain ty   an d   g r a d u al   tr an s itio n s   b etwe en   aler t  an d   d r o wsy   s tates.  T h r o u g h   its   f u zz y   r u le - b ased   r ea s o n in g ,   AN FIS  p r o v id es  s tab le  p r o b a b ilis tic  esti m ate s   an d   f ast  co n v er g en ce   b eh av io r ,   wh i ch   ar e  p ar ticu lar ly   d esira b le  in   d r iv er   d r o wsi n ess   d etec tio n .   B y   h y b r id izin g   ANFI S  with   co m p lem e n tar y   class if ier s ,   th e  p r o p o s ed   f r am ewo r k   aim s   to   ex p l o it   b o th   th e  in ter p r etab ilit y   an d   s tab ilit y   o f   f u zz y   in f er e n ce   an d   th e  s tr o n g   g en er aliza ti o n   ca p ab ilit ies  o f     d ata - d r iv e n   m o d els.   T h e  p e r f o r m an ce   o f   th e  s tan d alo n e  m o d els  is   an aly ze d   f i r s t.  T h e  i n d iv id u al  m o d el  p er f o r m an ce s   ar e   r ep o r ted   in   T ab le  3 .   Am o n g   th e  e v alu ated   a p p r o ac h es,  e n s em b le - b ased   m et h o d s   a n d   R NN s   d em o n s tr ate  s tr o n g   p r ed ictiv e  ca p ab ilit y .   RF   ac h iev es  th e  h i g h est  p er f o r m a n ce   am o n g   s tan d alo n e  m o d els,  with   an   ac cu r ac y   o f   9 4 . 4 4 %,  an   F 1 - s co r e  o f   th e  ap p r o x im atel y   9 4 . 6 %,  an d   an   AUC  o f   0 . 9 8 4 ,   in d icatin g     r o b u s t  g e n er aliza tio n   a n d   e f f e ctiv e  d is cr im in atio n   b etwe en   aler t  an d   d r o wsy   s tates.  R ec u r r en t  ar c h itectu r es  s u ch   as  L STM ,   B L STM ,   an d   GR U  also   y ield   co m p etitiv e  r esu lts ,   with   ac cu r ac ies  ex ce ed in g   9 3 %  an d   AUC   v alu es  ab o v e  0 . 9 7 ,   co n f ir m i n g   th eir   ab ilit y   to   ca p tu r e  te m p o r al  d ep e n d en cies  in   b eh av io r al  f ea tu r es.  I n   co n tr ast,  s im p ler   class if ier s ,   in clu d in g   lo g is tic  r eg r ess io n ,   SVM,   an d   KNN,   ex h i b it  co m p ar ativ el y     lo wer   p er f o r m an ce ,   r e f lectin g   th e  lim itatio n s   o f   lin ea r   o r   d is tan ce - b ased   d ec is io n   b o u n d ar ies  f o r   th is   task .   Alth o u g h   ANFI S  alo n e  d o es  n o t  ac h iev e  t h e  h ig h est  ac cu r ac y   ( 9 1 . 9 0 %),   it  m ain tain s   a  h ig h   r ec all  ( 9 2 . 8 8 %)  an d   a   s tr o n g   AUC  ( 0 . 9 7 5 ) ,   d em o n s tr atin g   n o ta b le  s en s itiv ity   to   d r o wsy   s tates  an d   s t ab le  p r o b ab ilis tic  b eh av io r .   T h ese  c h a r a c t e r i s ti cs   s u g g es t   t h at   A NF I S   c o n s t it u t e s   a   r el i a b le   a n d   c o m p l e m e n ta r y   c o m p o n e n t   f o r   h y b r i d   i n t e g r a t i o n .       T ab le  3 .   C o m p a r is o n   o f   v alu at io n   m ea s u r es f o r   in d iv i d u al  m o d els   M o d e l   M S E   R M S E   M A E   R e c a l l   F1 - sc o r e   AUC   A c c u r a c y   LSTM   0 . 0 6 0 3 1 7   0 . 2 4 5 5 9 6   0 . 0 6 0 3 1 7   0 . 9 1 0 9 7 9   0 . 9 4 1 7 1 8   0 . 9 7 8 2 1 6   0 . 9 3 9 6 8 3   G r a d i e n t B o o st i n g   0 . 0 6 1 9 0 5   0 . 2 4 8 8 0 7   0 . 0 6 1 9 0 5   0 . 9 1 6 9 1 4   0 . 9 4 0 6 3 9   0 . 9 7 9 6 8 9   0 . 9 3 8 0 9 5   X G B o o st   0 . 0 6 3 4 9 2   0 . 2 5 1 9 7 6   0 . 0 6 3 4 9 2   0 . 9 1 0 9 7 9   0 . 9 3 8 8 3 8   0 . 9 8 1 2 6 4   0 . 9 3 6 5 0 8   K N N   0 . 0 6 8 2 5 4   0 . 2 6 1 2 5 5   0 . 0 6 8 2 5 4   0 . 9 2 6 4 7 1   0 . 9 3 6 1 0 7   0 . 9 6 5 7 3   0 . 9 3 1 7 4 6   G R U   0 . 0 6 8 2 5 4   0 . 2 6 1 2 5 5   0 . 0 6 8 2 5 4   0 . 9 2 2 8 4 9   0 . 9 3 5 3 3 8   0 . 9 7 8 1 1 4   0 . 9 3 1 7 4 6   B LST M   0 . 0 7 3 0 1 6   0 . 2 7 0 2 1 4   0 . 0 7 3 0 1 6   0 . 9 0 5 8 8 2   0 . 9 3 0 5 1 4   0 . 9 5 8 6   0 . 9 2 6 9 8 4   ANN   0 . 0 7 6 1 9   0 . 2 7 6 0 2 6   0 . 0 7 6 1 9   0 . 8 8 4 2 7 3   0 . 9 2 5 4 6 6   0 . 9 6 8 3 5 2   0 . 9 2 3 8 1   S V M   0 . 0 7 7 7 7 8   0 . 2 7 8 8 8 7   0 . 0 7 7 7 7 8   0 . 8 6 9 4 3 6   0 . 9 2 2 8 3 5   0 . 9 6 3 7 7 4   0 . 9 2 2 2 2 2   A d a B o o st   0 . 0 7 9 3 6 5   0 . 2 8 1 7 1 8   0 . 0 7 9 3 6 5   0 . 8 9 0 2 0 8   0 . 9 2 3 0 7 7   0 . 9 7 3 0 1   0 . 9 2 0 6 3 5   C N N   0 . 0 8 0 9 5 2   0 . 2 8 4 5 2 1   0 . 0 8 0 9 5 2   0 . 9 0 5 0 4 5   0 . 9 2 2 8 4 4   0 . 9 7 1 4 1   0 . 9 1 9 0 4 8   R a n d o m   f o r e s t   0 . 0 5 5 5 5 6   0 . 2 3 5 7 0 2   0 . 0 5 5 5 5 6   0 . 9 2 5 8 1 6   0 . 9 4 6 8 8 9   0 . 9 8 4 1 6 1   0 . 9 4 4 4 4 4   A N F I S   0 . 0 8 0 9 5 2   0 . 2 8 4 5 2 1   0 . 0 8 0 9 5 2   0 . 9 2 8 7 8 3   0 . 9 2 4 6 6 8   0 . 9 7 5 5 8 3   0 . 9 1 9 0 4 8   Lo g i s t i c   r e g r e ss i o n   0 . 1 2 5 3 9 7   0 . 3 5 4 1 1 4   0 . 1 2 5 3 9 7   0 . 8 9 6 1 4 2   0 . 8 8 4 3 3 4   0 . 9 4 1 2 9 1   0 . 8 7 4 6 0 3       T h e  im p ac t  o f   h y b r id izatio n   is   ex am in ed   n ex t.  T h e  h y b r i d   ANFI S – X  r esu lts   ar e  s u m m ar ized   in   T ab le  4 .   A  co n s is ten t  im p r o v em en t  ca n   b e   o b s er v e d   ac r o s s   all  h y b r id   co n f ig u r ati o n s   wh en   c o m p ar e d   t o     th eir   co r r esp o n d in g   s tan d alo n e  co u n ter p a r ts ,   co n f ir m in g   th e   b en ef it   o f   in teg r atin g   ANFI S  with in   th e  p r ed ictio n   f r am ew o r k .   Am o n g   all  h y b r id   m o d els,  ANFI S – R F  ac h iev es  th e   b est  o v er all  p e r f o r m a n ce ,   with   an   ac cu r ac y   o f   9 4 . 6 0 %,  an   F1 - s co r e  o f   9 4 . 8 2 %,  a  r ec all  o f   9 2 . 2 8 %,  a n d   a  lo w  MSE   o f   0 . 0 5 4 ,   o u tp e r f o r m in g   b o th   s tan d alo n e  ANFI S  an d   R F.  Hy b r id   m o d els  b ased   o n   r ec u r r en t  ar ch itectu r es,  s u ch   as  ANFI S – B L STM   an d   ANFI S – L STM ,   also   d e m o n s tr ate  s tr o n g   p er f o r m an ce ,   p ar ticu lar ly   in   ter m s   o f   r ec all  an d   AUC     ( b o th   e x ce ed in g   0 . 9 8 ) ,   h ig h li g h tin g   th e   ad v a n tag e  o f   co m b in in g   f u zz y   in f er en ce   with   tem p o r al  m o d elin g .   Oth er   h y b r id   co n f ig u r atio n s ,   in clu d in g   ANFI S – GB   an d   A NFI S – XGBo o s t,  s h o w  co m p etitiv e  b u t  s lig h tly   lo wer   p er f o r m a n ce ,   wh ile  h y b r id s   in v o l v in g   s im p ler   class if ier s   s u ch   as  ANFI S – SVM  an d   ANFI S – KNN  y ield   m o d er ate  i m p r o v em en ts   with o u t  s u r p ass in g   t h e  lead in g   h y b r id   m o d els.  Ov er all,   t h ese  r esu l ts   in d icate   th at  th e   p r o p o s ed   ANFI S – X  f r am e wo r k   s y s tem atica lly   e n h an c es  p r ed ictio n   p e r f o r m an ce   b y   lev e r ag in g   th e   co m p lem en tar y   s tr en g th s   o f   f u zz y   in f er en ce   an d   d ata - d r iv e n   class if ier s .   Am o n g   all  h y b r i d   co n f ig u r atio n s ,   th e   ANFI S – R F m o d el  em er g es a s   th e  m o s t b alan ce d   a n d   r eliab le  s o lu tio n   f o r   d r iv er   d r o wsi n ess   d etec tio n .     As  s u m m ar ized   in   T a b le  5 ,   t h e  p r o p o s ed   ANFI S – R F  h y b r id   m o d el  d em o n s tr ates  s u p er io r   b alan ce   in   p r ed ictiv e  p er f o r m a n ce   co m p ar ed   to   r ec en t  m eth o d s   ap p l ied   to   th e  NT HU - DDD  d ata s et.   W h ile  ce r tain   ap p r o ac h es,  s u ch   as  C NN – L STM   o f   C h en   et  a l.   [ 2 7 ]   ( 9 3 . 3 0 %  ac cu r ac y )   an d   R NN  o f   E d - Do u g h m i   et  a l.   [ 1 1 ]   ( 9 2 . 0 0 %  ac cu r ac y ) ,   ac h ie v ed   s lig h tly   h ig h er   ac c u r ac y ,   th ey   eith er   lack   F1 - s co r e   r ep o r tin g   o r   p r esen t  lo wer   F1 - s co r es,  in d icatin g   p o ten tia l  p r ec is io n – r ec all  im b alan ce .   I n   co n tr ast,  o u r   m o d el  attain e d   a  r o b u s t  F1 - s co r e  Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8 9 3 8   I n t J Ar tif   I n tell ,  Vo l.  15 ,   No .   5 ,  Octo b er   2 0 2 6 :   4 3 0 4 - 4 3 1 4   4312   o f   9 0 . 6 %,  o u tp e r f o r m in g   th e  d ee p   C NN  b y   Du a  et  a l.   [ 2 8 ]   ( 8 4 . 0 9 %)  an d   th e  3 D  C NN  b y   Z h ao   et  a l .  [ 1 2 ] .  Fu r th er m o r e ,   th e   co m b in atio n   o f   ad a p tiv e  f u zz y   r ea s o n in g   an d   en s em b le   lear n in g   in   ANFI S – R F  en ab les   ef f ec tiv e  g en er aliza tio n   u n d e r   f ac ial  v ar ia b ilit y .   T h ese  r esu lts   u n d er lin e  th e  r elev an ce   o f   n e u r o - f u zz y   en s em b le  m o d els  as  in ter p r e tab le  an d   co m p etitiv e  alter n a tiv es  to   d ee p   ar c h itectu r es  f o r   r ea l - tim e   d r iv er   d r o wsi n ess   d etec tio n .   T h is   s h o u ld   b e  in ter p r eted   in   lig h t   o f   th e  d ataset' s   s co p e:  o n ly   s ix   s u b jects  ar e  r ep r esen ted ,   lim itin g   f ac ial  an d   d em o g r a p h ic  d iv er s ity ,   an d   d r o wsy - r elate d   b e h av io r s   ar e   lik ely   u n d er r ep r esen ted   r elativ e  to   a ler t  s tates,  in tr o d u cin g   s o m e  c lass   im b alan ce .   B o th   f ac to r s   m o tiv ate  o u r   u s e  o f   AUC alo n g s id e  ac cu r ac y   an d   F1 - s co r e.       T ab le  4 .   C o m p a r is o n   b etwe en   in d iv id u al  a n d   h y b r id   m o d els   M o d e l   M S E   R M S E   M A E   A c c u r a c y   P r e c i s i o n   R e c a l l   F1 - sc o r e   AUC   A N F I S - RF   0 . 0 5 3 9 6 8   0 . 2 3 2 3 1 1   0 . 0 5 3 9 6 8   0 . 9 4 6 0 3 2   0 . 9 7 4 9 2 2   0 . 9 2 2 8 4 9   0 . 9 4 8 1 7 1   0 . 9 7 8 6 5 1   A N F I S - B LSTM   0 . 0 5 7 1 4 3   0 . 2 3 9 0 4 6   0 . 0 5 7 1 4 3   0 . 9 4 2 8 5 7   0 . 9 7 1 7 8 7   0 . 9 1 9 8 8 1   0 . 9 4 5 1 2 2   0 . 9 8 2 9 9 6   A N F I S - LSTM   0 . 0 5 8 7 3   0 . 2 4 2 3 4 3   0 . 0 5 8 7 3   0 . 9 4 1 2 7   0 . 9 7 7 7 0 7   0 . 9 1 0 9 7 9   0 . 9 4 3 1 6 4   0 . 9 7 8 3 1 2   A N F I S - G R U   0 . 0 6 1 9 0 5   0 . 2 4 8 8 0 7   0 . 0 6 1 9 0 5   0 . 9 3 8 0 9 5   0 . 9 6 5 6 2 5   0 . 9 1 6 9 1 4   0 . 9 4 0 6 3 9   0 . 9 7 7 2 1 8   A N F I S - G B o o st i n g   0 . 0 6 3 4 9 2   0 . 2 5 1 9 7 6   0 . 0 6 3 4 9 2   0 . 9 3 6 5 0 8   0 . 9 7 1 4 2 9   0 . 9 0 8 0 1 2   0 . 9 3 8 6 5   0 . 9 7 9 6 3 9   A N F I S - X G B o o st   0 . 0 6 6 6 6 7   0 . 2 5 8 1 9 9   0 . 0 6 6 6 6 7   0 . 9 3 3 3 3 3   0 . 9 7 1 2 4 6   0 . 9 0 2 0 7 7   0 . 9 3 5 3 8 5   0 . 9 8 1 3 9 6   A N F I S - A d a B o o st   0 . 0 6 8 2 5 4   0 . 2 6 1 2 5 5   0 . 0 6 8 2 5 4   0 . 9 3 1 7 4 6   0 . 9 7 7 2 7 3   0 . 8 9 3 1 7 5   0 . 9 3 3 3 3 3   0 . 9 6 2 1 1 8   A N F I S - K N N   0 . 0 7 1 4 2 9   0 . 2 6 7 2 6 1   0 . 0 7 1 4 2 9   0 . 9 2 8 5 7 1   0 . 9 4 8 3 2 8   0 . 9 1 7 6 4 7   0 . 9 3 2 7 3 5   0 . 9 6 5 7   A N F I S - ANN   0 . 0 7 4 6 0 3   0 . 2 7 3 1 3 6   0 . 0 7 4 6 0 3   0 . 9 2 5 3 9 7   0 . 9 7 0 7 7 9   0 . 8 8 7 2 4   0 . 9 2 7 1 3 2   0 . 9 6 7 9 7 7   A N F I S - S V M   0 . 0 7 4 6 0 3   0 . 2 7 3 1 3 6   0 . 0 7 4 6 0 3   0 . 9 2 5 3 9 7   0 . 9 7 0 7 7 9   0 . 8 8 7 2 4   0 . 9 2 7 1 3 2   0 . 9 7 0 4 8 8   A N F I S - C N N   0 . 0 7 7 7 7 8   0 . 2 7 8 8 8 7   0 . 0 7 7 7 7 8   0 . 9 2 2 2 2 2   0 . 9 5   0 . 9 0 2 0 7 7   0 . 9 2 5 4 1 9   0 . 9 7 0 9 2 9   A N F I S - LR   0 . 0 8 2 5 4   0 . 2 8 7 2 9 7   0 . 0 8 2 5 4   0 . 9 1 7 4 6   0 . 9 4 6 7 0 8   0 . 8 9 6 1 4 2   0 . 9 2 0 7 3 2   0 . 9 6 5 8 9 6       T ab le  5 .   C o m p a r ativ e  s tu d ies o n   d etec tin g   d r iv e r   d r o wsi n ess   u s in g   th e  NT HU - DDD  d ataset   S t u d y   M e t h o d   U sed   v a r i a b l e s   D a t a s e t   A c c u r a c y   ( %)   F1 - sc o r e   ( %)   [ 2 8 ]   D e e p   C N N   H a n d   g e s t u r e s ,   f a c i a l   e x p r e ss i o n s ,   h e a d   m o v e me n t s   N TH U - DDD   8 5 . 0 0   8 4 . 0 9   [ 1 1 ]   R N N   D r i v e r   i ma g e   N TH U - DDD   9 2 . 0 0   8 5 . 0 0   [ 1 2 ]   3 D   C N N   D r i v e r   f a c e   a n d   f a c i a l   l a n d m a r k s   N TH U - DDD   8 8 . 6 0     [ 2 9 ]   D e e p   C N N   e n s e mb l e   H a n d   g e s t u r e s ,   f a c i a l   e x p r e ss i o n s ,   h e a d   m o v e me n t s   N TH U - DDD   8 5 . 0 0   8 4 . 0 9   [ 1 1 ]   R N N   D r i v e r   f a c e   a n d   f a c i a l   l a n d m a r k s   N TH U - DDD   9 2 . 0 0   8 5 . 0 0   [ 1 2 ]   3 D   C N N   D r i v e r   f a c e   a n d   f a c i a l   l a n d m a r k s   N TH U - DDD   8 8 . 6 0     [ 2 7 ]   C N N   +   LSTM   Ey e   a n d   f a c e   r e g i o n   N TH U - DDD   9 3 . 3 0     [ 2 9 ]   M LP  +   K N N   Ey e   c l o s u r e ,   y a w n i n g   N TH U - DDD   9 4 . 3 1   7 9 . 0 0   Th i s   st u d y   A N F I S - RF   F a c i a l   l a n d mar k   ( e y e   a n d   mo u t h )   N TH U - DDD   9 4 . 6 0   9 4 . 8 1       4.   CO NCLU SI O N   T h is   r esear ch   p r o p o s ed   a  h y b r id   m o d el  o f   ANFI S  an d   R F  to   im p r o v e  th e  p r e cisi o n   an d   tr u s two r th in ess   o f   d r iv er   d r o wsi n ess   d etec tio n .   E f f icien t  ANFI S,  h an d lin g   u n ce r tai n ty ,   c o u p led   with     R F ' s   en s em b le  lear n in g   ca p a b ilit y ,   en ab led   th e  h y b r id   m o d el  to   o u tp e r f o r m   th e  s tan d alo n e  an d   s ev er al     s tate - of - th e - ar t  m o d els  o n   th e   NT HU - DDD  d ataset.   Sp ec if ically ,   th e  m o d el  r ea c h ed   a n   a cc u r ac y   o f   9 4 . 6 0 %  an d   an   F1 - s co r e  o f   9 4 . 8 1 %,   wh ich   in d icate s   its   ca p ab ilit y   in   h an d lin g   a  v ar iety   o f   f ac ial  ex p r ess io n s .   Fu r th er m o r e ,   th e  m o d el,   b ei n g   b o th   ef f icien t  an d   in ter p r etab le,   ca n   b e  a  g o o d   ca n d id ate  f o r   r ea l - tim e   ap p licatio n   o n   em b e d d ed   s y s tem s .   E x p lo r atio n s   f o r   f u tu r e  r esear ch   will  in clu d e  co m b in in g   m o r e  b eh a v io r al   an d   p h y s io lo g ical  s ig n als  ( e. g . ,   h ea r t  r ate ,   s teer in g   p atter n s )   an d   d iv er s if y in g   th e  m o d el' s   d r iv in g   e n v ir o n m en t   to   im p r o v e  g en e r aliza tio n ,   r o b u s tn ess ,   an d   r ea l - wo r ld   a p p lic ab ilit y .       ACK NO WL E DG M E N T S   T h e  au t h o r s   t h an k   th e   f ac u lty   an d   ad m i n is tr ativ e  s taf f   at   th e  Natio n al  Sch o o l  o f   Ap p lied   Scien ce s ,   Sid i M o h am ed   B en   Ab d ella h   Un iv er s ity ,   f o r   t h eir   s u p p o r t.        F UNDING   I NF O R M A T I O N   T h is   r esear ch   was n o t f u n d ed   b y   an y   o r g an izatio n .         AUT H O R  CO NT RI B UT I O NS ST A T E M E N T   T h is   jo u r n al  u s es  th e  C o n tr ib u to r   R o les  T ax o n o m y   ( C R ed iT)   to   r ec o g n ize  in d iv id u al  au th o r   co n tr ib u tio n s ,   r ed u ce   au th o r s h ip   d is p u tes,  an d   f ac ilit ate  co llab o r atio n .     Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J Ar tif   I n tell     I SS N:   2252 - 8 9 3 8       Hyb r id   mo d el  fo r   d r iver d r o w s in ess   p r ed ictio n   u s in g   n eu r o - fu z z y  a n d   r a n d o m  fo r est   ( Mo u h cin e  La kh lo u fi )   4313   Na m e  o f   Aut ho r   C   M   So   Va   Fo   I   R   D   O   E   Vi   Su   P   Fu   Mo u h cin e  L a k h lo u f     ✓   ✓   ✓   ✓   ✓   ✓     ✓   ✓   ✓       ✓     E l M eh d i M ello u li     ✓         ✓     ✓   ✓   ✓   ✓   ✓         C   :    C o n c e p t u a l i z a t i o n   M   :    M e t h o d o l o g y   So   :    So f t w a r e   Va   :    Va l i d a t i o n   Fo   :    Fo r mal   a n a l y s i s   I   :    I n v e s t i g a t i o n   R   :    R e so u r c e s   D   :   D a t a   C u r a t i o n   O   :   W r i t i n g   -   O r i g i n a l   D r a f t   E   :   W r i t i n g   -   R e v i e w   &   E d i t i n g   Vi   :    Vi su a l i z a t i o n   Su   :    Su p e r v i s i o n   P   :    P r o j e c t   a d mi n i st r a t i o n   Fu   :    Fu n d i n g   a c q u i si t i o n         CO NF L I C T   O F   I N T E R E S T   ST A T E M E NT   Au th o r s   s tate  n o   co n f lict o f   in t er est.       I NF O RM E D  CO NS E N T     W e  h av e  o b tain ed   in f o r m ed   c o n s en t f r o m   all  in d iv id u als in c lu d ed   in   t h is   s tu d y .       DATA AV AI L AB I L I T Y   T h e  d ataset  u s ed   in   th is   s tu d y   was  p r o v id ed   b y   th e  C o m p u t er   Vis io n   L ab o r ato r y   at  Natio n al  T s in g   Hu a  Un iv er s ity   an d   c an   b e   ac c ess ed   o n lin e  at  h ttp ://cv . cs.n th u . ed u . tw/p h p /callf o r p ap er /d ata s ets/ D DD/.         RE F E R E NC E S   [ 1 ]   S .   O t ma n i ,   T.   P e b a y l e ,   J.  R o g e ,   a n d   A .   M u z e t ,   “ Ef f e c t   o f   d r i v i n g   d u r a t i o n   a n d   p a r t i a l   sl e e p   d e p r i v a t i o n   o n   s u b s e q u e n t     a l e r t n e ss  a n d   p e r f o r ma n c e   o f   c a r   d r i v e r s , ”   P h y si o l o g y   &   Be h a v i o r ,   v o l .   8 4 ,   n o .   5 ,   p p .   7 1 5 – 7 2 4 ,   A p r .   2 0 0 5 ,     d o i :   1 0 . 1 0 1 6 / j . p h y s b e h . 2 0 0 5 . 0 2 . 0 2 1 .   [ 2 ]   M .   A w a i s,   N .   B a d r u d d i n ,   a n d   M .   D r i e b e r g ,   “ A   h y b r i d   a p p r o a c h   t o   d e t e c t   d r i v e r   d r o w si n e ss   u t i l i z i n g   p h y si o l o g i c a l   s i g n a l s  t o   i mp r o v e   s y st e m  p e r f o r ma n c e   a n d   w e a r a b i l i t y , ”   S e n s o rs ,   v o l .   1 7 ,   n o .   9 ,   A u g .   2 0 1 7 ,   d o i :   1 0 . 3 3 9 0 / s 1 7 0 9 1 9 9 1 .   [ 3 ]   A .   G .   C o r r e a ,   L.   O r o s c o ,   a n d   E .   La c i a r ,   “ A u t o ma t i c   d e t e c t i o n   o f   d r o w s i n e ss   i n   EEG   r e c o r d s  b a s e d   o n   m u l t i mo d a l   a n a l y s i s, ”   Me d i c a l   E n g i n e e ri n g   & P h y si c s ,   v o l .   3 6 ,   n o .   2 ,   p p .   2 4 4 – 2 4 9 ,   F e b .   2 0 1 4 ,   d o i :   1 0 . 1 0 1 6 / j . me d e n g p h y . 2 0 1 3 . 0 7 . 0 1 1 .   [ 4 ]   H .   Z h a n g ,   C .   W u ,   X .   Y a n ,   a n d   T.   Z.   Q i u ,   “ Th e   e f f e c t   o f   f a t i g u e   d r i v i n g   o n   c a r   f o l l o w i n g   b e h a v i o r , ”   T r a n s p o rt a t i o n   R e se a rc h   P a rt   F:   T ra f f i c   P syc h o l o g y   a n d   Be h a v i o u r ,   v o l .   4 3 ,   p p .   8 0 – 8 9 ,   N o v .   2 0 1 6 ,   d o i :   1 0 . 1 0 1 6 / j . t r f . 2 0 1 6 . 0 6 . 0 1 7 .   [ 5 ]   X .   Z h a n g ,   X .   W a n g ,   X .   Y a n g ,   C .   X u ,   X .   Zh u ,   a n d   J .   W e i ,   “ D r i v e r   d r o w si n e ss   d e t e c t i o n   u si n g   m i x e d - e f f e c t   o r d e r e d   l o g i t     mo d e l   c o n s i d e r i n g   t i me  c u m u l a t i v e   e f f e c t , ”   A n a l y t i c   Me t h o d s   i n   Ac c i d e n t   R e se a rc h ,   v o l .   2 6 ,   Ju n .   2 0 2 0 ,     d o i :   1 0 . 1 0 1 6 / j . a mar. 2 0 2 0 . 1 0 0 1 1 4 .   [ 6 ]   A .   Q u d d u s ,   A .   S .   Za n d i ,   L .   P r e s t ,   a n d   F .   J.   E.   C o m e a u ,   “ U si n g   l o n g   s h o r t - t e r m   mem o r y   a n d   c o n v o l u t i o n a l   n e u r a l   n e t w o r k s   f o r   d r i v e r   d r o w s i n e ss  d e t e c t i o n , ”   A c c i d e n t   A n a l y s i s &   Pre v e n t i o n ,   v o l .   1 5 6 ,   J u n .   2 0 2 1 ,   d o i :   1 0 . 1 0 1 6 / j . a a p . 2 0 2 1 . 1 0 6 1 0 7 .   [ 7 ]   S .   B a k h e e t   a n d   A .   A l - H a m a d i ,   “ A   f r a mew o r k   f o r   i n st a n t a n e o u s d r i v e r   d r o w si n e ss d e t e c t i o n   b a s e d   o n   i m p r o v e d   H O G   f e a t u r e s a n d   N a ï v e   B a y e s i a n   c l a ss i f i c a t i o n , ”   Bra i n   S c i e n c e s ,   v o l .   1 1 ,   n o .   2 ,   F e b .   2 0 2 1 ,   d o i :   1 0 . 3 3 9 0 / b r a i n s c i 1 1 0 2 0 2 4 0 .   [ 8 ]   B .   C h e n g ,   W .   Z h a n g ,   Y .   L i n ,   R .   F e n g ,   a n d   X .   Z h a n g ,   “ D r i v e r   d r o w si n e s s   d e t e c t i o n   b a se d   o n   m u l t i s o u r c e   i n f o r mat i o n , ”   H u m a n   Fa c t o rs  a n d   Erg o n o m i c s  i n   M a n u f a c t u ri n g   &  S e r v i c e   I n d u s t ri e s ,   v o l .   2 2 ,   n o .   5 ,   p p .   4 5 0 – 4 6 7 ,   S e p .   2 0 1 2 ,   d o i :   1 0 . 1 0 0 2 / h f m. 2 0 3 9 5 .   [ 9 ]   S .   E.   B e k h o u c h e ,   Y .   R u i c h e k ,   a n d   F .   D o r n a i k a ,   “ D r i v e r   d r o w s i n e ss  d e t e c t i o n   i n   v i d e o   s e q u e n c e s   u s i n g   h y b r i d   sel e c t i o n   o f   d e e p   f e a t u r e s, ”   K n o w l e d g e - B a se d   S y s t e m s ,   v o l .   2 5 2 ,   S e p .   2 0 2 2 ,   d o i :   1 0 . 1 0 1 6 / j . k n o sy s . 2 0 2 2 . 1 0 9 4 3 6 .   [ 1 0 ]   A .   A .   B a mi d e l e   e t   a l . ,   “ N o n - i n t r u s i v e   d r i v e r   d r o w s i n e ss  d e t e c t i o n   b a s e d   o n   f a c e   a n d   e y e   t r a c k i n g , ”   I n t e r n a t i o n a l   J o u r n a l   o f   Ad v a n c e d   C o m p u t e r  S c i e n c e   a n d   A p p l i c a t i o n s ,   v o l .   1 0 ,   n o .   7 ,   p p .   5 4 9 – 5 6 9 ,   2 0 1 9 ,   d o i :   1 0 . 1 4 5 6 9 / I JA C S A . 2 0 1 9 . 0 1 0 0 7 7 5 .   [ 1 1 ]   Y .   E d - D o u g h m i ,   N .   I d r i ss i ,   a n d   Y .   H b a l i ,   “ R e a l - t i me   s y st e m  f o r   d r i v e r   f a t i g u e   d e t e c t i o n   b a se d   o n   a   r e c u r r e n t   n e u r o n a l   n e t w o r k , ”   J o u rn a l   o f   I m a g i n g ,   v o l .   6 ,   n o .   3 ,   M a r .   2 0 2 0 ,   d o i :   1 0 . 3 3 9 0 / j i m a g i n g 6 0 3 0 0 0 8 .   [ 1 2 ]   L.   Zh a o ,   Z.   W a n g ,   G .   Zh a n g ,   a n d   H .   G a o ,   “ D r i v e r   d r o w s i n e ss   r e c o g n i t i o n   v i a   t r a n sf e r r e d   d e e p   3 D   c o n v o l u t i o n a l   n e t w o r k   a n d   st a t e   p r o b a b i l i t y   v e c t o r , ”   Mu l t i m e d i a   T o o l s   a n d   Ap p l i c a t i o n s ,   v o l .   7 9 ,   n o .   3 5 – 3 6 ,   p p .   2 6 6 8 3 – 2 6 7 0 1 ,   S e p .   2 0 2 0 ,     d o i :   1 0 . 1 0 0 7 / s 1 1 0 4 2 - 020 - 0 9 2 5 9 - w.   [ 1 3 ]   A .   Y i l d i z ,   M .   A k i n ,   M .   P o y r a z ,   a n d   G .   K i r b a s,  “ A p p l i c a t i o n   o f   a d a p t i v e   n e u r o - f u z z y   i n f e r e n c e   s y st e m  f o r   v i g i l a n c e   l e v e l   e st i mat i o n   b y   u s i n g   w a v e l e t - e n t r o p y   f e a t u r e   e x t r a c t i o n , ”   Ex p e r t   S y s t e m s   w i t h   A p p l i c a t i o n s ,   v o l .   3 6 ,   n o .   4 ,   p p .   7 3 9 0 – 7 3 9 9 ,     M a y   2 0 0 9 ,   d o i :   1 0 . 1 0 1 6 / j . e sw a . 2 0 0 8 . 0 9 . 0 0 3 .   [ 1 4 ]   S .   A r e f n e z h a d ,   S .   S a mi e e ,   A .   Ei c h b e r g e r ,   a n d   A .   N a h v i ,   “ D r i v e r   d r o w si n e ss  d e t e c t i o n   b a se d   o n   st e e r i n g   w h e e l   d a t a   a p p l y i n g   a d a p t i v e   n e u r o - f u z z y   f e a t u r e   s e l e c t i o n , ”   S e n s o rs ,   v o l .   1 9 ,   n o .   4 ,   F e b .   2 0 1 9 ,   d o i :   1 0 . 3 3 9 0 / s1 9 0 4 0 9 4 3 .   [ 1 5 ]   I .   A .   F o u a d ,   “ A   r o b u s t   a n d   e f f i c i e n t   EEG - b a s e d   d r o w si n e ss   d e t e c t i o n   sy s t e m  u si n g   d i f f e r e n t   mac h i n e   l e a r n i n g   a l g o r i t h ms, ”   A i n   S h a m s  En g i n e e ri n g   J o u rn a l ,   v o l .   1 4 ,   n o .   3 ,   A p r .   2 0 2 3 ,   d o i :   1 0 . 1 0 1 6 / j . a s e j . 2 0 2 2 . 1 0 1 8 9 5 .   [ 1 6 ]   A .   D .   M c D o n a l d ,   J.   D .   L e e ,   C .   S c h w a r z ,   a n d   T .   L.   B r o w n ,   “ S t e e r i n g   i n   a   r a n d o m  f o r e s t , ”   H u m a n   Fa c t o rs:   T h e   J o u rn a l   o f   t h e   H u m a n   F a c t o rs  a n d   Erg o n o m i c s  S o c i e t y ,   v o l .   5 6 ,   n o .   5 ,   p p .   9 8 6 – 9 9 8 ,   A u g .   2 0 1 4 ,   d o i :   1 0 . 1 1 7 7 / 0 0 1 8 7 2 0 8 1 3 5 1 5 2 7 2 .   [ 1 7 ]   C. - H .   W e n g ,   Y . - H .   L a i ,   a n d   S . - H .   La i ,   “ D r i v e r   d r o w si n e ss   d e t e c t i o n   v i a   a   h i e r a r c h i c a l   t e m p o r a l   d e e p   b e l i e f     n e t w o r k , ”   i n   C o m p u t e r   Vi si o n   –   A C C V   2 0 1 6   W o rks h o p s   ( AC C V  2 0 1 6 ) ,   C h a m ,   S w i t z e r l a n d :   S p r i n g e r ,   2 0 1 7 ,   p p .   1 1 7 – 133 ,    d o i :   1 0 . 1 0 0 7 / 9 7 8 - 3 - 319 - 5 4 5 2 6 - 4 _ 9 .   [ 1 8 ]   T.   S o u k u p o v á   a n d   J.  C e c h ,   “ R e a l - t i me  e y e - b l i n k   d e t e c t i o n   u s i n g   f a c i a l   l a n d mar k s, ”   i n   2 1 st   C o m p u t e r   Vi s i o n   Wi n t e r  W o r k sh o p ,  2 0 1 6 ,   p p .   1 – 8.   [ 1 9 ]   Q .   Z h u a n g ,   Z.   K e h u a ,   J.   W a n g ,   a n d   Q .   C h e n ,   “ D r i v e r   f a t i g u e   d e t e c t i o n   m e t h o d   b a se d   o n   e y e   s t a t e s   w i t h   p u p i l   a n d   i r i s   seg m e n t a t i o n , ”   I EEE   Ac c e ss ,   v o l .   8 ,   p p .   1 7 3 4 4 0 – 1 7 3 4 4 9 ,   2 0 2 0 ,   d o i :   1 0 . 1 1 0 9 / A C C ESS . 2 0 2 0 . 3 0 2 5 8 1 8 .   Evaluation Warning : The document was created with Spire.PDF for Python.