I nd o ne s ia n J o urna l o f   E lect rica l En g ineering   a nd   Co m pu t er   Science   Vo l.   39 ,   No .   1 J u l y   2 0 2 5 ,   p p .   592 ~ 6 0 2   I SS N:  2 5 0 2 - 4 7 5 2 ,   DOI : 1 0 . 1 1 5 9 1 /ijeecs.v 39 .i 1 . p p 5 9 2 - 6 0 2          592     J o ur na l ho m ep a g e h ttp : //ij ee cs.ia esco r e. co m   Rea l - time  driver  dro wsines s det ect io n bas ed on int e g ra tive  a ppro a ch of deep   lea rning  and ma c hine learning  mo del       G o wrish a nk a Sh iv a   Sh a nk a ra   Cha ri,   J y o t hi Ar co t   P r a s ha nt   D e p a r t me n t   o f   C o mp u t e r   S c i e n c e   a n d   En g i n e e r i n g ,   M . S .   R a ma i a h   U n i v e r s i t y   o f   A p p l i e d   S c i e n c e s,  B e n g a l u r u ,   I n d i a       Art icle  I nfo     AB S T RAC T   A r ticle  his to r y:   R ec eiv ed   J an   15 2 0 2 5   R ev is ed   Mar   12 2 0 2 5   Acc ep ted   Mar   26 2 0 2 5       Driv e r   d r o ws in e ss   is  a   m a jo r   f a c to th a c o n tri b u ti n g   t o   r o a d   a c c id e n ts.  S e v e ra re se a rc h e a re   o n g o i n g   t o   d e tec d ri v e d ro ws i n e ss ,   b u t   t h e y   s u ffe fro m   th e   c o m p lex i ty   a n d   c o st   o f   th e   m o d e ls.  T h is  p a p e i n tro d u c e a   h y b ri d   a rti ficia in telli g e n c e   ( AI ) - d riv e n   fra m e wo rk   in teg ra ti n g   d e e p   lea rn in g   (DL)   a n d   m a c h i n e   lea rn i n g   (M L)   m o d e ls  fo r   re a l - ti m e   d r o ws in e ss   d e te c ti o n .   T h e   sy ste m   u ti li z e a   ro b u st  DL  m o d e to   c las sify   d riv e sta tes   b a se d   o n   fa c ial  ima g e a n d   su p p o rt  v e c to m a c h in e   ( S VM )   m o d e is  train e d   to   d e v e lo p   a   c o st - e fficie n y e t   ro b u st   fa c ial  lan d m a rk   d e tec to r   to   e x trac k e y   fe a tu re su c h   a e y e   a sp e c ra ti o   (EAR)  a n d   m o u th   a sp e c ra ti o   (M AR).  We  a lso   in tro d u c e   a   m u lt i - sta g e   d e c isio n   fu si o n   m e c h a n ism   th a c o m b in e s   c o n v o lu ti o n a n e u ra l   n e two rk   ( CNN )   p ro b a b il i ty   sc o r e with   EAR/M AR  th re sh o ld s   t o   e n h a n c e   d e tec ti o n   re li a b il it y   a n d   re d u c e   fa lse   p o si ti v e s.   Ex p e rime n tal  re su lt s   d e m o n stra te  th a th e   p r o p o se d   m o d e a c h iev e 9 8 %   a c c u ra c y   a n d   F 1 - sc o re ,   sig n ifi c a n t ly   o u tp e rfo rm in g   trad it io n a l   DL   a p p r o a c h e s.  Ad d it i o n a ll y ,   th S VM - b a se d   la n d m a rk   p re d icto r   sh o ws   im p ro v e d   e fficie n c y   wit h   lo we m e a n   sq u a re d   e rro r   (M S E)   with o u t   h a v i n g   h ig h e c o m p u tatio n a re q u irem e n ts.   K ey w o r d s :   Dee p   lear n in g   Dr iv er   d r o wsi n ess   d etec tio n   Facial  lan d m ar k   p r ed ictio n   Mu lti - s tag d ec is io n   f u s io n   R o ad   ac cid en t   T h is i a n   o p e n   a c c e ss   a rticle   u n d e r th e   CC B Y - SA   li c e n se .     C o r r e s p o nd ing   A uth o r :   Go wr is h an k ar   Sh iv a   Sh an k a r a   C h a r i   Dep ar tm en t o f   C o m p u ter   Scie n ce   an d   E n g in ee r in g ,   M . S .   R a m aiah   Un iv er s ity   of   Ap p lied   S cien ce s     B en g alu r u ,   I n d ia   E m ail:   s h a n k a r . i q @ g m a il . c o m       1.   I NT RO D UCT I O N   T h r o ad   s af ety   r em ain s   s ig n if ican t c o n ce r n   wo r ld wid d u e   to   in cr ea s in g   tr af f ic  co n g esti o n   an d   th g r o win g   n u m b er   o f   v eh icles  o n   th r o ad s   [ 1 ] [ 2 ] .   On o f   th m ajo r   ca u s es  o f   r o ad   ac cid e n ts   is   d r iv er   f atig u e   an d   d r o wsi n ess ,   wh ich   r ed u ce s   aler tn ess ,   s lo w s   d o wn   r ea ctio n   tim e,   an d   im p air s   d ec is io n - m ak in g   a b ilit y   [ 3 ] [ 4 ] .   Sev er al  m eth o d s   h av b ee n   d ev elo p e d   to   d etec d r iv e r   d r o wsi n ess   u s in g   p h y s io lo g ical  s ig n als,  b eh av io r al   p atter n s ,   an d   f ac ial  ex p r ess io n s   also   b ased   o n   f o cu s ed   o n   m o n ito r in g   s teer in g   p atter n s ,   lan d ev iatio n ,   an d   h ea d   m o v em en ts   [ 5 ] [ 6 ] .   Ho wev er ,   th ese  ap p r o ac h es  o f te n   p r o d u ce   f alse  p o s itiv es  b ec au s ex ter n al  f ac t o r s   lik r o ad   c o n d itio n s ,   wea th er   ch an g es,  an d   v eh icle  ty p es  ca n   in f lu en ce   d r iv in g   b e h av io r .   C o m m o n   ap p r o ac h   o f   p h y s io lo g ical  m o n ito r in g ,   wh ich   in clu d es e lectr o en ce p h a lo g r ap h y   (EEG ) ,   h ea r t r ate  v ar iab ilit y   ( HR V) ,   an d   ey e - tr ac k in g   s en s o r s   a r h ig h ly   ac cu r ate  in   co n tr o lled   e n v ir o n m en ts   b u ar e   ex p en s iv e,   in tr u s iv e,   a n d   im p r ac tical  f o r   r ea l - wo r l d   ap p licatio n s   b ec au s th ey   r eq u ir e   s p ec ialized   h ar d war e   [ 7 ] .   T h wo r k   ca r r ied   o u t   b y   Vice n te  et  a l.   [ 8 ]   an d   Sah ay ad h as  et  a l.   [ 9 ]   ex p lo r ed   H R an d   co m b in ed   p h y s io lo g i ca an d   b eh av io r al   m ea s u r es  f o r   d r o wsi n ess   d etec tio n ,   ac h ie v in g   im p r o v ed   ac cu r ac y   i n   co n tr o lled   s ettin g s .   Ho wev er ,   r ea l - tim ap p licab ilit y   is   lim ited   d u to   s en s o r   p lace m en is s u es  an d   p h y s io lo g ical  v ar iab ilit y .   S h ah b ak h ti  et  a l.   [ 1 0 ]   en h an ce d   E E G - b ased   d etec tio n   b y   in teg r atin g   ey e   b lin k   f ea tu r es  with   b an d   p o we r   an aly s i s ,   b u E E s ig n als  r em ain   h ig h l y   s u s ce p tib le  to   n o is an d   m o v em en ar tifa cts.   Similar ly ,   Fu jiwar et  a l.   [ 1 1 ]   d ev elo p e d   s elf - atten tio n   au to en co d er   u s in g   e lectr o ca r d io g r ap h y   ( E C G )   R - R   in ter v als,  d em o n s tr atin g   h ig h   s en s itiv ity ,   b u Evaluation Warning : The document was created with Spire.PDF for Python.
I n d o n esian   J   E lec  E n g   &   C o m p   Sci     I SS N:   2502 - 4 7 5 2         R ea l - time  d r iver d r o w s in es s   d etec tio n   b a s ed   o n   in teg r a tive   …  ( Go w r is h a n ka r   S h iva   S h a n ka r a   C h a r i)   593   r ea l - wo r ld   m o n ito r in g   r em ai n s   ch allen g in g   d u to   m o ti o n - in d u ce d   d is to r tio n s .   Ad v an ce m en ts   in   d ee p   lear n in g   ( DL )   a n d   m ac h in l ea r n in g   ( ML )   h av s ig n i f ican tly   im p r o v e d   f ac ial - b ased   d r o wsi n ess   d etec tio n .     B ai  et  a l.   [ 1 2 ]   p r o p o s ed   s p at ial - tem p o r al  g r a p h   co n v o lu tio n al  n eu r al  n etwo r k   ( C NN )   to   ad d r ess   illu m in atio n   ch an g es  an d   o cc lu s io n s ,   b u t   its   h ig h   co m p u tatio n al  co s t   lim its   r ea l - tim f ea s ib ilit y .   Flo r e z   et  a l.   [ 1 3 ]   ev alu ated   C N ar ch itectu r es  s u ch   as  I n ce p tio n V 3 ,   VGG1 6 ,   an d   R esNet5 0 V2 ,   ac h iev in g   9 9 . 7 1 ac cu r ac y   o n   th NI T YM E d ataset,   y et  i t s   f o cu s   o n   n ig h ttime   d r iv in g   r estricts  g en er aliza tio n .   Ma io r   et  a l.   [ 1 4 ]   u tili ze d   ey asp ec r atio   ( E AR )   with   ML   class if ier s ,   p er f o r m in g   wel o n   th DR OZ d ata s et,   b u lack ed   r ea l - tim e   ad ap tab ilit y .   Oth er   ap p r o ac h es,  s u ch   as  f u zz y   lo g ic - b ase d   f ea tu r e   d etec tio n   b y   AlKis h r et  a l.   [ 1 5 ]   a n d   s u p p o r v ec to r   m ac h in ( SVM ) - b ased   d r o wsi n ess   d etec tio n   b y   Sh u k la  et   a l.   [ 1 6 ] ,   d em o n s tr ated   im p r o v em e n ts   b u wer o u t p er f o r m ed   b y   C NN - b ased   m o d els  o n   lar g er   d atasets .   T o   f u r th er   e n h an ce   ef f icien cy ,   B is wal  et  a l.   [ 1 7 ]   d ev elo p ed   a n   I o T - b ased   r ea l - tim f ac ial  lan d m ar k   d etec ti o n   s y s tem ,   th o u g h   d ep lo y m e n ch allen g es  r em ain .   L am aa zi   et  a l.   [ 1 8 ]   in tr o d u ce d   e d g e - b ased   d r o wsi n ess   d etec tio n ,   e n s u r in g   p r iv ac y   an d   r e d u ce d   laten cy ,   b u ed g co m p u tin g   lim itatio n s   co n s tr ain   DL   m o d el  co m p lex ity .   Z h an g   et  a l.   [ 1 9 ]   tack led   th is   b y   im p lem e n tin g   f ed e r ated   t r an s f er   lea r n in g ,   en a b lin g   d is tr ib u ted   tr ain in g   wh ile  p r eser v in g   p r iv ac y .   Ah m ed   et  a l.   [ 2 0 ]   im p r o v e d   ac cu r ac y   u s in g   a   d u al  I n ce p tio n V3   m o d el  with   f ac ia s u b s am p lin g ,   y et  h ig h   co m p u tatio n al  d em an d s   in tr o d u ce d   in f er e n ce   d elay s ,   l im itin g   r ea l - tim u s ab ilit y .   J eb r ae ily   et  a l.   [ 2 1 ]   f u r th er   o p tim ize d   C NN  m o d els  u s in g   g en etic   alg o r it h m s ,   en h a n cin g   p e r f o r m an c b u t   in cr ea s in g   co m p u tatio n al   o v er h ea d .   E f f o r ts   to   o p tim ize  h a r d war e f f ici en cy   h a v also   b ee n   ex p lo r ed .   Ng u y en   et  a l.   [ 2 2 ]   d ev elo p e d   m in iatu r ized   E E G - b ased   s y s tem   with   tin y   n eu r al  n etwo r k s ,   r ed u cin g   p r o ce s s in g   d elay s   b u s till   lim i ted   b y   E E s ig n al   r eliab i lity   in   r ea l - wo r ld   d r iv i n g .   Mo u s av ik ia  et  a l.   [ 2 3 ]   ac ce ler ate d   DL   i n f er en ce   o n   FP GA,   ac h iev in g   f aster   co m p u tatio n   an d   lo wer   p o wer   c o n s u m p tio n ,   b u FP GA - b ased   im p lem en tatio n s   r eq u ir e   co s tly   h a r d war e   m o d if icatio n s .   L astl y ,   Ma d n et   a l.   [ 2 4 ]   lev e r ag ed   tr an s f er   lear n in g   with   e y e   m o v em en t   b eh a v io r   a n aly s is ,   co m b in i n g   v is u al  g eo m etr y   g r o u p   ( VGG ) - 1 6   with   a   lig h t   g r ad ie n t - b o o s tin g   class if ier ,   y et  its   r ea l - wo r ld   ef f ec tiv en ess   r eq u ir es f u r th er   v a lid atio n .     Desp ite  ad v an ce m en ts   in   p h y s io lo g ical,   b e h av io r al,   AI - b ased   d r o wsi n ess   d etec tio n ,   ex is tin g   ap p r o ac h es  f ac s ev er al   lim itatio n s   th at  r ed u ce   th eir   ef f ec t iv en ess   f o r   r ea l - tim d r iv er   m o n ito r in g   in   r ea l - wo r ld   co n d itio n s .   On m ajo r   ch allen g is   th at  m an y   DL - b a s ed   m o d els  ar tr ain ed   o n   lim i ted   d atasets ,   th at  d o   n o ad eq u ately   r ep r esen v ar i atio n s   in   lig h tin g ,   f ac ial  o r ien tatio n s ,   o r   eth n ic  d iv er s ity ,   o r   en v ir o n m e n tal  f ac to r s .   As  r esu lt,  th ese  m o d els  s tr u g g le  with   o cc lu s io n s   ( e. g . ,   g lass es,  m ask s ,   p o o r   lig h tin g )   an d   h ea d   m o v em en ts .   Ad d itio n ally ,   m a n y   s tu d ies  u s eith er   DL   o r   f ea tu r e - b ased   ap p r o ac h es  in d ep en d en tly ,   with o u an   in teg r ated   f u s io n   m ec h a n is m   th at  co m b in es  b o th   m eth o d o l o g ies  f o r   e n h an ce d   ac cu r ac y .   L astl y ,   th ex is tin g   m o d els  o f ten   p r i o r itize  ac cu r ac y   o v er   c o m p u tatio n al  ef f icien cy ,   wh ich   ar n o s u itab le  f o r   r ea l - tim e   d ep lo y m e n t in   au t o m o tiv a p p licatio n s   wh er r eso u r ce - e f f ici en t p r o ce s s in g   is   ess en tial.   T h is   p ap er   in tr o d u ce s   h y b r i d   AI - d r iv en   f r am ewo r k   th at   i n teg r ates  DL - b ased   im ag e   cla s s if icatio n   with   lig h tweig h y et  r o b u s t   SVM - b ased   f ac ial  lan d m ar k   d etec to r   to   en h a n ce   ac cu r ac y   wh ile  m ain tain in g   co m p u tatio n al   ef f icien cy   f o r   r ea l - tim d r iv er   m o n ito r in g .   T h ar ticu latio n   o f   r esear ch   g a p   is   as  f o llo ws:   T h e   d etec tio n   o f   d r iv e r   d r o wsi n ess   h as  d r awn   lo o f   in ter est  lately ,   b u m a n y   o f   th c u r r e n tech n iq u es  h av e   d r awb ac k s ,   in clu d in g   lar g f alse  p o s itiv r ates,  in s en s itiv ity   to   o cc lu s io n s ,   an d   p o o r   ac cu r ac y   in   p r ac tical  s ettin g s .   E y clo s u r ( E AR )   a n d   y awn in g   ( MA R ) ,   two   in d e p en d en t   f ac ial  m etr ics  th at   ar e   s en s itiv to   f leetin g   f ac ial  alter atio n s   an d   am b ien co n d itio n s   ( s u ch   as  lig h tin g   an d   o cc lu s io n s ) ,   ar co m m o n ly   u s ed   in   s im p le  th r esh o ld - b ased   d r o wsi n ess   d etec tio n   s y s tem s .   Fu r th er m o r e,   lo o f   DL - b ased   s y s tem s   d o n ' in teg r ate  m u lti - m o d al  d ata  s o u r ce s   o r   i n c o r p o r ate  d if f er e n t f ac s ig n als to   m ak b etter   d ec is io n s .   I n   o r d er   to   o v er c o m th ese   d if f icu lties ,   th is   s tu d y   s u g g ests   h y b r id   AI - d r iv e n   ar ch itectu r th at  in co r p o r ates  m u lti - s tag d ec is io n   f u s io n   m ec h an is m ,   ML - d r iv en   f ac ial  lan d m ar k   tr ac k in g ,   an d   DL - b ased   f ac ial  s tate  p r ed ictio n .   T h e   m a in   co n tr ib u tio n s   ar e:    -   Mu lti - s tag f u s io n   ap p r o ac h t o   r ed u ce   f alse  alar m s   b r o u g h o n   b y   f leetin g   f ac ial  ch an g es ,   we  in co r p o r ate   E AR ,   MA R ,   an d   th C N N - b ased   p r o b ab ilit y   s co r in to   a   co u n ter - b ased   d ec is io n   f u s io n   s y s tem .   T h is   m eth o d   g u ar an tees  th at  an   aler will  o n ly   b tr ig g er ed   b y   p er s is ten s ig n s   o f   d r o wsi n ess ,   s u ch   as  ex ten d ed   ey clo s in g ,   f r eq u e n t y awn in g ,   o r   p o o r   c o n f i d en ce   in   t h C NN  f o r ec ast.    -   Ad ap tab ilit y   to   en v ir o n m en ta v ar iab ilit y b y   co m b in in g   s ev er al  in d icati o n s   th at  ca n   id en tify   tire d n ess   th r o u g h   v a r io u s   asp ec ts   o f   f a cial  b eh av io r ,   th e   m o d el  s u cc ess f u lly   m an ag es  o cc l u s io n s   ( s u ch   as  m ask s   o r   s u n g lass es)  an d   ch an g i n g   illu m in atio n   co n d itio n s .     -   R ea l - tim p er f o r m an ce t h s y s t em   is   ap p r o p r iate  f o r   p r ac t ical  im p lem en tatio n   in   em b ed d ed   s y s tem s   f o r   d r iv er   m o n ito r in g   s in ce   it d eli v er s   r ea l - tim ac cu r ac y   ( 9 8 %)   an d   r o b u s tn ess   with   lo co m p u tatio n al  co s t.   -   I n cr ea s ed   ac cu r ac y   an d   r o b u s tn ess th e   s u g g ested   f u s io n   m eth o d o lo g y   g u ar an tees  s u s tain ed   d etec tio n ,   in   co n tr ast  to   o th er   tech n iq u es  th at  d ep en d ed   o n   s in g le  m etr ic  o r   th r esh o ld ,   m ak in g   th s y s tem   f o r   r ea l - tim s leep in ess   d etec tio n   m o r d ep en d ab le  an d   ac cu r ate.   T h n o v elty   o f   th p r o p o s ed   s y s tem   is   th in teg r atio n   o f   a   lig h t - weig h f ac ial   lan d m ar k   d etec tio n   m o d u le  with   r o b u s DL - b ased   p r ed icti o n   m o d el,   wh ich   en ab les ac cu r ate  d r o wsi n ess   d etec tio n   u n d e r   co m p lex   r ea l - w o r ld   co n d itio n s   u s in g   f ac ial  f e atu r es.   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 5 0 2 - 4 7 5 2   I n d o n esian   J   E lec  E n g   &   C o m p   Sci ,   Vo l.  39 ,   No .   1 ,   J u ly   20 25 592 - 6 0 2   594   2.   M E T H O D   T h is   s ec tio n   p r esen ts   th s y s te m   d esig n   a n d   im p lem en tatio n   p r o ce d u r es  f o r   th e   p r o p o s ed   h y b r id   A I - d r iv en   f r am ewo r k   in s p ir ed   f r o m   th f in d i n g s   o f   o u r   p r io r   w o r k   [ 2 5 ] .   T h s y s tem   in teg r ates  DL - b ased   im ag e   class if icatio n   with   lig h twei g h SVM - b ased   f ac ial  lan d m ar k   d etec to r   f o r   ac cu r ate  an d   r ea l - tim e   d r i v er   d r o wsi n ess   d etec tio n .   I n   o r d e r   to   en s u r r ea l - tim d etec tio n ,   t h f r am ewo r k   co n s id er s   b o th   DL   p r ed ictio n s   an d   f ac ial  la n d m ar k   tr ac k i n g   o p er ate   s im u ltan eo u s ly .   T h e   wo r k f l o o f   th p r o p o s ed   i n teg r ativ s y s tem   is   s h o wn   in   Fig u r 1 .   As  s h o wn   in   Fig u r 1 ,   th in p u to   th p r o p o s ed   f r am ewo k   i s   th r ea l - tim v id eo   f ee d s   ap t u r ed   f r o m   d r iv er - f ac in g   ca m er a.   E ac h   v id eo   f r am is   ex tr ac ted   s eq u e n tially ,   with   ev er y   th ir d   f r am e   s am p led   to   r ed u ce   co m p u tatio n al  lo a d   wh ile  m a in tain in g   d etec tio n   ef f icien cy .   T h ex tr ac ted   f r a m es  ar r e s ized   to   m atch   th in p u s ize  o f   th DL   m o d el   an d   th e n   p r o ce s s ed   in   p ar a llel  th r ea d s   i.e . ,   o n f o r   DL - b ased   d r o wsi n ess   class if icatio n   an d   th e   o t h er   f o r   SVM - b ased   f ac ial  lan d m ar k   d etec tio n .   T h DL   m o d u le  im p lem en ts   ef f icien tNet  C NN  m o d el  class if ies  ea ch   f r am as  d r o wsy   o r   aler b y   an aly zin g   f ac ial  f ea tu r es.   Simu ltan eo u s ly ,   th SVM - b a s ed   lan d m ar k   d etec t o r   f ac ial  lan d m ar k s   f o r   g iv en   f r am e .   T h s y s tem   th en   co m p u tes  E AR   an d   MA R   f ea tu r to   m ea s u r e y clo s u r an d   y awn i n g   f r eq u e n cy ,   wh ich   ar e   cr itical  in d icato r s   o f   d r o wsi n ess .   I n   o r d er   to   e n s u r d etec tio n   r eliab i lity ,   th s y s tem   em p lo y s   m u lti - s tag d ec is io n   f u s io n   m ec h an is m ,   wh ich   c o m b in es  DL - b ased   p r o b ab ili ty   s co r es  with   E AR   an d   MA R   th r esh o ld s .   I f   d r o wsi n ess   in d icato r s   p er s is f o r   co n s ec u tiv f r am es,  an   al er is   g en er ated ,   an d   p r o m p   d r iv er   to   ta k ac tio n .   Ad d it io n ally ,   t h aler t   d ata  is   s to r ed   i n   a   clo u d - b ased   s y s tem ,   wh ich   en ab les  p o s t - d r i v e   r ev iew  v ia  a   web   ap p licatio n .   T h is   ap p r o ac h   e n s u r es  th at  d r iv er s   ca n   an al y ze   th eir   d r o wsi n ess   h is to r y   a n d   m a k n ec ess ar y   ad ju s tm en ts   to   th eir   d r i v in g   b eh av io r .   T h e   p r o p o s ed   f r am e wo r k   is   d esig n ed   t o   b co m p u tatio n ally   ef f icien t,   r eso u r ce - f r ie n d ly ,   an d   s ca lab le,   th er eb y   m ak i n g   it  s u itab le   f o r   r ea l - wo r ld   d ep lo y m en s ce n ar io   with   v er y   m in im al  f alse p o s itiv es a n d   n e g ativ es.            Fig u r 1 .   I ll u s tr ates w o r k f lo o f   p r o p o s ed   i n teg r ativ s y s te m       2 . 1 .     Da t a s et   des cr iptio n   T h is   s tu d y   cr ea ted   cu s to m   d ataset  b y   s cr ap in g   6 , 0 0 0   im ag es  f r o m   s o u r ce s   lik Go o g le   an d   B in g ,   an d   ad d in g   1 2 , 0 0 0   im a g es  f r o m   Kag g le.   T h im ag es  wer e   m an u ally   r ev iewe d ,   a n d   1 0 , 4 4 4   r elev an im ag es   wer s elec ted ,   ex clu d in g   th o s with   y awn in g   t o   f o c u s   o n   f ac ial  f ea tu r es  lik ey clo s u r e   an d   h ea d   p o s itio n .   T h im ag es  wer r esized   to   2 2 4 ×2 2 4   p ix els  an d   s p lit  in to   tr ain in g ,   v alid atio n ,   an d   test in g   s ets  in   8 0 :1 0 :1 0   r atio ,   with   r an d o m   s h u f f lin g   t o   av o id   o r d e r   b ias.  T h e   d atas et  co n s is o f   tr ain in g   s et  o f   4 , 2 8 4   an d   d r o wsy   s et  co n s is ts   o f   4 , 0 7 7   im ag es  wh e r ea s   th er ar e   5 3 1   im ag es  f o r   ac tiv s tate  an d   5 0 9   im a g es  f o r   d r o wsy   s tate  f o r   v alid atio n   d ataset.   Fin ally ,   test in g   im ag es  co n s is ts   o f   5 3 2   i m ag es  f o r   ac tiv s tate  an d   5 1 1   im ag es  f o r   d r o wsy   s tate.     2 . 2   DL   ba s ed  driv er   dro wsi nes s   pre dict io n   T h p r o p o s ed   s y s tem   em p lo y s   E f f icien tNetV2 B 0 ,   an   o p tim ized   DL   ar ch itectu r d esig n ed   f o r   ef f icien f ea tu r ex tr ac tio n   an d   class if icatio n .   E f f icien tNet V2 B 0   is   a   lig h tweig h C NN   th at  ap p l ies  m o b ile   b o ttlen ec k   co n v o lu tio n s   ( MBC o n v )   an d   i n v er ted   r esid u al  b lo ck s   to   ac h iev o p tim al  ac cu r ac y   with   m in im al  Evaluation Warning : The document was created with Spire.PDF for Python.
I n d o n esian   J   E lec  E n g   &   C o m p   Sci     I SS N:   2502 - 4 7 5 2         R ea l - time  d r iver d r o w s in es s   d etec tio n   b a s ed   o n   in teg r a tive   …  ( Go w r is h a n ka r   S h iva   S h a n ka r a   C h a r i)   595   co m p u tatio n al  c o s t.  I n   th p r o p o s ed   wo r k ,   th is   lear n in g   m o d el  is   en h an ce d   with   a d d itio n al  cu s to m   lay er s   to   im p r o v d r o wsi n ess   d etec tio n   ac cu r a cy   a n d   f i n e - tu n e d   f o r   b in ar y   class if icatio n   ( d r o wsy   v s .   ac tiv e)   u s in g   a   two - p h ase  tr ain in g   s tr ateg y   to   b alan ce   m o d el  g en er aliza tio n   an d   task - s p ec if ic   ad ap tatio n .   T ab le  1   s u m m ar izes  th cu s to m   DL   m o d el  ad o p ted   f o r   d r iv er   d r o wsi n ess   p r ed icti o n   u s in g   f ac ial  i m ag e.     I n   th e   p r o p o s ed   s y s tem ,   d r i v er   d r o wsi n ess   p r ed ictio n   is   f o r m u lated   as   b in ar y   cla s s if icatio n   p r o b lem ,   wh er t h m o d el  d eter m in es  wh eth er   d r iv er   i s   d r o wsy   ( Y=1 )   o r   aler ( Y=0 )   b ased   o n   f ac ial  im ag es.  Fo r   a   g iv e n   im a g X ,   th m o d el  co m p u tes  th e   p r o b a b ilit y   o f   d r o wsi n ess   u s in g   th e   s ig m o id   ac tiv atio n   f u n ctio n ,   s u ch   th at  ( = 1 | ) = σ ( ( ) + ) ,   wh e r e,     an d     ar th e   tr ain a b le  p a r a m eter s   ca lled   weig h ts   an d   b ias,  r esp ec tiv ely ,   ( )   r ep r esen ts   th f ea tu r v ec to r   ex tr ac ted   f r o m   th f in al  d e n s lay er ,   wh er σ ( )   en s u r es  th at  th o u tp u t   is   p r o b ab ilit y   s co r e   in   th r an g e   [ 0 , 1 ] .   T h m o d el  is   tr ain ed   u s in g   th b in ar y   cr o s s - en tr o p y   lo s s   f u n ctio n ,   wh ich   is   d ef in ed   as:     [ = 1 N [ y i l og ( y i ̂ ) + ( 1 y i ) l og ( 1 y i ̂ ) ] ] N i = 1   ( 1 )     W h er e,     r ep r esen ts   th g r o u n d   tr u th   lab el  ( 1   f o r   d r o wsy ,   0   f o r   aler t) ,   y i ̂   is   th p r ed icted   p r o b a b ilit y   an d   is   th to tal  n u m b er   o f   t h tr ain in g   s am p les.  T h tr ain in g   s tr ateg y   in c o r p o r ates  d ata  au g m en tatio n   an d   a   two - p h ase  lear n in g   p r o ce s s   to   en h an ce   m o d el  g e n er aliza tio n   an d   p er f o r m an ce .   I n   th i n itial  tr ain in g   p h ase   ( f ea tu r ex tr ac tio n   p h ase) ,   th e   b ase  lay er s   o f   th DL   m o d el  ar f r o ze n   to   r etain   th p r e - tr a in ed   f ea tu r es  f r o m   I m ag eNe t,  wh ile  o n l y   th c u s to m   lay er s   ( d e n s e,   d r o p o u t,  an d   o u tp u lay er )   ar tr ain e d .   T h m o d el  u n d er g o es   2 0   ep o ch s   o f   tr ain in g   with   a n   in itial  lear n in g   r ate   o f   0 . 0 0 1 .   I n   th f i n e - tu n i n g   p h ase  ( task - s p ec if ic  ad ap tatio n   p h ase) ,   th e   last   2 0   lay e r s   o f   DL   m o d el  ( E f f icien tNetV2 B 0 )   ar u n f r o ze n   t o   allo task - s p ec if ic  ad j u s tm en ts   wh ile  lev er ag in g   p r e - tr ain e d   k n o wled g e .   I n   o r d er   to   o p tim ize  m o d el  p er f o r m a n ce ,   th f o llo win g   h y p er p ar am eter s   wer f i n e - tu n ed   as illu s tr ated   in   T ab le  2 .         T ab le  1 .   T h ar ch itectu r al  d eta ils   o f   th cu s to m   DL     La y e r   t y p e   I n p u t   s h a p e   F i l t e r   s i z e   N u mb e r   o f   l a y e r s   O u t p u t   s h a p e   I n p u t   l a y e r   ( 2 2 4 ,   2 2 4 ,   3 )   -   1   ( 2 2 4 ,   2 2 4 ,   3 )   S t e C o n v 2 D   ( B a s e )   ( 2 2 4 ,   2 2 4 ,   3 )   3 x 3   1   ( 1 1 2 ,   1 1 2 ,   3 2 )   M B C o n v 1 _ 3 x 3   ( B a s e )   ( 1 1 2 ,   1 1 2 ,   3 2 )   3 x 3   1   ( 1 1 2 ,   1 1 2 ,   1 6 )   M B C o n v 6 _ 3 x 3   ( B a s e )   ( 1 1 2 ,   1 1 2 ,   1 6 )   3 x 3   2   ( 5 6 ,   5 6 ,   2 4 )   M B C o n v 6 _ 5 x 5   ( B a s e )   ( 5 6 ,   5 6 ,   2 4 )   5 x 5   2   ( 2 8 ,   2 8 ,   4 0 )   M B C o n v 6 _ 3 x 3   ( B a s e )   ( 2 8 ,   2 8 ,   4 0 )   3 x 3   3   ( 1 4 ,   1 4 ,   8 0 )   M B C o n v 6 _ 5 x 5   ( B a s e )   ( 1 4 ,   1 4 ,   8 0 )   5 x 5   3   ( 7 ,   7 ,   1 1 2 )   M B C o n v 6 _ 3 x 3   ( B a s e )   ( 7 ,   7 ,   1 1 2 )   3 x 3   4   ( 7 ,   7 ,   1 9 2 )   C o n v 2 D   ( C u s t o m)   ( 7 ,   7 ,   1 9 2 )   3 x 3   1   ( 7 ,   7 ,   1 2 8 )   G l o b a l A v e r a g e P o o l i n g 2 D   ( 7 ,   7 ,   1 2 8 )   -   1   ( 1 2 8 )   D e n se   l a y e r   ( 1 2 8 )   -   1   ( 1 0 2 4 )   D r o p o u t   ( 1 0 2 4 )   -   1   ( 1 0 2 4 )   D e n se   l a y e r   ( 1 0 2 4 )   -   1   ( 1 2 8 )   O u t p u t   l a y e r   ( D e n se)   ( 1 2 8 )   -   1   ( 1 )       T ab le  2 .   T h d etails o f   h y p er p ar am eter   o p tim izatio n     H y p e r p a r a me t e r   V a l u e   P u r p o se   B a t c h   s i z e   32   En s u r e s s t a b l e   t r a i n i n g   a n d   p r e v e n t s   memo r y   o v e r l o a d   O p t i mi z e r   A d a m   A d a p t i v e   l e a r n i n g   r a t e   f o r   e f f i c i e n t   w e i g h t   u p d a t e s   I n i t i a l   l e a r n i n g   r a t e   0 . 0 0 1   F a st e r   c o n v e r g e n c e   i n   t h e   i n i t i a l   t r a i n i n g   p h a s e   f i n e - t u n i n g   l e a r n i n g   r a t e   0 . 0 0 0 1   P r e v e n t s   su d d e n   w e i g h t   c h a n g e s   d u r i n g   f i n e - t u n i n g   D r o p o u t   r a t e   0 . 5   R e d u c e o v e r f i t t i n g   i n   d e n se  l a y e r s   To t a l   e p o c h s   50   2 0   f o r   i n i t i a l   t r a i n i n g   +   3 0   f o r   f i n e - t u n i n g       2 . 3 .     M L   ba s ed  f a cia l la nd m a rk   predict io n m o del    Facial  lan d m ar k   d etec tio n   p la y s   cr u cial   r o le  i n   id e n tify in g   k ey   f ac ial  f ea tu r es  s u ch   as  t h ey es  an d   m o u th ,   wh ich   s er v as  in d icato r s   o f   d r iv e r   v ig ilan ce .   B y   ac c u r ately   d etec tin g   th ese  la n d m a r k s ,   th s y s tem   ca n   co m p u te  ess en tial  m etr ics  s u ch   as  th E AR   an d   MA R ,   wh ich   ar f u n d am e n tal  in   ass ess i n g   d r o wsi n ess   an d   y awn in g   f r eq u e n cy .   Alth o u g h   v ar io u s   lan d m ar k   d etec tio n   m eth o d s   ex is t,  b u d lib - 6 8   [ 2 6 ] [ 2 7 ] ,   p r e - tr ain ed   ML   m o d el,   h as b ee n   wi d ely   a d o p ted   d u to   its   lig h tweig h t n atu r an d   r ea s o n ab le  ac cu r ac y   ac r o s s   d iv er s f ac o r ien tatio n s .   Ho wev er ,   d lib - 6 8   is   h ig h ly   s en s itiv to   o cc lu s io n s   an d   lack s   ad ap tab ilit y   to   d y n am ic  f ac ial   ch an g es,  wh ich   af f ec ts   its   r o b u s tn ess   in   r ea l - wo r ld   d r iv in g   s ce n ar io s .   T h er ef o r e,   th p r o p o s ed   s tu d y   d ev elo p s   lig h tweig h y et  r o b u s f ac ial  lan d m ar k   d etec to r   u tili zin g   p r e - tr ain ed   C NN  f o r   f ea tu r e x tr ac tio n   an d   SVM   f o r   lan d m ar k   p r ed ictio n .   T h e   p r o p o s ed   ap p r o ac h   in teg r ate s   p u b licly   av ailab le   iB u g   3 0 0 - W   f ac lan d m ar d ataset  [ 2 6 ] ,   an d   c u s to m   d ata s et  f r o m   th p r ev io u s   m o d u le   u s ed   f o r   d r o wsi n ess   p r ed ictio n .   Sin ce   p u b licly   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 5 0 2 - 4 7 5 2   I n d o n esian   J   E lec  E n g   &   C o m p   Sci ,   Vo l.  39 ,   No .   1 ,   J u ly   20 25 592 - 6 0 2   596   av ailab le  d atasets   o f ten   lack   v ar iatio n s   in   d y n am ic  co n d itio n s ,   th cu s to m   d ataset  is   en r ich ed   with   d iv er s e   f ac ial  ex p r ess io n s ,   o cc lu s io n s   ( e. g . ,   m as k s ,   s u n g lass es),   an d   d if f er e n lig h tin g   co n d itio n s .   Her e,   Dlib   is   em p lo y ed   to   g e n er ate  g r o u n d - tr u th   f ac ial  lan d m ar k s   f o r   ea c h   im ag in   t h o u r   cu s to m   d at aset,  an d   th en   b o th   d atasets   ( iB u g   3 0 0 - W   an d   o u r   cu s to m   im ag d ataset)   ar e   co m b in ed   i n to   s in g le  co m p r eh en s iv d ataset,   co n s is tin g   two   class es  n am el y   im ag es  an d   la b els  ( co n tain in g   f ac ial  co o r d in ates) .   T h en   f o r   tr ain i n g   SVM   m o d el,   th e   d ataset  is   s p lit  in to   tr ain in g   ( 8 0 %),   v alid atio n   ( 1 0 %)  an d   test in g   ( 1 0 %)  s u b s ets.  Af ter war d s ,   th s tu d y   th en   p er f o r m s   f ea tu r ex tr ac tio n   o p e r atio n   u s in g   a   lig h tweig h R esNet - 1 8   m o d el  with   p r e - tr ain ed   I m ag eNe weig h ts .   Sin ce   R esNet - 1 8   is   n o r ea d ily   av aila b le  in   T en s o r Flo w,   we  cu s to m ize  R esNet - 5 0   b y   r ed u cin g   th n u m b e r   o f   lay er s   an d   r em o v i n g   u n n ec ess ar y   b o ttlen ec k   lay er s   b y   r e p l ac in g   th r ee   co n v o lu tio n al   lay er s   with   two   to   m ain tain   co m p u tatio n al  e f f icien cy   wh i le  p r eser v in g   f ea tu r ex tr ac ti o n   ca p ab ilit y .   T h e   ex tr ac ted   d ee p   f ea tu r es f r o m   R esNet - 1 8   f u r th er   s er v as o p tim ized   in p u t r ep r esen tatio n s   f o r   tr ain in g   th SVM  m o d el  to   p r ed ict   lan d m a r k   c o o r d in ates.  Facial  lan d m ar k   d etec tio n   is   f o r m u lated   as  r eg r ess io n   p r o b le m ,   wh er th g o al  is   to   p r ed ict  t h   an d     co o r d in ates  o f   f ac ial  k ey   p o i n ts   b ased   o n   e x tr ac ted   f ea tu r es.  I n   t h is   r eg ar d ,   f o r   a   g iv en   i n p u im a g I   th ex tr ac ted   f ea tu r e   v ec to r   F d   f r o m   t h C NN  m o d el  s er v es  as  th in p u t   to   th SVM  m o d el  th at   lear n s   f u n ctio n   : 2   th at  m a p s   ea ch   in p u t   f ea tu r e   v ec to r   to   p r ed icted   lan d m ar k   co o r d in ate  s u ch   th at:  ( ̂ = ( F ) =  + ) ,   wh er e,   ̂ = ( ̂ , ̂ )   r ep r esen ts   th p r ed icted   f ac ial   lan d m ar k   co o r d in ates  an d   W   an d   b   ar t h weig h ts   an d   b ias  p ar am eter s .   Sin ce   f ac ial  l an d m ar k   p r e d ictio n   in v o lv es  lear n in g   n o n - lin ea r   m ap p in g ,   th e   tr ain in g   o f   SV is   ca r r ied   o u t   co n s id er in g   R B k er n el,   wh ich   h elp s   to   tr an s f o r m   th f ea tu r s p ac in to   h i g h er - di m e n s io n al  r ep r esen tatio n ,   s u ch   th at:    ( , ) = e xp   (   | | | | 2 ) ,   wh er e,   ( , )   r ep r esen ts   th s im il ar ity   b etwe en   two   f ea tu r v ec to r s ,     is   tu n ab le   h y p er p ar am eter   th at  co n tr o ls   th wid th   o f   th Gau s s ian   k er n el  an d   | | | | 2   is   th s q u ar ed   E u clid ea n   d is tan ce   b etwe en   f ea tu r v ec to r s .   An o th er   h y p er p a r am eter   co n s id er ed   is   th r eg u lar izatio n   p ar am eter   ( c)   th at   co n tr o ls   th tr ad e - o f f   b etwe e n   ac h iev in g   lo er r o r   o n   t h tr ain in g   s et  an d   m in im izin g   m o d el  co m p lex it y   to   p r ev en o v er f itti n g .   On   th o th er   h a n d ,   a   to ler an ce   f ac to r     is   co n s id er ed   to   s p ec if ies  th m ar g in   o f   to le r an c e   f o r   p r ed ictio n   e r r o r s   in   r eg r ess io n   p r o b lem s   o f   f ac ial  co o r d in at es  p r ed ictio n .   T h er ef o r e,   th e   o b jectiv f u n ctio n   f o r   SVM  b ased   lan d m ar k   p r ed ictio n   m o d el  is   f o r m u lated   is   a s   f o llo ws:       [ min , 1 2 | | | | 2 + ma x ( 0 , | ̂ | ) = 1 ]     ( 2 )     W h er e,     an d   ̂   ar t h g r o u n d - tr u th   an d   p r e d icted   lan d m a r k   co o r d in ates,  is   th n u m b er   o f   tr ai n in g   s am p les  an d   th ter m   ma x ( 0 , | ̂ | ) ,   en f o r c es  th to ler an ce   m ar g in ,   th er e b y   en s u r in g   th at  p r ed ictio n s   with in     ar n o p en alize d .   On ce   SVM  m o d el  is   tr ain ed   th en   its   i s   ev alu ated   u s in g   th m ea n   s q u ar ed   er r o r   ( MSE )   o n   test   d ataset.   T h p r e d icted   lan d m ar k s   ar th en   u s e d   to   co m p u te  E AR   an d   MA R   as f o llo ws:        = | | 2 6 | | + | | 3 5 | |   2 × | | 1 4 | |   ( 3 )     W h er e,   1 4   d e n o tes  h o r izo n tal   e y lan d m ar k s ,   2 6   an d   3 5   ar th e   v er tical  ey e   lan d m a r k ,   | |     -   | |   is   th E u clid ea n   d is tan ce   b etwe e n   p o in ts     an d   .   Sin ce   th E AR   r em ain s   n ea r ly   co n s tan wh en   ey es  ar o p en   an d   r ap i d ly   d ec r ea s es d u r in g   a   b lin k ,   it ser v es a s   an   ef f ec tiv e   in d icato r   f o r   ey e   clo s u r d ete ctio n .     MAR = | | 2 8 | | + | | 3 7 | | + | | 4 6 | |   2 × | | 1 5 | |   ( 4 )     W h er e,   P1 ,   P5   →  h o r izo n tal  m o u th   co r n er   p o i n ts ,   P2 ,   P8   →  v er tical  u p p er   an d   lo wer   lip   p o in ts   ( o u ter ) ,   P3 ,   P7   →  v er tical  u p p e r   an d   lo we r   lip   p o i n ts   ( m id d le) ,   P4 ,   P6   →  v er tic al  u p p er   an d   lo wer   li p   p o in ts   ( in n er ) ,   an d   Pa−Pb   r ep r esen ts   th E u clid ea n   d is tan ce   b etwe en   two   p o in ts .     2 . 4 .     M ulti - s t a g decisi o n f us io n m ec ha nis m   T o   en s u r ac cu r ate  an d   r eliab l d r o wsi n ess   d etec tio n ,   th p r o p o s ed   s y s tem   im p lem en ts   m u lti - s tag d ec is io n   f u s io n   m ec h an is m   th at  co m b in es  DL - b ased   p r ed ict io n s   with   g eo m etr ic  th r esh o ld i n g   tech n iq u es.  T h is   ap p r o ac h   m in im izes  f alse  p o s itiv es  an d   f alse  n eg ati v es  b y   i n teg r atin g   th C NN  p r o b ab ilit y   s co r e   with   E AR   an d   MA R .   T h s y s tem   co n tin u o u s ly   m o n ito r s   E AR ,   MA R ,   an d   th C NN  p r o b ab ilit y   s co r e.   I f   an y   o f   th ese   m etr ics  ex ce ed   th eir   p r e d ef in e d   th r esh o ld s   f o r   s p ec if ied   n u m b er   o f   c o n s ec u tiv f r a m es,  an   aler is   tr ig g er ed .   T h p r ed ef i n ed   th r esh o l d   v alu es  an d   co n d itio n s   f o r   d ec is io n   f u s io n   ar s u m m ar ized   in   T a b le  3 .   Her e,   E AR   is   u s ed   to   d eter m in e   p r o lo n g ed   ey clo s u r e,   MA R   is   u s ed   to   d etec y awn in g ,   a n d   th C N p r o b ab ilit y   s co r e   ass es s es  th o v er all  lik elih o o d   o f   d r o wsi n ess   b ased   o n   f ac ial  f ea tu r an aly s is .   T h ese  co m b in ed   in d icato r s   Evaluation Warning : The document was created with Spire.PDF for Python.
I n d o n esian   J   E lec  E n g   &   C o m p   Sci     I SS N:   2502 - 4 7 5 2         R ea l - time  d r iver d r o w s in es s   d etec tio n   b a s ed   o n   in teg r a tive   …  ( Go w r is h a n ka r   S h iva   S h a n ka r a   C h a r i)   597   en s u r th at  tem p o r a r y   d is tr ac tio n s   o r   b r ief   b lin k s   d o   n o m is tak en ly   tr ig g e r   aler ts ,   th er eb y   im p r o v i n g   th e   s y s tem s   r o b u s tn ess .   I n   a d d itio n ,   a   co u n ter - b ased   ap p r o ac h   is   im p lem en ted   to   tr ac k   th e   n u m b er   o f   c o n s ec u ti v f r a m es  wh er E AR ,   MA R ,   o r   C NN   p r o b ab ilit y   ex ce ed   th ei r   r esp ec tiv th r esh o ld s .   E ac h   co u n ter   is   u p d ated   p er   f r am e,   e n s u r in g   t h at  o n l y   s u s tain ed   in d icato r s   o f   d r o wsi n e s s   lead   to   an   alar m .   T h is   p r e v en ts   f alse  alar m s   ca u s ed   b y   m o m e n t ar y   c h an g e s   in   f ac ial  ex p r ess io n ,   lig h tin g   co n d itio n s ,   o r   b r ie f   h ea d   m o v em en ts .   I f   an y   o f   th ese  co u n ter s   s u r p ass   th eir   d ef in ed   lim it,  th s y s tem   g en er ates  an   aler an d   lo g s   th ev en f o r   f u r th er   an aly s is .       T ab le  3 .   Mu lti - s tag d ec is io n   f u s io n   th r esh o l d s   M e t r i c   P u r p o se   Th r e s h o l d   C o n se c u t i v e   f r a mes   Ev a l u a t i o n   c r i t e r i a   EA R   D e t e c t p r o l o n g e d   e y e   c l o su r e   0 . 2 6   15   Tr i g g e r   a l e r t   i f   EA R   < 0 . 2 6   f o r   1 5   c o n se c u t i v e   f r a mes   M A R   I d e n t i f i e s   y a w n i n g   f r e q u e n c y   0 . 0 5   20   R e c o r d   y a w n   i f   M A R   > 0 . 0 5   f o r   2 0   c o n se c u t i v e   f r a mes   C N N   p r o b a b i l i t y   M e a su r e o v e r a l l   l i k e l i h o o d   o f   d r o w si n e ss   0 . 3 5   15   Tr i g g e r   a l e r t   i f   C N N   p r o b a b i l i t y   < 0 . 3   f o r   1 5   c o n se c u t i v e   f r a mes       3.   RE SU L T S AN D I SCU SS I O N   T h d esig n   an d   d ev elo p m en t o f   th e   s y s tem   was  ca r r ie d   o u t u s in g   th e   Py th o n   p r o g r am m in g   lan g u ag e ,   an d   th e x ec u tio n   o f   th m o d e l w as d o n o n   th An ac o n d d is tr ib u tio n   o n   a   W in d o ws 1 0   m ac h in e.     -   T h r esh o ld   s elec tio n   an d   ju s tific atio n bot h   s tatis tical  an aly s is   an d   em p ir ical  ex p er im en tati o n   wer u s ed   t o   d eter m in th cr iter ia  f o r   C N p r o b ab ilit y ,   E AR ,   an d   MA R .   Sev er al  th r esh o ld   v alu es  w er ex am in ed   in   th ea r ly   p h ases   o f   m o d el  b u il d in g   to   ass ess   th eir   ef f ec ts   o n   f alse  p o s itiv es  an d   f alse  n eg a tiv es.  B ased   o n   an   o p tim izatio n   p r o ce d u r e   m e an to   r ed u ce   d etec tio n   m is tak es,  th ese  th r esh o ld s   wer c h o s en .   Fo r   ea ch   o f   th in d icato r s   ( E AR ,   MA R ,   an d   C NN  p r o b ab ilit y ) ,   we  p er f o r m e d   a   r ec eiv er   o p e r atin g   ch ar ac te r is tic   ( R OC )   cu r v an aly s is   in   o r d e r   to   s tatis tically   s u p p o r th v al u es.  T h r o u g h   t h ese  ev alu atio n s ,   we  wer ab le   to   ch o o s th r esh o ld s   th at  o f f er ed   th b est  p o s s ib le  b alan ce   b etwe en   tr u p o s itiv r ate  ( T PR )   an d   f alse   p o s itiv r ate  ( FP R ) .   I n   o u r   te s d ataset,   th b est  cr iter ia  f o r   attain in g   lo f alse - p o s itiv r ates  an d   g o o ac cu r ac y   wer e   f o u n d   to   b E AR =0 . 2 6 ,   MA R =0 . 0 5 ,   an d   C NN  p r o b a b ilit y =0 . 3 5 .   I n   o r d er   to   m a k s u r e   o u r   m o d el' s   p er f o r m an ce   was  in   lin with   th m o s ad v an ce d   tech n iq u es  in   th is   f ield ,   we  also   ex am in e d   em p ir ical  r esear ch   th at   h ad   em p lo y ed   co m p ar ab le   th r e s h o ld s   f o r   f ac ial   lan d m a r k s   an d   d r o wsi n ess   d etec tio n   an d   m o d if ie d   th o s r esu lts .   -   T h r esh o ld   ev alu atio n cr o s s - v alid atio n   p r o ce d u r was  u s ed   to   f u r th er   r e f in th ass es s m en o f   th ese   th r esh o ld s .   W co n f ir m e d   th at  th ch o s en   th r esh o ld s   p r o d u ce d   t h b est  p o s s ib le  tr a d e - o f f   b etwe en   s en s itiv ity   an d   s p ec if icity   b y   ex am in in g   p r ec is io n - r ec all  c u r v es.  T h v alid atio n   p h ase' s   em p ir ical  d at a   v er if ied   th at   th th r esh o ld s   s elec ted   wer ap p r o p r iate  f o r   r e al - wo r ld   s itu atio n s   wh er e   p r o m p an d   p r ec is e   id en tific atio n   o f   d r iv e r   f at ig u e   is   ess en tial.   T h p er f o r m an ce   e v alu atio n   o f   th s u g g ested   d r o wsi n ess   p r ed ictio n   m o d el  is   s h o wn   in   Fig u r 2 .   On o f   th m ain   j u s tific atio n s   f o r   ch o o s in g   E f f icien tNetV2 B 0   is   its   co m p o u n d   s ca lin g   ap p r o ac h ,   wh ich   ju d icio u s ly   m a x im izes  th m o d el' s   d ep th ,   w id th ,   an d   r eso lu t io n .   T h is   allo ws  f o r   h ig h   ac cu r ac y   s ca lin g   o f   th e   m o d el  with o u t a   s ig n if ican t in cr ea s in   co m p u tatio n al  co m p l ex ity .   Sin ce   d r iv er   d r o wsi n ess   d etec tio n   is   r ea l - tim p r o ce s s   wh er ac cu r ac y   a n d   s p ee d   ar cr u cial,   E f f icien t NetV2 B 0   o f f er s   g r ea t b alan c b etwe en   th two .   T h co m p a r is o n   with   o th e r   m o d els ar as f o llo ws:   -   R esNet:   b ec au s o f   its   d ee p   ar ch itectu r an d   r esid u al  c o n n ec tio n s ,   R esNet  ten d s   to   d em an d   g r ea ter   p r o ce s s in g   r eso u r ce s   ev e n   if   it   is   p o p u lar   an d   h as  s h o wn   s u c ce s s   in   DL   ap p licatio n s .   R esN et  m ig h n o b e   as  ef f ec tiv as  E f f icien tNetV2 B 0   in   r ea l - tim ap p licatio n s   s u ch   as  s leep   d etec tio n   in   ter m s   o f   co m p u te  co s t a n d   in f er e n ce   tim e,   wh ich   is   cr u cial  f o r   g u ar an teein g   lo w - laten cy   an s wer s .   -   Mo b ileNet:  co m p ar ed   to   m o r e   s o p h is tica ted   m o d els,  Mo b ileNet  is   f a s ter   an d   b etter   s u ited   f o r   d ev ices w ith   less   r eso u r ce s ,   b u t   it  also   l o s es  s o m ac cu r ac y .   Fo r   th i s   wo r k ,   E f f icien tNetV2 B 0   w as  ch o s en   o v e r   Mo b ileNet  d u to   th r eq u ir e m en f o r   h ig h   ac cu r ac y   in   id e n tify in g   s m all  in d icato r s   o f   d r o wsi n ess ,   s u ch   as   s lig h t e y clo s es o r   ch an g es in   h ea d   p o s itio n .   -   Vis io n   t r an s f o r m er s   ( ViT ) p ar ticu lar ly   wh en   wo r k in g   with   b ig   d atasets ,   v is io n   tr an s f o r m er s   h av e   d em o n s tr ated   ex c ep tio n al  p er f o r m an ce   i n   p ictu r e   class if ica tio n   task s .   T o   f u n ctio n   at  th ei r   b est,  t h ey   ar e   s aid   to   n ee d   a   lo o f   d ata  a n d   lo o f   p r o ce s s in g   p o wer .   E f f icien tNetV2 B 0   o f f er s   a   b e tter   o p tio n   th an   v is io n   tr an s f o r m e r s   b ec au s t h s tu d y ' s   d ataset  is   r elativ ely   s m all  an d   its   o b jectiv is   to   o b tain   ef f ec tiv e ,   r ea l - tim p er f o r m an ce .   T h co n f u s io n   m at r ix ,   d is p lay ed   in   Fig u r e   2 ( a ) ,   d em o n s tr ate s   th m o d el' s   ac cu r ac y   in   i d en tify in g   th e   d r iv er ' s   s tatu s   as  eith er   ac tiv o r   s leep y .   T h e   m o d el   h as  h i g h   tr u p o s itiv an d   tr u n eg a tiv r ate,   with   f ew  Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 5 0 2 - 4 7 5 2   I n d o n esian   J   E lec  E n g   &   C o m p   Sci ,   Vo l.  39 ,   No .   1 ,   J u ly   20 25 592 - 6 0 2   598   f alse  p o s itiv es  an d   f alse  n e g ativ es,  ac co r d in g   to   th c o n f u s io n   m atr ix .   T h e   ac cu r ac y   o f   th e   s u g g ested   im p r o v e d   E f f icien tNet  is   co n tr asted   with   th at  o f   o th er   p o p u lar   C NN  ar ch itectu r es,  s u c h   as  Den s eNe t1 2 1 ,   VGG - 1 6 ,   an d   E f f icien tNet,   i n   Fig u r 2 ( b ) .   As  d em o n s tr at ed ,   th s u g g ested   m o d el  o u tp er f o r m s   co m p etin g   ar ch i tectu r es  b y   s ig n i f ican m ar g in   a n d   attain s   th m a x im u m   ac cu r ac y .   T h p r o p o s ed   m o d el  r etain s   h ig h   F1 - s co r e,   g u ar an teein g   th at  b o th   p r ec is io n   an d   r ec all  ar e   o p tim ized   an d   v er if y in g   its   r o b u s tn ess   in   d etec tin g   d r o wsi n ess ,   as  s h o wn   in   th co m p ar ativ s tu d y   o f   th F1 - s co r in   Fig u r 2 ( c ) .   B ec au s o f   its   ef f ec tiv en ess   an d   p e r f o r m an ce   b ala n ce ,   E f f icien tNetV2 B 0   was  s elec ted   as  th f o u n d atio n al  m o d el  f o r   d r iv er   d r o wsi n ess   d etec tio n   in   th is   in v esti g atio n .   E f f icien tNetV2 B 0   is   lig h tweig h C NN  ar ch itectu r e   th at  u s es  in v er ted   r esid u al  b lo c k s   an d   m o b ile   b o ttlen ec k   co n v o l u tio n s   ( MBC o n v )   to   ac h iev g o o d   p er f o r m an ce   at  lo w   co m p u tatio n al  co s t.  Fo r   r ea l - t im ap p licatio n s ,   th is   p ar ad ig m   is   p er f ec t,  esp ec ially   in   r e s o u r ce - co n s tr ain e d   s ettin g s   lik em b ed d e d   s y s tem s   o r   m o b ile   d ev ices,  w h ich   ar co m m o n   ap p licatio n s   f o r   d r iv e r   m o n ito r in g   s y s tem s .   E f f icien tNetV2 B 0   is   g o o d   o p tio n   f o r   th is   ap p licat io n   s in ce   it  p r o v id es  th b est  p o s s ib le  b alan ce   o f   s p ee d ,   ac cu r ac y ,   a n d   ef f icien c y   f o r   d etec tin g   d r iv er   s leep in e s s .   T h an aly s is   in   F i g u r 2   d e m o n s tr ates  th at  th p r o p o s ed   DL   m o d el   o u t p er f o r m s   o th er   DL   m o d els,  ac h iev in g   9 8 ac cu r ac y   a n d   F1 - s co r e.   T h c o n f u s io n   m atr ix   co n f ir m s   t h at  th e   m o d el  ef f ec tiv el y   d is tin g u is h es  b etwe en   d r o wsy   an d   ac tiv e   s tates,  with   m in im al   m is class if icatio n s .   W h en   co m p ar in g   with   Den s eNe t1 2 1 ,   VGG - 1 6 ,   an d   E f f icien tN et,   th f in e - tu n ed   E f f icien tNet  ex h ib its   s u p er io r   p er f o r m an ce   with   r ed u ce d   f als p o s itiv es,  en s u r in g   r o b u s t d r o wsi n ess   d etec tio n   ac r o s s   d iv er s f ac ial  v a r iatio n s   an d   en v ir o n m en tal  co n d itio n s .   Fig u r 3   d em o n s tr ates  p er f o r m an ce   an al y s is   o f   th p r o p o s ed   SVM  b ased   f ac ia l la n d m ar k   d etec tio n .               ( a)   ( b )           ( c)     Fig u r 2 .   Per f o r m an c ev alu at io n   o f   t h p r o p o s ed   d r o wsi n ess   p r ed ictio n   m o d el,   in clu d in g :   ( a)   co n f u s io n   m atr ix ,   ( b )   co m p ar ativ an al y s is   o f   ac cu r ac y ,   an d   ( c)   co m p ar ativ an aly s is   o f   F1 - s co r e   Evaluation Warning : The document was created with Spire.PDF for Python.
I n d o n esian   J   E lec  E n g   &   C o m p   Sci     I SS N:   2502 - 4 7 5 2         R ea l - time  d r iver d r o w s in es s   d etec tio n   b a s ed   o n   in teg r a tive   …  ( Go w r is h a n ka r   S h iva   S h a n ka r a   C h a r i)   599   T h ef f ec tiv en ess   o f   th e   SVM - b ased   f ac ial   lan d m a r k   p r ed ic tio n   m o d el  is   ass ess ed   in   Fig u r 3 .   T h e   m o d el' s   ab ilit y   to   c o r r ec tly   an ticip ate  im p o r tan t   f ac ial  f ea tu r es  in clu d in g   t h e   ey es,  n o s e,   a n d   m o u th   is   s ee n   i n   Fig u r 3 ( a) ,   w h er t h p r ed ict ed   lan d m ar k s   ar d is p lay e d   o n   s am p le   im ag e.   T h e   m o d el ' s   ab ilit y   to   h an d le   v ar iatio n s   in   f ac e x p r ess io n s   is   d em o n s tr ated   b y   th g o o d   a lig n m en b etwe en   t h p r e d icted   an d   ac t u al  f ac ial   lan d m ar k s .   T h e   MSE   an aly s is   f o r   th e   test   an d   v alid atio n   d a tasets   is   s h o wn   in   Fig u r e   3 ( b ) .   Hig h   ac cu r ac y   i n   f ac lan d m ar k   p r ed ictio n   is   in d icate d   b y   th lo MSE   v alu es  f o r   b o th   d atasets ,   wh ich   ar 0 . 0 0 3 9 8   f o r   v alid atio n   an d   0 . 0 0 3 9 7   f o r   t esti n g .   L ast  b u n o leas t,  Fi g u r 3 ( c )   co n tr asts   th p r o ce s s in g   tim es  o f   th s u g g ested   SVM  m o d el  a n d   Dlib .   I d e m o n s tr ates  th at,   d esp ite  m in o r   co m p u tatio n al  tim in cr ea s ( 0 . 3 2 0 s   v s .   0 . 2 8 0 s )   f o r   th SVM - b as ed   m o d el,   th is   s m all  d elay   is   co m p en s ated   f o r   b y   th en h an ce d   ac cu r ac y   a nd  r o b u s tn ess   u n d e r   v ar io u s   f ac ia l c o n d itio n s .   T h n ex Fig u r 4   s h o ws  an aly s is   with   r esp ec to   r ea l - ti m test in g   o f   th p r o p o s ed   d r o wsi n ess   d etec tio n   m o d el  o n   s u b ject  u n d er   d if f er e n co n d itio n s .   T h f ir s im ag in d icate s   an   al er s tate,   wh er th m o d el  co r r e ctly   id en tifie s   n o   s ig n s   o f   d r o wsi n ess .   T h s ec o n d   im ag s ig n alin g   y awn in g   ev en an d   s y s tem   tr ig g er s   an   aler t w ith o u t w ak u p .   On   th e   o th er   h an d ,   th th i r d   im ag class if y in g   th s u b jec t a s   awa k e.   W ex p an d   th p er f o r m an ce   a n aly s is   to   in clu d s en s iti v ity ,   s p ec if icity ,   an d   AUC - R OC   in   a d d itio n   to   p r ec is io n   an d   r ec all  in   o r d e r   to   g iv th o r o u g h   ass ess m en o f   th s u g g ested   ap p r o ac h .   T h ese  m ea s u r es   p r o v id m o r im p ar tial  ev alu atio n   o f   th m o d el' s   p er f o r m an ce ,   esp ec ially   wh en   it   co m es  to   b in ar y   class if ic atio n   task s   lik d etec tin g   d r iv er   d r o wsi n ess .   T h m ajo r   p er f o r m an ce   in d icato r s   f o r   th s u g g ested   m o d el  ar e   co m p iled   in   th a cc o m p an y in g   ta b le  ( T a b le  4 ) ,   wh ich   also   c o n tr asts   th em   with   th o s o f   o th er   cu ttin g - ed g e   DL   m o d els cu r r e n tly   in   u s e.   T h s u g g ested   m o d el   s u cc ess f u lly   b alan ce s   p r ec is io n   ( 0 . 9 8 ) ,   r ec all  ( 0 . 9 8 ) ,   s en s itiv ity   ( 0 . 9 8 ) ,   an d   s p ec if icity   ( 0 . 9 8 ) ,   as  d e m o n s tr ated   in   T ab le   4 ,   d em o n s tr atin g   its   r esil ien ce   in   ac cu r ately   id e n tify in g   b o t h   aler t   an d   d r o wsy   s tates.  T h e   m o d el's  o u ts tan d in g   ab ilit y   to   d i s cr im in ate  b etwe en   t h two   class es  is   f u r th er   ev id en ce d   b y   its   AUC - R OC   s co r o f   0 . 9 9 .   T h e   s u g g ested   m o d el  p er f o r m s   b etter   th an   o t h er   in d u s tr y - lead i n g   tech n iq u es  lik e   Den s eNe t1 2 1 ,   VGG - 1 6 ,   a n d   ef f icien tN et  in   e v er y   im p o r tan t   p er f o r m an ce   in d icato r ,   d em o n s tr atin g   its   ex ce p tio n al  ef f icac y   in   d etec tin g   d r iv er   d r o wsi n ess .   Key   f in d in g s   o f   th is   s tu d y   ar as  f o llo ws:   h y b r id   AI - d r iv en   f r am ewo r k   f o r   r ea l - tim d r iv er   d r o wsi n ess   d etec tio n   is   p r ese n ted   in   t h is   p ap er ,   with   a n   a s to n is h in g   9 8 ac c u r ac y   r ate   in   d if f er en tiatin g   b etwe en   ac tiv an d   d r o wsy   s tates.  s tr o n g   an d   d ep e n d ab le   s o lu tio n   is   p r o v id ed   b y   th e   m u lti - s tag d ec is io n   f u s io n   tech n iq u e,   wh ich   co m b in es  f ac ial  lan d m ar k   d etec ti o n   with   DL - b ased   f ac ial  an al y s is .   T h ap p r o ac h   lo wer s   f alse  alar m s   an d   g u ar a n tees  th at  o n l y   p e r s is ten s leep in ess   in d icato r s   ca u s aler ts   b y   co m b in in g   C NN  p r o b a b ilit y   r atin g s ,   E AR ,   a n d   m o u th   asp ec r atio   ( MA R ) .   T h s u g g ested   a p p r o ac h   is   n o w   at  th f o r ef r o n o f   d r iv er   s af ety   tec h n o lo g y   th a n k s   to   th ese  f in d in g s .   W h en   co m p ar e d   to   ea r lier   r es ea r ch ,   o u r   m eth o d   o v er co m es   th s h o r tco m in g s   o f   ea r lier   t ec h n iq u es   b y   r ec o g n izin g   e n v ir o n m en ta ch an g es  an d   f ac ial  o cc lu s io n s ,   wh ich   f r eq u en tly   m a k it  m o r d if f icu lt  to   d etec d r o wsi n ess   in   r ea l - wo r ld   s itu atio n s .   Ou r   m o d el  u s es  m o r d y n a m ic  f u s io n   ap p r o ac h ,   in c lu d in g   b o th   f ac ial  g eo m etr y   i n f o r m atio n   an d   DL   p r e d ictio n s ,   in   co n tr ast  to   co n v en tio n al  s y s tem s   th at  ju s u s b asic   th r esh o ld s   o r   ce r tain   f ac ial  tr aits .   Un d er   v ar iety   o f   d r iv i n g   cir cu m s tan ce s ,   th is   h y b r id   m eth o d   im p r o v es   ac cu r ac y   an d   r esil ien ce .   I n   s u m m a r y ,   th is   s tu d y   s h o ws  h o w   AI - p o wer e d   s y s tem s   m ig h e n h an ce   d r iv er   s af ety   b y   p r ec is ely   id e n tify in g   tire d n ess   in   r ea tim e.   As  tech n o lo g y   d ev elo p s ,   it  m ay   b a b le  to   s ig n if ican tly   r ed u ce   d r iv er   f atig u e - r elate d   co llis io n s ,   u ltima tely   m ak in g   r o ad way s   s af er   ev er y wh e r e.             ( a)   ( b )   ( c)     Fig u r 3 .   Per f o r m an c ev alu at io n   o f   t h p r o p o s ed   SVM  b ase d   l an d m ar k   p r ed ictio n ,   i n clu d i n g ( a)   p r ed icted   f ac ial  lan d m ar k ,   ( b )   MSE   an al y s is ,   an d   ( c)   p r o ce s s in g   tim a n aly s is       Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 5 0 2 - 4 7 5 2   I n d o n esian   J   E lec  E n g   &   C o m p   Sci ,   Vo l.  39 ,   No .   1 ,   J u ly   20 25 592 - 6 0 2   600           Fig u r 4 .   Dem o n s tr ates r ea l - tim test in g   o f   th p r o p o s ed   d r o wsi n ess   d etec tio n   m o d el       T ab le  4 .   C o m p a r is o n   o f   p er f o r m an ce   m etr ics f o r   d if f er e n t m o d els   M o d e l   P r e c i s i o n   R e c a l l   S e n s i t i v i t y   S p e c i f i c i t y   F1 - S c o r e   AUC - R O C   P r o p o se d   m o d e l   0 . 9 8   0 . 9 8   0 . 9 8   0 . 9 8   0 . 9 8   0 . 9 9   D e n seN e t 1 2 1   0 . 9 4   0 . 9 6   0 . 9 5   0 . 9 4   0 . 9 5   0 . 9 7   VGG - 16   0 . 9 2   0 . 9 4   0 . 9 3   0 . 9 2   0 . 9 3   0 . 9 6   Ef f i c i e n t N e t   0 . 9 5   0 . 9 7   0 . 9 6   0 . 9 5   0 . 9 6   0 . 9 8       4.   CO NCLU SI O N   T h is   s tu d y   s u g g ested   h y b r i d   AI - d r iv e n   ar ch itectu r th at  co m b in es  m u lti - s tag d ec is io n   f u s io n   m ec h an is m   with   DL - b ased   p r ed ictio n s   f o r   r ea l - tim d r iv er   s leep in ess   d etec tio n .   T h r o u g h   th in teg r atio n   o f   f ac ial  lan d m ar k   m o n ito r in g   with   ML - b ased   f ac ial  lan d m ar k   p r ed ictio n   m o d el,   th e   s u g g ested   s y s tem   ac h iev ed   a   h ig h   d etec tio n   ac c u r ac y   o f   9 8 %,  p r o v id in g   d e p e n d ab le  ca te g o r izatio n   b etwe en   d r o wsy   an d   ac tiv e   s tates.  Ad d itio n ally ,   th co u n ter - b ased   m eth o d   o f   tr ac k in g   s u cc ess iv f r am es  g u ar an tees  t h at  an   aler is   o n l y   tr ig g er ed   b y   p er s is ten s ig n s   o f   d r o wsi n ess ,   m in im izin g   f als alar m s   b r o u g h o n   b y   f leetin g   h ea d   m o v em e n ts   o r   ch an g es  in   f ac ial  ex p r ess io n .   T h d ev ice  n o tifie s   th d r i v er   in   r ea tim wh en   an   aler is   s et  o f f ,   an d   all  in s tan ce s   o f   d r o wsi n ess   ar r e co r d ed   f o r   s tu d y   af ter   th d r i v e.     Fu tu r r esear ch   m u s ad d r ess   f ew  s h o r tco m i n g s ,   ev en   if   th s u g g ested   ap p r o ac h   h as  g r ea ac cu r ac y   an d   r esil ien ce   in   co n tr o lled   s e ttin g s .   First,  h ar s h   en v ir o n m e n tal  co n d itio n s   lik in ten s g lar e,   p o o r   lig h tin g ,   o r   s ev er wea t h er   m ig h alter   th e   m o d el' s   p er f o r m an ce   b y   a f f ec tin g   th ac cu r ac y   o f   lan d m a r k   p r ed ictio n   a n d   th e   v is ib ilit y   o f   f ac ial  f ea tu r es.  Fu r th er m o r e,   th e   s y s tem   is   p r i m ar ily   d ep e n d en t   o n   f ac ial  la n d m ar k   d etec tio n ,   wh ich   m ay   h a v t r o u b le  d etec tin g   o cc l u s io n s   ( s u ch   a s   lo n g   h air ,   s u n g lass es,  o r   f ac m ask s ) .   T o   im p r o v e   th e   m o d el' s   r esil ien ce   in   th ese  d if f icu lt  cir cu m s tan ce s ,   m o r i n v esti g atio n   is   r eq u ir ed .   Fu tu r d ir ec tio n s   f o r   th s y s tem   co u ld   in clu d ad d in g   m o r s en s o r s ,   i n clu d in g   ey e - tr ac k in g   d ev ices  o r   in - ca r   ca m er a s ,   to   b etter   id en tify   in d icato r s   o f   tire d n ess   wh en   f ac o cc l u s io n s   ar p r es en t.  I n   o r d er   t o   f ac ilit ate  r ea l - tim d ep lo y m e n t in   au to m o tiv s y s tem s ,   th m o d e ca n   also   b tu n ed   f o r   q u ick e r   p r o ce s s in g .   T h cr ea tio n   o f   ad ap tiv r u le - b ased   s y s tem s   th at  d y n am ica lly   m o d if y   d etec tio n   th r esh o ld s   in   r e s p o n s to   cu r r en en v ir o n m en tal  co n d itio n s ,   s u ch   lig h tin g   o r   t h d r iv er ' s   p o s itio n ,   m a y   b e   th e   s u b ject  o f   f u tu r s tu d y .   Fu r th e r m o r e,   b r o ad e n in g   t h d ataset  to   en co m p ass   m o r v ar ied   an d   a u th en tic  d r iv i n g   s ce n ar io s ,   in c lu d in g   n i g h ttime   o r   e x ten d e d   r id es,  m ay   im p r o v e   th m o d el' s   ca p ac ity   f o r   g en er aliza tio n .       F UNDING   I NF O R M A T I O N   T h au th o r s   s tate  th at  n o   f u n d i n g   was in v o lv e d   in   th is   r esear ch .       AUTHO CO NT RI B UT I O NS ST A T E M E N T     Na m o f   Aut ho r   C   M   So   Va   Fo   I   R   D   O   E   Vi   Su   P   Fu   Go wr is h an k ar   Sh iv Sh an k ar C h ar                               J y o th i A r co t Pr ash an t                                 Evaluation Warning : The document was created with Spire.PDF for Python.
I n d o n esian   J   E lec  E n g   &   C o m p   Sci     I SS N:   2502 - 4 7 5 2         R ea l - time  d r iver d r o w s in es s   d etec tio n   b a s ed   o n   in teg r a tive   …  ( Go w r is h a n ka r   S h iva   S h a n ka r a   C h a r i)   601   C     C o n c e p t u a l i z a t i o n   M     M e t h o d o l o g y   So     So f t w a r e   Va     Va l i d a t i o n   Fo     Fo r mal   a n a l y s i s   I     I n v e s t i g a t i o n   R     R e so u r c e s   D   :   D a t a   C u r a t i o n   O   :   W r i t i n g   -   O r i g i n a l   D r a f t   E   :   W r i t i n g   -   R e v i e w   &   E d i t i n g   Vi     Vi su a l i z a t i o n   Su     Su p e r v i s i o n   P     P r o j e c t   a d mi n i st r a t i o n   Fu     Fu n d i n g   a c q u i si t i o n         CO NF L I C T   O F   I N T E R E S T   ST A T E M E NT   Au th o r s   s tate  n o   co n f lict o f   in t er est.       DATA AV AI L AB I L I T Y   T h d atasets   u s ed   an d   an aly z ed   d u r i n g   th is   s tu d y   ar av ail ab le  f r o m   t h co r r esp o n d i n g   a u th o r   u p o n   r ea s o n ab le  r eq u est.        RE F E R E NC E S   [ 1 ]     D .   A l b a l a t e   a n d   X .   F a g e d a ,   C o n g e st i o n ,   r o a d   safe t y ,   a n d   t h e   e f f e c t i v e n e ss   o f   p u b l i c   p o l i c i e i n   u r b a n   a r e a s,”   S u st a i n a b i l i t y ,   v o l .   1 1 ,   n o .   1 8 ,   p .   5 0 9 2 ,   2 0 1 9 ,   d o i :   1 0 . 3 3 9 0 / s u 1 1 1 8 5 0 9 2 .   [ 2 ]   E.   B a s i l i   e t   a l . ,   T h e   i mp a c t   o f   r o a d   a c c i d e n t s o n   h o s p i t a l   a d mi ss i o n s a n d   t h e   p o t e n t i a l   o f   A D A S   i n   c o n t a i n i n g   h e a l t h   e x p e n d i t u r e :   Ev i d e n c e   f r o m Pi e d mo n t   d a t a ,   T ra n s p .   Re s.   I n t e r d i s c i p .   Pe rs p e c t . ,   v o l .   2 5 ,   2 0 2 4 ,   d o i :   1 0 . 1 0 1 6 / j . t r i p . 2 0 2 4 . 1 0 1 1 2 5 .   [ 3 ]   A .   C h o p r a ,   N .   K u mar,  a n d   R .   K .   K a u s h a l ,   A   c o m p r e h e n si v e   a n a l y si o f   d r i v e r   d r o w si n e ss  d e t e c t i o n   t e c h n i q u e s,   i n   Ap p l i e d   D a t a   S c i e n c e   a n d   S m a r t   S y s t e m s ,   L o n d o n :   C R C   P r e ss,   2 0 2 4 ,   p p .   1 3 4 1 3 9 .   d o i :   1 0 . 1 2 0 1 / 9 7 8 1 0 0 3 4 7 1 0 5 9 - 1 9 .   [ 4 ]   D .   g e r ,   E .   P e p i n ,   a n d   G .   C a e t a n o ,   Th e   e c o n o mi c   b u r d e n   o f   s l e e p y   d r i v i n g ,   S l e e p   M e d .   C l i n . ,   v o l .   1 4 ,   n o .   4 ,   p p .   4 2 3 4 2 9 ,   2 0 1 9 ,   d o i :   1 0 . 1 0 1 6 / j . j sm c . 2 0 1 9 . 0 7 . 0 0 4 .   [ 5 ]   M .   K a m b o j   e t .   a l . A d v a n c e d   d e t e c t i o n   t e c h n i q u e f o r   d r i v e r   d r o w si n e s s:   a   c o m p r e h e n s i v e   r e v i e w   o f   ma c h i n e   l e a r n i n g ,   d e e p   l e a r n i n g ,   a n d   p h y s i o l o g i c a l   a p p r o a c h e s,”   Mu l t i m e d .   T o o l Ap p l . ,   2 0 2 4 ,   d o i :   1 0 . 1 0 0 7 / s 1 1 0 4 2 - 0 2 4 - 1 9 7 3 8 - z.   [ 6 ]   G .   S i k a n d e r   a n d   S .   A n w a r ,   D r i v e r   f a t i g u e   d e t e c t i o n   s y s t e ms :   A   r e v i e w ,   I EEE  T r a n s.  I n t e l l .   T r a n sp .   S y st . ,   v o l .   2 0 ,   n o .   6 ,   p p .   2 3 3 9 2 3 5 2 ,   2 0 1 9 ,   d o i :   1 0 . 1 1 0 9 / t i t s. 2 0 1 8 . 2 8 6 8 4 9 9 .   [ 7 ]   A .   A .   S a l e e m   e t .   a l . ,   A   sy s t e m a t i c   r e v i e w   o f   p h y si o l o g i c a l   s i g n a l s - b a se d   d r i v e r   d r o w si n e ss   d e t e c t i o n   s y st e ms,   C o g n .   N e u r o d y n . v o l .   1 7 ,   p p .   1 2 2 9 1 2 5 9 ,   2 0 2 3 ,   d o i :   1 0 . 1 0 0 7 / s 1 1 5 7 1 - 0 2 2 - 0 9 8 9 8 - 9.   [ 8 ]   J.  V i c e n t e ,   P .   La g u n a ,   A .   B a r t r a ,   a n d   R .   B a i l ó n ,   D r o w s i n e ss d e t e c t i o n   u s i n g   h e a r t   r a t e   v a r i a b i l i t y ,   Me d .   B i o l .   E n g .   C o m p u t . ,   v o l .   5 4 ,   n o .   6 ,   p p .   9 2 7 9 3 7 ,   2 0 1 6 ,   d o i :   1 0 . 1 0 0 7 / s 1 1 5 1 7 - 0 1 5 - 1 4 4 8 - 7.   [ 9 ]   A .   S a h a y a d h a s,  K .   S u n d a r a j ,   a n d   M .   M u r u g a p p a n ,   D r o w si n e ss   d e t e c t i o n   d u r i n g   d i f f e r e n t   t i m e o f   d a y   u s i n g   m u l t i p l e   f e a t u r e s,   Au st ra l a s .   P h y s .   E n g .   S c i .   Me d . ,   v o l .   3 6 ,   n o .   2 ,   p p .   2 4 3 2 5 0 ,   2 0 1 3 ,   d o i :   1 0 . 1 0 0 7 / s 1 3 2 4 6 - 0 1 3 - 0 2 0 0 - 6.   [ 1 0 ]   M .   S h a h b a k h t i   e t   a l . ,   S i m u l t a n e o u e y e   b l i n k   c h a r a c t e r i z a t i o n   a n d   e l i mi n a t i o n   f r o l o w - c h a n n e l   p r e f r o n t a l   EEG   s i g n a l s   e n h a n c e d r i v e r   d r o w s i n e ss  d e t e c t i o n ,   I E EE  J .   Bi o m e d .   H e a l t h   I n f o rm . ,   v o l .   2 6 ,   n o .   3 ,   p p .   1 0 0 1 1 0 1 2 ,   2 0 2 2 ,   d o i :   1 0 . 1 1 0 9 / j b h i . 2 0 2 1 . 3 0 9 6 9 8 4 .   [ 1 1 ]   K .   F u j i w a r a ,   H .   I w a mo t o ,   K .   H o r i ,   a n d   M .   K a n o ,   D r i v e r   d r o w si n e s d e t e c t i o n   u s i n g   R - R   i n t e r v a l   o f   e l e c t r o c a r d i o g r a m   a n d   se l f - a t t e n t i o n   a u t o e n c o d e r ,   I E EE  T r a n s.  I n t e l l .   V e h . ,   v o l .   9 ,   n o .   1 ,   p p .   2 9 5 6 2 9 6 5 ,   2 0 2 4 ,   d o i :   1 0 . 1 1 0 9 / t i v . 2 0 2 3 . 3 3 0 8 5 7 5 .   [ 1 2 ]     J.  B a i   e t   a l . ,   Tw o - s t r e a s p a t i a l t e m p o r a l   g r a p h   c o n v o l u t i o n a l   n e t w o r k f o r   d r i v e r   d r o w s i n e ss  d e t e c t i o n ,   I EEE   T ra n s .   C y b e rn . v o l .   5 2 ,   n o .   1 2 ,   p p .   1 3 8 2 1 1 3 8 3 3 ,   2 0 2 2 ,   d o i :   1 0 . 1 1 0 9 / t c y b . 2 0 2 1 . 3 1 1 0 8 1 3 .   [ 1 3 ]   R .   F l o r e z   e t .   a l . ,   A   C N N - b a s e d   a p p r o a c h   f o r   d r i v e r   d r o w si n e ss   d e t e c t i o n   b y   r e a l - t i me   e y e   st a t e   i d e n t i f i c a t i o n ,   Ap p l .   S c i .   ( B a se l ) v o l .   1 3 ,   n o .   1 3 ,   p .   7 8 4 9 ,   2 0 2 3 ,   d o i :   1 0 . 3 3 9 0 / a p p 1 3 1 3 7 8 4 9 .   [ 1 4 ]   C .   B .   S .   M a i o r ,   M .   J.   d a C .   M o u r a ,   J.  M .   M .   S a n t a n a ,   a n d   I .   D .   Li n s,  R e a l - t i m e   c l a ss i f i c a t i o n   f o r   a u t o n o mo u d r o w si n e ss   d e t e c t i o n   u si n g   e y e   a s p e c t   r a t i o ,   Ex p e rt   S y s t .   Ap p l . ,   v o l .   1 5 8 ,   n o .   1 1 3 5 0 5 ,   p .   1 1 3 5 0 5 ,   2 0 2 0 ,   d o i :   1 0 . 1 0 1 6 / j . e sw a . 2 0 2 0 . 1 1 3 5 0 5 .   [ 1 5 ]   W .   A l K i s h r i ,   A .   A b u a l k i sh i k ,   a n d   M .   A l - B a h r i ,   E n h a n c e d   i m a g e   p r o c e ssi n g   a n d   f u z z y   l o g i c   a p p r o a c h   f o r   o p t i m i z i n g   d r i v e r   d r o w s i n e ss  d e t e c t i o n ,   A p p l .   C o m p u t .   I n t e l l .   S o f t   C o m p u t . ,   v o l .   2 0 2 2 ,   p p .   1 1 4 ,   2 0 2 2 ,   d o i :   1 0 . 1 1 5 5 / 2 0 2 2 / 9 5 5 1 2 0 3 .   [ 1 6 ]   R .   K .   S h u k l a ,   A .   K .   T i w a r i ,   a n d   A .   K .   J h a ,   A n   e f f i c i e n t   a p p r o a c h   o f   f a c e   d e t e c t i o n   a n d   p r e d i c t i o n   o f   d r o w si n e ss  u s i n g   S V M ,   Ma t h .   Pr o b l .   E n g . ,   v o l .   2 0 2 3 ,   n o .   1 ,   2 0 2 3 ,   d o i :   1 0 . 1 1 5 5 / 2 0 2 3 / 2 1 6 8 3 6 1 .   [ 1 7 ]   A .   K .   B i sw a l ,   D .   S i n g h ,   B .   K .   P a t t a n a y a k ,   D .   S a ma n t a ,   a n d   M . - H .   Y a n g ,   I o T‐ b a se d   s mart   a l e r t   s y s t e f o r   d r o w sy   d r i v e r   d e t e c t i o n ,   W i re l .   C o m m u n .   Mo b .   C o m p u t . ,   v o l .   2 0 2 1 ,   n o .   1 ,   p p .   1 1 3 ,   2 0 2 1 ,   d o i :   1 0 . 1 1 5 5 / 2 0 2 1 / 6 6 2 7 2 1 7 .   [ 1 8 ]   H .   La m a a z i ,   A .   A l q a ss a b ,   R .   A .   F a d u l ,   a n d   R .   M i z o u n i ,   S mart   e d g e - b a se d   d r i v e r   d r o w s i n e ss  d e t e c t i o n   i n   m o b i l e   c r o w d s o u r c i n g ,   I EEE  A c c e ss ,   v o l .   1 1 ,   p p .   2 1 8 6 3 2 1 8 7 2 ,   2 0 2 3 ,   d o i :   1 0 . 1 1 0 9 / a c c e ss . 2 0 2 3 . 3 2 5 0 8 3 4 .   [ 1 9 ]   L.   Zh a n g ,   H .   S a i t o ,   L.   Y a n g ,   a n d   J.  W u ,   P r i v a c y - p r e s e r v i n g   f e d e r a t e d   t r a n sf e r   l e a r n i n g   f o r   d r i v e r   d r o w s i n e ss   d e t e c t i o n ,   I EE E   Ac c e ss ,   v o l .   1 0 ,   p p .   8 0 5 6 5 8 0 5 7 4 ,   2 0 2 2 ,   d o i :   1 0 . 1 1 0 9 / a c c e ss. 2 0 2 2 . 3 1 9 2 4 5 4 .   [ 2 0 ]   M .   A h me d ,   S .   M a s o o d ,   M .   A h ma d ,   a n d   A .   A .   A b d   El - L a t i f ,   I n t e l l i g e n t   d r i v e r   d r o w s i n e ss  d e t e c t i o n   f o r   t r a f f i c   safe t y   b a se d   o n   mu l t i - C N N   d e e p   mo d e l   a n d   f a c i a l   s u b sam p l i n g ,   I EEE   T ra n s.   I n t e l l .   T r a n sp .   S y st . ,   v o l .   2 3 ,   n o .   1 0 ,   p p .   1 9 7 4 3 1 9 7 5 2 ,   2 0 2 2 ,   d o i :   1 0 . 1 1 0 9 / t i t s . 2 0 2 1 . 3 1 3 4 2 2 2 .   [ 2 1 ]   Y .   Je b r a e i l y ,   Y .   S h a r a f i ,   a n d   M .   Te s h n e h l a b ,   D r i v e r   d r o w s i n e ss   d e t e c t i o n   b a se d   o n   c o n v o l u t i o n a l   n e u r a l   n e t w o r k   a r c h i t e c t u r e   o p t i m i z a t i o n   u s i n g   g e n e t i c   a l g o r i t h m,   I EEE   Ac c e ss ,   v o l .   1 2 ,   p p .   4 5 7 0 9 4 5 7 2 6 ,   2 0 2 4 ,   d o i :   1 0 . 1 1 0 9 / a c c e ss. 2 0 2 4 . 3 3 8 1 9 9 9 .   [ 2 2 ]   H. - T.   N g u y e n ,   N . - D .   M a i ,   B .   G .   Le e ,   a n d   W . - Y .   C h u n g ,   B e h i n d - t h e - e a r   E EG - b a se d   w e a r a b l e   d r i v e r   d r o w s i n e ss   d e t e c t i o n   s y st e m   u si n g   e m b e d d e d   t i n y   n e u r a l   n e t w o r k s,   I EEE   S e n s .   J . ,   v o l .   2 3 ,   n o .   1 9 ,   p p .   2 3 8 7 5 2 3 8 9 2 ,   2 0 2 3 ,   d o i :   1 0 . 1 1 0 9 / j se n . 2 0 2 3 . 3 3 0 7 7 6 6 .   [ 2 3 ]   S .   K .   M o u sa v i k i a ,   E .   G h o l i z a d e h a z a r i ,   M .   M o u saz a d e h ,   a n d   S .   B .   O .   Y a l c i n ,   I n st r u c t i o n   se t   e x t e n s i o n   o f   a   R i sc V   b a se d   S o C   f o r   d r i v e r   d r o w s i n e ss  d e t e c t i o n ,   I EEE   A c c e ss ,   v o l .   1 0 ,   p p .   5 8 1 5 1 5 8 1 6 2 ,   2 0 2 2 ,   d o i :   1 0 . 1 1 0 9 / a c c e ss . 2 0 2 2 . 3 1 7 7 7 4 3 .   [ 2 4 ]     H .   A .   M a d n i ,   A .   R a z a ,   R .   S e h a r ,   N .   Th a l j i ,   a n d   L.   A b u a l i g a h ,   N o v e l   t r a n sf e r   l e a r n i n g   a p p r o a c h   f o r   d r i v e r   d r o w si n e ss  d e t e c t i o u si n g   e y e   mo v e me n t   b e h a v i o r ,   I E EE   Ac c e ss ,   v o l .   1 2 ,   p p .   6 4 7 6 5 6 4 7 7 8 ,   2 0 2 4 ,   d o i :   1 0 . 1 1 0 9 / a c c e ss. 2 0 2 4 . 3 3 9 2 6 4 0 .   [ 2 5 ]   G .   S .   S h a n k a r a   C h a r i   a n d   J.   A .   P r a sh a n t ,   S c a l i n g   e f f e c t i v i t y   i n   ma n i f o l d   me t h o d o l o g i e s   t o   d e t e c t   d r i v e r f a t i g u e n e ss   a n d   d r o w s i n e ss  s t a t e ,   I A ES   I n t e r n a t i o n a l   J o u r n a l   o f   Art i f i c i a l   I n t e l l i g e n c e   ( I J - AI ) ,   v o l .   1 3 ,   n o .   2 ,   p .   1 2 2 7 ,   Ju n .   2 0 2 4 ,   d o i :   1 0 . 1 1 5 9 1 / i j a i . v 1 3 . i 2 . p p 1 2 27 - 1 2 4 0 .   Evaluation Warning : The document was created with Spire.PDF for Python.