I nd o ne s ia n J o urna l o f   E lect rica l En g ineering   a nd   Co m pu t er   Science   Vo l.   3 7 ,   No .   3 ,  Ma r ch   20 2 5 ,   p p .   1 6 9 2 ~ 1 701   I SS N:  2 502 - 4 7 52 ,   DOI : 1 0 . 1 1 5 9 1 /ijee cs .v 3 7 . i 3 . pp 1 6 9 2 - 1 7 0 1           1692     J o ur na l ho m ep a g e :  h ttp : //ij ee cs . ia esco r e. co m   A new  deep  learn ing  mo del bas ed o n conv o lutiona l n eura l  network a nd  resi dua l blocks  f o r  dr iv er drowsi ness  d etec tion       Abdelfe t t a h So ulta na ,   F a o uz ia   B ena bb o u,  Na wa l Sa el,   So uk a ina   B o hs is s in   La b o r a t o r y   o f   M o d e l i n g   a n d   I n f o r ma t i o n   T e c h n o l o g y ,   F a c u l t y   o f   S c i e n c e s   B e n   M ’ S I K ,   U n i v e r si t y   H a ssa n   I I   o f   C a sa b l a n c a ,    C a sa b l a n c a ,   M o r o c c o       Art icle  I nfo     AB S T RAC T   A r ticle  his to r y:   R ec eiv ed   J u n   29 ,   2 0 2 4   R ev is ed   Sep   19 ,  2 0 2 4   Acc ep ted   Oct   7 ,   2 0 2 4       Re c o g n izin g   th e   p i v o tal  imp o rta n c e   o f   m o n it o r in g   d riv e r   i n a tt e n t io n   i n   t h e   q u e st t o   m in imiz e   a c c id e n ts   a n d   e n h a n c e   sa fe ty   a n d   se c u rit y ,   it   is   e ss e n ti a l  to   h ig h li g h t  th e   i n h e re n t  d a n g e r  p o se d   b y   d ro ws i n e ss - a   sp e c ifi c   fo rm   o f   in a tt e n ti o n   t h a t  c a n   sig n ifi c a n tl y   c o n tri b u te  t o   a c c id e n ts.  To   a d d re ss   th is   issu e ,   se v e ra l  p ro p o si ti o n s  in v o l v in g   a rti ficia l  i n telli g e n c e   h a v e   b e e n   p u t   fo rth   t o   e ffe c ti v e ly   m o n i to r  a n d   id e n ti fy   i n sta n c e s  o f  d ri v e r  d r o ws in e ss .   Ho we v e r,   c h a ll e n g e s  p e rsist  in   t h e   fo rm   o f  re a l - ti m e   p ro c e ss in g   c o n stra in ts,   th e   in tr ica te  n a tu re   o f   m o d e l  p a ra m e ters ,   a n d   th e   re sp o n se   ti m e   o f  t h e   m o d e l .   Th e   p ro p o se d   m e t h o d o l o g y   fo c u s e s  o n   u si n g   c o n v o lu ti o n a l  n e u ra l  n e two rk s   (CNN s)  a n d   Re sid u a l  b lo c k s  a s  ro b u st  a n d   e ffe c ti v e   d e e p - lea rn in g   m o d e l s   fo r  t h e   re a l - ti m e   d e tec ti o n   o f   d r iv e r  d r o ws in e ss .   T h e   in t e g ra ti o n   o f  CNN s   a n d   Re sid u a l  b lo c k s   e n h a n c e s  th e   m o d e l' s  p re c isio n ,   str ik i n g   a   we ll - b a lan c e d   sy n e rg y   b e twe e n   c o m p u tati o n a l  e fficie n c y   a n d   p e rfo rm a n c e .   No t a b ly ,   t h is   a p p ro a c h   d e m o n stra ted   a n   imp r e ss iv e   a c c u ra c y   o f  9 6 . 0 9 %   a lo n g   wit h   a   re c a ll ,   f1 - sc o re ,   a n d   p re c isio n   a l l  a t  9 6 %   wh e n   e v a l u a ted   o n   th e   p u b l icly   a v a il a b le  e y e _ d a tas e t.   F u r th e rm o re ,   th e   r u n t ime   o f  th e   d e v e lo p e d   m o d e l  is  a   m e re   7 0   m s.  To   fu rth e r  v a li d a te  th e   e fficie n c y   o f  o u r  p ro p o se d   m o d e l,   we   c o n d u c ted   a   c o m p a ra ti v e   a n a ly si s  with   v a ri o u s  p re - train e d   re si d u a l  n e u ra l   n e two rk s,  i n c lu d in g   Re sN e t1 5 2 ,   Re sN e t5 0 ,   Re sN e t5 0 v 2 ,   Re sN e t1 0 1 ,   a n d   Re sN e t1 0 1 v 2 .   K ey w o r d s :   C o m p u ter   v is io n   C o n v o lu tio n   n eu r al  n etwo r k   Deep - lear n in g     Dr iv er   d r o wsi n ess     R esid u al  n eu r al  n etwo r k   T h is i s  a n   o p e n   a c c e ss   a rticle   u n d e r th e   CC B Y - SA   li c e n se .     C o r r e s p o nd ing   A uth o r :   Ab d elf ettah   So u ltan a   L ab o r ato r y   o f   Mo d elin g   an d   I n f o r m atio n   T ec h n o lo g y ,  Facu l ty   o f   Scien ce s   B en   M’ SIK   Un iv er s ity   Hass an   I I   o f   C asab lan ca   C asab lan ca ,  Mo r o cc o   E m ail:  ab d elf ettah . s o u ltan a - et u @ etu . u n iv h 2 c . m a         1.   I NT RO D UCT I O N   E v er y   y ea r ,   a  r is in g   r ate   o f   a cc id en ts   is   o b s er v e d   g lo b ally .   Sev er al  f ac to r s   ca n   co n tr ib u te  to   t h is   o b s er v atio n ,   in clu d in g   n o n - c o m p lian ce   with   tr af f ic   r eg u lati o n s ,   tr af f ic  c o n g esti o n ,   en v ir o n m en tal  co n d itio n s ,   an d   n o ta b ly ,   th e  d r iv er ' s   s tat e.   I n d ee d ,   th e  d r iv er ' s   co n tex t  ca n   b e  a  s ig n if ican t  s o u r ce   o f   r o a d   ac cid en ts .   Facto r s   s u ch   as  in to x icatio n ,   n eg ativ e  em o tio n s ,   an d   s tates   o f   in atten tio n ,   lik e  d is tr ac tio n   an d   d r o wsi n ess ,   lead   to   d an g er o u s   an d   d is astro u s   s itu atio n s .   I n tellig en t  tr an s p o r tatio n   s y s tem s   ( I T S)  p lay   a   p iv o tal  r o le  in   m o d er n izin g   an d   en h a n cin g   r o ad   s af ety .   T h ese  in teg r ated   tech n o lo g ies  lev er ag e  d ata  an d   c o m m u n icati o n   s y s tem s   to   o p tim ize  tr af f ic  f lo w,   im p r o v e   d r iv e r   b eh av io r ,   a n d   u ltima tely   r ed u ce   ac cid en ts .   On e  n o tab le   ap p licati o n   in v o lv es  th e  im p lem en tatio n   o f   ad v an ce d   d r iv er   m o n ito r in g   s y s tem s   ( DM S),   wh ich   u tili ze   cu ttin g - ed g e   s en s o r s   an d   alg o r ith m s   to   tr ac k   an d   a n aly z e  a  d r iv er ' s   b eh a v io r   an d   aler t n ess .   Ad d itio n ally ,   I T S  i n co r p o r ates  s o p h is ticated   aler t  s y s tem s ,   s u ch   as  lan e  d e p ar tu r e  war n i n g   ( L DW )   [ 1 ]   a n d   f o r war d   co llis io n   war n in g   ( FC W )   [ 2 ] ,   wh ich   Evaluation Warning : The document was created with Spire.PDF for Python.
I n d o n esian   J   E lec  E n g   &   C o m p   Sci     I SS N:   2 5 0 2 - 4 7 52       A   n ew d ee p   lea r n in g   mo d el  b a s ed   o n   co n vo lu tio n a l n eu r a l  n etw o r k  …  ( A b d elfetta h   S o u lta n a )   1693   p r o v id e   r ea l - tim e   n o tific atio n s   to   d r iv e r s   ab o u t  p o ten tial  h az ar d s .   Dr o wsi n ess   is   o f ten   u n d er s to o d   to   m ea n   s leep in ess   in   in ap p r o p r iate   co n tex ts .   E v en   if   d r o wsi n ess   las ts   o n ly   a   f ew   m in u tes,  t h e  c o n s eq u en ce s   ca n   b e   d ev astatin g .   T ir ed   d r iv e r s   ar e  as  d an g er o u s   as  d r u n k   d r iv e r s   b ec au s e  th ey   h av e  s lo wer   r ea ctio n   tim es  an d   s u f f er   f r o m   r ed u ce d   atten tio n ,   awa r en ess ,   an d   a b ilit y   to   co n tr o l  t h eir   v e h icles   [ 3 ] .   A cc o r d in g   to   th e  US   Natio n al  Hig h way   T r a f f ic  S af ety   Ad m in is tr atio n   [ 4 ] ,   5 0 , 0 0 0   in j u r ies  an d   n ea r ly   8 0 0   d ea th s   h av e   b ee n   r ep o r ted ,   with   9 1 , 0 0 0   tr af f ic  ac cid en ts   r elate d   to   d r o wsi n e s s .   A  s tu d y   b y   t h e  AAA  Fo u n d atio n   f o r   T r af f ic   Saf ety   esti m ated   th at  3 2 8 , 0 0 0   d r o wsy   d r iv i n g   c r ash es  o c cu r   an n u ally   [ 5 ] .   T h e  a f o r e m en tio n ed   alar m in g   s tatis t ics  h av e  s h o wn   th e  n e ce s s ity   o f   a  s y s tem   f o r   d r iv er   d r o wsi n ess   m o n ito r in g   an d   aler tin g ,   th e r eb y   p r ev en tin g   u n f o r t u n ate  tr af f ic  ac cid en ts   f r o m   h ap p en in g .   R ec en tly ,   m an y   m o d els  h av e  b ee n   d ev elo p ed   f o r   au to m atic  d r o wsi n ess   d etec tio n   s y s tem s .   Of ten ,   t h e  in p u ts   o f   th e  d etec tio n   s y s tem s   ar e   im ag es  ca p tu r e d   f r o m   a  ca m er a  p lace d   in   f r o n t  o f   t h e  d r iv e r   f ac e.   T h e  ey es  p la y   a  ce n tr al  r o le  as  th e   p r im ar y   f ac to r   in   d etec tin g   s ig n s   o f   f atig u e,   in clu d in g   d r o o p in g   ey elid s   o r   e x ten d e d   p er io d s   o f   cl o s u r e.   Dee p   c o n v o lu ti o n al  n e u r al  n etwo r k s   ( C NNs)  h av e  r ec en tl y   p er f o r m ed   e x ce p tio n ally   well  o n   d if f e r en t ta s k s   in   co m p u te r   v is io n ,   in clu d in g   o b ject  d etec tio n ,   im a g e  class if icatio n ,   im ag e  s eg m en tati o n ,   o b ject  tr ac k in g ,   etc.   I n   p ar ticu lar ,   s ev er al   p r o p o s ed   d r o wsi n ess   d etec tio n   s y s tem s   em p lo y ed   d if f er e n t  co n v o l u tio n al  n etwo r k   ar c h itectu r es  an d   ac h iev ed   ef f ec tiv e  an d   r eliab le  r esu lts .   T h e   p o wer   o f   C NN  m o d els  ex ce l  is   th e  e x tr ac tio n   o f   in tr icate   f ea tu r es  f r o m   im ag es  an d   v id e o s ,   co n tr i b u ti n g   to   en h an ce d   ac cu r ac y   in   id en tify in g   s ig n s   o f   d r o wsi n ess .   Am o n g   th e   m y r ia d   f ea tu r es  an aly ze d ,   t h e  ey es  e m er g e  as  a  f o ca l  p o in t  in   d r o wsi n ess   d ete ctio n .   T h e  id en tif icatio n   an d   m itig atio n   o f   d r o wsi n ess   ar e  ad d r ess ed   th r o u g h   d iv er s e  ap p r o ac h es,  en co m p ass in g   v ar i o u s   asp ec ts   o f   b o th   p h y s io lo g ical   an d   b eh av i o r al  in d icato r s .   Ph y s io lo g ically ,   th e  ac tiv ity   o f   th e  b r ain   is   s cr u tin ized   u s i n g   E E G,   p r o v i d in g   in s ig h ts   in to   th e  in d iv id u al' s   c o g n itiv e  s tate.   Simu ltan eo u s ly ,   b eh av io r al  cu es  f r o m   th e  v e h icle  its elf ,   s u ch   as  lan e  d ep ar tu r e  p atter n s ,   co n tr ib u te  v alu ab le  in f o r m atio n   r e g ar d in g   t h e  d r i v er ' s   atten tiv e n ess .   Ad d itio n ally ,   f ac ial  an aly s is   s er v es  as  a  k ey   d im e n s io n   i n   ass ess in g   d r o w s in ess ,   ca p tu r in g   n u an ce d   ex p r ess io n s   an d   s u b tle   s ig n s   th at  m ay   in d icate   a  d ec lin e  in   aler tn ess . . .     Neu r al  n etwo r k s   h a v e  b ec o m e  m u ch   m o r e  p r o f o u n d ,   with   s tate - of - th e - ar t  n etwo r k s   [ 6 ] ,   ev o lv in g   f r o m   h av in g   ju s t  a   f ew  la y er s   ( e. g . ,   Ale x Net)   to   o v er   a   h u n d r e d   lay e r s .   Dete ctin g   d r o wsi n ess   with   C NN   in tr o d u ce s   ch allen g es  th at  d i r ec tly   im p ac t  th e  m o d el  an d   its   r esp o n s e  tim e.   R ea l - tim e  co n s tr ain ts   ar e  a   s ig n if ican t  f ac to r ,   d em a n d in g   alg o r ith m s   th at  ca n   s wif tly   p r o ce s s   v id eo   s tr ea m s   in   a  tim el y   m an n er .   T h e  ar ch itectu r e' s   co m p lex ity   p lay s   a  cr u cial  r o le,   as  in tr icate   m o d els  m ay   h in d er   q u ic k   r esp o n s e  tim es.  Ad d itio n ally ,   t h e  n u m b e r   o f   tr ain ed   p ar am eter s   in   C NNs  d ir ec tly   in f lu en ce s   th e   m o d el ' s   r esp o n s iv en ess ,   af f ec tin g   its   ab ilit y   t o   p r o m p tly   d ete ct  an d   r esp o n d   to   s ig n s   o f   d r o wsi n ess .   B alan cin g   th e  in tr icac y   o f   t h e   m o d el  with   th e  n ee d   f o r   r ap i d   r esp o n s es  is   ess en tial  f o r   d ev elo p in g   ef f ec tiv e   d r o wsi n ess   d etec tio n   s y s tem s   an d   en s u r in g   th eir   p r ac tical  u tili ty   in   r ea l - wo r ld   s ce n ar io s .   R esNet  h as  ac co m p lis h ed   ex ce p tio n al  ex ec u tio n   in   p ictu r e  ac k n o wled g m e n t  ass ig n m en ts ,   o u tp er f o r m in g   th e  c ap ab ilit ies  o f   p ast  C NN  d esig n s   [ 7 ] ,   [ 8 ] .   Du r in g   ea ch   iter atio n   o f   tr ain in g   a  n e u r al  n etwo r k ,   all  weig h ts   r ec eiv e  an   u p d ate  p r o p o r tio n al  to   t h e  p ar tial  d er iv ativ e   o f   th e   er r o r   f u n ctio n   co n ce r n in g   t h e  c u r r en t   weig h t.   I f   t h e  g r ad ien t   is   m in im al,   th e   weig h ts   will  n o t   b e  ch an g ed   e f f ec tiv ely   a n d   m a y   s to p   th e  n eu r al  n etwo r k   f r o m   f u r th e r   tr ain in g .   T h e  p h en o m en o n   is   ca lled   v an is h in g   g r ad ien ts .   Mo r e  s p e cif ically ,   th e  d ata  d is ap p ea r s   th r o u g h   th e  lay e r s   o f   th e  d ee p   n eu r al  n etwo r k   d u e   to   a  v er y   s lo w  g r ad ien t  d escen t.  T h e  i n teg r atio n   o f   R esid u al  b lo ck s   is   m o tiv ated   b y   th e  c h allen g e  o f   tr ain in g   d ee p er   n etwo r k s   wh ile  a v o i d in g   th e   v an is h in g   g r ad ien t   p r o b lem   [ 9 ] .   R esid u al  b l o c k s ,   with   th ei r   s k ip   co n n ec tio n s ,   f ac ilit ate  th e  f l o w  o f   g r ad ien ts   th r o u g h   t h e  n et wo r k ,   e n ab lin g   th e  t r ain in g   o f   d ee p er   a r ch itectu r es  with o u t  s ac r if icin g   p e r f o r m an ce .   R esid u al  n etwo r k s ,   lik e  R esNet,   h av e  co n s is ten tly   ac h ie v ed   s tate - of - th e - ar t   r esu lts   in   s ig n if ican t  co m p u te r   v is io n   b en ch m ar k s   an d   co m p etitio n s   [ 1 0 ] .   T h eir   p e r f o r m an ce   o n   task s   lik e   I m ag eNe t  class if icatio n   d em o n s tr ates  th eir   ef f icac y   in   lear n in g   in tr icate   f ea tu r es  f r o m   d iv e r s e  im ag e  d atasets .   T h is   s tr o n g   tr ac k   r ec o r d   r ei n f o r ce s   th eir   r eliab ilit y   an d   m ak e s   th em   a  co m p ellin g   ch o ice  f o r   v ar io u s   co m p u te r   v is io n   task s . T h e  aim   o b jectiv e   o f   th is   s tu d y   is   to   e f f ec tiv ely   tack le  th e  cr u cial  ch allen g e   o f   d r iv er   d r o wsi n ess   d etec tio n ,   a  m atter   o f   u tm o s t   im p o r tan ce   f o r   r o ad   s af ety   t h at  n ec ess itates  r ea l - tim e  in f er en ce   ca p a b ilit ies.  T h r o u g h   th e  in teg r atio n   o f   C NNs  wi th   R e s id u al  b lo ck s ,   we  n o t  o n ly   en h an ce   th e  m o d el ' s   ac cu r ac y   b u t  also   s tr ik e  a  d elica te  b alan ce   b et wee n   co m p u tatio n al   ef f icien cy   an d   p er f o r m an ce .   T h is   b alan ce   is   esp ec ially   cr u cial  wh en   co n s id er in g   th e  d ep lo y m en t   o f   th e   m o d el   in   r eso u r ce - co n s tr ain ed   e n v ir o n m en ts ,   s u ch   as  em b ed d e d   s y s tem s   with in   v eh icles.     Ma n y   s o lu tio n s   h av e  b ee n   p r esen ted   to   tack le  th e  ch allen g e  o f   d etec tin g   d r iv er   d r o wsi n ess .   I n   th is   co n tex t,  we   h ig h lig h t  a   s elec tio n   o f   r ec e n t  wo r k s   th at   co n tr ib u te  to   th is   f ield .   C h ir r a  et   a l.   [ 1 1 ]   p r esen ted   a   s y s tem   lev er ag in g   d ee p   lea r n i n g   tec h n iq u es   f o r   d etec tin g   d r iv er   d r o wsi n ess ,   f o cu s in g   o n   ass es s in g   ey e  s tate.   T h e  in itial  s tep s   o f   th e  ap p r o a ch   in v o l v ed   em p lo y in g   th e  Vi o la - J o n es  alg o r ith m   f o r   task s   en co m p ass in g   f ac e   d etec tio n   an d   lo ca liza tio n   o f   t h e  ey e  r eg io n s .   I f   th e  class if ier   d etec ts   ten   co n s ec u tiv e  in s tan ce s   o f   clo s ed   ey es,  it  in d icate s   th at  th e  in d iv id u al   is   ex h ib itin g   s ig n s   o f   d r o wsi n ess .   A  C NN  m o d el  was  tr ai n ed   u s in g   a  d ataset  co m p r is ed   o f   2 8 5 0   i m ag es,  e n co m p ass in g   two   d is tin ct  cla s s es:  o p en   ey es  a n d   cl o s ed   e y es,  ac h iev in g   a n   ac cu r ac y   o f   9 6 . 4 2 %.  C NN  m o d el  was  also   u s ed   b y   R af id   et  a l.   [ 1 2 ]   to   d ev elo p   a  d r o wsi n ess   d etec tio n   s y s tem .   T h is   ap p r o ac h   em p l o y ed   th e  Vio la - J o n es  alg o r ith m   f o r   p r ec is e  lo ca lizatio n   o f   th e  ey es.  T h e   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 5 0 2 - 4 7 52   In d o n esian   J   E lec   E n g   &   C o m p   Sci ,  Vo l.  3 7 ,   No .   3 ,  Ma r ch   20 2 5 :   1 692 - 1 7 0 1   1694   d r o wsi n ess   s tate  if   co n f ir m ed   wh en   th e  class if ier   id en tifie s   3 0   co n s ec u tiv e  in s tan ce s   o f   clo s ed   ey es.  T h e  C NN   m o d el  ac h iev ed   an   ac cu r ac y   r ate  o f   9 4 . 5 %  u s in g   th e   MRL  E y e   Data s et.   Sh ak ee l  et   a l .   [ 1 3 ]   i n tr o d u ce d   a   Mo b ileNet  m o d el  to   d etec t  d r o wsi n ess   ca s e s .   T h e  m eth o d o lo g y   in co r p o r ated   T en s o r Flo w  d etec tio n   m o d el   zo o   f o r   b o t h   f ac e  d etec tio n   an d   e y es  lo ca lizatio n .   T h e   m o d el  was  tr ain e d   o n   a  d ataset  co m p r is in g   6 0 0 0   im ag es a n d   ac h iev ed   an   ac cu r ac y   o f   7 6 . 9 %.  T h e  d etec tio n   o f   s ig n s   o f   d r o wsi n ess   i s   co n f ir m ed   if   th e  class if ier   i d en tifie s   ten   co n s ec u tiv e  in s tan ce s   o f   clo s ed   ey es.  R ajam o h an a  et  a l.   [ 1 4 ]   in tr o d u ce d   an   h y b r id   ap p r o ac h   th at  co m b in es  a   C NN  m o d el   with   B id ir ec tio n al  lo n g   s h o r t - ter m   m em o r y   ( B iLST M)   alg o r it h m   to   d etec t  d r iv er   d r o wsi n ess   b ased   o n   e y e  s tate.   T h e   ey es  r e g io n   ex tr ac tio n   p r o ce s s   was  f ac ilit ated   b y   e m p lo y in g   th e   DL I B   lib r ar y .   T h e  d ataset,   co m p r is in g   2 2 0 8   im a g es,  s er v ed   as  th e  f o u n d atio n   f o r   th eir   r ese ar ch ,   lead in g   to   a n   ac cu r ac y   r ate  o f   9 4 %.  T h e  m eth o d o lo g y   in itiates   a  tr ig g er   ac tio n   wh en   ey es  r em ain   clo s ed   f o r   a n   ex ten d ed   p er io d .   J o s e  et  a l.   [ 1 5 ]   u s ed   E f f icien tNetV2   lig h tweig h t  co n v o lu tio n al  n etwo r k   m o d el  f o r   d etec tin g   d r o wsi n ess   b y   em p lo y in g   a   co n cu r r en tly   with   f ac ial  lan d m ar k   d etec tio n .   T h eir   ap p r o ac h   in v o lv ed   th e   Me d iaPip e  Face   Me s h   alg o r it h m   to   ex tr ac t  ey e  r e g io n s .   T h e  m o d el  was  tr ain ed   u s in g   a  d ataset  co m p r is in g   1 0 , 0 7 6   im ag es,  ac h iev in g   an   ac cu r ac y   o f   9 6 . 9 2 %.  A  p iv o t al  asp ec t  o f   th eir   s tr ateg y   in v o lv es  th e  d ec is io n - m ak in g   p r o ce s s .   T h e  n u m b e r   o f   f r am es  co n s id er ed   f o r   co n f i r m in g   d r o wsi n ess   d etec tio n   is   6 0   f r am e s .   I n   th eir   r esear ch ,   B ek h o u ch e  et   a l.   [ 1 6 ]   ex p lo r ed   v id e o - b ased   d r o w s in ess   d etec tio n   b y   lev e r ag in g   th e  NT HU  d r o wsy   d r iv er   d etec tio n   d ataset  ( NT HU - DDD) .   T h eir   in v esti g ati o n   f o cu s ed   o n   id e n tify in g   t h e  m o s t  ef f ec tiv e   co n f ig u r atio n s   co n ce r n in g   f r a m e  co u n t  an d   in ter - f r am e  s k i p s .   T h e  e x p er im en ts   led   to   a n   ac cu r ac y   o f   8 6 %  wh en   co m b in i n g   a  R esNet - 5 0   with   s u p p o r t  v ec t o r   m ac h in e  ( SVM)   class if ier s .   Fo r   p r ec is e  ey e  r eg io n   lo ca lizatio n ,   T in y - YOL O  m o d el  was  em p lo y ed .   T h e  f in d in g s   h i g h lig h ted   th at  th e   b est  co n f ig u r atio n ,   co n s id er in g   co m p u tatio n   tim e,   en tailed   u tili zin g   n in e  f r a m es  an d   s k i p p in g   two   i n ter - f r am es.  C iv ik   a n d   Yu zg ec   [ 1 7 ]   p r esen ted   a  C NN - b ased   m o d el  f o r   d r o wsi n e s s   d etec tio n ,   s p ec if ically   tar g etin g   th e  ey es  an d   m o u th   r e g io n s .   T h e  DL I B   lib r ar y   was  u s ed   to   ex tr ac t   th e  f ac ial  r eg io n s ,   an d   th e  Yaw D D  d atasetto   tr ain   th e  m o d el  ex h ib itin g   an   ac c u r ac y   o f   9 4 . 5 %.   Ho wev er ,   th e  s p e cif ic  th r esh o ld   f o r   d ef i n in g   d r o wsi n ess   was  n o t  p r o v id e d   in   th is   wo r k .   Flo r ez   et  a l.   [ 1 8 ]   f o c u s ed   s p ec if ically   o n   ey e  clo s u r e  d u r atio n   as  a  cr u cia l  in d icato r   to   d etec t  d r o wsi n ess .   Fo r   p r ec is e  ey e   r eg io n   d elin ea tio n ,   th e   M ed iaPip e  Face   Me s h   al g o r ith m   was  u s ed ,   an d   f o r   class if icatio n   th e  I n ce p tio n V3 ,   VGG1 6 ,   an d   R esNet5 0 V2   m o d els,  wer e  em p lo y e d .   T h e  b est  ac cu r ac y   o f   9 8 . 1 5 %  was  o b tain ed   u s in g   th e  R esNe t 5 0 V2   m o d el  o n   th e  NI T YM E D  d ataset,   with a  r e s p o n s e  tim e  o f   1 0 6 . 5   m illi s ec o n d s .   T h e  tr ac k in g   d u r atio n   o f   e y e  clo s u r e   is   3 0 0   m illi s ec o n d s ,   an d   wh e n   ex ee d ed   i t  is   a  co n f ir m atio n   o f   d r o wsi n ess   s tate.   Ph an   et  a l.   [ 1 9 ]   co m p a r ed   m u ltip le  d ee p - lear n i n g   m o d els  f o r   d r o wsi n ess   d etec tio n ,   in clu d in g   L STM ,   VGG - 1 6 ,   Den s eNe t,  an d   I n ce p tio n - V3 .   T h e  SS D - R esNet - 1 0   m o d el   was  em p lo y ed   f o r   ef f icien t  ey e  r eg io n   lo ca lizatio n .   Usi n g   a  lar g e  d ataset  o f   1 3 , 7 2 9   im a g es,  th e  f u s io n   ap p r o ac h   ac h iev ed   9 8 %  ac cu r ac y   u s in g   Den s eNe t.  Ho wev er ,   th e  s tu d y   d id   n o t  p r o v i d e  th e  r esp o n s e  tim e  n eith er   th e  th r esh o ld   u s ed   to   d eter m in e  th e  d r o wsy   s tate.   Acc o r d in g   to   t h e  an aly s is   o f   th e  s tate  o f   th e  ar t,  v ar io u s   alg o r ith m s   ar e  d e p lo y ed   f o r   d r o wsi n ess   d etec tio n ,   in clu d in g   m o d els  l ik e  C NN,   R e s Net5 0 V2 ,   Mo b ile Net,   E f f icien tNetV2 ,   an d   o th er s .   I n   ter m s   o f   p er f o r m an ce ,   th e  R esNet5 0 V 2   alg o r ith m ,   u s ed   b y   Flo r ez   e t  a l.   [ 1 8 ] ,   h as  d em o n s tr ated   o u ts tan d in g   ac c u r ac y   at  9 8 . 1 5 %,  s h o wca s in g   its   ef f ec tiv en ess .   Ho wev er ,   it's   cr u cial  to   n o te  th at  th e  m in im u m   ac cu r ac y   lev el  m ay   v ar y   ac r o s s   s tu d ies,  u n d e r s co r in g   th e   im p o r tan ce   o f   ch o o s in g   an   alg o r ith m   b ased   o n   s p ec if ic  n ee d s .   W h ile  th e  p er f o r m an ce s   ar e  p r o m is in g ,   co n s id er in g   t h e  r esp o n s e  ti m e  o f   th e  tr ain e d   m o d el  is   im p er ativ e.   So m e   alg o r ith m s ,   d esp ite  th eir   h ig h   ac cu r ac y ,   m ay   h a v e  lo n g e r   r esp o n s e  tim es,  a  cr itical  f ac to r   f o r   r ea l - tim e   ap p licatio n s   s u ch   as  d r o wsi n ess   d etec tio n   wh ile  d r iv in g .   T h er ef o r e,   th e  s elec tio n   o f   a n   alg o r ith m   s h o u ld   b e   g u id ed   n o t  o n ly   b y   its   in tr in s ic  p er f o r m an ce   b u t  also   b y   t h e  r elev an ce   o f   its   r esp o n s e  tim e  in   th e  in ten d ed   u s ag e  co n tex t.   R esNet  ad d r ess es  th e  ch allen g es  o f   d ee p   n et wo r k   tr ain i n g   b y   in c o r p o r atin g   s k ip   co n n ec tio n s   o r   r esid u al  b l o ck s .   T h is   in n o v ativ e  d esig n ,   s ee n   in   v ar ia n ts   lik e  R esNet5 0   an d   R esN et1 0 1 ,   en a b les  th e   tr ain in g   o f   m u ch   d ee p er   n etw o r k s ,   ef f ec tiv ely   m itig atin g   is s u es  s u ch   as  v a n is h in g   g r ad ien ts .   T h e  ar ch itectu r e   n o t  o n ly   e n h an ce s   ac c u r ac y   b u t  also   im p r o v es  tr ain in g   ef f icien cy ,   m ak i n g   it   p ar ti cu lar ly   s u itab le  f o r   ap p licatio n s   wh er e  p r o ce s s in g   tim e  is   a  cr itical   f ac to r .   R esNet ' s   ab ili ty   to   b alan ce   d ep th   an d   ef f icien c y   r en d er s   it  a  co m p ellin g   c h o i ce ,   esp ec ially   in   s ce n ar io s   w h er e  p r o ce s s in g   tim e  is   a  cr u cial  co n s id er atio n .   T h er ef o r e,   wh en   co n s id er i n g   alg o r ith m s   f o r   d r o wsi n ess   d etec tio n ,   th e  u n iq u e   f ea tu r es   an d   a d v an tag es  o f   R esNet  s h o u ld   b e  tak e n   in to   a cc o u n t a lo n g s id e  th eir   r esp ec ti v e  p er f o r m an ce s .   T h e  r em ain d e r   o f   th is   p ap e r   is   s tr u ctu r ed   as  f o llo ws.  Sectio n   2   p r esen ts   th e  p r o p o s ed   m e th o d o lo g y   b ased   o n   a  n ew  C NN  ar ch itectu r e.   Sectio n   3   p r esen ts   th e  r e s u lts   an d   d is cu s s io n .   Fin ally ,   s ec tio n   4   p r o v id es  a   co n clu s io n   an d   f u tu r e  wo r k s .       2.   RE S E ARCH   M E T H O D   T h e  o b jectiv e  o f   th is   r esear c h   is   to   p r o p o s e  a  C NN  b ase d   m o d el   f o r   d r o wsi n ess   d etec tio n   th at  p r o d u ce   b etter   r esp o n s e  tim e   a n d   th at   h a v e  less   h y p er p a r am e ter s .   T h e  a p p r o ac h   s tar ts   b y   ca p tu r in g   s u cc ess iv e   Evaluation Warning : The document was created with Spire.PDF for Python.
I n d o n esian   J   E lec  E n g   &   C o m p   Sci     I SS N:   2 5 0 2 - 4 7 52       A   n ew d ee p   lea r n in g   mo d el  b a s ed   o n   co n vo lu tio n a l n eu r a l  n etw o r k  …  ( A b d elfetta h   S o u lta n a )   1695   v id eo   f r a m es  f r o m   a  ca m er a   an d   p r o ce s s in g   ea ch   f o llo wi n g   a  s et  o f   s tep s .   T h e  in itial  s tep s   in v o lv e  th e   ap p licatio n   o f   Haa r   ca s ca d es  t o   d etec t  f ac ial  a n d   o cu lar   f ea tu r es  ac cu r ately .   Sp ec if ically ,   p r e - tr ain ed   ca s ca d e   class if ier s   ar e  em p lo y ed   f o r   r ec o g n izin g   f ac ial  co n to u r s   as  well  as  th e  d is tin ctiv e  ch ar ac ter is tics   o f   th e  ey es.  A  R e s Net1 8   n eu r al  n etwo r k   m o d el  is   in tr o d u ce d   to   d eter m in e  th e  ey es'   s tate.   T h is   m o d el  an aly ze s   th e   ex tr ac ted   ey e  r eg io n s   an d   p r e d icts   wh e th er   th ey   ar e   o p e n   o r   clo s ed .   As  th e  v id e o   f r am es   ar e  p r o c ess ed ,   th e  co d e  m ai n tain s   a  s co r e   th at  is   in cr em en te d   ea ch   tim e  a n   in s tan ce s   o f   clo s ed - ey e  is   d etec ted .   W h en   t h e  s co r e   ex ce ed s   a  p r ed ef in e d   th r esh o l d   o f   1 0   co n s ec u tiv e  im ag es with   th e  ey es c lo s ed ,   t h e  s y s tem   p r o v id es a   s ig n al  to   th e  d r iv e r   ab o u t  h is   s tate  o f   d r o wsi n ess   in   r ea l  tim e.   T h e   Fig u r e  1   p r esen ts   two   s tep s   :   th e  o f f lin e  m o d el   co n s tr u ctio n   w h ich   is   th e   co n s tr u ctio n   p h ase  o f   th e   p r etr ain e d   m o d el  an d   th e   o n lin e   d r o wsi n ess   d etec tio n   th at   ca p tu r e  in   r ea l tim e  d r iv e r   v id eo   an d   ass ess   th e  d r o wsi n ess   ca s es.           Fig u r e  1 .   B lo ck   d iag r am   o f   th e  p r o p o s ed   d r o wsi n ess   d etec ti o n   s y s tem       2 . 1 .   Da t a s et   T h e  d ee p   lear n in g   m o d el   d ev elo p ed   h er e  is   tr ai n ed   o n   im a g es  f r o m   th e   Kag g le  e y es  d at aset   [ 2 0 ] .   T h e  ey es  d ataset  co m p r is es  a  to tal  o f   4 , 8 5 0   g r ay s ca le  im ag es.  Am o n g   th ese,   3 , 7 9 0   im ag es  ar e  allo ca ted   f o r   tr ain in g ,   d is tr ib u ted   ac r o s s   two   class es:  "c lo s ed "  an d   "o p en "  ey es.  Ad d itio n ally ,   1 , 0 6 0   im ag es   ar e  d esig n ated   f o r   test in g ,   co v er in g   b o th   " o p en "  an d   "c lo s ed "  ey e  class es.  T h ese  im ag es  ex h ib it  d iv er s ity   in   lig h tin g   co n d itio n s   a n d   s u b ject  v ar iab i lity   an d   ev e n   in cl u d e   in s tan ce s   o f   i n d iv id u als  wea r in g   g lass es.  E ac h   i m ag e   h as   d im en s io n s   o f   24 × 24   p ix els.  Giv en   th ese  ch ar ac ter is tics ,   th is   d ataset  p r o v es  to   b e  well - s u ited   f o r   ef f ec tiv el y   tr ain in g   an d   co n s tr u ctin g   a  r e s ilien t  m o d el  ca p ab le  o f   ac cu r ately   tr ac k in g   ey e  clo s u r e.   T h e  F ig u r e  2   p r esen ts   s o m e  ex am p les o f   im a g es f r o m   th e  d ataset,   s h o wca s in g   b o th   ca s es   o f   o p e n   an d   clo s ed   ey e s .           Fig u r e  2 .   R ep r esen tatio n   o f   a n n o tated   im ag es o f   th e  ey es_ d a taset       2 . 2 .   O f f lin e  m o del c o ns t ruct io n   T h e  o f f lin e  tr ain in g   d iag r am   s h o ws  h o w  th e  m o d el  is   b u ilt.  I n d ee d ,   th e  p r o p o s ed   m o d el  in co r p o r ates   r esid u al  b lo c k s   to   f ac ilit ate  d ee p er   r ep r esen tatio n s   lear n i n g   a n d   i m p r o v e  t h e  m o d el  p er f o r m an ce .   T h e   ar ch itectu r e  co n s is ts   o f   th e  f o l lo win g   s tag es:   −   I n p u t  p r ep a r atio n   an d   in itial  c o n v o lu ti o n al  lay er :  t h e  in p u t  i m ag es  h av e  d im en s io n s   o f   ( 1 4 5 ,   1 4 5 ,   3 )   an d   a  ze r o - p a d d in g   is   u s ed   to   m ain t ain   s ize.   Su b s eq u e n tly ,   a  c o n v o lu tio n al  lay e r   with   a  7 × 7   k er n el   an d   a   s tr id e  Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 5 0 2 - 4 7 52   In d o n esian   J   E lec   E n g   &   C o m p   Sci ,  Vo l.  3 7 ,   No .   3 ,  Ma r ch   20 2 5 :   1 692 - 1 7 0 1   1696   o f   2   is   in tr o d u ce d   to   r ed u ce   th e  d im e n s io n s .   B atch   n o r m aliza tio n   an d   R eL U  ac tiv at io n   ar e   ap p lied ,   f o llo wed   b y   m ax - p o o li n g   to   d o wn s ize  th e  f ea tu r e  m a p s   f u r t h er .   −   R esid u al  b lo ck   ( s tag e   2 ) :   t h e  in p u t  p ass es  th r o u g h   a  r esid u al  b lo ck   with   two   c o n v o lu tio n al  lay er s   a n d   a   s h o r tcu t  co n n ec tio n .   T h e   b lo ck   en h an ce s   th e   m o d el' s   ab ilit y   to   lear n   i n tr icate   f ea tu r es.  B atch   n o r m aliza tio n   an d   R eL U  ac ti v atio n   f o llo w  ea ch   co n v o l u tio n ,   an d   th e  r esu lt  is   ad d ed   ele m en t - wis e  to   th e   o r ig in al  in p u t b ef o r e  a  f in al  R eL U  ac tiv atio n .   −   R esid u al  bl o ck   ( s tag e  3 ) :  s im ilar   to   s tag e  2 ,   th e  in p u t  g o es  th r o u g h   an o th er   r esid u al  b lo ck   with   in cr ea s ed   f ilter s ,   cr ea tin g   a  d ee p e r   u n d er s tan d in g   o f   f ea tu r es.  T h e  s am e  p atter n   o f   b atch   n o r m aliza tio n ,   R eL U  ac tiv atio n ,   an d   elem en t - wis e  ad d itio n   is   m ain tain ed .   −   Av er ag e  p o o li n g   an d   f in al  cl ass if icatio n :  t h e  av er ag e  p o o lin g   lay er   r ed u ce s   f ea tu r e  m ap   d im en s io n s ,   p r ep ar in g   th e m   f o r   t h e  f in al  cl ass if icatio n .   T h e  f latten e d   f ea t u r es  ar e  f ed   in to   a   f u ll y   co n n e cted   lay er   with   a  s o f tm ax   ac tiv atio n   f u n ctio n   t o   o u tp u t c lass   p r o b ab ilit ies.     2 . 3 .   O nli ne  dro wsi nes s   det ec t io n   T h e  o n lin e  d r o wsi n ess   d etec tio n   p r o ce s s   in itiates   with   in p u t  f r o m   a  v id eo   s tr ea m ,   f o l lo wed   b y   f r am e - by - f r a m e  e x tr ac tio n .   T h e  Haa r   ca s ca d e   alg o r ith m   is   ap p lied   f o r   f ac e  d etec tio n ,   an d   if   a  f ac e  is   d etec ted ,   th e  p r o ce s s   p r o ce e d s   to   ey e   d etec tio n ;  o th er wis e,   it   m o v es  t o   th e   n ex t   f r a m e.   Af te r   ex t r ac tin g   th e   ey e   r eg io n   u s in g   th e  Haa r   ca s ca d e,   it u n d er g o es c l ass if icatio n   u s in g   o u r   p r e - tr ain ed   m o d el,   d etailed   in   th e  f ir s t sectio n ,   to   d eter m in e  th e  s tate  o f   t h e  ey e s   as  o p en   o r   cl o s ed .   A  co u n te r   is   in cr em en ted   wh e n   clo s ed   ey es  ar e  d etec ted ,   an d   wh e n   it   r ea ch es  a   p r ed et er m in ed   th r esh o ld   o v er   1 0   co n s ec u tiv e  f r a m es,   th e   s y s tem   co n clu d es  t h at  th e   d r iv er   is   in   a  s tate  o f   d r o wsi n ess .   At  th is   p o in t,   an   aler t   is   s en t  to   th e  d r iv er ,   n o tify in g   t h em   o f   th eir   d r o wsy   s tate  an d   p r o m p tin g   ap p r o p r ia te  ac tio n s   to   en s u r e   s af ety   wh i le  d r iv in g .   T h is   co n tin u o u s   an d   r ea l - tim e   p r o ce s s   e n s u r es c o n s tan t m o n it o r in g   o f   th e  d r i v er ' s   co n d itio n   d u r in g   th eir   jo u r n ey .     2 . 4 .  P r o po s ed  m o del det a ils   R esNet   r ev o lu tio n ized   th e  C NN  ar ch itectu r al  r ac e  b y   in tr o d u cin g   th e  co n ce p t  o f   r esid u al  lear n in g   in   C NNs  an d   d ev is ed   an   e f f icien t  m eth o d o lo g y   f o r   th e   t r ain i n g   o f   d ee p   n etwo r k s   [ 2 1 ] .   T h ey   ar e  c h ar ac ter ized   b y   th eir   d ee p   ar c h itectu r es,  wh ich   ca n   p r o d u ce   lo w  er r o r   r at es.  T h e  b asic  b u ild in g   b lo ck s   o f   a  r esid u al  n eu r al   n etwo r k   ar e  th e  s o - ca lled   r esid u al  b lo ck s .   T h e  b asic  id ea   h er e  is   th at  s o - ca lled   “sk ip   co n n ec tio n s ”  ar e  b u ilt   in to   th e  n etwo r k .   T h ese  en s u r e  th at  th e  ac tiv atio n   o f   a  la y er   is   ad d ed   to g eth er   with   th e  o u t p u t  o f   a  later   lay e r .   L im o n o v a   et  a l.   [ 2 2 ]   h as  co n clu s iv ely   d em o n s tr ated   th at  th e  im p lem en tatio n   o f   th e  R es Net  m o d el  d em an d s   n o tab ly   f ewe r   lo g ic  g ates,  r ed u cin g   th e  r eq u ir e m en t  b y   a  f a cto r   o f   2 . 1 - 2 . 9   tim es  in   co m p ar is o n   to   alter n ativ e   m o d els.  R esid u al  n etwo r k   ( R esNet )   is   a  n etwo r k   m o d el  with   b ette r   p er f o r m an ce   an d   s m aller   m o d el  s ize  an d   p ar am eter s .   I t   o cc u p ies  less   m em o r y   s p ac e  wh ile  m ain tain in g   ac c u r ac y   an d   h as  s tr o n g   m o d u lar ity   an d   p o r tab ilit y .   T h is   ar ch itectu r e  a llo ws  th e  n etwo r k   to   s k ip   s p e cif ic  lay er s   s ig n if ican tly   if   th e y   d o   n o t  co n tr i b u te  to   a  b etter   r esu lt.  A  r esid u al  n eu r al  n etwo r k   is   co m p o s ed   o f   s ev er al  o f   th ese  s o - ca lled   r esid u al  b lo ck s   [ 2 3 ] ,   [ 2 4 ] .   I n   R esNets ,   two   p r im ar y   b lo ck   t y p es  co m e   in to   p lay   b ased   o n   wh eth e r   th e   in p u t  a n d   o u tp u t   d im en s io n s   alig n   o r   d if f er .   B o th   b lo c k   t y p es,  n am ely   th e  "id e n tity   b l o ck "  an d   th e  "c o n v o lu tio n al  b lo ck , "  ar e  in te g r al  co m p o n en ts   o f   th e   im p lem en t atio n .   T h e   id e n tity   b lo c k   is   t h e  s tan d ar d   ch o ice  f o r   R esNets ,   em p lo y ed   wh en   th e  in p u t  an d   o u tp u t  ac tiv atio n s   s h ar e  th e   s am e  d im en s io n s .   B elo w,   we  illu s tr ate  a n   e x a m p le  o f   a n   id e n tity   b lo ck   an d   co n v o lu tio n al  b lo c k   in   o u r   m o d el  f ea tu r in g   th e  "sh o r tcu t  p ath "  an d   th e  "m ai n   p ath . "  T h ese  two   b lo ck s   to g et h er   f o r m   th e  f o u n d atio n al  a r ch itectu r e  o f   th e  p r o p o s ed   m o d el  [ 2 5 ] .   T h e   c o n v o lu ti o n al  b l o ck   ca p tu r es  in tr icate   f ea tu r es,  w h ile  th e  I d en tity   B lo ck   en s u r es  ef f icien t  g r ad ie n t  f lo w,   allo wi n g   f o r   th e  ad e q u ate   tr ain in g   an d   o p tim izatio n   o f   d ee p   n etwo r k s .   T h e  R E S  b lo ck   in co r p o r ates   b o th   th e   co n v o l u tio n   b lo c k   an d   th e  id en tity   B lo ck ,   as d ep icted   i n   Fig u r e  3 ,   to   f o r m   an   in te g r al  p ar t o f   th e  f in al  m o d el  ar ch itect u r e.           Fig u r e  3 .   Fin al  m o d el  with   R esNet  b lo ck ,   id en tity   b l o ck ,   a n d   co n v o l u tio n   b lo ck   Evaluation Warning : The document was created with Spire.PDF for Python.
I n d o n esian   J   E lec  E n g   &   C o m p   Sci     I SS N:   2 5 0 2 - 4 7 52       A   n ew d ee p   lea r n in g   mo d el  b a s ed   o n   co n vo lu tio n a l n eu r a l  n etw o r k  …  ( A b d elfetta h   S o u lta n a )   1697   3.   RE SU L T S AN D  D I SCU SS I O N     I n   th is   s ec tio n   o f   r esu lts   an d   d is cu s s io n ,   we  h av e  p r esen t ed   th e  v ar i o u s   o u tco m es  o f   t h e  m o d els   tr ain ed   o n   t h e  ey es_ d ataset,   e m p h asizin g   f o u r   m etr ics:   ac cu r ac y ,   p r ec is io n ,   r ec all,   an d   F1 - s co r e.   Ad d itio n ally ,   we  h av e  d is p lay ed   th e  c o n f u s i o n   m atr ix   f o r   th e  m o s t  p r o f ici en t  m o d els  alo n g   with   th eir   r e s p ec tiv e  m o d el  lo s s   an d   m o d el  ac cu r ac y .   Ad d itio n ally ,   a  d is cu s s io n   o f   th ese  r esu lts   is   p r o v id ed .     3 . 1 .     P er f o r m a nce  m e t rics   Sev er al  p er f o r m a n ce s   wer e  u s ed   to   ev alu ate  th e  p r o p o s ed   m o d el.   T h e  co n f u s io n   m atr ix   m ea s u r es th e   q u ality   o f   a  class if icatio n   s y s tem   b ased   o n   s co r es  o f   tr u e  p o s itiv e  ( T P),   tr u e  n eg ativ e  ( T N) ,   f alse  p o s it iv e  ( FP ) ,   an d   f alse  p o s itiv e  ( FP ) .   Ad d itio n ally ,   ac cu r ac y ,   p r ec is io n ,   r ec all  an d   F1 - s co r e  wer e  ca p tu r ed   to   h a v e  a  g lo b al  v is o n   o f   m o d el  p e r f o r m an ce :     A c c ur a c y ( % ) =  +   +  +  +  × 100   ( 1 )     R e c a l l ( % ) =   +  × 100   ( 2 )     Pr e c ision ( % ) =   +  × 100   ( 3 )     F1 - s c or e ( % ) = 2 × Pr e c isi o n × R e c a l l Pr e c isi o n + R e c a l l × 100   ( 4 )     3 . 2 .     E x perim ent   re s ults   I n   a d d itio n   o f   th e   p r o p o s ed   m o d el  ev al u atio n   u s in g   k ey   m et r ics  s u ch   as  ac c u r ac y ,   p r ec is io n ,   r ec all,   an d   F1 - s co r e,   a   co m p ar is o n   w ith   th e  p er f o r m an ce   o f   o th er   p r e - tr ain ed   R esNet  m o d els  is   c o n d u cte d   in cl u d in g   R esNet1 5 2 ,   R es Net5 0 ,   R esNe t5 0 v 2 ,   R esNet1 0 1 ,   an d   R e s N et1 0 1 v 2 .   T h e  T ab le  1   p r o v i d es  th e  p er f o r m an ce   co m p ar is o n   o f   th e  p r o p o s ed   m o d el  an d   th e  R esNet  p r e - tr ain ed   m o d els.  Ad d itio n ally ,   th e  tab le  in clu d es  in f o r m atio n   o n   r esp o n s e  tim e   in   m illi s ec o n d s   an d   to tal  p ar am eter s ,   p r o v id in g   a  co m p r eh en s iv e  o v er v iew  o f   co m p u tatio n al  e f f icien cy   a n d   co m p lex ity   o f   ea ch   m o d el.         T ab le  1 .   R ep o r t c lass if icatio n   A l g o r i t h ms   A c c u r a c y   P r e c i s i o n   r e c a l l   F1 - sc o r e   R e s p o n se   t i me   ( ms)   To t a l   p a r a ms   R e sN e t 1 5 2   5 1 . 9 5 %   7 4 %   5 1 %   3 5 %   1 5 0   5 8   6 3 3   3 4 5   R e sN e t 5 0   9 5 . 3 1 %   9 6 %   9 6 %   9 6 %   1 1 0   2 3   8 5 0   1 1 3   R e sN e t 5 0 v 2   9 6 . 4 8 %   9 6 %   9 6 %   9 6 %   1 0 0   2 3   8 2 7   2 0 1   R e sN e t 1 0 1   9 4 . 1 4 %   9 5 %   9 5 %   9 5 %   1 2 0   4 2   9 2 0   5 7 7   R e sN e t 1 0 1 v 2   9 4 . 9 2 %   9 5 %   9 5 %   9 5 %   1 2 0   4 2   8 8 8   9 6 1   P r o p o se d   m o d e l   9 6 . 0 9 %   9 6 %   9 6 %   9 6 %   70   1   1 9 4   1 1 4       T h e  p r o p o s ed   m o d el,   R esNet5 0 ,   R esNet5 0 v 2 ,   R esNet1 0 1 ,   an d   R esNet1 0 1 v 2 ,   e x h ib it  s tr o n g   a n d   b alan ce d   p e r f o r m an ce   ac r o s s   ac cu r ac y ,   p r ec is io n ,   r ec all,   an d   F1 - s co r e,   m ak in g   th em   r eliab le  ch o ices  f o r   d r o wsi n ess   d etec tio n   task .   O u r   m o d el  ac h iev e d   a  h ig h   a cc u r ac y   o f   9 6 . 0 9 %,  in d icatin g   its   ca p ab ilit y   to   class if y   in s tan ce s   co r r ec tly .   Ad d itio n ally ,   th e  p r ec is io n ,   r ec a ll,  an d   F1 - s co r e  a r e  all  eq u all y   im p r ess iv e  with   a  s co r e  o f   9 6 %,  r e f lectin g   a  well - r o u n d e d   ab ilit y   to   co r r ec tly   class if y   p o s itiv e  in s tan ce s   in   th e  d ataset .  R esNet1 5 2   p er f o r m ed   r elativ ely   h ig h   p r ec is io n   o f   7 4 %,  b u t  it  s u f f er s   f r o m   a  lo wer   r ec all  an d   F1 - s co r e  o f   5 1 %  an d   3 5 %,   r esp ec tiv ely ,   r esu ltin g   in   a n   o v er all  ac c u r ac y   o f   5 1 . 9 5 %.   T h is   s u g g est s   th at  alth o u g h   t h e  alg o r ith m   is   p r ec is e  in   class if y in g   p o s itiv e  i n s tan ce s ,   it  n ee d s   h elp   to   ca p tu r e  a  s u b s tan tia l  p o r tio n   o f   r elev an t   in s tan ce s   f r o m   th e   d ataset.   I n   co n tr ast,   R esNet5 0 ,   R esNet5 0 v 2 ,   an d   R esNet1 0 1 ,   d em o n s tr ate  s im ilar ly   h ig h   lev els  o f   ac cu r ac y   r a n g in g   f r o m   9 4 . 1 4 %  to   9 6 %  an d   R esNet5 0 v 2   o u tp e r f o r m ed   with   an   ac cu r ac y   o f   9 6 . 4 8 %.  All  p r ec is io n ,   r ec all,   a n d   F1 - s co r es  ar e   all  co n s is ten t  at  9 6 %,  in d icatin g   b alan ce d   p e r f o r m a n ce   b etwe en   ac cu r ately   class if y in g   p o s itiv e  in s tan ce s   an d   co m p r eh e n s iv ely   ca p tu r in g   r elev a n t  in s tan ce s   f r o m   th e  d ataset.   C o n s id er in g   ex ec u tio n   t im e,   t h e  p r o p o s ed   m o d el  o b tain ed   a  r em ar k ab le  r esp o n s e  tim e  o f   ju s t 7 0   m illi s ec o n d s ,   a  s ig n if ican t  leap   in   s p ee d   co m p ar ed   t o   all  o th er   m o d els  i n   th e  co m p ar is o n .   T h is   tr an s lates  in to   a  lev el  o f   p r o ce s s in g   s wif tn ess   th at  is   cr u cial  i n   r ea l - tim e   o r   tim e - s en s i tiv e  ap p licatio n s ,   s ettin g   it  a p ar t  as  a n   ex ce p tio n al  c h o ice.   I n   c o n tr a s t,  wh ile  o th er   m o d els  lik e  R esNet5 0   an d   R esNet5 0 v 2   ex h ib it  co m m e n d ab le   p er f o r m an ce ,   th eir   r esp o n s e   tim es  o f   1 1 0   a n d   1 0 0   m i llis ec o n d s   r esp ec tiv ely ,   w h ile  s till   r esp ec tab le,     lag   b eh i n d   th e  r ap id ity   ac h i ev ed   b y   o u r   ap p r o ac h .   I n   a d d itio n ,   o u r   m o d el  h as  th e   s m allest  n u m b er   o f   p ar am eter s   h ig h lig h tin g   its   ef f icien cy   a n d   r eso u r ce   o p tim izatio n .   T h is   u n d er s co r es  th e   h ig h   eq u ilib r iu m   s tr u ck   b y   th e  p r o p o s ed   m o d el,   s ea m less ly   m ar r y in g   h ig h   p er f o r m a n ce   with   o p tim al  r esp o n s e  tim e,   r en d e r in g   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 5 0 2 - 4 7 52   In d o n esian   J   E lec   E n g   &   C o m p   Sci ,  Vo l.  3 7 ,   No .   3 ,  Ma r ch   20 2 5 :   1 692 - 1 7 0 1   1698   it a   h ig h ly   p r o m is in g   ca n d id at e  f o r   ap p licatio n s   wh er e  s p ee d   is   cr itical.   T h e  Fig u r e  4   illu s tr ates th e  m o d el  lo s s   an d   ac cu r ac y   f o r   th e  two   m o d els th at  ex h ib it th e  m o s t sig n if ican t m etr ic  v alu es.           Fig u r e  4 .   M o d el  lo s s   an d   m o d el  ac cu r ac y       T h e  g r ap h   s h o ws  th at  th e  p r ec is io n   an d   lo s s   o f   o u r   m o d el  h av e  a  lear n in g   p r o g r ess io n   o v er   3 0   ep o ch s .   T h e  m o d el' s   tr ain in g   ac cu r ac y   s tar ts   at  ar o u n d   7 9 . 8 %  an d   s tead ily   im p r o v es,  r ea c h in g   clo s e  to   1 0 0 %  ac cu r ac y   b y   th e  1 3 th   ep o c h .   T h e  v alid atio n   ac c u r ac y ,   wh i ch   b e g in s   at  a p p r o x im ately   4 9 . 2 %,  u n d er g o es  a   s u b s tan tial  im p r o v em e n t  an d   s tab ilizes  at  a  h ig h   lev el   o f   9 6 %  ac cu r ac y   af te r   a  f ew   ep o ch s .   T h is   tr e n d   in d icate s   th at  th e  m o d el  ef f ec tiv ely   lear n s   f r o m   t h e  tr ain in g   d ata  an d   g e n er a lizes  well  to   th e  v alid atio n   d ata.   Ho wev er ,   th e  r elativ ely   s m all  g ap   b etwe en   th e  t r ain in g   a n d   v alid atio n   ac cu r ac y   s u g g ests   th e  m o d el  c o u ld   b e   well - r eg u lar ized   a n d   c o n tin u e   to   p er f o r m   well  o n   n ew,   u n s ee n   d ata.   T h e  p r o v id ed   m o d el   ac cu r ac y   a n d   m o d el   lo s s   f o r   R esNetNet5 0 v 2   illu s tr ate  th e  lear n in g   t r ajec to r y   o f   a  n eu r al   n etwo r k   ac r o s s   2 5   ep o ch s .   I n itially ,   th e   m o d el  ac h iev es  a  tr ain in g   ac c u r ac y   o f   8 6 . 5 %,  wh ich   s u b s eq u en tly   ad v an ce s   co n s is ten tly ,   cu lm in atin g   in   a n   ac cu r ac y   o f   a r o u n d   9 6 . 4 8 %  b y   th e  2 5 th   e p o ch .   Me an wh i le,   th e  v alid atio n   ac cu r ac y   s tar ts   at  5 8 . 6 %  an d   d is p lay s   s o m e  o s cillatio n s   in   t h e  ea r ly   e p o ch s .   H o wev er ,   th e  f lu ctu atio n s   s tab ilize,   lead in g   to   a  c o n v e r g en ce   o f   ar o u n d   9 6 . 4 8 %  as  th e   tr a in in g   p r o g r ess es.  T h is   co n v e r g en ce   s ig n if ies  th e   m o d el' s   r o b u s t  ca p a city   to   g en er alize   ef f ec tiv ely   to   n ew  an d   u n s ee n   d ata.   T h e  co n f u s i o n   m atr ices  f o r   th e  two   m o d el s   ar e  also   d is p lay ed   in   th e  F ig u r e  5 .           Fig u r e  5 .  C o n f u s io n   m atr i x   Evaluation Warning : The document was created with Spire.PDF for Python.
I n d o n esian   J   E lec  E n g   &   C o m p   Sci     I SS N:   2 5 0 2 - 4 7 52       A   n ew d ee p   lea r n in g   mo d el  b a s ed   o n   co n vo lu tio n a l n eu r a l  n etw o r k  …  ( A b d elfetta h   S o u lta n a )   1699   T h is   m atr ix   s h o ws  th at  t h e  p r o p o s ed   m o d el   p er f o r m s   q u ite  well  o v er all,   with   h ig h   v al u es  o n   th e   d iag o n al  i n d icatin g   ac cu r ate  p r ed ictio n s .   T h e  m o d el  s ee m s   s lig h tly   m o r e   lik ely   to   m is class if y   "c lo s ed "  in s tan ce s   as  "o p en "  th a n   th e   r ev er s e.   T h e  " R es N et5 0 v 2 "   m o d el   also   p er f o r m s   well,   p ar ticu lar ly   in   th e   "c lo s ed "  class ,   wh er e  it  ac h iev es  p er f ec t  ac cu r a cy .   Ho we v e r ,   th er e  ar e   s o m e  in s tan ce s   wh er e  it  m is class if ies   "o p en "  in s tan ce s   as  "c lo s ed , "  lead in g   to   a  n o n - ze r o   v alu e  in   th e  to p   r ig h t  co r n er .   I n   co n cl u s io n ,   b o th   m o d els  p er f o r m   r ea s o n ab ly   well  in   th e  b in ar y   class if icatio n   task   b u t   h av e  s lig h tly   d if f er en t   m is class if icatio n   p atter n s .   T h e  p r o p o s ed   m o d el   h as  a  b a lan ce d   m is class if icatio n   p atter n ,   wh ile  R esNet5 0 v 2   ex ce ls   in   th e  clo s ed   class   b u t  h as  s o m e   m is class if icatio n s   in   th e   o p e n   ca teg o r y .   I n   c o n clu s io n ,   b o th   m o d els,  th e   p r o p o s ed   m o d el   an d   R esNet5 0 v 2 ,   d em o n s tr ate  p r o m is in g   p er f o r m a n ce   f o r   d r o w s in ess   d etec tio n .   T h e  p r o p o s ed   m o d el  s tan d s   o u t   with   its   f aster   r esp o n s e  tim e  an d   r ed u ce d   n u m b e r   o f   p ar a m eter s ,   m ak in g   it  a  p r ef er r ed   ch o ice  f o r   r ea l - tim e   d r o wsi n ess   d etec tio n   in   d r iv er s .   T h e  p r o p o s ed   m o d el  d em o n s tr ates   ex ce p tio n al  p e r f o r m a n ce   o n   th e  p r im ar y   d ataset,   ac h iev in g   an   ac c u r ac y   o f   9 6 . 0 9 %.  T h is   h ig h   lev el   o f   ac cu r ac y   is   s u p p o r ted   b y   v ar io u s   ev alu atio n   m etr ics,  in clu d in g   p r ec is io n ,   r ec all,   F1   s co r e,   an d   a  d etaile d   co n f u s io n   m atr ix .   T h e  s tab i lity   o f   th e  tr ain i n g   p r o ce s s ,   as e v id en ce d   b y   c o n s is ten t lo s s   an d   ac cu r ac y   p r o f ile s ,   f u r th er   v alid ates th e  m o d el' s   ef f ec tiv en ess .   I n   ad d itio n   to   th ese  m etr ics,  a  co m p ar ativ e  a n aly s is   was  c o n d u cte d   with   s ev er al  p r e - t r a in ed   C NN   m o d els  b ased   o n   th e  R esNet  ar ch itectu r e.   T h e  r esu lt s   o f   th is   co m p ar is o n   r ev ea l  th at  o u r   p r o p o s ed   1 8 - lay er   m o d el  s ig n if ican tly   o u t p er f o r m s   th ese  alter n ativ es,  ac h iev in g   a  co m p ellin g   le v el  o f   ac cu r a cy .   T h is   estab lis h es  o u r   m o d el' s   s u p er io r   ef f icac y   in   th e   d o m ai n   o f   d r iv er   d r o wsi n ess   d etec tio n .   T o   ass ess   th e  m o d el' s   r o b u s tn ess   an d   g en er aliza tio n   ca p a b ilit ies,  we  co n d u cted   a   s ec o n d ar y   ev alu atio n   u s in g   an   alter n ati v e  Kag g le   d ataset  co m p r is in g   1 , 8 7 0   im ag es  d ep i ctin g   b o th   o p e n   an d   clo s ed   e y es.  R em ar k ab ly ,   th e   m o d el  ac h iev ed   an   ac cu r ac y   o f   9 8 . 2 8 %  o n   th is   in d ep e n d e n t  d ataset.   T h is   im p r ess iv e  p e r f o r m a n ce   o n   a  d if f e r en t  d ata s et  u n d er s co r es  th e   m o d el' s   r o b u s tn ess   an d   b r o a d   ap p licab ilit y ,   m ak in g   it a   r elia b le  s o lu tio n   f o r   v a r io u s   r ea l - w o r ld   s ce n ar io s .       4.   CO NCLU SI O N     I n   co n clu s io n ,   a d d r ess in g   th e  cr itical  is s u e  o f   d r o wsy   d r iv in g   in   th e  r ea lm   o f   d r iv er   s af ety   d em an d s   in n o v ativ e   s o lu tio n s ,   p ar ticu la r ly   th o s e  g r o u n d e d   in   r ea l - tim e  m o n ito r in g   s y s tem s .   T h is   r e s ea r ch   in tr o d u ce s   a  g r o u n d b r ea k in g   ap p r o ac h   u tili zin g   co n v o lu tio n al  n eu r al  n et wo r k s   ( C NNs)  an d   R esid u al  b lo ck s   to   p r o m p tly   d etec t  d r iv er   d r o wsi n ess .   T h e  f u s io n   o f   C NNs  with   R esid u al  u n its ,   in co r p o r atin g   cr u cial  an aly tical   co m p o n en ts ,   estab lis h es  a  r o b u s t  m eth o d o lo g y   f o r   ad d r es s in g   th is   cr itical  ch allen g e.   Ou r   d ev is ed   s t r ateg y   ex h ib its   r em ar k a b le  ef f icac y ,   b o asti n g   an   i m p r ess iv e  9 6 . 0 9 %  ac cu r ac y   wh e n   test ed   o n   th e  wid ely   ac ce s s ib le  ey e_ d ataset.   No tab ly ,   o u r   p r o p o s ed   ap p r o ac h   d e m o n s tr a tes  an   ex ce p tio n al  r esp o n s e  tim e  o f   7 0   m s ,   u n d er s co r i n g   its   ef f icien cy   in   r ea l - tim e  ap p lic atio n s .   F u r th er m o r e,   o u r   in v esti g atio n   ex ten d s   to   th e   ex p lo r atio n   o f   d iv e r s e  p r e - tr ai n ed   r esid u al  n eu r al  n etwo r k s ,   in clu d in g   R esNet1 5 2   an d   R esNet5 0 ,   em p h asizin g   th e  ad ap tab ilit y   o f   o u r   m eth o d o lo g y .   L o o k in g   f o r war d ,   o u r   e n v is io n ed   tr ajec to r y   in v o lv es  th e  s e am less   in teg r atio n   o f   o u r   d r o wsi n ess   d etec tio n   s y s tem   i n to   a   co m p r eh en s iv e   g lo b al  d r iv er   in atten tio n   d etec tio n   s y s tem .   T h is   ex p an d e d   s y s tem   tr an s ce n d s   th e  s in g u lar   f o c u s   o n   d r o wsi n ess ,   en co m p ass in g   f ac to r s   s u c h   as   f atig u e,   n eg ativ e   em o tio n s ,   a n d   d r iv er   d is tr ac tio n .   B y   b r o ad en in g   its   s co p e,   we  asp ir e  to   estab lis h   a  m o r e   r esil ien t  an d   p r o ac tiv e  a p p r o ac h   to   b o ls ter in g   d r iv er   s af ety   an d   atten tiv e n ess   o n   th e  r o ad s .   T h is   h o lis tic  s tr ateg y ,   co u p led   with   a n   im p r ess iv e  r esp o n s e  tim e,   r ef lects   o u r   c o m m itm en t  t o   ad v an cin g   n o t  o n ly   t h e  f ield   o f   d r o wsy   d r iv i n g   d etec tio n   b u t  also   co n tr i b u tin g   t o   a  b r o ad er   f r am ew o r k   f o r   c o m p r eh en s iv e  d r iv er   s af ety   s o lu tio n s .   Fu tu r e  r esear ch   ca n   b u ild   u p o n   th ese  f in d in g s   b y   ex p lo r i n g   r ea l - tim e   im p lem e n tatio n ,   en h an cin g   d ataset  d iv er s ity ,   in teg r atin g   m u ltimo d al  d ata,   in v esti g atin g   tr an s f er   lear n in g ,   an d   ev alu atin g   lo n g - ter m   p er f o r m an ce .   T h is   h o lis tic  s tr ateg y ,   co u p led   with   a n   im p r e s s iv e  r esp o n s e  tim e,   r ef lects  o u r   co m m itm en t  to   ad v an cin g   n o t  o n l y   th e  f ield   o f   d r o wsy   d r iv in g   d etec tio n   b u t  also   co n tr ib u tin g   to   a  b r o a d er   f r am ewo r k   f o r   co m p r eh e n s iv e  d r iv e r   s af ety   s o lu tio n s .       RE F E R E NC E S   [ 1 ]   S .   S t e r n l u n d ,   J.  S t r a n d r o t h ,   M .   R i z z i ,   A .   Li e ,   a n d   C .   Ti n g v a l l ,   “ Th e   e f f e c t i v e n e ss o f   l a n e   d e p a r t u r e   w a r n i n g   s y st e ms - a   r e d u c t i o n   i n   r e a l - w o r l d   p a ss e n g e r   c a r   i n j u r y   c r a sh e s, ”   T r a f f i c   I n j u r y   Pre v e n t i o n ,   v o l .   1 8 ,   n o .   2 ,   p p .   2 2 5 – 2 2 9 ,   F e b .   2 0 1 7 ,     d o i :   1 0 . 1 0 8 0 / 1 5 3 8 9 5 8 8 . 2 0 1 6 . 1 2 3 0 6 7 2 .   [ 2 ]   L.   Y u e ,   M .   A b d e l - A t y ,   Y .   W u ,   J .   U g a n ,   a n d   C .   Y u a n ,   “ Ef f e c t s  o f   f o r w a r d   c o l l i si o n   w a r n i n g   t e c h n o l o g y   i n   d i f f e r e n t   p r e - c r a sh   sce n a r i o s, ”   T ra n s p o r t a t i o n   R e se a rc h   P a rt   F:   T r a f f i c   Ps y c h o l o g y   a n d   Be h a v i o u r ,   v o l .   7 6 ,   p p .   3 3 6 – 3 5 2 ,   Ja n .   2 0 2 1 ,     d o i :   1 0 . 1 0 1 6 / j . t r f . 2 0 2 0 . 1 2 . 0 0 4 .   [ 3 ]   L.   R .   W i l l i a ms,  D .   R .   D a v i e s,  K .   T h i e l e ,   J .   R .   D a v i d s o n ,   a n d   A .   W .   M a c Le a n ,   “ Y o u n g   d r i v e r s’   p e r c e p t i o n s  o f   c u l p a b i l i t y   o f   sl e ep - d e p r i v e d   v e r s u s  d r i n k i n g   d r i v e r s , ”   J o u rn a l   o f   S a f e t y   Re s e a rc h ,   v o l .   4 3 ,   n o .   2 ,   p p .   1 1 5 – 1 2 2 ,   2 0 1 2 ,   d o i :   1 0 . 1 0 1 6 / j . j sr . 2 0 1 2 . 0 2 . 0 0 2 .   [ 4 ]   “ D r o w sy   d r i v i n g , ”   N H TSA .   A c c e sse d :   A u g .   1 3 ,   2 0 2 3 .   [ O n l i n e ] .   A v a i l a b l e :   h t t p s : / / w w w . n h t sa. g o v / r i s k y - d r i v i n g / d r o w sy - d r i v i n g   [ 5 ]   B .   C .   T e f f t ,   “ P r e v a l e n c e   o f   m o t o r   v e h i c l e   c r a s h e s   i n v o l v i n g   d r o w s y   d r i v e r s,  U n i t e d   S t a t e s,  1 9 9 9 - 2 0 0 8 , ”   Ac c i d e n t   A n a l y s i s  a n d   Pre v e n t i o n ,   v o l .   4 5 ,   p p .   1 8 0 – 1 8 6 ,   M a r .   2 0 1 2 ,   d o i :   1 0 . 1 0 1 6 / j . a a p . 2 0 1 1 . 0 5 . 0 2 8 .   [ 6 ]   Y .   Le c u n ,   Y .   B e n g i o ,   a n d   G .   H i n t o n ,   “ D e e p   l e a r n i n g , ”   N a t u re ,   v o l .   5 2 1 ,   n o .   7 5 5 3 ,   p p .   4 3 6 – 4 4 4 ,   2 0 1 5 ,   d o i :   1 0 . 1 0 3 8 / n a t u r e 1 4 5 3 9 .   [ 7 ]   K .   H e ,   X .   Z h a n g ,   S .   R e n ,   a n d   J .   S u n ,   “ D e e p   r e si d u a l   l e a r n i n g   f o r   i ma g e   r e c o g n i t i o n , ”   i n   2 0 1 6   I EEE   C o n f e r e n c e   o n   C o m p u t e r   Vi si o n   a n d   Pa t t e rn   Re c o g n i t i o n   ( C V P R) ,   I EEE,   J u n .   2 0 1 6 ,   p p .   7 7 0 – 7 7 8 .   d o i :   1 0 . 1 1 0 9 / C V P R . 2 0 1 6 . 9 0 .   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 5 0 2 - 4 7 52   In d o n esian   J   E lec   E n g   &   C o m p   Sci ,  Vo l.  3 7 ,   No .   3 ,  Ma r ch   20 2 5 :   1 692 - 1 7 0 1   1700   [ 8 ]   M .   S h a f i q   a n d   Z.   G u ,   “ D e e p   r e si d u a l   l e a r n i n g   f o r   i ma g e   r e c o g n i t i o n :   a   su r v e y , ”   A p p l i e d   S c i e n c e s  ( S w i t z e rl a n d ) ,   v o l .   1 2 ,     n o .   1 8 ,   p .   8 9 7 2 ,   S e p .   2 0 2 2 ,   d o i :   1 0 . 3 3 9 0 / a p p 1 2 1 8 8 9 7 2 .   [ 9 ]   F .   H u a n g ,   J.  T.   A s h ,   J.  L a n g f o r d ,   a n d   R .   E.   S c h a p i r e ,   “ L e a r n i n g   d e e p   R e sN e t   b l o c k s  s e q u e n t i a l l y   u si n g   b o o s t i n g   t h e o r y , ”     i n   3 5 t h   I n t e rn a t i o n a l   C o n f e re n c e   o n   Ma c h i n e   L e a r n i n g ,   I C ML  2 0 1 8 ,   2 0 1 8 ,   p p .   3 2 7 2 – 3 2 9 0 .   [ 1 0 ]   Z.   W u ,   C .   S h e n ,   a n d   A .   v a n   d e n   H e n g e l ,   “ W i d e r   o r   d e e p e r :   r e v i si t i n g   t h e   R e sN e t   m o d e l   f o r   v i s u a l   r e c o g n i t i o n , ”     Pa t t e r n   Re c o g n i t i o n ,   v o l .   9 0 ,   p p .   1 1 9 – 1 3 3 ,   J u n .   2 0 1 9 ,   d o i :   1 0 . 1 0 1 6 / j . p a t c o g . 2 0 1 9 . 0 1 . 0 0 6 .   [ 1 1 ]   V .   R .   R e d d y   C h i r r a ,   S .   R .   U y y a l a ,   a n d   V .   K .   K i sh o r e   K o l l i ,   “ D e e p   C N N :   a   ma c h i n e   l e a r n i n g   a p p r o a c h   f o r   d r i v e r   d r o w s i n e ss   d e t e c t i o n   b a s e d   o n   e y e   s t a t e , ”   R e v u e   d ’ I n t e l l i g e n c e   Art i f i c i e l l e ,   v o l .   3 3 ,   n o .   6 ,   p p .   4 6 1 – 4 6 6 ,   D e c .   2 0 1 9 ,   d o i :   1 0 . 1 8 2 8 0 / r i a . 3 3 0 6 0 9 .   [ 1 2 ]   A .   U .   I .   R a f i d ,   A .   I .   C h o w d h u r y ,   A .   R .   N i l o y ,   a n d   N .   S h a r m i n ,   “ A   d e e p   l e a r n i n g   b a se d   a p p r o a c h   f o r   r e a l - t i m e   d r i v e r   d r o w si n e ss   d e t e c t i o n , ”   i n   2 0 2 1   5 t h   I n t e r n a t i o n a l   C o n f e r e n c e   o n   E l e c t r i c a l   E n g i n e e r i n g   a n d   I n f o rm a t i o n   a n d   C o m m u n i c a t i o n   T e c h n o l o g y ,   I C EEICT  2 0 2 1 ,   I EEE,   N o v .   2 0 2 1 ,   p p .   1 – 5 .   d o i :   1 0 . 1 1 0 9 / I C EEI C T 5 3 9 0 5 . 2 0 2 1 . 9 6 6 7 9 4 4 .   [ 1 3 ]   M .   F .   S h a k e e l ,   N .   A .   B a j w a ,   A .   M .   A n w a a r ,   A .   S o h a i l ,   A .   K h a n ,   a n d   H a r o o n - ur - R a s h i d ,   “ D e t e c t i n g   d r i v e r   d r o w si n e ss i n   r e a l   t i m e   t h r o u g h   d e e p   l e a r n i n g   b a se d   o b j e c t   d e t e c t i o n , ”   i n   L e c t u re   N o t e s   i n   C o m p u t e r   S c i e n c e   ( i n c l u d i n g   s u b s e ri e s  L e c t u re   N o t e s   i n   Art i f i c i a l   I n t e l l i g e n c e   a n d   L e c t u r e   N o t e s   i n   B i o i n f o rm a t i c s) ,   v o l .   1 1 5 0 6   LN C S ,   2 0 1 9 ,   p p .   2 8 3 – 2 9 6 .     d o i :   1 0 . 1 0 0 7 / 9 7 8 - 3 - 030 - 2 0 5 2 1 - 8 _ 2 4 .   [ 1 4 ]   S .   P .   R a j a mo h a n a ,   E.   G .   R a d h i k a ,   S .   P r i y a ,   a n d   S .   S a n g e e t h a ,   “ D r i v e r   d r o w si n e ss  d e t e c t i o n   s y st e m  u s i n g   h y b r i d   a p p r o a c h   o f   c o n v o l u t i o n a l   n e u r a l   n e t w o r k   a n d   b i d i r e c t i o n a l   l o n g   s h o r t   t e r m  m e m o r y   ( C N N _ B I LSTM ) , ”   M a t e r i a l s  T o d a y :   Pr o c e e d i n g s ,    v o l .   4 5 ,   p p .   2 8 9 7 – 2 9 0 1 ,   2 0 2 1 ,   d o i :   1 0 . 1 0 1 6 / j . ma t p r . 2 0 2 0 . 1 1 . 8 9 8 .   [ 1 5 ]   J.  Jo se,   A .   J ,   K .   R a i m o n d ,   S .   V i n c e n t ,   a n d   J .   E u n i c e   R ,   “ S l e e p y W h e e l s :   a n   e n s e mb l e   mo d e l   f o r   d r o w si n e ss  d e t e c t i o n   l e a d i n g   t o   a c c i d e n t   p r e v e n t i o n , ”   J o u r n a l   o f   A u t o n o m o u s In t e l l i g e n c e ,   v o l .   7 ,   n o .   3 ,   Ja n .   2 0 2 4 ,   d o i :   1 0 . 3 2 6 2 9 / j a i . v 7 i 3 . 1 1 1 7 .   [ 1 6 ]   S .   E.   B e k h o u c h e ,   Y .   R u i c h e k ,   a n d   F .   D o r n a i k a ,   “ D r i v e r   d r o w s i n e ss  d e t e c t i o n   i n   v i d e o   s e q u e n c e s   u s i n g   h y b r i d   sel e c t i o n   o f   d e e p   f e a t u r e s, ”   K n o w l e d g e - B a se d   S y s t e m s ,   v o l .   2 5 2 ,   p .   1 0 9 4 3 6 ,   S e p .   2 0 2 2 ,   d o i :   1 0 . 1 0 1 6 / j . k n o s y s. 2 0 2 2 . 1 0 9 4 3 6 .   [ 1 7 ]   E.   C i v i k   a n d   U .   Y u z g e c ,   “ R e a l - t i m e   d r i v e r   f a t i g u e   d e t e c t i o n   s y s t e m   w i t h   d e e p   l e a r n i n g   o n   a   l o w - c o st   e m b e d d e d   s y st e m, ”   Mi c r o p ro c e ss o rs  a n d   M i c r o sys t e m s ,   v o l .   9 9 ,   p .   1 0 4 8 5 1 ,   Ju n .   2 0 2 3 ,   d o i :   1 0 . 1 0 1 6 / j . m i c p r o . 2 0 2 3 . 1 0 4 8 5 1 .   [ 1 8 ]   R .   F l o r e z ,   F .   P a l o m i n o - Q u i s p e ,   R .   J .   C o a q u i r a - C a st i l l o ,   J.  C .   H e r r e r a - Le v a n o ,   T.   P a i x ã o ,   a n d   A .   B .   A l v a r e z ,   “ A   C N N - b a s e d   a p p r o a c h   f o r   d r i v e r   d r o w si n e s s  d e t e c t i o n   b y   r e a l - t i m e   e y e   st a t e   i d e n t i f i c a t i o n , ”   A p p l i e d   S c i e n c e s   ( S w i t ze rl a n d ) ,   v o l .   1 3 ,     n o .   1 3 ,   p .   7 8 4 9 ,   Ju l .   2 0 2 3 ,   d o i :   1 0 . 3 3 9 0 / a p p 1 3 1 3 7 8 4 9 .   [ 1 9 ]   A .   C .   P h a n ,   T .   N .   Tr i e u ,   a n d   T.   C .   P h a n ,   “ D r i v e r   d r o w si n e ss  d e t e c t i o n   a n d   s mart  a l e r t i n g   u s i n g   d e e p   l e a r n i n g   a n d   I o T, ”     I n t e r n e t   o f   T h i n g s   ( N e t h e rl a n d s) ,   v o l .   2 2 ,   p .   1 0 0 7 0 5 ,   J u l .   2 0 2 3 ,   d o i :   1 0 . 1 0 1 6 / j . i o t . 2 0 2 3 . 1 0 0 7 0 5 .   [ 2 0 ]   S .   R a j u ,   “ y a w n _ e y e _ d a t a s e t _ n e w . ”   A c c e ss e d :   A u g .   0 6 ,   2 0 2 3 .   [ O n l i n e ] .   A v a i l a b l e :   h t t p s : / / w w w . k a g g l e . c o m / d a t a se t s/ s e r e n a r a j u / y a w n - e y e - d a t a set - n e w   [ 2 1 ]   A .   K h a n ,   A .   S o h a i l ,   U .   Za h o o r a ,   a n d   A .   S .   Q u r e s h i ,   “ A   s u r v e y   o f   t h e   r e c e n t   a r c h i t e c t u r e s o f   d e e p   c o n v o l u t i o n a l   n e u r a l   n e t w o r k s, ”   Art i f i c i a l   I n t e l l i g e n c e   Re v i e w ,   v o l .   5 3 ,   n o .   8 ,   p p .   5 4 5 5 – 5 5 1 6 ,   D e c .   2 0 2 0 ,   d o i :   1 0 . 1 0 0 7 / s1 0 4 6 2 - 020 - 0 9 8 2 5 - 6.   [ 2 2 ]   E.   Li m o n o v a ,   D .   A l f o n s o ,   D .   N i k o l a e v ,   a n d   V .   V .   A r l a z a r o v ,   “ R e sN e t - l i k e   a r c h i t e c t u r e   w i t h   l o w   h a r d w a r e   r e q u i r e me n t s , ”     i n   Pr o c e e d i n g s  -   I n t e r n a t i o n a l   C o n f e re n c e   o n   P a t t e r n   R e c o g n i t i o n ,   I EEE,   J a n .   2 0 2 0 ,   p p .   6 2 0 4 – 6 2 1 1 .     d o i :   1 0 . 1 1 0 9 / I C P R 4 8 8 0 6 . 2 0 2 1 . 9 4 1 3 1 8 6 .   [ 2 3 ]   Y .   Z h o n g ,   S .   Q i u ,   X .   L u o ,   Z .   M e n g ,   a n d   J .   L i u ,   “ F a c i a l   e x p r e ss i o n   r e c o g n i t i o n   b a s e d   o n   o p t i m i z e d   R e sN e t , ”   i n   2 0 2 0   2 n d   Wo r l d   S y m p o s i u m   o n   Art i f i c i a l   I n t e l l i g e n c e ,   WS AI   2 0 2 0 ,   I EEE,   J u n .   2 0 2 0 ,   p p .   8 4 – 9 1 .   d o i :   1 0 . 1 1 0 9 / W S A I 4 9 6 3 6 . 2 0 2 0 . 9 1 4 3 2 8 7 .   [ 2 4 ]   J.  Z h a n g ,   Y .   Zh u ,   W .   L i ,   W .   F u ,   a n d   L.   C a o ,   “ D R N e t :   a   d e e p   n e u r a l   n e t w o r k   w i t h   m u l t i - l a y e r   r e s i d u a l   b l o c k s  i m p r o v e s  i ma g e   d e n o i si n g , ”   I EEE   Ac c e ss ,   v o l .   9 ,   p p .   7 9 9 3 6 – 7 9 9 4 6 ,   2 0 2 1 ,   d o i :   1 0 . 1 1 0 9 / A C C ESS . 2 0 2 1 . 3 0 8 4 9 5 1 .   [ 2 5 ]   F .   H e ,   T.   Li u ,   a n d   D .   Ta o ,   “ W h y   R e sN e t   w o r k s?   r e si d u a l s  g e n e r a l i z e , ”   I EEE  T r a n sa c t i o n s  o n   N e u r a l   N e t w o r k s  a n d   L e a r n i n g   S y s t e m s ,   v o l .   3 1 ,   n o .   1 2 ,   p p .   5 3 4 9 – 5 3 6 2 ,   D e c .   2 0 2 0 ,   d o i :   1 0 . 1 1 0 9 / TN N LS . 2 0 2 0 . 2 9 6 6 3 1 9 .       B I O G RAP H I E S O F   AUTH O RS       Abd e lfetta h   S o u lta n a           re c e n t ly   o b tain e d   h is  d o c t o ra te  in   c o m p u ter  sc ien c e .   H e   c o m p lete d   h is  m a ste r' s  d e g re e   in   so f twa re   q u a li t y   a t   Ha ss a n   II  Un iv e rsit y ,   Ca sa b la n c a ,   M o ro c c o ,   i n   2 0 1 5 .   His  th e sis,  ti tl e d   " To wa rd s  a   c o n tex tu a l  sy ste m   fo r  sm a rt  c a r  m a n a g e m e n t, "   m a rk e d   a   sig n ifi c a n t   m il e sto n e   in   h is   a c a d e m ic  jo u r n e y .   Cu rre n tl y ,   h e   is   d e e p l y   e n g a g e d   i n   h i s   d o c to ra l   stu d ies   a t   th e   Lab o ra t o ry   o f   In f o rm a ti o n   P r o c e ss in g   a n d   M o d e li n g   (LT I M )  wit h i n   t h e   Be n   M ’sik   F a c u lt y   o f  S c ien c e .   His  re se a rc h   fo c u se s  o n   m a c h in e   lea rn in g ,   d e e p   lea rn in g ,   a n d   th e   a p p li c a ti o n   o f  In tern e t  o f  Th in g s  tec h n o lo g ies   fo r  d ri v e r  c o n t e x t  m o n it o rin g .   He   c a n   b e   c o n tac ted   a t  e m a il :  so u lt a n a . a b d e l fe tt a h @g m a il . c o m .         Fa o u z i a   Be n a b b o u           tea c h e r - re se a rc h e r  sin c e   1 9 9 4 ,   Au t h o rize d   P r o fe ss o r  si n c e   2 0 0 8   a n d   P ro fe ss o r  o f  Hi g h e r  E d u c a ti o n   in   t h e   De p a rtme n t  o f  M a th e m a ti c s  a n d   Co m p u ter   S c ien c e   a t  th e   Be n   M ' S ick   F a c u lt y   o f   S c ien c e s  in   Ca sa b lan c a   sin c e   2 0 1 5 .   S h e   is  a   m e m b e r  o f   th e   In f o rm a ti o n   Tec h n o l o g y   a n d   M o d e li n g   Lab o ra t o ry   a n d   lea d e r  o f  t h e   ICCNSE   (Cl o u d   Co m p u ti n g ,   Ne two r k   a n d   S y ste m s  En g i n e e rin g )  tea m .   His   re se a rc h   a re a s  in c lu d e   c lo u d   Co m p u ti n g ,   d a ta  m in i n g ,   m a c h i n e   lea rn in g ,   a n d   n a tu ra l  la n g u a g e   p ro c e ss in g .  Sh e   c a n   b e   c o n tac ted   a t  e m a il :  fa o u z i a . b e n a b b o u @ u n iv h 2 c . m a .   Evaluation Warning : The document was created with Spire.PDF for Python.
I n d o n esian   J   E lec  E n g   &   C o m p   Sci     I SS N:   2 5 0 2 - 4 7 52       A   n ew d ee p   lea r n in g   mo d el  b a s ed   o n   co n vo lu tio n a l n eu r a l  n etw o r k  …  ( A b d elfetta h   S o u lta n a )   1701     Na wa l  S a e l          tea c h e r - re se a rc h e r  sin c e   2 0 1 2 ,   A u th o rize d   P r o fe ss o r  sin c e   2 0 1 4   a n d   P ro fe ss o r  o f  Hi g h e r   Ed u c a ti o n   i n   th e   De p a rtme n t  o f  M a th e m a ti c s  a n d   Co m p u ter  S c ien c e   a t   th e   Be n   M ' S ick   F a c u lt y   o f   S c ien c e s  i n   Ca sa b lan c a   si n c e   2 0 2 0   a n d   h e r  e n g in e e r  d e g re e   i n   s o ftwa re   e n g in e e rin g   fro m   ENS IAS,   M o r o c c o ,   in   2 0 0 2 .   He re   re se a rc h   in tere sts  in c lu d e   d a ta  m in in g ,   e d u c a ti o n a l   d a ta   m in i n g ,   m a c h in e   lea rn in g ,   d e e p   lea rn in g   a n d   i n t e rn e t  o f   t h in g s .  Sh e   c a n   b e   c o n tac ted   a t  e m a il :  sa e ln a wa l@h o tma il . c o m .         S o u k a in a   B o u h siss in           re c e i v e d   a   B. S c . d e g re e   i n   m a th e m a ti c a l  sc ien c e s  a n d   c o m p u ter  sc ien c e   fro m   th e   F a c u lt y   o f  S c ien c e s  Be n   M ’S ick ,   Ha ss a n   II  Un iv e rsity   o f   Ca sa b lan c a ,   M o ro c c o ,   i n   2 0 1 8 ,   a n d   a n   M . S c .   d e g re e   in   d a ta  sc ien c e   a n d b ig   d a ta  fro m   Ha ss a n   II  Un i v e rsity   o f  Ca sa b lan c a ,   in   2 0 2 0 ,   wh e re   sh e   is  c u rre n tl y   p u rsu in g   t h e   P h . D.d e g re e   in   c o m p u ter  sc ien c e .   He r  re se a rc h   in tere sts  i n c lu d e   d riv e r   b e h a v i o r  c las sifica ti o n ,   i n telli g e n t   tran sp o rt   sy ste m s,   m a c h in e   lea rn i n g ,   d e e p   lea rn i n g ,   ima g e   c las sifica ti o n ,   a n d   tem p o ra l  se ries .  Sh e   c a n   b e   c o n tac ted   a t  e m a il :  b o u h siss in . s o u k a in a @g m a il . c o m .     Evaluation Warning : The document was created with Spire.PDF for Python.