I A E S  I n t e r n at io n al  Jou r n al  of  A r t if ic ia l  I n t e ll ig e n c e  ( I J - AI )   V ol .   13 , N o.   4 ,  D e c e m be r   2024 , pp.  4249 ~ 4262   I S S N :  2252 - 8938 ,   D O I :  10.11591/ ij a i. v 13 .i 4 .pp 4249 - 4262          4249     Jou r n al  h om e page :  ht tp : // ij ai . ia e s c or e .c om   D r i ve r  i n at t e n t i on  d e t e c t i on  sys t e m  u si n g m u l t i - t ask  c asc ad e d   c on vol u t i on al   n e t w or k s       A b d e lf e t t ah  S ou lt an a,  F aou z ia  B e n ab b ou , N aw al  S ae l,   S ou k ai n a B ou h s is s in   L a bor a t or y of  I nf or m a t i on  T e c hnol ogy a nd M ode l i ng, F a c ul t y of  S c i e nc e s  B e n  M ’ S I K ,   U ni ve r s i t y H a s s a n I I  of  C a s a bl a n c a ,    C a s a bl a n c a ,   M or oc c o       A r t ic le  I n f o     A B S T R A C T   A r ti c le  h is to r y :   R e c e iv e d   O c t  31, 2023   R e vi s e d  M a r  5, 2024   A c c e pt e d  M a r  21, 2024       Driver  inattention  has  emerged  as  a  critical  concern  impacting  road  safety,  resulting   in  an  alarming  surge  in   accidents  and  fatalities.   This  re search  introduces  a  novel  system  for  detecting  inattention,  structure d  across  six  levels:  percep tion,  facial  feature   extractio n,  tracking   driver  face,   and   driver  secondary  task  using  pre - trained  deep  learning  mod els,  inattention  det ection,  risk  estimation,  and  alert.  The  system  is  based  on  image  processing  captured  from  two  strategically  positioned  cameras  that   simultaneously  capt ure  the  driver ’ s  activities  while  driving  and  their  facial   exp ressions.  The  second  contribu tion  concerns  the  driv er  facial  features  extractio n   using  mul ti - task  cascaded  convolut ional  networks  (MTCNN),  and  it   i s  comparison  with  the  histogram  of  gradient  (HOG) - based  frontal  face  detector,  and  haar  feature - based  cascade  classifier.  The  algorithms  were  compared   based  o n  their  runtime  efficiency,  robustness   in  handling   varying  lightin g  condition s,  and  various head movements. The MTCNN ac hieves  high performance, re aching  accuracy  levels  ranging  from   96.4%  to  99.5%   on  two   da tasets  inc luding  realistic  driving  scenarios:  the   DrivFace  dataset   and,  the   driver  dro wsiness  dataset.  The  comparative  analysis  sheds  light  on   the  strength s  and  weaknesses  of  each  algorithm,  providing   valuable  insights  for   selecti ng  the  most suitable f ace de tection algo rithm to use in  our system.   K e y w o r d s :   D r iv e r  di s tr a c ti on   D r iv e r  dr ow s in e s s   D r iv e r  e m ot io ns   D r iv e r  f a ti gue   D r iv e r  i na tt e nt io n m oni to r in g   This is an  open  acce ss artic le unde r the  CC BY - SA   license.     C or r e s pon di n g A u th or :   A bde lf e tt a h S oul ta na   L a bor a to r y of  I n f or m a ti on T e c hnol ogy a nd M ode li ng, F a c ul ty   of  S c ie nc e s  B e n  M ’ S I K   U ni ve r s it y H a s s a n I I  of  C a s a bl a nc a   C a s a bl a n c a ,   M or oc c o   E m a il :  a bde lf e tt a h.s oul ta na - e tu @ e tu .uni vh2c .m a       1.   I N T R O D U C T I O N   R oa d  s a f e ty   r e m a in s   one   of   th e   m os t  pr e s s in g  c on c e r ns   in   our   m ode r n  s oc ie ty .  R oa d  a c c id e nt s   c a us e d by dr iv e r  i na tt e nt io n c ont in ue  t o be   c os tl y r e ga r di ng huma n l iv e s  a nd ma te r ia l  r e s our c e s . A c c or di ng t o   th e   W or ld   H e a lt h  O r ga ni z a ti on  ( W H O )   gl oba l  s t a tu s   r e por t,   r o a d  tr a f f ic   a c c id e nt s   c a us e   1.35  m il li on  de a th s   ye a r ly .  T hi s   i s   ne a r ly   3 , 700  pe opl e   dyi ng  on   th e   w or ld ’ s   r oa ds  da il y   [ 1] .  I n  th is   c ont e xt   [ 2] ,  dr iv e r   in a tt e nt io n   is   de f in e d  a s   ‘ in s uf f ic ie nt ,  or   no  a tt e nt io n,  to   a c ti vi ti e s   c r it ic a l  f or   s a f e   dr iv in g ’   a nd  c a n  be   br ought  a bout   th r ough  a   num be r   of   di f f e r e nt   m e c ha ni s m s   s uc h  a s   ‘ dr iv e r - r e s t r ic te d  a tt e nt io n’   ( e .g.  due   to   bi ol ogi c a l  s ta te s ,  s uc h a s  dr ow s in e s s  or  f a ti gue )  or  ‘ dr iv e r   m is pr io r it iz e d a tt e nt io n’  ( e .g. due  t o f oc us in g a tt e nt io n on one  a s pe c t   of   dr iv in g   to   th e   e xc lu s io n  o f   a not he r   w hi c h  is   m or e   c r it ic a l  f or   s a f e   dr iv in g) .   T hi s   c a n  m a ni f e s t  in   va r io us   f or m s ,  s uc h  a s   us in g  a   m obi le   phone ,  a dj us ti ng  th e   r a di o,  d a ydr e a m in g,  or   e nga gi ng  in   ot he r   di s tr a c ti ng   a c ti vi ti e s .  T h e   c on s e que nc e s   of   s uc h  in a tt e nt io n  a r e   f a r - r e a c hi ng  a nd  c a n  h a ve   de v a s ta ti ng  im pa c t s   on  r oa d   s a f e ty .  I t  s ig ni f ic a nt ly   im pa ir s   a   dr iv e r ' s   a bi li ty   to   r e a c t  pr om pt ly   to   s udde n  c ha nge s   in   tr a f f ic   c ondi ti ons ,   in c r e a s in g  th e   li ke li hood  of   c ol l is io ns   a nd  a c c id e nt s .  B a s e d  on  2017  pol ic e   a nd  hos pi ta l  r e por ts ,  th e   N a ti ona l   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I S S N :   2252 - 8938   I nt  J  A r ti f   I nt e ll ,  V ol .   13 , N o.   4 ,  D e c e m be r   2024 :  4249 - 4262   4250   H ig hw a y  T r a f f ic   S a f e ty   A dm in is tr a ti on  ( N H T S A )   id e nt if ie d  9 1,000  c a r   a c c id e nt s   c a us e d  by  dr ow s y  dr iv e r s   [ 3] .  A   s tu dy  by  th e   A m e r ic a n   A ut om obi le   A s s oc ia ti on’ s   F oun da ti on  f or   T r a f f ic   S a f e ty   e s ti m a te d  th a t  m or e   th a n  320,000  dr ow s y   dr iv in g  a c c id e nt s   h a ppe n  y e a r ly ,  in c lu di n g  6 , 400  f a ta l  c r a s he s   [ 4] .  S im il a r ly ,  th e   r e por t  of   th e   N H T S A   in   th e   U S A   c on c lu de d  th a t  a r ound  64.4%   of   pe opl e   lo s e   li f e   due   to   th e   di v e r s io n  of   a tt e nt io n  f r om   dr iv in g   [ 5 ] .  M or e ove r ,  th e ir   r e por t  a ls o  de c la r e d  th a t  s o m e w he r e   be twe e n  94%   a nd  96%   of   a ll   m ot or   ve hi c le   a c c id e nt s   a r e   c a u s e d  by  s om e   hum a n  e r r or ,  w hi le   m a ny  r oa d  a c c id e nt s   a r e   du e   to   th e   us a g e   of   e le c tr oni c   de vi c e s   s uc h  a s   B lu e to ot h  de vi c e s   a nd   m obi le   phone s .  T he   gr a vi ty   of   th e s e   s ta ti s ti c s   unde r s c or e s   th e  ur ge nt  ne e d f or  c om pr e he ns iv e  m e a s ur e s  t o c om ba t  dr iv e r  i na tt e nt io n a nd f or ge  s a f e r  r oa ds  f or  a ll .   W hi le   va r io us   f a c to r s   c ont r ib ut e   to   dr iv e r   in a tt e nt io n,  di s tr a c ti ons ,  f a ti gue ,  dr ow s in e s s ,  a nd   e m ot io na l  s ta te s   a r e   a m ong  th e   m os t  pr e va l e nt .  D is tr a c ti on   b y  a   s e c onda r y  ta s k  i s   one   of   th e   m a in   f a c to r s   im pa ir in g dr iv in g;  c om m on e xa m pl e s  i nc lu de  us in g a  m obi le  phone , e a ti ng or  dr in ki ng, t a lk in g t o pa s s e nge r s ,  gr oom in g  li ke   a ppl yi ng   m a ke up,  a dj us ti ng  c ont r ol s ,   a nd   r e a di ng.  A ddi ti ona ll y,  f a ti gue   a nd   dr ow s in e s s   a r e   a ls o  c om m on  s our c e s   of   in a tt e nt io n.  C e c c a c c i  e t  al .   [ 6]   i ndi c a te   th a t  th e   e m ot io na l  s ta te   of   a   dr iv e r   s ig ni f ic a nt ly  i nf lu e nc e s  t he ir  l e ve l  of  c onc e nt r a ti on. F or  e xa m pl e ,  S te r ke nbur g a nd J e on  [ 7]   de m ons tr a te d t ha t   a nge r   de gr a de s   dr iv in g  pe r f or m a nc e   a s   m uc h  a s   or   m or e   th a n  ot he r   tr a di ti ona l  di s tr a c ti on  ta s ks .  D r iv e r ' s   e m ot io n ha s  be c om e  a  f a c to r  t ha t  c a nnot  be  i gnor e d i n t r a f f ic  s a f e ty  r e s e a r c h   [ 8] , [ 9] .   I n  r e s po ns e   to   th e s e   c h a ll e n ge s ,  num e r ou s   r e s e a r c h  e f f or t s   h a ve   be e n  u nde r t a ke n  t o  de v e lo p e f f e c t iv e   s ol ut io ns   f or   de te c ti ng  a nd  m it ig a t in g  dr i ve r   in a tt e nt io n.   T he s e   e f f or t s   of t e n  f o c us   on  i ndi vi d ua l  a s pe c ts   of   in a tt e nt io n,   ut il i z in g  v a r io u s   t e c hn ol ogi e s   r a ngi ng  f r om   vi de o  im a ge   a n a ly s is   to   ph ys io lo gi c a l  s ig n a l   m oni to r in g.  A c c or di ng t o  D e ng  a nd  W u   [ 10] ,  c a ll e d  th e   “ D r i C a r e ”   s ys t e m ,  pr im a r il y  t a r ge t s   d e te c ti ng  dr iv e r s ’   f a ti gue   s ta tu s   t hr ough   vi d e o  i m a g e s   c a pt ur e d  b y  a   c a m e r a   in s t a ll e d  in   th e   v e hi c le .   B y   e m pl oyi n g  c onvol ut io n a l  ne ur a l  n e twor k s   ( C N N ) ,  th i s   a ppr oa c h  a c hi e ve d  a n  a c c ur a c y  of   92%   in   id e nt if yi ng  dr ow s in e s s   a nd  f a ti g ue .   S im il a r ly ,  C hi r r a   e t   al .   [ 11]   d e ve l ope d  a   nov e l  d e e p - l e a r n in g  f r a m e w or k  th a t  d e te c ts   dr iv e r   dr ow s in e s s   ba s e d   on  e y e   s t a te .   T hi s   a p pr oa c h  a c hi e v e d  a n  a c c ur a c y  of   96.4 2% .  A   di f f e r e n t  w or k  w a s   pr opo s e d  in   [ 12]   to   d e te c t   dr ow s i ne s s   ba s e d  on   e l e c tr oe n c e ph a lo gr a m   ( E E G )   s ig n a l s . T h e y   us e d  t he   Q - f a c to r  w a v e le t   tr a n s f or m   ( T Q W T )   c oupl e d  w it h  th e   e xt r e m e   l e a r ni n g  m a c hi n e   ( E L M )   f or   c l a s s i f ic a ti on ,  r e s ul ti n g  in   a n  a c c ur a c y  of   91.84% .   M e a nw hi l e ,  a   m ul ti - ta s ki ng  C N N   m od e l  i s   pr e s e n te d  i n  [ 13] ,   c om bi ni ng  dr ow s in e s s   a nd  f a ti g ue   d e te c ti on .  R e m a r ka bl y,  th e ir   a ppr o a c h  a c hi e v e d  a   hi gh  a c c ur a c y  r a te   of   98.81%   w hi le   e xpl i c it ly   e va lu a ti ng  f a ti gu e   a s   ‘ ve r y  ti r e d,  l e s s   ti r e d,  a n d  not   ti r e d . ’   B a khe e t  a nd H a m a di   [ 14]   pr opos e d  a   f r a m e w or k  f or   in s t a nt a ne ou s   dr iv e r   dr ow s i ne s s   d e te c ti on.  T h e y  e m pl oye d  a n  a d a pt iv e   va r i a nt   of   th e   hi s to gr a m   of   or ie nt e d  gr a di e nt s   ( H O G )   f e a tu r e s   to   r e pr e s e nt   th e   e ye   r e gi on  a nd  ut il iz e d  a   n a iv e   B a ye s   ( N B )   m od e l  f or   c la s s if ic a ti on.  T h e ir   w or k  w a s   r ig or ous l y  e v a lu a te d  us in g  th e   publ i c ly   a va il a bl e   N T H U - D D D   da t a s e t,   d e m on s tr a ti ng  th e   pot e nt ia l  of   th e ir   f r a m e w or k  a s   a   s tr on g  c o nt e nd e r   a ga in s t  s e v e r a l  s t a te - of - th e - a r t   ba s e li n e s .  N ot a bl y,   th e ir   f r a m e w or k  a c hi e ve d   a  c om pe ti ti ve  d e te c ti on  a c c ur a c y  of  85.6 2%  w hi l e  m a in ta i ni ng  e f f ic ie nc y a nd  s ta bi l it y.    Z ha o  e t  al .  [ 15]   a ls o  in ve s ti ga te   dr iv e r   di s tr a c ti on  de te c ti on,  f oc us in g  on  th e   he a d  pos e .  T he y   e m pl oye d t he  H P E _R e s ne t5 0 a lg or it hm  t o  a c hi e ve  a n a c c ur a c y of  95%   in  i de nt if y in g i ns ta nc e s  of  di s tr a c ti on.   O n  th e   ot he r   ha nd,  J a m s he e d  e t  al .  [ 16]   us e d  a   C N N - ba s e d  m e th od  f or   de ve lo pi ng  dr iv e r   a c ti on  c la s s if ie r s .   T he ir   r e s e a r c h   s uc c e s s f ul ly   c la s s if ie d  di s tr a c te d  dr iv e r s   in to   te n   c a te gor ie s   w it h   a n  a c c ur a c y  of   97% ,  ut il iz in g  th e   S ta te   F a r m   da ta s e t.   F ur th e r m or e ,  P a nw a r   e t  al .   [ 17]   pr opos e d  a   de e p  l e a r ni ng  c onvolut io na l  m ode l   to   ta c kl e   di s tr a c ti on   a nd  dr ow s in e s s   dur in g  dr iv in g.  T he ir   c o m pr e he ns iv e   a ppr oa c h,  w it h  a n  a c c ur a c y   of   99.95% ,  c a te gor iz e d  va r io us   in a tt e nt io n  in s ta n c e s ,   s uc h   a s   un - a tt e nt iv e   dr iv in g,  m obi le   phone   us a ge ,  f r e que nt   ya w ni ng,  a nd  s le e pi ng.  L i  e t  al .   [ 18]   pr opos e   a   nove l  a lg or it hm   f or   de te c ti ng  m a nua l  di s tr a c ti ons   a m ong   dr iv e r s .  T hi s   a lg or it hm   c om pr is e s   two  m odul e s :  th e   f ir s t  pr e di c ts   bounding  boxe s   f or   th e   dr iv e r ’ s   r ig ht   ha nd   a nd  r ig ht   e a r   f r om   R G B   im a ge s ,  w hi le   th e   s e c ond  m odul e   c la s s if ie s   th e   ty pe   of   di s tr a c ti on  ba s e d  on  th e s e   bounding  boxe s .  T he y  tr a in e d   a nd  te s te d  th e   a lg or it hm   on  a   d a ta s e t  c ons is ti ng  of   106,677   f r a m e s   e xt r a c te d  f r om   vi de os   c a pt ur e d  dur in g  s im ul a te d  dr iv in g  s e s s io ns   w it h   twe nt y  pa r ti c ip a nt s .  N ot a bl y,  th e   f r a m e w or k  yi e ld e d  a n  F 1 - s c or e   of   0.84,  0.69,   a nd  0.82,  f o r   c la s s if yi ng  nor m a l  dr iv in g,  to uc hs c r e e n  in te r a c ti on,  a nd  phone   c onve r s a ti on  r e s pe c ti ve ly .  M or e ove r ,  in   th e   c a s e   of   [ 19] ,  th e   r a ndom  f o r e s t - ba s e d  a ppr oa c h  w a s   im pl e m e nt e d  a c r os s   phys io lo gi c a l  f unc ti ona l  va r ia bl e s   to   ta ke   dr iv e r s ’   s tr e s s   le ve l s   a nd  a c c or di ngl y  c a te gor iz e   th e m .   T he   a na ly s is   w a s   pe r f or m e d  on  e xp e r im e nt a l  da ta   e xt r a c te d   f r om   th e   dr iv e db  op e n  da t a ba s e .   T he   phys io lo gi c a l  m e a s ur e m e nt s   of   in te r e s t  a r e   e le c tr ode r m a l  a c ti vi ty   c a pt ur e d  on  th e   dr iv e r ’ s   le f t  ha nd  a nd   f oot ,  e le c tr om yogr a m   ( E M G ) ,   r e s pi r a ti on,  a nd  he a r t  r a te ;  th e y   a c hi e ve d  a n  a c c ur a c y  of   81% .  A c c or di ng  to   L e one   e t  al .   [ 20]   a   s ys t e m   w a s   de s ig ne d   ba s e d  on  a   lo w - c o s t   c a m e r a   to   de te c t  dr iv e r   r oa d  r a ge   th r ough  a   m e ti c ul ous   a na ly s i s   of   th e   dr iv e r ' s   f a c i a l  e xpr e s s io ns .  W h a t   s e ts   th i s   a ppr oa c h  a pa r t  is   it s   s ophi s ti c a te d  de c is io n - m a ki ng  s tr a te gy,  w hi c h  r e li e s   on  th e   te m por a l  c oh e r e nc e   of   f a c ia l  e xpr e s s io ns   c a te gor iz e d  a s   “ a nge r ”   a nd  “ di s gus t. ”   T hi s   m e th odol ogy  yi e ld e d  a n   a c c ur a c y of   84.56%   w he n  e m pl oyi ng  th e   s uppor t  ve c to r   m a c hi n e  ( S V M )  a lg or it hm .   V a r io us   s e ns or s   h a ve   be e n  e m pl oye d  to   de te c t  di f f e r e nt   f or m s   of   dr iv e r   in a tt e nt io n,   in c lu di ng   di s tr a c ti on,  dr ow s in e s s ,  f a ti gue ,  a nd  e m ot io na l  s ta te .  P hy s io lo gi c a l  a ppr oa c he s   in vol ve   di s c r e te ly   pl a c in g   Evaluation Warning : The document was created with Spire.PDF for Python.
I nt  J  A r ti f   I nt e ll     I S S N :   2252 - 8938       D r iv e r  i nat te nt io n  de te c ti on s y s te m  us in g m ul ti - ta s k  c a s c ade d  c onv ol ut io nal ... ( A bde lf e tt ah Soult ana)   4251   s e ns or s   on  th e   dr iv e r ’ s   body  to   e xt r a c t  s ig na ls   s uc h  a s   E E G ,   e le c tr oc a r di ogr a m   ( E C G ) ,   or   E M G .   A not he r   a ppr oa c h  r e li e s   on  dr iv in g  pe r f or m a nc e   in di c a to r s ,  s uc h  a s   m oni to r in g  la ne   de pa r tu r e ,  pe da l  a c ti vi ty ,   a nd   a c c e le r a to r   us a ge .  H ow e v e r ,  th e   m os t  w id e ly   a dopt e d  a ppr oa c h  by  dr iv e r s   is   vi s io n - ba s e d,  w hi c h  ut il iz e s   c a m e r a s .  T hi s   non - in tr us iv e   na tu r e   m a ke s   it   a   pr e f e r r e d  c hoi c e ,  a s   it   doe s   not   r e qui r e   phys i c a l  c ont a c t  w it h  th e  dr iv e r  a nd t hus  e ns ur e s  a  hi gh e r  l e ve l  of  c om f or t  a nd a c c e pt a nc e .   T he   li te r a tu r e   c ont a in s   a   w e a lt h  of   pr opos a ls   f or   de te c ti ng  dr iv e r   in a tt e nt io n,  a s   e xt e ns iv e ly   de s c r ib e d  in   our   pr e vi ou s   w or k  [ 21] .  T he s e   a ppr oa c h e s   h a ve   c e r ta in ly   pr ovi de d  v a lu a bl e   in s ig ht s   in to   unde r s ta ndi ng  a nd  a ddr e s s in g  pa r ti c ul a r   f or m s   of   in a tt e nt io n.  H ow e ve r ,  th e s e   s tu di e s   f oc us   in di vi dua ll y  on   s pe c if ic  a s pe c t s  of  dr iv e r  i na tt e nt io n,  s uc h a s  di s tr a c ti on, f a ti gue , dr ow s in e s s , or  e m ot io na l  s ta te . R e c ogni z in g  th e s e   f a c to r s   in di vi dua ll y  m a y  le a d  to   in c om pl e te   or   le s s   a c c ur a te   a s s e s s m e nt s   of   dr iv e r   in a tt e nt io n.  A n  a ppr oa c h  th a t  ta ke s   in to   a c c ount   th e   d e te c ti on  of   di f f e r e nt   in a tt e nt io n  f a c to r s   c oul d  pr ovi de   a   m or e   c om pl e te   a nd nua nc e d unde r s ta ndi ng of  t he  dr iv e r ’ s  c ondi ti on.   T h is   r e s e a r c h   a im s   t o  pr o po s e   a   n ov e l   s y s t e m   f or   d e t e c ti ng   dr iv e r   in a t te nt i on,   t a r ge ti n g  f our   ke y  a s p e c t s :  di s tr a c ti on,  f a t ig u e ,  dr o w s in e s s ,  a nd  e m ot i on s .  T hi s   s y s te m   i s   s tr uc tu r e d  a c r o s s   s ix   l e v e l s :  pe r c e pt io n ,  f a c ia l  f e a t ur e s   de t e c ti on ,  tr a c ki n g  dr i ve r   u s in g  pr e - tr a i ne d  d e e p  le a r n in g  m o de ls ,  in a t te nt i on  d e t e c ti on,  r i s k   e s ti m a t io n ,  a nd  a l e r t .  E a c h   ty pe   of   d is tr a c t io n  w i ll   b e   a d dr e s s e d  b y  a   di s t in c t  m od e l  de s i gn e d  to   c a pt u r e   c h a r a c t e r i s t ic s   s ig na l s   a s s o c i a t e d   w i th   th e s e  s t a te s   of  i n a tt e n ti o n.  B y c om b in i ng t h e s e   f ou r   m od e l s ,   th e  pr o po s e d  s y s t e m   w i ll   a c c ur a te ly   a s s e s s   th e   l e v e l  of   dr iv e r   in a tt e n ti o n  i n  r e a l - ti m e   u s in g  a   r is k  c a lc ul a ti on.   T h e   s y s t e m   a do pt s  a n e nt ir e ly  non - in t r u s iv e  a p pr o a c h,  r e l yi n g  o n  im a g e   pr o c e s s in g f r om  t w o  c a m e r a s  i n s t a l le d  in  t h e   c a r   t o  m oni to r   th e   dr iv e r ' s   s ta te . O ne  of  ou r  k e y  c ont r ib ut i on s  l ie s  i n  t h e  s e l e c ti o n  of   a n  opt im a l  a l gor i th m  f or  l e v e l  2 of   th e   s y s t e m ,  w h ic h  i nvo lv e s   f a c i a l   f e a t ur e   d e t e c t io n  a nd  tr a c ki ng .  T o   th is   e nd ,  w e   c o ndu c t e d   a   r ig or ou s   c om pa r a t iv e   a na ly s i s   of   s e v e r a l   s ta te - of - t he - a r t   a l gor i th m s ,  in c lu d in g  m ul ti - t a s k   c a s c a d e d   c on vol ut i on a l   ne t w or k s   ( M T C N N ) ,   H O G   w i th   d li b   l ib r a r y ,  a n d   H a a r   f e a tu r e - b a s e d  c a s c a d e   c la s s if i e r s .   T hi s   s te p  i s   c r uc i a l   f or   e xt r a c ti ng   t he   m out h  r e gi o n  to   d e t e c t   s ig ns   of   f a t ig u e ,  w h il e   s i gn s   of   dr ow s i ne s s   a r e   i de nt if ie d  by   a n a ly z i ng   t he   e y e  r e gi on.  A ddi ti o na ll y , t he   s ys te m  e xt r a c t s  t h e   e n ti r e  f a c e  r e gi o n t o  de te c t  a nd i nt e r pr e t  f a c i a l  e x pr e s s i on s .   T h e   pr op o s e d s y s t e m  a im s  t o  f i ll   t h e   g a p  l e f t  by   pr e vi ou s  a p pr o a c he s   by  d e t e c ti ng a n y  ty pe   of  dr iv e r  i n a tt e nt io n  a nd   to  i m pr ov e  r o a d  s a f e t y  by  pr o vi d in g  r e l e v a nt  a le r ts  c or r e s po ndi n g t o  t he  a s s e s s e d  l e v e l  of  r is k.   T h e   p a p e r   i s  or g a ni z e d a s   f ol l ow s :  s e c ti on  2 pr e s e nt s  a   n ov e l  s y s te m   f or   dr i ve r   in a tt e n ti o n  m o ni t or i ng.   S e c ti o n  3 i s   de vo te d t o t he  o pt im a l  a lg o r it hm   pr op o s e d f or  f a c ia l  f e a tu r e s  d e t e c ti on  a n d f e a tu r e   e x tr a c t io n ,  w hi c h   is   M T C N N .   M ovi ng   o n   to   s e c t io n   4,   a   c om pr e h e n s i ve   d is c u s s io n  i s   pr e s e n te d,   of f e r i ng   i ns ig ht s   in t o   th e   r a ti on a l e  b e h in d   s e le c ti ng  th e   M T C N N   a lg or it hm .  A ddi t io na ll y , t hi s   s e c ti on  ou tl i ne s   pot e nt i a l  a v e n ue s  f or  f ut ur e   r e f in e m e n t  a n d d e p lo ym e nt  of   th e   s y s te m . F in a ll y,   s e c ti on  5  e n c a ps ul a t e s  t h e   p a p e r   w it h  a   c on c l udi ng  s um m a r y.       2.   N O V E L  S Y S T E M  F O R  D R I V E R  I N A T T E N T I O N  M O N I T O R I N G   I n  t hi s   r e s e a r c h,   o ur   pr im a r y   f o c u s   r e vol ve s   a r ou nd  th e   de t e c ti o n  o f   dr iv e r   in a tt e n ti v e n e s s ,  th e   ge n e r a ti on   of   a le r t  m e s s a g e s ,  a n d  pr o vi d in g   pr o a c t iv e   a s s i s t a n c e   to   th e   dr i ve r .   T o  a c hi e v e   th e s e   o bj e c ti v e s ,   w e   ha v e   i nn ov a ti ve ly   d e v i s e d  a   c o m pr e h e n s i ve   s i x - l a y e r e d  a r c hi t e c tu r e   s pe c if ic a ll y  t a il or e d  f or   dr i ve r   in a tt e n ti o n  de t e c ti on,   c om pl e m e nt e d   by   t he   im pl e m e nt a ti on   of   a   p e r s o na l i z e d  a s s i s t a n c e   s y s t e m ,   a s   vi s ua ll y   d e p ic t e d   i n  F ig ur e   1.   O u r   s ix - la ye r e d  a r c hi t e c tu r e   i s   d e s ig n e d  to   e f f i c i e n tl y   de te c t   dr i ve r   i na tt e nt i on .  E a c h  l a y e r   s e r v e s   a   di s ti n c t  pur po s e :  s e n s or s   c ol le c t  di v e r s e   da ta , f a c i a l  f e a tu r e   e x tr a c ti on i de nt if ie s   ke y f a c i a l  e l e m e nt s , t h e  t r a c ki ng   s t a g e   e ns ur e s   c o nt i nuo u s   tr a c k in g   of   f e a tu r e s ,   i na tt e nt io n   de t e c ti on   vi a   a   t e m por a l   w in dow ,   r i s k   e s ti m a ti on   a s s e s s e s   t h e   l e v e l  of   r i s k,   a nd  t he   a l e r t  la ye r   i s s u e s   w a r ni ng s   i n  c a s e   of   c r it i c a l  r i s k .  T hi s   m o du la r   a p pr o a c h   a ll ow s  f or   in d e p e nd e nt  e nh a n c e m e nt s   a n d  a d va nc e m e n ts ,  s tr e a m l in in g  de ve lo p m e nt   a n d  m a i nt e n a n c e   e f f or t s .     2.1.  P e r c e p t io n  l aye r   I n  th e   in it ia l   la ye r ,  w e   s tr a te gi c a ll y  pos it io n  two  c a m e r a s :  one   on  th e   dr iv e r ’ s   s id e   to   c om pr e he ns iv e ly  c a pt ur e  s e c onda r y t a s ks  a nd  a not he r  di r e c te d f r ont a ll y t o  f oc us  on f a c ia l  f e a tu r e s . I t   i s  w or th   not in g  th a t  th e   a dopt e d  a ppr oa c h   is   vi s ua ll y  b a s e d,   r e ly in g  on  c a m e r a   u s a ge .   H ow e ve r ,   th is   a r c hi te c tu r e   r e m a in s   ope n  to   in c lu de   ot he r   s e ns or s   w he n  it   is   ne e de d.  F or   e xa m pl e ,  e na bl in g  phys io lo gi c a l  m e a s ur e s  s uc h  a s  E E G ,  E C G , or   E M G  a nd i nt e gr a ti ng othe r  pr e di c ti ve  m ode ls  t o a le r t  th e  dr iv e r  w he n a  pr obl e m  a r is e s .     2.2.  F ac ia l  f e at u r e s  e xt r ac t io n  l aye r   M o vi n g  on  to   th e   s e c on d  l a ye r ,  t he   s t e p   of   f a c i a l   f e a t ur e   d e t e c ti on  a nd  e x tr a c t io n   i s   a ppl ie d  t o  th e   s tr e a m   of   i m a ge s   f r om  c a m e r a   t w o ,  s im u lt a n e ou s ly  e xt r a c ti ng  v i ta l  f a c i a l  c ha r a c t e r i s t ic s   l ik e   th e   f a c e , e y e s , a n d  m out h.   I t   i s   c r uc ia l  to   e m ph a s i z e   t ha t  im a g e s   f r om   c a m e r a  on e  b ypa s s   th i s  s t e p , a s   th e y  a r e   u s e d   i n t h e ir   e nt ir e t y  f or   id e nt if yi ng   s e c ond a r y   ta s k s ,  e l im i na ti n g  th e   n e e d   f or   im a g e   s e gm e n ta t io n.   T h e   m a r k e t   of f e r s   a   p le th o r a   of   c om m e r c i a l   a n d  no n - c om m e r c i a l   f a c e   d e t e c ti o n  a nd   a li g nm e nt   a lg or it hm s ;   h ow e v e r ,   du e   to   t im e   c on s tr a in t s ,   e v a lu a t in g   th e m   i s   im pr a c ti c a l.   T h e r e f or e ,  our   e va lu a ti on  w il l  f oc u s   on   t he   m o s t   e m pl oy e d   a lg or it h m s   i n  t he   c om m e r c i a l  s e c to r ,  th o s e   w it h  w i de s pr e a d  pop ul a r it y,  a n d  o pe n - s our c e   im p le m e nt a ti on s   f r e e ly   a v a il a bl e .  Evaluation Warning : The document was created with Spire.PDF for Python.
                      I S S N :   2252 - 8938   I nt  J  A r ti f   I nt e ll ,  V ol .   13 , N o.   4 ,  D e c e m be r   2024 :  4249 - 4262   4252   C o ns id e r in g   th e   d ua l   ta s k s   of   f a c e   d e t e c ti on   a nd   f a c e   a li g nm e nt ,   our   a s s e s s m e nt   w il l   c e nt e r   on   H a a r     C a s c a d e - O pe nC V   [ 22] ,  H oG - D li b   [ 2 3] ,   a nd   M T C N N   [ 2 4] .   T h e s e   a l gor i th m s   h a v e   ga r n e r e d  e x te ns iv e   a d op ti o n  a nd   h a v e   pr ov e n   to   b e   e f f e c t iv e   i n  a c c o m pl i s hi ng  bot h  obj e c ti v e s .   T h e y  ha ve   e m e r ge d  a s   h ig h ly   vi a bl e   opt io n s   f or  r e a l - w or ld  a pp li c a t io n s  a c r o s s  v a r io u s  d om a in s  by   s tr i ki n g  a   b a l a n c e  b e t w e e n  a c c ur a c y  a n d  e f f i c i e n c y.           F ig ur e  1. T he  f lo w c ha r t  of  t he  pr opos e d dr iv e r  i na tt e nt io n m oni to r in g s ys te m       2.3.  T r ac k in g u s in g p r e - t r ai n e d  m od e ls   I n  th e   th ir d  la ye r ,  th e   tr a c ki ng  s ta ge   ut il iz e s   de e p   le a r ni ng  m ode ls   tr a in e d  on  e xt e ns iv e   da ta s e ts   of f li ne .  T he   in it ia l  m ode l  pr e di c ts   s e c onda r y  ta s ks   us in g  im a ge r y  f r om   c a m e r a   1.  T he s e   s e c ond a r y  ta s ks   e nc om pa s s   a c ti vi ti e s   li ke   te xt in g,  c a ll in g,  r e a c hi ng_b e hi nd,  ha ir _m a ke up,  dr in ki ng,  a dj us ti ng_r a di o,  a nd  ta lk in g_t o_pa s s e nge r .  A not he r   de e p - le a r ni ng  m ode l  c la s s if ie s   f a c ia l  e xpr e s s io n s   in to   s e ve n  di s ti nc t  Evaluation Warning : The document was created with Spire.PDF for Python.
I nt  J  A r ti f   I nt e ll     I S S N :   2252 - 8938       D r iv e r  i nat te nt io n  de te c ti on s y s te m  us in g m ul ti - ta s k  c a s c ade d  c onv ol ut io nal ... ( A bde lf e tt ah Soult ana)   4253   c a te gor ie s :  ha ppi ne s s ,  f e a r ,  a nge r ,  s a dne s s ,  ne ut r a li ty ,  s ur pr is e ,  a nd  di s gus t.   A ddi ti ona ll y,  a   s e pa r a te   de e p  le a r ni ng mode l  m oni to r s  e ye  s ta te  ( ope n or  c lo s e d) , w hi le  a not he r  m ode l  tr a c ks  m out h  m ove m e nt  t o  a s c e r ta in   w he th e r   th e   dr iv e r   is   ya w ni ng  or   not .  D e e p  le a r ni ng  m ode ls   f or   de te c ti ng  dr iv e r   di s tr a c ti on,  dr ow s in e s s ,  f a ti gue ,  a nd  e m ot io ns   gr e a tl y  be ne f it   f r om   th e   us e   of   C N N .  C N N   a r e   pow e r f ul   to ol s   f or   th e s e   ta s ks   a s   th e y   a r e   s pe c ia ll y  de s ig ne d  to   a ut om a ti c a ll y  e xt r a c t  m e a ni ngf ul   f e a tu r e s   f r om   vi s ua l  da ta ,  s uc h  a s   im a ge s   or   vi de os .  T h e y  a r e   c a pa bl e   of   id e nt if yi ng  c om pl e x  pa tt e r ns ,  r e s is ti ng  va r ia ti ons   in   obj e c t  pos it io n  a nd  s iz e   w it hi n  th e   im a ge ,  a nd  le a r ni ng  f e a tu r e s   a t  di f f e r e nt   le ve ls   of   a b s tr a c ti on.  T hi s   m a ke s   th e m   na tu r a l  c hoi c e s   f or   de te c ti ng  di s tr a c ti ng   be ha vi or s ,   s ig ns   of   dr ow s in e s s   or   f a ti gue ,   a s   w e ll   a s   v a r io us   e m ot io na l   e xpr e s s io ns   on  th e   dr iv e r ’ s   f a c e .  T he s e   m ode ls   unde r go  pe r io di c   upda te s   b a s e d  on  dr iv e r   im a ge r y,  a ll ow in g  f or   c ont in uous   im pr ove m e nt  i n pe r f or m a nc e  a nd pe r s ona li z e d a da pt a ti on t o i n di vi dua l  dr iv e r  pr of il e s .     2.4.  I n at t e n t io n  d e t e c t io n  l aye r   I n  th e   f our th   la y e r , dr iv e r   in a t te nt i on  d e te c ti on   ta ke s   pl a c e , e m pl oyi ng a   t e m por a l  w in do w   to   e v a lu a te   va r io u s   f or m s   of   in a tt e nt io n. R e l yi ng s ol e ly  on a  s in gl e   im a ge   ( f r a m e )   d oe s   not   r e li a bl y   a ll ow   f or   th e   de t e c ti on  of  dr iv e r  i na tt e nt io n . I ns t e a d , i t  is  m or e   e f f e c t iv e  t o b a s e  t he   a na ly s i s  on t he  n um be r  of  f r a m e s  p e r  s e c ond . T h is   m e a n s   th a t  by  a n a ly z in g  m ul ti pl e   im a g e s   p e r   s e c o nd,  a   m or e   c o m pr e he n s iv e   a n d  dyn a m ic   vi e w   of   th e   dr iv e r ’ s  be ha v io r   c a n   b e   obt a i ne d.   H ow e ve r ,   th i s   r e qui r e s   th e   e s ta bl i s h m e nt   of   a   t hr e s hol d,   w hi c h   i s   a   pr e d e te r m i ne d   va lu e   a t  w hi c h  in a tt e nt io n  is   pr e s e nt .  T hi s   th r e s h ol d  is   c r uc i a l  b e c a us e   it   de f in e s   th e   poi nt   a t  w hi c h  a   s p e c if i c   s ta t e   of   in a tt e nt io n  c a n  b e   c o nf ir m e d.  F or   in s ta nc e ,  if   th e   nu m be r   of   f r a m e s   di s pl a yi ng  s i gns   of   in a tt e nt io n   s ur pa s s e s   th i s  e s ta bl i s h e d  th r e s hol d,   one   c a n  th e n c on c lu d e   th a t  th e   t a r ge t e d  f or m   of   in a tt e n ti on  i s  pr e s e nt . T he   a da pt i ve   t hr e s hol di ng  pr o c e s s   in c or por a t e s   a   c oun te r   to   m oni t o r   a   s pe c if ic   num be r   of   s uc c e s s i ve   f r a m e s   th a t  s a ti s f y  th e   c r it e r ia   be f or e   is s ui n g  a   w a r ni n g.  F or   e xa m p le ,   S ha ke e l  e t  al .  [ 2 5]   in te gr a te d  a   t hr e s hol d   m e c h a ni s m :  if   th e   c l a s s if ie r   c on s i s te nt l y  id e nt if ie s   te n  c o ns e c u ti ve   in s ta nc e s   of   c lo s e d  e ye s ,  t hi s   ob s e r va ti on   s ugg e s t s   th a t  th e   in di vi dua l   i s   e xhi bi ti ng   s ig n s   of   dr o w s in e s s .   R a f id   e t   al .   [ 26]   e s t a bl i s he d   a   s pe c if ic   c r i te r io n   f or  de te r m in i ng dr ow s in e s s :  if  t he   c la s s if ie r  c o ns i s t e nt ly  i d e nt if i e s  30  c on s e c ut iv e  i ns ta n c e s  of  c lo s e d e y e s , t hi s   obs e r va ti o n  in di c a t e s   dr ow s in e s s .  F a s a nm a de   e t  al .  [ 27]   pr opo s e s   t he   u s e   of  a   s e qu e nc e   of   f r a m e s   to  ga ug e   th e   dur a ti on of  dr iv e r  di s tr a c t io n.  T he   c odi n g w a s  c o nf ig ur e d  s u c h t ha t  onc e  a  t hr e s h ol d of  125  c on s e c ut iv e  f r a m e s   is   r e a c he d   ( e qui va le nt   to   5   s e c on ds ) ,   a   c la s s if i c a ti on  de c is i on  i s   tr ig g e r e d.   I n   th e   li t e r a tu r e ,  d iv e r s e   th r e s ho ld s   ha ve   be e n  s ugg e s t e d  f or   de t e c ti n g  dr iv e r   in a tt e nt i on.  T h e r e f or e ,  d e te r m in i ng  th e   a ppr opr i a te   n um be r   of   c ons e c ut iv e   f r a m e s   n e c e s s it a t e s   r ig or ous   te s ti n g  a nd   va li da ti on  th r o ugh   r e a li s ti c   dr i vi ng   s c e n a r io s .  T hi s   e ns ur e s  t ha t  t he  c ho s e n t hr e s h ol d  e f f e c ti ve ly   c a pt ur e s  i n s ta nc e s   of  i na tt e nt io n  i n pr a c ti c a l  dr iv in g  s it u a ti o ns .     2.5.  Ris k  e s t im at io n  l aye r   T he  f if th  l a ye r  i nvo lv e s  r is k c a lc ul a ti on ba s e d on the  pr e di c te d  c la s s e s . T he  s c or in g di c ti ona r ie s  pl a y   a   pi vot a l  r ol e   in   qua nt if yi ng   th e   pot e nt ia l   r is k  o f   dr iv e r   in a tt e nt io n.  E a c h  di c ti ona r y   c or r e s ponds   to   a   s pe c if ic   c a te gor y:   di s tr a c ti on,  dr ow s in e s s ,  ya w ni ng,  a nd  e m ot io ns .   T he   s ys te m   e f f e c ti ve ly   c a pt ur e s   th e   de gr e e   of   in a tt e nt io n  r is k  a s s o c ia te d  w it h  th e   dr iv e r ’ s   a c ti on s   by  a s s ig ni ng  pr e de f in e d  s c or e s   to   v a r io us   be ha vi or s   a nd  e xpr e s s io ns   w it hi n  e a c h  c a te gor y.  F or   in s ta nc e ,  hi gh - r is k  a c ti v it ie s   li ke   te xt in g  r e c e iv e   hi ghe r   s c or e s ,  w hi le   ne ut r a l  or   pos it iv e   e m ot io ns   yi e ld   no  a ddi ti ona l   r is k.  T he   in di vi dua l  s c or e s   f r om   e a c h  c a te gor y  a r e   th e n   c om bi ne d  to   c a lc ul a te   th e   gl oba l  in a tt e nt io n  r is k  s c or e ,  pr ovi di ng  a   c om pr e he ns iv e  a s s e s s m e nt   of   th e   dr iv e r ’ s  a tt e nt iv e ne s s .   T hi s   m e th od  e na bl e s   a   nu a nc e d  und e r s ta ndi ng  of   th e   dr iv e r ’ s   s ta te .   I t  f a c il it a te s   th e   c la s s if ic a ti on  of   r is k  le ve ls ,  th e r e by  c ont r ib ut in g  to   th e   de ve lo pm e nt   of   r obus t  dr iv e r   in a tt e nt io n  m on it or in g   s ys te m s   a nd  e nha n c in g  r oa d  s a f e ty .  T he   s c or in g  s ys te m   ut il iz e d  in   th e s e   di c ti ona r ie s   dr a w s   it s   f ounda ti on   f r om   a ut hor it a ti ve   s our c e s ,  pa r ti c ul a r ly   publ ic   r e por ts   s uc h  a s   th os e   pr ovi de d  by  th e   N H T S A .  T h e s e   r e por ts   f ur ni s h  c om pr e he ns iv e   s ta ti s ti c s   a nd  in s ig ht s   in to   va r io us   f or m s   of   da nge r ous   in a tt e nt io n  th a t  d r iv e r s   m a y   e xhi bi t  w hi le   on  th e   r oa d. B y  a li gni ng   our   s c or in g c r it e r ia   w it h t he   f in di ngs   a nd   a s s e s s m e nt s   out li ne d  in   th e s e   r e por ts ,  w e   a im   to   e ns ur e   th a t  th e   r is k   a s s e s s m e nt s   a r e   r oot e d  i n  w e ll - doc um e nt e d  a nd   w id e ly   a c knowle dge d   da ta , t he r e by e nha nc in g t he  a c c ur a c y a nd r e li a bi li ty  of  t he  s a f e t y e va lu a ti ons .     2.5.1. Dis t r ac t io n  s c or e s   M a ny  di s tr a c ti ons   a ppe a r   to   in c r e a s e   th e   r e la ti ve   r is k  of   c r a s h e s   a nd  n e a r - c r a s he s ,   a nd  di s tr a c ti on s   th a t  r e qui r e   dr iv e r s   to   ta ke   th e ir   e y e s   of f   th e   r oa d   a r e   pot e nt ia l ly   m or e   of   a   s a f e ty   pr obl e m   th a n  di s tr a c ti ons   th a t  do  not   r e qui r e   dr iv e r s   to   ta ke   th e i r   e ye s   of f   th e   r oa d   [ 2 8] .  U s in g  a   c e ll   phone   w hi le   dr iv in g   c r e a te s   e nor m ous   pot e nt ia l  f or   de a th s   a nd  in ju r ie s   on  r oa d s   [ 29] .  T a b le   1  pr e s e nt s   th e   di s tr a c ti on  s c or e s ,   pr ovi di ng  in s ig ht s  i nt o t he ir  r e la ti ve  r is ks .     2.5.2. Dr ow s in e s s  an d  f at ig u e  s c or e s   A   s ta te   of   f a ti gue   is   of te n  m a r ke d  by   th e   oc c ur r e nc e   of   f r e que nt   ya w ni ng.  Y a w ni ng,  a lo ng  w it h  th e   s e ns a ti on of  w e a r in e s s , s e r ve s  a s  c le a r  i ndi c a to r s  of  bot h phys ic a l  a nd me nt a l  e xha us ti on, pos in g a  s ubs ta nt ia l  th r e a t  to   one ’ s   c a pa c it y  to   dr iv e   s a f e ly .  A ddi ti ona ll y,  dr ow s in e s s   is   c ha r a c t e r iz e d  by  th e   in vol unt a r y  c lo s ur e   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I S S N :   2252 - 8938   I nt  J  A r ti f   I nt e ll ,  V ol .   13 , N o.   4 ,  D e c e m be r   2024 :  4249 - 4262   4254   of   th e   e ye s ,  f ur th e r   he ig ht e ni ng   th e   r is k.   R e c ogni z in g  th e   s e v e r it y  of   th is   da ng e r ,  f a ti gue  a nd  dr ow s in e s s   ha ve   be e n  a s s ig ne d  a   hi gh  s c or e   of   3,   unde r s c or in g  th e   s ig ni f ic a nt   p e r il   a s s oc i a te d  w it h  th e s e   c ondi ti ons .  T a bl e   2   pr ovi de s   a   de ta il e d  br e a kdown  of   th e   dr ow s in e s s   a nd  f a ti gue   s c or e s ,  of f e r in g  in s ig ht s   in to   th e ir   po te nt ia l   im pa c t  on dr iv in g s a f e ty .       T a bl e  1. D is tr a c ti on  s c or e s   I na t t e nt i on a c t i vi t y  ( s e ve r i t y s c or e )   D e s c r i pt i on   T e xt i ng ( 3 poi nt s )   T e xt i ng  w hi l e   dr i vi ng  i s   c ons i de r e d  a n  e xt r e m e l y  da nge r ous   f or m   of   di s t r a c t i on.  I t   r e qui r e s   s i gni f i c a nt   vi s ua l ,  m a nua l ,   a nd  c ogni t i ve   a t t e nt i on  a w a y   f r om   t he   r oa d,  m a ki ng   i t   a   hi gh - r i s k  a c t i vi t y.   C a l l i ng ( 2 poi nt s )   W hi l e   l e s s   di s t r a c t i ng  t ha n  t e xt i ng,   m a ki ng  a   c a l l   s t i l l   di ve r t s   a t t e nt i on   f r om   dr i vi ng.  I t   i nvol ve s   c ogni t i ve   a nd  m a nua l   di s t r a c t i on  a s   t he   dr i ve r   m us t   hol d  t he   phone   a nd  e nga ge   i n  c onve r s a t i on.   R e a c hi ng be hi nd ( 3 poi nt s )   T hi s   a c t i on  i nvol ve s   s i gni f i c a nt   m a nua l   a nd  vi s ua l   di s t r a c t i on,  a s   t he   dr i ve r ' s   a t t e nt i on  i s   f oc us e d a w a y f r om  t he  r oa d w hi l e  r e a c hi ng f or  a n obj e c t .   H a i r  a nd m a ke up ( 1 poi nt )   T hough  not   a s   s e ve r e   a s   t e xt i ng,  gr oom i ng  a c t i vi t i e s   s t i l l   r e qui r e   m a nua l   a nd  v i s ua l   a t t e nt i on  a w a y f r om  dr i vi ng, m a ki ng i t  a  m ode r a t e - r i s k be ha vi or .   D r i nki ng or  e a t i ng ( 1 poi nt )   T a ki ng  a   dr i nk  or   e a t i ng  w hi l e   dr i vi ng  c a n  l e a d  t o  m om e nt a r y  di s t r a c t i on,  pa r t i c ul a r l y  i f   t he   dr i ve r  ha s  t o r e a c h f or  a  c ont a i ne r .   A dj us t i ng r a di o ( 1 poi nt )   A dj us t i ng  t he   r a di o  c a n  l e a d  t o  br i e f   m a nua l   a nd  vi s ua l   di s t r a c t i on,  but   i t   i s   ge ne r a l l y  c ons i de r e d a  l ow e r - r i s k be ha vi or .   T a l ki ng t o pa s s e nge r  ( 1 poi nt )   C onve r s a t i ons   w i t h  pa s s e nge r s   c a n  c a us e   s om e   c ogni t i ve   di s t r a c t i on,  but   i t ' s   ge ne r a l l y  a   c om m on a nd r e l a t i ve l y l ow e r - r i s k be ha vi or . -       T a bl e   2.   D r ow s in e s s   a nd f a ti gue  s c or e s   I na t t e nt i on a c t i vi t y ( s e ve r i t y s c or e )   D e s c r i pt i on   D r ow s y ( 3 poi nt s )   D r ow s i ne s s   s i gni f i c a nt l y  i m pa i r s   a   dr i ve r ' s   a bi l i t y   t o  r e a c t   qui c kl y  a nd  m a ke   s ound  j udgm e nt s .  I t ' s  a   hi gh - r i s k c ondi t i on a s  i t  i nc r e a s e s  t he  l i ke l i hood of  a c c i de nt s .   Y a w ni ng ( 3 poi nt s )   Y a w ni ng i s  of t e n i ndi c a t i ve  of  dr ow s i ne s s  or  f a t i gue , w hi c h c a n s e ve r e l y i m pa i r  a  dr i ve r ' s  a bi l i t y  t o f oc us  a nd r e a c t  on t i m e .   N o dr ow s i ne s s  ( 0 poi nt s )   W he n a   dr i ve r  i s  a l e r t  a nd not  dr ow s y, t he r e  i s  no a ddi t i ona l  r i s k a s s oc i a t e d w i t h t hi s  f a c t or .   N o ya w ni ng ( 0 poi nt s )   W he n a  dr i ve r  i s  not  ya w ni ng, t he r e  i s  no a ddi t i ona l  r i s k a s s oc i a t e d w i t h t hi s  f a c t or .       2.5.3. E m ot io n s  s c o r e s   N um e r ous   s tu di e s   ha v e   hi ghl ig ht e d  a   not e w or th y   a s s oc ia ti o n  be twe e n   dr iv in g - r e la te d  a nge r   a nd   s pe c if ic   hi gh - r is k  dr iv in g  pr a c ti c e s ,  in c lu di ng  in s ta n c e s   of   s p e e di ng,  a ggr e s s iv e   dr iv in g,  a nd  di s r e ga r di ng  tr a f f ic  s ig na ls   [ 30] .  F ur th e r m o r e , s c hol a r s  ha ve  unde r s c or e d t ha t  f e e li ngs  of  a nxi e ty  a nd f e a r  c a n a ls o s e r ve  a s   pr e di c to r s   f or   e nga gi ng  in   r is ky  dr iv in g  be ha vi or s   [ 31] .  T a bl e   3  pr e s e nt s   th e   e m ot io n  s c or e s ,  out li ni ng  th e ir   pot e nt ia l  c ont r ib ut io n t o r is ky dr iv in g pr a c ti c e s .       T a bl e  3. E m ot io ns  s c or e s   I na t t e nt i on a c t i vi t y ( s e ve r i t y s c or e )   D e s c r i pt i on   A nge r  ( 3 poi nt s )   A nge r   c a n  l e a d  t o  c ogni t i ve   di s t r a c t i on,  a ggr e s s i ve   dr i vi ng  be ha vi or s ,  a nd   r oa d  r a ge ,  pos i ng  s i gni f i c a nt  r i s ks  t o r oa d s a f e t y.   F e a r  a nd s a dne s s  ( 2 poi nt s  e a c h)   T he s e   e m ot i ons   c a n  l e a d  t o  c ogni t i ve   di s t r a c t i on  a nd,  i n   s om e   c a s e s ,  phys i c a l   r e a c t i ons   t ha t   m a y  a f f e c t  dr i vi ng pe r f o r m a nc e .   S ur pr i s e  a nd di s gus t  ( 1 poi nt  e a c h)   W hi l e   t he s e   e m ot i ons   m a y  m om e nt a r i l y  di s t r a c t   a   dr i ve r ,  t he i r   i m pa c t   i s   ge ne r a l l y  c ons i de r e d  l ow e r  c om pa r e d t o f e a r  a nd  s a dne s s .   N e ut r a l  a nd ha ppi ne s s  ( 0 poi nt s )   W he n  a   dr i ve r   i s   e m ot i ona l l y  ne ut r a l   or   e xpe r i e nc i ng  ha ppi ne s s ,  t he r e   i s   n o  a ddi t i ona l   r i s k   a s s oc i a t e d w i t h t he s e  f a c t or s . P o s i t i ve  e m ot i ons  m a y e ve n  c ont r i but e  t o a  m or e   a l e r t  a nd f oc us e d   s t a t e .       2.5.4. T ot al  r is k   T he   r is k  c a t e gor iz a ti on  a lg or it hm   is   ba s e d   on  a   s im pl e   “ if - th e n ”   a ppr oa c h.  W e   c a n  d e te r m in e   th e   r is k  le ve l  a s s oc ia te d  w it h  e a c h  c om bi na ti on  by  us in g  th e   s um   o f   poi nt s   obt a in e d  f r om   di f f e r e nt   c om bi na ti ons   of   s c or e s   f or   di s tr a c ti ng  a c ti vi ti e s ,  dr ow s in e s s   le ve l s ,  ya w ni ng  oc c ur r e nc e s ,   a nd  th e   dr iv e r ’ s   e m ot io ns .   O nc e   w e   c a lc ul a te   th e   to ta l  poi nt s   f or   e a c h  v a r ie ty ,  w e   pa s s   it   to   th e  c a te gor iz a ti on  a lg or it hm .  I f   th e   to ta l  poi nt s   a r e   le s s   th a n  or   e qua l  to   2,  th e   r is k  c a te gor y  is   c ons id e r e d  “ lo w . ”   I f   th e   to ta l   poi nt s   f a ll   be twe e n  3  a nd  7   ( in c lu s iv e ) ,  th e   r is k  c a te gor y  is   d e f in e d  a s   “ m e di um . ”   L a s tl y,  if   th e   to ta l  poi nt s   f a ll   be twe e n   8  a nd   10  Evaluation Warning : The document was created with Spire.PDF for Python.
I nt  J  A r ti f   I nt e ll     I S S N :   2252 - 8938       D r iv e r  i nat te nt io n  de te c ti on s y s te m  us in g m ul ti - ta s k  c a s c ade d  c onv ol ut io nal ... ( A bde lf e tt ah Soult ana)   4255   ( in c lu s iv e ) , t he  r is k c a te gor y  is  l a be le d  “ hi gh . ”   I f  t he  t ot a l  poi nt s  e xc e e d 10, the  r is k c a te gor y i s  l a be le d  “ ve r y   hi gh . ”   F ig ur e  2 pr ovi de s  a  vi s ua l  r e pr e s e nt a ti on of  t he  c a t e gor iz a ti on a lg or it hm .             F ig ur e   2 .  R is k f unc ti on c om put e       2.6.  Ale r t  l aye r   I n  th e   c ul m in a ti on  of   th e   s ys te m ’ s   f unc ti ona li ty ,  th e   f in a l  la ye r   a s s um e s   th e   vi ta l  r ol e   of   dr iv e r   a le r ti ng.  I t  e m pl oys   a   nua nc e d  r is k  a s s e s s m e nt   a ppr oa c h  to   de te r m in e   th e   a ppr opr ia te   le ve l  o f   a le r tn e s s   r e qui r e d.  T he   a le r t  s ta ge   r e pr e s e nt s   a   pr oa c ti ve   a ppr oa c h  to   e n ha nc in g  dr iv e r   s a f e ty   by  pr ovi di ng  ti m e ly   a nd   r e le va nt   f e e dba c k  a nd,  w he n   ne c e s s a r y,  in te r ve ni ng  to   pr e ve nt   pot e nt ia l  ha z a r ds   a s s oc ia te d   w it h  in a tt e nt io n.  I t  s e r ve s  a s   a  va lu a bl e  t ool  i n pr om ot in g r e s pons ib le  a nd a tt e nt i ve  dr iv in g be ha vi or .       3.   D R I V E R  F A C I A L  F E A T U R E S  D E T E C T I O N  P R O P O S I T I O N   A   pr im a r y  a nd  s ig ni f ic a nt   c ha ll e nge   in   our   s ys te m   li e s   in   e xt r a c ti ng  r e le va nt   f e a tu r e s   f r om   im a ge s   ( dr iv e r   f a c ia l  f e a tu r e s   e xt r a c ti on  l a ye r ) .  I n  th e   c ont e xt   of   th is   s tu dy,  w e   w il l  pl a c e   s pe c ia l  e m pha s is   on   th is   c r uc ia l  c om pone nt .  F ig ur e   3  il lu s tr a te s   our   a ppr oa c h  us in g  th e   M T C N N   a lg or it hm   f or   e xt r a c ti ng  f a c ia l   f e a tu r e s  s uc h a s  e ye s  a nd mout h us in g t he  c a m e r a  i n f r ont  of  t h e  dr iv e r .    T hi s   c hoi c e   is   ju s ti f ie d  by  two   e xpe r im e nt s   on   th r e e   da ta s e ts   F E ,  D r iv F a c e ,  a nd  dr iv e r   dr ow s in e s s   da ta s e t .  T he   f ir s t  f oc us e s   on   lo w   li ght in g  a nd  di f f e r e nt   he a d   m ove m e nt s   ( a c r os s   a   180°   vi e w ) ,  w hi l e   th e   s e c ond  e xpe r im e nt   a im s   to   a s s e s s   th e   pe r f or m a nc e   of   th e   M T C N N   a lg or it hm   on  a   r e a l - w or ld   da ta s e t  of   dr iv in g  s c e na r io s .   T o   e ns ur e   pr e c is e   a n a ly s is   of   f a c ia l   f e a tu r e s ,  M T C N N   i s   c om pa r e d   to   a   hi s to gr a m   of   gr a di e nt   ( H O G ) - ba s e d  f r ont a l  f a c e   de te c to r ,  a nd  a   H a a r   f e a tu r e - ba s e d  c a s c a de   c la s s if ie r .  T he s e   a lg or it hm s   w e r e  e xt e ns iv e ly  c om pa r e d f or  t he ir  a da pt a bi li ty  t o va r yi ng l ig h ti ng c ondi ti ons , a nd c a pa c it y t o a c c om m oda te   di f f e r e nt   he a d  m ove m e nt s   in   e xpe r im e nt   1.  F ur th e r m or e ,  in   e xpe r im e nt   2,  th e ir   a de pt ne s s   in   a c c ur a te ly   de te c ti ng  e s s e nt ia l  f a c ia l  c om pone nt s   s uc h  a s   th e   f a c e ,  e ye s ,   a nd  m out h  w a s   m e ti c ul ous ly   a s s e s s e d  us in g  e xpa ns iv e   da ta s e ts   obt a in e d  f r om   r e a l - w or ld   dr iv in g   s c e na r io s   a nd  pe r f or m a nc e   m e tr ic s   in c lu di ng  tr ue   pos it iv e s   ( TP ) ,   tr ue   ne ga ti v e s   ( TN ) ,  f a ls e   po s it iv e s   ( FP ) ,  f a ls e   pos it iv e s   ( FN ) ,  a c c ur a c y,   pr e c is io n ,  F 1 - s c or e ,   a nd  r e c a ll .           F ig ur e  3. P r opos a l  of  i nc or por a ti ng M T C N N  i n  f a c ia l  f e a tu r e  e xt r a c ti on l a ye r       3.1.  Dat as e t s   I n  th is   s tu dy,  w e   ut il iz e d  th r e e   da ta s e ts . T he   F E I   da ta s e t  w a s   e m pl oye d  to   a s s e s s   th e   pe r f or m a nc e   of   te c hni que s ,  ta ki ng  in to   a c c ount   he a d  r ot a ti on  a nd  li ght in g  c ondi ti ons .   T he   F E I   f a c e   da ta s e t  is   a   c ol le c ti on  of   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I S S N :   2252 - 8938   I nt  J  A r ti f   I nt e ll ,  V ol .   13 , N o.   4 ,  D e c e m be r   2024 :  4249 - 4262   4256   B r a z il ia n  f a c e   im a ge s   c a pt ur e d  be twe e n  J une   2005  a nd  M a r c h   2006  a t  th e   A r ti f ic ia l  I nt e ll ig e nc e   L a bor a to r y   of   F E I   in   S ã o  B e r na r do  do  C a m po,  S ã o  P a ul o,  B r a z il   [ 33] .  T hi s   da ta s e t  c on s is ts   of   2 , 800  c ol or f ul   im a ge s ,  w it h  14  im a ge s   f or   e a c h   of   th e   200  in di vi dua ls .   T h e   phot ogr a phs   w e r e   ta ke n  a ga in s t   a   w hi te   hom oge ne ou s   ba c kgr ound,  s how in g   th e   s ubj e c ts   in   a n   upr ig ht   f r ont a l  pos it io n  w it h  pr of il e   r ot a ti on  of   up  to   a ppr oxi m a te ly   180  de gr e e s .  T he   im a ge s ’   or ig in a l  s iz e   is   640 × 480  pi xe ls ,  w it h  a   pos s ib le   v a r ia ti on  in   s c a le   of   a bout   10% .   T he   f a c e s   f e a tu r e d  in   th e   da ta s e t  be lo ng  to   in di vi dua ls   a g e d  be twe e n  19  a nd  40  ye a r s ,  m a in ly   c om pr is in g   s tu de nt s   a nd  s ta f f   a t  F E I ,  di s pl a yi ng  di ve r s e   a ppe a r a nc e s ,  ha i r s ty le s ,  a nd  a dor nm e nt s .  N ot a bl y,  th e   da ta s e t  in c lu de s  a n e qua l  num be r  of  m a le  a nd f e m a l e  s ubj e c t s , e a c h t ot a li ng 100.    T he   ot he r   two   da ta s e ts   w e r e   ut il iz e d   to   e va lu a t e   th e   r obu s tn e s s   of   de te c ti on s   in   r e a l   dr iv in g  s c e na r io s .   T he   publ ic   D r iv F a c e   da ta s e t   [ 32]   c ont a in s   im a ge   s e que n c e s   of   s ubj e c ts   w hi le   dr iv in g  in   r e a l  s c e na r io s .  I t  c om pr is e s   606  s a m pl e s   of   640 × 480  pi xe ls   e a c h,   a c qui r e d  ove r   di f f e r e nt   da ys   f r om   4  dr iv e r s     ( 2  w om e n  a nd  2  m e n)   w it h  va r io us   f a c ia l  f e a tu r e s   obs tr uc ti on s ,  s uc h  a s   gl a s s e s   a nd  f a c ia l  ha ir .  T h e   dr iv e r   dr ow s in e s s   da ta s e t  [ 33]   c ont a in s   1448  phot o s ,  di vi de d  in to   tw o  gr oups :  723  im a g e s   l a be le d  “ ya w ni ng ”   a nd  725  im a ge s   la be le d  “ N o  ya w ni ng ” .  I t  is   im po r ta nt   to   no te   th a t  e a c h  of   th e   ‘ ya w ni ng ’   a nd  ‘ N o   ya w ni ng ’   s ubs e ts   w il l  be   us e d   s e pa r a te ly   f or   e va lu a ti on  pur pos e s .  F ig ur e   4  s how c a s e s   e xa m pl e s   of   im a ge s   f r om   th e   th r e e  da ta s e ts .           F ig ur e  4. E xa m pl e s  of  i m a ge s  f r om  t he  t hr e e  da ta s e ts       3.2.  F ac ia l  f e at u r e  e xt r ac t io n  t e c h n iq u e s   3.2.1. Haar c as c ad e - op e n c v   I n  2001,  V io la   a nd   J one s   [ 22]   pr opos e d   a n  e f f e c ti ve   obj e c t   de te c ti on  te c hni que   known  a s   H a a r   f e a tu r e - ba s e d  c a s c a de   c la s s if ie r s .  I t  is   a   m a c hi ne   le a r ni ng - ba s e d  m e th od  th a t  tr a in s   th e   c la s s if ie r   w it h  m a ny   pos it iv e   phot os   ( w it h  f a c e s )   a nd  ne ga ti ve   im a ge s   ( w it hout   f a c e s ) .  I n  th e ir   s tu dy,  va r io us   e xt r e m e ly   ba s ic   or   w e a k  f a c ia l  tr a it s   a r e   le a r ne d  us in g  th e   A da B oos t  m ode l  to   c r e a te   a   r obus t  c la s s if ie r   f or   e a c h  f a c e .  T he     V io la - J one s   de te c to r   is   one   of   th e   e a r li e s t  m e th od s .  I t  f unc ti ons   on  gr a ys c a le   im a ge s   by  in te r pr e ti ng  th e   im a ge   a s   a   c ol le c ti on  of   H a a r   f e a tu r e s   ( li ght e r   a nd  da r ke r   r e c ta ngl e s ) .  T he r e   a r e   num e r ous   H a a r   f e a tu r e   ty pe s   w it h  va r io us   pl a c e m e nt s   of   th e   r e c ta ngl e ’ s   s of t  a nd  da r k  a r e a s .   T he y  c a n  be   c om put e d   ve r y  qui c kl y  us in g  a n   in te gr a l  im a ge   m e th od.  T he   in te gr a l  im a ge   is   a   c om put in g  t e c hni que   th a t  e na bl e s   th e   r a pi d  a nd  e f f ic ie nt   c a lc ul a ti on  of   th e   s um   of   pi xe l  v a lu e s , a c hi e vi ng  c on s ta nt   ti m e  c om pl e xi ty   a nd  li tt le   c om put a ti ona l  ove r he a d.   T he   pr oc e s s   in vol ve s   ge ne r a ti ng  a n  im a ge   of   e qua l  di m e ns io ns   a s   th e   or ig in a l  im a ge ,  r e f e r r e d  to   a s   a   s uppl e m e nt a l  a r e a   ta bl e .   T he   s um m a ti on  of   th e   pi xe l s   lo c a te d   t o  th e   le f t  a nd   a bove   e a c h   gi ve n  pi xe l   ( x,  y)   in   th e  or ig in a l  im a ge  i s  c a lc ul a te d u s in g  in   ( 1) .      ( , ) =   ∑ ( ′ , ′ )   ′ ≤ , ′ ≤   ( 1)     T he   f unc ti on  ii ( x,  y)   r e pr e s e nt s   th e   pi xe l  va lu e s   of   th e   in te gr a l  im a ge ,  w hi le   I  ( x,  y )   r e pr e s e nt s   th e   pi xe l  va lu e s   of   th e   or ig in a l  im a ge   a t  poi nt   ( x,  y) .  T he   c om put a t io n  of   th e   to ta l  pi xe l  va lu e s   w it hi n  a   r e c ta ngl e   r e gi on  c a n  be   s im pl if ie d  by  ut il iz in g  onl y  f our   va lu e s   f r om   th e   in te gr a l  im a ge ,  r a th e r   th a n  s um m in g  th e   va lu e s   of   a ll   in di vi dua l  pi xe ls .  I f   A , B ,  C ,  a nd D   r e pr e s e nt   th e  va lu e s   a t  th e  c or ne r s   of   th e   ta bl e   b e in g  to ta le d,  th e  t ot a l  s um  w it hi n t hi s  r e c ta ngul a r  r e gi on c a n be  c a l c ul a te d us in g  in   ( 2) .     Evaluation Warning : The document was created with Spire.PDF for Python.
I nt  J  A r ti f   I nt e ll     I S S N :   2252 - 8938       D r iv e r  i nat te nt io n  de te c ti on s y s te m  us in g m ul ti - ta s k  c a s c ade d  c onv ol ut io nal ... ( A bde lf e tt ah Soult ana)   4257    = + − −   ( 2)     C a s c a di ng  c la s s if ie r s   a r e   e m pl oye d  to   e f f ic ie nt ly   e li m in a te   non - f a c e   in s ta nc e s   a nd  m in im iz e   s upe r f lu ous   c om put a ti ona l  op e r a ti ons .  C a s c a di ng  in vol ve s   th e   c ons tr uc ti on  of   a   c a s c a d e   c l a s s if ie r ,  w hi c h   is   c om pr is e d  of   m ul ti pl e   s ta ge s ,  e a c h  hous in g  a   r obus t  tr a in e d  c la s s if ie r .  I n  th e   e ve nt   of   a   s ub - w in dow   e xpe r ie nc in g  f a il ur e   a t   a ny  poi nt ,  it   w il l  pr om pt ly   be   e li m in a te d.  T he   A da boo s t  a lg or it hm   is   e m pl oye d  in   th e   c r e a ti on of  a  c a s c a de  by me ti c ul ou s ly  c ons tr uc ti ng e a c h i ndi vi d ua l  s ta ge . T h e  pr oc e s s  i nvol ve s  t he  i nt e gr a ti on  of  m ul ti pl e  c la s s if ie r s  t o f or m  t he  s ta ge s .     3.2.2.  H oG - D li b   T he   H oG - D li b  p r ovi de s   a n  a ppr oa c h  f or   f a c e   de te c ti on  ba s e d  on  H O G   a nd  L in e a r   S V M   [ 23] .   T he   id e a   of   th e   H O G   de s c r ip to r   is   to   c r e a te   a   ve c to r   of   f e a tu r e s   s o  th a t  th e   ve c to r   c a n  be   f e d  in to   a   c la s s if ic a ti on   a lg or it hm   li ke   S V M   to   pr e di c t  th e   r e s ul t.   T o   c a lc ul a te   th e   H O G   de s c r ip to r ,  w e   ne e d  to   c a lc ul a te   th e   gr a di e nt s   of  t he  x - a xi s -   a nd y - a xi s  gr a di e nt s . T he   c a lc ul a ti on of  t he  gr a di e nt  ve c to r  i s  a s   ( 3)  a nd ( 4) :     ( , ) = ( + 1 , ) − ( − 1 , )   ( 3)       ( , ) = ( , + 1 ) − ( , − 1 )     ( 4)     In   ( 3)   a nd   ( 4)   r e pr e s e nt   th e   ho r iz on ta l  gr a di e nt   o f   th e   im a g e   pi x e l,   G x( x ,   y) ,   a n d  th e   ve r ti c a l  gr a di e nt ,   G y( x,   y) ,   r e s p e c ti v e l y.  In   ( 5)   a n d ( 6)  r e s p e c ti v e l y r e pr e s e nt   th e  m a g ni t ud e   a nd  d ir e c ti on  of  t h e   gr a di e nt  a t  pi x e l  ( x, y) .     ( , ) = √ ( , ) 2 + ( , ) ²   ( 5)     ( , ) = − 1 ( ( , ) ( , ) )   ( 6)     T he s e   gr a di e nt s   c a pt ur e   th e   im a g e ’ s   di r e c ti on  a nd   m a gni tu de   of   pi xe l  in te ns it y  c h a nge s .   B y   a na ly z in g  th e s e   gr a di e nt s ,  D li b  c a n  c ons tr uc t  a   f e a tu r e   ve c to r   th a t  de s c r ib e s   th e   c ha r a c te r is ti c   pa tt e r ns   of   f a c e s .  I n  th e   c ont e xt   of   D li b,  f iv e   H O G   f il te r s   a r e   us e d   f or   f a c e   de te c ti on:   f r ont - lo oki ng,  le f t - lo oki ng,     r ig ht - lo oki ng,  f r on t - lo oki ng  but   r ot a te d  le f t,   a nd  f r ont - lo oki n g  but   r ot a te d  r ig ht .  T he s e   f il te r s   he lp   c a pt ur e   va r ia ti ons   in   f a c ia l  or ie nt a ti on  a nd  e ns ur e   r obus t  f a c e   de te c ti on   e ve n  w he n  f a c e s   a r e   r ot a te d  or   c a pt ur e d  f r om   di f f e r e nt  a ngl e s .       3.2.3.  M u lt i - t as k  c as c ad e d  c on vol u t io n al   n e u r al  n e t w or k   T he   M T C N N   s ta nds   a s   a   pr om in e nt   m il e s to ne   in   th e   r e a lm   of   c om put e r   vi s io n  a nd   f a c e   a li gnm e nt .  U nve il e d  by  K a ip e ng  Z ha ng   a nd  f e ll ow   r e s e a r c he r s   in   201 6  [ 24] .  T he   M T C N N   is   w e ll - known  f or   it s     s ta te - of - th e - a r t  pe r f o r m a nc e   on  a   va r ie ty   of   be nc hm a r k  da ta s e ts   a s   w e ll   a s   it s   la ndm a r k  de te c ti on  a bi li ty ,  w hi c h  e na bl e s   it   to   id e nt if y  a ddi ti ona l  f a c ia l  f e a tu r e s   li ke   th e   e ye s   a nd  m out h.  T he   n e twor k  e m pl oys   a   c a s c a d e   s tr uc tu r e   w it h  th r e e   ne twor ks .  T he   im a ge   is   f ir s t  r e s i z e d  to   va r io us   s iz e s   ( r e f e r r e d  to   a s   a n  im a ge   pyr a m id ) .  T he   f ir s t  m ode l,   th e   pr opos a l  ne twor k  (P - N e t) ,  pr opos e s   c a ndi da te   f a c ia l   r e gi ons ;  th e   s e c ond   m ode l,   th e   r e f in e   ne twor k  (R - N e t) ,  f il te r s   th e   bounding  boxe s ,  a nd  th e   th ir d  m ode l,   th e   out put   ne twor k    (O - N e t) , pr opos e s  f a c ia l  la ndm a r ks .   U pon  th e   de te c ti on  of   a   f a c e ,  th e   P - N e t  a lg o r it hm   p r ovi de s   th e   c oor di na te s   of   a   bounding   box.  T he   ope r a ti on  w il l  be   r e pe a te d  in   a   s e c ti on - w is e   m a nne r ,  w it h  th e   12 × 12  ke r ne l  be in g  s hi f te d  2  pi xe ls   to   th e   r ig ht   or   dow n  a t  e a c h  it e r a ti on.  T he   di s pl a c e m e nt   of   2   pi xe ls   is   c om m onl y  r e f e r r e d  to   a s   th e   s tr id e .  T he   f a c ia l   f e a tu r e s   s e e n  in   m os t  of   th e   im a ge s   e xhi bi t  a   s iz e   e xc e e di ng  2  pi xe ls .  T he   li ke li hood  of   th e   ke r ne l   f a il in g  t o   de te c t  a  f a c e  i s  r e la ti ve ly  l ow . T he  R - N e t  in c or por a te s  t he  pr e c i s e  c oor di na te s  of  t he  upda te d bounding boxes ,   w hi c h  a r e   m or e   a c c ur a te   th a n  pr e vi ou s   ve r s io n s .  T a bl e   4   pr ovi de s   te c hni c a l  in f or m a ti on  a bout   th e   th r e e   a lg or it hm s ,  pr ovi di ng  in s ig ht s   in to   th e ir   C P U   a nd  G P U   us a ge   c a pa bi li ti e s ,  s uppor t  f or   c ol or   in f o r m a ti on,  a nd   r e c om m e nde d i m a ge  s iz e s .   T he   ta bl e   pr e s e nt s   te c hni c a l  in f or m a ti on  on  th r e e   w id e ly   us e d  f a c e   de te c ti on  a nd  a li gnm e nt   m e th ods :  H a a r   C a s c a de - O pe nC V ,   H oG - D li b,  a nd  M T C N N .  A ll   th r e e   m e th ods   s uppor t  C P U   us a ge ,  m a ki ng   th e m   a c c e s s ib le   f or   s ta nd a r d  c om put in g  de vi c e s .  W hi le   H a a r   C a s c a de   a nd  H oG - D li b  a ls o  of f e r   G P U   s uppor t,   M T C N N   s ta nd s   out   by  ut il iz in g  c ol or   in f or m a ti on  f o r   e nha nc e d  a c c ur a c y,  w hi le   th e   ot he r   two  m e th ods   ope r a te   on  gr a ys c a le   im a g e s .  R e c om m e nde d  im a g e   s iz e s   v a r y,  w it h  H a a r   C a s c a de   s ugg e s ti ng  24× 24,     H oG - D li b  >   80× 80,  a nd  M T C N N   >   20× 20.   E a c h  m e th od  ha s   uni que   s tr e ngt hs ,  m a ki ng   it   e s s e nt ia l  to   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I S S N :   2252 - 8938   I nt  J  A r ti f   I nt e ll ,  V ol .   13 , N o.   4 ,  D e c e m be r   2024 :  4249 - 4262   4258   c ons id e r   s pe c if ic   a ppl ic a ti on  r e qui r e m e nt s   a nd  a va il a bl e   c om put a ti ona l  r e s our c e s   w he n  s e le c ti ng  th e   m o s t  s ui ta bl e  a lg or it hm  f or  f a c e  de te c ti on a nd a li gnm e nt  t a s k s .       T a bl e  4.  T e c hni c a l  in f or m a ti on a bout  t he  t hr e e  a lg or it hm s     H a a r  C a s c a de   H oG - dl i b   M T C N N   C P U   Y e s , a va i l a bl e   Y e s , a va i l a bl e   Y e s , a va i l a bl e   G P U   C e r t a i n i m pl e m e nt a t i ons   ( N ot  O pe nC V )   Y e s , a va i l a bl e   Y e s , a va i l a bl e   U s i ng  C ol or s   No   No   Y e s   I m a ge  s i z e   R e c om m e nds  24x24   >80x80   >20x20       3.3.  E xp e r im e n t s  an d  r e s u lt s   W e   unde r to ok  two  di s ti nc t  e xpe r im e nt s   to   a s s e s s   th e   pe r f or m a nc e   of   th r e e   a lg or it hm s   a c r os s   va r ie d  c ont e xt s .  I n  th e   f ir s t  e xpe r im e nt ,  w e   ga uge d  pe r f or m a nc e   b y  qua nt if yi ng  th e   s uc c e s s f ul   f a c e   de te c ti on s   a c hi e ve d.  F or   th e   s e c ond  e xpe r im e nt ,  w e   e m pl oy e d  w id e ly   r e c ogni z e d  m e tr ic s   to   th or oughly  e va lu a te   th e   pe r f or m a nc e   of   th e s e   th r e e   a lg or it hm s .  T he s e   e xpe r im e nt s   ut il iz e   P yt hon  s c r ip ts   w it h  va r io us   li br a r ie s   f or   f a c e   de te c ti on  in   im a ge s .  T he   f ir s t  s c r ip t  e m pl oys   O p e nC V ,   it e r a ti ng  th r ough  a   di r e c to r y  of   im a ge s   a nd   ut il iz in g  th e   H a a r   C a s c a de   c la s s if ie r   to   de te c t  f a c e s .  T he   to ta l  c ount   of   de te c te d  f a c e s   is   th e n  pr in te d.   S im il a r ly ,  th e   s e c ond  s c r ip t  us e s   th e   D li b  li br a r y  a lo ngs id e   O pe nC V   to   de te c t  f a c e s   in   im a ge s .  I t  it e r a te s   th r ough  th e   im a ge   di r e c to r y,  a ppl ie s   f a c e   de te c ti on  u s in g  D li b ,  a nd  pr in ts   th e   to ta l  c ount   of   de te c te d  f a c e s .  F in a ll y,  th e   th i r d  s c r ip t  e m pl oys   th e   M T C N N   m ode l  f or   f a c e   de te c ti on,  a ga in   it e r a ti ng  th r ough  th e   i m a ge   di r e c to r y,  a ppl yi ng  f a c e   de te c ti on  us in g  M T C N N ,  a nd  pr in ti ng  th e   to ta l  c ount   of   de te c te d  f a c e s .  O ve r a ll ,  th e s e  e xpe r im e nt s  d e m ons tr a te  di f f e r e nt  a ppr oa c he s  t o f a c e  de t e c ti on us in g va r io us  l ib r a r ie s  i n P yt hon.   T o  c om pr e he ns iv e ly   e va lu a te   th e   pe r f or m a nc e   of   th e   a lg or it hm s   us in g  va r io us   m e tr ic s ,  w e   a ugm e nt e d t he  e xi s ti ng da ta s e ts  by i nt r oduc in g a ddi ti ona l  im a g e s  t ha t  di d not c ont a in  t he  dr iv e r . B y i nc lu di ng  th e s e   im a ge s   w it hout   dr iv e r s   pr e s e nt ,  w e   c oul d  c a lc ul a te   T N   a nd,  F P ,  a nd  ot he r   e va lu a ti on  m e tr ic s .  T hi s   a ppr oa c h  a ll ow e d  us   to   ga in   in s ig ht s   in to   th e   a lg o r it hm s ’   e f f e c ti ve ne s s   in   de te c ti ng  f a c e s   a nd  a li gni ng  f e a tu r e s   pr e c is e ly   in   dr iv in g - r e la te d  s c e na r io s ,   th us   pr ovi di ng  a   m or e   r obus t  a s s e s s m e nt   of   th e ir   pe r f or m a nc e   in   a   r e a l - w or ld   c ont e xt .  H e r e  i s  a n e x pl a n a ti on   of   e a c h m e tr i c :  P r e c is io n  i s   a   m e tr i c  t h a t  qu a n ti f i e s   t he  a c c ur a c y   of   p os it i ve   pr e di c t io n s   m a de   b y  a   m o de l:   pr e c i s i on = T P / ( T P + F P ) .  R e c a ll ,   a ls o  k no w n  a s   s e n s it iv i ty   or   TP   r a te ,  m e a s ur e s   t he   m od e l ’ s   a bi li ty   to   c or r e c tl y   i de nt if y  po s i ti v e   in s t a n c e s   f r o m   a ll   t he   a c tu a l   po s i ti v e   in s t a nc e s   in   th e   da t a s e t.   R e c a ll = T P /( T P + F N ) .   T h e   F 1 - S c or e   i s   th e   ha r m oni c   m e a n   of   pr e c i s io n  a n d  r e c a l l.     F1 - S c or e = 2 × ( P r e c is io n × R e c a l l) /( P r e c i s io n + R e c a ll ) .  A c c ur a c y   i s   a   m e tr ic   th a t  m e a s ur e s   th e   ov e r a ll   c or r e c tn e s s   of  t he  m o de l ’ s  pr e d ic ti o n s .  A c c ur a c y = ( T P + T N ) /( T P + T N + F P + F N ) .     3.3.1. F ac e  d e t e c t io n  on  f e i  d at as e t   T he   obj e c ti ve   of   th e   e xpe r im e nt   is   to   de m on s tr a te   how   w e l l  e a c h  m e th od  c a n  de te c t  f a c e s   on   di f f e r e nt  he a d m ove m e nt s  a nd i n l ow  l ig ht in g c ondi t io ns .  W e  a s s e s s e d f a c e  de te c ti on i n t he  10 he a d pos it io ns   a nd  di f f e r e nt   li ght in g  c ondi ti ons   s e pa r a te ly   to   und e r s ta nd  ho w   e a c h  of   th e   a lg or it hm s   pe r f or m s   in   th e s e   s c e na r io s .  I n  th is   e xp e r im e nt a l  s e tu p,  th e   a im   is   to   d e te c t  f a c e s   us in g  th e   F E I   da ta s e t,   w he r e   e a c h  di s ti nc t  he a d  m ove m e nt   s ta te   c on s is ts   of   a n  e qu a l  num be r   of   200  im a ge s .  A ddi ti ona ll y,  th e r e   i s   a   s e t  of   200   im a ge s   s pe c if ic a ll y  r e pr e s e nt in g  lo w - li ght   c ondi ti ons .  T he   e xp e r im e nt   in vol ve s   a ppl yi ng  th r e e   di f f e r e nt   f a c e   de te c ti on  a lg or it hm s   to   e a c h  s ta te   w it hi n  th e   da ta s e t.   F or   e ve r y  s ta te   a nd  e ve r y  f a c e   de te c ti on  c la s s if ie r ,  th e   c ode   c ount s   th e   to ta l  num be r   of   f a c e s   de te c te d.   T he   go a l  is   to   a na ly z e   a nd  c om pa r e   th e  e f f e c ti ve ne s s   of   th e s e   a lg or it hm s   in   va r io us   s c e na r io s   w it hi n  th e   F E I   da ta s e t,   in c lu di ng  di f f e r e nt   he a d  m ove m e nt s   a nd  li ght in g   c ondi ti ons .  T a bl e   5  s um m a r iz e s   th e   c om pa r is on   r e s ul ts   of   th e   th r e e   a lg or it hm s   f r om   th e   in it ia l  e va lu a ti on  e xpe r im e nt .  I t  di s pl a ys   th e   out c om e s   a c hi e ve d  f or   e a c h  s e c ti o n  of   th e   da ta s e t.   S ta te s   1  to   10   r e pr e s e nt   th e   dr iv e r ' s   he a d  in   va r io us   180°  he a d  m ove m e nt   s c e na r io s ,  w h il e   th e   f in a l  s ta te ,  11,  de pi c t s   th e   dr iv e r   in     lo w - li ght in g c ondi ti ons .       T a bl e  5. D e te c ti on r a te  f or  on F E I     A l gori t hm s   1   2   3   4   5   6   7   8   9   10   11   H a a r  Ca s c a de   40   182   197   200   200   200   198   197   164   5   154   H oG - dl i b   159   200   200   2000   200   200   200   200   196   95   177   M T CN N   154   188   197   197   198   197   197   196   187   86   155   Evaluation Warning : The document was created with Spire.PDF for Python.