I n d on e s i an   Jo u r n al   o El e c t r i c al   En gi n e e r i n g   an d   C o m p u te r   S c i e n c e   V o l .   19 ,   N o .   1 J ul y   20 20 ,   pp .   3 44 ~ 3 52   IS S N :   2502 - 4752 ,   D O I :   10. 1 1591 / i j e e c s . v 1 9 .i 1 . pp 344 - 352             344       Jou r n al   h o m e pa ge ht t p: / / i j e e c s . i a e s c or e . c om   D e t e c t i n g   a b n o r m a l   m o v e m e n t   o f   d r i v e r ' s h e a d   b a s e d   o n   sp a t i a l - t e m p o r a l   f e a t u r e o f   v i d e o   u si n g   d e e p   n e u r a l   n e t w o r k   DNN       N oo r   D .   A l - S h a k ar c h y 1 I s r aa  H ad i   A l i 2   1 ,2 C o l l e g e   o f   I n f o r m a t i o n   T e c hno l o gy ,   U ni v e r s i t y   o f   B a b y l o n,   I r a q   1 C o l l e g e   o f   S c i e nc e ,   U ni v e r s i t y   o f   K e r ba l a ,   I r a q       A r ti c l e   I n fo     A B S TR A C T   Ar t i c l e   h i s t or y :   R e c e i v e J ul   28 ,   20 19   R e v i s e N o v   20,   2019   A c c e pt e D e c   2 6 ,   2 0 19       T he   de v e l o pm e n t   o f   t r a c k i ng   a n s u r v e i l l a nc e   d e v i c e s   m a ke s   e xt r a c t i ng   us e f ul   i nf o r m a t i o e f f i c i e nt l y .   H e a t r a c k i ng   i s   a e f f i c i e nt   m e t ho t o   o bt a i t he a na l y z e   t r a j e c t o r y   da t a   a nd   m a ke   a   de c i s i o ba s e d   o t h e   s pa t i o t e m po r a l   i nf o r m a t i o o f   v i de o s .   M a ny   a ppl i c a t i o ns   a r e   b a s e o he a t r a c ki ng   s uc a s   di s e a s e s   s o m e   d i a g no s i s ,   t he   g e s t ur e s   l a ng ua g e s ,   a n d   dr o w s i ne s s   d e t e c t i o a nd   s o   o n.   A bno r m a l   he a m o v e m e nt   d e t e c t i o c a b e   a c h i e v e u s i ng   s pa t i a l   i nf o r m a t i o n   ba s e d   o a   s i ng l e   i m a g e   ( o ne   f r a m e )   a t   a   t i m e   w i t ho ut   c o ns i de r i ng   t he   t e m po r a l   i nf o r m a t i o o v e r   t i m e .   I t hi s   p a pe r ,   a   ne w   m e t ho ba s e d   o m ul t i - i m a g e s   i s   pr o po s e d   t o   t r a c k   he a d   i n   o r de r   t o   d e t e c t   a bno r m a l   he a m ov e m e nt   d e pe ndi ng   o s pa t i o t e m po r a l   F e a t u r e   us i ng   D e e N e ur a l   N e t w o r D N N   t h a t   e m p l oy e t he   3 - D i m e n s i o na l   C o nv o l ut i o n   N e u r a l   N e t w o r ks   3D   C N N .   T h e   p r o po s e m e t ho e x t r a c t s   t h e   s pa t i a l   i nf o r m a t i o a s   w e l l   a s     t he   t e m po r a l   i nf o r m a t i o n   a v a i l a bl e   i n   a   v i de o   t he n   a n a l y s i s   t hi s   i nf o r m a t i o n   t o   m a ke   t h e   d e c i s i o ba s e d   o t i m e   s e r i e s   ( s e que nc e s   o f   f r a m e s ) ;   t he s e   t i m e   s e r i e s   pr o v i de s   t he   t r a c ki ng   t o   t h e   h e a o v e r   t i m e   t o   m a ke   t he   de c i s i o n.   T he   ne w   da t a s e t   c r e a t e d   a nd   g a t h e r e t o   i m p l e m e nt   w i t h   t h e   p r o po s e s y s t e m   a nd  c a l l e N o r m a l   A bno r m a l   H e a M o v e m e nt   D a t a s e t   ( N A H M )   v i d e o   da t a s e t .   T h e   ne w   da t a s e t   p r o v i de s   di f f e r e nt   s ub j e c t s   w i t di f f e r e nt   c o ndi t i o ns   t ha t   g i v e   m o r e   e f f i c i e nc y   i t he   i m p l e m e nt a t i o o f   t he   p r o po s e s y s t e m .   T h e   a c c ur a c y   of     t he   t r a i n i ng   s e t   t ha t   a c h i e v e s   by   pr o po s e s y s t e m   r e a c t o   8 8 %   a nd   o f   v a l i da t i o s e t   r e a c he s   t o   86 % .   T he   v a l ue s   o f   l o s s   f unc t i o r e a c h   t o   0. 3   f o r   t r a i n i ng   s e t   a nd  0. f o r   t he   v a l i da t i o s e t .   Ke y w or d s :   3D   CN N   A b n o r m a l   h e a d   P r e di c t o r   D e e N e ur a l   n e t w o r (D N N )   Im a ge s     V i de o   C opy r i gh t   ©   20 20   I n s t i t ut e   o f   A dv anc e E ng i ne e r i ng   and   S c i e nc e .     A l l   r i gh t s   r e s e r v e d .   Cor r e s pon di n g   Au t h or :   N oo r   D .   A l - S h a k a r c h y   Co l l e ge   of   In f o r m a t i o n   T e c hn o l o gy ,     U n i v e r s i t y   of   B a by l o n ,     51002,   B a b i l ,   I ra q.     E m a i l :   n o o r . d @ uo ke r b a l a . e du. i q       1.   I N TR O D U C TI O N     V a r i o us   a ppl i c a t i o n s   i c o m put e v i s i o n,   ge s t u r e s   l a n gu a ge ,   a n d   d i s e a s e s   di a g n o s i s   t a ke   t h e   h e a d   m o ve m e n t   n a t u r e   a s   a   m a j o r   r o l e   i t hi s   p r o c e s s .   D ri v e r   D r o w s i n e s s   D e t e c t i o n   S y s t e m   (D D D S i s   a   c o l l e c t i o of   i m a ge   p r o c e s s i n a nd  m a c hi n e   l e a rni n g   t e c hni que s   t o   a n a l y z e ,   t r a c k,   a nd  c l a s s i fy   v i de o   da t a   i o r de t o   m a ke   pr e di c t i o n s   a b o ut   d r o w s i n e s s   s t a t us .   D D D S   i n v o l v e s   e xt r a c t i ng  s a l i e n t   a n d   i m po rt a nt   f e a t u r e s   a n t h e n   t r a c ki ng  t h e s e   f e a t ur e s   t o   m a ke   a a c c ur a t e   c l a s s i f i c a t i o a b o ut   d r o w s i n e s s   s t a t us .   V i de o s   c o n s i s t   o f   s pa t i a l - t e m po r a l   i n f o r m a t i o w hi c i s   p r e s e n t e a s   t e m po r a l   f e a t u r e s   o v e r   t h e   c o n s e c ut i ve   f r a m e s   a s   w e l l   a s   t h e   s p a t i a l   f e a t u r e s   r e p r e s e n t e d   b y   e a c f ra m e   (s t i l l   i m a ge )   [1 ,   2]   a nd   t h e   o b t a i n e d   t ra j e c t o r y   f r o m   h e a d   t ra c ki n g   i a   v i de o   i s   fo r m e f r o m   a   s e que n c e   of   pi xe l s   i n   c o n s e c ut i v e   f r a m e s   [3,   4] .   A b n o r m a l   h e a m o v e m e n t   de t e c t i o i   t h e   v i de o   c a b e   c o n s i de r e d   a s   a   v i de o   c l a s s i f i c a t i o p r o b l e m   b a s e o n   F e a t u r e   E xt ra c t i o n.   V i de o   c l a s s i f i c a t i o Evaluation Warning : The document was created with Spire.PDF for Python.
In do n e s i a J   E l e c   E ng  &   Co m S c i     IS S N :   2502 - 4752       D e t e c t i ng   abnor m a l   m o v e m e nt   o f   dr i v e r 's   he ad  bas e d   on   s pa t i al - t e m por al …  ( Noor   D .   A l - Sha k ar c hy )   345   m e t h o ds   c a b e   c a t e go r i z e i n t o   t w o   t y p e s :   s pa t i a l   s t a m m e t h o ds ;   w h e r e   t h e   de c i s i o m a ke s   b a s e o n   s p a t i a l   f e a t ur e   o f   o n e   f ra m e   a t   a   t i m e ;   a nd   t i m e   s t a m p   m e t h o ds   b a s e o a   s e que n c e   o f   f r a m e s   a t   a   t i m e   t o   r e p r e s e n t   t h e   dy n a m i c   c h a n ge s   i n   t h e   f e a t u r e s   o v e r   t h e   t i m e   c a l l e s pa t i o t e m po r a l   f e a t u r e   [5 ,   6].   T h e   r o b us t   a nd  e f f i c i e n t   c l a s s i f i c a t i o n   m e t h o ds   de pe n d   o n   e xt ra c t i n g   s a l i e n t   a n e f f i c i e n t   s pa t i o t e m po ra l   f e a t u r e s   t h a t   c a b e   us e d   i n   de c i s i o n   m a k i n a s   w e l l   a s   t h e   po s s i b i l i t y   t o   de a l   w i t h   c h a ngi n g   i l um i n a n c e   a n d   r e s o l ut i o [7 ,   8] .   D e e N e ur a l   n e t w o r ks   a n d   D e e l e a rn i ng  p r e s e n t e d   a e f f i c i e n t   a pp r o a c t o   e xt ra c t   s a l i e nt   f e a t u r e s   [9]   s uc h   a s   Co n v o l ut i o N e ura l   N e t w or ks   (CN N ) .   CN N   c a e xt r a c t s   t h e   s pa t i a l   f e a t u r e s   a s   w e l l   a s   t h e   t e m po ra l   f e a t u r e s   ( r e pr e s e nt e t h e   t ra c ki n g   o f   t h e   s p a t i a l   f e a t u r e s s i m ul t a n e o us l y   i n   c o n v o l ut i o l a y e r s   w h i c h   pl a y   t h e   r o l e   o f   s pa t i o t e m po ra l   f e a t u r e   e xt ra c t o by   a ppl y i n g   f i l t e r s   o v e r   a l l   t h e   f r a m e   s e que n c of   v i de o   a t   a   t i m e   [1 0].     In  t h e   i m p l e m e nt a t i o n   o f   v i de o   c l a s s i f i c a t i o n,   a   t hr e e   D i m e n s i o Co n v o l ut i o n a l   N e ura l   N e t w o r ks     (3D   CN N )   t a ke   i n t o   a c c o un t   t e m po ra l   i n f o r m a t i o o f   v i de o   a s   w e l l   a s   s pa t i a l   i n f o r m a t i o o f   f r a m e s   s i m ul t a n e o us l y .   T h e   t w o   D i m e n s i o m e t h o ds   de a l   w i t s pa t i a l   i n f o rm a t i o b a s e o t h e   f ra m e s   o n l y   a n i g n o r e   t h e   t e m po ra l   f e a t u r e s   o f   t h e   v i de o ;   o n e   f r a m e   i s   c l a s s i f i e i nde pe n de nt l y   a t   a   t i m e   [ 1,   11] .   T h a t ’s   m e a n   w i t c o m pa r e t o   3D   CN N ,   t h e   3D   CN N   t a ke s   i n t o   a c c o un t   t h e   dy na m i c   c ha n ge s   i n   f e a t u r e s   o v e r   t h e   t i m e   f o r   e a c f r a m e   w i t n e xt   f ra m e .   T hi s   t e m po ra l   i n f o r m a t i o i s   r e pr e s e n t e b y   a   s e que n c e   o f   f r a m e s   o ve r   t i m e   w h i c h   pr o v i de   t r a c ki ng  t o   t h e   h e a i n   a   v i de o   t ha t   c a n   us e   i c l a s s i f i c a t i o [12 ,   13].     In  3D   c o n v o l ut i o t h e   s p a t i a l   r e l a t i o n s h i ps   o f   o bj e c t s   e n c o de s   o bj e c t s   i t h e   3D   s pa c e .   T h e   3D   f i l t e r   m o ve   a n d   s l i de s   i a l l   3 - di r e c t i o ( h e i g ht ,   w i dt h,   c h a nn e l   o f   t h e   i m a ge a n d   t h e   o ut pu t   n u m b e r s   a r e   a rra n ge i n   a   3D   s pa c e   a l s o .   T h e   3D   c o n v o l ut i o n   o pe ra t i o n   r e p r e s e nt s   i n   F i gu r e   1 .           F i gu r e   1 .   T h e   3D   c o n v o l ut i o n   o pe ra t i o n   i c o n v o l ut i o n   l a y e r       T h e   l a c i v i de o   da t a s e t s   t ha t   c o n c e rn e w i t h   h e a m o v e m e nt   c l a s s i f i c a t i o l e a ds   t o   c r e a t e   a   n e w   da t a s e t   t o   i m p l e m e n t   w i t h   t h e   p r o po s e s y s t e m   c a l l e N o r m a l   A b n o r m a l   H e a M o ve m e n t   D a t a s e t   (N A H M )   vi de o   da t a s e t .   T h e   N A H M   da t a s e t   c o n t a i n s   v i de o s   o f   di ffe r e nt   s ub j e c t s   (vo l unt e e r s w i t h   d i f f e r e n t   c o n d i t i o n s   t o   gi v e   a l l   s t a t e s   o f   pub l i c a l l y   h e a d   m o v e m e n t   a n d   p r e v e n t   t h e   o v e r f i t t i ng  a n d   u n de r - f i t t i n g   p r o b l e m   t ha t   m a y   a ppe a r.   S o m e   r e s e a r c h e s   de t e c t e t h e   h e a d   po s e   b a s e o t h e   A p pe a ra n c e   T e m pl a t e   M o de l s   s uc a s   J .   F oy t i e t   a l .   [1 4],   V .   N .   B a l a s ub r a m a ni a n.   [ 15]    a n J .   S h e rra e t   a l .   [16 w h i c h   s a v e a   s e t   o f   e xe m pl a i m a ge s ,     t h e t h e   n e w   u n s e e i m a ge   i s   c o m pa r e d i r e c t l y   w i t t h e s e   e x e m pl a i m a ge s   a n d   t h e   h e a d   po s e   i s   de t e c t e d   w i t a   m o s t   s i m i l a e xe m pl a r.   T h i s   m e t h o i s   e a s y   i m p l e m e nt a t i o b ut   o t h e   o t h e s i de ,   i t   s uf f e r s   f r o m   t i m e - c o n s um i n g   a nd  t h i s   m e t h o de t e c t i ng  o nl y   di s c r e t e   po s e s .   O t h e r e s e a r c h e s   e m pl o y e t h e   m a c hi n e   l e a rni n g   by   de pe n di ng  o n   D e t e c t o r   a rr a y s   t o   de t e c t   t h e   h e a d   po s e   s u c h   a s   E .   O s u na   e t   a l .   [17] ,   M .   J o n e s   e t   a l .   [18]   w h i c h   t r a i n s   m u l t i pl e   f a c e   de t e c t o r s   o n   di v e r s e   po s e s   of  t h e   h e a d.   T h e   h e a d   po s e   of   a   n e w   un s e e n   i m a ge   c a n   b e   de f i n e b a s e o n   t h e   l a rge s t   s uppo rt   o f   t h e   de t e c t o r .   T h i s   m e t h o i s   m o r e   r o b us t   a ga i n s t   t h e   v a r i a t i o n s   i a ppe a ra nc e   b ut   i t ’s   po o r e f o t ra i ni n g   t w o   c l a s s i f i e r s   o a   s i m i l a po s e .     M .   S .   L .   K ha e t   a l .   [19]   p r e s e nt e G e o m e t r i c   M e t h o ds   t o   e s t i m a t e   t h e   h e a d   po s e   by   m e a s ur i ng    t h e   di s t a n c e s   be t w e e n   f a c i a l   f e a t u r e s   a n de v i a t i o n   f r o m   b i l a t e ra l   s y m m e t r y .   T h i s   m e t h o f a i l s   w i t h   t h e   pa rt s   o c c l ude s uc h   a s   w h e n   t h e   e y e   oc c l ude by   gl a s s e s   b e c a u s e   t h e   pe r f o r m a n c e   o f   t h i s   m e t h o de pe n ds   o l o c a l i z a t i o n   t h e   f a c i a l   f e a t u r e s   i a a c c ura t e   m a nn e r.     A .   K um a e t   a l .   [20]   e s t i m a t e   t h e   h e a d   po s e   by   us i n g   n e u r a l   n e t w o r ks   b a s e o m o di f i e G oo gl e   N e t   a r c hi t e c t u r e   t o   p r e di c t   f a c i a l   ke y   po i n t s   a n d   t h e n   j o i n t   t h e s e   ke y   po i n t s   t o   p r e di c t   t h e   h e a po s e .     T h e   a c c ura c y   of   t h i s   m e t h o de pe n ds   o n   t h e   ri g h t   f a c i a l   ke y   po i n t ’s   p r e di c t i o n   a n f a i l   w i t h   p a r t i a l   o r   t o t a l   o c c l ude d.   Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2502 - 4752   In do n e s i a J   E l e c   E ng  &   Co m S c i ,   V o l .   19 ,   N o .   1 J ul y   202 0   :     344   -   35 2   3 46   J .   G .   X .   Y .   S .   D e   e t   a l .   [21]   us e t w o   c o m b i n e n e t w o r ks   a   V G G   n e t w o r a n a   r e c u rr e n t   n e u r a l   n e t w o r t o   e s t i m a t e   t h e   E ul e r   a n gl e s   o f   t h e   h e a po s e   i n   a   v i de o .   T hi s   m e t h o p r o v i de s   a n   i m p r o v e po s e   pr e di c t i o by   l e v e r a gi n g   t h e   t i m e   di m e n s i o t ha t   t a ke s   i nt o   a c c o un t   a   s e que n c e   o f   f r a m e s   i po s e   pr e di c t i o n .   T h i s   m e t h o d   p r o v i de a   p r o m i s i ng   m e t h o f o a   v i de o   t o   e s t i m a t e   t h e   h e a d   po s e   di r e c t l y   a n d   c l a s s i fy   t h i s   po s e   i n di r e c t l y   b a s e o n   t h e   E ul e a ngl e s   a s   w e l l   a s   i t   s uf f e r s   f r o m   t i m e - c o n s um i ng.   In e s   S o p h i a   R i e ge r   [ 22]   i m pl e m e nt e a   r e s i d ua l   n e t w o rk  (R e s N e t a n d   L e N e t - t o   i m p r o ve     t h e   e s t i m a t i o n   o f   h e a po s e .   T hi s   m e t h o us e s pa t i a l   i n f o r m a t i o n   f o r   p r e di c t i o n   w i t h o ut   t a ki ng  t h e   t i m e   di m e n s i o n s .   T h e   a b n o rm a l   h e a d   m o v e m e n t   c a nn o t   b e   de t e c t e d i r e c t l y   b ut   i t   c o m put e s   f r o m   t h e   e s t i m a t e v a l ue s   of   h e a d   po s e .   T h e   p r o po s e s y s t e m   p r e s e n t s   a n   a r c hi t e c t u r e   o f   3D   CN N   w h i c h   d i r e c t l y   pr e di c t   t h e   a b n o rm a l   h e a d   m o v e m e n t   i a   v i de o .   I o t h e w o r ds ,   t h e   de c i s i o n   m a ki n g   o f   h e a d   m o v e m e n t   p r o duc e di r e c t l y   w i t h o ut   de pe n de n t   o a n g l e s   o a n y   po s t - pr o c e s s .   In  t hi s   p a pe r ,   t h e   D D D S   m a ke   p r e di c t i o n   b a s e o a b n o rm a l   h e a d   m o v e m e n t   po s e   c l a s s i f i c a t i o n   pr e di c t o r   t h a t   i s   p r e di c t e us i n H e a M o v e m e n t   S t a t us   D e e p   L e a rni n g   N e ura l   N e t w o r (H M S D L N N M o de l .   T h e   p r e v i o us   D D D S   i s   b a s e o n   t h e   c l o s e e y e   c l a s s i f i c a t i o n   pr e di c t o r   p r e s e nt e i n   a   p r e v i o us   pub l i s h e p a pe r   s uc t ha t   t h e   c l o s e e y e   i s   p r e di c t e b y   us i n g   t h e   E y e   S t a t us   D e e L e a rn i ng   N e u r a l   N e t w o r k   (E S D L N N )   M o de l .   T h e   c o r e   of   t ha t   w o r i s   g r e a t l y   de pe n di n g   o n   e xt ra c t e t h e   f a c e   t h e n   t h e   r e gi o n   o f   e y e s ,   t h e r e f o r e   i f   t h e   f a c e   n o t   e x t r a c t e d   f o r   a n y   r e a s o n ,   t h e   s y s t e m   f a i l e t o   p r e di c t   t h e   e y e ' s   s t a t us .   T h e   c o nt r i b ut i o n   o f   t h i s   pa pe i s   t o   de s i gn   a n d   i m pl e m e n t e a   c o m put e r   v i s i o n   s y s t e m   t o   de t e c t   a nd  c l a s s i fy   t h e   h e a d   m o v e m e n t s   i v i de o s   t a b n o rm a l   a n d   n o rm a l   c l a s s e s   di r e c t l y   by   c o n s i de r i ng  t h e   t e m po r a l   i n f o r m a t i o n   a s   w e l l   a s   t h e   s pa c i a l   i n f o r m a t i o n   s i m u l t a n e o us l y   i n   o rde r   t o   i m p l e m e n t e f or   d r o w s i n e s s   de t e c t i o n .   T h e   h e a m o v e m e n t   c l a s s i f i c a t i o i n   t h e   v i de o   i s   de c i de di r e c t l y   by   i m pl e m e nt i ng  3 - D i m e n s i o n a l   Co n v o l ut i o n a l   N e u r a l   N e t w o r ks   (3D   CN N w i t h   t h e   p r o po s e a r c h i t e c t u r e .   T h e   p r o po s e s y s t e m   pr e s e n t e c o n s i s t s   o f   t hr e e   m a i pa rt s :     t h e   pr e p r o c e s s i n s t a ge ,   t h e   f e a t u r e   e xt r a c t i o n   s t a ge   a c h i e v e by   e m pl oy i n 3D   CN N ,   a n f i n a l l y   de c i s i o n   m a k i n g   o f   c l a s s i f i c a t i o n .   T h e   o r ga ni z a t i o o f   t h i s   p a pe i l l us t r a t e s   a s   f o l l o w s .   S e c t i o 2   i l l us t ra t e s   3   D i m e n s i o Co n v o l ut i o N e ur a l   N e t w o r ks   (3D   CN N ).   S e c t i o n   i l l us t ra t e s   r e l a t e w o r ks   w i t h   t h e   p r o po s e s y s t e m .   S e c t i o n   p r e s e nt e t h e   p r o po s e s y s t e m ,   i t s   a r c hi t e c t u r e ,   i t s   m a i s t a ge s   a nd   t h e   i nn e s t e ps   o f   e a c s t a ge .   T h e   e xpe r i m e nt a l   r e s ul t s   pr e s e nt e i S e c t i o 5   a n d   f i n a l l y   t h e   c o n c l us i o n s   o b t a i n e f ro m   t h i s   w o r p r e s e n t   i S e c t i o 6 .       2.   R ES EA R C H   M ET H O D   In  t h i s   p a pe r,   a   p r o po s e h e a d   t ra c ki n g   m o de l   f o r   a b n o rm a l   h e a d   m o v e m e n t   de t e c t i n g   b a s e o a   s pa t i o t e m po ra l   f e a t u r e   us i n g   D e e N e ura l   N e t w o r D N N   i s   p r e s e n t e d .   T h i s   m o de l   de s i g n   w i t p r o po s e d   a r c hi t e c t u r e   o f   3D   CN N   a nd   t ra i n s   a n d   t e s t s   o c r e a t e d   v i de o   d a t a s e t   na m e d   N o rm a l   A b n o rm a l   H e a M o v e m e n t   D a t a s e t   (N A H M w h i c a c hi e v e   r e a s o n a b l e   a n e f f i c i e n t   a c c ura c y .   T h e   ge n e ra l   s t a ge s   a n d   t h e   m a i s t e ps   f o r   e a c h   s t a ge   o f   t h e   p r o po s e s y s t e m   a r e   i l l us t ra t e i n   a   b l oc di a g ra m   o f   F i gur e   2.   T h e   ge n e ra l   s t a ge s   a r e   c a t e go r i z e d   t o   t w o   m a i n   s t a ge s :   t h e   p r e - p r o c e s s i n g   s t a ge   w h i c r e s po n s i b l e   f o r   p r e pa ri n g   v i de o   da t a   a nd  e xt ra c t i n g   t h e   R e gi o n   o f   In t e r e s t   R O I;   w h i c h   i s   t h e   a r e a   a ro un t h e   f a c e ;   t o   pr e s e nt   i t   t o   t h e   s e c o n s t a ge .     T h e   s e c o n s t a ge   i s   a b n o rm a l   m o v e m e n t   de t e c t i ng  s t a ge   w hi c h   p r e s e n t s   i a   D e e N e u r a l   N e t w o r s y s t e m   fo r   s pa t i o t e m po ra l   f e a t u r e   e xt ra c t i o s t e a n d   de c i s i o m a ki ng  s t e p.   W h i c h   c a b e   i l l us t ra t e i F i gu r e   3.   In  t h e   p r e - p r o c e s s i n s t a ge ,   m a n y   f un c t i o n s   r u s uc h   a s   c o nv e r t   t h e   v i de o   t o   c o r r e s po n d i n f r a m e s ,   e xt ra c t   R O a r o u n d   f a c e   a r e a   i e a c f r a m e   o f   a   v i de o ,   c r e a t e   s a m pl e s   de pe n d   o t i m e   s e r i e s   t o   r e p r e s e n t   t h e   t e m po ra l   di m e n s i o t o   s uppo r t   h e a d   t ra c ki n g .   I a b n o r m a l   he a m o v e m e n t   de t e c t i n g   s t a ge   a   3   D i m e n s i o o D e e N e ur a l   N e t w o r m o de l   de s i g n   a n us e   t o   e xt ra c t   s a l i e nt   s pa t i o t e m po ra l   f e a t u r e s   f r o m   t h e   c o rr e s po n d i n s e que n c e   of   f r a m e s .   A t   l a s t   t h e s e   e xt r a c t e f e a t u r e s   a r e   us e t o   r e c o gn i z e   a b n o rm a l   h e a d   m o v e m e n t .   A s   s h o w i F i g u r e   3   a b o ve   t h e   num b e o f   f i l t e r s   (ke rna l s u s e i c o n v o l ut i o n   l a y e r s   a r e   32 ,   64,   1 28   a n d   128   r e s pe c t e v e l y .   T h e   i n c r e a s e d   i num b e o f   f i l t e r s   b a s e o t h e   c o n c e pt   t ha t   hi e ra r c h i c a l   f e a t u r e s   us e i n   CN N   p r o c e s s i n g   p i pe l i n e .   I l o w e r   l a y e r s   t h e   f e a t ur e s   a re   p r i m i t i v e   w h i l e   i u ppe l a y e r s   t h o s e   a r e   m a de   f r o m   c o m b i n a t i o n s   o f   l o w e r - l e v e l   fe a t u r e s   a n d   a r e   b e   hi g h - l e ve l   a b s t ra c t   f e a t u r e s .   Ce rt a i n   a t t ri b ut e s   o f   t h e   i n p ut   a r e   m e a s u r e f r o m   t h e   ke rn e l s   r e s po n s e s   i n   t h e   f i r s t   h i dde l a y e r   a n i n   t h e   s e c o n hi dde n   n e e ds   t o   h a v e   a n   e ve n   l a r ge n u m b e r   o f   ke rn e l s   t o   p r o pe rl y   m e a s ur e   t h e   n o w   r i c h e p r o j e c t i o n   o f   t h e   i nput   t hr o ug hi dde l a y e r   a nd  s o   o t o   a v o i de   a   s e ri o us   b o t t l e n e c f o r   uppe l a y e r s .   T o   b e   a b l e   t o   e n c o de   t h e   i n c r e a s i n g l y   r i c h e r   a n d   ri c h e r   r e p r e s e nt a t i o n s ,   t h e   num b e r   o f   f i l t e r s   i s   i n c r e m e n t e w i t h   t h e   m o v e s   up  t h e   r e p r e s e nt a t i o na l   h i e r a r c h y   due   t o   a v o i t h e   b o t t l e n e c e ff e c t .   T h e   s a m pl e   s i z e   t h a t   us e i f i r s t   c o n v o l ut i o l a y e r   i s   (10 0,   1 00,   8)  w hi c h   i s   po o l e t o   (50,   50 ,   8)  a f t e f i r s t   po o l i ng   l a y e r   w i t s p a t i o - t e m po r a l   e xt e nt   (2 ,   2,   1)   a n d   s pa t i o - t e m po r a l   s t r i d   ( 2,   2 ,   1)   t o   c a n t   r e duc t i o   t h e   t e m po ra l   f e a t u r e s .   T h e   o t h e po o l i n g   l a y e r s   us e d   s pa t i o - t e m po r a l   e x t e nt   (2,   2,   2)   a n d   s p a t i o - t e m po r a l   s t r i (2,   2,   2)   w h i c h   r e duc t   t h e   s pa t i o -   t e m po r a l   f e a t u r e s   t o ga t h e r s .     Evaluation Warning : The document was created with Spire.PDF for Python.
In do n e s i a J   E l e c   E ng  &   Co m S c i     IS S N :   2502 - 4752       D e t e c t i ng   abnor m a l   m o v e m e nt   o f   dr i v e r 's   he ad  bas e d   on   s pa t i al - t e m por al …  ( Noor   D .   A l - Sha k ar c hy )   347       F i gu r e   2 .   B l o c di a g r a m   o f   t h e   p r o po s e s y s t e m           F i gu r e   3.   P r o po s e 3D   CN N   a r c hi t e c t u r e   f o r   f e a t u r e   e xt ra c t i o n       2. 1 .   D atas e t   T h e   p r o po s e m o de l   b a s e o a   n e w   a r c hi t e c t u r e   o f   3D   CN N   w h i c i s   t ra i ni n g   a nd  t e s t i n g   o c r e a t e d   da t a   s e t   na m e d   N o rm a l   A b n o rm a l   H e a M o v e m e n t   D a t a s e t   ( N A H M ).   T h e   t o t a l   d a t a s e t   c o n s i s t s   o f   20   s ub j e c t s   of   b o t h   m a l e   a n d   f e m a l e   a c t s   t w o   di f f e r e n t   s c e n a ri o s   o f   n o r m a l   a nd   a b n o r m a l   h e a d   m o v e m e n t s .     T h e   s c e na r i o s   c o n t a i v i de o s   w i t h   b a r e f a c e ( n o   G l a s s e s a nd  G l a s s e s   a n d   t h e   v i de o s   i n   t h e s e   s c e n a ri o s   a r e   30   f ra m e s   pe s e c o n d.   T h e   t o t a l   da t a s e t   di v i de i n t o   t w o   s ub - da t a s e t s ;   t r a i n i n g   d a t a s e t   r e p r e s e nt e 85 %   f r o m   t h e   o r i g i n a l   da t a   s e t   a n t e s t i n da t a s e t   w i t h   1 5%  us e f o r   t e s t i ng  t h e   s y s t e m   on   u n s e e n   i m a ge s .   T h e   t ra i ni n d a t a s e t   a l s o   di v i de i n t o   a c t ua l   t ra i ni n g   d a t a s e t   r e p r e s e nt e 8 0%   o f   t h e   t ra i n i n g   d a t a s e t ,   a nd  v a l i d a t i o da t a s e t   r e p r e s e n t e d   20 %   of  t h e   t r a i n i ng  da t a s e t .   T o   p r e pa ri n d a t a s e t ,   e a c h   v i de o   c o n v e r t s   t o   s o m e   s a m pl e s   r e p r e s e n t e s e que n c e s   of   f r a m e s   w i t 25%   o v e r l a pp i n g .   T h e   o ve r l a ppi ng  us e t o   i n c r e a s e   t h e   s i z e   o f   da t a s e t   a nd   f e e di n t o   t h e   m o de l     t h e   m o v e m e n t   a t   e v e r y   m o m e n t .       2. 2   P r o p o s e d   s ys te m   s tage s   2. 2 . 1.      P re - p r o c e s s i n g   s tag e   T h e   f i r s t   s t a ge   i t h e   p r o po s e s y s t e m   n a m e p r e - p r o c e s s i n g;   a l l   p r e pa ri n g   w o r ks   a r e   p r e s e n t e o   t h e   i nput   v i de o   t o   b e   s ui t a b l e   f o r   i m p l e m e n t i n g   o p r o po s e 3D   CN N   a r c h i t e c t ur e .   T h e   c o r e   o   t h e   p r e p r o c e s s i n g   s t a ge   i s   t o   pe r f o r m   a   r e gul a r   v i de o   s e gm e nt a t i o b a s e o n   t i m e   s e ri e s   by   c o n v e r t i n g   e a c v i de o   t o   s o m e   s a m pl e s .   E a c s a m pl e   r e p r e s e n t e s e que n c e s   of   f r a m e s   w i t 25%o v e r l a p pi n g .   T h e   o v e r l a ppi ng  us e t o   f e e t o   t h e   m o de l   t h e   m o v e m e n t   a t   e v e r y   m o m e nt .   G a t h e t h e   f ra m e s   i a   s e que n c e   o f   s a m pl e s   t o   r e p r e s e n t   t h e   t i m e   s e ri e s   w h i c h   i s   t h e   t e m po r a l   i n f o r m a t i o n   o f   t h e   v i de o .   I n   o t h e w o r ds ,   t h e   p r e p r o c e s s i n s t a ge   c r e a t e s   t h e   5 - di m e n s i o na l   a rra y   f r o m   v i de o   a n d   a   c o rr e s po n di n l a b e l .   T hi s   5D   a rra y   i s   ( n u m b e r   o f   s a m pl e s ,   t i m e   s e ri e s   (s e que n c e s   l e n g t h ),   t h e   h e i g h t   o f   f r a m e s ,   t h e   w i dt o f   f r a m e s ,   c h a nn e l s   num b e o f   f r a m e s ).     T h e   s e que n c e   l e ngt i s   c h o s e n   b a s e o n   t h e   f a c t   t ha t   t h e   hu m a v i s ua l   s y s t e m   ha s   a   r e duc t i o n   t i m e   a b o ut   1 - s e c o n ds ,   w hi c h   m e a n s   a b o ut   30 - 6 f ra m e s   s i n c e   F P S   i s   n o rm a l l y   30.   S o   t ha t   4 f r a m e s   i s   l i ke l y   t o   be   r e a s o na b l e   a s   a i n i t i a l   i nt e r v a l .     F i g u r e   4   s h o w s   t h e   b l o c di a g ra m   o f   s e que n c e   ge n e ra t i o n   w i t o v e r l a pp i n g .   T h e   o t h e f un c t i o t ha t   i s   do n e   d u r i n g   t h e   p r e - p r o c e s s i n g   s t a ge   i s   R e gi o o f   In t e r e s t i n g   (R O I)  e xt ra c t i o by   us i n U ppe b o d y   H a a C a s c a de   e xt ra c t o r ;   w h i c h   i s   o n e   o f   o p e n   CV   f un c t i o n s .   T h i s   s t e i s   m o s t   i m po rt a nt   b e c a us e   t h e   v a ri a t i o n   i n   h e a s c a l e   a n d   pl a n   r o t a t i o n   c a b e   e l i m i n a t e d.   T h e   c a pt u r e f ra m e s   i n   e a c s a m pl e   i n p ut   t o   t h e   e x t r a c t o a nd  o ut pu t   s a m pl e s   c o n t a i ni n g   h e a ds .   Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2502 - 4752   In do n e s i a J   E l e c   E ng  &   Co m S c i ,   V o l .   19 ,   N o .   1 J ul y   202 0   :     344   -   35 2   348   D a t a   r e s i z i ng  (s c a l e a nd  d a t a   n o rm a l i z a t i o n   (da t a   m o de l l i n t o   D L N N a r e   a l s o   do n e   a s   a   pr e p r o c e s s i n s t a ge   f u n c t i o n s .   A   r e s i z i ng  t h e   d i m e n s i o na l i t y   of   c r o ppe i m a ge s   i t h e   s a m p l e s   i s   m o r e   i m po rt a nt   s t e t o   p r o v i de   t h e   ge n e r a l i t y   t o   s a m pl e s   a nd  t o   b e   s ui t a b l e   fo r   t h e   p r e d i c t i o de e l e a rni n m o de l .   T h e   i m a ge   s c a l i ng  i n t e r p r e t s   a s   a i m a ge   r e s i z i n g   t ha t   i n v o l v e   r e c o n s t r uc t i o i m a ge   f r o m   o n e   p i xe l   g r i d   t o   a n o t h e r;   w hi c de t e c t e i t h e   p r o po s e s y s t e m   t o   100   ˟   10 0,   by   i n c r e a s e   o r   de c r e a s e   t h e   t o t a l   num b e o f   pi xe l s   i n   i m a ge s   o f   s a m pl e s .   N o r m a l i z e   t h e   p i xe l s   v a l ue   i s   do n e   a c r o s s   a l l   c ha nn e l s   by   di v i di n a l l   pi x e l s   v a l ue s   b y   t h e   l a r ge s t   p i xe l   v a l ue ;   t h a t   i s   2 55,   r e ga rdl e s s   o f   t h e   a c t ua l   ra n ge   o f   pi xe l   v a l ue s   p r e s e n t   i t h e   i m a ge .           F i gu r e   4 .   B l o c di a g r a m   o f   s e que n c e   ge n e r a t i o w i t h   o v e r l a p pi n g       2. 2 .   Th e   v i d e o   c l as s i fi c at i o n   s tage   T h e   n e xt   s t a ge   i m pl e m e nt s   t h e   f e a t ur e   e xt ra c t i o a n d   v i de o   c l a s s i f i c a t i o f o a b n o rm a l   h e a d   m o ve m e n t   by   us i n g   t h e   s a m e   3D   CN N   m o de l .   T h e   m a i o bj e c t i v e   of   t h e   p r o po s e m o de l   i s   t o   p r e di c t     t h e   d r o w s i n e s s   s t a t us   o f   dri v e r s   b a s e o de t e c t i n g   t h e   d ri v e r   a b n o rm a l   h e a d   m o v e m e n t s   a n d   t ra c ki ng  t h e s e   m o ve m e n t s   o v e r   t h e   t i m e   b y   t h e   i de a   o f   de e l e a rn i ng  i N e ura l   N e t w o r k.   T hi s   m o de l   i s   a l s o   b a s e o s o l v i n g   t h e   p r o b l e m   c o m pl e t e l y   (de t e c t i n g   a n d   t r a c ki ng   t h e   f e a t ur e s f r o m   t h e   i nput   u nt i l   p r e di c t i n g   t h e   d r o w s i n e s s   s t a t e   o f   t h e   d ri v e r   b a s e o a b n o r m a l   h e a d   m o v e m e n t s   f e a t u re .     T h i s   m o de l   c o n s i s t s   o f   t w o   m a i n   t a s ks   (f e a t u r e   e xt r a c t i o n   t a s k,   a nd  c l a s s i f i c a t i o n   t a s k)   e a c t a s k   c o n s i s t   o f   di f fe r e nt   l a y e r s   t ha t   do n e   di f f e r e n t   f u n c t i o n s   a c c o r di n g   t o   s pe c i f i c   ob j e c t i ve   t o   e a c l a y e r .   E a c l a y e r   us e s   s a ve s   w e i gh t s   t o   pr o duc e   t h e   o ut put   o f   t hi s   l a y e r   t o   b e   t h e   i nput   t o   t h e   n e xt   l a y e r   a n s o   o n   u nt i l   t h e   f i n a l   f ul l y   c o nn e c t e l a y e r   m a ke   t h e   de c i s i o n   a n d   p r o duc e t he   o ut put   o f   t h e   n e t w o r k.   T h e s e   l a y e r s   a r e   3D   c o n vo l ut i o l a y e r s ,   n o n - l i n e a r   l a y e r s ,   po o l i n g   l a y e r s ,   d r o po ut   l a y e r s ,   b a t c n o r m a l i z a t i o l a y e r s ,   a n d   f ul l y   c o n n e c t e l a y e r s .     T h e   f i r s t   k i n d   o f   l a y e r s   i t h e   m o de l   i s   3D   c o n v o l ut i o l a y e r   w h i c us e   3D   ke rn e l   (f i l t e r )   o s e que n c e s   of   f r a m e s   t o   e x t r a c t   f e a t u r e   a n d   p r o duc e f e a t u r e   m a ps .   T h e s e   f i l t e r s   r e p r e s e nt   t h e   de pt o f   t h e   l a y e r   a n d   us e s   (32,   64 ,   128 ,   a n d   128 r e s pe c t i v e l y   fo r   t h e   c o n v o l ut i o l a y e r s .   T h e s e   f i l t e r s   a r e   a ppl i e i s pa t i a l   a nd  t e m po ra l   di m e n s i o f o r   e a c h   i m a ge   i n   i n pu t   s a m pl e   a nd  t h e   s t ri de   o t h e s e   ke rn e l s   u s e a r e   (3 ,   3 ,   a nd  3) . T h e   s a v e w e i ght s   r e p r e s e nt e d   t h e   ke rn e l   c o e ff i c i e n t   w h i c c a b e   de c i de d   du r i ng   t h e   t ra i n i n g   p r o c e s s .   T h e   3D   c o n vo l ut i o n   l a y e r   us e   ke rn e l   s t ri de   o f   3 - di m e n s i o n s .   N o n - l i n e a l a y e r s   a r e   r e p r e s e n t e by   us i n ‘R e c t i f i e d   L i n e a U n i t s   (R e L U s f un c t i o n’  f o r   a l l   c o n v o l ut i o l a y e r s   a n d   ‘s i g m o i f un c t i o n ’  f o r   f ul l y   c o n n e c t e l a y e r s .   T h e s e   f un c t i o n s   e m pl o y e t o   de t e r m i n e   t h e   di s t i n c t   f e a t u r e s   f o r   e a c h   hi dde n   l a y e r .     T h e   M a x - po o l i n g   a l s o   c a l l e d   s ub s a m pl i n g   l a y e r   w h i c h   r e duc e s   t h e   r e s o l ut i o n   o f   t h e   f e a t u r e s   t o   p r o v i de   r o b us t   a ga i n s t   n o i s e   a nd   b l u rr i ng.   T h e   r e duc t i o a c hi e v e s   o n   a   s pa t i a l   a nd   t e m po r a l   di m e n s i o by   c o m b i n i n g   s o m e   n e u r o n   c l us t e r s   a t   o n e   l a y e r   i nt o   a   s i n gl e   n e u r o n   i n   t h e   n e xt   l a y e r   by   a ppl y i n g   a   m a x - po o l i n f u n c t i o t o   pr o duc e   t h e   m a x i m um   v a l u e   o f   t h e s e   c l us t e r i ng  n e u r o n s .   T h e   po o l i n g   l a y e r   o f   3D   CN N   m o de l   de a l s   w i t c l us t e r s   o f   n e u r o n s   w h i c a r e   t hr e e   di m e n s i o n s   a n d   n o n - o v e rl a pp i n g   s p a c e s   (t ha t ’s   m e a t hi s   l a y e r   po o l e i s pa t i a l   a nd  t e m po ra l   di m e n s i o n s ) .     F ul l y   c o nn e c t e l a y e r s   r e p r e s e n t   t h e   f i na l   l a y e r s   w h i c a r e   f l a t t e n i n g   t h e   o ut put   o f   pr e v i o us   l a y e r s   a n d   a ppl y   t h e   a c t i v a t i o n   f un c t i o n   t o   c l a s s i fy   t h e   s e que n c e   of   f r a m e s .     T h e   l a s t   f ul l y   c o n n e c t e l a y e r   c a n   b e   c a l l e o ut put   l a y e r   o r   de c i s i o n - m a ki ng  l a y e r   w h i c h   i s   i m p l e m e nt i ng  a   s i g m o i f u n c t i o t o   p r o duc e   t h e   f i n a l   c l a s s   o t h e   s e que n c e s .   T o   p r e v e n t   t h e   o v e r f i t t i n g   a n d   p r o v i de   t h e   ge n e r a l i z a t i o o n   u n s e e da t a   t h e   p r o po s e s y s t e m   pr o v i de   t h e   d r o po ut   l a y e r s .   T h e   d r o po ut   l a y e r   s e l e c t s   a   po r t i o n   o f   n e ur o n s   ra n do m l y ;   de t e r m i n e d   a s   25 %;   a nd  s e t   t h e i w e i ght s   t o   z e r o   du r i ng   t h e   t ra i ni n g   p r o c e s s .   T h e   d r o po ut   l a y e r   i s   a   s i m p l e   w a y   t o   e ffe c t i v e l y   c o n t r o l   t h e   m o de l   s e n s i t i v i t y   t o   t h e   n o i s e   du ri n g   t h e   t ra i ni n g   p r o c e s s   w h i l e   m a i n t a i ni n g   t h e   r e qui r e d   c o m pl e xi t y   of   t h e   pr o po s e m o de l   a r c h i t e c t u r e .   Evaluation Warning : The document was created with Spire.PDF for Python.
In do n e s i a J   E l e c   E ng  &   Co m S c i     IS S N :   2502 - 4752       D e t e c t i ng   abnor m a l   m o v e m e nt   o f   dr i v e r 's   he ad  bas e d   on   s pa t i al - t e m por al …  ( Noor   D .   A l - Sha k ar c hy )   349   3.   R ES U LTS   A N D   A N A L Y S I S   T h e   m e t ri c s   us e i t h e   p r o po s e s y s t e m   a r e   t h e   a c c ura c y   f un c t i o n ,   l o s s   a n d   m e a s qua r e   e rr o f un c t i o n s   t ha t   us e   i e a c s t e p   o f   t r a i n i ng   a nd   v a l i d a t i o p ro c e s s e s .   T h e   p r o po s e s y s t e m   s uc a s   a l l   N e ura l   N e t w o r s y s t e m s   i s   i m pl e m e n t i n g   i t w o   s t a ge s :   l e a rni n g   s t a ge   a nd  p r e di c t i o s t a ge .   I t h e   f i r s t   s t a ge ,     t h e   p r o po s e m o de l   i s   t ra i n e o n   a l l   a v a i l a b l e   t ra i ni n da t a s e t   t o   l e a rn   o n   t h e   s a m pl e s   r e p r e s e nt e t h e   de s i r e d   l a b e l s   by   pr o v i de t h e s e   t ra i ni n g   s a m pl e s   w i t c o r r e s po n d i ng  l a b e l s   t o   t h e   m o de l .   T h e   w e i g h t s   c o rr e s po n di n g   t o   e a c h   l a y e r   a dj us t e t hr o ug h   t ra i ni n p r o c e s s   a nd  t hi s   upd a t i n o f   w e i ght s   i s   c o n t i n uo us   u n t i l   t h e   n e t w o r i s   c o n v e r ge n c e   t o   t h e   m i ni m u m   e rr o r ;   by   us i n g   m e a s qu a r e   e rr o r.   A f t e t h e   n e t w o r s t a b l e ,   t h e   v a l i d a t i o n   p r o c e s s   i m p l e m e nt s   w h i c h   c a b e   c o n s i de r   a   c o m pa t i b l e   pa r t   o f   t he   l e a rni n g   s t a ge o n   a v a i l a b l e   v a l i d a t i o n   d a t a s e t   w i t c o rr e s po n di ng   l a b e l s   a n d   us e d   t h e   s a v e w e i ght s   f r o m   t ra i ni n g   p r o c e s s   t o   pr o v e   t h e   pe r f o r m a n c e   a nd  a c c ur a c y   of   t h e   t ra i n e m o de l   a n d   t o   de c i de   i f   t h e   m o de l   i s   p r e pa r e t o   p r e d i c t   t h e   c l a s s   o f   n e w   da t a .   T h e   s e c o n s t a ge   r e p r e s e n t s   t h e   p r e di c t i o o f   t h e   t ra i n e d   p r o po s e m o de l   t o   t h e   o ut pu t   o f   un s e e (u nt r a i n e s a m pl e s i n pu t s   w h i c i s   t h e   a pp l i c a t i o o f   t h e   s y s t e m .   T h e   i m p l e m e n t a t i o s t a ge s   o f   t h e   p r o po s e s y s t e m   o ve r   t o t a l   da t a s e t   i l l us t r a t e   i F i g u r e   5 .   T h e   s u m m a r y   of   e a c h   l a y e r   o f   t h e   p r o po s e s y s t e m   w i t i t s   c o r r e s po n d i n g   p a r a m e t e r s   a nd   o ut put   s h a pe   i s   i l l us t ra t e d   i T a b l e   1 .   T h e   l e a rni n g   b e ha v i o f o r   t h e   p r o po s e m o de l   o s pe c i f i c   t ra i n i n g   a n d   v a l i d a t i o n   da t a s e t   i n   e a c e po c h   i s   s h o w n   i n   pl o t t i ng   f i gu r e s   r e p r e s e n t   t h e   r e s ul t s   o f   m e t ri c s   us e i e a c e po c h   a s   s h o w n   i n   F i gu r e   6 .   G ra di e n t   de s c e n t   i s   us e i n   t r a i n i ng  t h e   n e u r a l   n e t w o r ks   a n d   t h e   w e i gh t s   a r e   u pda t i n g   b a s e o n   e rr o r   e s t i m a t i o o f   a   s ub s e t   of   t h e   t r a i n i ng  d a t a s e t .   T h e   num b e o e xa m p l e s   i t hi s   s ub s e t   o f   t h e   t ra i ni n g   da t a s e t   i s   kn o w n   a   b a t c s i z e .   B a t c s i z e   i s   c o n s i de r e a n   i m po r t a n t   h y pe r pa r a m e t e r   t ha t   i n f l ue n c e s   t h e   dy n a m i c s   of    t h e   l e a rni n g   a l go r i t hm ,   s o   i t ' s   c o n t r o l l i ng  o n   t h e   qui c kl y   t h a t   l e a rn i ng  t h e   a l go r i t hm .   T h e   e xpe r i m e nt a l   r e s ul t s   of   t h e   b a t c h   s i z e   a n l e a rn i ng  ra t e   h y pe r pa ra m e t e r s     t u ni n i t h e   m o de l   a r e   r e p r e s e n t e b y   T a b l e   2   f o r   b a t c h   s i z e   c h o o s e   a nd  T a b l e   3   f o r   l e a rni n g   r a t e   c h o o s e .           F i gu r e   5 .   T h e   p r o po s e s y s t e m   i m pl e m e nt a t i o s t a ge s           F i gu r e   6 .   A c c ura c y   a n d   l o s s   f un c t i o n s   o f   m o de l   Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2502 - 4752   In do n e s i a J   E l e c   E ng  &   Co m S c i ,   V o l .   19 ,   N o .   1 J ul y   202 0   :     344   -   35 2   350   T a b l e   1 .   P r o po s e s y s t e m   s um m a r y   Bl o c k   n o .   L a y e T y p e   O u t p u t   S h a p e   P a ra m s   n o .   1   Co n v 1   ( Co n v 3 D - s i z e   (3 , 3 , 3 ))   (N o n e ,   8 ,   1 0 0 ,   1 0 0 , 3 2 )   2624   P o o l 1   ( M a x P o o l i n g 3 D )   (N o n e ,   8 ,   5 0 ,   5 0 , 3 2 )   0     (N o n e ,   8 ,   5 0 ,   5 0 , 3 2 )   0   2   Co n v 2   ( Co n v 3 D - s i z e   (3 , 3 , 3 ))   (N o n e ,   8 ,   5 0 ,   5 0 , 6 4 )   5560   Ba t c h _ n o r m a l i z a t i o n _ 2   (N o n e ,   8 ,   5 0 ,   5 0 , 6 4 )   256   P o o l 2   ( M a x P o o l i n g 3 D )   (N o n e ,   4 ,   2 5 ,   2 5 ,   6 4 )   0   D ro p o u t _ 2   (D r o p o u t )   (N o n e ,   4 ,   2 5 ,   2 5 ,   6 4 )   0   3   Co n v 3   ( Co n v 3 D - s i z e   (3 , 3 , 3 ))   (N o n e ,   4 ,   2 5 ,   2 5 ,   1 2 8 )   2 2 1 3 1 2   Ba t c h _ n o r m a l i z a t i o n _ 3   (N o n e ,   4 ,   2 5 ,   2 5 ,   1 2 8 )   512   P o o l 3   ( M a x P o o l i n g 3 D )   (N o n e ,   2 ,   1 2 ,   1 2 ,   1 2 8 )   0   D ro p o u t _ 3   (D r o p o u t )   (N o n e ,   2 ,   1 2 ,   1 2 ,   1 2 8 )   0   4   Co n v 4   ( Co n v 3 D - s i z e   (3 , 3 , 3 ))   (N o n e ,   2 ,   1 2 ,   1 2 ,   1 2 8 )   4 4 2 4 9 6   Ba t c h _ n o r m a l i z a t i o n _ 3   (N o n e ,   2 ,   1 2 ,   1 2 ,   1 2 8 )   512   P o o l 4   ( M a x P o o l i n g 3 D )   (N o n e ,   1 ,   6 ,   6 ,   1 2 8 )   0   D ro p o u t _ 4   (D r o p o u t )   (N o n e ,   1 ,   6 ,   6 ,   1 2 8 )   0   5   F l a t t e n _ 1   (F l a t t e n )   (N o n e ,   4 6 0 8 )   0   D e n s e _ 1   (D e n s e )   (N o n e ,   1 0 0 0 )   4 6 0 9 0 0 0   Ba t c h _ n o r m a l i z a t i o n _ 4   (N o n e ,   1000)   4000   D ro p o u t _ 5   (D r o p o u t )   (N o n e ,   1 0 0 0 )   0   6   D e n s e _ 2   (D e n s e )   (N o n e ,   5 0 )   5 0 0 5 0   Ba t c h _ n o r m a l i z a t i o n _ 5   (N o n e ,   5 0 )   200   D ro p o u t _ 6   (D r o p o u t )   (N o n e ,   5 0 )   0   7   D e n s e _ 3   (D e n s e )   (N o n e ,   1 )   51   T o t a l   P a ra m s :   5 , 3 8 6 , 3 7 3   T ra i n a b l e   p a ra m s :   5 , 3 8 3 , 6 3 3   N o n - t ra i n a b l e   p a t a m s :   2 , 7 4 0       T a b l e   2 .   B a t c s i z e   t u ni n o f   H M S D L N N   Ba t c h   S i z e   M o d e   L o s s   F u n c .   M S E   A c c u ra c y   5   T ra i n i n g   0 . 5 0 9 5   0 . 1 7 3 4   7 2 . 5 4   T e s t i n g     0 . 5 5 0 3   0 . 1 7 6 0   0 . 7 3 2 9   10   T ra i n i n g   0 . 4 8 0 2   0 . 1 6 2 9   7 4 . 9 3   T e s t i n g   0 . 6 9 5 0   0 . 2 0 5 6   7 5 . 0 4   25   T ra i n i n g   0 . 4 6 6 1   0 . 1 5 9 2   7 5 . 3 9   T e s t i n g   0 . 5 9 6 8   0 . 1 8 8 7   7 4 . 7 7   32   T ra i n i n g   0 . 4 7 2 7   0 . 1 6 1 5   7 4 . 7 3   T e s t i n g   0 . 5 1 8 8   0 . 1 6 8 1   7 5 . 8 0       T a b l e   3 .   L e a rn i ng  ra t e   t u ni n g   o f   E S D L N N   m o de l   L e a r n i n g   Ra t e   M o d e   L o s s   F u n c .   M S E   A c c u ra c y   0 . 0 1   T ra i n i n g   0 . 3 5 2 6   0 . 1 1 5 7   8 3 . 0 6   T e s t i n g     0 . 8 3 0 0   0 . 2 7 6 6   0 . 6 0 2 7   0 . 0 0 1   T ra i n i n g   0 . 3 9 9 1   0 . 1 3 2 7   0 . 8 0 6 0   T e s t i n g   0 . 5 6 0 6   0 . 2 0 2 3   0 . 6 3 5 1       4.   EV A LU A TI O N   M O D EL   In   t h i s   s t a ge ,   t h e   p r o po s e s y s t e m   i s   e v a l ua t e b a s e o n   t h e   t e s t i n g   da t a s e t .   T h e   pe r f o r m a n c e   m e t ri c s   s uc h   a s   A c c ur a c y ,   Co n v ut i o n   M a t ri x ,   R e c a l l ,   F 1 - M e a s u r e ,   S pe c i f i c i t y ,   a nd  P r e c i s i o n   a r e   us e t o   e v a l ua t e     t h e   p r o po s e m o de l .   T h e   c o n c e pt   o f   Cr o s s   V a l i d a t i o n   CV   i s   e m pl o y e t o   be c o m e   e v a l ua t i o n   t ha t   i s   m o r e   r e l i a b l e .   T h i s   t e c hni que   e m pl o y i n t h e   s m a r t   r us e   by   pe r f o r m i n g   K   r o un ds   o f   t ra i ni n g - v a l i da t i o n - t e s t i ng  o n ,   di f fe r e nt ,   n o n - o ve r l a ppi ng,   e qua l l y - pr o po r t i o n e T r a i n i ng  ( T r   =   80%) ,   V a l i d a t i o (V a   =   1 0%) ,   a n d   T e s t i n g     (T e   =   10 %)  s e t s .     T h e   e v a l ua t i o n   r e s ul t s   o f   t h e   H M S D L N N   m o d e l   a r e   p r e s e nt e t hr o ug h   t h e   T a b l e   4   f o r   c o n f us i o n   m a t r i a n T ab l e   5   p r e s e nt s   t h e   e v a l ua t i o n   o f   t h e   m o de l   i n   t he   t e r m   o f   P e r f o r m a n c e   M e t ri c s .   T h e   10 - F o l CV   i m p l e m e nt e a nd  t h e   e xpe r i m e n t a l   r e s ul t s   c a b e   r e p r e s e n t e t hr o ug h   t h e   T a b l e   6 .   A n f i na l l y ,   a   c o m pa ri s o n   of   t h e   p r o po s e s y s t e m   w i t h   s t a t e - of - t h e - a r t   m e t h o ds   p r e s e nt e i n   T a b l e   7   b e l ow .   T h e   b o l n um b e r s   r e p r e s e nt   t h e   b e s t   a c c ura c y .               Evaluation Warning : The document was created with Spire.PDF for Python.
In do n e s i a J   E l e c   E ng  &   Co m S c i     IS S N :   2502 - 4752       D e t e c t i ng   abnor m a l   m o v e m e nt   o f   dr i v e r 's   he ad  bas e d   on   s pa t i al - t e m por al …  ( Noor   D .   A l - Sha k ar c hy )   351   T a b l e   4 .   T h e   c o n f us i o n   m a t r i x   CM   N = 4 1 0 3   P re d i c t i v e   m o d e l   A c t u a l   Re c o m m e n d e d   Y e s   Y e s   No   No   639   1715       T a b l e   5 .   T h e   e v a l ua t i o m e a s u r e s   v a l us   M e a s u r e     V a l u e     A c c u ra c y     0 . 8 4 0 6 0 4 4 3 5 7 7 8 6 9 8 5   S e n s i t i v i t y   (T P   Ra t e )   0 . 9 9 1 4 2 3 6 7 0 6 6 8 9 5 3 6   S p e c i f i c i t y   (F P   Ra t e )   0 . 2 7 1 4 5 2 8 4 6 2 1 9 2 0 1 3 5   P re c i s i o n   0 . 7 3 0 7 2 0 6 0 6 8 2 6 8 0 1 5   Re c a l l   0 . 9 9 1 4 2 3 6 7 0 6 6 8 9 5 3 6   F1 - S c o r e   0. 8 4 1 3 3 9 1 5 5 7 4 9 6 3 6       T a b l e   6 .   10 - f o l CV   f o r   H M S D L N N   m o de l   N o   o f   fo l d   A c c u ra c y   o f   e a c h   fo l d   M o d e l   a c c u ra c y   1   8 2 . 2 1 %   85. 3 7 % (+ / - 1 . 5 4 % )   2   8 4 . 8 9 %   3   8 3 . 7 8 %   4   8 5 . 8 3 %   5   8 7 . 1 2 %   6   8 5 . 5 1 %   7   8 2 . 0 6 %   8   8 2 . 9 2 %   9   8 4 . 3 2 %   10   8 4 . 4 3 %       T a b l e   7 .   D r o w s i n e s s   de t e c t i o n   a c c ura c i e s   (%)  f o r   di f f e r e n t   s c e n a ri o s   o f   t h e   N T H U - D D D   da t a b a s e   S c e n a ri o s   H u m a n   [2 3 ]   3D - D CN N   [2 4 ]   3 - n e t s   DDD  [2 3 ]   M L P   [2 5 ]   MT - D M F   [2 6 ]   S e q   M T - D M F   [2 6 ]   P ro p o s e d   s y s t e m   Ba re f a c e     8 2 . 0 4   7 5 . 1 0   6 9 . 8 3   8 7 . 1 2   7 6 . 0 4   8 4 . 4 6   8 8 . 1 3   G l a s s e s     7 8 . 8 3   7 2 . 3 0   7 5 . 9 3   8 4 . 8 5   7 4 . 1 7   7 7 . 3 5   8 3 . 4 3   S u n g l a s s e s     8 0 . 8 9   7 0 . 9 0   6 9 . 8 6   7 5 . 1 1   7 2 . 3 9   8 6 . 4 3   8 5 . 7 7   N i g h t - b a re f a c e     8 2 . 5 4   6 8 . 4 0   7 4 . 9 3   8 1 . 4 0   7 7 . 1 6   8 2 . 4 8   8 4 . 5 8   N i g h t - g l a s s e s   7 9 . 8 7     6 8 . 3 0   7 4 . 7 7   7 6 . 1 5   7 8 . 5 6   8 7 . 1 8   8 4 . 2 8   A v e ra g e     8 0 . 8 3   7 1 . 2 0   7 3 . 0 6   8 0 . 9 3   7 5 . 7 3   8 3 . 4 4   8 5 . 2 3 8       5.   C O N C LU S I O N   T h e   p r o po s e s y s t e m   p r e s e n t e i t hi s   pa pe pe r f o r m s   d row s i n e s s   v i de o   c l a s s i f i c a t i o b a s e o de t e r m i n i ng  e f f i c i e n t   f e a t u r e   m a ps .   T h e   e m p l oy m e n t   o f   de e l e a rn i ng  us e d   t o   e xt ra c t   h i g h - l e v e l   i m a ge   f e a t u r e s   f r o m   t h e   i n pu t   s a m pl e   (s e que n c e   o f   f r a m e s by   i m p l e m e nt i ng   a   s e ri e s   o f   n o n - l i n e a o pe ra t i o n,   t h e n   c l a s s i fy i n t h e s e   i n pu t   s a m p l e   (s e que n c e   o f   f r a m e s de pe ndi n g   o t h e   e xt r a c t e d   f e a t ur e .   S p a t i a l - t e m po r a l   i n f o r m a t i o of  t h e   v i de o   i s   e xp l o i t e us i n g   a   3D   CN N ,   t hi s   t e m po r a l   i n f o r m a t i o n   r e p r e s e nt s   t h e   t i m e   s t a m p   a nd   c a b e   c o n s i de r e t o   m a ke   a e f f i c i e n t   de c i s i o o f   d r o w s i n e s s   v i de o   c l a s s i f i c a t i o a s   w e l l   a s   gi v e   t h e   p r o po s e s y s t e m   b e t t e r   a c c ura c y   a n d   l o s s   f un c t i o n s   t ha s y s t e m   b a s e o n   2D   CN N   m o de l .   T h e   c o m pa ri s o n   a n o ut pe r f o r m a n c e   of   3D   CN N   s y s t e m   w i t h   2D   CN N   s y s t e m   c a b e   pr e s e nt   w h i c p r o v e   t h e   a c c ura c y   e n ha n c e m e nt   w i t 3D   CN N   a s   s h o w n   i t h e   e xpe r i m e n t a l   r e s ul t s .       R EF ER EN C ES   [ 1]   I .   T .   T e i v a s ,   V i de o   e v e nt   c l a s s i f i c a t i o u s i ng   3D   c o nvo l ut i o na l   n e ur a l   ne t w o r ks ,   T he s i s ,   T a m p e r e   U n i v e r s i t y   o f   T e c hno l o gy ,   2017.   [ 2]   A .   A .   A bdul ka dh e m   a nd  T .   A .   A l - a s s a d i ,   A i m po r t a n t   l a ndm a r ks   c o ns t r uc t i o f o r   a   G I S - M a ba s e o i nd e x i ng   o f   do l l y   i m a g e s ,   I n done s i an   J our nal   of   E l e c t r i c al   E ng i ne e r i ng   a nd   C o m put e r   Sc i e nc e v o l .   15 ,   no .   1 ,   pp .   45 1 45 9,   J u l y   2019 .   [ 3]   G .   C a i ,   K .   L e e ,   a n I .   L e e ,   A   f r a m e w o r f o r   m i ni ng   s e m a nt i c - l e v e l   t o ur i s t   m o v e m e nt   be h a v i o ur s   f r o m   g e o - t a gg e pho t o s ,   A us t r al a s i an   J o i n t   C o nf e r e nc e   o A r t i f i c i a l   I n t e l l i ge nc e ,   v o l .   9 992 pp.   5 19 5 24 ,   N o v e m be r   201 6.   Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2502 - 4752   In do n e s i a J   E l e c   E ng  &   Co m S c i ,   V o l .   19 ,   N o .   1 J ul y   202 0   :     344   -   35 2   352   [ 4]   H .   W a ng   e t   a l . ,   A   r o bus t   a nd   e f f i c i e n t   v i de o   r e p r e s e n t a t i o n   f o r   a c t i o n   r e c o g ni t i o n ,”   I nt e r n at i on al   J our na l   of   C om put e r   V i s i on  M a nus c r i p t ,   20 16.   [ 5]   B .   R e ddy ,   Y .   H .   K i m ,   S .   Y un ,   C .   S e o ,   a n d   J .   J a ng ,   R e a l - T i m e   D r i v e r   D r o w s i ne s s   D e t e c t i o f o r   E m be d de d   S y s t e m   U s i ng   M o de l   C o m pr e s s i o o f   D e e N e u r a l   N e t w o r ks ,   201 I E E E   C onf e r e nc e   on   C om pu t e r   V i s i on   and   P at t e r n   R e c ogni t i on  W or k s hop s   ( C V P R W ) H o n o l ul u ,   H I ,   p p.   43 8 - 445,   2 01 7.   [ 6]   H .   M e ng ,   N .   B i a n c hi - B e r t ho uz e ,   Y .   D e ng ,   J .   C he ng ,   a n J .   P .   C o s m a s ,   T i m e - D e l a y   N e ur a l   N e t w o r f o r   C o nt i nuo us   E m o t i o na l   D i m e ns i o P r e d i c t i o F r o m   F a c i a l   E x pr e s s i o S e qu e nc e s ,   i I E E E   T r ans ac t i o ns   on   C y be r ne t i c s ,   v o l .   46 ,   no .   4 ,   pp.   9 16 - 929 ,   A pr i l   20 16.   [ 7]   M .   P a t a c c hi o l a   a nd   A .   C a ng e l o s i ,   H e a po s e   e s t i m a t i o i n   t he   w i l d   u s i ng   C o nv o l ut i o na l   N e ur a l   N e t w o r ks   a nd   a da p t i v e   g r a d i e n t   m e t ho ds ,   P at t e r n   R e c og ni t i on ,   v o l .   71 ,   pp.   1 32 143,   N o v e m be r   2017 .   [ 8]   I .   H a di   a n A .   M a hd i ,   G e ne r a t i ng   i m a g e s   o f   pa r t i a l   f a c e   u s i ng   l a ndm a r k   ba s e d   k - ne a r e s t   n e i g hbo r ,   I n done s i an   J our nal   o f   E l e c t r i c a l   E ngi ne e r i ng   and   C om p ut e r   Sc i e nc e v o l .   17 ,   n o .   1,   p p.   42 0 42 8,   J a nua r y   2020.   [ 9]   E .   A l - S ha m e r y   a nd   A .   A .   H .   A l - S ha m e r y ,   A   N e w   D e e p   N e u r a l   N e t w o r R e g r e s s i o P r e di c t o r   B a s e d   S t o c M a r ke t ,   J our nal   E n gi ne e r i n g   and   A pp l i e d   Sc i e nc e s ,   v o l .   1 3,   no .   5 ,   p p.   47 94 4801 ,   201 8.   [ 10]   D .   N g uy e n,   K .   N g uy e n,   S .   S r i dh a r a n ,   A .   G ha s e m i ,   D .   D e a n ,   a nd   C .   F o o ke s ,   D e e p   s p a t i o - T e m po r a l   f e a t ur e s   f o r   m ul t i m o da l   e m o t i o r e c o g ni t i o n,   2 017   I E E E   W i nt e r   C on f e r e nc e   on  A ppl i c a t i ons   o f   C om pu t e r   V i s i on   ( W A C V ) ,   S a nt R o s a ,   C A ,   pp .   1 215 - 122 3,   20 17 .   [ 11]   Q .   L a n ,   Z .   W a ng ,   M .   W e n,   C .   Z ha ng ,   a nd   Y .   W a ng ,   H i g P e r f o r m a nc e   I m pl e m e nt a t i o o f   3D   C o nv o l ut i o na l   N e u r a l   N e t w o r ks   o a   G P U ,   C om pu t a t i o na l   I n t e l l i ge nc e   an d   N e ur os c i e nc e ,   v o l .   20 17 ,   p p.   1 8,   N o v e m be r   2017 .   [ 12]   M .   K ho s l a ,   K .   J a m i s o n,   A .   K uc e y e s ki ,   a nd   M .   R .   S a bunc u,   3D   C o nvo l ut i o na l   N e ur a l   N e t w o r ks   f o r   C l a s s i f i c a t i o o f   F unc t i o na l   C o nne c t o m e s ,   A r x i v ,   p p.   13 7 14 5,   2 018 .   [ 13]   A .   K hv o s t i ko v ,   K .   A de r g ha l ,   J .   B e no i s - P i ne a u,   A .   K r y l ov ,   a nd   G .   C a t h e l i ne ,   3D   C N N - ba s e d   c l a s s i f i c a t i o u s i ng   s M R I   a nd   M D - D T I   i m a g e s   f o r   A l z he i m e r   d i s e a s e   s t u di e s ,   A r x i v J a nua r y   2018.   [ 14]   J .   F oy t i a nd  V .   K .   A s a r i ,   A   t w o - l a y e r   f r a m e w o r f o r   p i e c e w i s e   l i n e a r   m a n i f o l d - ba s e h e a d   po s e   e s t i m a t i o n,   I nt e r n at i on al   J o ur n al   o f   C om put e r   V i s i on v o l .   101 ,   pp .   270 - 287 ,   2 013.   [ 15]   V .   N .   B a l a s ub r a m a ni a n,   J .   Y e   a nd   S .   P a nc ha na t ha n ,   " B i a s e d   M a ni f o l E m b e dd i ng :   A   F r a m e w o r k   f o r   P e r s o n - I nde pe nde n t   H e a P o s e   E s t i m a t i o n, "   20 07  I E E E   C on f e r e nc e   on  C om pu t e r   V i s i on  and   P at t e r R e c ogn i t i on ,   M i n ne a po l i s ,   M N ,   pp .   1 - 7,   200 7.   [ 16]   J .   S he r r a h ,   S .   G o ng ,   a nd   E .   J .   O ng ,   F a c e   d i s t r i bu t i o ns   i s i m i l a r i t y   s pa c e   un de r   v a r y i ng   he a d   po s e ,   I m age   a nd   V i s i o n   C om put i ng ,   v o l .   19 ,   no .   12 ,   p p.   80 7 81 9,   O c t o be r   20 01 .   [ 17]   E .   O s una ,   R .   F r e u nd,   a n F .   G i r o s i t ,   T r a i ni ng   s uppo r t   v e c t o r   m a c hi ne s :   a a pp l i c a t i o t o   f a c e   de t e c t i o n,   P r oc e e di ngs   o f   I E E E   C om pu t e r   So c i e t y   C on f e r e nc e   on  C om pu t e r   V i s i on  a nd  P at t e r R e c ogn i t i o n ,   S a J ua n,   P ue r t o   R i c o ,   U S A ,   pp .   130 - 136 ,   199 7.   [ 18]   M .   J o ne s   a nd   P .   V i o l a ,   F a s t   m ul t i - v i e w   f a c e   de t e c t i o n,   M i t s ubi s h i   E l e c t r i c   R e s e ar c h   L ab or a t o r i e s ,   A ug us t   2003 .   [ 19]   M .   S .   L .   K h a n,   S .   U .   R é hm a n ,   Z .   L V ,   a nd  H .   L i ,   H e a d   O r i e n t a t i o M o de l i ng :   G e om e t r i c   H e a d   P o s e   E s t i m a t i o us i ng   M o no c ul a r   C a m e r a ,   P r oc e e di ngs   o f   t he   1 s t   I E E E / I I A E   I n t e r nat i ona l   C on f e r e nc e   on   I n t e l l i ge n t   S y s t e m s   a nd   I m age   P r oc e s s i ng ,   pp .   149 - 153 ,   201 3.   [ 20]   A .   K um a r ,   A .   A l a v i ,   a n R .   C he l l a pp a ,   K E P L E R :   K e y p o i nt   a n P o s e   E s t i m a t i o o f   U nc o ns t r a i n e d   F a c e s   by   L e a r ni ng   E f f i c i e nt   H - C N N   R e g r e s s o r s ,   201 12 t h   I E E E   I n t e r nat i onal   C o nf e r e nc e   o n   A ut om at i c   F ac e   &   G e s t u r e   R e c ogni t i on  ( F G   201 7) ,   W a s h i ng t o n,   D C ,   pp .   258 - 265 ,   201 7.   [ 21]   J .   G u ,   X .   Y a ng ,   S .   D e   M e l l o ,   a nd   J .   K a ut z ,   D y na m i c   f a c i a l   a na l y s i s :   F r o m   B a y e s i a n   f i l t e r i ng   t o   r e c ur r e n t   ne ur a l   ne t w o r k ,   2 017   I E E E   C on f e r e nc e   o C om pu t e r   V i s i o n   and   P at t e r R e c o gni t i on   ( C V P R ) ,   H o no l ul u ,   H I ,   pp .   1 531 - 1540 ,   2017 .   [ 22]   I .   S .   R i e g e r ,   T .   H a ue n s t e i n ,   a nd   S .   H .   B a m b e r g ,   H e a d   P o s e   E s t i m a t i o n   us i ng   D e e p   L e a r n i ng ,”   M a s t e r s   T he s i s F a unho f e r - I ns t i t ut e   f o r   I nt e g r a t e d   C i r c ui t s   I I S ,   A pr i l   201 8.   [ 23]   S .   P a r k,   F .   P a n ,   S .   K a ng ,   a n C .   D .   Y o o ,   D r i v e r   dr o w s i n e s s   de t e c t i o s y s t e m   ba s e d   o f e a t ur e   r e p r e s e n t a t i o l e a r ni ng   us i ng   v a r i o us   de e ne t w o r ks ,   A s i an   C on f e r e nc e   on   C om ou t e r   V i s i on ,   v o l .   1 0118 pp .   154 164 ,   M a r c h 201 7.   [ 24]   J o ng m i Y uS a ng w o o   P a r kS a ng w oo L e e M o o n g J e o n,   R e pr e s e nt a t i o L e a r n i ng ,   S c e ne   U nde r s t a n di ng ,   a nd   F e a t ur e   F u s i o f o r   D r o w s i n e s s   D e t e c t i o n ,   A s i an   C on f e r e nc e   on  C o m put e r   V i s i on   ( A C C V ) ,   v o l .   1 0118 ,   pp.   165 - 17 7,   M a r c 20 17.     [ 25]   R .   J a bb a r ,   K .   A l - kha l i f a ,   M .   K ha r be c he ,   a nd   W .   A l ha j y a s e e n ,   S c i e n c e D i r e c t   R e a l - t i m e   D r i v e r   D r o w s i n e s s   D e t e c t i o f o r   A ndr o i A ppl i c a t i o U s i ng   D e e p   N e u r a l   N e t w o r k s   T e c hni q ue s ,   P r oc e di C om put e r   Sc i e nc e v o l .   1 30,   p p.   40 0 - 407,   2 018 .   [ 26]   L .   C e l o na ,   L .   M a m m a na ,   S .   B i a nc o ,   a nd  R .   S c he t t i n i ,   A   M u l t i - T a s C N N   F r a m e w o r f o r   D r i v e r   F a c e   M o ni t o r i ng ,   2018   I E E E   8 t h   I nt e r na t i ona l   C on f e r e nc e   on  C ons um e r   E l e c t r oni c s   -   B e r l i n   ( I C C E - B e r l i n) ,   B e r l i n ,   pp.   1 - 4 ,   2018 .   Evaluation Warning : The document was created with Spire.PDF for Python.