I n d on e s i an   Jo u r n al   o El e c t r i c al   En gi n e e r i n g   an d   C o m p u te r   S c i e n c e   V o l .   22 ,   N o .   1 A p r i l   2021 ,   p p.   222 ~ 231   IS S N :   25 02 - 4752 ,   D O I :   10. 1 1591 / i j e e c s . v 22 .i 1 . pp 222 - 231             222       Jou r n al   h o m e pa ge ht t p: / / i j e e c s . i a e s c or e . c om   E y e   b l i n k   d e t e c t i o n   u s i n g   CNN   to   d e t e c t   d r o w s i n e ss   l e v e l   in   d r i v e r s   f o r   r o a d   s a f e t y       P o th u r aj u   V i s h e s h 1 ,   R agh av e n d r a   S 2 ,   S an to s h   K u m ar   Jan k att i 3 ,   R e k h a   V 4   1, 2 , 4 D e pa r t m e n t   of   C o m put e r   S c i e nc e   a n d   E ng i ne e r i ng ,   C H R I S T   D e e m e d   to   be   U n i v e r s i t y ,   I ndi a   3 D e pa r t m e n t   of   C o m put e r   S c i e nc e   a nd   E ng i n e e r i ng ,   K S S E M ,   V T U ,   I ndi a       A r ti c l e   I n fo     A B S TR A C T     Ar t i c l e   h i s t or y :   R e c e i v e d   O c t   30 ,   2020   R e v i s e d   J a n   17 ,   202 1   A c c e pt e d   M a r   3 ,   202 1       B l i n ki ng   is   a   r e g ul a r   bo di l y   f unc t i o n   a nd   it   is   t he   s e m i a u t o m a t i c   f a s t   c l o s i ng   of   t he   e y e l i d.   A   s pe c i f i c   bl i nk   is   e xa m i ne d   by   d y na m i c   f o l di ng   of   t he   e y e l i d .   It   is   a   v i t a l   f unc t i o n   of   t h e   e y e   w hi c h   he l ps   in   s pr e a d   of   t e a r s   a c r o s s   a nd   e l i m i n a t e s   i r r i t a n t s   f r o m   t he   s ha l l o w   of   c o r ne a .   In   t hi s   r e s e a r c h   w o r k   we   m a de   us e   of   c o nvo l ut i o n   ne ur a l   n e t w o r k ,   t h e   de e p   l e a r n i ng   c o n c e pt s   a nd   i m a g e   pr o c e s s i ng   to   de t e c t   d r o w s i n e s s   l e v e l   in   dr i v e r s .   To   t r a i n   t he   bl i nk   de t e c t i o n   m o de l   t h e   m o bi l e n e t   V2   is   us e d   as   ba s e .   T h e   l o s s   f unc t i o n   us e d   f o r   t r a i n i ng   w a s   R M S pr o p   a nd   t h e   o pt i m i z e r   is   b i n a r y   c r o s s   e nt r o py .   T he   dl i b   f a c i a l   l a ndm a r k   w a s   e xpl o i t e d   to   pe r c e i v e   a nd   p r e - pr o c e s s   t he   d e t e c t e d   f a c e s .   T he   da t a s e t   us e d   f o r   t he   t r a i n i ng   m o de l   is   s e l e c t e d   f r o m   t he   X i a o y a n g   T a n”   of   na nj i ng   uni v e r s i t y   of   a e r o na ut i c s   a nd   a s t r o na ut i c s .   B a s e d   on   t he   e xpe r i m e nt a l   o ut c o m e   t he   p r o j e c t e d   m e t ho d   a c hi e v e s   an   a c c ur a c y   of   97% .   T he   pr o t o t y pe   de v e l o pe d   s e r v e s   as   a   b a s e   f o r   f ur t he r   de v e l o pm e nt   of   t hi s   pr o c e s s   to   a c hi e v e   be t t e r   r o a d   s a f e t y .   Ke y w or d s :   Co n v o l ut i o n   n e u ra l   n e t w o r k   Cr o s s   e nt r o p y   D e e p   l e a rni n g   D l i b   E y e   b l i n k   M ob i l e n e t   V2   R M S P r o p   T hi s   is   an   ope n   ac c e s s   ar t i c l e   u nde r   t he   CC   BY - SA   l i c e ns e .     Cor r e s pon di n g   Au t h or :   R a gha v e n d r a   S   D e pa rt m e n t   of   C o m put e r   S c i e n c e   a nd   E n g i n e e r i ng   S c h o o l   of   E ngi n e e ri n g   a nd   T e c hn o l o g y   CH R IS T   D e e m e d   to   be   U n i v e r s i ty   M y s o r e   R o a d,   B e n ga l u r u ,   K a rn a t a ka ,   I ndi a   E m a i l :   r a g ha v . t r g @ g m a i l . c o m       1.   I N TR O D U C TI O N     A c c o r di n g   to   W H O   s t a t i s t i c s ,   m i l l i o n s   of   pe o pl e s   a r e   l o s i n g   t h e i r   v a l ua b l e   l i v e s   e a c h   da y .   N um b e r s   e m pha s i z e   t h a t   t h e   m a xi m um   of   t h e   l e t h a l   c o l l i s i o n s   a r e   a nt i c i pa t e d   to   d r i v e r ’s   e x h a us t i o n   a nd   n e gl i ge n c e .   B a s e d   on   t h e   s t a t i s t i c s   of   t h e   a s s o c i a t i o n   of   t h e   A m e r i c a n   A ut o m o b i l e s   it   w a s   fo un d   t h a t   7 %   of   t h e   c o l l i s i o n s   a n d   21 %   of   t h e   l e t h a l   t r a f f i c   c o l l i s i o n s   a r e   c a us e d   by   e xh a us t e d   d r i v e r s   [1 ].   Co m put e r   v i s i o n   (CV )   is   an   i nt e gra t e d   a r e na   t h a t   de m o n s t ra t e s   h o w   pr o c e s s o r s   m i g ht   be   us e d   to   a c qui r e   a dv a n c e d   unde r s t a n d i n g   f r o m   v i de os / i m a ge s .   It   is   c on c e rn e d   w i t h   s po n t a n e o us   m i n i ng,   i n v e s t i ga t i o n,   a n d   de m o n s t ra t i o n   of   be n e f i c i a l   m a t e r i a l   f r o m   a   di s t i n c t   c o p y   of   an   i m a ge   or   a   s e r i e s   of   i m a ge s .   D e e p   l e a rn i ng   a pp r o a c h e s   l i ke   c o n v o l ut i o n   n e u r a l   n e t w o r ks   (CN N s )   a r e   e m pl oy e d   to   i de nt i fy   dr o w s i n e s s   [2 - 5] .   E y e   B l i n ks   a r e   ge n e r a l l y   a c c o m pa ni e d   by   t h e   de s i r e   to   c l e a n s e   t h e   e y e s   by   r e m ov i n g   dus t   a nd   to   e xt e n d   t e a r   s k i n.   So   t h e   e y e   b l i n ks   t a ke   p l a c e   by   da m p n e s s ,   h e a t ,   o r ga ni c   i n f l ue n c e s ,   a nd   air     c o m po n e n t s   [6 7] .   T h e   pe r i o d   a m o ngs t   b l i n ks   u ps u r ge s   w h e n   a   pe r s o n   v i e w s   a   pi c t o r i a l   de m o n s t ra t i o n     uni t   [8]   or   is   a b s t ra c t e d   by   a   c h a l l e n g i n g   t a s k .   T h e   pe ri o d   a m o n gs t   b l i n ks   is   c o n v e y e d   to   di m i nut i o n   w i t h   an   a u r a l   j o b   t hr o ugh o ut   d r i v i n g   as   a s s o c i a t e d   w i t h   d ri v i n g   w i t h o ut   a   s uppl e m e nt a r y   j ob   [9].   T hi s   r e c o m m e n ds   a n   a f f i l i a t i o n   a m o n gs t   t h e   c a t e go r y   of   t h e   j o b   a n d   i t s   c o n s e que nc e   on   t h e   d ri v e r ’s   b l i nki n g   o c c urr e n c e .   Evaluation Warning : The document was created with Spire.PDF for Python.
In do n e s i a J   E l e c   E ng  &   Co m S c i     IS S N :   2502 - 4752       E y e   b l i n k   de t e c t i on  us i ng   CNN   t o   d e t e c t   dr ow s i ne s s   l e v e l   i n   dr i v e r s   f or   r oad  s a f e t y   ( P ot hur aj u   V i s he s h )   223   T h e   M o b i l e N e t V 2   s t ruc t u r a l   de s i g n   is   g r o un de d   on   a   r e v e rs e d   o ut s t a n d i n g   s t ruc t u r e   in   w hi c h   t h e   i n put   a n d   o ut put   a r e   t hi n   l a y e r s   as   o ppos e d   to   o l d - s t y l e   r e s i dua l   c o pi e s   w h i c h   m a ke   us e   of   e xt e n de d   i l l us t r a t i o n s   in   t h e   i n pu t .   M o b i l e N e t V 2   us e s   t r i v i a l   de pt h - w i s e   c o m pl i c a t i o n s   to   c a t e go r i z e   a t t ri b ut e s   in   t h e     in - b e t w e e n   e xt e n s i o n   l a y e r s   [10].   R M S P r o p   e m pl oy s   t h e   c on c e pt   of   t h e   e xpo n e nt i a l   b i a s e d   m e a n   of   all   t h e   i n c l i n e s   a na l o go us   to   g r a d i e n t   de s c e n t   t hr o ug h   m o t i o n .   H e r e   ' b '   m e a n s   t h e   ‘b i a s   s h o w i n g   pe r pe ndi c ul a r   f l uc t ua t i o n s   a nd   ' W '   is   t h e   ‘w e i ght   s h o w i n g   t h e   p r o gr e s s   in   f l a t   o r de r s   [11] .     In   t h e   p r o po s e d   w o r k,   we   do   e y e   b l i n k   de t e c t i o n   us i n g   CN N   fo r   pe r c e i v i ng   t h e   d r o w s i n e s s   l e ve l   in   dri v e r s   fo r   r o a d   s a f e t y .   T h e   p r o t o t y pe   d e v e l o p e d   s e r v e s   as   a   b a s e   fo r   f ur t h e r   de v e l o pm e n t   of   t h i s   p r o c e s s   to   a c hi e v e   be t t e r   r o a d   s a f e t y .   V a r i o us   t e c hn i que s   a r e   e m pl oy e d   fo r   dr o w s i n e s s   de t e c t i o n   a n d   a r e   de l i b e r a t e d   in   t h e   e n s u i n g   s e gm e nt   of   t h e   L i t e ra t u r e   R e v i e w .       2.   LI TER A TU R E   R EV I EW   A   m e t h o d   to   de t e c t   dr o w s i n e s s   b a s e d   on   o b t a i n i ng   b l o o d   vo l um e   pul s a t i o n,   e y e l i d   f l i c ke r i n g ,   a nd   y a w n i ng   s i g na l s   w a s   i m pl e m e n t e d   a n d   t h e   m e t h o d   a c h i e v e s   t h e   a c c ura c y   of   90. 3%,   94 . 4% ,   a n d   9 3. 7 %   for   a   y a w n ,   b l oo d   vo l um e   pr e s s ur e ,   a n d   e y e l i d   f l i c ke r i n g   r e s pe c t i v e l y   b a s e d   on   n e ga t i v e   pr e di c t i v e   r a t e     i n di c a t o r   [12] .   A   n e w   m e t h o do l o g y   t e r m e d   D r i Ca r e   w a s   p ro pos e d,   w h i c h   pe r c e i v e s   t h e   d r i v e r s   w e a ri n e s s   po s i t i o n   i de nt i c a l   to   y a w n ,   b l i n k ,   a nd   e xt e n t   of   e y e   c l o s i n g   of   us e r ’s   pi c t u r e s .   T h e   i n v e s t i ga t i o na l   c o n s e que n c e s   e xh i b i t e d   t h a t   t h e   n e w   s y s t e m   a c c o m pl i s h e d   a ppr o xi m a t e l y   92%   e xa c t n e s s   [13] .   T h e   e ye   b l i n k   c o unt s   a r e   us e d   as   an   i m po r t a n t   pa ra m e t e r   fo r   d r o w s i n e s s   de t e c t i o n   of   t h e   d ri v e r .     T h e   p r o po s e d   f r a m e w o r k   a l s o   c o n t i nuo us l y   a na l y s e s   t h e   e y e   m ov e m e n t   of   t h e   dr i v e r   a n d   a l e r t s   t h e     dri v e r   [14] .   T h e   f a c i a l   l a ndm a r k   de t e c t i o n   (F L D )   a l o n g   w i t h   e y e   a s pe c t   r a t i o   (E A R )   is   e xe r c i s e d   to   de t e c t   e y e   b l i n k .   T h e   t i m e   of   t h e   c l o s e d   s t a t e   of   t h e   e y e   is   t h e   m a i n   p a ra m e t e r   to   de c i de   t h e   dr o w s i n e s s .   T h e   p r o po s e d   m e t h o d   a c h i e v e d   a c c ura c y   in   an   e y e   b l i n k   p a t t e rn   of   92. 7%   [ 15].   A   f a c i a l   l a n d m a rk   b l i n k   de t e c t o r   (F L B D )   a n d   m ul t i - l a y e r   pe r c e pt r o n   (M L P )   c o m po s i t e d   w i t h   v a r i o us   hi dde n   l a y e r s ,   n e u r o n s ,   a n d   a c t i v a t i o n   f un c t i o n s   a r e   us e d   as   t h e   c l a s s i f i e r   for   de t e c t i n g   t h e   e y e     b l i n k   [16] .   T h e   a l go r i t h m   t ha t   m a i n l y   a na l y s e s   t h e   e y e   b l i n k   pa t t e rn   (E B P )   a n d   m e a n   e y e   l a n d m a rks   di s t a n c e   (M E L D )   of   t h e   d ri v e r s   to   s po t   t h e   s l e e pi n e s s   of   t h e   d r i v e r   w a s   i m p l e m e n t e d.   T h e   du r a t i o n   of   time   of   e y e   c l o s ur e   is   c o n s i de r e d   to   r e gul a t e   t h e   d r o w s i n e s s   c o n di t i o n.   T h e   m e t h o d   a c h i e v e s   an   a c c ura c y   of   93%   [17] .   In   e a c h   s e c t i o n ,   t h e   p i xe l s   w o r t h   is   c a l c ul a t e d   a c c o r di n g   to   t h e   pi xe l   f l uc t ua t i o n   r a t i o .   T h e   m o de l   is   t r a i n e d   w i t h   c a r e f ul l y   c h o s e n   t ra i ni n g   t r i a l s   a l o ng   w i t h   SVM   a nd   a c hi e v e d   go o d   r e s ul t s   [18] .   T h e   c ha l l e n ge s   f a c e d   w e r e   to   di s c r i m i na t e   a m o n gs t   e y e   b l i n k   t r i a l s   a n d   g a z e - r e l a t e d   c l o s i ng   of   t h e   e y e l i d,   m a i n l y   t h e   gl i m ps e s   t ow a r ds   t h e   da s h b o a r d.   T h i s   us e d   t h e   t hr e s h o l d   for   t h e   m a xi m u m   v e l o c i t y   of   t h e   e y e l i ds   fo r   d i s c r i m i na t i o n   [19] .   A   d r i v e r   f a t i gue   r e c o gn i t i o n   s c h e m e   in   r e a l - t i m e   g r o u n de d   on   t h e   SVM   a l go ri t hm   is   p r o j e c t e d.   F a t i g ue   di s c ove r y   c h i e f l y   e m ph a s i z e s   dr i v e r s   f a c ial   a ppe a ra n c e s   a n d   b e h a v i o r s   [20] .   T h e   m o de l   t ha t   e m pl o y s   t h e   i n f r a r e d   v i de o s   a i m e d   at   pe r c e i v i n g   a nd   a   m e t h o d   us i ng   CN N   a i m e d   at   i de n t i fy i n g   e y e   s t a t e   w a s   pr o j e c t e d.   T h e   m o de l   ul t i m a t e l y   c a l c ul a t e s   t h e   p r o po r t i o n   of   e y e l i d   c l o s i n g   c o n c e rni n g   t h e   pu pi l   w i t h   t i m e   (P E R CL O S )   a n d   t h e   r a t e   of   b l i nk   to   pe r c e i v e   t h e   w e a r i ne s s   [21].   An   e f f i c i e n t   m e t h o d   for   de t e c t i n g   t h e     e y e - b l i n k   is   CN N   a n d   SVM.   T h e   m a i n   a i m   w a s   to   de t e c t   t h e   e y e - b l i n k   r e l i a b l y .   F r o m   t h e   e xpe r i m e nt a l   r e s ul t s ,   it   w a s   fo un d   t h a t   t h e   p r e c i s i o n   w a s   94 . 4%   [2 2].   T h e   us e   of   e y e - b l i n k   s e n s o r s   for   t h e   de t e c t i o n   of     e y e - b l i n k   du r i ng   dri v i n g   w a s   de v e l o pe d.   In   t h i s   r e s e a r c h ,   t h e   s pe e d   w i l l   be   r e duc e d   or   t h e   v e h i c l e   w i l l   be   s t o ppe d.   A l o n g   w i t h   t hi s ,   t h e   o w n e r   w i l l   be   i n f o r m e d.   By   t hi s ,   t h e   d r i v e r   a n d   t h e   o w n e r   w i l l   be   n o t i f i e d   a n d   c a n   a v o i d   f ur t h e r   c o n s e que n c e s   [23].   To   r e c o gn i z e   t h e   m e nt a l   a t t e nt i o n   l e v e l   of   t h e   d ri v e r   t h e   s y s t e m   m a ke s   us e   of   a   b r a i n - c o m put e r   i n t e r f a c e   a l o n g   w i t h   t w o   s e n s o r s .   A   m i c r o c o n t r o l l e r   is   us e d   to   f i n d   t h e   di f f e r e n c e   b e t w e e n   t h e   e y e   b l i n k   of   a   n o r m a l   pe r s o n   w i t h   t h e   d r o w s i n e s s   p e r s o n .   A   b l i n ki ng   L E D   is   us e d   to   a l e r t   t h e   dri v e r   [2 4].   D a t a s e t s   a r e   ke y   w h e n   w o r ki n g   o ut   a   D N N .   So   fo r   i m p r o v i n g   t h e   pe r f o r m a n c e   of   dr o w s i n e s s   de t e c t i o n   fo r   v a r y i n g   c ul t u r a l   a s s e m b l i e s   a   f r a m e w o r k   b a s e d   on   CN N   a n d   t ra i n i n g   b a s e d   on   ge n e r a t i v e   a dv e r s a r i a l   n e t w o r k s   (G A N )   w a s   pr o po s e d.   T h i s   w a s   pr i m a ri l y   di r e c t e d   on   da t a   e xt e n s i o n   g r o unde d   on   t h e   pub l i c   b i a s   c o n c e pt i o n   a pp r o a c h   t h a t   c l us t e r s   a p pe a r a n c e s   w i t h   c o m pa r a b l e   f a c i a l   c h a ra c t e r i s t i c s .   T h e   pr o po s e d   f r a m e w o r k   r e s ul t e d   in   an   a c c u r a c y   of   96. 75%   a n d   91. 62 %   for   t r a i n i ng   a n d   t e s t i ng   r e s pe c t i v e l y   [25].   T h e   c r uc i a l   h y po t h e s i s   w a s   t h a t   t h e   s i t t i n g   po s i t i o n   c o rr e l a t e d   i n de x   can   s i g n po s t   f e e b l e   dr ow s i n e s s ,   w h i c h   t h e   d r i v e r s   c a nn o t   f e e l .   At   f i r s t ,   t h e   s e n s i t i v i t y   of   t h e   s i t t i ng   po s i t i o n   a nd   c o n v e n t i o n a l   i ndi c e s   a r e   de t e r m i n e d   a nd   a   m e t h o d   t ha t   can   de t e c t   t h e   d r o w s i n e s s   w a s   pr o j e c t e d   by   c o m b i ni n g   t h e   v a ri o us   i ndi c e s   r e l a t e d   to   t h e   s e n s i t i v i t y   of   t h e   f e e b l e   a n d   t h e   r o b us t   d row s i n e s s .   T h e   p r o j e c t e d   m e t h o d   i m p r o v e d   t h e   a c c ur a c y   of   t h e   f e e b l e   dr o w s i n e s s   de t e c t i o n   w i t h   an   R M S E   of   62%   [2 6 ].   A   m e t h o d   b a s e d   on   m ul t i p l e   fe a t u r e   f us i o n   w a s   de ve l o pe d   by   c o m b i n i ng   t h e   dri v e r ’s   a t t ri b ut e s   w h e r e   Y O L O v 3   CN N   w a s   us e d   to   t a ke   t h e   f a c i a l   a r e a s   b e n e a t h   di f f i c ul t   d r i v i n g   c i r c um s t a n c e s .   B a s e d   on   t h e   dl i b   t o o l ki t ,   E F U   a n d   MFU   a r e   us e d   as   a s s e s s m e n t   l i m i t a t i o n s   for   t h e   e y e   s t a t e   a nd   m o ut h   s t a t e   of   t h e   dr i v e r   Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2502 - 4752   In do n e s i a J   E l e c   E ng  &   Co m S c i ,   V o l .   22 ,   N o .   1 A p r i l   20 21   :     2 2 2   -   2 3 1   224   c o r r e s po n di ngl y .   A   l i b r a r y   w a s   b ui l t   for   t h e   i de n t i f i c a t i o n   of   t h e   d ri v e r   w i t h   i n f o r m a t i o n   s uc h   as   e y e   s t a t e ,   m o ut h   s t a t e ,   a n d   d ri v e r   b i o m e t r i c .   At   l a s t ,   t h e   v e r i f i c a t i o n   m o de l   fo r   t h e   d r i v e r   w a s   b ui l t   a l o ng   w i t h   t h e   f a t i gue   v a l ua t i o n   m o de l .   U s i ng   v i r t ua l   a pp l i c a t i o n s ,   t h e   m e t h o d   w a s   c a pa b l e   of   de t e c t i ng   t h e   f a t i gue   s t a t e   w i t h   an   a c c u r a c y   of   95. 10%   [27] .   A   n e w   t e c hn i que   to   n o t i c e   D e e pf a ke s   us i n g   t h e   GANs   m o de l   t hr o ug h   t h e   D e e pV i s i o n   a l go r i t h m   w a s   de ve l o pe d.   D e e pV i s i o n   w a s   c a pa b l e   of   a n a l y z i n g   a n y   m a j o r   m o di f i c a t i o n   in   t h e   b l i n ki ng   pa t t e rn.   T h e   b l i n k i n g   p a t t e rn   of   h u m a n ’s   c h a nge s   f r o m   o n e   to   a n o t h e r   a n d   t hi s   is   m a i nl y   b a s e d   on   b i o l o gi c a l   f e a t ur e s ,   ph y s i c a l   c i r c um s t a n c e s ,   c o gn i t i v e   a c t i o n s ,   e t c .   U s i n g   a   h e u ri s t i c   m o de l ,   a n y   c h a n ge s   in   t h e   e y e   b l i n k   pa t t e rn s   c a n   be   de t e r m i n e d   us i ng   D e e pf a ke s .   D e e pV i s i o n   w a s   c a pa b l e   of   de t e c t i ng   t h e   D e e pf a ke s   w i t h   an   a c c ura c y   of   87. 5%   [28 ].   EEG   s i g n a l   o b j e c t s   l e a d   to   s o m e   c o m pl i c a t i o n s   in   t h e   i n v e s t i ga t i o n   a n d   m a n a ge m e nt   of   EEG   s i g n a l s .   E v e n   t h o ug h   m a n y   m e t h o ds   a r e   a v a i l a b l e   to   i de n t i f y   t h e s e   obj e c t s ,   t h e   a c c ura c y   a c h i e v e d   by   t h i s   is   n o t   s a t i s f a c t o r y .   S o ,   t h e r e   is   a   r e qu i r e m e n t   for   de v e l o pi n g   n e w   m e t h o ds   for   i m p r o v i n g   a c c ura c y .   To   de t e c t   t h e   e y e   b l i n k   o b j e c t s   in   EEG   s i g n a l s ,   t h e   s e m a nt i c   s e gm e n t a t i o n   m e t h o ds   a r e   us e d   a n d   t h e   c l a s s i f i c a t i o n   a c c ura c y   a c hi e v e d   w a s   f o un d   to   be   94. 4 %   [2 9].   O n e   of   t h e   m a j o r   s o ur c e s   fo r   t h e   l e t h a l   r o a d   a c c i de nt   is   t h e   d ri v e r ’s   dr o w s i n e s s .   O n e   of   t h e   s o l ut i o n s   to   a vo i d   r o a d   a c c i de n t s   is   a ut o m a t i c   d r o w s i n e s s   de t e c t i o n   a n d   is   c o n s i de r e d   a   gi f t e d   s o l ut i o n .   An   e m b e dde d   CN N   b a s e d   s o l ut i o n   w a s   pr o po s e d   w h e r e   t h e   e y e   b l i n k   is   de t e c t e d   t hr o ug h   s m a r t   c o nn e c t e d   gl a s s e s .   F r o m   t h e   e xpe r i m e nt a l   r e s ul t s ,   it   w a s   fo un d   t h a t   CN N   gi v e s   be t t e r   r e s ul t s   w h e n   c o m pa r e d   to   t h e   a l go ri t hm s   b a s e d   on   t h e   t hr e s h o l d   m e t h o d   a nd   t h e   a c c u r a c y   a c h i e v e d   w a s   90. 8%   [ 30].   A   l o t   of   c h a r a c t e r i s t i c s   s uc h   as   y a w n i n g ,   m o v e m e n t   of   t h e   h e a d ,   e y e   b l i n ks   can   be   e xt r a c t e d   f r o m   t h e   f a c e   t h a t   can   be   us e d   to   de t e c t   t h e   a m o unt   of   dr o w s i n e s s .   B ut   de ve l o pi n g   a   s y s t e m   t h a t   can   de t e c t   t h i s   a n d   t h a t   can   y i e l d   c o n s i s t e n t   a n d   e xa c t   o ut c o m e s   is   an   i nt e r e s t i ng   t a s k   a nd   it   n e e ds   pr e c i s e   a n d   r o b us t   m e t h o ds .   An   a na l y s i s ,   of   m a n y   t e c h ni que s   us e d   by   di ffe r e nt   r e s e a r c he r s   for   dr o w s i n e s s   de t e c t i o n ,   w a s   do n e   a n d   f r o m   t h e   a n a l y s i s ,   it   w a s   i de n t i f i e d   t ha t   SVM   is   t h e   t e c hn i q ue   t ha t   is   us e d   m o s t   of t e n ,   b ut   t h e   CN N s   ga v e   t h e   b e s t   r e s ul t s   c o m pa r e d   to   o t h e r   m e t h o ds   [31].   E v e n   t h o ug h   m a n y   t e c hn i q ue s   ha v e   b e e n   p r o po s e d   t o   da t e   a n d   t h e r e   is   s ub s t a nt i a l   s c o pe   to   pr o gr e s s   in   t h e   de t e c t i o n   s y s t e m s ,   t h e   m a i n   c ha l l e nge   h e r e   is   t ha t   di f f e r e n t   r e s e a r c h e r s   us e   di v e r s e   da t a s e t s   a n d   t h e   o ut c o m e s   c a nn o t   be   s t r a i g ht f o r w a r dl y   a s s e s s e d.   A n d   a l s o   t h e   da t a s e t s   ut i l i z ed   a r e   fo un d   to   be   i n a de qu a t e   a n d   a r e   c o l l e c t e d   f r o m   t h e   c o n t ro l l e d   e n v i r o n m e n t   a n d   may   f a i l   in   r e a l - w o r l d   c i r c um s t a n c e s .   In   our   p r o po s e d   w o r k   t h e   d a t a s e t   us e d   for   t he   t ra i ni n g   m o de l   is   s e l e c t e d   f r o m   t h e   X i a oy a n g   T a n”   of   N a n j i n g   U n i v e r s i t y   of   A e r o n a ut i c s   a n d   A s t r o n a u t i c s .   W i t h   t h i s   p r o po s e d   r e s e a r c h   w o r k ,   an   e f fo r t   is   m a de   to   b e t t e r   t h e   a c c u r a t e n e s s   of   t h e   f o r e c a s t .       3.   F R A M EWO R K   OF   T H E   P R O P O S ED   WO R K   T h i s   w o r k   is   a b o ut   de v e l o pi n g   an   a rt i f i c i a l   i nt e l l i ge n c e   (A I )   m o de l   t ha t   is   c a pa b l e   of   i de n t i f y i n g   a   pe r s o n   a nd   t e l l i ng   w h e t h e r   hi s / h e r   e y e s   a r e   o pe n   or   c l o s e .   T he   m o de l   de ve l o p e d   is   a   de e p   l e a r ni n g   m o de l   a n d   s h o ul d   t a ke   t h e   i m a ge s   as   i n pu t   a n d   r e s ul t   in   an   o ut pu t   s pe c i fy i n g   t h e   e y e s   in   t h e   i m a ge   a r e   o pe n   or   c l o s e d.   T h i s   w o r k   aims   to   p r o v i de   a   s o l ut i o n   for   e y e   b l i n k   de t e c t i o n   in   a ut o m o t i v e   s a fe t y .   T h e   a pp r o a c h   f o l l ow e d   in   t h i s   w o r k   f o l l ow s   r e t ra i ni n g   on   t h e   p r e v i o us l y   b ui l d   m o de l s ,   to   ut i l i z e   t h e   m e t ri c s   of   t h o s e   m o de l s   to   a c h i e v e   b e t t e r   pe r f o r m a n c e .   T h e   g e n e r a l   f l o w   of   CN N   is   gi v e n   in   F i g ur e   1.           F i gu r e   1.   E y e   b l i n k   de t e c t i o n   m o de l         Evaluation Warning : The document was created with Spire.PDF for Python.
In do n e s i a J   E l e c   E ng  &   Co m S c i     IS S N :   2502 - 4752       E y e   b l i n k   de t e c t i on  us i ng   CNN   t o   d e t e c t   dr ow s i ne s s   l e v e l   i n   dr i v e r s   f or   r oad  s a f e t y   ( P ot hur aj u   V i s he s h )   225   T h e   b a s i c   c o m po n e nt s   m e nt i o n e d   in   F i g u r e   1   c o n s i s t s   of   t h e   o pe r a t i o n s   as   f o l l ow s :     T h e   c o n v o l ut i o n   s t e p   To   m i n e ,   t h e   c h a ra c t e r i s t i c s   of   t h e   e nt e r e d   i m a ge   Co n v N e t   a r e   e m pl o y e d.   Co n v o l ut i o n   gi v e s   t h e   s pa t i a l   a s s o c i a t i o n   a m o ng   pi xe l s   by   un de r s t a n d i n g   i m a ge   c ha r a c t e r i s t i c s   e m pl oy i n g   s m a l l   s ha pe s   of   e n t e r e d   f a c t s .   T h e   Co n v o l ut i o n   p h a s e   is   s h o w n   in   F i gu r e   2.     D e s i gn   (o pt i m i z e r,   l o s s   f un c t i o n   a nd   l a y e r s )   CN N   c o n s i s t s   of   an   i n p ut   l a y e r ,   an   o ut put   l a y e r ,   a n d   v a r i o us   h i dde n   l a y e r s .   E a c h   s e que n c e   of   l a y e r s   in   t h e   CN N s   h i dde n   l a y e r s   ‘Co n v o l v e   w i t h   e xpo n e n t i a t i o n.   R e L U   is   t h e   v e r y   f r e que n t l y   e m pl oy e d   a c t i v a t i o n   f un c t i o n   in   CN N   a n d   is   s h o w n   in   F i g u r e   3.   A c t i v a t i o n   f un c t i o n s   a r e   m a t h e m a t i c a l   e s t i m a t e s   t ha t   r e gul a t e   t h e   CN N s   o ut put .             F i gu r e   2.   Co n v o l ut i o n   s t e p     F i gu r e   3.   R e L U   a c t i v a t i o n   f i n c t i o n         O pt i m i z e r   O pt i m i z e r s   a r e   m e t h o ds   t ha t   a r e   e m pl oy e d   to   t r a n s f o r m   t h e   c h a ra c t e ri s t i c s   of   a n y   CN N   in   t e rm s   of   l e a rn i ng   p r o po r t i o n s   a nd   w e i gh t s   to   l e s s e n   t h e   s h o rt f a l l s .   T he   fe a t u r e   e xt ra c t i o n   l a y e r   of   t h i s   w o r k   m a ke s   us e   of   R MSP r o p.   O pt i m i z a t i o n   po l i c i e s   a r e   a c c o un t a b l e   fo r   d r o ppi n g   t h e   l o s s e s   a n d   to   de l i v e r   t h e   ut m o s t   pr e c i s e   c o n s e que n c e s   p o s s i b l e .   T h e   R M S P r o p   us e s   dW   a n d   db   for   e a c h   e poc h   a n d   it   c o n s i de r s   t h e   e xpo n e nt i a l l y   w e i ght e d   m e a n s   of   s qua r e s   of   dW   a n d   db   as   s h o w n   in   ( 1 )   a nd   ( 2 ) :      =   .  +   ( 1   ) .  2   (1)      =   .  +   ( 1   ) .  2   (2)     H e r e ,   v a r i e s   f r o m   0   to   1   a n d   is   a   h y pe r pa r a m e t e r .   It   us e s   t h e   w e i gh t e d   m e a n   of   pr e v i o us   e s t i m a t e s   a n d   t h e   s qua r e s   of   t h e   pr e s e n t   e s t i m a t e s   to   f i gur e   o ut   t h e   f ut u r e   w e i ght e d   m e a n   a n d   t h e   pa ra m e t e r s   a r e   up da t e d   us i n g   ( 3 )   a nd   ( 4 ) :     + 1 =   .  2    (3)     + 1 =   .  2    (4)     L o s s   f un c t i o n   L o s s   f un c t i o n   s uppo rt s   i m p r o v i n g   t h e   l i m i t a t i o n s   of   t h e   C N N s   by   c a l c ul a t i ng   t h e   l o s s .   T h i s   w o r k   m a ke s   us e   of   B i n a r y   c r o s s - e n t r o py   fo r   its   b i na r y   n a t u r e ,   it   m e a s ur e s   t h e   p r e di c t i o n   f r o m   t h e   t r ue   v a l ue   (w h i c h   is   e i t h e r   0   or   1)   is   for   e v e r y   c l a s s   a n d   t h e n   f i n ds   t h e   m e a n   of   t h e s e   c l a s s - w i s e   f a ul t s   to   a c qui r e   t h e   u l t i m a t e   l o s s .   T h e   b i n a r y   c r o s s - e n t r o py   l o s s   is   de f i n e d   us i n g   ( 5 ) .      =   l o g ( ( ) ) =   1 l o g ( ( 1 ) )   ( 1 1 ) = 2 = 1 l o g ( 1 ( 1 ) )   (5)     H e r e ,   C′   =   2,   C 1 ,   a n d   C 2   a r e   t w o   c l a s s e s   a s s um e d,   t 1   a nd   s 1   a r e   t h e   v a l ue   fo r   C 1 ,   t 2 =1   -   t 1 ,   a nd   s 2 =1   -   s 1   is   t h e   v a l ue   of   C 2 .   T h e   l o s s   can   be   r e p r e s e n t e d   as   s h o w n   in   ( 6 ) .      =   { l o g ( ( 1 ) )                                        1 = 1 l o g ( 1 ( 1 ) )                        1 = 0   (6)     Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2502 - 4752   In do n e s i a J   E l e c   E ng  &   Co m S c i ,   V o l .   22 ,   N o .   1 A p r i l   20 21   :     2 2 2   -   2 3 1   226     P oo l i n g   CN N   may   c o m pr i s e   ge n e r a l   or   uni v e r s a l   po o l i n g   l a y e r s   to   ra t i o n a l i z e   t h e   f un d a m e n t a l   c a l c ul a t i o n.   P oo l i n g   l a y e r s   di m i n i s h   t h e   m a g n i t ude s   of   t h e   f a c t s   by   m e r g i n g   t h e   y i e l ds   of   n e ur o n   g r o ups   at   o n e   l a y e r   w i t h    pa r t i c ul a r   n e u r o n   in   t h e   s ub s e que n t   l a y e r .   G e n e r i c   po o l i n g   un i t e s   m i n o r   c l us t e r s ,   n a t u r a l l y   2x2.   U n i v e r s a l   po o l i n g   p r o c e e ds   on   e ve r y   o t h e r   n e u r o n   in   t h e   c o n v o l ut i o n a l   l a y e r .   P o o l i n g   m i g h t   c a l c ul a t e   a   m a xi m u m   or   a   m e a n .   T h e   po o l i n g   p ha s e   is   s h o w n   in   F i gu r e   4.           F i gu r e   4.   P o o l i ng   s t e p         F ul l y   c o nn e c t e d   l a y e r   T h i s   is   t y pi c a l l y   t h e   l a y e r   in   a n y   CN N   upo n   w h i c h   t h e   F l a t t e n   a n d   D e n s e   l a y e r s   a r e   a pp l i e d.   T h e   po o l e d   f e a t ur e s   a r e   t r a n s f o r m e d   i nt o   a   s pe c i f i c   c o l um n   by   t he   F l a t t e n   f un c t i o n .   T h i s   c o l um n   is   di s p a t c h e d   to   t h e   f ul l y   c o nn e c t e d   l a y e r .   T h e   f ul l y   c o nn e c t e d   l a y e r   is   i n s e rt e d   in to   CN N   w i t h   t h e   h e l p   of   D e n s e .   A   f ul l y   c o n n e c t e d   l a y e r   l i n ks   e a c h   n e ur o n   in   a   s i ngl e   l a y e r   w i t h   e a c h   o t h e r   n e u r o n   in   t h e   n e xt   l a y e r   a n d   is   s i m i l a r   to   M L P .   T h e   f l a t t e n e d   m a t r i x   m o ve s   a r o u n d   t hi s   l a y e r   to   c a t e go ri z e   t h e   i m a ge s .       4.   D ES I G N   AND   I M P LEM EN TA TI O N   CN N s   a r e   us e d   to   i m pl e m e nt   t h i s   p r o j e c t e d   w o r k.   CN N s   a r e   v e r s i o n s   of   M L P s   a n d   us e s   f ul l y   c o n n e c t e d   l a y e r .   T h e   D e s i gn   of   t h i s   w o r k   is   gi v e n   b r i e f l y   in   t h e   h i g h - l e v e l   de s i gn   di a g ra m   in   F i gu r e   5,   w h e r e   t h e   l o a di n g   of   t h e   c urr e nt   da t a s e t   ( c l o s e d   ey es   in   t h e   w i l d     ( CE W ) )   a n d   a ddi ng   of   fe a t ur e   e xt r a c t i o n   l a y e r   on   t h e   CN N   a r e   m e nt i o n e d.           F i gu r e   5.   H i g h   l e v e l   di a g ra m       T h e   s t e ps   f o l l ow e d   a r e :   S t e p   1:   S t a rt .   S t e p   2:   L o a d   t h e   D a t a s e t   ( c l o s e e y e s   i t h e   w i l d ).   -   In   t hi s   w o r k,   we   h a v e   e m pl oy e d   t h e   o pe n   da t a s e t   pub l i s h e d   by   ’X i a oy a n g   T a n   f r o m   N a n j i n g   U n i v e r s i t y   of   A e r o n a ut i c s   a n d   A s t r o na ut i c s .   A   s a m p l e   of   t he   i m a ge s   b e l o n gi n g   to   t h e   s e t   c l o s e d   e y e s   or   o pe n   e y e s   is   s h o w n   in   F i gu r e   6   a nd   F i gu r e   7.   S t e 3:   R e s i z e   a n d   R e s h a pe   e v e r y   i m a ge   i t h e   D a t a s e t .   S t e 4:   R o t a t e   a n d   f l i p   e v e r y   i m a ge   f o r   b e t t e r   pe r f o r m a n c e   d uri n g   t ra i ni n g .   S t e 5:   S e l e c t   t h e   m o de l   a n d   a r c hi t e c t u r e   a c c o r di n t o   t h e   p r ob l e m   s t a t e m e nt .   -   T h e   CN N   us e fo r   t hi s   m o de l   i s   ’M o b i l e N e t V 2’  a n t h e   o ut put   o f   t h e   m o de l   i s   b i n a r y   i . e .   e y e s   c l o s e o r   e y e s   o p e n .   Evaluation Warning : The document was created with Spire.PDF for Python.
In do n e s i a J   E l e c   E ng  &   Co m S c i     IS S N :   2502 - 4752       E y e   b l i n k   de t e c t i on  us i ng   CNN   t o   d e t e c t   dr ow s i ne s s   l e v e l   i n   dr i v e r s   f or   r oad  s a f e t y   ( P ot hur aj u   V i s he s h )   227   S t e 6:   W r i t e   t h e   t o F e a t u r e   E xt ra c t i o n   L a y e r   t o   de t e c t   t h e   s t a t e   o f   t h e   e y e s .   S t e 7:   T ra i ni n g   -   T h e   l a s t   l a y e r s   a r e   f ul l y   c o n n e c t e n e t w o r l a y e r s   f o l l ow e by   ‘s of t m a r e g r e s s i o n ’  f o r   c l a s s i f i c a t i o n   i n   t h e   o ut put   l a y e r .   T h e   w e i ght s   i n   t h e   t o l a y e r s   o f   t h e   pr e - t ra i n e p r o t o t y p e s   a r e   a dj us t e f ur t h e r   t o   ups ur ge   t h e   f un c t i o n i n g .   T hi s   w i l l   a dj u s t   t h e   w e i gh t s   t o   a s s o c i a t e   w i t h   t h e   f e a t ur e   r e l a t e t o   t h e   d a t a s e t .   S t e 8:   T e s t i ng  t h e   m o de l   a n d   t u ni n g   o f   h y pe r - pa r a m e t e r s .   R e pe a t   s t e 7 .   -   T h e   f i n e - t u n i ng  a pp r o a c h   w a s   e m pl oy e i n   t ra i ni n t h e   m o d e l .   CN N ’s   a r e   s i m i l a r   t o   n o rm a l   N N .   T h e y   c o n s i s t   of   n e ur o n s   w i t h   l e a rn a b l e   b i a s e s   a n w e i gh t s .   E a c h   n e ur o n   t a k e s   t h e   da t a   a n do e s   t h e   do t   p r o duc t .   T h e   c o m pl e t e   n e t w o r gi v e s   o n e   di f fe r e nt i a l   s c o r e   f un c t i o n   a nd  s t i l l   h a s   a   l o s s   f un c t i o n.     S t e 9:   M a ke   P r e di c t i o n s   o n   c o m pl e t e l y   n e w   u n s e e n   d a t a .   S t e 10:   E nd.   S a v e   t h e   m o de l   a nd  de pl o y   i t .           F i gu r e   6.   C l o s e d   e y e s       F i gu r e   7.   O pe n   e y e s       5.   P R O TO T Y P I N G   AND   TES TI N G   T h e   t e s t i n g   p ha s e   of   t h e   pr o j e c t   w a s   i n i t i a l l y   fo c us e d   on   de v e l o pi n g   a   m o b i l e   a pp   to   t e s t   t h e   m o de l   t r a i n e d .   F i n a l l y ,   a   w e b c a m - b a s e d   pr o t o t y pe   w a s   de ve l o p e d   to   t e s t   t h e   m o de l   t ra i n e d   for   t h e   p r o b l e m   s t a t e m e n t ,   us i ng   d lib   f a c i a l   l a n d m a rks   to   de t e c t   f a c e s   in   t h e   v i de o   s t r e a m   a nd   t h e n   p r e - p r o c e s s   t h e   de t e c t e d   f a c e   for   i n f e r e n c e   w i t h   t h e   m o de l .   T h e   r e s ul t s   a f t e r   t h e   t r a i ni n g   s h o w   gr a p h s   a b o ut   t h e   l o s s   a n d   a c c u r a t e n e s s   de t a i l s   t hr o ug h o ut   t h e   t r a i n i ng   a n d   v a l i d a t i o n   p ha s e .     5. 1 .      Th e   w e b c am   ap p r o ac h   T h e   w e b c a m   a pp r o a c h   t a ke s   t h e   l i v e   v i de o   i n pu t   f r o m   t h e   w e bc a m   a nd   w a s   us e d   for   t e s t i n g   t h e   m o de l .   S i n c e   t h e   m o de l   w a s   t r a i n e d   w i t h   o n l y   i m a ge s   of   f a c e   da t a   w i t h   e y e s   c l o s e d   or   o pe n ,   t h e   m o de l   c a n   o n l y   i n f e r e n c e   on   f a c e   i m a ge s .   To   de t e c t   a n d   c r o p   f a c e s   f r om   t h e   i n p ut   s t r e a m ,   dl i b   f a c i a l   de t e c t o r   w a s   us e d   to   de t e c t   f a c e s   in   t h e   i nput   f e e l .   T h e   dl i b   f a c i a l   de t e c t o r   w o r ks   on   t h e   f a c i a l   l a ndm a r ks .   T h e   d l i b   f a c i a l   l a n d m a rk   is   a   c o l l e c t i o n   of   po i n t s   a nd   is   us e d   to   de t e c t   v a ri o us   pa rt s   of   t h e   f a c e   us i n g   68   po i n t s   on   t h e   f a c e .   T h e s e   f a c i a l   l a ndm a r ks   us e d   by   dl i b   f a c i a l   de t e c t o r   a r e   gi v e n   in   F i gu r e   8   s h o w i n g   h o w   t h e   po i nt s   m a ke   us   t h e   f a c e   of   a n y   h um a n.   T h e   w h o l e   f l o w   of   t h e   de m o   a p pl i c a t i o n   is   gi v e n   in   F i gu r e   9.             F i gu r e   8.   68 - po i n t   f a c i a l   l a n d m a r ks     F i gu r e   9.   F l o w   of   de m o   a ppl i c a t i o n   Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2502 - 4752   In do n e s i a J   E l e c   E ng  &   Co m S c i ,   V o l .   22 ,   N o .   1 A p r i l   20 21   :     2 2 2   -   2 3 1   228   T h e   s t e p   f o l l o w e d   a r e :     W e b c a m :   a n y   w e b c a m   w i t h   a   pi c t u r e   qu a l i t y   of   720p   or   g r e a t e r .     dl i b :   t h e   f a c i a l   de t e c t o r   to   de t e c t   f a c e s   in   t h e   w e b c a m   f e e d,   to   l o c a t e   t h e   f a c e   in   t h e   w i l d.     Cr o p:   T h e   l o c a t i o n   of   f a c e s   is   ob t a i n e d   f r o m   d l i b   f a c i a l   de t e c t o r   a nd   is   c r o ppe d   c o n s i s t i n g   of   o n l y   t h e   f a c e   a n d   n o t hi n g   e l s e .     R e s i z e :   T h e   m o de l   is   m o r e   e ff i c i e n t   to   pr o c e s s   i m a ge s   of   di m e n s i o n s   244*24 4,   so   t h e   i m a ge   of   t h e   f a c e   is   r e s i z e d   a c c o r di n g l y   w h a t e v e r   t h e   s i z e   m a y b e .     In f e r e n c e :   T h e   i m a ge   is   c o n v e r t e d   i nt o   t e n s o r s   a nd   i n f e r e n c e s   r e a dy   fo r   p r e di c t i o n .     P r e di c t :   T h e   i m a ge   is   pa s s e d   for   p r e di c t i o n   w i t h   a   m o de l   t ra i n e d   for   E B D .     O ut put :   T h e   o ut pu t   g i v e n   o ut   by   t h e   m o de l   is   t ra n s l a t e d   i n t o   o pe n   or   c l o s e   a n d   d i s pl a y e d   on   t h e   s c r e e n.       6.   R ES U LTS   AND   DISCUSSIO N   R e s ul t s   ob t a i n e d   du r i n g   t h e   t ra i ni n g   of   t h e   n e t w o r k   is   gi v e n   in   F i gu r e   10 .   T he   a c c ur a c y   m e n t i o n e d   h e r e   is   c o n c e r ni n g   t h e   v a l i da t i o n   da t a   gi v e n   d u r i n g   t h e   t r a i ni n g   t i m e   a n d   is   s ub j e c t   o n l y   to   t h e   da t a   in   t h e   da t a s e t .   T h e   o ut put   of   t h e   p a r t i a l l y   de v e l o pe d   m ob i l e   a pp   is   gi v e n   in   F i gu r e   11 .   T h e   f a c e s   a r e   de t e c t e d   by   F i r e b a s e   V i s i o n   ML   a n d   t h e n   c r o ppe d   a nd   r e s i z e d   a c c o r di ng   to   t h e   m o de l   a n d   t h e n   i n f e r e n c e .           F i gu r e   10 .   A c c u r a c y   a n d   l o s s   du r i ng   t r a i n i ng   a n d   v a l i da t i o n         F i gu r e   11 .   O b j e c t   de t e c t i o n   A pp       T h e   a n d r o i d   a p p   w a s   e xpe r i m e n t e d   w i t h   us i n g   v a r i o us   a pp ro a c h e s   us i n g   A n d r o i d’s   f i r e b a s e   v i s i o n   f a c e   de t e c t o r   to   de t e c t   a nd   t r a c k   f a c e s .   -   T h e   i m a ge   c l a s s i f i c a t i o n   a pp r o a c h :   T hi s   a pp r o a c h   us e d   t h e   no r m a l   c l a s s i f i c a t i o n   m o de l   for   c l a s s i fy i n g   t h e   de t e c t e d   f a c e s   as   o pe n   or   c l o s e .   B ut   t h e   o b s t a c l e   w a s   t h a t   t h e   a pp   w a s   n o t   a b l e   to   de t e c t   a n d   c r o p   f a c e   b e fo r e   r u nn i ng   i n f e r e n c e   on   t h e   i m a ge .   T h e   i s s ue   t ha t   w a s   i de n t i f i e d   w a s   r e l a t e d   to   s y n c hr o n o us   a n d   a s y n c hr o n o us   w a y s   of   e xe c ut i n g   t a s ks .   -   T h e   ob j e c t   d e t e c t i o n   a pp r o a c h:   T h e   ob j e c t   de t e c t i o n   a pp r o a c h   f o l l ow s   a   t o t a l l y   n e w   w a y   of   a ppr o a c hi n g   t h e   pr o b l e m   s t a t e m e nt .   T h e   r e s e a r c h   in   t hi s   f i e l d   is   s t i l l   in   t h e   p r o c e s s .   W h e r e   t h e   p r e - p r o c e s s i n g   of   t h e   i m a g e   to   de t e c t   f a c e s   is   n o t   r e qui r e d .   T h e   t r a i n i ng   p r o c e s s   i t s e l f   l e a rn s   to   de t e c t   t h e   f a c e s   in   t h e   w i l d   a n d   t h e n   r u n   i n f e r e n c e   on   t h e   de t e c t e d   f a c e s .     -   W i n k   de t e c t i o n :   T h e   m o de l   w a s   n o t   t r a i n e d   w i t h   i m a ge s   of   s ub j e c t s   w i t h   o n e   e y e   c l o s e d   a n d   t h e   o t h e r   e ye   o pe n .   A   da t a - s e t   of   a   t o t a l   of   400   i m a ge s   f r o m   di f f e r e n t   a ngl e s   c o n s i s t i n g   of   t w o   c a t e go r i e s   w a s   m a de .   F i r s t l y ,   t h e   l e f t   e y e   c l o s e d   a n d   t h e   r i g ht   e y e   o pe n .   S e c o n dl y ,   t h e   l e f t   e y e   o pe n   a n d   t h e   r i g h t   e y e   c l o s e d.   T h e   H a r dw a r e   n e e de d   w a s   n o t   a v a i l a b l e   to   c a rr y   o ut   t h e   e xpe ri m e n t .   S o ,   t h e   us e - c a s e   w a s   s us pe n de d   f r o m   w o r k.   Evaluation Warning : The document was created with Spire.PDF for Python.
In do n e s i a J   E l e c   E ng  &   Co m S c i     IS S N :   2502 - 4752       E y e   b l i n k   de t e c t i on  us i ng   CNN   t o   d e t e c t   dr ow s i ne s s   l e v e l   i n   dr i v e r s   f or   r oad  s a f e t y   ( P ot hur aj u   V i s he s h )   229   T h e   n u m b e r   of   i m a ge s   a nd   t h e   s e l e c t i o n   of   h y p e r - pa ra m e t e r s   pl a y   a   v i t a l   pa rt   in   de c i di ng   t h e   a c c ur a c y   of   t h e   m o de l .   T h e   r e s ul t s   of   us i n g   d i f fe r e nt   h y pe r - p a r a m e t e r s   a r e   gi v e n   b e l o w ;   -   D a t a s e t   us e d:   c l o s e d   e y e s   in   t h e   w i l d   (CE W )   -   No   of   i m a ge s :   1194(c l o s e d   e y e s ),   1239 (o pe n   e y e s )   -   T o t a l :   24 33i m a ge s   ( 100X 100 )   JPG   -   T o t a l   n o .   of   e poc h s :   5   -   T r a i n i ng   i m a ge s :   21 81   -   T e s t i n g   i m a ge s :   252   T h e   pr o c e s s   of   i m pr o v i n g   t h e   m o de l   pe r f o r m a n c e   a nd   n e a ri n g   t h e   o bj e c t i v e   is   gi v e n   in   t h e   t a b l e   b e l ow   in   T a b l e   1   to   s h o w   t h e   r e s ul t   o b t a i n e d   du r i ng   t r a i ni n g .   F i g u r e   12   d i s pl a y s   t h e   a s s e s s m e nt   of   t h e   pr o j e c t e d   w o r k   w i t h   s o m e   of   t h e   p r e v a i l i n g   w o r k   m e nt i o n e d   in   t h e   l i t e r a t u r e   s u r v e y .       T a b l e   1.   T h e   R e s ul t s   o b t a i n e d   du ri n g   t ra i ni n g   on   t h e   da t a s e t   ( CE W )   S l .   No   M o d e l   T ra i n i n g   T i m e   O p t i m i z e r   A c c u ra c y   1   3   L a y e r   ( S e q u e n t i a l )   1   m i n s   p e r   e p o c h   A d a m   34%   2   3   L a y e r   ( S e q u e n t i a l )   1 . 3   m i n s   p e r   e p o c h   A d a m   57%   3   2   L a y e r   ( S e q u e n t i a l )   1   m i n s   p e r   e p o c h   A d a m   60%   4   M o b i l e N e t V 2   8   m i n s   p e r   e p o c h   A d a m   81%   5   M o b i l e N e t V 2   8 . 3   m i n s   p e r   e p o c h   RM S P r o p   95%   6   M o b i l e N e t V 2   8 . 7   m i n s   p e r   e p o c h   RM S P r o p   L o s s :   b i n a ry   c ro s s   e n t r o p y   97%   7   In c e p t i o n   40   m i n s   p e r   e p o c h   RM S P r o p   82%           F i gu r e   12 .   Co m pa ri s o n   of   pr o po s e d   w o r k   w i t h   t h e   p r o j e c t e d   w o r k       7.   C O N C LU S I O N   T h e   e y e   b l i n k   de t e c t i o n   w o r k   f i n a l l y   s e r v e d   its   pu r po s e   of   de t e c t i n g   t h e   s t a t e   of   t h e   e y e s   in   a   g i v e n   i m a ge .   T h i s   w o r k   aims   to   pr o v i de   a   s o l ut i o n   fo r   r e duc i n g   ro a d   a c c i de n t s   c a us e d   by   h um a n   e rr o r.   M a n y   e ye   b l i n k   de t e c t i o n   a ppl i c a t i o n s   de v e l o pe d   a r e   s e r v i n g   t hi s   pu rpo s e ,   t h i s   is   a   b e t t e r   m o de l   to   h e l p   i m p r o v e   t h e   pe r f o r m a n c e   of   t h e   de t e c t i o n   ra t e   a n d   i de n t i f y   p o s s i b l e   t hr e a t s .   T hi s   w o r k   p r o v i de s   a   s o l ut i o n   by   i m p l e m e nt i ng   t h e   r e t r a i n i ng   of   t h e   G oo gl e   M ob i l e N e t V 2   m o de l   to   i de n t i f y   e y e   b l i n k .   T hi s   w o r k   aims   to   m a ke   t h e   w o r l d   a   s a f e r   pl a c e   on   r o a ds   fo r   t ra v e l e r s   a nd   t h e   t o t a l   a c c ur a c y   a c h i e ve d   w a s   97%.   In   f ut ur e   w o r k,   we   t r y   to   c o n c e n t ra t e   on   de t e c t i ng   t h e   d r o w s i n e s s   in   t h e   f a c e s   w i t h   s u n gl a s s e s ,   o n l y   o n e   e y e   c l os e d,   a nd   s i de   v i e w .       A C K N O WL ED G E M EN TS   I   w o ul d   l i ke   to   t ha n k   CH R IS T   (D e e m e d   to   be   U n i v e r s i t y ),   B e n a gl u r u   in   s u ppo r t i n g   us   by   pr o v i di n g   t h e   e n v i r o nm e n t   to   ge t   t h e   w o r k   do n e .       R EF ER EN C ES   [ 1]   B .   C.   T e f f t ,   " A c ut e   S l e e p   D e p r i v a t i o n   a nd   R i s k   of   M o t o r , "   V e hi c l e   C r as h   I nv o l v e m e nt ,   20 16 .     [ 2]   D.   H.   B a l l a r d   a nd   C h r i s t o ph e r   M.   B r o w n,   " C o m put e r   V i s i o n, "   P r e nt i c e   H al l ,   1 982 .     [ 3]   T.   H ua ng ,   et   a l . ,   " C o m put e r   V i s i o n:   E vo l ut i o n   a n d   P r o m i s e , "   19 t h   C E R N   Sc ho ol   of   C om pu t i n g.   G e ne v a:   C E R ,     pp.   21 - 25 ,   199 6 ,   do i :   10. 5 170 / C E R N - 1996 - 00 8. 2 1 .     [ 4]   M.   S o nka ,   et   a l . ,   " I m a g e   P r o c e s s i ng ,   A na l y s i s   a nd   M a c hi ne   V i s i o n, "   T ho m s o n.   20 08 .     Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2502 - 4752   In do n e s i a J   E l e c   E ng  &   Co m S c i ,   V o l .   22 ,   N o .   1 A p r i l   20 21   :     2 2 2   -   2 3 1   230   [ 5]   F.   Y o u,   et   al .,   " A   R e a l - t i m e   D r i v i ng   D r o w s i ne s s   D e t e c t i o n   A l g o r i t hm   w i t h   I ndi v i dua l   D i f f e r e nc e s   C o ns i de r a t i o n, "   Spe c i a l   Se c t i on   on   A r t i f i c i al   I n t e l l i ge nc e   ( ai ) - e m pow e r e d   I nt e l l i ge nt   T r ans por t a t i o n   Sy s t e m s ,   I E E E   A c c e s s ,   v o l .   7,   pp.   17 9396 - 17 9408 ,   D e c   20 19 do i :   10 . 110 9/ A C C E S S . 2 019 . 295 86 67 .     [ 6]   J.   A.   S t e r n ,   et   al . ,   " B l i nk   r a t e :   A   po s s i b l e   M e a s u r e   of   F a t i g ue , "   H um an   F ac t or s ,   v o l .   36 ,   pp.   28 5 - 297 ,   19 94   do i :   10. 1177 / 0 0187 2089 4036 0020 9   [ 7]   P.   W o l ko f f ,   et   al . ,   " E y e   C o m pl a i n t s   in   t he   O f f i c e   E nv i r o nm e n t :   P r e c o r ne a l   T e a r   F i l m   I nt e g r i t y   I nf l ue nc e d   by   E y e   B l i n ki ng   E f f i c i e nc y , "   O c c upat i ona l   and   E n v i r onm e nt a l   M e di c i ne ,   v o l .   62,   pp.   4 - 12 ,   2005   do i :   10. 1136 / o e m . 2 004 . 016 030 .     [ 8]   S.   P a t e l ,   et   a l . ,   " E f f e c t   of   V i s ua l   D i s p l a y   U ni t   U s e   on   B l i nk   R a t e   a nd   T e a r   S t a bi l i t y ,   O pt o m e t r y   a nd   V i s i o n   S c i e nc e ,   v o l .   6 8,   pp .   888 - 89 2,   19 91 do i :   10 . 109 7/ 0 0006 324 - 199 11 1000 - 000 10   [ 9]   Y.   F.   T s a i ,   et   al . ,   " T a s k   P e r f o r m a nc e   a nd   E y e   A c t i v i t y :   P r e di c t i ng   B e ha v i o r   R e l a t i ng   to   C og ni t i v e   W o r kl o a d, "   A v i a t i on ,   S pac e ,   an d   E nv i r o nm e nt al   M e di c i ne ,   v o l .   7 8,   pp .   B 176 - B 185,   2 007 .     [ 10]   M.   S a nd l e r ,   et   al . ,   " M o bi l e N e t V 2:   I n v e r t e d   R e s i du a l s   a nd   L i ne a r   B o t t l e n e c ks ,   I E E E   C on f e r e nc e   on   C om put e r   V i s i on   an d   P at t e r n   R e c o gn i t i on   ( C V P R ) ,   2018 pp .   4510 - 45 20 do i 10. 1 109 / C V P R . 2018 . 0 0474 .     [ 11]   S.   V a ni   a nd   T.   V.   M.   R a o ,   " A n   E xpe r i m e nt a l   A ppr o a c h   T o w a r d s   t he   P e r f o r m a nc e   A s s e s s m e n t   of   V a r i o us   O pt i m i z e r s   on   C o nvo l ut i o na l   N e ur a l   N e t w o r k , "   3 rd   I n t e r na t i on al   C on f e r e nc e   on   T r e nds   in   E l e c t r on i c s   and   I nf or m a t i c s   ( I C O E I ) ,   2 019 pp.   3 31 - 336 ,   do i :   10. 11 09/ I C O E I . 2019 . 88626 86 .     [ 12]   C.   Z h a ng ,   et   a l . ,   " D r i v e r   D r o w s i n e s s   D e t e c t i o n   U s i ng   M u l t i - C ha n ne l   S e c o nd   O r de r   B l i n d   I de nt i f i c a t i o ns " ,   I E E E   A c c e s s ,   v o l .   7,   p p.   11 829 - 118 43 ,   2 019 do i :   10. 11 09/ A C C E S S . 2019 . 289 1971 .     [ 13]   W.   D e ng   a nd   R.   W u,   " R e a l - T i m e   D r i v e r - D r o w s i ne s s   D e t e c t i o n   S y s t e m   U s i ng   F a c i a l   F e a t ur e s , "   I E E E   A c c e s s ,   v o l .   7,   pp .   1187 27 - 1187 38,   2 019 do i :   10. 11 09/ A C C E S S . 2019 . 29 3666 3 .     [ 14]   F o uz i a ,   et   al . ,   " D r i v e r   D r o w s i n e s s   D e t e c t i o n   S y s t e m   B a s e d   on   V i s ua l   F e a t u r e s , "   2 nd   i nt e r n at i on al   C o nf e r e nc e   on   I nv e nt i v e   C om m un i c a t i on   and   C om pu t at i on al   T e c hn ol o gi e s   ( I C I C C T ) ,   2 018 pp .   1344 - 13 47 ,     do i :   10. 1109 / I C I C C T . 2018. 8473 203 .     [ 15]   A.   I s l a m ,   et   al . ,   " A   S t udy   on   T i r e dn e s s   A s s e s s m e n t   by   U s i ng   E y e   B l i n k   D e t e c t i o n, "   J o ur n al   of   E ng i ne e r i ng - U K M ,   v o l .   31,   no .   2,   pp.   2 09 - 214 ,   2019 .     [ 16]   C.   C ho u ,   et   al . ,   " B l i nk   D e t e c t i o n   U s i ng   F a c i a l   L a ndm a r ks   B l i nk   D e t e c t o r   a nd   M u l t i - L a y e r   P e r c e p t r o n, "   N a t i ona l   C om put e r   Sy m p os i um ,   2 019 ht t p: / / dx . do i . o r g / 10. 6927 % 2f N C S . 201 911. 0105 .     [ 17]   A.   A.   M i a h ,   et   al . ,   " D r o w s i n e s s   D e t e c t i o n   U s i ng   E y e - B l i nk   P a t t e r n   a nd   M e a n   E y e   L a ndm a r ks   D i s t a nc e , "   I nt e r n at i on al   J o i n t   C onf e r e nc e   on   C om pu t at i o nal   I nt e l l i ge nc e ,   Spr i nge r ,   201 9 pp .   111 - 12 1 .     [ 18]   D.   D o u   a n d   Z.   Z h a ng ,   " B l i n k   D e t e c t i o n   B a s e d   on   P i xe l   F l uc t ua t i o n   R a t i o   of   E y e   I m a g e , "   J our n al   of   P hy s i c s :   C onf e r e nc e   Se r i e s ,   v o l .   14 63,   no .   01 2073 ,   202 0 pp .   1 - 5 do i :   10. 10 88/ 1 742 - 659 6% 2F 14 53 % 2F 1 % 2F 0120 73   [ 19]   M.   H.   B a c o o ur ,   et   al . ,   " C a m e r a - B a s e d   E y e   B l i nk   D e t e c t i o n   A l gor i t hm   f o r   A s s e s s i ng   D r i v e r   D r o w s i ne s s , "   I E E E   I nt e l l i ge nt   V e hi c l e s   S y m po s i um   ( I V ) ,   pp .   987 - 99 3,   20 19 do i :   10 . 11 09/ I V S . 2019 . 88 1387 1 .     [ 20]   B.   K.   S a v a s ,   a n d   Y.   B e c e r i kl i ,   " R e a l   T i m e   D r i v e r   F a t i g ue   D e t e c t i o n   B a s e d   on   S V M   A l g o r i t hm , "   6 th   I n t e r na t i ona l   C onf e r e nc e   on   C on t r ol   E ng i ne e r i n g   a nd   I n f o r m at i on   T e c hn ol o gy   ( C E I T ) ,   201 9 do i :   10. 1 109 / C E I T . 2018 . 87 5188 6 .     [ 21]   F.   Z ha ng ,   et   al . ,   " D r i v e r   F a t i g ue   D e t e c t i o n   B a s e d   on   E y e   S t a t e   R e c o g ni t i o n " ,   I n t e r na t i o nal   C onf e r e nc e   on   M ac hi ne   V i s i on   an d   I n f or m a t i on   T e c hno l og y   ( C M V I T ) ,   2 017 pp .   1 05 - 110 d o i :   0. 11 09 / C M V I T . 2017 . 25 .     [ 22]   Y.   J.   H a n ,   e t .   a l . ,   " E f f i c i e nt   E y e - bl i nk   D e t e c t i o n   U s i ng   S m a r t pho ne s :   A   h y br i d   A ppr o a c h   B a s e d   on   D e e p   L e a r ni ng , "   M obi l e   I nf or m a t i on   Sy s t e m ,   H i n daw i ,   v o l .   2 018 ,   pp.   1 - 8,   201 8 do i :   10. 1155 / 20 18 / 692 9762 .     [ 23]   B.   M.   K.   K um a r i ,   et   al . ,   " D e t e c t i o n   of   D r i v e r   D r o w s i ne s s   U s i n g   E y e   B l i nk   S e n s o r , "   I n t e r nat i o nal   J our n al   of   E ngi ne e r i n g   and   T e c hno l og y ,   v o l .   7,   no .   3. 12 ,   p p.   49 8 - 504 ,   2018 d o i :   10. 1 4419 / i j e t . v 7i 3 . 12 . 16 167 .     [ 24]   O.   S i n ha ,   et   al . ,   " D e v e l o pm e n t   of   a   D r o w s y   D r i v e r   D e t e c t i o n   S y s t e m   B a s e d   on   EEG   a nd   IR - B a s e d   E y e   B l i nk   D e t e c t i o n   A na l y s i s , "   A dv an c e s   in   C om m uni c a t i o n,   D e v i c e s   an d   N e t w or k i n g,   v o l .   46 2,   pp .   313 - 319 ,   2018   do i :   10. 1007 / 9 78 - 981 - 10 - 790 1 - 6_34 .     [ 25]   M.   N g xa nde ,   et   al .,   " B i a s   R e m e di a t i o n   in   D r i v e r   D r o w s i n e s s   D e t e c t i o n   S y s t e m s   U s i ng   G e ne r a t i v e   A dv e r s a r i a l   N e t w o r ks , "   I E E E   A c c e s s ,   v o l .   8,   pp .   5559 2 - 55601 ,   202 0 do i :   10. 11 09/ A C C E S S . 2 020 . 298 1912 .     [ 26]   M.   S u na g a w a ,   et   al . ,   " C o m pr e he ns i v e   D r o w s i ne s s   L e v e l   D e t e c t i o n   M o de l   C o m bi n i ng   M ul t i m o da l   I nf o r m a t i o n, "   I E E E   Se ns or s   J ou r na l ,   v o l .   20,   no .   7,   pp .   3 709 - 371 7,   A pr i l   2020 d o i :   10. 1 109 / J S E N . 20 19 . 296 0158 .     [ 27]   K.   L i ,   et   a l . ,   " A   F a t i g ue   D r i v i ng   D e t e c t i o n   A l g o r i t hm   B a s e d   on   F a c i a l   M u l t i - F e a t u r e   F us i o n, "   I E E E   A c c e s s ,   v o l .   8,   pp.   10 1244 - 10 1259 ,   J un e   2020 do i :   10. 1 109 / A C C E S S . 202 0. 2998 3 63 .     [ 28]   T.   J ung ,   et   al . ,   " D e e pV i s i o n:   D e e pf a ke s   D e t e c t i o n   U s i ng   H um a n   E y e   B l i nki ng   P a t t e r n , "   I E E E   A c c e s s ,   v o l .   8,     pp.   83 144 - 831 54,   A pr i l   202 0 h t t p s : / / do i . o r g / 10 . 1 109 / A C C E S S . 202 0. 29 8866 0 .     [ 29]   M.   T o s un   a nd   Ö.   K a s ı m ,   " N o v e l   e y e - bl i nk   a r t e f a c t   de t e c t i o n   a l g o r i t hm   f r o m   r a w   EEG   s i g na l s   u s i ng   F C N - ba s e d   s e m a n t i c   s e g m e n t a t i o n   m e t ho d , "   I E T   S i g na l   P r o c e s s i ng ,   v o l .   14 ,   no .   8,   pp .   489 - 4 94,   O c t o be r   2 020   do i :   10. 1049 / i e t - s pr . 20 19 . 060 2 .     [ 30]   A.   A.   J o r da n,   et   al . ,   " D e e p   L e a r ni ng   f o r   E y e   B l i nk   D e t e c t i o n   I m pl e m e nt e d   at   t he   E dg e , "   I E E E   E m be dde d   Sy s t e m s   L e t t e r s ,   p p.   1 - 1,   O c t o be r   2 020 do i :   10. 110 9/ L E S . 2020 . 30 2931 3 .     [ 31]   M.   N g xa n de ,   et   al . ,   " D r i v e r   dr o w s i ne s s   d e t e c t i o n   us i ng   be h a v i o r a l   m e a s u r e s   a nd   m a c hi ne   l e a r ni ng   t e c hni q ue s :   A   r e v i e w   of   s t a t e - of - a r t   t e c hni q ue s , "   P at t e r n   R e c ogn i t i o n   A s s oc i a t i o n   of   Sou t h   A f r i c a   a nd   R ob ot i c s   and   M e c ha t r on i c s   ( P R A SA - R obM e c h) ,   pp .   156 - 16 1,   20 17 do i :   10 . 110 9/ R o bo M e c h. 2 0 17. 8 2611 40 .             Evaluation Warning : The document was created with Spire.PDF for Python.
In do n e s i a J   E l e c   E ng  &   Co m S c i     IS S N :   2502 - 4752       E y e   b l i n k   de t e c t i on  us i ng   CNN   t o   d e t e c t   dr ow s i ne s s   l e v e l   i n   dr i v e r s   f or   r oad  s a f e t y   ( P ot hur aj u   V i s he s h )   231   B I O G R A P H I ES   OF   A U T H O R S         M r .   P o t h u r aj u   V i s h e s h   is   c ur r e nt l y   s t ud y i ng   in   F i na l   y e a r   B . T e c h   in   C o m put e r   S c i e nc e   a nd   E ng i ne e r i ng   in   C H R I S T   D e e m e d   to   be   U ni v e r s i t y ,   B e na g a l u r u .   He   c o m pl e t e d   I nt e r s h i p   in   LG   S o f t ,   I ndi a .   H i s   i n t e r e s t s   i nc l ud e   A I ,   D a t a   M i n i ng   a nd   D a t a .         D r .   R agh av e n d r a   S   is   c ur r e n t l y   w o r ki ng   as   A s s oc i a t e   P r o f e s s o r   in   t he   D e p a r t m e n t   of   C o m put e r   S c i e nc e   a nd   E ng i ne e r i ng   at   C H R I S T   D e e m e d   to   be   U ni v e r s i t y ,   B e ng a l u r u .   He   c om pl e t e d   hi s   P h . D .   d e g r e e   in   C o m put e r   S c i e nc e   a n d   E ng i ne e r i ng   f r o m   V T U ,   B e l a ga vi ,   I ndi a   in   2017   a nd   ha s   15   y e a r s   of   t e a c hi ng   e xpe r i e nc e .   H i s   i n t e r e s t s   i nc l u de   A I ,   D a t a   M i n i ng . s.         M r .   S an t o s h   K u m ar   J   is   c ur r e n t l y   w o r ki m g   as   A s s o c i a t e   P r o f e s s o r   in   t he   de p a r t m e n t   of   C o m put e r   S c i e nc e   a n d   e ng i ne e r i ng   at   K S S E M   B e ng a l ur u   a f f i l i a t e d   to   V T U   B E l a g a v i .   He   pur s ui ng   P h. D .   In   C S E   at   r e s e a r c h   c e nt r e   B G S I T   BG   N A G A R   V T U   B e l a g a v i   a nd   ha v e   13   Y e a r s   of   e xp e r i e nc e   a n d   hi s   a r e a   of   i nt e r e s t   a r e   B i g   da t a   A na l y t i c s .         D r .   R e k h a   V   is   c u r r e nt l y   w o r ki ng   as   A s s i s t a n t   P r o f e s s o r   in   t he   D e pa r t m e nt   of   C o m put e r   S c i e nc e   a nd   E ng i ne e r i ng   at   C H R I S T   D e e m e d   to   be   U ni v e r s i t y ,   B a ng a l o r e .   S h e   c o m pl e t e d   he r   P h. D .   d e g r e e   in   C o m put e r   S c i e nc e   a nd   E ng i n e e r i ng   f r o m   V T U ,   B e l a ga vi ,   I ndi a   in   201 7   a nd   ha s   15   y e a r s   of   t e a c hi ng   e xpe r i e nc e .   H e r   i n t e r e s t s   i nc l ude   C o m put e r   N e t w o r ks   a nd   C y be r   S e c ur i t y .     Evaluation Warning : The document was created with Spire.PDF for Python.