I n d on e s i an   Jo u r n al   o El e c t r i c al   En gi n e e r i n g   an d   C o m p u te r   S c i e n c e   V o l .   21 ,   N o .   1 J a n u a r y   202 1 pp .   3 98 ~ 40 5   IS S N :   25 02 - 4752 ,   D O I :   10. 1 1591 / i j e e c s . v 21 .i 1 . pp 398 - 405             398       Jou r n al   h o m e pa ge ht t p: / / i j e e c s . i a e s c or e . c om   D e e p   l e a r n i n g   b a sed   s t a t i c   h a n d   g e s t u r e   r e c o g n i t i o n         D i n S atyb a l d i n a 1 ,   G u l z i a   K al ym o v a 2   1 N a t i o na l   R e s e a r c N uc l e a r   U n i v e r s i t y   M E P hI   ( M o s c o w   E ng i ne e r i ng   P hy s i c s   I ns t i t u t e ) ,   M o s c o w ,   R us s i a F e de r a t i o   2 I nf o r m a t i o T e c hno l o g i e s   F a c ul t y ,   L . N .   G um i l y ov   E ur a s i a N a t i o na l   U n i v e r s i t y ,   N ur - S u l t a n ,   K a z a khs t a n       A r ti c l e   I n fo     A B S TR A C T     Ar t i c l e   h i s t or y :   R e c e i v e d   M ar   15 ,   2 0 20   R e v i s e J un   6 ,   20 20   A c c e pt e J u l   2 4 ,   20 20       H a nd  g e s t ur e   r e c og ni t i o b e c o m e s   a   po pul a r   t o pi c   o f   de e l e a r ni ng   a nd  pr o v i de s   m a ny   a ppl i c a t i o f i e l d s   f o r   br i dg i ng   t he   hum a n - c o m put e r   ba r r i e r   a nd  ha s   a   po s i t i v e   i m p a c t   o o ur   da i l y   l i f e .   T he   pr i m a r y   i de a   o f   o ur   pr o j e c t   i s   a   s t a t i c   g e s t u r e   a c qui s i t i o f r o m   de pt c a m e r a   a n t o   pr o c e s s   t he   i npu t   i m a g e s   t o   t r a i t h e   de e c o nvo l ut i o na l   ne u r a l   ne t w o r p r e - t r a i n e o n   I m a g e N e t   da t a s e t .   P r o po s e s y s t e m   c o ns i s t s   o f   g e s t ur e   c a p t ur e   de v i c e   ( I nt e l ®   R e a l S e ns e   de p t c a m e r a   D 435 ) ,   pr e - pr o c e s s i ng   a nd   i m a g e   s e g m e nt a t i o a l g o r i t hm s ,   f e a t ur e   e x t r a c t i o a l g o r i t hm   a nd  o bj e c t   c l a s s i f i c a t i o n.   F o r   pr e - pr o c e s s i ng   a n i m a g e   s e g m e nt a t i o a l g o r i t hm s   c o m put e r   v i s i o m e t ho ds   f r o m   t he   O pe nC V   a nd   I nt e l   R e a l   S e n s e   l i br a r i e s   a r e   u s e d .   T he   s ubs y s t e m   f o r   f e a t u r e s   e x t r a c t i ng   a nd   g e s t u r e s   c l a s s i f i c a t i o i s   b a s e o t he   m o di f i e V G G - 16  by   us i ng   t he   T e n s o r F l o w & K e r a s   de e l e a r n i ng   f r a m e w o r k.   P e r f o r m a nc e   o f   t he   s t a t i c   g e s t ur e s   r e c o g ni t i o s y s t e m   i s   e v a l ua t e us i ng   m a c hi n g   l e a r n i ng   m e t r i c s .   E xp e r i m e n t a l   r e s ul t s   s ho w   t ha t   t he   pr o po s e m o de l ,   t r a i ne d   o a   da t a ba s e   o f   200 i m a g e s ,   p r o v i de s   h i g r e c o g ni t i o a c c ur a c y   b o t a t   t he   t r a i n i ng   a nd  t e s t i ng   s t a g e s .   Ke y w or d s :   Co m put e v i s i o n   Co n v o l ut i o n a l   n e u r a l   n e t w o r D e e l e a rni n g   G e s t ur e   r e c o gn i t i o n   M a c hi n e   l e a rni n g   VGG - 16   T hi s   i s   an   ope n   ac c e s s   ar t i c l e   u nde r   t he   C C   B Y - SA   l i c e ns e .     Cor r e s pon di n g   Au t h or :   G ul z i a   K a l y m ov a   Co m put e E n gi n e e r i n g   D e pa rt m e n t   F a c ul t y   of   In f o r m a t i o n   T e c hn o l o gi e s   L . N .   G u m i l y ov   E u r a s i a N a t i o na l   U n i v e r s i t y   N ur - S u l t a n ,   K a z a k h s t a n   E m a i l :   gul z i a _k a l y m ov a @ m a i l . r u       1.   I N TR O D U C TI O N     O n e   o f   t h e   r e c e nt   y e a r ’s   t r e n ds   i s   de e l e a rni n g   (D L t e c hn o l o g y   w h i c h   i s   us e i t h e   d i gi t a l   i m a ge   pr o c e s s i n f o r   s o l v i n g   c o m pl e p r o b l e m s   (a   c l a s s i f i c a t i o n ,   s e gm e n t a t i o n   a n i m a ge   de t e c t i o n ) .   D L   t e c hn i q ue s ,   s uc h   a s   c o n v o l ut i o n a l   n e u ra l   n e t w o r ks   (CN N s ),   h a v e   a l r e a dy   i n f l ue n c e a   w i de   r a n ge   o s i gn a l   pr o c e s s i n a c t i v i t i e s   w i t h i t ra di t i o n a l   a nd  n e w   a dv a n c e a r e a s ,   i n c l u di n g   ke y   a s pe c t s   of   m a c hi n e   l e a rni n g   a n a r t i f i c i a l   i nt e l l i ge n c e   [1] .   I p a r t i c ul a r,   CN N s   s h o w e s upe r i o r   pe r f o r m a n c e   i f a c e   de t e c t i o n   a ppl i c a t i o n s   [2 3].   F u rt h e rm o r e ,   D L   ha s   m a de   c o n s i de ra b l e   pr o gr e s s   i n   de t e c t i o n   a n c l a s s i f i c a t i o n   o t h e   ha n ge s t u r e s   fo r   i m p l e m e nt a t i o n   i n t o   t h e   h u m a c o m put e i nt e r a c t i o n   (H CI)  t e c hn o l o gi e s   [4 - 6 ].     A   ge s t ur e   i s   a   c o n f i gura t i o n   a n d / o r   m o v e m e n t   o f   a   b o d y   pa r t   t h a t   e xp r e s s e s   a n   e m o t i o n,   i n t e n t i o n   o c o m m a n d.   A   s e t   of  ge s t ur e s   a n t h e i r   m e a n i n gs   f o r m   t h e   ge s t ur e s   vo c a b ul a r y .   G e s t ur e s   c a n   b e   di v i de i n t o   t w t y p e s :   s t a t i c   a nd  dy n a m i c   ge s t u r e s .   In   s t a t i c   ge s t u r e s   t h e   ha n po s i t i o n   do e s   n o t   c h a n ge   du r i n t h e   ge s t u r e   de m o n s t r a t i o n .   S t a t i c   ge s t ur e s   m a i n l y   r e l y   o n   t h e   s ha pe   a n d   e xur e   n ge r s   a n gl e s .   I n   t h e   s e c o n c a s e ,   h a nd  po s i t i o n   c h a nge s   c o n t i nuo us l y   s t ha t   dy n a m i c   ge s t ur e s   r e l y   o n   t h e   h a nd  t r a j e c t o r i e s   a nd  o r i e n t a t i o n s ,   i a ddi t i o t o   t h e   s h a pe   a nd  n ge r s   a n g l e s   [5].     I nt e l   I nc .   c re a t e d   R e a l S e ns e   d e e p   v i s i o t e c hno l o gy   a nd   d e v e l o p e d   ( i c o l l a b o ra t i o w i t M i c ro s o f t )   t he   t o o l   f o 3 D   f a c e   re c o g ni t i o n,   w hi c p ro v i d e s   a c c e s s   t o   W i nd o w s 1 0   d e v i c e s   [ 7 ] .   R e a l S e ns e   t e c hno l o gy   s u p po rt e Evaluation Warning : The document was created with Spire.PDF for Python.
In do n e s i a J   E l e c   E ng  &   Co m S c i     IS S N :   2502 - 4752       D e e p   l e ar ni n bas e s t at i c   hand   g e s t ur e   r e c ogn i t i on   ( D i na  S at y ba l di na)   399   b y   a o p e s o u rc e   s o f t w a re   de v e l o p m e nt   k i t   [ 8 ] .   T he   s e c o nd   g e ne r a t i o R e a l S e ns e   c a m e ra s   a nd   its   s t e re o   v i s i o t o   c a l c u l a t e   d e p t [ 9 ]   w e re   i nt ro d u c e d   i J a nu a ry   2 0 1 8 .   D e s p i t e   t he   f a c t   t ha t   I n t e l   R e a l S e ns e   D 4 0 0   s e ri e s   d e v i c e s   a p p e a re d   o t he   m a rk e t   o nl y   i re c e nt   y e a rs ,   t he y   b e g a t o   b e   us e d   i m a ny   a re a s ,   f o e x a m p l e ,   i s e c u ri t y   s y s t e m s   [ 1 0 ] ,   ro b o t i c s   [ 1 1 ] ,   m e d i c i ne   [ 1 2 ] ,   a nd   a g ri c u l t u re   [ 1 3 ] .   A t   t he   s a m e   t i m e ,   t he re   a re   no   w o rk s   t ha t   re p o rt   o t he   R e a l S e ns e   D 4 0 0   u s i ng   f o re c o g ni z i ng   ha nd   g e s t u re s   t ha t   c a n   b e   i nt e g r a t e d   i nt o   e f f e c t i v e   H C I   s y s t e m s .   In  t hi s   r e ga r d ,   t h e   a i m   o f   t hi s   w o r i s   t o   de v e l o a   ge s t ur e   r e c o gn i t i o a pp r o a c b a s e o n   t h e   c o m b i n e us e   o f   t h e   R e a l S e n s e   D 435   de pt s e n s o f o r   ge s t u r e   c a p t u r e   a nd  a   p r e - t ra i n e d   c o n v o l ut i o n a l   n e u r a l   n e t w o r w i t h   V G G - 16  a r c hi t e c t u r e   fo r   f e a t ur e s   e xt r a c t i o n   a n d   o b j e c t s   c l a s s i fy i n g.   R e a l S e n s e   l i b ra r i e s   f r o m   Int e l ,   O pe nCV   a nd  o pe n - s o u r c e   D L   f r a m e w o r ks   K e r a s   a n d   T e n s o r F l o w   a r e   us e f o r   s o f t w a r e   i m pl e m e nt a t i o of   t h e   ge s t ur e   r e c o gn i t i o n   s y s t e m   o n   P y t h o n .   T o   de t e r m i n e   t h e   pe r f o r m a n c e   of   o ur   a pp r o a c h   w e   c o l l e c t e a   da t a b a s e   of   1, 000   i m a ge s ,   w h i c h   c o n s i s t s   o f   40  di f f e r e n t   t y pe s   fo r   5   ge s t u r e s ,   w hi c w e r e   p r e s e n t e t o   t h e   s e n s o r   by   pe o pl e ,   a nd  t e s t e t h e   r e c o gni t i o n   s y s t e m   o n   t h e   da t a b a s e .   T h e   r e s t   o t h i s   p a pe r   i s   s t r uc t u r e a s   fo l l ow s .   T h e   de t a i l s   of   t h e   pr o po s e m e t h o a r e   de s c r i b e i S e c t i o n   2.   I n   S e c t i o n   3,   w e   b r i e f l y   i n t r o duc e   o ur   n e w l y   c o l l e c t e da t a b a s e   a nd  s h o w   t h e   e xpe r i m e nt a l   r e s ul t s .   Co n c l us i o a nd  f ut u r e   r e s e a r c h   a r e   p r e s e nt e i S e c t i o 5.       2.   R ES EA R C H   M ET H O D     2. 1 .       G e n e r a l   fr am e w o r k   o th e   h an d   s tat i c   g e s t u r e   r e c o g n i ti o n   s ys te m   H a n ge s t ur e s   r e c o gn i t i o n   i s   a   di f f i c ul t   t a s due   t ob j e c t i ve   a n s ub j e c t i ve   di ffe r e n c e s   a s s oc i a t e w i t h   a   l a r ge   n u m b e r   o de gr e e s   of   f r e e do m   of   t h e   ha n a n d   f i n ge r s   b o n e s ,   t h e   di f fe r e n c e s   i n   a r t i c ul a t i o n ,   a   r e l a t i v e l y   s m a l l   a r e a   o f   t h e   ha n ds ,   a n a   di f f e r e n t   s ki n   c o l o r .   In   a ddi t i o n ,   r e l i a b l e   a l go r i t hm s   f o r   s e gm e n t a t i o a n de t e c t i o n   o f   t h e   ha n ds   a nd  f i n ge r s   po s i t i o n s   s h o ul ha v e   i n v a r i a n c e   w i t h   r e s pe c t   t o   t h e   s i z e ,   s pe e a nd  o r i e nt a t i o n   o f   t h e   ge s t u r e ,   t h e   s c e n e   b ri g ht n e s s ,   t h e   b a c kgr o und  h e t e r o ge n e i t y   a n o t h e pa ra m e t e r s .   T h e r e f o r e ,   a   l o t   o f   di ff i c ul t i e s   c a n   b e   i nt r o duc e i n t o   t h e   a u t o m a t i n g   p r o c e s s   of   t h e   ha n d   ge s t u r e s   r e c o gn i t i o n.     In   o rde r   t o   h a n d l e   t h e   a b ov e - m e n t i o n e di f f i c ul t i e s ,   w e   pr opo s e   a   r e c o gn i z i n s t a t i c   h a nd  ge s t u r e s   s y s t e m   b a s e o n   t h e   di g i t a l   p r o c e s s i n o f   t h e   c o l o r   a nd  de pt h   i m a ge s   f r o m   a   v i de o   s t r e a m   i n   r e a l   t i m e   a n d   e xt ra c t i n g   c l a s s i f i c a t i o n   f e a t u r e s   f r o m   t h e m   i n s i de   c o n v ol ut i o n a l   n e u ra l   n e t w o r k.   T h e   s t ruc t u r e   o f   t h e   pr o po s e s y s t e m   i s   s h o w n   i n   F i g u r e   1,   a nd  o pe r a t i o n   p r i nc i pl e   of   e a c h   s t a ge   i s   de s c r i b e i n   de t a i l   i n   t h e   fo l l ow i n g   s ub s e c t i o n s .           F i gu r e   1 .   B l o c di a g r a m   o f   pr o po s e s t a t i c   h a nd  ge s t u r e   r e c ogni t i o s y s t e m       2. 2 .     C ap tu r e   i m age s   w i th   h an d   g e s tu r e s   T h e   pu r po s e   of   t h e   ge s t u r e   c a pt u r e   s e n s o i s   t o   di gi t i z e   t h e   ge s t ur e .   L i a o   B .   e t   a l   [14]  p r o po s e s t a t i c   r e c o gn i t i o n   s y s t e m   b a s e o n   t h e   de e l e a rni n m o de l .   A   do u b l e - c h a nn e l   CN N   t o   f us e   t h e   c o l o r   i n f o r m a t i o a n d   de pt h   i n f o r m a t i o n   d a t a   w e r e   c a pt u r e by   I nt e l   R e a l S e n s e 300  de pt c a m e r a E xpe r i m e nt a l   r e s ul t s   o n   ha n d   ge s t u r e s   r e p r e s e n t i ng  E n g l i s h   a l p ha b e t   de m o n s t ra t e   t h a t   t h e   r e c o gn i t i o n   a c c ura c y   i s   99. 4%.   It   w a s   s h ow n   t ha t   d e pt h   c a m e r a s   (k n o w n   a l s o   a s   R G B - D   s e n s o r s g r e a t l y   r e duc e   v a r i o us   r e s t ri c t i o n s   o e xp e r i m e nt a l   c o n d i t i o n s   a s   t h e y   ob t a i n   b o t R G B   i m a ge s   a n d   de pt i n f o r m a t i o i a a c t ua l   t i m e   a l t o ge t h e r.     Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2502 - 4752   In do n e s i a J   E l e c   E ng  &   Co m S c i ,   V o l .   21 ,   N o .   1 J a n u a r y   2021   :     398   -   405   400   D ue   t o   t h e i r   v e r s a t i l i t y ,   a c c ur a c y   a n c o m pa c t n e s s   s uc h   s e n s o r s   a n de pt h - s e n s i ng  t e c hn o l o gy   pr o v i de a   s i g n i c a nt   b oo s t   fo r   ha n ge s t u r e   a nd  po s t u r e   r e c o gn i t i o n   a l go r i t hm s   [15 - 19] .   T h e   us e m e t h o ds   fo r   f e a t ur e s   e xt ra c t i o n   a n ge s t u r e s   c l a s s i f i c a t i o n   p r o v i de   hi g h   r e c o gn i t i o a c c ura c y   of   b o t h   s t a t i c   a n d   d y n a m i c   ge s t ur e s .   It   s h o ul b e   n o t e t h a t   i n   t h e   m a j o r i t y   o p a pe r s ,   t h e   e f fe c t i ve n e s s   of   r e c o gn i t i o n   s y s t e m s   i s   ob t a i n e f o r   t h e   s m a l l   ge s t u r e s   s e t s .   It   l i m i t s   t h e i r   m a s s   a p p l i c a t i o n.   T hi s   i s   c o n f i r m e by   t h e   f a c t   t h a t   t h e r e   a r e   m a n y   o pe n   s o ur c e   de ve l o pm e n t s   f o r   f a c e ,   m o ut h   a n e y e   r e c o gn i t i o n   (O pe n CV ) ,   b ut   t h e r e   i s   r e l i a b l e   ha n d   de t e c t o r s   a b s e n c e .   T h e r e f o r e ,   t h e   p r o b l e m   o f   i m pr o v i n g   s t a t i c   a n d   dy n a m i c   po s t ur e   r e c o gn i t i o o n   a   p h o t o   i m a ge   o i a   v i de o   s t r e a m   r e m a i n s   r e l e v a n t .   In  o ur  w o r t h e   i n put   s e n s o i s   a R G B - D   c a m e r a   (I nt e l ®  R e a l S e n s e     D 435)   t ha t   gi v e s   us   a R G i m a ge   a s   w e l l   a s   de pt h s   f o r   e a c h   po i n t .   R e a l S e n s e   D 435  i s   a   c o m pa c t   (99 m m     25 m m     25 m m ;   w e i gh t   72 g)   pe r i p h e ra l   R G B - D   d e v i c e   s uppo r t i n U S B   3. s t a n d a r w i t h   a   ra n ge   of   up  t o   10  m .   T h e   c a m e r a   c o n s i s t s   o V i s i o n   P r o c e s s o r   D 4,   D e pt h   M o dul e   a nd  R G B   c a m e ra .   T he   c h a r a c t e r i s t i c s   of   a n   a c t i v e   s t e r e o   de pt h   de e p   r e s o l ut i o a nd  R G B   r e s o l ut i o n   a r e   up   t o   12 80 720   a n 1920 1080,   r e s pe c t i v e l y .   A   pa i o f   i de nt i c a l   c a m e ra s   r e f e r r e a s   i m a ge r s   (l e f t   a nd  ri ght a n d   a i n f r a r e (IR p r o j e c t o r   a r e   us e t s t e r e v i s i o n   r e a l i z a t i o n   a nd  t o   c a l c ul a t e   de pt h   a s   s h o w n   i n   F i g u r e   [16].   T h e   i n f r a r e p r o j e c t o r   pr o j e c t s   n o n - v i s i b l e   s t a t i c   IR   pa t t e rn   t o   i m p r o v e   de pt h   a c c ura c y   i n   s c e n e s   w i t h   l o w   t e xt ur e .   T h e   l e f t   a n r i g ht   i m a ge r s   c a pt u r e   t h e   s c e n e   a nd  s e n i m a ge r   d a t a   t o   t h e   de p t h   i m a gi ng  (v i s i o n )   p r o c e s s o r ,   w hi c c a l c u l a t e s   de pt h   v a l ue s   fo r   e a c h   pi xe l   i n   t h e   i m a ge   by   c o rr e l a t i n po i nt s   o n   t h e   l e f t   i m a ge   t o   t h e   r i g h t   i m a ge   a n v i a   s h i f t   b e t w e e n   a   po i n t   o n   t h e   L e f t   i m a ge   a nd  t h e   R i gh t   i m a ge .   T h e   de pt h   pi xe l   v a l ue s   a r e   pr o c e s s e t ge n e r a t e   a   de pt f ra m e .   S ub s e que n t   de pt f r a m e s   c r e a t e   a   de pt v i de o   s t r e a m .   O pe n   l i b r a r y   R e a l S e n s e   S D K   2. ha s   s t a n d a r f un c t i o n s   fo r   c a m e r a   i ni t i a l i z a t i o n ,   pa ra m e t e r s   s e t t i n g,   f u n c t i o n s   a n m e t h o ds   fo r   r e a di ng  f r a m e s   f r o m   t h e   vi de o   s t r e a m ,   by   c a l c ul a t i n t h e   di s t a n c e   f r o m   t h e   ha n t o   t h e   de pt h   c a m e ra ,   R G B   i m a ge s   a nd  de pt h   m a ps   s a v i n m e t h o ds   [15].   I t   i s   po s s i b l e   t o   m o di fy   t h e   a l go ri t hm s   a v a i l a b l e   i n   t h e   s o ur c e   c o d e   of   t h e   Re a l S e n c e   S D K   2. 0.   T h e   m e t h o ds   a n f un c t i o n s   f r o m   R e a l s e n c e   S D K   2. w e r e   us e d   t o   i m pl e m e n t   ge s t u r e s   i m a g e .   S o m e   a ddi t i o n a l   f un c t i o n s   fo r   ge s t ur e   c a pt u r e   w e r e   c o de by   t h e   a ut h o r s .           F i gu r e   2 .   ( a )   R e a l S e n s e   D 435 ,   O u t put   d a t a   f r o m   t h e   s e n s o r ,   ( b R G B   i m a ge ,   (c )   D e pt h   i m a ge       2. 3 .       I m age   p r e p r o c e s s i n g   P e r f o r m i n v a r i o us   o pe r a t i o n s   i n   t h e   s ub s e que n t   s t e ps   o t h e   ge s t u r e   r e c o gn i t i o n   s y s t e m ,   s uc h   a s   s e gm e n t a t i o n   a n f e a t u r e   e xt ra c t i o n ,   i s   m uc h   e a s i e r   f o r   p r e - p r o c e s s e i m a ge s .   A t   t hi s   s t a ge ,   us u a l l y   t h e   i n t e r f e r e n c e s   a n e xt e rn a l   n o i s e   a r e   r e duc e by   a ppl y i n t h e   o pe r a t i o n s   o f   a ve r a gi ng  a nd  hi s t o gra m s   l e v e l i n g ,   c o l o r   n o rm a l i z a t i o n   i s   a l s o   c a rr i e o ut   i a c c o r da n c e   w i t t h e   l i g h t i n g   c o n di t i o n s   a n d   l i g ht   t e m pe r a t u r e   [9] .   In  t hi s   p a pe r,   a   b i l a t e ra l   f i l t e f r o m   t h e   O pe n CV   l i b ra r y   i s   us e t o   r e m o ve   n o i s e   i n   t h e   f ra m e .   A ddi t i o n a l   m e t h o f o r   de t e r m i n i ng  t h e   a v e r a ge   b r i g h t n e s s   o f   pi xe l s   i n   a n   i m a ge   i s   a pp l i e d.   W e   i m pl e m e n t e a   f un c t i o n   f o r   c a l c ul a t i ng  a v e ra ge   b ri g h t n e s s   us i ng  n o n - l i n e a c o n v e r s i o n   f r o m   R G B   c o l o r   m o de l   t o   t h e   H S V   (H ue ,   S a t u r a t i o n ,   V a l ue ),   w h e r e   V a l ue   i s   t h e   b ri g ht n e s s   pa ra m e t e [20] .     2. 4 .       S e gm e n tati o n   m e th o d s   S e gm e n t a t i o n   i s   a n   e xt ra c t i o n   o f   a i nt e r e s t   o b j e c t   (h a n d)   f ro m   t h e   b a c kg r o un a n de t e rm i ni n i t s   l o c a t i o n   i t h e   s c e n e .   A t   t hi s   s t e p,   t h e   f o l l ow i n o pe r a t i o n s   a r e   pe r f o r m e d:   s e a r c hi n f o r   a   R e gi o n   o f   In t e r e s t   (R O I)  t o   de t e c t   h a n ds ,   r e m o v i n t h e   b a c kgr o u n d,   c o n v e r t i ng  t h e   c o l o r   i m a ge   t o   g r a y s c a l e   f r a m e ,   G a us s i a f i l t e r i ng  f o r   c l e a n i n g   o f   n o i s e gr a y s c a l e   i m a ge s ,   c o n t o uri n t h e   s e gm e nt e o bj e c t   a nd  f i na l   b i na r y   t hr e s h o l di ng  t o   i s o l a t e   t h e   h a nd  a s   s h o w n   i n   F i g u r e   3.   T o   i m pl e m e nt   t h e s e   o pe r a t i o n s ,   w e   us e bo t h   m e t h o ds   f r o m   t h e   O pe n CV   l i b r a r y   a n d   o w n   c o de   de v e l o pm e n t .     Evaluation Warning : The document was created with Spire.PDF for Python.
In do n e s i a J   E l e c   E ng  &   Co m S c i     IS S N :   2502 - 4752       D e e p   l e ar ni n bas e s t at i c   hand   g e s t ur e   r e c ogn i t i on   ( D i na  S at y ba l di na)   401       F i gu r e   3 .   H a n d   g e s t u r e   s e gm e n t a t i o n       2. 5 .     B as i c   ar c h i te c tu r e   V G G - 16   an d   t r an s fe r   t r ai n i n   A   c l a s s i f i c a t i o n   o r e c o gn i t i o n   m e c ha n i s m   i s   a   c o m put a t i o na l   a l go r i t hm   t ha t   t a ke s   a o b j e c t   r e p r e s e n t a t i o n   a nd  c o rr e l a t e s   (c l a s s i f i e s i t   a s   a n   i n s t a n c e   of   s o m e   kn ow n   c l a s s   t y pe .   In   pr o po s e m e t h o fo r   ha n s t a t i c   ge s t u r e s   r e c o gn i t i o n   w e   h a v e   us e de e c o n v ol ut i o n a l   n e u r a l   n e t w o r (D CN N w i t h   V G G - 16  m o de l   pr e - t r a i n e o n   b i i m a ge   da t a s e t .   T h e   V G G   n e t w o r a r c hi t e c t u r e   w a s   de ve l o pe d   by   K .   S i m o n y a n   a n A .   Z i s s e r m a n   [21 ].   D e s i g n i ng  a r c hi t e c t u r e   w i t h   s m a l l   c o n v o l ut i o n   l t e r s   w i t h   3 × s i z e   s h o w s   a   s i gn i c a nt   i m p r o v e m e n t   o n   t h e   n e u r a l   n e t w o r ks   t h a t   c a n   b e   a c h i e v e by  pus hi n t h e   de pt h   t o   16 - 19  w e i gh t   l a y e r s .   T h e   5   c o n vo l ut i o n a l   b l o c ks   a r e   fo l l ow e by   m a x - po o l i n l a y e r s ,   a n t hr e e   f ul l y - c o nn e c t e l a y e r s .   T h e   na l   100 0 - w a y   l a y e r   i s   a   s o f t - m a l a y e r   t h a t   o ut pu t s   c l a s s   p r o b a b i l i t i e s .   V G G - 16  w a s   t r a i n e a n t e s t e o n   Im a ge N e t   da t a b a s e   t o   c l a s s i fy   t h e   1. 3   m i l l i o n   i m a ge s   t o   t h e   1000   c l a s s e s   w i t a c c u r a c y   of   92. 7%  [ 13] .   D CN N   w i t h   f i xe w e i gh t s   o t h e   c o n vo l ut i o na l   l a y e r s ,   o b t a i n e by   t ra i ni n o n   l a rge - s c a l e   s e t s   of  na t u ra l   i m a ge s   (Im a ge N e t s h o w s   t h e   h i g h   a c c ura c y   of   c l a s s i fy i n i m a ge s   f r o m   o t h e r   s ub j e c t   a r e a s .   S uc a pp r o a c h   b a s e o n   V G G - 16  a n c o n c e pt   of  a   t r a n s f e r   l e a rni n a nd  f i n e - t u n i n w a s   us e fo r   c l a s s i f i c a t i o n   of  m a l w a r e   s a m p l e s   r e pr e s e nt e a s   by t e   pl o t   gr a y s c a l e   i m a ge s   [22].   T h e   t ra n s f e r   of   t r a i ni n c o n s i s t s   i t r a n s f e rr i ng  t h e   pa ra m e t e r s   o f   a   n e u ra l   n e t w o r t ra i n e d   w i t o n e   d a t a   s e t   t o   t r a i n   a a n o t h e r   n e u ra l   n e t w o r fo r   a   s i m i l a p r o b l e m   w i t h   d i f f e r e n t   d a t a s e t   i m a ge s   [23] .   W he n   t h e   t a r ge t   da t a s e t   i s   s i g n i c a nt l y   s m a l l e r   t h a t h e   b a s e   da t a s e t ,   t r a n s f e r   l e a rni ng  c a n   b e   a   pow e r f ul   t o o l   t o   e n a b l e   t ra i ni n a   l a r ge   t a rge t   n e t w o r w i t h o ut   ov e r t t i n g .   F i n e - t u n i ng  i s   a s s o c i a t e w i t h   t h e   n e e t o   c ha n ge   a n d   r e t r a i f ul l y   c o n n e c t e l a y e r s   i t h e   c l a s s i f i e r.   T h e   b a s i c   a r c hi t e c t u r e   o V G G - 16  c o n t a i n s   10 00  o ut put   n e u r o n s   i n   t h e   l a s t   l a y e r   a c c o r di n t o   t h e   n u m b e r   of  t h e   obj e c t ’s   c l a s s e s .   In   a   n e w   c l a s s i f i c a t i o n   t a s (f o r   e xa m pl e ,   i n   t h e   ge s t ur e   r e c o gn i t i o n   p r o b l e m ),   t h e   n u m b e r   o c l a s s e s   m a y   di ffe r   f r o m   t ha t   i n   t h e   o r i gi na l   da t a   s e t .   In   t h i s   c a s e ,   t h e   l a s t   l a y e r   i n   t h e   V G G - 16  a r c hi t e c t u r e   m us t   b e   r e m o v e d,   a n a   n e w   c l a s s i f i e r   w i t h   t h e   r e qui r e n um b e r   o f   o ut put   n e u r o n s   m us t   b e   a dde d.   It   i s   a l s o   n e c e s s a r y   t r e pl a c e   t h e   p r e v i o us   f ul l y   c onn e c t e l a y e r s   s i n c e   t h e i r   o ut put   v e c t o r s   do  n o t   c o r r e s po n t o   t h e   n e w   c l a s s i f i c a t i o n   l a y e r .   F o r   t h e   p r o po s e s y s t e m   of   t h e   s t a t i c   h a nd  ge s t u r e s   re c o gn i t i o n   w e   us e   m o di f i e V G G - 16  a r c hi t e c t u r e ,   i n   w hi c h   f ul l y   c o n n e c t e l a y e r s   w i t h   a   l a r ge   num b e r   o f   n e ur o n s   a r e   r e pl a c e by   de n s e   l a y e r s   w i t h   f e w e r   n e u r o n s .   T h e   d r o po ut   l a y e r   ha s   o ut put   c h a nn e l s   fo r   ge s t u r e s   f r o m   t h e   t ra i ni n a nd  t e s t   s e t s .   T h e   n e w   l a y e r s   w e i gh t s   a r e   i n i t i a l i z e w i t h   ra n do m   v a l ue s ,   a f t e r   w hi c h   t h e   l e a rni n g   p r o c e s s   o n   t h e   t r a i n i ng  da t a   s e t   b e gi n s .   W e   us e   a e n d - to - e nd  a pp r o a c p r o v i n g   s u rpri s i n g l y   pow e r f ul .   W i t m i ni m u m   t r a i n i ng  d a t a   f r o m   h u m a n s   t h e   n e u r o n' s   w e i gh t s   w e r e   c o rr e c t e a n re c o gn i t i o n   s y s t e m   w a s   l e a rn t   t o   i de n t i fy   h a n d   ge s t ur e s .   T h e   i nput   da t a   t o   V G G - 16  m o de l   i s   a R G B   i m a g e   w i t h   t h e   f i xe s i z e   o f   224  ×   22 4.   T h e r e f o r e ,   a t   t h e   s e gm e n t a t i o n   s t a ge ,   p r o c e s s e f r a m e s   w i t h   a   s e gm e nt e ge s t ur e   s a v e i n   a   di f f e r e n t   c o l o r   r e s o l ut i o n   R G m o de l   a r e   c o n v e r t e t o   224  ×   224  f o r m a t   a n t r a n s f e rr e t o   t h e   D CN N   i n p ut .   A f t e r   go i n t hr o ug h   s t a c of  c o n vo l ut i o n   a n po o l i n l a y e r s ,   R G B   i m a ge s   o f   h a n d   ge s t u r e s   a r e   c o n v e r t e i n t o   f e a t u r e s   m a ps   a n d   s e nt   t o   de n s e   l a y e r s .   I n   t h e   l a s t   s t e p,   t h e   s o f t m a m o de l   i s   us e t o   ge s t u r e   p r e di c t   a nd  o ut put   t h e   r e s ul t   a s   a   c o n f us i o n   m a t r i x .       3.   EX P ER I M EN TA R ES U L TS   3. 1 .       D at as e ts   W e   pr e pa r e a   n e w   da t a b a s e   w h i c h   c o n t a i n s   i m a ge s   w i t h   s e gm e nt e s t a t i c   h a nd  ge s t ur e s   s h o w n   i n   F i gu r e   4.   W e   s e l e c t e d   t h e s e   ge s t ur e s ,   w h i c h   a r e   a l s o   i n c l ude i n   a l t e rna t i v e   da t a s e t   [24 ,   25]  a n c a n   b e   us e d   t o   c r o s s - v a l i d a t e   p r o po s e s t a t i c   h a n d   ge s t u r e   r e c o g n i t i o n   s y s t e m   m o de l .   D e pt c a m e r a   I n t e l   R e a l S e n s e   D 400  pl a c e ov e r   a   t a b l e ,   t h e   s ub j e c t s   s a t   c l o s e   t o   i t ,   a n m o v e t h e i r   r i g h t   h a nd  o ve r   t h e   s e n s o r   a t   a   di s t a n c e   b e t w e e n   10  a nd  75 c m   i n   f r o nt   of   i t   a s   s h ow n   i n   F i g u r e   5.   T h e   ge s t ur e s   w e r e   pe r fo r m e by   10  d i e r e n t   s ub j e c t s   (5  w o m e n   a n d   m e n ).         Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2502 - 4752   In do n e s i a J   E l e c   E ng  &   Co m S c i ,   V o l .   21 ,   N o .   1 J a n u a r y   2021   :     398   -   405   402       F i gu r e   4 .   D a t a s e t   s a m pl e s       O ur   da t a s e t   ha s   a   t o t a l   o f   2, 000  pi c t u r e s ,   i n c l ud i n 1 , 00 0   R G B   i m a ge s   a n 1 , 000   de pt h   m a ps ,   c o l l e c t e un de r   di f f e r e n t   b a c kg r o un ds   i n   a   f e w   r oo m s   w i t h   i l l u m i na t i o n   c ha n ge s .   I n   o r de r   t o   i n c r e a s e   t h e   di v e r s i t y   of   t h e   da t a b a s e ,   w e   a l s o   t r i e i m a ge   a ugm e n t a t i o by   us i n o f   f l i ps ,   s ke w s ,   r o t a t i o n s   a n d   e t c .   T h e   s t a t i c   ha n ge s t u r e s   da t a b a s e   w a s   us e o n l y   fo r   t h e   t ra i ni n o f   t h e   m o di f i e V G G - 16.   A t   t h e   v a l i da t i o n/ t e s t i ng  s t a ge   R G B   a n d   de pt i m a ge s   f r o m   R e a l S e n s e   D 400   us e d i r e c t l y   t o   pr e di c t   ge s t u r e .   D CN N   t ra i ni n i s   t h e   f i n e - t u n e p r o c e s s   b a s e o n   t h e   p r e - t ra i n e m o de l s   V G G - 16  o n   Im a ge S e t .   A t   t h e   s t a rt ,   t h e   l e a rni n g   r a t e   i s   0 . 01  a n d   t h e n   de c r e a s e s   by   10  t i m e s   e ve r y   2000  i t e ra t i o n s .   W e i g h t   de c a y   i s   s e t   t 0. 0004 .   A t   m o s t   10, 00 i t e ra t i o n s   w e r e   n e e de fo r   t h e   f i n e - t u ni n o n   t ra i ni n g   s e t .   T h e   e xpe ri m e n t s   w e r e   do n e   o n   a   I nt e l (R Co r e (T M )   i 7 -   9 75 0H   CP U ,   N V ID IA   G e F o r c e   G T X   1650 ,   16  G B   R A M   de s kt o p.   A f t e r   pe r f o r m i ng  t ra n s f e r   l e a rni n g   w i t h   a   n e   t u n e l a s t   a c t i v a t i o n   l a y e r   w e   w e r e   a b l e   t o   a c hi e v e   a n   a v e r a ge   a c c ur a c y   of   95, %   o t h e   5 - c l a s s   s ub s e t   of   t h e   s t a t i c   ha n d   ge s t u r e .             F i gu r e   5 .   S a m p l e   h u m a s t a t i c   h a nd  ge s t u r e   t ra c ki n g   f r o m   R e a l S e n s e   D 400   s e n s o r       3. 2 .     P e r fo r m an c e   m e tr i c s   T h e   c o n f us i o n   m a t r i (CM ha s   b e e n   us e f o r   ob t a i ni n qu a n t i t a t i v e   r e s ul t s .   T h e   pr e c i s i o n,   r e c a l l ,   a n F - S c o r e   m e a s u r e s   a r e   us e a s   m e t ri c s   fo r   e v a l ua t i o n.   C M   of   s i z e   n n   a s s o c i a t e w i t h   a   c l a s s i f i e r   s h o w s   t h e   pr e di c t e a n a c t ua l   c l a s s i f i c a t i o n ,   w h e r e   n   i s   t h e   n u m b e r   o f   di ff e r e n t   c l a s s e s   [25].   W e   us e   a n   a l t e rn a t i v e   c o n s t r uc t i o n   o f   CM :   e a c h   c o l um n   r e p r e s e n t s   t h e   pe r c e nt a ge   of   h a n ge s t u r e s   t ha t   b e l o n gs   t o   e a c h   c l a s s ,   a nd  a l o n t h e   f i r s t   d i a go n a l   a r e   t h e   c o r r e c t   c l a s s i f i c a t i o n s ,   w h e re a s   a l l   t h e   o t h e r   e nt r i e s   s h o w   m i s c l a s s i f i c a t i o n s   [24].   F r o m   CM   m a t ri t w o   m e a s ur e m e nt s   c a n   b e   di r e c t l y   obs e r v e d,   t h e   p r e c i s i o n   a nd  t h e   r e c a l l ,   w hi c c a n   b e   e xpr e s s e a s   f o l l ow s :      = +   ,                                                                                                                                         (1)     = 100   × +                                                                                                                                 (2)     R e c a l l   de m o n s t ra t e s   t h e   a b i l i t y   of  t h e   a l go ri t hm   t o   de t e c t   a   gi v e n   c l a s s   i n   ge n e ra l ,   a n p r e c i s i o n   de m o n s t r a t e s   t h e   a b i l i t y   t di s t i n gui s h   t hi s   c l a s s   f r o m   o t he r   c l a s s e s .   F - S c o r e   i s   a   h a rm o n i c   m e a n   o f   t h e   pr e c i s i o a nd  r e c a l l :   Evaluation Warning : The document was created with Spire.PDF for Python.
In do n e s i a J   E l e c   E ng  &   Co m S c i     IS S N :   2502 - 4752       D e e p   l e ar ni n bas e s t at i c   hand   g e s t ur e   r e c ogn i t i on   ( D i na  S at y ba l di na)   403    = 2 ×   ×    +                                                                                    (3)     T h e   F - S c o r e   r e a c h e s   i t s   m a xi m u m   w i t h   p r e c i s i o n   a nd  r e c a l l   e qua l   t o   u n i t y   a n i s   c l o s e   t o   z e r o   i f   o n e   of   t h e   a r g um e n t s   i s   c l o s e   t o   z e r o .     3. 3 .       R e s u l ts   an d   d i s c u s s i o n   T a b l e   pr e s e nt s   t h e   CM   o b t a i n e by   us i n t h e   p r o po s e s t a t i c   h a nd  ge s t u r e   r e c o gn i t i o n   s y s t e m   o n   t e s t   s t a ge .   A s   i t   c a n   b e   s e e n ,   f o r   a l l   t h e   ge s t u r e s   t h e   p r e c i s i o n,   e l e m e nt s   o f   t h e   m a i n   d i a go n a l ,   a r e   o ve r   97%  a n j us t   a   s m a l l   pe r c e nt a ge   o s a m pl e s   a r e   de t e c t e a s   b e l o ngi n t o   o t h e r   ge s t u r e s ,   b ut   i t s   a m o u n t   i s   l e s s   t ha n   0. 2% .   T hi s   i ndi c a t e s   t ha t   o u r   a l go r i t hm   i s   qu i t e   a c c ura t e   i n   t w o   m e a s ur e m e nt s ,   p r e c i s i o n   a n r e c a l l .   E xc e pt i o i s   r e c o gn i t i o o f   pa l m ,   w h e r e   t h e   c l a s s i f i c a t i o n   e rr o r   i s   g r e a t e r   t ha n   2 . 5% .   T hi s   c a n   b e   e xpl a i n e by   a   c e r t a i n   s i m i l a ri t y   b e t w e e n   t h i s   ge s t u r e   a n t h e   ge s t ur e   o f   P e a c e .   T h e   a v e r a ge   a c c ura c y   of   ge s t ur e   r e c o gn i t i o (a c c o r di ng  t o   t h e   f i r s t   di a go na l   o f   t h e   S M )   r e a c he s   99. 4% .       T a b l e   1 .   Co n f us i o n   m a t r i x   f o r   t h e   p r o po s e s t a t i c   ha n d   ge s t u r e   r e c o gn i t i o s y s t e m     P re d i c t e d   G e s t u r e     A c t u a l   g e s t u re   F i s t   L   Ok   P a l m   P e a c e   P r e c i s i o n c   F i s t   9 9 , 9 7 9 8   0 , 0 0 1 8   0 , 0 1 3 1   0 , 0 0 5   0 , 0 0 0 3   0 , 9 9 9 8   L   0   9 9 , 9 9 7 8   0 , 0 0 2 1   0   0 , 0 0 0 1   1 , 0 0 0 0   Ok   0 , 0 0 0 8   0 , 0 2 5 5   9 9 , 9 7 2 6   0   0 , 0 0 1 1   0 , 9 9 9 7   P a l m   0 , 0 1 9 4   0 , 0 1 5 9   0 , 0 1 5 1   9 7 , 4 4 0 5   2 , 5 0 9 1   0 , 9 7 4 4   P e a c e   0   0 , 0 0 0 4   0 , 0 0 3 2   0 , 6 2 4 5   9 9 , 3 7 1 9   0 , 9 9 3 7   R e c a l l   0 , 9 9 9 8   0 , 9 9 9 6   0 , 9 9 9 7   0 , 9 9 3 6   0 , 9 7 5 4         T h e   p r o po s e h a nd  ge s t u r e   r e c o gn i t i o n   s y s t e m   h a s   b e e n   c om pa r e w i t h   t h e   o n e   p r o po s e i n   [24] .   T h e   n e a r - i n f r a r e i m a ge s   of   t h e   s a m e   ge s t ur e s   a c qu i r e by   a   L e a M o t i o n   s e n s o r .   A l o n w i t h   t h e   CM   v a l ue s ,   t h e   F - S c o r e   m e a s ur e   i s   a l s o   us e t o   c o m pa r e   t h e   r e s ul t s   o f   bo t h   s o l ut i o n s .   T hi s   m e a s u r e   i s   pr e s e nt   i n   T a b l e   2.   A s   i t   c a n   b e   s e e n   i T a b l e   2,   p r o po s e s y s t e m   i s   t h e   o n e   t h a t   a c hi e v e s   c o m pa ra b l e   r e s ul t s .         T a b l e   2 .   F - S c o r e   r e s ul t s   f o r   t h e   p r o po s e s y s t e m   a n f o r   t h e   re c o gn i t i o s y s t e m   f r o m   [2 4]     H a n d   G e s t u re   R e c o g n i t i o n   S y s t e m   G e s t u r e   P ro p o s e d   [2 4 ]   F i s t   0 , 9 9 9 8   0 , 9 9   L   0 , 9 9 9 8   0 , 9 9   Ok   0 , 9 9 9 7   0, 99   P a l m   0 , 9 8 3 9   1   P e a c e   0 , 9 8 4 5   0, 99       T h e   r e c o gn i t i o n   s y s t e m   pr o po s e i n   [ 2 4 us e   R G B   s e n s o r   a n d   a   gl o b a l   i m a ge   de s c ri pt o r ,   c a l l e d   D e pt S pa t i o gra m s   o f   Q ua nt i z e P a t t e rn s   (D S Q P ) ,   w i t h o ut   a n y   h a n d   s e gm e n t a t i o n   s t a ge .   Im a ge   de s c ri pt o r s   r e duc e f r o m   D S Q P   a r e   a n a l y z e by   a   s e t   o S uppo r t   V e c t o r s   M a c h i n e s   t o   ge s t ur e   c l a s s i f i c a t i o n .   T hi s   c o m pa ri s o n   a l s o   a l l o w s   us   t o   n o t i c e   t ha t   de pt h   m a ps   a n d   c on v o l ut i o n e u r a l   n e t w o r ks   a l l o w   a c h i e v i n g   s a m e   hi g pe r f o r m a n c e .       4.   C O N C LU S I O N     W e   pr o pos e s t a t i c   h a nd  ge s t u r e   r e c o gn i t i o n   s y s t e m   t ha t   u t i l i z e s   bo t h   R G a n de pt h   i n f o r m a t i o n   f r o m   Int e l ®  R e a l   S e n s e   de p t h   c a m e ra   D 435 .   W e   ut i l i z e de pt s e n s o r ’s   u ni que   p r o pe rt y   t o   s e gm e n t   ha n d   po s e s   a nd  pe r f o r m   b a c kg r o un d   de n o i s i ng  o i m a ge s   w i t h   ge s t u r e .   F e a t u r e s   e xt ra c t i o a nd  ge s t u r e   c l a s s i f i c a t i o w e r e   pe r f o r m e o t h e   de e c o n vo l ut i o n e u r a l   n e t w o r ks   (D CN N )   w i t h   V G G   n e t w o r a r c hi t e c t u r e ,   p r e -   t r a i n e o n   t h e   Im a ge N e t   da t a b a s e .   T h e   p r o po s e d   D CN N   w i t h   t r a n s f e r   l e a rni n w a s   i m p l e m e nt e by   K e r a s   w h i c h   t a ke s   t h e   T e n s o r F l o w   a s   t h e   b a c ke n d.   O u r   t r a i n i ng  d a t a b a s e   w a s   c o l l e c t e d   m a n u a l l y   us i n b o t h   R G B   a nd  de pt h   i m a ge s   f r o m   de pt h   s e n s o r .   T hi s   da t a b a s e   c o n s i s t s   o f   2, 000  s a m pl e s   pe r f o r m e by   w o m e n   a nd  m e n .   M o di f i e V G G - 16  m o de l   de l i v e r e t h e   h i g h   a c c ura c y   o n   t r a i n i ng  s e t   of  i m a ge s .   O b t a i n e d   r e c o gn i t i o n   s c o r e s   o n   t h e   t e s t   s t a ge   p rov e   t h e   e c i e n c y   of   t h e   p r e s e nt e r e c o gn i t i o f r a m e w o r k,   a n c l a i m   a   h i g h e r   p r o m i n e n c e   o t h e   de pt h   c a m e r a   D 435  f o r   f ut ur e   H M a ppl i c a t i o n s .   H ow e v e r ,   t h e   s t a t i c   ha n ge s t u r e s   r e c o gn i t i o n   i s   i n s uf f i c i e n t   f o r   e f f e c t i v e   H CI  s y s t e m s .   T h e r e f o r e ,   f ut u r e   r e s e a r c h   i s   Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2502 - 4752   In do n e s i a J   E l e c   E ng  &   Co m S c i ,   V o l .   21 ,   N o .   1 J a n u a r y   2021   :     398   -   405   404   r e l a t e t o   t h e   m e t h o de v e l o pm e n t   f o r   r e c o gn i z i ng  dy n a m i c   ha n ge s t u r e s   a nd  t h e   e xpa n s i o n   o f   t h e   da t a b a s e   a n o b j e c t   c l a s s e s .       A C K N O WL ED G E M EN TS     T h i s   w o r h a s   b e e n   s uppo r t e by   t h e   M i ni s t r y   of   D i gi t a l   D e v e l o pm e n t ,   I nn o v a t i o n s   a n A e r o s pa c e   In d us t r y   of   t h e   R e pub l i c   o f   K a z a k h s t a u n de r   p r o j e c t   №  A P 0 6850817 .       R EF ER EN C ES     [ 1]   S .   R .   S r e e ,   e t   a l . R e a l - W o r l A ppl i c a t i o o f   M a c hi ne   L e a r n i n g   a nd  D e e L e a r ni ng ,   i n   201 I nt e r n at i on al   C onf e r e nc e   on   Sm a r t   S y s t e m s   an I nv e n t i v e   T e c hno l og y   ( I C SSI T ) ,   pp.   10 69 - 1073 ,   201 9 .   [ 2]   T .   V .   J a n a hi r a m a a nd   P .   S u br a m a n i a m ,   G e n de r   C l a s s i f i c a t i o B a s e o A s i a F a c e s   us i ng   D e e L e a r ni ng ,     i 20 19   I E E E   9t I n t e r nat i o nal   C o nf e r e nc e   on   S y s t e m   E ng i ne e r i ng   and  T e c hno l ogy   ( I C SE T ) pp.   8 4 - 89,   20 19 .   [ 3]   R .   I .   B e ndj i l l a l i ,   e t   a l . I l l um i n a t i o n - r o bus t   f a c e   r e c og ni t i o ba s e o de e c o nv o l ut i o na l   n e u r a l   ne t w o r ks   a r c hi t e c t u r e s ,   I n done s i an  J ou r na l   o f   E l e c t r i c a l   E ngi ne e r i ng  a nd  C om put e r   Sc i e nc e v o l .   18 ,   no .   2 ,   pp.   101 5 - 1027 ,   2020 .   [ 4]   A .   K H .   A l S a e di   a nd   A .   H .   H .   A l A s a di ,   A   ne w   ha n g e s t ur e s   r e c o g ni t i o s y s t e m ,   I ndo ne s i a J our n al   o f   E l e c t r i c al   E ng i ne e r i ng   a nd  C om pu t e r   S c i e nc e v o l .   18 ,   no .   1 ,   p p.   4 9 - 55,   2020 .   [ 5]   P .   K .   P i s ha r a dy   a nd   M .   S a e r b e c k,   R e c e n t   m e t ho ds   a nd  da t a b a s e s   i v i s i o n - ba s e ha nd  g e s t ur e   r e c o g ni t i o n:     A   r e v i e w ,   C om put e r   V i s i on   and   I m age   U nde r s t a ndi ng ,   v o l .   141 ,   p p.   152 - 16 5,   20 15.   [ 6]   B .   K .   C ha k r a bo r t y ,   e t   a l . R e v i e w   o f   c o ns t r a i n t s   o v i s i o n - ba s e g e s t ur e   r e c o g ni t i o f o r   hum a n c o m put e r   i nt e r a c t i o n,   I E T   C om pu t e r   V i s i o n ,   v o l .   12 ,   no .   1,   p p.   3 - 15 ,   2017 .   [ 7]   L .   K e s e l m a n ,   e t   a l . I nt e l   R   R e a l S e ns e   T M   S t e r e o s c o pi c   D e pt C a m e r a s ,   i P r oc e e di ng s   o f   t he   I E E E   C onf e r e nc e   on  C om put e r   V i s i on   and   P at t e r R e c og ni t i on   W or k s ho ps ,   p p.   1 - 10 ,   2017 .   [ 8]   I nt e l ®   R e a l S e n s e   S D K   2 . 0   h t t p s : / / w w w . i nt e l r e a l s e n s e . c o m / de v e l o pe r s / .   [ 9]   I nt e l   R e a l S e ns e   D 40 S e r i e s   P r o duc t   F a m i l y .   D a t a s he e t .   20 19  I nt e l   C o r po r a t i o n.   D o c um e nt   N um b e r :   3370 29 - 007 .   ht t ps : / / w w w . i n t e l . c o m / .   [ 10]   R .   D .   B o c k,   L o w - c o s t   3D   s e c ur i t y   c a m e r a .   A ut o no m o us   S y s t e m s :   S e ns o r s ,   V e hi c l e s ,   S e c ur i t y ,   a nd  t he   I nt e r ne t   o f   E v e r y t hi ng ,   I nt e r n at i on al   So c i e t y   f or   O p t i c s   an P hot oni c s v o l .   1 0643 ,   pp.   1 0643 0E ,   20 18 .   [ 11]   Q .   F a ng ,   e t   a l . ,   R G B - C a m e r a   b a s e 3D   H um a M o ut h   D e t e c t i o a nd  T r a c k i ng   T o w a r ds   R o bo t i c   F e e d i ng   A s s i s t a nc e ,   i P r oc e e di ngs   o f   t he   11t P e r v as i v e   T e c hnol ogi e s   R e l at e t A s s i s t i v e   E nv i r onm e nt s   C onf e r e nc e   pp.   39 1 - 396,   2 018 .   [ 12]   H .   A o ki ,   e t   a l . S t udy   o N o n - C o nt a c t   H e a r t   B e a t   M e a s ur e m e n t   M e t ho by   U s i ng   D e pt S e ns o r ,   i W or l d   C ongr e s s   on   M e di c al   P hy s i c s   an B i om e di c a l   E ngi ne e r i ng ,   p p.   34 1 - 345 ,   201 9 .   [ 13]   T .   N .   S y e d,   e t   a l . S e e d l i ng - l um i n t e g r a t e no n - de s t r uc t i v e   m o ni t o r i ng   f o r   a ut o m a t i c   t r a ns pl a nt i ng   w i t I nt e l   R e a l S e ns e   de p t h   c a m e r a ,”   A r t i f i c i a l   I n t e l l i ge nc e   i n   A gr i c u l t ur e v o l .   3 ,   p p.   18 - 32 ,   201 9.   [ 14]   B .   L i a o ,   e t   a l . H a nd   g e s t u r e   r e c og ni t i o w i t g e ne r a l i z e d   ho ug t r a ns f o r m   a nd   D C - C N N   us i ng   r e a l s e n s e ,   i n   201 8   E i gh t h   I n t e r na t i ona l   C onf e r e nc e   o I n f or m at i on   Sc i e nc e   an T e c hn ol og y   ( I C I ST ) ,   p p.   84 - 90 ,   201 8 .   [ 15]   M .   B .   H o l t e ,   e t   a l . F us i o o f   r a ng e   a nd  i n t e n s i t y   i nf o r m a t i o f o r   v i e w   i nv a r i a n t   g e s t ur e   r e c o g ni t i o n ,   i 2008   I E E E   C om pu t e r   S oc i e t y   C on f e r e nc e   on  C om pu t e r   V i s i on   an P at t e r R e c ogn i t i o W or k s hop s ,   pp .   1 - 7 ,   20 08 .   [ 16]   M .   V a de n   B e r g h ,   e t   a l . ,   R e a l - t i m e   3D   h a nd  g e s t u r e   i n t e r a c t i o w i t a   r o bo t   f o r   und e r s t a ndi ng   di r e c t i o ns   f r o m   hum a ns ,   i 2011   R o - M an ,   pp .   3 57 - 362 ,   201 1.     [ 17]   Z .   R e n e t   a l . R o bus t   h a nd  g e s t u r e   r e c o g ni t i o ba s e o f i ng e r - e a r t m o v e r ' s   di s t a nc e   w i t a   c o m m o di t y   de pt h   c a m e r a ,   i n   P r oc e e di ngs   o f   t he   19t A C M   i nt e r na t i ona l   c on f e r e nc e   on  M u l t i m e di a ,   pp .   1093 - 10 96,   2 011 .   [ 18]   D .   W u,   e t   a l . ,   O ne   s ho t   l e a r n i ng   g e s t ur e   r e c o g ni t i o f r o m   r gbd  i m a g e s ,   i 2012  I E E E   C om pu t e r   Soc i e t y   C onf e r e nc e   on   C om p ut e r   V i s i on  and   P at t e r n   R e c og ni t i on  W or k s ho ps ,   pp .   7 - 12 ,   2 012 .   [ 19]   C .   K e s k i n ,   e t   a l . R a n do m i z e de c i s i o f o r e s t s   f o r   s t a t i c   a nd  d y na m i c   ha nd  s ha pe   c l a s s i f i c a t i o n,   i 20 12  I E E E   C om put e r   So c i e t y   C o nf e r e nc e   on   C om p ut e r   V i s i on  and   P at t e r n   R e c ogni t i on   W or k s ho ps ,   pp.   3 1 - 36 ,   20 12 .   [ 20]   V .   C he r no v ,   e t   a l . I nt e g e r - ba s e a c c ur a t e   c o nv e r s i o be t w e e n   R G B   a nd  H S V   c o l o r   s pa c e s ,”   C om put e r s   &   E l e c t r i c al   E ng i ne e r i ng ,   v o l .   4 6,   pp .   328 - 33 7,   20 15 .   [ 21]   K .   S i m o n y a a nd  A .   Z i s s e r m a n,   V e r y   de e c o nvo l ut i o na l   ne t w o r k s   f o r   l a r g e - s c a l e   i m a g e   r e c o g ni t i o n ,”     a r X i v   pr e pr i n t   a r X i v:   1409 . 155 6,   20 14 .   [ 22]   E .   R e z e n de ,   e t   a l . M a l i c i o us   s o f t w a r e   c l a s s i f i c a t i o us i ng   V G G 16  d e e p   ne u r a l   ne t w o r k s   bo t t l e ne c f e a t u r e s ,”   I nf or m a t i on  T e c hno l og y - N e w   G e ne r at i on s ,   pp .   51 - 59 ,   2018 .   [ 23]   Z .   L i u ,   e t   a l . I m pr o v e ki w i f r u i t   de t e c t i o us i ng   pr e - t r a i n e V G G 16  w i t h   R G B   a nd   N I R   i nf o r m a t i o f us i o n ,”   I E E E   A c c e s s ,   pp .   2327 - 23 36 ,   2 019 .   [ 24]   T .   M a nt e c ón,   e t   a l . H a nd  G e s t ur e   R e c o g ni t i o us i ng   I nf r a r e I m a g e r y   P r ov i de by   L e a M o t i o C o nt r o l l e r ,     i J .   B l a nc - t a l o n ,   e t   a l .   ( e d s . ) ,   S pr i ng e r ,   H e i d e l be r g ,   pp .   47 - 57 ,   201 6 .   [ 25]   S .   V i s a ,   e t   a l . C o nf us i o M a t r i x - ba s e d   F e a t u r e   S e l e c t i o n ,”   M A I C S ,   v o l .   710 ,   pp .   120 - 127 ,   201 1.           Evaluation Warning : The document was created with Spire.PDF for Python.
In do n e s i a J   E l e c   E ng  &   Co m S c i     IS S N :   2502 - 4752       D e e p   l e ar ni n bas e s t at i c   hand   g e s t ur e   r e c ogn i t i on   ( D i na  S at y ba l di na)   405   B I O G R A P H I ES   O F   A U T H O R S         D r .   D i n a   S a t y b al d i n a   i s   a A s s o c i a t e   P r o f e s s o r   a t   t he   N a t i o na l   R e s e a r c N uc l e a r   U n i v e r s i t y   M E P hI   ( M o s c o w   E n g i ne e r i ng   P hy s i c s   I ns t i t u t e ) ,   M o s c o w ,   R us s i a F e de r a t i o a nd  a   P r o f e s s o r   o f   t he   C o m put e r   E ng i ne e r i ng   D e p a r t m e n t   a t   L . N . G um i l y ov   E ur a s i a N a t i o na l   U n i v e r s i t y   ( E N U ) ,   N ur - S ul t a n ,   K a z a k hs t a n .   S h e   r e c e i v e he r   P hD   d e g r e e   ( C a n di d a t e   S c i e nc e s   i P hy s i c s   a n d   M a t he m a t i c s )   f r o m   E . A . B uke t o v   K a r a g a nda   S t a t e   U ni v e r s i t y ,   K a z a khs t a n .   I 2011  s he   o bt a i n e d   P hD   de g r e e   i C o m put e r   S c i e nc e   f r o m   a l - F a r a b i   K a z a kh   N a t i o na l   U n i v e r s i t y ,   A l m a t y ,   K a z a khs t a n .   H e r   r e s e a r c i nt e r e s t s   i nc l u de   S i g na l   P r o c e s s i ng ,   C o m put e r   S e c ur i t y ,   M a c hi n e   L e a r ni ng   a nd  H um a n - c om put e r   i n t e r a c t i o n.   S he   ha s   m o r e   t ha 7 5   publ i c a t i o ns   r e l a t e t o   t he s e   a r e a s   i v a r i o us   i nt e r n a t i o na l   j o ur n a l s   a nd  c o nf e r e nc e   pr o c e e d i n g s   a nd  ha s   c o - a ut ho r e o ne   bo o k.   D r .   S a t y ba l di n a   i s   a   M e m be r   o f   I E E E   C o m m uni c a t i o ns   S o c i e t y   a nd  a a c t i v e   r e v i e w e r   i n   m a ny   j o ur na l s   o f   t h e   a r e a s   o f   c o m put e r   s c i e nc e   a n c o m put e r   s e c ur i t y .           G u l z i K a l y m ov a   i s   c ur r e n t l y   a   P hD   s t ud e n t   i t he   C o m pu t e r   E ng i ne e r i ng   D e pa r t m e nt   a t   L . N . G um i l y ov   E ur a s i a N a t i o na l   U ni v e r s i t y ,   N ur - S ul t a n ,   K a z a khs t a n.   S h e   r e c e i v e he r   B a c he l o r   a nd  M a s t e r   de g r e e s   i M a t he m a t i c s   i K a z a kh  N a t i o na l   U n i v e r s i t y   a f t e r   A l - F a r a bi ,   A l m a t y ,   K a z a khs t a n .   H e r   c ur r e n t   r e s e a r c i nt e r e s t s   i nc l ude   H um a n - C om put e r   I nt e r a c t i o ns ,   M a c hi n e   L e a r ni ng ,   G e s t u r e   R e c o g ni t i o n,   C o m put e r   V i s i o a nd  I m a g e   P r o c e s s i ng .   S he   ha s   pu bl i s h e d   a r o und   10   r e s e a r c pa p e r s   i n   di f f e r e n t   i n t e r na t i o na l   a nd   na t i o na l   j o u r na l s   a n c o nf e r e nc e s .     Evaluation Warning : The document was created with Spire.PDF for Python.