I n d on e s i an   Jo u r n al   o f  El e c t r i c al   En gi n e e r i n g   an d   C o m p u te r   S c i e n c e   V o l .   21 ,   N o .   1 ,  J a n u a r y   202 1 ,  pp .   3 98 ~ 40 5   IS S N :   25 02 - 4752 ,   D O I :   10. 1 1591 / i j e e c s . v 21 .i 1 . pp 398 - 405             398       Jou r n al   h o m e pa ge :  ht t p: / / i j e e c s . i a e s c or e . c om   D e e p   l e a r n i n g   b a sed   s t a t i c   h a n d   g e s t u r e   r e c o g n i t i o n         D i n a  S atyb a l d i n a 1 ,   G u l z i a   K al ym o v a 2   1 N a t i o na l   R e s e a r c h  N uc l e a r   U n i v e r s i t y   “ M E P hI ”   ( M o s c o w   E ng i ne e r i ng   P hy s i c s   I ns t i t u t e ) ,   M o s c o w ,   R us s i a n  F e de r a t i o n    2 I nf o r m a t i o n  T e c hno l o g i e s   F a c ul t y ,   L . N .   G um i l y ov   E ur a s i a n  N a t i o na l   U n i v e r s i t y ,   N ur - S u l t a n ,   K a z a khs t a n       A r ti c l e   I n fo     A B S TR A C T     Ar t i c l e   h i s t or y :   R e c e i v e d   M ar   15 ,   2 0 20   R e v i s e d  J un   6 ,   20 20   A c c e pt e d  J u l   2 4 ,   20 20       H a nd  g e s t ur e   r e c og ni t i o n  b e c o m e s   a   po pul a r   t o pi c   o f   de e p  l e a r ni ng   a nd  pr o v i de s   m a ny   a ppl i c a t i o n  f i e l d s   f o r   br i dg i ng   t he   hum a n - c o m put e r   ba r r i e r   a nd  ha s   a   po s i t i v e   i m p a c t   o n  o ur   da i l y   l i f e .   T he   pr i m a r y   i de a   o f   o ur   pr o j e c t   i s   a   s t a t i c   g e s t u r e   a c qui s i t i o n  f r o m   de pt h  c a m e r a   a n d  t o   pr o c e s s   t he   i npu t   i m a g e s   t o   t r a i n  t h e   de e p  c o nvo l ut i o na l   ne u r a l   ne t w o r k  p r e - t r a i n e d  o n   I m a g e N e t   da t a s e t .   P r o po s e d  s y s t e m   c o ns i s t s   o f   g e s t ur e   c a p t ur e   de v i c e   ( I nt e l ®   R e a l S e ns e ™   de p t h  c a m e r a   D 435 ) ,   pr e - pr o c e s s i ng   a nd   i m a g e   s e g m e nt a t i o n  a l g o r i t hm s ,   f e a t ur e   e x t r a c t i o n  a l g o r i t hm   a nd  o bj e c t   c l a s s i f i c a t i o n.   F o r   pr e - pr o c e s s i ng   a n d  i m a g e   s e g m e nt a t i o n  a l g o r i t hm s   c o m put e r   v i s i o n  m e t ho ds   f r o m   t he   O pe nC V   a nd   I nt e l   R e a l   S e n s e   l i br a r i e s   a r e   u s e d .   T he   s ubs y s t e m   f o r   f e a t u r e s   e x t r a c t i ng   a nd   g e s t u r e s   c l a s s i f i c a t i o n  i s   b a s e d  o n  t he   m o di f i e d  V G G - 16  by   us i ng   t he   T e n s o r F l o w & K e r a s   de e p  l e a r n i ng   f r a m e w o r k.   P e r f o r m a nc e   o f   t he   s t a t i c   g e s t ur e s   r e c o g ni t i o n  s y s t e m   i s   e v a l ua t e d  us i ng   m a c hi n g   l e a r n i ng   m e t r i c s .   E xp e r i m e n t a l   r e s ul t s   s ho w   t ha t   t he   pr o po s e d  m o de l ,   t r a i ne d   o n  a   da t a ba s e   o f   200 0  i m a g e s ,   p r o v i de s   h i g h  r e c o g ni t i o n  a c c ur a c y   b o t h  a t   t he   t r a i n i ng   a nd  t e s t i ng   s t a g e s .   Ke y w or d s :   Co m put e r  v i s i o n   Co n v o l ut i o n a l   n e u r a l   n e t w o r k  D e e p  l e a rni n g   G e s t ur e   r e c o gn i t i o n   M a c hi n e   l e a rni n g   VGG - 16   T hi s   i s   an   ope n   ac c e s s   ar t i c l e   u nde r   t he   C C   B Y - SA   l i c e ns e .     Cor r e s pon di n g   Au t h or :   G ul z i a   K a l y m ov a   Co m put e r  E n gi n e e r i n g   D e pa rt m e n t   F a c ul t y   of   In f o r m a t i o n   T e c hn o l o gi e s   L . N .   G u m i l y ov   E u r a s i a n  N a t i o na l   U n i v e r s i t y   N ur - S u l t a n ,   K a z a k h s t a n   E m a i l :   gul z i a _k a l y m ov a @ m a i l . r u       1.   I N TR O D U C TI O N     O n e   o f   t h e   r e c e nt   y e a r ’s   t r e n ds   i s   de e p  l e a rni n g   (D L )  t e c hn o l o g y   w h i c h   i s   us e d  i n  t h e   d i gi t a l   i m a ge   pr o c e s s i n g  f o r   s o l v i n g   c o m pl e x  p r o b l e m s   (a   c l a s s i f i c a t i o n ,   s e gm e n t a t i o n   a n d  i m a ge   de t e c t i o n ) .   D L   t e c hn i q ue s ,   s uc h   a s   c o n v o l ut i o n a l   n e u ra l   n e t w o r ks   (CN N s ),   h a v e   a l r e a dy   i n f l ue n c e d  a   w i de   r a n ge   o f  s i gn a l   pr o c e s s i n g  a c t i v i t i e s   w i t h i n  t ra di t i o n a l   a nd  n e w   a dv a n c e d  a r e a s ,   i n c l u di n g   ke y   a s pe c t s   of   m a c hi n e   l e a rni n g   a n d  a r t i f i c i a l   i nt e l l i ge n c e   [1] .   I n  p a r t i c ul a r,   CN N s   s h o w e d  s upe r i o r   pe r f o r m a n c e   i n  f a c e   de t e c t i o n   a ppl i c a t i o n s   [2 ,  3].   F u rt h e rm o r e ,   D L   ha s   m a de   c o n s i de ra b l e   pr o gr e s s   i n   de t e c t i o n   a n d  c l a s s i f i c a t i o n   o f  t h e   ha n d  ge s t u r e s   fo r   i m p l e m e nt a t i o n   i n t o   t h e   h u m a n  c o m put e r  i nt e r a c t i o n   (H CI)  t e c hn o l o gi e s   [4 - 6 ].     A   ge s t ur e   i s   a   c o n f i gura t i o n   a n d / o r   m o v e m e n t   o f   a   b o d y   pa r t   t h a t   e xp r e s s e s   a n   e m o t i o n,   i n t e n t i o n   o r  c o m m a n d.   A   s e t   of  ge s t ur e s   a n d  t h e i r   m e a n i n gs   f o r m   t h e   ge s t ur e s   vo c a b ul a r y .   G e s t ur e s   c a n   b e   di v i de d  i n t o   t w o  t y p e s :   s t a t i c   a nd  dy n a m i c   ge s t u r e s .   In   s t a t i c   ge s t u r e s   t h e   ha n d  po s i t i o n   do e s   n o t   c h a n ge   du r i n g  t h e   ge s t u r e   de m o n s t r a t i o n .   S t a t i c   ge s t ur e s   m a i n l y   r e l y   o n   t h e   s ha pe   a n d   fl e xur e   fi n ge r s   a n gl e s .   I n   t h e   s e c o n d  c a s e ,   h a nd  po s i t i o n   c h a nge s   c o n t i nuo us l y   s o  t ha t   dy n a m i c   ge s t ur e s   r e l y   o n   t h e   h a nd  t r a j e c t o r i e s   a nd  o r i e n t a t i o n s ,   i n  a ddi t i o n  t o   t h e   s h a pe   a nd  fi n ge r s   a n g l e s   [5].     I nt e l   I nc .   c re a t e d   R e a l S e ns e   d e e p   v i s i o n  t e c hno l o gy   a nd   d e v e l o p e d   ( i n  c o l l a b o ra t i o n  w i t h  M i c ro s o f t )   t he   t o o l   f o r  3 D   f a c e   re c o g ni t i o n,   w hi c h  p ro v i d e s   a c c e s s   t o   W i nd o w s 1 0   d e v i c e s   [ 7 ] .   R e a l S e ns e   t e c hno l o gy   s u p po rt e d  Evaluation Warning : The document was created with Spire.PDF for Python.
In do n e s i a n  J   E l e c   E ng  &   Co m p  S c i     IS S N :   2502 - 4752       D e e p   l e ar ni n g  bas e d  s t at i c   hand   g e s t ur e   r e c ogn i t i on   ( D i na  S at y ba l di na)   399   b y   a n  o p e n  s o u rc e   s o f t w a re   de v e l o p m e nt   k i t   [ 8 ] .   T he   s e c o nd   g e ne r a t i o n  R e a l S e ns e   c a m e ra s   a nd   its   s t e re o   v i s i o n  t o   c a l c u l a t e   d e p t h  [ 9 ]   w e re   i nt ro d u c e d   i n  J a nu a ry   2 0 1 8 .   D e s p i t e   t he   f a c t   t ha t   I n t e l   R e a l S e ns e   D 4 0 0   s e ri e s   d e v i c e s   a p p e a re d   o n  t he   m a rk e t   o nl y   i n  re c e nt   y e a rs ,   t he y   b e g a n  t o   b e   us e d   i n  m a ny   a re a s ,   f o r  e x a m p l e ,   i n  s e c u ri t y   s y s t e m s   [ 1 0 ] ,   ro b o t i c s   [ 1 1 ] ,   m e d i c i ne   [ 1 2 ] ,   a nd   a g ri c u l t u re   [ 1 3 ] .   A t   t he   s a m e   t i m e ,   t he re   a re   no   w o rk s   t ha t   re p o rt   o n  t he   R e a l S e ns e   D 4 0 0   u s i ng   f o r  re c o g ni z i ng   ha nd   g e s t u re s   t ha t   c a n   b e   i nt e g r a t e d   i nt o   e f f e c t i v e   H C I   s y s t e m s .   In  t hi s   r e ga r d ,   t h e   a i m   o f   t hi s   w o r k  i s   t o   de v e l o p  a   ge s t ur e   r e c o gn i t i o n  a pp r o a c h  b a s e d  o n   t h e   c o m b i n e d  us e   o f   t h e   R e a l S e n s e   D 435   de pt h  s e n s o r  f o r   ge s t u r e   c a p t u r e   a nd  a   p r e - t ra i n e d   c o n v o l ut i o n a l   n e u r a l   n e t w o r k  w i t h   V G G - 16  a r c hi t e c t u r e   fo r   f e a t ur e s   e xt r a c t i o n   a n d   o b j e c t s   c l a s s i fy i n g.   R e a l S e n s e   l i b ra r i e s   f r o m   Int e l ,   O pe nCV   a nd  o pe n - s o u r c e   D L   f r a m e w o r ks   K e r a s   a n d   T e n s o r F l o w   a r e   us e d  f o r   s o f t w a r e   i m pl e m e nt a t i o n  of   t h e   ge s t ur e   r e c o gn i t i o n   s y s t e m   o n   P y t h o n .   T o   de t e r m i n e   t h e   pe r f o r m a n c e   of   o ur   a pp r o a c h   w e   c o l l e c t e d  a   da t a b a s e   of   1, 000   i m a ge s ,   w h i c h   c o n s i s t s   o f   40  di f f e r e n t   t y pe s   fo r   5   ge s t u r e s ,   w hi c h  w e r e   p r e s e n t e d  t o   t h e   s e n s o r   by   5  pe o pl e ,   a nd  t e s t e d  t h e   r e c o gni t i o n   s y s t e m   o n   t h e   da t a b a s e .   T h e   r e s t   o f  t h i s   p a pe r   i s   s t r uc t u r e d  a s   fo l l ow s .   T h e   de t a i l s   of   t h e   pr o po s e d  m e t h o d  a r e   de s c r i b e d  i n  S e c t i o n   2.   I n   S e c t i o n   3,   w e   b r i e f l y   i n t r o duc e   o ur   n e w l y   c o l l e c t e d  da t a b a s e   a nd  s h o w   t h e   e xpe r i m e nt a l   r e s ul t s .   Co n c l us i o n  a nd  f ut u r e   r e s e a r c h   a r e   p r e s e nt e d  i n  S e c t i o n  5.       2.   R ES EA R C H   M ET H O D     2. 1 .       G e n e r a l   fr am e w o r k   o f  th e   h an d   s tat i c   g e s t u r e   r e c o g n i ti o n   s ys te m   H a n d  ge s t ur e s   r e c o gn i t i o n   i s   a   di f f i c ul t   t a s k  due   t o  ob j e c t i ve   a n d  s ub j e c t i ve   di ffe r e n c e s   a s s oc i a t e d  w i t h   a   l a r ge   n u m b e r   o f  de gr e e s   of   f r e e do m   of   t h e   ha n d  a n d   f i n ge r s   b o n e s ,   t h e   di f fe r e n c e s   i n   a r t i c ul a t i o n ,   a   r e l a t i v e l y   s m a l l   a r e a   o f   t h e   ha n ds ,   a n d  a   di f f e r e n t   s ki n   c o l o r .   In   a ddi t i o n ,   r e l i a b l e   a l go r i t hm s   f o r   s e gm e n t a t i o n  a n d  de t e c t i o n   o f   t h e   ha n ds   a nd  f i n ge r s   po s i t i o n s   s h o ul d  ha v e   i n v a r i a n c e   w i t h   r e s pe c t   t o   t h e   s i z e ,   s pe e d  a nd  o r i e nt a t i o n   o f   t h e   ge s t u r e ,   t h e   s c e n e   b ri g ht n e s s ,   t h e   b a c kgr o und  h e t e r o ge n e i t y   a n d  o t h e r  pa ra m e t e r s .   T h e r e f o r e ,   a   l o t   o f   di ff i c ul t i e s   c a n   b e   i nt r o duc e d  i n t o   t h e   a u t o m a t i n g   p r o c e s s   of   t h e   ha n d   ge s t u r e s   r e c o gn i t i o n.     In   o rde r   t o   h a n d l e   t h e   a b ov e - m e n t i o n e d  di f f i c ul t i e s ,   w e   pr opo s e   a   r e c o gn i z i n g  s t a t i c   h a nd  ge s t u r e s   s y s t e m   b a s e d  o n   t h e   di g i t a l   p r o c e s s i n g  o f   t h e   c o l o r   a nd  de pt h   i m a ge s   f r o m   a   v i de o   s t r e a m   i n   r e a l   t i m e   a n d   e xt ra c t i n g   c l a s s i f i c a t i o n   f e a t u r e s   f r o m   t h e m   i n s i de   c o n v ol ut i o n a l   n e u ra l   n e t w o r k.   T h e   s t ruc t u r e   o f   t h e   pr o po s e d  s y s t e m   i s   s h o w n   i n   F i g u r e   1,   a nd  o pe r a t i o n   p r i nc i pl e   of   e a c h   s t a ge   i s   de s c r i b e d  i n   de t a i l   i n   t h e   fo l l ow i n g   s ub s e c t i o n s .           F i gu r e   1 .   B l o c k  di a g r a m   o f   pr o po s e d  s t a t i c   h a nd  ge s t u r e   r e c ogni t i o n  s y s t e m       2. 2 .     C ap tu r e   i m age s   w i th   h an d   g e s tu r e s   T h e   pu r po s e   of   t h e   ge s t u r e   c a pt u r e   s e n s o r  i s   t o   di gi t i z e   t h e   ge s t ur e .   L i a o   B .   e t   a l   [14]  p r o po s e d  a  s t a t i c   r e c o gn i t i o n   s y s t e m   b a s e d  o n   t h e   de e p  l e a rni n g  m o de l .   A   do u b l e - c h a nn e l   CN N   t o   f us e   t h e   c o l o r   i n f o r m a t i o n  a n d   de pt h   i n f o r m a t i o n   d a t a   w e r e   c a pt u r e d  by   I nt e l   R e a l S e n s e 300  de pt h  c a m e r a .  E xpe r i m e nt a l   r e s ul t s   o n   ha n d   ge s t u r e s   r e p r e s e n t i ng  E n g l i s h   a l p ha b e t   de m o n s t ra t e   t h a t   t h e   r e c o gn i t i o n   a c c ura c y   i s   99. 4%.   It   w a s   s h ow n   t ha t   d e pt h   c a m e r a s   (k n o w n   a l s o   a s   R G B - D   s e n s o r s )  g r e a t l y   r e duc e   v a r i o us   r e s t ri c t i o n s   o n  e xp e r i m e nt a l   c o n d i t i o n s   a s   t h e y   ob t a i n   b o t h  R G B   i m a ge s   a n d   de pt h  i n f o r m a t i o n  i n  a n  a c t ua l   t i m e   a l t o ge t h e r.     Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2502 - 4752   In do n e s i a n  J   E l e c   E ng  &   Co m p  S c i ,   V o l .   21 ,   N o .   1 ,  J a n u a r y   2021   :     398   -   405   400   D ue   t o   t h e i r   v e r s a t i l i t y ,   a c c ur a c y   a n d  c o m pa c t n e s s   s uc h   s e n s o r s   a n d  de pt h - s e n s i ng  t e c hn o l o gy   pr o v i de d  a   s i g n i fi c a nt   b oo s t   fo r   ha n d  ge s t u r e   a nd  po s t u r e   r e c o gn i t i o n   a l go r i t hm s   [15 - 19] .   T h e   us e d  m e t h o ds   fo r   f e a t ur e s   e xt ra c t i o n   a n d  ge s t u r e s   c l a s s i f i c a t i o n   p r o v i de   hi g h   r e c o gn i t i o n  a c c ura c y   of   b o t h   s t a t i c   a n d   d y n a m i c   ge s t ur e s .   It   s h o ul d  b e   n o t e d  t h a t   i n   t h e   m a j o r i t y   o f  p a pe r s ,   t h e   e f fe c t i ve n e s s   of   r e c o gn i t i o n   s y s t e m s   i s   ob t a i n e d  f o r   t h e   s m a l l   ge s t u r e s   s e t s .   It   l i m i t s   t h e i r   m a s s   a p p l i c a t i o n.   T hi s   i s   c o n f i r m e d  by   t h e   f a c t   t h a t   t h e r e   a r e   m a n y   o pe n   s o ur c e   de ve l o pm e n t s   f o r   f a c e ,   m o ut h   a n d  e y e   r e c o gn i t i o n   (O pe n CV ) ,   b ut   t h e r e   i s   r e l i a b l e   ha n d   de t e c t o r s   a b s e n c e .   T h e r e f o r e ,   t h e   p r o b l e m   o f   i m pr o v i n g   s t a t i c   a n d   dy n a m i c   po s t ur e   r e c o gn i t i o n  o n   a   p h o t o   i m a ge   o r  i n  a   v i de o   s t r e a m   r e m a i n s   r e l e v a n t .   In  o ur  w o r k  t h e   i n put   s e n s o r  i s   a n  R G B - D   c a m e r a   (I nt e l ®  R e a l S e n s e   ™   D 435)   t ha t   gi v e s   us   a n  R G B  i m a ge   a s   w e l l   a s   de pt h s   f o r   e a c h   po i n t .   R e a l S e n s e   D 435  i s   a   c o m pa c t   (99 m m     25 m m     25 m m ;   w e i gh t   72 g)   pe r i p h e ra l   R G B - D   d e v i c e   s uppo r t i n g  U S B   3. 1  s t a n d a r d  w i t h   a   ra n ge   of   up  t o   10  m .   T h e   c a m e r a   c o n s i s t s   o f  V i s i o n   P r o c e s s o r   D 4,   D e pt h   M o dul e   a nd  R G B   c a m e ra .   T he   c h a r a c t e r i s t i c s   of   a n   a c t i v e   s t e r e o   de pt h   de e p   r e s o l ut i o n  a nd  R G B   r e s o l ut i o n   a r e   up   t o   12 80 720   a n d  1920 1080,   r e s pe c t i v e l y .   A   pa i r  o f   i de nt i c a l   c a m e ra s   r e f e r r e d  a s   i m a ge r s   (l e f t   a nd  ri ght )  a n d   a n  i n f r a r e d  (IR )  p r o j e c t o r   a r e   us e d  t o  s t e r e o  v i s i o n   r e a l i z a t i o n   a nd  t o   c a l c ul a t e   de pt h   a s   s h o w n   i n   F i g u r e   2  [16].   T h e   i n f r a r e d  p r o j e c t o r   pr o j e c t s   n o n - v i s i b l e   s t a t i c   IR   pa t t e rn   t o   i m p r o v e   de pt h   a c c ura c y   i n   s c e n e s   w i t h   l o w   t e xt ur e .   T h e   l e f t   a n d  r i g ht   i m a ge r s   c a pt u r e   t h e   s c e n e   a nd  s e n d  i m a ge r   d a t a   t o   t h e   de p t h   i m a gi ng  (v i s i o n )   p r o c e s s o r ,   w hi c h  c a l c u l a t e s   de pt h   v a l ue s   fo r   e a c h   pi xe l   i n   t h e   i m a ge   by   c o rr e l a t i n g  po i nt s   o n   t h e   l e f t   i m a ge   t o   t h e   r i g h t   i m a ge   a n d  v i a   s h i f t   b e t w e e n   a   po i n t   o n   t h e   L e f t   i m a ge   a nd  t h e   R i gh t   i m a ge .   T h e   de pt h   pi xe l   v a l ue s   a r e   pr o c e s s e d  t o  ge n e r a t e   a   de pt h  f ra m e .   S ub s e que n t   de pt h  f r a m e s   c r e a t e   a   de pt h  v i de o   s t r e a m .   O pe n   l i b r a r y   R e a l S e n s e   S D K   2. 0  ha s   s t a n d a r d  f un c t i o n s   fo r   c a m e r a   i ni t i a l i z a t i o n ,   pa ra m e t e r s   s e t t i n g,   f u n c t i o n s   a n d  m e t h o ds   fo r   r e a di ng  f r a m e s   f r o m   t h e   vi de o   s t r e a m ,   by   c a l c ul a t i n g  t h e   di s t a n c e   f r o m   t h e   ha n d  t o   t h e   de pt h   c a m e ra ,   R G B   i m a ge s   a nd  de pt h   m a ps   s a v i n g  m e t h o ds   [15].   I t   i s   po s s i b l e   t o   m o di fy   t h e   a l go ri t hm s   a v a i l a b l e   i n   t h e   s o ur c e   c o d e   of   t h e   Re a l S e n c e   S D K   2. 0.   T h e   m e t h o ds   a n d  f un c t i o n s   f r o m   R e a l s e n c e   S D K   2. 0  w e r e   us e d   t o   i m pl e m e n t   ge s t u r e s   i m a g e .   S o m e   a ddi t i o n a l   f un c t i o n s   fo r   ge s t ur e   c a pt u r e   w e r e   c o de d  by   t h e   a ut h o r s .           F i gu r e   2 .   ( a )   R e a l S e n s e   D 435 ,   O u t put   d a t a   f r o m   t h e   s e n s o r ,   ( b )  R G B   i m a ge ,   (c )   D e pt h   i m a ge       2. 3 .       I m age   p r e p r o c e s s i n g   P e r f o r m i n g  v a r i o us   o pe r a t i o n s   i n   t h e   s ub s e que n t   s t e ps   o f  t h e   ge s t u r e   r e c o gn i t i o n   s y s t e m ,   s uc h   a s   s e gm e n t a t i o n   a n d  f e a t u r e   e xt ra c t i o n ,   i s   m uc h   e a s i e r   f o r   p r e - p r o c e s s e d  i m a ge s .   A t   t hi s   s t a ge ,   us u a l l y   t h e   i n t e r f e r e n c e s   a n d  e xt e rn a l   n o i s e   a r e   r e duc e d  by   a ppl y i n g  t h e   o pe r a t i o n s   o f   a ve r a gi ng  a nd  hi s t o gra m s   l e v e l i n g ,   c o l o r   n o rm a l i z a t i o n   i s   a l s o   c a rr i e d  o ut   i n  a c c o r da n c e   w i t h  t h e   l i g h t i n g   c o n di t i o n s   a n d   l i g ht   t e m pe r a t u r e   [9] .   In  t hi s   p a pe r,   a   b i l a t e ra l   f i l t e r  f r o m   t h e   O pe n CV   l i b ra r y   i s   us e d  t o   r e m o ve   n o i s e   i n   t h e   f ra m e .   A ddi t i o n a l   m e t h o d  f o r   de t e r m i n i ng  t h e   a v e r a ge   b r i g h t n e s s   o f   pi xe l s   i n   a n   i m a ge   i s   a pp l i e d.   W e   i m pl e m e n t e d  a   f un c t i o n   f o r   c a l c ul a t i ng  a v e ra ge   b ri g h t n e s s   us i ng  n o n - l i n e a r  c o n v e r s i o n   f r o m   R G B   c o l o r   m o de l   t o   t h e   H S V   (H ue ,   S a t u r a t i o n ,   V a l ue ),   w h e r e   V a l ue   i s   t h e   b ri g ht n e s s   pa ra m e t e r  [20] .     2. 4 .       S e gm e n tati o n   m e th o d s   S e gm e n t a t i o n   i s   a n   e xt ra c t i o n   o f   a n  i nt e r e s t   o b j e c t   (h a n d)   f ro m   t h e   b a c kg r o un d  a n d  de t e rm i ni n g  i t s   l o c a t i o n   i n  t h e   s c e n e .   A t   t hi s   s t e p,   t h e   f o l l ow i n g  o pe r a t i o n s   a r e   pe r f o r m e d:   s e a r c hi n g  f o r   a   R e gi o n   o f   In t e r e s t   (R O I)  t o   de t e c t   h a n ds ,   r e m o v i n g  t h e   b a c kgr o u n d,   c o n v e r t i ng  t h e   c o l o r   i m a ge   t o   g r a y s c a l e   f r a m e ,   G a us s i a n  f i l t e r i ng  f o r   c l e a n i n g   o f   n o i s e d  gr a y s c a l e   i m a ge s ,   c o n t o uri n g  t h e   s e gm e nt e d  o bj e c t   a nd  f i na l   b i na r y   t hr e s h o l di ng  t o   i s o l a t e   t h e   h a nd  a s   s h o w n   i n   F i g u r e   3.   T o   i m pl e m e nt   t h e s e   o pe r a t i o n s ,   w e   us e d  bo t h   m e t h o ds   f r o m   t h e   O pe n CV   l i b r a r y   a n d   o w n   c o de   de v e l o pm e n t .     Evaluation Warning : The document was created with Spire.PDF for Python.
In do n e s i a n  J   E l e c   E ng  &   Co m p  S c i     IS S N :   2502 - 4752       D e e p   l e ar ni n g  bas e d  s t at i c   hand   g e s t ur e   r e c ogn i t i on   ( D i na  S at y ba l di na)   401       F i gu r e   3 .   H a n d   g e s t u r e   s e gm e n t a t i o n       2. 5 .     B as i c   ar c h i te c tu r e   V G G - 16   an d   t r an s fe r   t r ai n i n g    A   c l a s s i f i c a t i o n   o r  r e c o gn i t i o n   m e c ha n i s m   i s   a   c o m put a t i o na l   a l go r i t hm   t ha t   t a ke s   a n  o b j e c t   r e p r e s e n t a t i o n   a nd  c o rr e l a t e s   (c l a s s i f i e s )  i t   a s   a n   i n s t a n c e   of   s o m e   kn ow n   c l a s s   t y pe .   In   pr o po s e d  m e t h o d  fo r   ha n d  s t a t i c   ge s t u r e s   r e c o gn i t i o n   w e   h a v e   us e d  de e p  c o n v ol ut i o n a l   n e u r a l   n e t w o r k  (D CN N )  w i t h   V G G - 16  m o de l   pr e - t r a i n e d  o n   b i g  i m a ge   da t a s e t .   T h e   V G G   n e t w o r k  a r c hi t e c t u r e   w a s   de ve l o pe d   by   K .   S i m o n y a n   a n d  A .   Z i s s e r m a n   [21 ].   D e s i g n i ng  a r c hi t e c t u r e   w i t h   s m a l l   c o n v o l ut i o n   fi l t e r s   w i t h   3 × 3  s i z e   s h o w s   a   s i gn i fi c a nt   i m p r o v e m e n t   o n   t h e   n e u r a l   n e t w o r ks   t h a t   c a n   b e   a c h i e v e d  by  pus hi n g  t h e   de pt h   t o   16 - 19  w e i gh t   l a y e r s .   T h e   5   c o n vo l ut i o n a l   b l o c ks   a r e   fo l l ow e d  by   5  m a x - po o l i n g  l a y e r s ,   a n d  t hr e e   f ul l y - c o nn e c t e d  l a y e r s .   T h e   fi na l   100 0 - w a y   l a y e r   i s   a   s o f t - m a x  l a y e r   t h a t   o ut pu t s   c l a s s   p r o b a b i l i t i e s .   V G G - 16  w a s   t r a i n e d  a n d  t e s t e d  o n   Im a ge N e t   da t a b a s e   t o   c l a s s i fy   t h e   1. 3   m i l l i o n   i m a ge s   t o   t h e   1000   c l a s s e s   w i t h  a c c u r a c y   of   92. 7%  [ 13] .   D CN N   w i t h   f i xe d  w e i gh t s   o f  t h e   c o n vo l ut i o na l   l a y e r s ,   o b t a i n e d  by   t ra i ni n g  o n   l a rge - s c a l e   s e t s   of  na t u ra l   i m a ge s   (Im a ge N e t )  s h o w s   t h e   h i g h   a c c ura c y   of   c l a s s i fy i n g  i m a ge s   f r o m   o t h e r   s ub j e c t   a r e a s .   S uc h  a pp r o a c h   b a s e d  o n   V G G - 16  a n d  c o n c e pt   of  a   t r a n s f e r   l e a rni n g  a nd  f i n e - t u n i n g  w a s   us e d  fo r   c l a s s i f i c a t i o n   of  m a l w a r e   s a m p l e s   r e pr e s e nt e d  a s   by t e   pl o t   gr a y s c a l e   i m a ge s   [22].   T h e   t ra n s f e r   of   t r a i ni n g  c o n s i s t s   i n  t r a n s f e rr i ng  t h e   pa ra m e t e r s   o f   a   n e u ra l   n e t w o r k  t ra i n e d   w i t h  o n e   d a t a   s e t   t o   t r a i n   a n  a n o t h e r   n e u ra l   n e t w o r k  fo r   a   s i m i l a r  p r o b l e m   w i t h   d i f f e r e n t   d a t a s e t   i m a ge s   [23] .   W he n   t h e   t a r ge t   da t a s e t   i s   s i g n i fi c a nt l y   s m a l l e r   t h a n  t h e   b a s e   da t a s e t ,   t r a n s f e r   l e a rni ng  c a n   b e   a   pow e r f ul   t o o l   t o   e n a b l e   t ra i ni n g  a   l a r ge   t a rge t   n e t w o r k  w i t h o ut   ov e r fi t t i n g .   F i n e - t u n i ng  i s   a s s o c i a t e d  w i t h   t h e   n e e d  t o   c ha n ge   a n d   r e t r a i n  f ul l y   c o n n e c t e d  l a y e r s   i n  t h e   c l a s s i f i e r.   T h e   b a s i c   a r c hi t e c t u r e   o f  V G G - 16  c o n t a i n s   10 00  o ut put   n e u r o n s   i n   t h e   l a s t   l a y e r   a c c o r di n g  t o   t h e   n u m b e r   of  t h e   obj e c t ’s   c l a s s e s .   In   a   n e w   c l a s s i f i c a t i o n   t a s k  (f o r   e xa m pl e ,   i n   t h e   ge s t ur e   r e c o gn i t i o n   p r o b l e m ),   t h e   n u m b e r   o f  c l a s s e s   m a y   di ffe r   f r o m   t ha t   i n   t h e   o r i gi na l   da t a   s e t .   In   t h i s   c a s e ,   t h e   l a s t   l a y e r   i n   t h e   V G G - 16  a r c hi t e c t u r e   m us t   b e   r e m o v e d,   a n d  a   n e w   c l a s s i f i e r   w i t h   t h e   r e qui r e d  n um b e r   o f   o ut put   n e u r o n s   m us t   b e   a dde d.   It   i s   a l s o   n e c e s s a r y   t o  r e pl a c e   t h e   p r e v i o us   f ul l y   c onn e c t e d  l a y e r s   s i n c e   t h e i r   o ut put   v e c t o r s   do  n o t   c o r r e s po n d  t o   t h e   n e w   c l a s s i f i c a t i o n   l a y e r .   F o r   t h e   p r o po s e d  s y s t e m   of   t h e   s t a t i c   h a nd  ge s t u r e s   re c o gn i t i o n   w e   us e   m o di f i e d  V G G - 16  a r c hi t e c t u r e ,   i n   w hi c h   f ul l y   c o n n e c t e d  l a y e r s   w i t h   a   l a r ge   num b e r   o f   n e ur o n s   a r e   r e pl a c e d  by   4  de n s e   l a y e r s   w i t h   f e w e r   n e u r o n s .   T h e   d r o po ut   l a y e r   ha s   5  o ut put   c h a nn e l s   fo r   5  ge s t u r e s   f r o m   t h e   t ra i ni n g  a nd  t e s t   s e t s .   T h e   n e w   l a y e r s   w e i gh t s   a r e   i n i t i a l i z e d  w i t h   ra n do m   v a l ue s ,   a f t e r   w hi c h   t h e   l e a rni n g   p r o c e s s   o n   t h e   t r a i n i ng  da t a   s e t   b e gi n s .   W e   us e   a n  e n d - to - e nd  a pp r o a c h  p r o v i n g   s u rpri s i n g l y   pow e r f ul .   W i t h  m i ni m u m   t r a i n i ng  d a t a   f r o m   h u m a n s   t h e   n e u r o n' s   w e i gh t s   w e r e   c o rr e c t e d  a n d  re c o gn i t i o n   s y s t e m   w a s   l e a rn t   t o   i de n t i fy   h a n d   ge s t ur e s .   T h e   i nput   da t a   t o   V G G - 16  m o de l   i s   a n  R G B   i m a g e   w i t h   t h e   f i xe d  s i z e   o f   224  ×   22 4.   T h e r e f o r e ,   a t   t h e   s e gm e n t a t i o n   s t a ge ,   p r o c e s s e d  f r a m e s   w i t h   a   s e gm e nt e d  ge s t ur e   s a v e d  i n   a   di f f e r e n t   c o l o r   r e s o l ut i o n   R G B  m o de l   a r e   c o n v e r t e d  t o   224  ×   224  f o r m a t   a n d  t r a n s f e rr e d  t o   t h e   D CN N   i n p ut .   A f t e r   go i n g  t hr o ug h   s t a c k  of  c o n vo l ut i o n   a n d  po o l i n g  l a y e r s ,   R G B   i m a ge s   o f   h a n d   ge s t u r e s   a r e   c o n v e r t e d  i n t o   f e a t u r e s   m a ps   a n d   s e nt   t o   de n s e   l a y e r s .   I n   t h e   l a s t   s t e p,   t h e   s o f t m a x  m o de l   i s   us e d  t o   ge s t u r e   p r e di c t   a nd  o ut put   t h e   r e s ul t   a s   a   c o n f us i o n   m a t r i x .       3.   EX P ER I M EN TA L  R ES U L TS   3. 1 .       D at as e ts   W e   pr e pa r e d  a   n e w   da t a b a s e   w h i c h   c o n t a i n s   i m a ge s   w i t h   s e gm e nt e d  s t a t i c   h a nd  ge s t ur e s   s h o w n   i n   F i gu r e   4.   W e   s e l e c t e d   t h e s e   ge s t ur e s ,   w h i c h   a r e   a l s o   i n c l ude d  i n   a l t e rna t i v e   da t a s e t   [24 ,   25]  a n d  c a n   b e   us e d   t o   c r o s s - v a l i d a t e   p r o po s e d  s t a t i c   h a n d   ge s t u r e   r e c o g n i t i o n   s y s t e m   m o de l .   D e pt h  c a m e r a   I n t e l   R e a l S e n s e   D 400  pl a c e d  ov e r   a   t a b l e ,   t h e   s ub j e c t s   s a t   c l o s e   t o   i t ,   a n d  m o v e d  t h e i r   r i g h t   h a nd  o ve r   t h e   s e n s o r   a t   a   di s t a n c e   b e t w e e n   10  a nd  75 c m   i n   f r o nt   of   i t   a s   s h ow n   i n   F i g u r e   5.   T h e   ge s t ur e s   w e r e   pe r fo r m e d  by   10  d i ff e r e n t   s ub j e c t s   (5  w o m e n   a n d   5  m e n ).         Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2502 - 4752   In do n e s i a n  J   E l e c   E ng  &   Co m p  S c i ,   V o l .   21 ,   N o .   1 ,  J a n u a r y   2021   :     398   -   405   402       F i gu r e   4 .   D a t a s e t   s a m pl e s       O ur   da t a s e t   ha s   a   t o t a l   o f   2, 000  pi c t u r e s ,   i n c l ud i n g  1 , 00 0   R G B   i m a ge s   a n d  1 , 000   de pt h   m a ps ,   c o l l e c t e d  un de r   di f f e r e n t   b a c kg r o un ds   i n   a   f e w   r oo m s   w i t h   i l l u m i na t i o n   c ha n ge s .   I n   o r de r   t o   i n c r e a s e   t h e   di v e r s i t y   of   t h e   da t a b a s e ,   w e   a l s o   t r i e d  i m a ge   a ugm e n t a t i o n  by   us i n g  o f   f l i ps ,   s ke w s ,   r o t a t i o n s   a n d   e t c .   T h e   s t a t i c   ha n d  ge s t u r e s   da t a b a s e   w a s   us e d  o n l y   fo r   t h e   t ra i ni n g  o f   t h e   m o di f i e d  V G G - 16.   A t   t h e   v a l i da t i o n/ t e s t i ng  s t a ge   R G B   a n d   de pt h  i m a ge s   f r o m   R e a l S e n s e   D 400   us e d  d i r e c t l y   t o   pr e di c t   ge s t u r e .   D CN N   t ra i ni n g  i s   t h e   f i n e - t u n e d  p r o c e s s   b a s e d  o n   t h e   p r e - t ra i n e d  m o de l s   V G G - 16  o n   Im a ge S e t .   A t   t h e   s t a rt ,   t h e   l e a rni n g   r a t e   i s   0 . 01  a n d   t h e n   de c r e a s e s   by   10  t i m e s   e ve r y   2000  i t e ra t i o n s .   W e i g h t   de c a y   i s   s e t   t o  0. 0004 .   A t   m o s t   10, 00 0  i t e ra t i o n s   w e r e   n e e de d  fo r   t h e   f i n e - t u ni n g  o n   t ra i ni n g   s e t .   T h e   e xpe ri m e n t s   w e r e   do n e   o n   a   I nt e l (R )  Co r e (T M )   i 7 -   9 75 0H   CP U ,   N V ID IA   G e F o r c e   G T X   1650 ,   16  G B   R A M   de s kt o p.   A f t e r   pe r f o r m i ng  t ra n s f e r   l e a rni n g   w i t h   a   fi n e   t u n e d  l a s t   a c t i v a t i o n   l a y e r   w e   w e r e   a b l e   t o   a c hi e v e   a n   a v e r a ge   a c c ur a c y   of   95, 5  %   o n  t h e   5 - c l a s s   s ub s e t   of   t h e   s t a t i c   ha n d   ge s t u r e .             F i gu r e   5 .   S a m p l e   h u m a n  s t a t i c   h a nd  ge s t u r e   t ra c ki n g   f r o m   R e a l S e n s e   D 400   s e n s o r       3. 2 .     P e r fo r m an c e   m e tr i c s   T h e   c o n f us i o n   m a t r i x  (CM )  ha s   b e e n   us e d  f o r   ob t a i ni n g  qu a n t i t a t i v e   r e s ul t s .   T h e   pr e c i s i o n,   r e c a l l ,   a n d  F - S c o r e   m e a s u r e s   a r e   us e d  a s   m e t ri c s   fo r   e v a l ua t i o n.   C M   of   s i z e   n n   a s s o c i a t e d  w i t h   a   c l a s s i f i e r   s h o w s   t h e   pr e di c t e d  a n d  a c t ua l   c l a s s i f i c a t i o n ,   w h e r e   n   i s   t h e   n u m b e r   o f   di ff e r e n t   c l a s s e s   [25].   W e   us e   a n   a l t e rn a t i v e   c o n s t r uc t i o n   o f   CM :   e a c h   c o l um n   r e p r e s e n t s   t h e   pe r c e nt a ge   of   h a n d  ge s t u r e s   t ha t   b e l o n gs   t o   e a c h   c l a s s ,   a nd  a l o n g  t h e   f i r s t   d i a go n a l   a r e   t h e   c o r r e c t   c l a s s i f i c a t i o n s ,   w h e re a s   a l l   t h e   o t h e r   e nt r i e s   s h o w   m i s c l a s s i f i c a t i o n s   [24].   F r o m   CM   m a t ri x  t w o   m e a s ur e m e nt s   c a n   b e   di r e c t l y   obs e r v e d,   t h e   p r e c i s i o n   a nd  t h e   r e c a l l ,   w hi c h  c a n   b e   e xpr e s s e d  a s   f o l l ow s :      = +   ,                                                                                                                                         (1)     = 100   × +                                                                                                                                 (2)     R e c a l l   de m o n s t ra t e s   t h e   a b i l i t y   of  t h e   a l go ri t hm   t o   de t e c t   a   gi v e n   c l a s s   i n   ge n e ra l ,   a n d  p r e c i s i o n   de m o n s t r a t e s   t h e   a b i l i t y   t o  di s t i n gui s h   t hi s   c l a s s   f r o m   o t he r   c l a s s e s .   F - S c o r e   i s   a   h a rm o n i c   m e a n   o f   t h e   pr e c i s i o n  a nd  r e c a l l :   Evaluation Warning : The document was created with Spire.PDF for Python.
In do n e s i a n  J   E l e c   E ng  &   Co m p  S c i     IS S N :   2502 - 4752       D e e p   l e ar ni n g  bas e d  s t at i c   hand   g e s t ur e   r e c ogn i t i on   ( D i na  S at y ba l di na)   403   −  = 2 ×   ×    +                                                                                    (3)     T h e   F - S c o r e   r e a c h e s   i t s   m a xi m u m   w i t h   p r e c i s i o n   a nd  r e c a l l   e qua l   t o   u n i t y   a n d  i s   c l o s e   t o   z e r o   i f   o n e   of   t h e   a r g um e n t s   i s   c l o s e   t o   z e r o .     3. 3 .       R e s u l ts   an d   d i s c u s s i o n   T a b l e   1  pr e s e nt s   t h e   CM   o b t a i n e d  by   us i n g  t h e   p r o po s e d  s t a t i c   h a nd  ge s t u r e   r e c o gn i t i o n   s y s t e m   o n   t e s t   s t a ge .   A s   i t   c a n   b e   s e e n ,   f o r   a l l   t h e   ge s t u r e s   t h e   p r e c i s i o n,   e l e m e nt s   o f   t h e   m a i n   d i a go n a l ,   a r e   o ve r   97%  a n d  j us t   a   s m a l l   pe r c e nt a ge   o f  s a m pl e s   a r e   de t e c t e d  a s   b e l o ngi n g  t o   o t h e r   ge s t u r e s ,   b ut   i t s   a m o u n t   i s   l e s s   t ha n   0. 2% .   T hi s   i ndi c a t e s   t ha t   o u r   a l go r i t hm   i s   qu i t e   a c c ura t e   i n   t w o   m e a s ur e m e nt s ,   p r e c i s i o n   a n d  r e c a l l .   E xc e pt i o n  i s   r e c o gn i t i o n  o f   pa l m ,   w h e r e   t h e   c l a s s i f i c a t i o n   e rr o r   i s   g r e a t e r   t ha n   2 . 5% .   T hi s   c a n   b e   e xpl a i n e d  by   a   c e r t a i n   s i m i l a ri t y   b e t w e e n   t h i s   ge s t u r e   a n d  t h e   ge s t ur e   o f   P e a c e .   T h e   a v e r a ge   a c c ura c y   of   ge s t ur e   r e c o gn i t i o n  (a c c o r di ng  t o   t h e   f i r s t   di a go na l   o f   t h e   S M )   r e a c he s   99. 4% .       T a b l e   1 .   Co n f us i o n   m a t r i x   f o r   t h e   p r o po s e d  s t a t i c   ha n d   ge s t u r e   r e c o gn i t i o n  s y s t e m     P re d i c t e d   G e s t u r e     A c t u a l   g e s t u re   F i s t   L   Ok   P a l m   P e a c e   P r e c i s i o n c   F i s t   9 9 , 9 7 9 8   0 , 0 0 1 8   0 , 0 1 3 1   0 , 0 0 5   0 , 0 0 0 3   0 , 9 9 9 8   L   0   9 9 , 9 9 7 8   0 , 0 0 2 1   0   0 , 0 0 0 1   1 , 0 0 0 0   Ok   0 , 0 0 0 8   0 , 0 2 5 5   9 9 , 9 7 2 6   0   0 , 0 0 1 1   0 , 9 9 9 7   P a l m   0 , 0 1 9 4   0 , 0 1 5 9   0 , 0 1 5 1   9 7 , 4 4 0 5   2 , 5 0 9 1   0 , 9 7 4 4   P e a c e   0   0 , 0 0 0 4   0 , 0 0 3 2   0 , 6 2 4 5   9 9 , 3 7 1 9   0 , 9 9 3 7   R e c a l l   0 , 9 9 9 8   0 , 9 9 9 6   0 , 9 9 9 7   0 , 9 9 3 6   0 , 9 7 5 4         T h e   p r o po s e d  h a nd  ge s t u r e   r e c o gn i t i o n   s y s t e m   h a s   b e e n   c om pa r e d  w i t h   t h e   o n e   p r o po s e d  i n   [24] .   T h e   n e a r - i n f r a r e d  i m a ge s   of   t h e   s a m e   ge s t ur e s   a c qu i r e d  by   a   L e a p  M o t i o n   s e n s o r .   A l o n g  w i t h   t h e   CM   v a l ue s ,   t h e   F - S c o r e   m e a s ur e   i s   a l s o   us e d  t o   c o m pa r e   t h e   r e s ul t s   o f   bo t h   s o l ut i o n s .   T hi s   m e a s u r e   i s   pr e s e nt   i n   T a b l e   2.   A s   i t   c a n   b e   s e e n   i n  T a b l e   2,   p r o po s e d  s y s t e m   i s   t h e   o n e   t h a t   a c hi e v e s   c o m pa ra b l e   r e s ul t s .         T a b l e   2 .   F - S c o r e   r e s ul t s   f o r   t h e   p r o po s e d  s y s t e m   a n d  f o r   t h e   re c o gn i t i o n  s y s t e m   f r o m   [2 4]     H a n d   G e s t u re   R e c o g n i t i o n   S y s t e m   G e s t u r e   P ro p o s e d   [2 4 ]   F i s t   0 , 9 9 9 8   0 , 9 9   L   0 , 9 9 9 8   0 , 9 9   Ok   0 , 9 9 9 7   0, 99   P a l m   0 , 9 8 3 9   1   P e a c e   0 , 9 8 4 5   0, 99       T h e   r e c o gn i t i o n   s y s t e m   pr o po s e d  i n   [ 2 4 ]  us e   R G B   s e n s o r   a n d   a   gl o b a l   i m a ge   de s c ri pt o r ,   c a l l e d   D e pt h  S pa t i o gra m s   o f   Q ua nt i z e d  P a t t e rn s   (D S Q P ) ,   w i t h o ut   a n y   h a n d   s e gm e n t a t i o n   s t a ge .   Im a ge   de s c ri pt o r s   r e duc e d  f r o m   D S Q P   a r e   a n a l y z e d  by   a   s e t   o f  S uppo r t   V e c t o r s   M a c h i n e s   t o   ge s t ur e   c l a s s i f i c a t i o n .   T hi s   c o m pa ri s o n   a l s o   a l l o w s   us   t o   n o t i c e   t ha t   de pt h   m a ps   a n d   c on v o l ut i o n  n e u r a l   n e t w o r ks   a l l o w   a c h i e v i n g   s a m e   hi g h  pe r f o r m a n c e .       4.   C O N C LU S I O N     W e   pr o pos e d  s t a t i c   h a nd  ge s t u r e   r e c o gn i t i o n   s y s t e m   t ha t   u t i l i z e s   bo t h   R G B  a n d  de pt h   i n f o r m a t i o n   f r o m   Int e l ®  R e a l   S e n s e ™   de p t h   c a m e ra   D 435 .   W e   ut i l i z e d  de pt h  s e n s o r ’s   u ni que   p r o pe rt y   t o   s e gm e n t   ha n d   po s e s   a nd  pe r f o r m   b a c kg r o un d   de n o i s i ng  o n  i m a ge s   w i t h   ge s t u r e .   F e a t u r e s   e xt ra c t i o n  a nd  ge s t u r e   c l a s s i f i c a t i o n  w e r e   pe r f o r m e d  o n  t h e   de e p  c o n vo l ut i o n  n e u r a l   n e t w o r ks   (D CN N )   w i t h   V G G   n e t w o r k  a r c hi t e c t u r e ,   p r e -   t r a i n e d  o n   t h e   Im a ge N e t   da t a b a s e .   T h e   p r o po s e d   D CN N   w i t h   t r a n s f e r   l e a rni n g  w a s   i m p l e m e nt e d  by   K e r a s   w h i c h   t a ke s   t h e   T e n s o r F l o w   a s   t h e   b a c ke n d.   O u r   t r a i n i ng  d a t a b a s e   w a s   c o l l e c t e d   m a n u a l l y   us i n g  b o t h   R G B   a nd  de pt h   i m a ge s   f r o m   de pt h   s e n s o r .   T hi s   da t a b a s e   c o n s i s t s   o f   2, 000  s a m pl e s   pe r f o r m e d  by   5  w o m e n   a nd  5  m e n .   M o di f i e d  V G G - 16  m o de l   de l i v e r e d  t h e   h i g h   a c c ura c y   o n   t r a i n i ng  s e t   of  i m a ge s .   O b t a i n e d   r e c o gn i t i o n   s c o r e s   o n   t h e   t e s t   s t a ge   p rov e   t h e   e ffi c i e n c y   of   t h e   p r e s e nt e d  r e c o gn i t i o n  f r a m e w o r k,   a n d  c l a i m   a   h i g h e r   p r o m i n e n c e   o f  t h e   de pt h   c a m e r a   D 435  f o r   f ut ur e   H M I  a ppl i c a t i o n s .   H ow e v e r ,   t h e   s t a t i c   ha n d  ge s t u r e s   r e c o gn i t i o n   i s   i n s uf f i c i e n t   f o r   e f f e c t i v e   H CI  s y s t e m s .   T h e r e f o r e ,   f ut u r e   r e s e a r c h   i s   Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2502 - 4752   In do n e s i a n  J   E l e c   E ng  &   Co m p  S c i ,   V o l .   21 ,   N o .   1 ,  J a n u a r y   2021   :     398   -   405   404   r e l a t e d  t o   t h e   m e t h o d  de v e l o pm e n t   f o r   r e c o gn i z i ng  dy n a m i c   ha n d  ge s t u r e s   a nd  t h e   e xpa n s i o n   o f   t h e   da t a b a s e   a n d  o b j e c t   c l a s s e s .       A C K N O WL ED G E M EN TS     T h i s   w o r k  h a s   b e e n   s uppo r t e d  by   t h e   M i ni s t r y   of   D i gi t a l   D e v e l o pm e n t ,   I nn o v a t i o n s   a n d  A e r o s pa c e   In d us t r y   of   t h e   R e pub l i c   o f   K a z a k h s t a n  u n de r   p r o j e c t   №  A P 0 6850817 .       R EF ER EN C ES     [ 1]   S .   R .   S r e e ,   e t   a l . ,  “ R e a l - W o r l d  A ppl i c a t i o n  o f   M a c hi ne   L e a r n i n g   a nd  D e e p  L e a r ni ng , ”   i n   201 9  I nt e r n at i on al   C onf e r e nc e   on   Sm a r t   S y s t e m s   an d  I nv e n t i v e   T e c hno l og y   ( I C SSI T ) ,   pp.   10 69 - 1073 ,   201 9 .   [ 2]   T .   V .   J a n a hi r a m a n  a nd   P .   S u br a m a n i a m ,   “ G e n de r   C l a s s i f i c a t i o n  B a s e d  o n  A s i a n  F a c e s   us i ng   D e e p  L e a r ni ng , ”     i n  20 19   I E E E   9t h  I n t e r nat i o nal   C o nf e r e nc e   on   S y s t e m   E ng i ne e r i ng   and  T e c hno l ogy   ( I C SE T ) ,  pp.   8 4 - 89,   20 19 .   [ 3]   R .   I .   B e ndj i l l a l i ,   e t   a l . ,  “ I l l um i n a t i o n - r o bus t   f a c e   r e c og ni t i o n  ba s e d  o n  de e p  c o nv o l ut i o na l   n e u r a l   ne t w o r ks   a r c hi t e c t u r e s , ”   I n done s i an  J ou r na l   o f   E l e c t r i c a l   E ngi ne e r i ng  a nd  C om put e r   Sc i e nc e ,  v o l .   18 ,   no .   2 ,   pp.   101 5 - 1027 ,   2020 .   [ 4]   A .   K .  H .   A l S a e di   a nd   A .   H .   H .   A l A s a di ,   “ A   ne w   ha n d  g e s t ur e s   r e c o g ni t i o n  s y s t e m , ”   I ndo ne s i a n  J our n al   o f   E l e c t r i c al   E ng i ne e r i ng   a nd  C om pu t e r   S c i e nc e ,  v o l .   18 ,   no .   1 ,   p p.   4 9 - 55,   2020 .   [ 5]   P .   K .   P i s ha r a dy   a nd   M .   S a e r b e c k,   “ R e c e n t   m e t ho ds   a nd  da t a b a s e s   i n  v i s i o n - ba s e d  ha nd  g e s t ur e   r e c o g ni t i o n:     A   r e v i e w , ”   C om put e r   V i s i on   and   I m age   U nde r s t a ndi ng ,   v o l .   141 ,   p p.   152 - 16 5,   20 15.   [ 6]   B .   K .   C ha k r a bo r t y ,   e t   a l . ,  “ R e v i e w   o f   c o ns t r a i n t s   o n  v i s i o n - ba s e d  g e s t ur e   r e c o g ni t i o n  f o r   hum a n – c o m put e r   i nt e r a c t i o n, ”   I E T   C om pu t e r   V i s i o n ,   v o l .   12 ,   no .   1,   p p.   3 - 15 ,   2017 .   [ 7]   L .   K e s e l m a n ,   e t   a l . ,  “ I nt e l   R   R e a l S e ns e   T M   S t e r e o s c o pi c   D e pt h  C a m e r a s , ”   i n  P r oc e e di ng s   o f   t he   I E E E   C onf e r e nc e   on  C om put e r   V i s i on   and   P at t e r n  R e c og ni t i on   W or k s ho ps ,   p p.   1 - 10 ,   2017 .   [ 8]   I nt e l ®   R e a l S e n s e ™   S D K   2 . 0 .    h t t p s : / / w w w . i nt e l r e a l s e n s e . c o m / de v e l o pe r s / .   [ 9]   I nt e l   R e a l S e ns e   D 40 0  S e r i e s   P r o duc t   F a m i l y .   D a t a s he e t .   20 19  I nt e l   C o r po r a t i o n.   D o c um e nt   N um b e r :   3370 29 - 007 .   ht t ps : / / w w w . i n t e l . c o m / .   [ 10]   R .   D .   B o c k,   “ L o w - c o s t   3D   s e c ur i t y   c a m e r a .   A ut o no m o us   S y s t e m s :   S e ns o r s ,   V e hi c l e s ,   S e c ur i t y ,   a nd  t he   I nt e r ne t   o f   E v e r y t hi ng , ”   I nt e r n at i on al   So c i e t y   f or   O p t i c s   an d  P hot oni c s ,  v o l .   1 0643 ,   pp.   1 0643 0E ,   20 18 .   [ 11]   Q .   F a ng ,   e t   a l . ,   “ R G B - D  C a m e r a   b a s e d  3D   H um a n  M o ut h   D e t e c t i o n  a nd  T r a c k i ng   T o w a r ds   R o bo t i c   F e e d i ng   A s s i s t a nc e , ”   i n  P r oc e e di ngs   o f   t he   11t h  P e r v as i v e   T e c hnol ogi e s   R e l at e d  t o  A s s i s t i v e   E nv i r onm e nt s   C onf e r e nc e ,    pp.   39 1 - 396,   2 018 .   [ 12]   H .   A o ki ,   e t   a l . ,  “ S t udy   o n  N o n - C o nt a c t   H e a r t   B e a t   M e a s ur e m e n t   M e t ho d  by   U s i ng   D e pt h  S e ns o r , ”   i n  W or l d   C ongr e s s   on   M e di c al   P hy s i c s   an d  B i om e di c a l   E ngi ne e r i ng ,   p p.   34 1 - 345 ,   201 9 .   [ 13]   T .   N .   S y e d,   e t   a l . ,  “ S e e d l i ng - l um p  i n t e g r a t e d  no n - de s t r uc t i v e   m o ni t o r i ng   f o r   a ut o m a t i c   t r a ns pl a nt i ng   w i t h  I nt e l   R e a l S e ns e   de p t h   c a m e r a ,”   A r t i f i c i a l   I n t e l l i ge nc e   i n   A gr i c u l t ur e ,  v o l .   3 ,   p p.   18 - 32 ,   201 9.   [ 14]   B .   L i a o ,   e t   a l . ,  “ H a nd   g e s t u r e   r e c og ni t i o n  w i t h  g e ne r a l i z e d   ho ug h  t r a ns f o r m   a nd   D C - C N N   us i ng   r e a l s e n s e , ”   i n   201 8   E i gh t h   I n t e r na t i ona l   C onf e r e nc e   o n  I n f or m at i on   Sc i e nc e   an d  T e c hn ol og y   ( I C I ST ) ,   p p.   84 - 90 ,   201 8 .   [ 15]   M .   B .   H o l t e ,   e t   a l . ,  “ F us i o n  o f   r a ng e   a nd  i n t e n s i t y   i nf o r m a t i o n  f o r   v i e w   i nv a r i a n t   g e s t ur e   r e c o g ni t i o n , ”   i n  2008   I E E E   C om pu t e r   S oc i e t y   C on f e r e nc e   on  C om pu t e r   V i s i on   an d  P at t e r n  R e c ogn i t i o n  W or k s hop s ,   pp .   1 - 7 ,   20 08 .   [ 16]   M .   V a n  de n   B e r g h ,   e t   a l . ,   “ R e a l - t i m e   3D   h a nd  g e s t u r e   i n t e r a c t i o n  w i t h  a   r o bo t   f o r   und e r s t a ndi ng   di r e c t i o ns   f r o m   hum a ns , ”   i n  2011   R o - M an ,   pp .   3 57 - 362 ,   201 1.     [ 17]   Z .   R e n ,  e t   a l . ,  “ R o bus t   h a nd  g e s t u r e   r e c o g ni t i o n  ba s e d  o n  f i ng e r - e a r t h  m o v e r ' s   di s t a nc e   w i t h  a   c o m m o di t y   de pt h   c a m e r a , ”   i n   P r oc e e di ngs   o f   t he   19t h  A C M   i nt e r na t i ona l   c on f e r e nc e   on  M u l t i m e di a ,   pp .   1093 - 10 96,   2 011 .   [ 18]   D .   W u,   e t   a l . ,   “ O ne   s ho t   l e a r n i ng   g e s t ur e   r e c o g ni t i o n  f r o m   r gbd  i m a g e s , ”   i n  2012  I E E E   C om pu t e r   Soc i e t y   C onf e r e nc e   on   C om p ut e r   V i s i on  and   P at t e r n   R e c og ni t i on  W or k s ho ps ,   pp .   7 - 12 ,   2 012 .   [ 19]   C .   K e s k i n ,   e t   a l . ,  “ R a n do m i z e d  de c i s i o n  f o r e s t s   f o r   s t a t i c   a nd  d y na m i c   ha nd  s ha pe   c l a s s i f i c a t i o n, ”   i n  20 12  I E E E   C om put e r   So c i e t y   C o nf e r e nc e   on   C om p ut e r   V i s i on  and   P at t e r n   R e c ogni t i on   W or k s ho ps ,   pp.   3 1 - 36 ,   20 12 .   [ 20]   V .   C he r no v ,   e t   a l . ,  “ I nt e g e r - ba s e d  a c c ur a t e   c o nv e r s i o n  be t w e e n   R G B   a nd  H S V   c o l o r   s pa c e s ,”   C om put e r s   &   E l e c t r i c al   E ng i ne e r i ng ,   v o l .   4 6,   pp .   328 - 33 7,   20 15 .   [ 21]   K .   S i m o n y a n  a nd  A .   Z i s s e r m a n,   “ V e r y   de e p  c o nvo l ut i o na l   ne t w o r k s   f o r   l a r g e - s c a l e   i m a g e   r e c o g ni t i o n ,”     a r X i v   pr e pr i n t   a r X i v:   1409 . 155 6,   20 14 .   [ 22]   E .   R e z e n de ,   e t   a l . ,  “ M a l i c i o us   s o f t w a r e   c l a s s i f i c a t i o n  us i ng   V G G 16  d e e p   ne u r a l   ne t w o r k ’ s   bo t t l e ne c k  f e a t u r e s ,”   I nf or m a t i on  T e c hno l og y - N e w   G e ne r at i on s ,   pp .   51 - 59 ,   2018 .   [ 23]   Z .   L i u ,   e t   a l . ,  “ I m pr o v e d  ki w i f r u i t   de t e c t i o n  us i ng   pr e - t r a i n e d  V G G 16  w i t h   R G B   a nd   N I R   i nf o r m a t i o n  f us i o n ,”   I E E E   A c c e s s ,   pp .   2327 - 23 36 ,   2 019 .   [ 24]   T .   M a nt e c ón,   e t   a l . ,  “ H a nd  G e s t ur e   R e c o g ni t i o n  us i ng   I nf r a r e d  I m a g e r y   P r ov i de d  by   L e a p  M o t i o n  C o nt r o l l e r , ”     i n  J .   B l a nc - t a l o n ,   e t   a l .   ( e d s . ) ,   S pr i ng e r ,   H e i d e l be r g ,   pp .   47 - 57 ,   201 6 .   [ 25]   S .   V i s a ,   e t   a l . ,  “ C o nf us i o n  M a t r i x - ba s e d   F e a t u r e   S e l e c t i o n ,”   M A I C S ,   v o l .   710 ,   pp .   120 - 127 ,   201 1.           Evaluation Warning : The document was created with Spire.PDF for Python.
In do n e s i a n  J   E l e c   E ng  &   Co m p  S c i     IS S N :   2502 - 4752       D e e p   l e ar ni n g  bas e d  s t at i c   hand   g e s t ur e   r e c ogn i t i on   ( D i na  S at y ba l di na)   405   B I O G R A P H I ES   O F   A U T H O R S         D r .   D i n a   S a t y b al d i n a   i s   a n  A s s o c i a t e   P r o f e s s o r   a t   t he   N a t i o na l   R e s e a r c h  N uc l e a r   U n i v e r s i t y   “ M E P hI ”   ( M o s c o w   E n g i ne e r i ng   P hy s i c s   I ns t i t u t e ) ,   M o s c o w ,   R us s i a n  F e de r a t i o n  a nd  a   P r o f e s s o r   o f   t he   C o m put e r   E ng i ne e r i ng   D e p a r t m e n t   a t   L . N . G um i l y ov   E ur a s i a n  N a t i o na l   U n i v e r s i t y   ( E N U ) ,   N ur - S ul t a n ,   K a z a k hs t a n .   S h e   r e c e i v e d  he r   P hD   d e g r e e   ( C a n di d a t e   S c i e nc e s   i n  P hy s i c s   a n d   M a t he m a t i c s )   f r o m   E . A . B uke t o v   K a r a g a nda   S t a t e   U ni v e r s i t y ,   K a z a khs t a n .   I n  2011  s he   o bt a i n e d   P hD   de g r e e   i n  C o m put e r   S c i e nc e   f r o m   a l - F a r a b i   K a z a kh   N a t i o na l   U n i v e r s i t y ,   A l m a t y ,   K a z a khs t a n .   H e r   r e s e a r c h  i nt e r e s t s   i nc l u de   S i g na l   P r o c e s s i ng ,   C o m put e r   S e c ur i t y ,   M a c hi n e   L e a r ni ng   a nd  H um a n - c om put e r   i n t e r a c t i o n.   S he   ha s   m o r e   t ha n  7 5   publ i c a t i o ns   r e l a t e d  t o   t he s e   a r e a s   i n  v a r i o us   i nt e r n a t i o na l   j o ur n a l s   a nd  c o nf e r e nc e   pr o c e e d i n g s   a nd  ha s   c o - a ut ho r e d  o ne   bo o k.   D r .   S a t y ba l di n a   i s   a   M e m be r   o f   I E E E   C o m m uni c a t i o ns   S o c i e t y   a nd  a n  a c t i v e   r e v i e w e r   i n   m a ny   j o ur na l s   o f   t h e   a r e a s   o f   c o m put e r   s c i e nc e   a n d  c o m put e r   s e c ur i t y .           G u l z i a  K a l y m ov a   i s   c ur r e n t l y   a   P hD   s t ud e n t   i n  t he   C o m pu t e r   E ng i ne e r i ng   D e pa r t m e nt   a t   L . N . G um i l y ov   E ur a s i a n  N a t i o na l   U ni v e r s i t y ,   N ur - S ul t a n ,   K a z a khs t a n.   S h e   r e c e i v e d  he r   B a c he l o r   a nd  M a s t e r   de g r e e s   i n  M a t he m a t i c s   i n  K a z a kh  N a t i o na l   U n i v e r s i t y   a f t e r   A l - F a r a bi ,   A l m a t y ,   K a z a khs t a n .   H e r   c ur r e n t   r e s e a r c h  i nt e r e s t s   i nc l ude   H um a n - C om put e r   I nt e r a c t i o ns ,   M a c hi n e   L e a r ni ng ,   G e s t u r e   R e c o g ni t i o n,   C o m put e r   V i s i o n  a nd  I m a g e   P r o c e s s i ng .   S he   ha s   pu bl i s h e d   a r o und   10   r e s e a r c h  pa p e r s   i n   di f f e r e n t   i n t e r na t i o na l   a nd   na t i o na l   j o u r na l s   a n d  c o nf e r e nc e s .     Evaluation Warning : The document was created with Spire.PDF for Python.