TELK O M N I K A   Te l e c ommu n i c at i on ,   C omp u ti n g ,   El e c t r on i c s   an d   C on tr o l   V ol .   18 ,   N o .   2 A pri l   2020 ,   p p.   761 ~ 769   IS S N :   1693 - 6930 ,   a c c r e di t e d   F i rs t   G r a de   by   K e m e n ri s t e kdi k t i ,   D e c r e e   N o:   21 / E / K P T / 2 018   D O I:   10 . 129 28/ T E L K O M N IK A . v1 8i 2 . 1474 7     761       Jou r n al   h o m e pa ge ht t p: / / j our nal . uad . a c . i d/ i nd e x . php / T E L K O MNIKA   A   r o b u st   me t h o d   f o r   V R - b a s e d   h a n d   g e st u r e   r e c o g n i t i o n   u si n g   d e n si t y - b a sed CN N       Li l i an a 1 Ji - H u n   C h ae 2 Joon - Jae   L e e 3 Byu n g - G ook   Le e 4   1, 4 C o m pu t e r   E ng i ne e r i ng   D ong s e U n i v e r s i t y,   S out K o r e a   1 I nf o r m a t i c s   D e pa r t m e nt   P e t r a   C hr i s t i a n   U ni ve r s i t y ,   I ndon e s i a   2 , 3 S c hoo l   o f   C o m pu t e r   E ngi ne e r i ng   K e i m yung   U n i ve r s i t y,   S o ut h   K or e a       A r ti c l e   I n fo     A BS TR A C T   Ar t i c l e   h i s t or y :   Re c e i v e d   J ul   3 ,   201 9   Re vi s e J a 16 ,   202 0   A c c e pt e F e b   11 ,   202 0     M a n V R - b a s e m e di c a l   pu r po s e s   a pp l i c a t i ons   ha ve   b e e n   de ve l op e t h e l p   pa t i e n t s   w i t h   m ob i l i t d e c r e a s e   c a us e b a c c i de nt s ,   d i s e a s e s ,   o r   ot h e r   i n j u r i e s   t d phy s i c a l   t r e a t m e nt   e f f i c i e n t l y .   V R - ba s e a pp l i c a t i ons   w e r e   c ons i de r e d   m o r e   e f f e c t i v e   h e l pe r   f or   i nd i v i du a l   ph ys i c a l   t r e a t m e n t   be c a u s e   o f   t h e i r     l ow - c os t   e qu i p m e n t   a nd   f l e x i b i l i t i t i m e   a nd  s pa c e ,   l e s s   a s s i s t a nc e   of     a   ph ys i c a l   t he r a pi s t .   A   c ha l l e ng e   i de v e l opi ng  a   V R - ba s e phy s i c a l   t r e a t m e n t   w a s   u nde r s t a n di ng  t h e   b ody   pa r t   m ov e m e n t   a c c ur a t e l y   a n d   qu i c k l y .     W e   p r op os e d   a   r ob us t   pi pe l i n e   t o   un de r s t a nd i n g   ha n d   m o t i o n   a c c ur a t e l y.     W e   r e t r i e ve our   d a t a   f r o m   m ove m e nt   s e ns or s   s uc a s   H T C   v i ve   a n l e a p   m o t i on.   G i ve n   a   s e q ue n c e   pos i t i on  of   p a l m ,   w e   r e p r e s e n t   ou r   da t a   a s   b i n a r y   2D   i m a g e s   of   ge s t u r e   s h a pe .   O u r   d a t a s e t   c ons i s t e o f   14   k i nd s   o f   ha n ge s t u r e s   r e c o m m e nde d   by   a   phy s i ot h e r a pi s t .   G i ve n   33   3D   p oi n t s   t h a t   w e r e   m a ppe d   i n t o   bi na r y   i m a ge s   a s   i np ut ,   w e   t r a i n e d   ou r   pr opos e d   d e ns i t y - b a s e d   C N N .   O ur   C N N   m od e l   c on c e r ne d   w i t our   i n pu t   c h a r a c t e r i s t i c s ,   ha v i ng  m a ny  ' b l a nk  b l o c pi xe l s ' ,   ' s i ngl e - p i x e l   t hi c kn e s s '   s ha pe   a n ge ne r a t e a s   a   b i na r y   i m a ge .   P yr a m i d   ke r n e l   s i z e   a ppl i e on   t he   f e a t u r e   e xt r a c t i on   p a r t   a n c l a s s i f i c a t i o n   l a ye r   us i ng   s of t m a x   a s   l os s   f u nc t i o n,   ha ve   gi ve n   97 . 7 %   a c c u r a c y.   Ke y w or d s :   2D   i m a g e   ge s t ure   re pre s e nt a t i on   Bi na r i m a ge   l e a rni ng   D e ns i t y - ba s e CN N   H a nd  ge s t u re   re c ogn i t i on   VR - ba s e d   phys i c a l   t r e a t m e nt   T hi s   i s   an   op e n   ac c e s s   ar t i c l e   u nde r   t he   C C   B Y - SA   l i c e n s e .     Cor r e s pon di n g   Au t h or :   L i l i a na ,     D e pa r t m e nt   of   Info rm a t i c s ,   P e t ra   Chr i s t i a n   U ni ve rs i t y ,   S i w a l a nke rt o   121 - 131   s t re e t ,   S u ra b a ya   60 236,   In done s i a .   E m a i l l i l i a n @ pe t ra . a c . i d       1.   I N TR O D U C TI O N     U nt i l   re c e n t l y ,   h a nd   ge s t ure   re c ogn i t i on  h a s   be e de v e l op e for   va r i ous   p urpos e s ,   s uc a s   s i gn   l a ngu a g e   un de rs t a nd i ng  [1 - 5] ,   H u m a n - Co m put e Int e ra c t i o [6] ,   v i rt u a l   e nv i ron m e nt   i n t e r a c t i on   [4 ,   7 - 9]    a nd  c ont rol l i ng   us i n rob ot   [ 10 - 12] .   S o m e   a p pl i c a t i ons   us i ng  ha nd  g e s t ur e s   a s   na v i g a t ors   t w a l k   t h rough     a   v i rt u a l   e n vi ron m e nt   [7 8] ,   v i rt ua l   k e ybo a rd ,   c ont r ol l e r   a p pl i a nc e s   or   de vi c e   i ns i d e   a   c e rt a i n   s pa c e   [10 - 12 ],   c ont r ol l e r   robo t   s ur ge ry   a nd  us e d   i n   m e di c a l   purpos e s   a ppl i c a t i on  s u c h   a s   phys i c a l   t re a t m e n t   [6].   By  t a ki ng  a dv a nt a g e   of   c urre nt   vi r t ua l   re a l i t y   (V R)   t e c hn ol og i e s   d e v e l op m e nt ,   m a ny  a pp l i c a t i ons   t h a t   e nha nc e   hum a n   l i fe ,   i n c l ud i ng   m e d i c a l   pur pos e s   a p pl i c a t i o n ,   ha v e   be e n   de ve l ope d   a s   w e l l   [13 - 15 ] .   U s ua l l y ,   a ft e i n j ury  a nd  a f t e s t roke   pa t i e nt s   n e e phys i c a l   t re a t m e n t   s uc h   a s   h a nd  a nd  l e m o t i on   e x e rc i s e s .     O t h e   ot he r   h a nd ,   V R   t e c hno l ogi e s   provi de   a   p ow e rfu l   hu m a n - i nt e rf a c e   i n t e r a c t i on   [1 4 - 15]   a nd   a ud i ov i s ua l   fe e db a c k   s i m ul a t i on   [13 ,   15 ],   a l l ow   c r e a t i n g   ne w   e xe rc i s e s   e a s i l y   a nd   s e t t i ng   t he   v i rt u a l   e nv i ron m e n t     fl e x i bl y   [13 ,   15 - 16 ].   S o m e   re s e a r c he s   pr ove d   t h a t   t he r a p i e s   s upport e b V t e c h nol o gi e s   c a i m prov e     Evaluation Warning : The document was created with Spire.PDF for Python.
                              IS S N :   1693 - 6930   T E L K O M N IK A   T e l e c om m un   Co m put   E l   Con t rol V ol .   18 ,   N o.   2 A pri l   2 020:    761   -   7 69   762   m obi l i t y   [16 - 19 ]   a nd   V R   i nt e rfa c e   c a n   s i m ul a t e   t h e   br a i n   b e t t e r   [14] .   E ve n   t houg h   t h e   f i rs t   ge ne r a t i on   of   V R   s e ns ory  d e vi c e s   c ons i d e re a   l a c of   ha p t i c   f e e db a c [18] ,   n ow a da ys ,   m a ny   c o m pa ni e s   pro m i s e   fa s t ,   a c c ura t e   a nd   pow e rful   d e vi c e s   [1 9].   M or e ov e r,   V R   d e v i c e s   a re   c on s i de r e d   l ow - c os t   d e vi c e s   [13 ,   17]   a nd   ri c h   d a t a   c ol l e c t i on  r e t ri e ve r   [15 - 16].   In  ph ys i c a l   t he r a py ,   t h e ra p i s t s   w i l l   de s i gn   s e v e ra l   s p e c i fi c   pa t t e r ns   o m o t i on   s hou l d   be   e xe rc i s e d   by   t he   p a t i e n t .   V R - b a s e d   phys i c a l   r e h a bi l i t a t i on   e qui ppe d   w i t m ot i on   s e ns or (s t o   s e ns e   ha nd   o l e m o t i on   pe rfor m e by   a   p a t i e n t .   T h e   a pp l i c a t i on   ne e ds   t o   fi nd   ou t   i t h e   m ot i on   i s   i n   a c c or da n c e   w i t t he   d e s i gn e pa t t e rn   of   m ot i on   [14 ].   T he   r e s ul t   o c h e c k i ng   t h e   c or re c t   ge s t ure   w i l l   b e   a   r e s pons e   t ow a rd   t he   v i rt u a l   e nvi r onm e nt   [13 ,   15] .   T he re   a r e   t w ki nds   of   m o t i o s e ns ors ,   w e a r a bl e   s e ns ors   a nd   c a m e ra - ba s e s e ns ors .   In   c a s e   us i ng  a   c a m e r a - b a s e s e ns or,   fro m   fr a m e s   c a pt u re ove t i m e ,   t he   d i s pl a c e m e nt   of  hu m a j oi n t s   pos i t i on   w i l l   be   c ons i d e re a s   h um a m o t i on   [9 - 11,   20 - 24].   M o t i on   w i t c e r t a i pa t t e rns   w i l l   b e   u nde rs t ood   a s   a   g e s t ur e .     G e ne r a l l y,   h a n d   ge s t ure s   w i l l   be   c a t e gori z e a s   h a nd   pos e ,   ha n s e que n c e   of   m ove m e nt   or   ha n t ra j e c t ory ,   a nd   h a nd   c on t i nuous   m ov e m e n t   [2 ,   3,   6,   9].   A   h a n pos e   i s   c o ns i d e ra b l y   s i m pl e ,   e a s t be   c a pt u re d   a nd   r e c og ni z e d   b ut   no t   m a ny   pos e s   c a n   b e   re pre s e nt e d   us i ng   one   ha n d   or   dou bl e   ha n d   w i t hout     a m b i gui t y   [1 ,   6 - 8,   10 ,   12] .   T ra j e c t ory   g e s t u re   c ons i s t s   of   s e v e ra l   di ff e r e nt   pos e s   t o   r e pr e s e nt   a   w ho l e   g e s t ur e   w hi l e   i c on t i nu ous   g e s t ur e ,   pos e s   a nd   di s p l a c e m e n t   pos i t i o ns   or   j us t   on e   j o i nt   m ove m e n t   a r e   c ons i de r e d   one   s i ngl e   g e s t ur e .   H ow e ve r,   t r a j e c t ory   a nd   c on t i n uous   m ov e m e nt   c ons i s t   of   s e v e r a l   pos e s ,   di r e c t i on   a nd   ori e n t a t i o n   c h a ng i ng   [3 ,   5,   6,   9,   11 ,   20 ].   S i nc e   no   dur a t i on   l i m i t a t i on   i n   pe rfor m i ng   a   g e s t ur e ,   i t   n e e ds   d ura t i on   norm a l i z a t i o n.   D yn a m i c   T i m e   W ra p pi ng   (D T W [ 25]   or   de fi ne   a   fi x   d a t a   s a m pl i ng   [9]   c a n   b e   us e d   a s   s ol u t i o ns   for  t he   dur a t i on  prob l e m .     V a ri ous   t e c hn i qu e s   h a v e   b e e n   d e ve l op e ba s e o w h a t   ki n of   ge s t ure   t r e c o gni z e   a nd  w h a t   k i nd    of  da t a   go t   fr om   t h e   s e ns or.   Co l or - b a s e d   re c ogn i z i ng  ha nd   pos e   t ry   t o   und e rs t a nd  ha n d’  s h a pe ,   c urv a t u re   be t w e e n   f i nge rs   or   h ow   m a ny   fi ng e rs   ope ne d   [6 ,   10 ,   12] .   Col or - b a s e d   d a t a   a l l ow s   a   l i t t l e   num b e r   of   h a nd   m ot i on   ge s t ure s ,   s u c a s   s w a t l e f t   or  r i gh t ,   pus h   a n pu l l   ha n [4 ,   7,   8 ,   1 0].   S uc g e s t ur e s   c a n   b e   us e d   t o   na vi g a t e   a v a t a rs   i n   a   v i rt u a l   e nvi ron m e n t   [4,   7,   8]   or   c o nt r ol   de v i c e s   i ns i d e   a   roo m   [10 - 1 2].   H ow e ve r ,   t o   re c og ni z e   h a nd   m ove m e nt ,   c o l or - b a s e d   d a t a   i s   not   e noug h.   I t   ne e ds   d e pt h   i nfor m a t i o n   t o   e xt r a c t   a   f e a t ure   v e c t or   from   t he   pa l m   a r e a .   Y a ng  us e H M M   [2 6] ,   M ol c ha n ov  us e H O G   [11 ],   s o m e   ot h e rs   us e s pa t i o - t e m po ra l     fe a t ure   [20 ,   23 ,   27 - 29 ]   a nd   ot h e rs   us e d   m o t i on   fe a t ur e   [9 ,   24 ,   30].   Y e t ,   t o   r e c ogni z e   m or e   v a ri o us   ha nd   m o t i on   ge s t ur e s ,   s k e l e t on - ba s e da t a   i s   b e t t e r   [3,   2 2,   2 4,   28 ].   U s i n g   i nfor m a t i on   o f   a l l   j o i n t s ’  pos i t i on   i n   a   h um a n’s   ha nd ,   pa l m   di re c t i on,   or i e n t a t i o n,   ro t a t i on   w h i l e   m ov i ng   c a b e   c a l c u l a t e d.   T he   m a t t e r   i n   re c ogn i z i ng   ha n m ove m e nt   i s   d e t e rm i n i ng  t he   be gi n - e nd   of  a   g e s t ur e   a nd  t r a ns form   t h e   l e n gt h - va r i ous   d a t a   i nt o   a   uni form     fi x - l e ng t h   ve c t o r.   D e   S m e dt   us e d   fi s h e r   ve c t or   t o   r e pr e s e nt   ve c t ors   b e t w e e n   22   j o i nt s   i n   ha nd   a n ha nd     rot a t i on   [ 3],   L u   us e d   p a l m   di r e c t i on   a nd   fi nge r t i p   a ng l e   a s   f e a t ure   [5] ,   Y a n us e d   t a ng e nt i a l   a ngu l a c h a nge   ove r   k e yfra m e s   a s   fe a t ur e   [26] ,   L i u   us e d   p a l m ’s   di s p l a c e m e n t   i nfo rm a t i on   ov e r   fra m e s   a s   f e a t ur e   [28]     a nd  ot h e rs   t ook   a   s e r i e s   of  pa l m   pos i t i on   fro m   s e v e ra l   f ra m e s   a s   3D   d a t a   c l o ud  [ 29 30] .     U s i ng  c a m e r a - b a s e d   s e ns ors ,   s uc a s   l e a m ot i on   a nd   H T V i ve ,   w e   f a c e   s o m e   c ha l l e nge s   i n c l ud i ng   va ri o us   t i m e   d ura t i on   a nd   v a r i ous   ori e n t a t i on   a nd   d i re c t i on   pe rfor m i n g   e a c h   g e s t ur e .   S om e   us e rs   p e rfor m   a   ge s t ur e   fa s t e r ,   t he   o t he rs   s l ow e r .   T he   s e c on c ha l l e ng e ,   us e rs   do n’t   a l w a ys   pos i t i on  t h e i r   h a nd   fa c i ng     t he   c a m e ra .   T o ve r c om e   t he   unun i for m   t i m e   dura t i on  pro bl e m ,   w e   a dop t e d   Y e   a nd   Ch e ng’s   i de a ,   s a m pl i ng  a   di s t i n c t   n um b e r   of   po i nt s   fr om   e a c h   w hol e   h a nd   m ove m e n t   t ra c ki n [9,   2 5].   F ro m   a l l   3D   po i nt s   a re   t ra c ke duri ng   a   g e s t u re   p e rfo rm a nc e ,   w e   s a m p l e   33  poi n t s   un i for m l y .   T hos e   33  po i nt s   w i l l   r e pre s e nt   our  w h ol e   s i ng l e   ge s t ur e   [ 9] .   V a r i ous   ori e nt a t i on   a n d i re c t i on   w i l l   be   e s t i m a t e us i ng   c o m pu t e r   gr a phi c s   a ppro a c h.   T o   a ns w e r   t h e   ne e d   for   a c c ura t e   a nd   r e a l - t i m e   re s po ns e   phy s i c a l   t r e a t m e nt   a ppl i c a t i on ,   our   r e s e a r c h   propos e d   a   p i p e l i ne   t o   s e ns e   a nd   t ra c k   ha n ge s t u re s   us i ng   h a nd  m ov e m e nt   s e ns or   a nd   t o   un de rs t a nd   w h a t   ki nd  of  t he   pe rf orm e d   g e s t ur e   a c c ura t e l y   a n d   qui c k l y.   In   ord e t o   g a i n   a   robus t   ha nd   ge s t ure   c l a s s i f i c a t i on  a ppl i c a t i on,   w e   t ra ns form e d   e a c h   g e s t ur e   i n t bi n a ry   i m a ge s   a n t ra i n   t h e m   us i ng  our   propos e   de ns i t y - ba s e d   CN N .       2.   R ES EA R C H   M ET H O D   W e   prop os e   a   pi p e l i ne   c o nt a i ns   t w m a i n   ph a s e s ,   i m a g e   of   g e s t ur e   r e gi s t ra t i on   a nd  g e s t ur e   c l a s s i fi c a t i on   a s   s how i n   F i gur e   1.       2. 1 .     D atas e t   F or  our   da t a s e t ,   w e   c ol l e c t e 1 k i nds   of  g e s t ur e s   d e s i gn e d   by  a   phys i ot h e r a pi s t   a s   s e e i F i gur e   2 .   T he s e   ge s t ure s   a re   d e s i gn e d   t o   he l p   pa t i e nt s   i m pr ovi ng   t h e i r   m ove m e nt   a bi l i t y   gra dua l l y .   S t a rt e d   fro m   on e   t urn   ri gi d   m o ve m e n t ,   c on t i n ue   t m or e   t h a one   m ov e m e n t .   F o r   a dv a nc e d   t re a t m e n t ,   pa t i e nt s   w i l l   t r y   t o   fol l ow     a   s m oot h   m ove m e nt ,   s i m p l e   a n t he m or e   c om pl e x.     Evaluation Warning : The document was created with Spire.PDF for Python.
T E L K O M N IK A   T e l e c om m un   Co m put   E l   Con t rol         r obus t   m e t ho f or   V R - bas e d   hand   g e s t ur e   r e c ogn i t i on  us i n de ns i t y - bas e C NN   ( L i l i ana )   763   A l l   ou g e s t ur e s   c o ns i s t   of  on e   s i ngl e   s t r oke ,   a   c ont i nuous   m o ve m e nt .   E a c ge s t u re   i s   un i qu e ,   w i t h   no   s i m i l a r i t y   s ha p e   w i t h   90°   l e ft   or   ri g ht   rot a t i on.   W e   us e   t h e   M N IS T   d a t a s e t   s t yl e ,   s m a l l   i m a g e   28x 28  p i x e l s ,   c e n t e r e d ,   bl a c k   b a c kgroun d   w i t h   w hi t e   for e gro und,   pre s e rve t he   g e s t ur e   s ha pe   r a t i o   [31] .   O ur   p i pe l i n e   w i l l   ge ne r a t e   a   fro nt a l   2D   bi n a ry  i m a g e .   It   m e a ns   t he   s ha p e   w i l l   not   b e   s ke w e d .   P a l m   pos i t i on   t ow a rd  f i ng e r’s   t i pos i t i on  a s   o ri e nt a t i on   a nd   p a l m   p os i t i on   t ow a rd   t h e   us e r’s   e ye   a s   d i re c t i on .   W e   us e   s m a l l   re s o l ut i on   i m a g e s   be c a us e   our   g e s t ur e   s h a p e   h a s   ‘one - pi x e l   t h i c kne s s   a n s pa rs e   (ha s   m a ny   ‘b l a nk   p i xe l   bl o c k’   on     t he   ba c kgro und  p a r t ).   Ba s e o t he s e   c ondi t i o ns ,   e nl a rg i ng   t h e   i m a ge   re s o l ut i on  w oul dn ’t   gi v e   m or e   d e t a i l   i nfor m a t i on .           F i gure   1 .   T w s t a g e s   of   g e s t ur e   r e c ogni t i o p i pe l i n e           F i gure   2 .   D e s i gn e ge s t u re   l i s t       2. 2 .     P h as e   1:  I m age   R e g i s tr a ti on   of  G e s tu r e   S h ap e   G i ve n   33   3D   poi n t s   i n   t he   X Y Z   c oord i n a t e ,   t ra ns for m a t i on   m a t ri x   U V N   s hou l d   be   c a l c u l a t e d   t o   fi nd  t he   f i t t e s t   p l a n e   t o   t hos e   3D   po i nt s .   N   a xi s   i s   d i re c t i on ,   V   a x i s   i s   or i e nt a t i on.   F i rs t ,   n orm a l   p l a n e   or   N   c a n   be   obt a i ne b a ppl yi ng   L i n e a r   L e a s t   S q ua r e   a nd   Cr a m e r’s   r ul e   [32] .   G i v e pl a ne   e q ua t i on   a x+ by + c z + d= 0 ,   a s s um i n t h e   z   c om p one n t   i s   a l w a ys   o ne ,   t he   e qu a t i on  b e c om e s   a +   by   +   =   - z .   T he   m a t r i of   a l l   pl a ne   e qua t i o ns   go t   f rom   N   poi n t s   i s   s how n   i n   (1) :   Evaluation Warning : The document was created with Spire.PDF for Python.
                              IS S N :   1693 - 6930   T E L K O M N IK A   T e l e c om m un   Co m put   E l   Con t rol V ol .   18 ,   N o.   2 A pri l   2 020:    761   -   7 69   764   [ 1 1 1 2 2 1 1 ] [ ] = [ 1 2 ]      (1)     a ppl y i ng   l i ne a r   l e a s t   s qua re s   on  ( 1),   i t   w i l l   g e t   (2) .     [ ] [ ] = [ ]   (2)     Ca l c ul a t i ng  t he   c e n t ro i a nd  s ubt ra c t i ng  a l l   3D   poi n t s   w i t t he   c e nt roi d ,   x ,   a nd  z   c o ordi n a t e   i (2)   a re   de fi n e re l a t i ve   t t he   c e n t roi d .   T h e n   (2)   c a be   s i m pl i fi e be c o m e   (3) .     [ 0 0 0 0 ] [ ] = [ 0 ]   (3)     If  t h e   pl a ne   i s   a rr a ng e t o   be   t h rough   t h e   ori g i < 0 , 0, 0> ,   t he on e   d i m e ns i o i ( 3)  c a n   b e   r e m ove d ,   w hi c h   re l a t e s   t o   d .   A pp l y   Cra m e r’s   ru l e   on   t h a t   r e m ov e d   di m e ns i on   m a t r i x   gi v e s   s o m e   l i ne a r   (4 - 6) .   A s s um i n a xi s   z   i s   r e m ove d,   nor m a l   pl a ne   (N   a xi s )   w i l l   be   (7) .     = Σ xx Σ yy Σ xy Σ xy   (4)      = ( Σ yz Σ xy Σ xz Σ yy ) / d e t   (5)     = ( Σ xy Σ xz Σ xx Σ yz ) / d e t   (6)     = [ , , 1 ]   (7)     T pr e ve nt   f a i l ur e   i n   obt a i ni ng   nor m a l   pl a n e ,   z   c o m pon e nt   s h oul b e   a s s um e t be   a   non - z e ro   va l ue .   T he   s a m e   p roc e s s   i s   r e pe a t e d   for   t he   non - z e ro   x   c o m pon e nt   a nd   non - z e r c o m pon e nt   a l s o .   U s i ng   N   v e c t or   from   t he   b i gg e s t   d e t   v a l u e   a s   di r e c t i on .   O ri e n t a t i on   a xi s   c a n   b e   c a l c u l a t e d   b y   pr e di c t i ng   t h e   pro ba b l e   ori e n t a t i o n,   up .   In   c a s e   z   c om pone nt   i s   t h e   non - z e ro   va l ue ,   a xi s   < 0 ,   1,   0 >   w i l l   be   t he   pr oba b l e   o ri e nt a t i on  a xi s .   T he n   a ppl y   (8 t c a l c u l a t e   t h e   re a l   ori e n t a t i on   a x i s ,   V .     =  (  | | ) N   (8)     A ft e f i nd i ng  t he   U V N   c oord i na t e ,   a   t r a ns f or m a t i on   pro c e s s   c a be   d one   us i ng  ( 9).   u,   v   a nd   w   a r e   c oe ff i c i e n t s   o U ,   V ,   N   a xi s .   x ,   y ,   a nd   z   a re   c oe ff i c i e n t s   on   X ,   Y ,   a n Z   a xi s .       [ 1 ] = [ 1 ] [       1 , 1 1 , 2 2 , 1 2 , 2 1 , 3 0 2 , 3 0 3 , 1 3 , 2 4 , 1 4 , 2 3 , 3 0 4 , 3 1 ]           (9)     Cra m e r’s   Ru l e   i s   a   d e t e rm i na nt - b a s e d   pro c e dure   t ha t   i s   us e t o   s o l ve   s ys t e m s   of   e qua t i ons   w i t hou t   s ol vi ng  a l l   un know v a ri a bl e s .   Cra m e r’s   Ru l e   a l l ow s   u,   v,   w   di re c t l c a l c u l a t e us i ng  t he s e   fo l l ow i ng  v e c t or   e qua t i o ns   s how i (14 ).   By  s o l vi ng   u,   a nd  w   va r i a b l e s ,   a l l   e   v a l u e s   on   t h e   t ra ns for m a t i on  m a t ri x   on  (9 c a n   be   o bt a i n e d.     = ( × )   (10)     1 = ( × )   (11)     2 = ( × )   (12)     Evaluation Warning : The document was created with Spire.PDF for Python.
T E L K O M N IK A   T e l e c om m un   Co m put   E l   Con t rol         r obus t   m e t ho f or   V R - bas e d   hand   g e s t ur e   r e c ogn i t i on  us i n de ns i t y - bas e C NN   ( L i l i ana )   765   1 = ( × )   (13)     = 1 , = 2 , = 3   (14)     L e t   = < 1 , 0 , 0 >   a n us e   Cra m e r ’s   ru l e   t c a l c u l a t e   1 , 1 , 1 , 2     1 , 3 .   L e t   = < 0 , 1 , 0 >   t o   c a l c u l a t e   2 , 1 , 2 , 2     2 , 3 .   L e t   = < 0 , 0 , 1 >   t o   c a l c ul a t e   3 , 1 , 3 , 2     3 , 3 .   F i n a l l y ,   l e t   =   < 0 , 0 , 0 >       a nd  c a l c u l a t e   4 , 1 , 4 , 2      4 , 3 .   G e t t i ng  a l l   t hos e   e   v a l u e s ,   a   t ra n s f orm a t i on  m a t ri i s   produ c e d .   T g e ne ra t e   a   c e n t e r e d   28   x   28   b i n a ry   i m a g e ,   a   nor m a l i z a t i on   pro c e s s   i s   ne e de d.   F i rs t ,   a dj us t     t he   r a t i o   of   t he   a c t ua l   s i z e   by   d i vi d e d   d e s i r e d   i m a g e   s i z e ,   28   w i t h   m a x i m u m   v a l u e   be t w e e n   d i s t a n c e   i n   U   a x i s   a nd  di s t a nc e   i n   V   a xi s .   ( 15)  i s   us e t o   a d j us t m e n t   proc e s s .      = 28 / ma x   ( , )   (15)     M ul t i pl y i ng  a l l   2D   poi nt s   w i t t he   r a t i o,   fi nd i ng  t he   c e nt e r ,   s ubt r a c t i n w i t (c e nt e -   < 14 ,   14 > ) ,   de c i m a l i z i ng   fl o a t i ng   v a l u e s   o 2D   m a ppe d   p oi n t s   i nt o   i nt e ge p i xe l s   p os i t i on   w i l l   prod uc e   di s c ont i nuous   l i ne .   Bi l i ne a i nt e rpo l a t i n n e e d e d   t o   s m o ot h e t h e m .   F i gur e   3   v i s ua l i z e s   a l l   pro c e s s e s   i n   t hi s   pha s e           F i gure   3 .   F ro m   l e ft   t o   ri g ht ,   3D   po i nt s   c a pt u re d   fro m   a   s e ns o r,   c a l c u l a t i n t he   di re c t i on  a nd   ori e n t a t i on   a xi s   of  t h e   fi t t e s t   p l a ne ,   2D   s pa rs e   bi n a ry   i m a g e ,   a ft e b i l i ne a r   i n t e rpol a t i on       2. 3 .   P h as e   2:   H an d   g e s tu r e   c l as s i fi c ati on   In  t h i s   s t a g e ,   i ns p i re by  L e N e t - t h a t   ha d   a l re a dy  pr ove d   i t s   s uc c e s s   on  t ra i ni n a   l ow   r e s ol ut i on,   s m a l l   s i z e   i m a g e   d a t a s e t   t h a t   c o nt a i n s   s i ngl e   i nfor m a t i on   a b out   s i m p l e   s h a pe s   s uc h   a s   M N IS T   a nd  E M N IS T   da t a s e t s   a s   publ i s he d   o n   [31] ,   w e   pr opos e d   our   de ns i t y - ba s e CN N   a r c hi t e c t ur e .   T h i s   d e ns i t y - b a s e d   CN N   a rc h i t e c t ure   h a s   c ons i s t e d   l a y e rs   for  fe a t ur e   e x t ra c t i on  a nd   t w l a y e rs   f or  c l a s s i fi c a t i on   a s   s e e i n   F i gur e   4.           F i gure   4 .   D e ns i t y - ba s e CN N   a rc h i t e c t ure   for   h a nd   ge s t ure   c l a s s i fi c a t i on       O ur  ge s t ure   i m a g e   c ha r a c t e r i s t i c s   a re   h a v i ng  m a n ‘bl a n bl oc k   pi x e l   a s   b a c kgroun   a nd   ‘s i n gl e - pi x e l   t hi c kn e s s ’  f ore g round .   S o,   our   bi na ry   i m a g e s   c ons i de r e d   s pa rs e   i m a g e s .   W e   ne e d   t o   p re v e nt   t hos e   ‘b l a n k   bl o c k   p i xe l   c o nt r i but i ng   t o   t h e   fe a t ure   m a ps   a n bo a s t   t he   d e ns e   i m a g e   bl o c k   t o   c on t ri but e   m o re .   P yra m i k e rn e l   s i z e   a ppl i e to   t he   fe a t ur e   e xt ra c t i on  p a rt s   w i l l   s ol ve   t h i s   prob l e m .   B i gge k e rne l   s i z e   on     t he   f i rs t   l a ye r   a nd   ge t t i n g   s m a l l e r   on   t he   n e xt   l a ye r .   In   t he   f i rs t   l a y e r,   b i gg e r   bl a nk   b l oc k s   on    t he   b a c kg round   c a n   b e   e l i m i n a t e d   us i ng   b i g   ke rne l   s i z e   for   t he   c onv ol u t i on   p roc e s s .   A s   t he   i m a ge   s i z e   g e t t i ng   s m a l l e r ,   w e   a p pl y   s m a l l e r   k e rn e l   s i z e   for   t h e   c on vol u t i on   pro c e s s .   B i s i z e   ke rn e l   on   t he   fi rs t   l a y e r   w i l l   de t e rm i ne   w h i c h   b l oc k   p i xe l   s ho ul d   c ont r i but e   m o re .   N o t   f ol l ow i ng   L e N e t - a r c hi t e c t ur e   w hi c us e d   m a x - pool i ng  l a ye r,   i ns t e a of  us i n m a po ol i ng,   w e   us e l a rge   s t ri de   (s t ri de   =   3)  o t h e   f i rs t   l a y e c onvol ut i on  proc e s s .   Be c a us e   m a x - p ool i ng   w i l l   c a us e   bl a nk   b l oc k   p i x e l s   ne a r   t he   f ore g round   a re   c a l c u l a t e a s   for e grou nd  i t h e   n e xt   l a ye r .   S i n c e   our  i nput   i m a g e   s i z e   i s   s m a l l ,   w e   a l s ne e d   s m a l l   m od e l   a s   w e l l .   T re m ove   s om e   no t   s i gni f i c a nt   n ode s   c o m e   f rom   ‘bl a nk  b l oc pi xe l ’,   a   dr opout   l a ye i s   a pp l i e d.   A ft e t h a t ,   t he   out pu t   w i l l   be   f l a t t e Evaluation Warning : The document was created with Spire.PDF for Python.
                              IS S N :   1693 - 6930   T E L K O M N IK A   T e l e c om m un   Co m put   E l   Con t rol V ol .   18 ,   N o.   2 A pri l   2 020:    761   -   7 69   766   i nt o   128   nod e s   of   ful l c onn e c t e l a y e r.   W e   us e   c ros s - e nt ro py  l os s   func t i o b e c a us e   w e   ne e a   prob a bi l i s t i c   re s ul t .   W e   us e   14  node s   for   t h e   fi n a l   l a ye r   a s   t h e   nu m be r   of   g e s t ur e   s h a pe   c l a s s e s .     2. 4 .   VR  ap p l i c ati on   s c h e me   T i m p l e m e nt   i V R - ba s e a ppl i c a t i on ,   w e   d e ve l op e a   c l i e n t - s e rv e n e t w o rki ng   s c h e m e   a s   s how n   i n   F i gure   5.   T he   t r a i n i ng   pa r t   i s   i m p l e m e n t e us i ng  p yt ho w i t K e ra s .   T he   s a m e   c a pt ur i ng   i m a g e   i m pl e m e nt a t i on   a s   i t he   c l i e n t   pa r t   i s   us e d   to   c a p t ure   t he   d a t a s e t   i m a ge s .   A f t e r   f i ni s h i ng   t h e   t r a i n i n g,     t he   w e i gh t   of   t ha t   m ode l   w i l l   b e   s t or e d   on   t h e   s e rv e r   a nd  c a n   be   a c c e s s e d   by   t he   V R   ga m e   Cont e nt .     In  t he   c l i e n t   pa r t ,   a s   t he   a ppl i c a t i on   do i ng   l oo p s t h e   ha nd   c ont ro l l e r   s e ns or   w i l l   c a p t ur e   t he   us e r’s   ha n m ove m e nt   a nd  be   s e n t   t o   t h e   s e rv e r .   T h e   s e rve w i l l   g e n e ra t e   2D   bi na ry   i m a ge   of   t he   g e s t ur e ,   i nput   i t   t o     t he   de ns i t y - ba s e CN N   a nd   ge t   t h e   p re d i c t i on .   T h e   pre di c t i o re s u l t   w i l l   b e   s e nt   t o   t he   c l i e nt   a nd   s how n   i n   t h e   a ppl i c a t i on  a s   re s pons e   f or  t he   us e r.           F i gure   5 .   C l i e nt - s e rv e n e t w o rki n s c he m e       3.   R ES U LTS   A N D   A N A LY S I S   In  our  e xp e ri m e n t s ,   w e   us e   7000   ge s t ure   i m a g e s   a s   t he   da t a s e t ,   4 900  fo t r a i n i ng  a nd   2100  for  t e s t i ng .   T he   goa l   of   our  e xp e ri m e nt   i s   t o   m e a s ur e   h ow   fa our   pi p e l i n e   s ui t s   t h e   pr obl e m   w e l l .   S om e   e xc e l l e n c e s   of  ou m ode l   a re   pyr a m i s i z e   k e rn e l   a pp l i e o CN N   l a ye rs   t o   a vo i bl a nk  bl o c pi x e l   c on t ri b ut i ng  i t he   n e xt   l a ye rs ,   re m o ve   m a x - poo l i n l a y e rs   a nd  r e p l a c e d   t h e m   w i t c onvo l ut i on   s t r i de   3,   us i n b i na r i m a ge s   da t a s e t ,   no t   gra ys c a l e   i m a g e   da t a s e t   l i ke   L e N e t   5 .   E v a l u a t e   how   s ui t a b l e   t he   num be r   of   l a y e rs   a nd   n um b e r   of   f e a t ure   m a ps   of  e a c l a y e i n   t h e   CN N   p a rt .   W e   r un  our  m od e l   w i t 600  e poc hs   a nd  1 28  i m a ge s   p e b a t c h .   Co m pa r i ng  o ur  m ode l   w i t L e N e t - a s   be nc hm a rk   m o de l ,   m e a s uri ng   w h e t h e r   us i ng   o ur  pyra m i s i z e   k e rne l   be t t e r   t h a n   s a m e   s i z e   k e rne l   for   a l l   c onvo l ut i on   l a ye rs ,   us i n g   t hr e e   l a y e rs   i n   CN N   p a rt   b e t t e r   t h a n   a   d e e p e r   m ode l ,   us i ng   t h a t   num b e r   of   f e a t ur e   m a ps   on   our   m ode l ’s   CN N   i s   s ui t a b l e   w i t h   o ur   prob l e m   w e l l   a nd  w h e t he r   t he   s a m e   m o de l   runn i ng   on   gr a ys c a l e   i m a ge s   w i l l   m a ke   a   di ff e re nc e .   T obt a i n   gra ys c a l e   i m a g e s ,   w e   m o di f i e d   our  d a t a s e t   by  bl urr i ng  t h e m   us i ng     a   g a us s i a b l ur .     Com p a ri s on   a c c ur a c be t w e e d e ns i t y - b a s e CN N   run  o bi na ry  i m a ge s ,   gr a ys c a l e   i m a ge s   a nd  us i ng   s a m e   s i z e   ke rn e l s ,   us i ng   d e e p e r   l a y e rs   a nd   a ppl yi ng   a   fe w e r   num b e r   of   fe a t ure   m a ps   a nd   w i t h   our   b e nc h m a rk  m ode l ,   L e N e t   5   i s   de s c ri be d   i T a bl e   1 .   F i gur e   s how s   d e t a i l   i nf orm a t i on   a b out   t he   e x a c t   va l ue   fr om   e poc 30  un t i l   60 w i t h   30   e p oc hs   i n c re a s e s .       T a b l e   1 .   Co m p a ri s on   a c c ura c y   be t w e e s e ve ra l   m ode l s   w i t h   de ns i t y - ba s e d   m od e l     l e N e t   5   d e e p   l a y e m o d e l   s a m e   s i z e   k e rn e l   fe w e fe a t u re   m a p s   d e n s i t y - b a s e d   CN N   g ra y s c a l e   i m a g e   i n p u t   E p o c h   #   o t h e   h i g h e s t   a c c u ra c y   240   90   180   600   360   180   H i g h e s t   a c c u ra c y   0 . 9 6 3 3 3 3   0 . 9 6 8 0 0 0   0 . 9 7 1 3 3 3   0 . 9 5 1 0 0 0   0 . 9 7 7 3 3 3   0 . 9 7 6 0 0 0     Evaluation Warning : The document was created with Spire.PDF for Python.
T E L K O M N IK A   T e l e c om m un   Co m put   E l   Con t rol         r obus t   m e t ho f or   V R - bas e d   hand   g e s t ur e   r e c ogn i t i on  us i n de ns i t y - bas e C NN   ( L i l i ana )   767   F rom   F i gure   6   a n T a b l e   w e   c a s e e   t ha t   us i ng   a   de e p e l a y e (7   l a y e rs m od e l ,   t he   hi g he s t   a c c ura c y   a c h i e v e d   i n   9 e po c hs .   I t   c ons i de r e d   t he   f a s t e s t   proc e s s   b ut   i t   di d   not   g a i n   t he   h i gh e s t   a c c u ra c y.   U s i ng   t h e   s a m e   s i z e   k e rne l   on   t h e   CN N   p a rt   or   gr a ys c a l e   i m a g e s   c a n   r e a c h   hi gh  a c c ura c y   i n   18 e po c hs .   S l ow e r   pro c e s s ,   b e t t e r   a c c ura c y   bu t   s t i l l   l ow e r   t h a n   ours .   Com pa r e   w i t t hos e   m od e l s   a nd   o ur   de ns i t y - b a s e d   CN N   m od e l ,   L e N e t   5   w hi c h   us e m a x - poo l i ng   l a y e rs   re a c h   t he   l ow e s t   a c c u ra c y.   U s i ng  a   f e w e n um b e r   of   fe a t u re   m a ps   go t   t he   l ow e s t   a c c ura c y   a m ong   ot he rs .           F i gure   6 .   A c c ur a c c y   c o m p a ri s on   a m on s e ve r a l   m o de l s       4.   C O N C LU S I O N   P yra m i d   k e rne l   s i z e   w orks   b e t t e r   o n   bi n a ry   i m a ge s   t ha n   on   g ra ys c a l e   i m a g e s   e v e n   t h ough   ou r   m o de l   ne e d e d   m o re   e p oc hs   t o   g e t   hi gh e r   a c c u ra c y.   S i n c e   b i na r i m a g e s   h a v e   ‘b l a nk  bl o c pi x e l   a nd  ‘s i ngl e - p i xe l   t hi c kne s s ’  c ha ra c t e ri s t i c s ,   l a ye rs   w i t pyr a m i k e rn e l   s i z e   a nd  l a rg e   s t ri d e   c onvol ut i on  i t h e   f i rs t   l a y e r   a c c om m od a t e b i n a ry  i m a ge s   be t t e t ha n   m a pool i ng   l a ye r   (L e N e t   5)  b e c a us e   t h e pre v e nt   t h e   bl a nk  b l o c pi xe l ’  c on t ri b ut e s   t o   t he   fe a t u re   m a ps .     O ur  pi p e l i ne   i s   a b l e   t o   a c hi e ve   h i ghe r   a c c ura c w i t h   m o re   e poc t h a o t he c om p a r e m od e l s .   E ve n   t hough   ot h e m od e l s   c a a c h i e v e   t he i hi gh e s t   a c c ur a c y   b e fo re   30 e poc hs   but   go t   t he   a c c ur a c d e c r e a s e   a ft e 300  e po c hs .   W h i l e   our  m od e l   s t i l l   go t   pro m i s i ng  i nc r e a s e   a c c ur a c a f t e 300  e poc hs .   B i na r i m a g e s   ve rs us   gra ys c a l e   or   RBG   i m a g e s   i s   not   t he   on l y   re a s on.   O ur   p ropos e m od e l   s ui t a bl e   f or   s i m p l e   v a ri ous   i nfor m a t i o (onl y   t w o   v a l ue s ) ,   l e s s   de ns i t y   i m a g e ,   s pa rs e   do t s ,   a n un a m b i guous   c ont e nt   i m a ge   da t a s e t s .   In   t hi s   c a s e ,   t ra ns for m e d   ‘dr a w i ng   i n   t h e   a i r’ - l i k e   ge s t u re   i nt o   2D   i m a ge s   c ons i de r e d   a s   a   s u i t a bl e   c hoi c e .   T h e   on l l i m i t a t i on   i n   ou s ys t e m   i s   i t s   l a c k   of   s e q ue n c e   i nfor m a t i on   of  t he   g e s t ur e   b e c a us e   w e   t ra ns form e d   t h e m   i nt o   2D   i m a g e s .   F or  f urt h e phys i c a l   t re a t m e n t   a pp l i c a t i on   t h a t   ne e ds   t t ra i g e s t ur e s   b a s e d   on   t h e i r   di ffe r e nt   ord e r   of  g e s t ur e   but   c om e   out   s i m i l a r   2D   i m a ge s   m a pp i ng,   i npu t   s e que nc e   g e s t ur e   w i l l   s ol v e   t h a t   m a t t e r   b e t t e r   t ha n   t he   i np ut   i m a g e .       O ur  p ropos e d   ne t w orki ng   s c h e m e   w i t h   g e s t ur e   c l a s s i f i c a t i on   pi pe l i n e   c a n   b e   us e d   ge n e ra l l y   a s   l o ng   i t   re c e i v e s   3D   poi nt s   c l oud   a s   i n put .   T h e s e   3D   poi n t s   gi v e   i nfor m a t i on   a bou t   t h e   bod y' s   j oi n t   m o ve m e n t .   S e ve ra l   ge s t ur e   c on t rol l e rs   fo V R   s u c h   a s   l e a p   m ot i on ,   ki n e c t   a n H T vi v e   s u pport   o ur  s ys t e m   w i t h   3D   po i nt   i nfor m a t i on .   L a t e r ,   a p pl y i ng   t he   t ra ns f e r   l e a r ni n g   s c h e m e ,   pre s e rve   t he   w e i g ht   of   t h e   CN N   pa rt   a nd   r e t r a i n   o nl y   t he   fu l l y   c onn e c t e d   l a y e rs ,   our   de ns i t y - ba s e d   CN N   w i t CN N   l a y e rs   us i ng   py ra m i d   k e rn e l   s i z e   w i l l   b e   c om p a t i bl e   w i t h   o t he r   s i m i l a r   d a t a s e t s .       A C K N O WL ED G E M EN TS   T hi s   w ork   w a s   s uppor t e d   i n   p a rt   by   Ins t i t u t e   f or   Infor m a t i on   a nd   C om m uni c a t i ons   T e c hn ol og P rom ot i on   (IIT P )   gr a nt   fund e d   by  t he   K or e a   gov e rn m e n t   (M S IT (N o . 201 8 - 0 - 002 45,   D e v e l opm e nt   of   pre ve nt i on  t e c hnol ogy  a ga i ns t   A dys fun c t i on  i ndu c e d   by  de c e p t i on   a t t a c k) .   A nd   i t   w a s   a l s i p a rt   s up por t e d   by  t he   D ongs e U n i ve rs i t y   R e s e a r c h   Y e a r.   Evaluation Warning : The document was created with Spire.PDF for Python.
                              IS S N :   1693 - 6930   T E L K O M N IK A   T e l e c om m un   Co m put   E l   Con t rol V ol .   18 ,   N o.   2 A pri l   2 020:    761   -   7 69   768   R EF ER EN C ES   [ 1]   L .   A b r a h a m ,   A .   U r r u ,   N .   N or m a ni ,   M .   P .   W i l k ,   M .   W a l s h,   B .   O F l ynn ,   H a nd  T r a c k i ng  a nd  G e s t ur e   R e c ogn i t i o U s i ng   L e ns l e s s   S m a r t   S e n s o r s ,   i n   S e ns or s ,   vo l .   1 8 ,   no .   9,   pp .   28 34,   A ugu s t   20 18 .   [ 2]   H .   C h e ng ,   L .   Y a n a nd   Z .   L i u,   " S u r ve o 3D   H a nd  G e s t ur e   R e c o gni t i on, "   i I E E E   T r a ns a c t i on s   o C i r c u i t s   a nd   Sy s t e m s   f or   V i de o   T e c hn ol o gy ,   vol .   26 ,   no .   9 ,   pp .   1659 - 16 73 ,   S e p t e m be r   201 6.   [ 3]   Q .   D e   S m e dt ,   H .   W a nno us   a nd  J .   V a nd e bo r r e ,   " S k e l e t on - B a s e D yna m i c   H a nd   G e s t ur e   R e c ogn i t i on , "   20 16     I E E E   C o nf e r e nc e   on  C om pu t e r   V i s i on  and  P at t e r R e c o gni t i on  W o r k s hop s   ( C V P R W ) ,   L a s   V e ga s ,   N V ,     pp.   12 06 - 1214 ,   201 6.   [ 4]   M .   G i l l i e s ,   W h a t   i s   M o ve m e n t   I nt e r a c t i on   i n   V i r t ua l   R e a l i t y   f o r ? ,   M O C O   ' 16 :   P r oc e e di ngs   of   t h e   3 rd   I nt e r na t i ona l   Sy m pos i um   on   M ov e m e n t   and   C om p ut i n g pp .   1 - 4 ,   J u l y   201 6.   [ 5]   W .   L u ,   Z .   T o ng  a nd  J .   C hu ,   " D yn a m i c   H a n G e s t u r e   R e c ogn i t i o W i t L e a M o t i on  C ont r o l l e r , "   I E E E   S i gn al   P r oc e s s i ng   L e t t e r s ,   v ol .   23 ,   n o.   9 ,   pp .   1 188 - 11 92,   S e pt e m be r   2016 .     [ 6]   J . M .   P a l a c i os ,   C .   S a gue s ,   E .   M on t i j a no ,   S .   L l or e n t e ,   H u m a n - C o m put e r   I nt e r a c t i on   B a s e d   o H a nd   G e s t u r e   U s i ng   R G B - D   S e ns o r s ,   S e ns o r s ,   vo l .   13 ,   no .   9,   pp .   118 42 - 1186 0,   S e pt e m be r   20 13   [ 7]   C .   K h unda m ,   " F i r s t   pe r s on  m o ve m e nt   c o nt r ol   w i t h   pa l m   nor m a l   a n d   ha n g e s t u r e   i n t e r a c t i o n   i n   v i r t ua l   r e a l i t y, "   201 12 th   I nt e r n at i on al   J oi nt   C o nf e r e nc e   on   C om p ut e r   S c i e nc e   an Sof t w a r e   E n gi n e e r i n g   ( J C SSE ) ,   S ongk hl a ,     pp.   32 5 - 3 30 ,   2 015 .   [ 8]   F .   Z h a ng ,   S .   C hu,   R .   P a n ,   N .   J i   a nd   L .   X i ,   " D oub l e   ha nd - ge s t u r e   i n t e r a c t i on   f o r   w a l k - t hr o ugh  i n   V R     e nvi r on m e nt , "   201 I E E E / A C I 16 t h   I n t e r na t i ona l   C on f e r e nc e   on   C om put e r   an I n f or m at i on   S c i e nc e   ( I C I S) ,   W uh a n,   pp.   53 9 - 5 44 2 017 .   [ 9]   G ua ngq i   Y e ,   J .   J .   C o r s a nd   G .   D .   H a g e r ,   " G e s t ur e   R e c o gn i t i on   U s i ng   3D   A pp e a r a n c e   a n M o t i on   F e a t u r e s , "   20 04   C onf e r e n c e   on   C om p ut e r   V i s i on  and   P a t t e r n   R e c og ni t i on  W o r k s ho p ,   W a s h i ng t on ,   D C ,   U S A ,   pp .   160 - 1 66 ,   2 004 .   [ 10]   D.   L .   D i n h,   J .   T .   K i m ,   T .   S .   K i m ,   H a nd   ge s t ur e   R e c og ni t i on   a nd   I nt e r f a c e   vi a   a   D e pt I m a g i ng   S e ns or   f o r   S m a r t   H om e   A pp l i a n c e s ,   i E ne r gy   P r oc e d i a ,   vo l .   62 ,   pp .   576 - 582 ,   201 4 .   [ 11]   P .   M ol c ha n ov ,   S .   G u pt a ,   K .   K i m   a n K .   P u l l i ,   " M u l t i - s e n s o r   s y s t e m   f or   dr i ve r ' s   ha nd - g e s t ur e   r e c og ni t i on, "   2 015     11t h   I E E E   I n t e r na t i ona l   C on f e r e n c e   and  W o r k s hop s   on   A ut om at i c   F ac e   and  G e s t ur e   R e c ogn i t i o ( F G ) ,   L j ubl j a na ,   pp.   1 - 8,   2 015 .     [ 12]   J.   P .   S on ,   A .   S ow m ya ,   S i ng l e - H a n d e D r i v i ng   S ys t e m   w i t K i ne c t ,   I n t e r na t i ona l   C o nf e r e n c e   on  H um an - C om pu t e r   I nt e r a c t i on   H C I   2 013 ,   vol   8 005 ,   pp.   6 31 - 639 ,   J u l 201 3.   [ 13]   C .   C a m po r e s i ,   M .   K a l l m a nn   a n d   J .   J .   H a n ,   " V R   s ol ut i on s   f o r   i m p r ov i ng   ph ys i c a l   t he r a p y, "   201 3   I E E E   V i r t u al   R e al i t y   ( V R ) ,   L a k e   B u e na   V i s t a ,   F L ,   pp .   77 - 78 ,   2 013 .   [ 14]   R.   G .   L upu ,   D .   C .   I r i m i a ,   F .   U ng ur e a nu ,   M .   S .   P o bor on i uc ,   A .   M . ,   B C I   a n F E S   B a s e T he r a py   f or     S t r o ke   R e h a b i l i t a t i on   U s i ng   V R   F a c i l i t i e s ,   in   W i r e l e s s   C om m un i c at i ons   an M o bi l e   C om p ut i ng ,   vo l .   20 18,   n o.   4 ,   A pr i l   2018 .   [ 15]   D .   W h i t e ,   K .   B u r di c k ,   G .   F ul k ,   J .   S e a r l e m a n   a nd   J .   C a r r o l l ,   " A   v i r t ua l   r e a l i t y   a ppl i c a t i on   f o r   s t r o ke   pa t i e n t   r e ha bi l i t a t i on , "   i n   C y be r P s y c h ol o gy   &   B e hav i o r vo l .   9,   no .   6,   p p.   1 081 - 1086 ,   D e c e m be r   2 006 .   [ 16]   J.   E .   D e ut s c h ,   V i r t u a l   r e a l i t a n ga m i ng  s y s t e m s   t i m pr o ve   w a l k i ng  a n m ob i l i t f or   p e op l e   w i t m us c u l os ke l e t a a nd  ne u r o m u s c u l a r   c ond i t i o ns ,   in   S t u di e s   i n   h e al t h   t e c h nol ogy   an d   i n f o r m at i c s ,   v ol .   145 ,   pp .   8 4 - 9 3,   F e bua r y   200 9.   [ 17]   D .   C or be t t a ,   F .   I m e r i ,   R .   G a t t i ,   R e h a bi l i t a t i on   t ha t   i nc or p or a t e s   v i r t u a l   r e a l i t y   i s   m or e   e f f e c t i v e   t ha n   s t a nd a r d   r e ha bi l i t a t i on   f or   i m pr ovi ng   w a l k i ng   s pe e d,   b a l a nc e   a nd   m o bi l i t y   a f t e r   s t r ok e :   a   s ys t e m a t i c   r e v i e w ,   J o ur n al   o f   P hy s i o t he r apy ,   vo l .   6 1,   no .   3,   p p.   11 7 - 1 24,   J ul 2 015 .   [ 18]   L .   S c hm i d ,   A .   G l ä s s e l ,   C .   S c h us t e r - A m f t ,   T h e r a pi s t s   P e r s pe c t i v e   on   V i r t ua l   R e a l i t y   T r a i n i n g   i n   P a t i e nt s   a f t e r   S t r o ke :   A   Q ua l i t a t i ve   S t udy   R e po r t i n F o c u s   G r ou p   R e s ul t s   f r o m   T hr e e   H o s pi t a l s ,   S t r o k e   R e s e ar c h   and   T r e a t m e n t    vol .   2016 ,   no .   2,   pp .   1 - 12 ,   D e c e m b e r   20 16.   [ 19]   D oc u m e nt a t i on ,   R e t r i e v e d   f r o m   ht t p s : / / de ve l o pe r . l e a pm ot i on . c o m / doc um e n t a t i o n/ ,   1 st   F e b   2 020 .   [ 20]   P .   W a ng ,   W .   L i ,   S .   L i u ,   Z .   G a o ,   C .   T a ng   a nd   P .   O gunb ona ,   " L a r g e - s c a l e   I s o l a t e d   G e s t u r e   R e c ogn i t i o u s i ng   C onvo l ut i o na l   N e ur a l   N e t w o r k s , 201 23r d   I n t e r na t i ona l   C on f e r e nc e   on   P at t e r n   R e c ogn i t i o n   ( I C P R ) ,   C a n c un ,     pp.   7 - 12 ,   2016 .   [ 21]   Y .   Z hou ,   G .   J i a n g,   Y .   L i n ,   A   N o ve l   f i nge r   a nd   h a nd   po s e   e s t i m a t i on   t e c h ni q ue   f o r   r e a l - t i m e   h a nd   ge s t ur e   r e c o gn i t i on ,   P a t t e r n   R e c og ni t i on ,   v ol .   49 ,   p p.   10 2 - 11 4 ,   A u gus t   20 15 .   [ 22]   M . F .   K a s s i m ,   M . N . H .   M ohd ,   F oo I n t a k e   G e s t ur e   M o ni t o r i n g   S y s t e m   B a s e d - on   D e pt h   S e ns or ,   B u l l e t i n   o f   E l e c t r i c al   E ng i n e e r i ng   a nd  I n f or m at i c s vo l .   8 ,   no .   2 ,   pp .   470 - 47 6,   J une   201 9.   [ 23]   M .   G a l i n i u m ,   J .   Y a p r i ,   J .   P u r na m a ,   M a r k e r n e s s   m o t i o C a p t u r e   f or   3D   H u m a n   M ode l   A n i m a t i o U s i ng  D e p t h   C a m e r a ,   T E L K O M N I K A   T e l e c om m un i c a t i on  E l e c t r on i c s   C om pu t i ng  an C on t r ol v ol .   1 7,   n o .   3 ,   p p.   1300 - 13 09 ,   J une   20 19 .   [ 24]   L .   T i a n,   N .   M .   T h a l m a nn ,   D .   T ha l m a n n,   J .   Z he n g,   N a t u r e   G r a s p i ng   by   a   C a bl e - d r i ve n   U nd e r - a c t u a t e A nt h r opo m o r ph i c   R ob ot i c   H a n d,   T E L K O M N I K A   T e l e c om m u ni c a t i on   E l e c t r o ni c s   C om pu t i ng  and   C on t r o l v ol .   17 ,   n o.   1 ,   pp.   1 - 7 ,   F e bu a r y   2 019 .     [ 25]   H .   C h e ng ,   J .   L u a nd   X .   C h e n,   " A   w i nd ow e d   dyn a m i c   t i m e   w a r pi ng   a ppr oa c f or   3D   c o nt i nu ous   ha nd   ge s t u r e   r e c o gn i t i on , "   2 014   I E E E   I n t e r nat i o nal   C o nf e r e n c e   on   M u l t i m e d i a   a nd  E x po   ( I C M E ) ,   C he ng du ,   p p.   1 - 6 ,   2014 .   [ 26]   C .   Y a ng ,   D .   K .   H a n,   H .   K o ,   C o nt i nuo us   h a nd   ge s t u r e   r e c o gn i t i on   b a s e d   on   t r a j e c t o r y   s ha pe   i nf or m a t i on   ( i n   p r e s s ) ,   i P at t e r n   R e c ogn i t i on   L e t t e r s v ol .   99 ,   pp.   3 9 - 4 7,   M a y   201 7.   [ 27]   O .   K öpük l ü ,   A .   G undu z ,   N .   K o s e ,   G .   R i go l l ,   R e a l - t i m e   H a n G e s t ur e   D e t e c t i on   a nd   C l a s s i f i c a t i o n   U s i ng   C onvo l ut i o na l   N e ur a l   N e t w or ks ,   20 19   14 th   I E E E   I nt e r n at i ona l   C onf e r e nc e   o A ut om at i c   F a c e   &   G e s t ur e   R e c og ni t i on  ( F G   201 9) ,   Li l l e ,   F r a nc e ,   p p.   1 - 8,   2 019 .   Evaluation Warning : The document was created with Spire.PDF for Python.
T E L K O M N IK A   T e l e c om m un   Co m put   E l   Con t rol         r obus t   m e t ho f or   V R - bas e d   hand   g e s t ur e   r e c ogn i t i on  us i n de ns i t y - bas e C NN   ( L i l i ana )   769   [ 28]   F .   L i u ,   W .   Z e ng ,   C .   Y ua n,   Q .   W a n g,   Y .   W a n g,   K i ne c t - ba s e d   H a nd  G e s t ur e   R e c ogn i t i on   U s i ng  T r a j e c t o r y   I nf or m a t i on ,   H a n M ot i o n   D yn a m i c s   a nd  N e ur a l   N e t w o r k s ,   A r t i f i c i a l   I nt e l l i ge n t   R e v i e w ,   vo l .   52 ,   n o.   1,     pp.   56 3 58 3,   A pr i l   2019 .   [ 29]   P .   M o l c h a nov ,   X .   Y a ng ,   S .   G up t a ,   K .   K i m ,   S .   T y r e e   a nd   J .   K a ut z ,   " O nl i ne   D e t e c t i o a n C l a s s i f i c a t i on  o f   D yna m i c   H a nd   G e s t u r e s   w i t h   R e c ur r e n t   3D   C onv ol ut i on a l   N e ur a l   N e t w o r ks , "   20 16   I E E E   C on f e r e nc e   on   C om p ut e r   V i s i on   an P at t e r R e c og ni t i on   ( C V P R ) ,   L a s   V e g a s ,   N V ,   pp.   4 207 - 421 5,   20 16 .   [ 30]   Ho - J o on  K i m ,   J .   S .   L e e   a nd   J .   P a r k ,   " D y na m i c   h a nd   ge s t u r e   r e c o gni t i on  u s i ng  a   C N N   m o de l   w i t h   3D   r e c e p t i ve   f i e l d s , "   200 I n t e r nat i o nal   C o nf e r e nc e   on   N e ur a l   N e t w or k s   and   S i g nal   P r o c e s s i ng ,   N a nj i n g,   pp .   14 - 19 ,   2008 .   [ 31]   Y .   L e c un ,   L .   B ot t ou ,   Y .   B e ng i o   a nd   P .   H a f f ne r ,   " G r a di e n t - b a s e d   l e a r n i ng   a pp l i e d   t o   do c u m e n t   r e c o gn i t i on , "   i n   P r oc e e d i ng s   o f   t he   I E E E ,   vo l .   86 ,   no .   11 ,   p p.   22 78 - 2324 ,   N ov .   1998 .   [ 32]   D .   E be r l y ,   L e a s t   S qua r e s   F i t t i ng   o f   D a t a   b L i ne a r   o r   Q ua d r a t i c   S t r uc t ur e s ,   G e o m e t r i c   T ool s ,   J ul 1 999 .       BI O G R A P H I ES   O F   A U T H O R S       L i l i an a   S he   r e c e i v e s   h e r   B . S   f r o m   S u r a ba y a   U ni ve r s i t y ,   S u r a b a y a ,   I ndon e s i a   i n   20 02   a nd   he r   M . E ng   f r o m   D ong s e o   U n i ve r s i t y,   B u s a n ,   S ou t h   K o r e a   i n   20 09.   N o w   s h e   i s   p ur s ui ng   he r   D oc t o r a l   de gr e e   i n   D on gs e U n i v e r i t y ,   B us a n,   S o ut h   K o r e a .   S he   ha s   be e w or k i ng   a s   L e c t u r e r   a t   P e t r a   C hr i s t i a U ni v e r s i t y   s i n c e   2 003 .   H e r   i n t e r e s t   f i e l d s   a r e   C o m pu t e r   G r a ph i c s ,   C om put e r   V i s i on   a nd   I nt e l l i ge n t   S ys t e m s .         Ji - H u n   C h a e   H e   r e c e i ve d   h i s   B . S ,   M . S   i C om pu t e r   E n gi n e e r i ng   f r o m   K e i m y ung   U ni ve r s i t y ,   D a e gu ,   S ou t K or e a ,   i 2016   a nd  2018   r e s p e c t i ve l y.   H e   i s   c u r r e nt l y   a   r e s e a r c h   e ng i n e e r   a t   V i r ne c t   r e s e a r c h   I ns t i t ut e .   H i s   r e s e a r c h   i n t e r e s t s   i nc l ud e   C o m p ut e r   V i s i on ,   I m a ge   P r oc e s s i ng ,   C om pu t e r   G r a ph i c s   a nd   G e s t u r e   R e c ogn i t i o n.         Joon - Jae   L e e   H e   r e c e i ve hi s   B . S . ,   M . S . ,   a nd  P h. D .   i E l e c t r oni c   E n gi ne e r i ng  f r o m     t he   K yung pook  N a t i on a l   U ni ve r s i t y ,   D a e gu ,   S o ut h   K or e a ,   i 19 86 ,   1990 ,   a n 19 94,   r e s p e c t i v e l y.   F r o m   M a r c h   19 95   t o   A ug us t   200 7,   h e   w a s   w i t h   t he   C o m p ut e r   E ngi n e e r i ng   f a c ul t y   a t   t he   D ong s e o   U ni ve r s i t y,   B us a n,   S out h   K or e a .   H e   i s   c u r r e n t l y   a   f ul l   pr of e s s or   o f   t h e   D e pa r t m e nt   of   G a m e   M o bi l e   C ont e nt s ,   K e i m y ung   U n i v e r s i t y .   H e   w a s   a   v i s i t i n g   s c ho l a r   a t   t h e   G e or g i a   I ns t i t u t e   of   T e c hn ol ogy ,   A t l a nt a ,   f r o m   199 t o   199 9,   f und e by  t h e   K o r e a   S c i e nc e   a nd   E ng i ne e r i n F ound a t i on   ( K O S E F ) .   H e   a l s o   w o r ke d   f o r   P A R M I   C o r po r a t i o n   a s   a   r e s e a r c h   a n d   de v e l op m e n t   m a n a ge r   f or   1   ye a r   f r o m   2000   t o   200 1.   H i s   m a i n   r e s e a r c h   i n t e r e s t s   i nc l ud e   i m a ge   p r oc e s s i n g ,   t h r e e - d i m e n s i ona l   c o m p ut e r   vi s i on ,   a nd   f i n ge r pr i n t   r e c ogn i t i o n.         B yu n g - G o ok   L e e   H e   r e c e i v e hi s   B . S .   i n   M a t he m a t i c s   f r o m   Y ons e i   U ni ve r s i t y ,   K or e a ,   i n   19 87,   a nd  h i s   M . S .   a n P h . D .   i A pp l i e M a t he m a t i c s   f r o m   K o r e a   A dv a nc e I n s t i t ut e   o f   S c i e n c e   a nd   T e c hn ol o gy  ( K A I S T )   i 1 989   a nd   199 3,   r e s pe c t i v e l y .   H e   w o r ke d   a t   t h e   D A C O M   C or p.   R & D   C e nt e r   a s   a   s e ni o r   e n gi n e e r   f r o m   M a r c 1993   t o   F e br u a r y   1 995 .   H e   ha s   be e n   w o r ki ng   a t   D ongs e o   U ni ve r s i t y,   K or e a ,   s i nc e   19 95  a nd  i s   c ur r e n t l a   f u l l   pr o f e s s o r   w i t t he   D i v i s i on  of   C o m put e r   I nf or m a t i on   E ng i ne e r i ng .   H i s   r e s e a r c h   i nt e r e s t s   i n c l ude   c o m put e r   gr a ph i c s ,   c o m p ut e r - a i de d   ge o m e t r i c   de s i gn,   a nd   i m a ge   pr oc e s s i ng .     Evaluation Warning : The document was created with Spire.PDF for Python.