I n d on e s i an   Jo u r n al   o El e c t r i c al   En gi n e e r i n g   an d   C o m p u te r   S c i e n c e   V o l .   21 ,   N o .   1 J a n u a r y   2021 ,   pp .   2 42 ~ 25 2   IS S N :   25 02 - 4752 ,   D O I :   10. 1 1591 / i j e e c s . v 21 .i 1 . pp 242 - 252             242       Jou r n al   h o m e pa ge ht t p: / / i j e e c s . i a e s c or e . c om   S m a r t   h a n d   g e st u r e s   r e c o g n i t i o n   u s i n g   K - NN  b a s e d   a l g o r i t h m   f o r   v i d e o   a n n o t a t i o n   p u r p o ses       M al e k   Z . A l k s as b e h 1 ,   A h m ad   H .   A l - O m ar i 2 ,   Bas s am   A .   Y .   A l q ar al l e h 3 ,   Tam e r   A b u k h al i l 4   A n as   A b u k ar k i 5 ,   I b r ah i m   A l k o r e   A l s h al ab i 6 ,   A m al   A l k as e as b e h 7   1 , 3 , 4 , 5 , 6 F a c ul t y   of   I n f o r m a t i o T e c hno l o gy ,   A l   H us s e i n   B i T a l a l   U n i v e r s i t y ,   M a ' a n,   J o r da n   2 D e pa r t m e n t   o f   C o m put e r   S c i e nc e ,   F a c u l t y   o f   S c i e nc e ,   N o r t he r   B o r de r   U n i v e r s i t y ,   A r a r ,   S a ud i   A r a bi a   7 M i n i s t r y   o f   E duc a t i o a nd  H i g he r   E d uc a t i o n ,   A l - D a w ha ,   Q a t a r       A r ti c l e   I n fo     A B S TR A C T   Ar t i c l e   h i s t or y :   R e c e i v e A pr   10 ,   202 0   R e v i s e J un   19 ,   20 20   A c c e pt e J ul   8 ,   2020       S i g l a ng ua g e s   a r e   t h e   m o s t   b a s i c   a nd   na t u r a l   f o r m   o f   l a ng ua g e s   w hi c w e r e   us e e v e be f o r e   t h e   e v o l ut i o o f   s p o ke l a ng ua g e s .   T he s e   s i g l a ng ua g e s   w e r e   d e v e l o pe u s i ng   v a r i o us   s i g " g e s t ur e s "   t ha t   a r e   m a d e   us i ng   h a nd  p a l m .   S uc g e s t ur e s   a r e   c a l l e " h a nd  g e s t ur e s " .   H a nd  g e s t ur e s   a r e   be i ng   w i de l y   us e d   a s   a i nt e r n a t i o na l   a s s i s t i v e   c o m m uni c a t i o m e t ho f o r   d e a f   p e o pl e   a nd   m a ny   l i f e   a s pe c t s   s uc a s   s po r t s ,   t r a f f i c   c o nt r o l   a nd  r e l i g i o us   a c t s .   H o w e v e r ,   t he   m e a ni ng s   o f   ha nd  g e s t ur e s   v a r y   a m o ng   di f f e r e nt   c i v i l i z a t i o n   c ul t ur e s .   T he r e f o r e ,   b e c a us e   o f   t he   i m po r t a nc e   o f   unde r s t a n di ng   t he   m e a n i n g s   o f   ha nd  g e s t ur e s ,   t h i s   s t u dy   pr e s e nt s   a   pr o c e dur e   w hi c hc a t r a n s l a t e   s uc g e s t ur e s   i nt o   a n   a nno t a t e e xp l a n a t i o n.   T he   pr o po s e s y s t e m   i m pl e m e n t s   i m a g e   a nd  v i de o   pr o c e s s i ng   w hi c a r e   r e c e n t l y   c o nc e i v e a s   o ne   o f   t he   m o s t   i m po r t a nt   t e c hno l o g i e s .   T he   s y s t e m   i n i t i a l l y ,   a na l y z e s   a   c l a s s r o o m   v i de o   a s   a i npu t ,   a nd  t he e xt r a c t s   t he   v oc a bul a r y   of   t w e n t y   g e s t ur e s .   V a r i o us   m e t ho ds   ha v e   be e a pp l i e s e qu e n t i a l l y ,   na m e l y :   m o t i o de t e c t i o n,   R G B   t o   H S V   c o n v e r s i o n,   a nd   no i s e   r e m o v i ng   us i ng   l a be l i ng   a l g o r i t hm s .   T h e   e xt r a c t i o o f   ha nd   pa r a m e t e r s   i s   d e t e r m i ne d   by   a   K - N N   a l g o r i t hm   t o   e v e n t ua l l y   de t e r m i ne   t he   ha n d   g e s t ur e   a nd ,   h e nc e   s ho w i ng   t he i r   m e a ni ng s .   T o   e s t i m a t e   t he   pe r f o r m a nc e   o f   t he   pr o po s e m e t ho d ,   a n   e x pe r i m e nt   us i ng   a   h a n g e s t u r e   da t a ba s e   i s   pe r f o r m e d.   T he   r e s u l t s   s ho w e t ha t   t he   s ug g e s t e m e t h o ha s   a n   a v e r a g e   r e c o g ni t i o r a t e   o f   97 % .     Ke y w or ds :   H a n ge s t u r e s   r e c o gn i t i o n   K - NN   S m a r t   i n f o rm a t i o s y s t e m s   V i de o   a n o t a t i o n   T hi s   i s   an   ope n   ac c e s s   ar t i c l e   u nde r   t he   C C   B Y - SA   l i c e ns e .     Cor r e s pon di n g   Au t h or :   M a l e Z a k a r y a   A l ks a s b e h   F a c ul t y   of   In f o r m a t i o n   T e c hn o l o g y   A l   H us s e i n   B i T a l a l   U n i v e r s i t y ,   M a ' a n ,   J o r d a n   E m a i l :   m a l ks a b e h @ a h u. e du . j o       1.   I N TR O D U C TI O N     T h e   m o de rn   e vo l ut i o n   o f   i n t e l l i ge n t   a nd  s m a rt   a pp l i c a t i o n s   i n   i m a ge   pr o c e s s i n t e c hn o l o gi e s   h a s   pr o v i de s i gni f i c a n t   s e r v i c e s   t o   t h e   us e r s .   N o r m a l l y ,   s e v e r a l   h u m a ge s t u r e s   a r e   e xpr e s s e by   t h e   b o d y ,   h e a d,   f a c e ,   a r m ,   f i n ge r,   a n ha n ds   m o v e m e n t .   H ow e ve r ,   ha n ge s t ur e   i s   t h e   m o s t   f a m o us   a n m o s t   c o m m o n l y   us e d   a s s i s t i v e   c o m m u n i c a t i o n   m e t h o d.   I n   a ddi t i o n ,   ha n ge s t ur e s   h a v e   pr o v e n   t o   be   a   r o b us t   m e a n s   of  c o m m uni c a t i o n   t o   p r o v i de   i n f o r m a t i o n   [ 1 ] .     H a n ge s t u r e   r e c o gn i t i o n   (H G R i s   a   c h a l l e n gi n p r o b l e m   due   t o   s o m e   i m po r t a nt   f a c t o r s   s uc h   a s   t h e   unp r e di c t a b l e   i l l u m i na t i o n   c o n d i t i o n s ,   u n c o n t r o l l e e n v i r o nm e nt s ,   t h e   r e l a t i v e l y   s m a l l   s i z e   o f   t h e   pa l m   a n d   t h e   f i n ge r s ,   c o m pl e xi t i e s   of   di ffe r e nt   s i g n s ,   f i n ge r   o c c l us i o n s ,   a n t h e   o ve r a l l   c o m pl e xi t y   of   t h e   v i s ua l   r e c o gn i t i o n   o f   t h e   h a n ge s t u r e s   [ 2 ] .   T h e r e f o r e ,   o ur   pr o po s e s y s t e m   e m ph a s e s   o n   t h e   r e c o gn i t i o n   o f   s i gn   w o r ds ,   w hi c i s   a   c o m m u n i c a t i o n s   m e t h o us i ng  ha n ds .   T hi s   s y s t e m   h e l ps   i n   r e duc i ng  t h e   c o m m u ni c a t i o Evaluation Warning : The document was created with Spire.PDF for Python.
In do n e s i a J   E l e c   E ng  &   Co m S c i     IS S N :   2502 - 4752       Sm ar t   ha nd  g e s t ur e s   r e c ogn i t i on   us i ng   K - N b as e d   al g or i t h m   f or   v i de o…   ( Mal e k   Z . A l k s as b e h )   243   ga b e t w e e n   t h e   de a f   pe o pl e   a n t h e i r   c o m m u n i t y   v i a   de ve l o pi n a n   H G R   s y s t e m   w h i c h   t r i e s   t o   a nn o t a t e   s i g n - w o r ds   b e i n c a pt u r e d   o a   v i de o .   T h e   a v a i l a b i l i t y   of   a nn o t a t e i m a ge s   o r   v i de o s   h e l ps   t o   e s t a b l i s a   c ri t i c a l   p r e r e qu i s i t e   f o r   t h e   i m p l e m e nt a t i o n   o a n   i nt e l l i ge nt   k n o w l e dge   m a n a ge m e nt   s e r v i c e s   d e s i gn e s pe c i f i c a l l y   t a c c o m m o da t e   r e a l i s t i c   us e r   n e e ds   [ 3 ] .   Im a ge   a nn o t a t i o n   i s   a   p r o c e dur e   t ha t   m o b i l i z e s   t h e   i de a   o f   s t i c k y   n o t e   w h i c h   i s   pri n t e o n   i m a ge s   f o r   i l l us t ra t i o na l   pu rpo s e s .   S i m i l a r l y ,   v i de o   a nn o t a t i o n s   a r e   i m pl e m e nt e o n   v i de o   f r a m e s   i n s t e a d   o f   i m a ge s   t o   ge n e r a t e   a   n o t e   i a   s pe c i f i c   pl a c e   t o   b e   us e l a t e i t h e   r e c o gn i t i o p r o c e s s   [ 4 ] .   In   t hi s   s t udy ,   K - N N   m a c hi n e   l e a rni n a l go ri t hm   i s   us e a s   t h e   c o r e   c l a s s i f i c a t i o n   m e t h o d.   A l s o ,   a   c l a s s r o o m   i s   e m pl oy e a s   a   c a s e   s t ud y   s c e n e .   T w e n t y   s i ngl e - ha n ge s t u r e s   w e r e   a do pt e a s   po rt r a y e i n   F i gu r e   1.   T h e   p r o po s e m e t h o do l o g y   b e gi n s   by   i m po r t i n t h e   v i de o   f r o m   a   c a m e ra   de v i c e   a n t h e di s m a nt l i n g   t h e   v i de o   t o   f r a m e s .   T h e n,   e a c f r a m e   i s   a na l y z e t o   e xt ra c t   ha n d   ge s t u r e s .   T h us ,   w h e n   t h e   s y s t e m   de t e c t s   t h e   ha n ge s t u r e s ,   i t   a s s i g n s   a   n o t e   t o   i t .   T hi s   n o t e   a ppe a r s   a s   a i l l us t ra t i o n   o f   w h a t   i s   b e i ng  e xpl a i n e b y   t h e   t e a c h e a s   h e   t a l ks .   F i na l l y ,   t h e   r e a s s e m b l e v i de o ;   a l o n w i t t h e   i l l us t r a t i o n a l   c o m m e nt s   w i l l   b e   di s pl a y e o n   a o ut pu t   s c r e e n .           F i gu r e   1 .   T h e   s i ngl e - h a nd  ge s t u r e s   i n   t h i s   s t udy       H G R   s y s t e m   r e p r e s e n t s   a n   i nge ni o us   us e r - f r i e n dl y   c o m put e r - b a s e a ppr o a c h   t ha t   i s   m o r e   a ppe a l i n g   a n e a s i e t o   us e   by   t h e   h u m a b e i n gs .   A   w i de   a r e a   o f   a ppl i c a t i o n s   m a y   ut i l i z e   ge s t u r e   r e c o gn i t i o n .   T h e s e   a ppl i c a t i o n s   i n c l ude   h um a n   m a c h i n e   i n t e r a c t i o n,   i m m e r s i v e   ga m e   t e c hn o l o g y ,   s i gn  l a ngua ge   e t c . ,   [ 5 ] .   H G s y s t e m   m i g h t   b e   a   r e a l   t i m e   o r   a n   o ff l i n e   s y s t e m . L e e   a n H on g   [ 6 ] de s i g n e a   r e a l - t i m e   H G R   s y s t e m   w h i c h   i s   b a s e o n   di f f e r e n c e   i m a ge   e n t r o py   ob t a i n e us i n a   s t e r e o   c a m e ra   w h e r e   ha n de t e c t i o n   ha s   b e e n   f i r s t l y   c o n duc t e i n   a   c o n s t ra i n e e n v i r o n m e n t .   M o r e   s pe c i f i c a l l y ,   a   r e c o gn i t i o n   s y s t e m   i s   i m p l e m e nt e f o r   t h e   i n c o m i ng  h a nd  i m a ge s   i n   r e a l - t i m e .   I n   t h e   de t e c t i o n   pa rt   o f   t h e i r   s y s t e m ,   a n   i m p l e m e nt a t i o n   o f   a   de pt h   m a e m pl oy i n S A D   m e t h o b a s e o n   ri g h t - l e f t   i m a ge s   o b t a i n e us i n a   s t e r e o   c a m e r a   i s   pe r f o r m e d.   T hi s   s y s t e m   s e n s e s   t h e   f o r e gr o u n o b j e c t   a n e xe c ut e s   ha n de t e c t i o n .   T h e n ,   t h e   H G R   s y s t e m   e m pl oy s   t h e   di f f e r e n c e   of  t h e   i m a g e   e n t r o py   f r o m   bo t h   t h e   i n p ut   i m a ge   a nd  t h e   a v e ra ge   i m a ge .   E x pe ri m e n t s   us i n a   ha n ge s t u r e   da t a b a s e   (s i z e   240)  w e r e   pe r f o r m e dt o   e s t i m a t e   t h e   pe r f o r m a n c e   o f   t h e   pr o po s e s y s t e m .   T h e   r e s ul t s   s h o w e d   t h a t   t h e   s ugge s t e m e t h o h a a n   a v e r a ge   r e c o gni t i o n   ra t e   o f   85%.   P a n w a r   [ 7 ]   de s c r i b e a   d i f fe r e nt   t y pe   of   r e a l   t i m e   H G R   s y s t e m .   T h i s   s y s t e m   i s   b a s e o n   de t e c t i n g   s o m e   s i gni f i c a t i v e   s ha pe - b a s e f e a t ur e s   s uc a s   o r i e n t a t i o n,   c e n t r o i d ,   f i n ge r s   s t a t us ,   t hum b   i c a s e   o f   ra i s e o r   b e n t   h a nd  f i n ge r s   a nd  t h e i r   c o m pe t e nt   l o c a t i o i i m a ge .   T h e   a do pt e a p p r o a c i s   f ul l y   r e l i a nt   o n   t h e   s h a pe   pa r a m e t e r s   o f   t h e   h a n ge s t u r e .   T h e   v i de o   a c qui s i t i o n   s t a ge   ut i l i z e s   a   w e b   c a m   w h i c h   w o r ks   o n   20  f ps   w i t h   i n t e n s i t y   of   m e ga   pi xe l .   S o m e   p r e - p r o c e s s i n s t e ps   a r e   i n v o l ve t o   r e m o v e   t h e   b a c kg r o un d   n o i s e .   K - m e a n s   Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2502 - 4752   In do n e s i a J   E l e c   E ng  &   Co m S c i ,   V o l .   21 ,   N o .   1 J a n u a r y   2021   :     242   -   252   244   c l us t e r i ng  w a s   e m pl o y e t o   a l l o w   o n l y   h a n d   o bj e c t s   o r   t h e   s e gm e n t e s i g n i f i c a n t   c l us t e r   t o   b e   pr o c e s s e a s   a   pr e v i o us   s t e t o   pr e pa r i n a n c o m put i n s h a pe - b a s e f e a t ur e s .   T h i s   u n s o p h i s t i c a t e s h a pe - b a s e a ppr o a c h   c a n   r e c o gni z e   a r o u n 45  v a r i o us   h a nd  ge s t u r e s   us i n 5 - b i t   b i na r y   s t r i n g ,   r e s ul t e a s   t h e   a l go r i t h m   o ut put .   H ow e ve r ,   t h e   p r o po s e a l go ri t hm   t e s t i n g   w a s   pe r f o r m e u s i ng  45 i m a ge s .   T h e   r e s ul t s   s h o w   a ppr o xi m a t e   r e c o gn i t i o r a t e   o f   94%.   H i ka w a   a n K a i d a   [ 8 ]   d i s c us s e a   ha r dw a r e   po s t ur e   r e c o gni t i o n   s y s t e m   us i n a   h y b r i n e t w o r w h i c h   c o n s i s t s   o H e bb i a n   n e t w o r a n s e l f - o r ga n i z i n m a (S O M ).   Input   po s t u r e   i m a ge s   a r e   us e t o   e xt ra c t   f e a t ur e   v e c t o r s ,   t h e n   t h e s e   v e c t o r s   a r e   m a p pe t o   a   l ow e r   di m e n s i o na l   m a o f   S O M   n e ur o n s .   T h e   H e bb i a n e t w o r i s   a   f e e d - fo r w a r n e u ra l   n e t w o r w i t h   a   s i ngl e - l a y e r   t r a i n e w i t h   a   H e bb i a l e a rni n a l go r i t h m .   T h e   r e c o gn i t i o n   a l go r i t h m   i s   r o b us t   t o   t h e   a l t e r a t i o n   i n   ha n s i gn   l o c a t i o n s .   H ow e v e r ,   i t   i s   n o t   i m p r e g n a b l e   t o   a l t e rna t i o n   o r   s c a l i n g.   T h e r e f o r e ,   a   n o i s e   w a s   a dde t o   t h e   t r a i n i ng  d a t a   us e by   S O M - H e bb   c l a s s i f i e r   t o   e nh a n c e   t h e   r o b us t n e s s   o f   t h e   r e c o gn i t i o n   a l go r i t h m a g a i ns t   a l t e rn a t i o a nd  s c a l i n g .   I n   a dd i t i o n,   n e u r o c ul l i n i s   s ugge s t e t o   e nh a n c e   t h e   pe r f o r m a n c e .   A   f i e l d - pr o g r a m m a b l e   ga t e   a rra y   (F P G A i s   us e t i m p l e m e nt   t h e   w h o l e   s y s t e m .   A dd i t i o n a l l y ,   a   n o v e l   v i de o   pr o c e s s i n a r c hi t e c t u r e   i s   i m pl e m e n t e a s   w e l l .   T h e   s y s t e m   w a s   de ve l o pe t o   i de n t i f y   24  A m e r i c a n   s i g n   l a n g ua ge s   w h e r e   a l l   o f   t h e m   w e r e   ha n s i g n s .   S i m ul a t i o n s   a nd  e xpe ri m e n t s ,   b o t h   w e r e   us e t o   v e r i fy   t h e   s y s t e m   f e a s i b i l i t y .   T h e   e xpe r i m e n t a l   r e s ul t s   s h o w e r e c o gn i t i o n   s pe e of   60  f r a m e s   pe r   s e c o n a n a c c ura c y   r a t e   o f   97. 1%.   T h e   r e s e a r c h e r s   o ff e r e a i nn o v a t i v e   h a r dw a r e   i m pl e m e n t a t i o n   a n us e a   v e r y   s m a l l   c i r c ui t   s i z e   a s   r e c o m m e nde f o r   e m b e dde d   a ppl i c a t i o n s .   T h e   r e s e a r c h e r s   i n   [ 9 ]   a nd  [ 10 ]   us e a   di f f e r e n t   t y pe   of  s e n s o r s   a s   h a rdw a r e   a i t o   de v e l o a   H G s y s t e m .   L i ue t   a l .   [ 9 ]   m a de   t h e   f i r s t   e f fo r t   t o   c o m b i n e   da t a   f ro m   i n e rt i a l   a nd  v i s i o de pt h   s e n s o r s .   T h e s e   da t a   c a n   b e   us e fo r   r e c o gn i z i ng  v a r i o us   b o d y   m ov e m e n t s .   Co m b i ni n d a t a   f r o m   b o t h   s o ur c e s   w a s   pe r f o r m e dus i n a   c o m pl e m e nt a r y   t e c h n i que .   T hi s   a pp r o a c h   l e a ds   t o   a   m o r e   r o b us t   r e c o gn i t i o n   r e s ul t s   c o m pa r e w i t h   t h e   po s i t i o n s   w h e n   e a c h   s e n s o r   w a s   us e i ndi v i dua l l y   o n   i t s   o w n .   S i m i l a r l y ,   R e n   e t   a l .   [ 10 ]   ha v e   off e r e n e w   o pp o r t u ni t i e s   fo r   h u m a n - c o m put e r   i nt e ra c t i o n   (H CI)  v i a   us i n K i n e c t   s e n s o r,   w h i c h   i s   a   r e c e n t l y   de ve l o pe de pt h   s e n s o r.   R ob us t   H G R i s   s t i l l   a o pe n   c h a l l e n gi ng  r e s e a r c h   p r o b l e m   de s pi t e   t h e   e xc e s s i ve   i m pr o v e m e n t   t ha t   ha s   b e e n   m a de   by   l e v e r a gi n K i n e c t   s e n s o r   s i n c e   h a n i s   r e l a t i v e l y   s m a l l   o b j e c t   c o m pa r e t o   t h e   e n t i r e   h u m a b o d y ,   w i t h   m o r e   i n t ri c a t e   a rt i c ul a t i o n s   a n d   m o r e   r e a di l y   i n f l ue n c e by   s e gm e n t a t i o n   e rr o r s .   Co n s e que n t l y ,   t h e i r p r o po s e s y s t e m   f oc us e s   o n   c o n s t r uc t i n a   r o b us t   pa r t - b a s e H G R s y s t e m   us i ng  K i n e c t   s e n s o r.   A l s o ,   t h e y   pr o po s e a   nov e l   di s t a n c e   m e t ri c   c a l l e f i n ge r - e a rt m o v e r ' s   di s t a n c e   (F E M D t o   f i gur e   t h e   c o n t ra s t   b e t w e e n   t h e   ha n s ha pe s ga i n e f r o m   t h e   K i n e c t   s e n s o r   i n   o r de r   t o   ha n dl e t h e   n o i s y   s h a pe s .   T h e   e xpe ri m e n t s   s h o w e t ha t   t he   pr o po s e s y s t e m   i s   p r e c i s e   (a   93 . 2%   m e a a c c ur a c y   o n   a n   o ppo s i t i o n   10 - ge s t u r e   da t a s e t ),   e ff e c t i v e   (a v e r a ge   0. 07 50  s   pe r   f r a m e ),   r o b us t   t o   h a n a r t i c u l a t i o n s ,   o ri e nt a t i o n   a n s c a l e   c ha n ge s   o r   di s t o r t i o ns .   A l s o , t h e   s y s t e m   c a w o r i n   u nr e s t r i c t e e n v i r o n m e n t s   (po t h e r e b a c kgr o u n ds   a n d   l i g ht i n g   c o n di t i o n s ).     X i e   e t   a l .   [ 11 ]   p r o po s e a   s m a rt   r i ng  b a s e o n   a n   a c c e l e r o m e t e r   a n d   a   m a t c hi n g   s i m i l a r i t y   b a s e d   e xt e n di b l e   a nd  ge s t u r e s   r e c o gn i t i o n   a l go ri t hm .   T h e   ha n m o t i o n s   a c c e l e r a t i o n s   a r e   c o l l e c t e by   t h e   3 - a x i s   a c c e l e r o m e t e r   t ha t   i s   i n c o r po r a t e i n   t h e   r i ng  w h i c h   c a pu r s ue   ge s t u r e s   i n   2 - D   s p a c e .   T hi s   a p p r o a c c a t e go r i z e s   t h e   ge s t ur e s   i n t o   t w o   t y p e s ,   t h e   b a s i c   g e s t ur e   w hi c h   i s   s i m pl e   a n t h e   c o m pl e ge s t ur e   w h i c h   i s   s e que n c e   c o m b i n a t i o o f   b a s i c   ge s t ur e s .   A n   a ut o m a t i c   i de nt i f i c a t i o f o r   a   s e que n c e   o f   i n d i v i dua l   ge s t u r e s   i s   pr e s e nt e i n   t h e i r   w o r by   pe r fo r m i ng  s e gm e nt a t i o n   o n   t h e   i n put   i m a ge s .   T o   i de n t i fy   t h e   b a s i c   ge s t ur e ,   t h e   pr o po s e a ppr o a c h   c a l c ul a t e t h e   a v e r a ge   j e r i n   o r de r   t o   e xt ra c t   e f fe c t i ve   f e a t ur e s .   T h e n ,   t h e   i de n t i f i e d   ge s t ur e   i s   e n c o de us i n J o hn s o n   c o de .   A t   l a s t ,   t h e   c o m pl e ge s t ur e   i s   i de nt i f i e by   m a t c h i ng  t h e   s i m i l a r i t y   b e t w e e n   t h e   a c qui r e b a s i c   ge s t ur e   s e que n c e s   w i t h   t h e   s t o r e t e m pl a t e s .   A   l i b ra r y   w h i c h   c o n t a i n s   b o t h   b a s i c   a n c o m pl e ge s t u r e s   w a s   c r e a t e d,   w hi l e   t h e   us e r s   c a n   s i m p l y   s e t   a nd  i n s e r t   t h e i r   o w n   ge s t ur e s   w i t h   n o   n e e d   fo r   p r e - t ra i ni n g .   T h e   s t ud i e m o de l   a c hi e v e s   a   r a t e   o f   98. 9%  fo r   b a s i c   ge s t u r e   r e c o gn i t i o n   a n a   ra t e   o f   97. 2%   fo r   c o m pl e ge s t ur e   r e c o gn i t i o n .   Co m pa ri n t h e   r e s ul t e ra t e s   w i t h   c o m pl e t e   m a t c h i n g ,   t h e   a l go r i t hm   b a s e o n   s i m i l a ri t y   m a t c h i n a m e l i o ra t e   t h e   c o m pl e ge s t ur e   r e c ogni t i o n   ra t e   by   a bo ut   12%. S o ,   t h e s e   r e s ul t s   ha v e   s uc c e s s f ul l y   l e gi t i m i z e t h e   e ff e c t i v e n e s s   a n f e a s i b i l i t y   of   t h e   ge s t ur e   de c o m po s i t i o n   a n r e c o gn i t i o a l go ri t hm   b a s e o n   s i m i l a ri t y   m a t c hi n g .   X e t   a l .   [ 12 ]   us e a n   a c c e l e r o m e t e r s   w h i c h   ha v e   pr e s e n t e a   t hr e e   di ff e r e n t   ge s t u r e   r e c o gn i t i o m o de l s .   T h e s e   m o de l s   c o ul r e c o gn i z e   s e v e n   di f f e r e n t   h a nd  ge s t ur e s ,   i . e .   l e f t ,   r i g ht ,   up ,   do w n ,   t i c k ,   c r o s s ,   a n d   c i r c l e ,   b a s e o n   t h e   i n pu t   s i g na l s   w h i c h   c o m e   f r o m   t hr e e   M E M S   3 - a xe s   a c c e l e r o m e t e r s .   T h e s e   a c c e l e r o m e t e r s   r e v e a l   h a nda c c e l e r a t i o n s   i n   t hr e e   pe r pe n d i c ul a r   di r e c t i o n s .   T h e n ,   t h e s e   a c c e l e r a t i o n s a r e   t r a n s m i t t e v i a   B l ue t o o t h   w i r e l e s s   pr o t o c o l   t o   a   P C.   A a ut o m a t i c   ge s t u r e   s e gm e n t a t i o n   a l go r i t h m   w a s   i m p r o v e t o   i de n t i fy   a   s e que n c e   of   i n di v i du a l   ge s t u r e s .   A l s o ,   a   b a s i c   fe a t u r e   w a s   e xt r a c t e b a s e o n   s i g se que n c e   of   g e s t ur e   a c c e l e r a t i o n   i n   o r de r   t o   c o m pr e s s   da t a   a n t o   de c r e a s e   t h e   i n f l ue n c e   of  di s s i m i l a r i t i e s   r e s ul t e d   f r o m   ge s t u r e s   w hi c m a de   by   di f fe r e n t   us e r s .   T h i s   a ppr o a c h   r e duc e h u nd r e ds   o f   s i n gl e   ge s t u r e   da t a   v a l ue s   t a   ge s t ur e   c o de   of  n um b e r s .   F i n a l l y ,   t h e   ge s t ur e   re c o gn i t i o n   i s   pe r f o r m e dby   c o m pa r i ng  t h e   ge s t ur e   Evaluation Warning : The document was created with Spire.PDF for Python.
In do n e s i a J   E l e c   E ng  &   Co m S c i     IS S N :   2502 - 4752       Sm ar t   ha nd  g e s t ur e s   r e c ogn i t i on   us i ng   K - N b as e d   al g or i t h m   f or   v i de o…   ( Mal e k   Z . A l k s as b e h )   245   c o d e   a ga i n s t   t h e   s t o r e t e m pl a t e s .   T h e   f i ndi n gs   o f   p e r f o r m i ng  72  e xpe r i m e n t s w hi c h   c o n t a i n e a   s e que n c e   of  ha n ge s t u r e s   (628  ge s t ur e s   i n   t o t a l s h o w   t h a t   t h e   s upe r i o r   m o de l   di s c us s e i n   t h e i r   w o r ka c h i e v e a n   o v e r a l l   r e c o gn i t i o n   a c c u r a c y   of  95. 6%.   A l s o ,   t h e   c o rr e c t   r e c o gn i t i o n   a c c u r a c y   o e a c h   ge s t ur e   r a nge s   f r o m   91%  t 100%.   Co n c l udi n g   t ha t   s i g s e que n c e   a nd  t e m pl a t e   m a t c hi n g   r e c o gn i t i o n   a l go r i t hm   c a n   b e   e m pl o y e fo r   n o n - pa r t i c ul a r   us e r s '   H G R   w i t h o ut   t h e   n e e f o r   t h e   t i m e - c o n s um i ng  p r o c e s s   of   t r a i ni n us e r   p r i o r   t o   ge s t ur e   r e c o gn i t i o n.   A n o t h e r   t e c hni que   i s   gi v e n   by   M a z um d a r   e t   a l .   [ 13 ]   p r e s e nt e a   c o m pa r a t i v e   s t udy   be t w e e n   t w H G R   m e t h o ds ,   a   gl o v e d   h a n t r a c ki ng  a n s e gm e n t a t i o n   a l go r i t hm   a nd  a   f r e e   h a nd  t r a c ki ng  a l go r i t hm .   T h e   gl o ve h a n t ra c ki n a l go r i t hm   i s   u n l i ke   t h e   f r e e   h a n t ra c ki n i n   t h a t   i t   i s   n o t   de pe n de n t   o n   a n y   b a c kgr o und  a n l i g h t i n c o n d i t i o n s .   T h i s   r o b us t   a nd  e ff i c i e n t   gl o v e d   ha n t ra c ki n s y s t e m   pe r f e c t l y   h a ndl e m a n y   pr o b l e m s   s uc h   a s   s ki n   c o l o r   de t e c t i o n,   t h e   c o m pl e xi t y   a dde f r o m   t h e   p r e s e n c e   of   m a n y   pe o pl e   i n   f r o n t   o f   t h e   c a m e ra ,   i nt r i c a t e   b a c kgr o un e l i m i na t i o n   a n v a r i a b l e   l i ght i n c o n di t i o n.   P r e s e n t e n o i s e   i n   t h e   s e gm e nt e i m a ge   by   m e a n s   of   d y n a m i c   b a c kgr o u n c a n   b e   e l i m i na t e w i t h   t h e   a i o f   t h i s   a d a pt i v e   t e c h n i que   w h i c h   w a s   fo un t o   b e   e f f i c i e n t   f o r   t h e   a pp l i c a t i o c o n c e i v e d.   A l s o ,   o t h e r v a ri o us   a pp r o a c h e s   w i t h   n o   ha r dw a r e   e qui pm e nt   h a v e   b e e n   i nt r o duc e fo r   t h e   H G pr o b l e m .   A   s y s t e m   b a s e o n   K L   T ra n s f o r m s   w a s   pr o po s e i n   [ 14 ]   t o   i de n t i fy   di ffe r e nt   h a nd  ge s t u r e s .   F i v e   s t e ps   w e r e   a do pt e d:   f i l t e r i ng  t h e   s k i n,   c r o ppi ng  t h e   p a l m ,   de t e c t i n g   t h e   e dge s ,   e xt ra c t i n g   t h e   f e a t u r e s ,   a nd  c l a s s i f i c a t i o n.   P ri m a ri l y   t h e   h a nd  w a s   de t e c t e by   f i l t e r i ng  t h e   s ki n ,   a n c r o ppi ng  t h e   pa l m   w a s   e x e c ut e t e xt ra c t   o ut   o n l y   t h e   pa l m   po r t i o n .   I n   o r de r   t o   e xt r a c t   t h e   out l i n e   i m a ge s   of   pa l m ,   t h e   e xt ra c t e i m a ge   w a s   pr o c e s s e by   p e r f o r m i n t h e   Ca nn y   E dge   D e t e c t i o n   t e c hn i q ue .   A f t e r   pa l m   e xt r a c t i o n,   t h e   ha n d   f e a t ur e s   w e r e   e xt ra c t e e m pl oy i n K - L   T ra n s f o r m   t e c hni que ,   e v e n t u a l l y   t h e   i nput   ge s t u r e   w a s   r e c o gn i z e us i ng  p r o pe r   c l a s s i f i e r .   T h e   s y s t e m   w a s   t e s t e fo r   10   di f f e r e n t   h a nd  ge s t u r e s ,   a n d   t h e   o b t a i n e r e c o gn i z i ng  ra t e   w a s   96 %.   In  [ 15 ] ,   t h e   r e s e a r c h e r s   m e a s u r e t h e   di s t a n c e   f r o m   t h e   ha n e dge s   t o   t h e   c e n t r o i d   o f   t h e   ha n d ,   a l o ng  a   n u m b e r   o f   ra di a l s   s pa c e e qua l l y   a r o un d   a   c i r c l e .   T hi s   i n f o r m e t ha t   t h e   ge n e ra l   s ha pe   o f   t h e   ge s t u r e .     M o r e ov e r ,   a n o t h e r   s e v e n   di f f e r e n t   a l go ri t hm s   f o r   h a nd  f e a t ur e   e xt ra c t i o n,   w e r e   di s c us s e i n   [ 16 ] T h e s e   a l go r i t hm s   a i m e t o   r e c o gn i z e   a n f ur t h e r m o r e   c l a s s i fy   s t a t i c   h a n ge s t u r e s .   G e s t u r e   voc a b ul a r y   w a s   de f i n e d,   w i t h   1 ge s t u r e s ,   a n v i de o s   f r o m   20  pe r s o n s   pe r f o r m i ng  t h e   ge s t u r e s   fo r   ha n f e a t u r e   e xt ra c t i o n   w e r e   r e c o r de d.   T h e   s t u dy   a i m s   t o   t e s t   t h e   r o b us t n e s s   of   a l l   a l go r i t hm s i n di v i du a l l y .   E a c h   a l go r i t hm   i s   a pp l i e t o   s c a l e ,   t r a n s l a t i o n   t h e n   r o t a t i o n   i n v a r i a n c e .   T h e   a n a l y s i s   of   bo t h   da t a   a n do b t a i n e r e s ul t s   i n di c a t e f ur t h e r   pr e - p r o c e s s i n o n   t h e   v i de o   f r a m e s   i s   a   m us t   i n   o r de r   t o   r e du c e   t h e   n u m b e r   o v a ri a nt   f e a t ur e   v a l ue s   a c qui r e fo r   t h e   s a m e   ha n po s t u r e .   T h e   de pt v i de o   i m a ge s   a c qu i r e w i t t h e   K i n e c t   ha d   l o w   r e s o l ut i o n   w i t h   s o m e   n o i s e ,   s o   i t   w a s   i n f e rr e t h a t   s o m e   i m p r e c i s e n e s s   o n   da t a   r e c o r di n gs   r e s ul t s   f r o m   t h o s e   di ff i c ul t i e s ,   l e a di n t o   m o r e   c o m pl i c a t e c l a s s   l e a rni n g .   I t   w a s   f o un t ha t   t h e   r a d i a l   s i g n a t u r e   a n d   t h e   c e nt r o i di s t a n c e   w e r e   t h e   b e s t   s h a pe   de s c r i p t o r s   di s c us s e i t hi s   p a pe i t e rm s   o f   r o b us t n e s s   a n d   c o m put a t i o c o m pl e xi t y .   F urt h e rm o r e ,   t w o - c o l o r   s pa c e s   i n t o   H S - Cb Cr   fo r m a t   f o r   s ki n   de t e c t i o n   a nd  a v e r a g i n b a c kg r o un d   a r e   c o m b i n e t o   s o l ve   t h e   b a c kgr o un p r o b l e m   t h a t   w a s   i nt r o duc e i n   [ 17 ] .   T h e   e xpe r i m e nt a l   r e s ul t s   s h ow   t h a t   t h e   p r o po s e c o m b i n e m e t h o c a n   r e c o gn i z e   ha n d   ge s t ur e s   i n   go o l i g h t i n g   c o n di t i o n s .   In  a dd i t i o n,   c o m put e r   v i s i o n   a pp r o a c h e s   w e r e   us e fo r   H G R   f r o m   a   v i de o   s t r e a m   a s   p r o po s e i [ 18 ] .   T h e   p r o po s e f r a m e w o r ut i l i z e b o t h   b a c kgr o u n s u b t r a c t i o n   a n s ki c o l o r   m o de l s   fo r   s e gm e nt i n g   e a c h   ha n d - p a l m   r e gi o i nt h e   v i de o   s t r e a m .   Co n s e que n t l y ,   a   f uz z y   di r e c t i o n a l   e n c o di n s t ra t e gy   i s   e m pl oy e d   o n   t h e   po l y go n a l   a pp r o xi m a t i o o f   a   ge s t u r e   t o   f o r m   f e a t u re s   w h i c h   a r e   us e t o   t r a i n   a A N N   c l a s s i f i e f o r   de ve l o pi n a   ge s t u r e   p r e di c t i o m o de l .   R e c e n t l y ,   a n   i m p r o v e m a n - m a c hi n e   i n t e r a c t i o n   by   s i n gl e   pe r s o n   H G R   s y s t e m   us i ng  M i c r o s o f t ’s   K i n e c t   s e n s o r   w a s   pr e s e n t e i n   [ 19 ] .   T h i s   s y s t e m   us e s ke l e t a l   i m a ge s   ga i n e f r o m   t h e   s e n s o r .   It   c a n   e xt ra c t   s i f e a t ur e s   f r o m   20  b o d y   j o i n t s ’  c oo r di na t e s   i n   3D   s pa c e .   G e s t ur e   c l a s s i f i c a t i o n   w a s   pe r f o r m e us i ng  a r t i f i c i a l   n e u ra l   n e t w o r w i t h   b a c p r o pa g a t i o n   l e a rn i ng  a l g o r i t hm .   H ow e ve r ,   o u r   p r o po s e s y s t e m   pe r f o r m s   fo ur   n e w   K - N N   pa r a m e t e r s   o f   m a c hi n e   l e a rn i ng  pa t t e rn   r e c o gn i t i o n   f i e l t o   ge t   p r e c i s e   H G R   f o r   t h e   t w e n t y   gi v e n   ge s t ur e s   v oc a b ul a r y   w h i c h   a r e   us e i n   t h i s   r e s e a r c h.   T h e s e   pa ra m e t e r s   a r e   di s c us s e i n   de t a i l   i n   t h e   n e xt   s e c t i o n .       2.   R ES EA R C H   M ET H O D   A N D   P R O P O S ED   S Y S TE M   T h e r e   h a v e   b e e n   a b un d a n t   r e s e a r c h e s   i t hi s   do m a i n.   S e v e r a l   m e t h o do l o gi e s   w e r e   s ugge s t e s uc a s   pri n c i pl e   c o m po n e n t   a n a l y s i s   (P CA m e t h o [ 20 ] ,   s ub t ra c t i o n   m e t h o d   [ 21 ] ,   K - N e a r e s t   N e i g h b o r   (K N N m a c h i n e   l e a rni n m e t h o d   [ 22 ]   a nd  o t h e r   H G R   m e t h o ds   i l l us t r a t e i n   [ 5 23 ] .   I n   t h e   c o n t e xt   o f   t hi s   r e s e a r c h ,   K N N   m a c h i n e   l e a rni n g   a l go r i t hm   i s   p r e f e r r e d   f o r   m a n y   r e a s o n s   s uc a s   s i m p l e   i m p l e m e nt a t i o n,   e a s e   o f   us e ,   l o w   c a l c ul a t i o t i m e ,   di s t i n gu i s h e pe r f o r m a n c e ,   a n r e c o gni z e   ge s t u r e s   a c c u r a t e l y   [ 24 - 26 ] . T h e r e f o r e ,   K N N   m a c h i n e   l e a rn i ng  a l go ri t hm   i s   us e a s   t h e   c o r e   s y s t e m   i n   t h i s   s t udy .   A   m o c l e c t ur e   i a   c l a s s r o o m   w a s   r e c o r de d.   T h e   f i l m e v i de i s   i m po r t e a n t h e n   di v i de i n t o   l e n gt h ,   a nd  w i dt h   a g r e e f r a m e s ,   a t   t hi s   s t a ge   i t   Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2502 - 4752   In do n e s i a J   E l e c   E ng  &   Co m S c i ,   V o l .   21 ,   N o .   1 J a n u a r y   2021   :     242   -   252   246   b e c o m e s   e a s y   t h a n d l e   t h e   v i de a s   a   f r a m e   b u ff e r ,   e a c h   of   w h i c h   i s   c o n s i de r e a s   a n   i m a ge   t ha t   f a c i l i t a t e   t h e   a n a l y s i s   pr o c e s s .   A n a l y z i n a nd  e xa m i n i ng  e a c h   f r a m e   i s   n e e de t o   e xt r a c t   t h e   h a n ge s t u r e   (H G ).   If   a   H G   e xi s t s   i t h e   f r a m e ,   t h e n   t h e   s y s t e m   t r i e t o   pe r f o r m   p r i m a r y   e di t i ng  by   a ddi n g   a   n o t e   w h i c h   i n t e r p r e t s   t h e   e m b e dde ge s t ur e s .   T h e   de f r a g m e nt e f ra m e s   a r e   r e a s s e m b l e t o   b e   di s pl a y e a f t e r   t h e   a nn o t a t i o p r o c e s s   c o m pl e t e d.   T h e   b a s i c   b l o c di a gra m   o f   H G R   s y s t e m   i s   s h o w n   i n   F i gu r e   2.   T o   c l a ri fy   t h e   s y s t e m   i a   m o r e   de t a i l e d   f o r m a t   t h e   f o l l ow i n g   f l ow   c h a rt   i s   e s t a b l i s h e d.   A s   po r t r a y e i n   F i gu r e   a n F i g u r e   4,   t h e   H G s y s t e m   c o n s i s t s   o f   t h e   fo l l ow i n m o dul e s :   p r e - pr o c e s s i n g,   f e a t ur e s   e xt ra c t i o n   a n po s t   pr o c e s s i n g .   M A T L A B   s of t w a r e   h a s   b e e n   us e t o   de v e l o a n d   e xe c ut e   t h e   f o l l ow i n g   H G R   s y s t e m   m o dul e s   a s   a i m a ge   p r o c e s s i n t o o l .           F i gu r e   2 .   B l o c di a g r a m   o f   t h e   s y s t e m           F i gu r e   3 .   S y s t e m   f l ow   c h a r t   Evaluation Warning : The document was created with Spire.PDF for Python.
In do n e s i a J   E l e c   E ng  &   Co m S c i     IS S N :   2502 - 4752       Sm ar t   ha nd  g e s t ur e s   r e c ogn i t i on   us i ng   K - N b as e d   al g or i t h m   f or   v i de o…   ( Mal e k   Z . A l k s as b e h )   247       F i gu r e   4 .   S i m p l i f i e s t r uc t u r e   s h o w i n t h e   m a i c o m pu t a t i o na l   m o dul e s   f o r   H G R   s y s t e m       2. 1 .     P r e p r o c e s s i n g   T h i s   m o dul e   a l l o w s   t h e   us e r   t o   i m po r t / i n s e r t   v i de o   i o r de t o   b e   pr o c e s s e d.   B a s i c a l l y ,   t h e   pr e p r o c e s s i n m o dul e   c o n s i s t s   o f   t h e   f o l l ow i n g   s t a ge s :     2. 1 . 1.   C o n v e r ti n v i d e o   to   fr am e s   In   o rde r   t o   s i m pl i f y   t h e   p r o c e s s e s   a ppl i e t o   t h e   v i de o ,   i t ' s   i m po r t a nt   t o   f r a gm e nt   v i de o   i n t o   f r a m e s ,   s i n c e   de a l i n g   w i t h   t h e   v i de o   a s   f ra m e s   i s   m uc h   e a s i e t o   b e   ha n dl e d .       2. 1 . 2.   R e m o v i n b ac k g r o u n d   an d   n on - mov ab l e   p i x e l s   In  t hi s   s t e p,   t h e   s y s t e m   r e m o v e s   t h e   b a c kg r o un d   n o i s e   i n   o r d e r   t o   e l i m i n a t e   a n y   c o l o ur   t ha t   c o ul b e   s i m i l a r   t o   s ki n   c o l o ur   w h i c h   m a y   pe r t u r b   t h e   h a n d   de t e c t i o n   pr o c e s s .   T h us ,   o u r   s y s t e m   a ppl i e s   t h e   s ub t ra c t i o m e t h o w h i c h   s ub t r a c t s   p i xe l   f r o m   i nput   i m a ge   t o   pi xe l   i n   a n o t h e r   i m a ge   t ha t   i s   l o c a t e i n   a   n u m b e r   o f r a m e s   f a r   f r o m   t h e   o r i gi na l   f ra m e ,   de pe n d i n o n   t h e   s pe e of   t e a c h e r' s   m o t i o n ,   B y   d o i n s o ,   o ur   s y s t e m   n e gl e c t s   a n y   f i xe pi xe l s ,   a n d   ke e ps   t h e   m o v a b l e   o n e s   i n c l ud i n t h e   ha n d .     2. 1 . 3.   D e l e t i n th e   fac e   In  t hi s   s t a ge ,   t h e   f a c e   de t e c t i o n   f un c t i o n   i s   a p pl i e i o r d e r   t o   r e m o v e   t h e   f a c e   t o   e l i m i na t e   a n y   c o n f us i o n   m i g ht   h a ppe b e t w e e n   h a nd  a n d   f a c e .       2. 1 . 4.   S k i n   d e te c ti o n   T h e   s ki c o l o r   de t e c t i o n   i s   o n e   o f   t h e   m a j o t a s ks   i t h e   H G R   s y s t e m .   S ki c o l o r   de t e c t i o n   a n d   de c i s i o n   pri n c i pl e s   a r e   ha n d l e by   t h e   s y s t e m .   T h e   s y s t e m   m us t   t a ke   i n t o   c o n s i de r a t i o n   t h e   di s c r i m i na t i o b e t w e e n   s ki n   p a r t   a n n o n - s ki pa rt   p i xe l s .   T h i s   i s   a c h i e v e by   i n t r o duc i n m e t r i c   m e a s u r e m e n t s ,   w h i c h   m e a s u r e s   t h e   di s t a n c e   of   t h e   pi xe l   c o l o r .   T hi s   m e t ri c   t y pe   i s   kn o w n   a s   s ki n   m o de l i n g.   H ow e ve r ,   e xt r a c t i n g   m o v a b l e   pi xe l s   i s   n o t   e n o ugh  t o   r e c o gn i z e   h a nd  p a l m .   T h e re fo r e ,   t h e   s y s t e m   c o n v e r t s   t h e   r e s ul t e f ra m e   t o   t h e   H S V   c o l o r   do m a i i o r de t o   de t e c t   s ki c o l o r .   T h e r e   a r e   p l e nt y   of   m o de l s   e m pl oy e fo r   s ki n   de t e c t i o n   s uc h   a s   R G B   (R e d,   G r e e n,   a n d   B l ue ),   Y Cb C r   (L u m i na n c e   Chr o m i n a n c e a n d   H S V   (H u e ,   S a t u ra t i o V a l ue ).   H ow e ve r ,   o u r   s y s t e m   a do pt e H S V   m o de l   w h i c o ff e r   b e t t e r e s ul t s   f o r   s e gm e n t a t i o n   a pp l i c a t i o n s   t ha n   o t h e r   m e t h o ds   [ 27 28 ] .       2. 1 . 5 .   R e m o v i n n o i s e   Im a ge   m a y   ha v e   m a n y   s ki s u r f a c e s   s e e n   by   t h e   c a m e r a .   S i nc e   o n l y   o n e   ha n d   i s   r e qu i r e d,   t h e   s y s t e m   pe r f o r m s   a i m a ge   l ab e l i ng   c r i t e ri o n   i n   o r de t o   r e c o g n i z e   t h e   h a nd  a m o ng  a l l   t h e   s ki r e gi o n s .   L a b e l   i s   e s s e n t i a l l y   a n   i n t e ge r   v a l ue s   a s s i g n e t o   a l l   s ki n   r e gi o n s   pi xe l s .   W h e n   o b j e c t   h a l a b e l ,   t h e n   a s s i g n   t h e   c urr e n t   p i xe l   w i t h   t h e   s a m e   l a b e l ,   i f   n o t   t h e n   us e   a   n e w   l a b e l   w i t h   a   n e w   i n t e ge r   v a l ue .   A f t e r   c o un t i ng  a l l   l a b e l e r e gi o n s   (d i v i de d   i m a ge ) ,   w e   s o r t   a l l   o f   t h e m   i n   a s c e n d i n o r de r,   a n w e   t a ke   t h e   a r e a   t ha t   ha v e   t h e   m a x i m u m   l a b e l   v a l ue   w h i c h   w e   i n t e r e s t e i b e c a us e   w e   a s s um e   t ha t   ha n d   r e gi o i s   t h e   b i gge s t   pa rt   i n   t h e   i m a ge .   F o r   t h e   s a ke   o f   s e pa ra t i ng  h a nd  r e gi o n,   w e   c r e a t e   a   n e w   i m a ge   w h i c h   c o n t a i n   t h e   v a l ue   i n   t h e   po s i t i o n s   w h e r e   t h e   m a x i m um   l a b e l   o c c ur s ,   a n d   w e   s e t   t h e   o t h e v a l ue s   t o   z e r o .   F i g u r e   s h o w s   t h e   o ut put   o e a c h   s t e p ,   f r o m   t h e   t i m e   t h e   v i de o   i s   p r o c e s s e unt i l   t h e   ha n d   i s   b e i n e x t r a c t e d.       Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2502 - 4752   In do n e s i a J   E l e c   E ng  &   Co m S c i ,   V o l .   21 ,   N o .   1 J a n u a r y   2021   :     242   -   252   248       F i gu r e   5 .   T h e   s e que n c e o ut pu t   o f   e a c h   s t a ge   i p r e p r o c e s s i ng  p ha s e       2. 2 .     F e atu r e   e x tr ac ti o n s   E m p l oy i n K N N   n e e e n t r y   pa r a m e t e r s   i n   o r de r   t o   e xt r a c t   t h e   f e a t ur e s   a n i de n t i f y   t h e   ha n r e gi o n.   T h e   p r o po s e s y s t e m   a d a pt s   f o ur   p a r a m e t e r s   f o r   t hi s   pu rpo s e .   a)   L i n e s   r a t i o :   t h e   r a t i o   be t w e e n   t h e   ve r t i c a l   a n h o r i z o n t a l   l i n e s ;   I f   ( , )   i s   t h e   c e n t e r   p o i n t   i t h e   w h i t e   h a n s h a p e ,       V e r t i c a l   l i n e   =     (1)     H o r i z o nt a l   l i n e   =     (2)     L i n e s   ra t i o   =                 (3)     T h i s   r a t i o   r e f l e c t s   h a nd  p r o pa ga t i o f r o m   r i g ht   t o   l e f t   a nd  u t o   dow n .   b)   Re c t a n gl e   r a t i o:   fo r   t h e   r e c t a n gl e   c i r c um s t a n c e   t h a t   c ove r s   t h e   h a n s h a p e   a n h a s   t h e   m e di a n   p o i n t   ( , ) ,   s up p os e   t h a t   s um m a t i o n   S   of  h a n p i x e l s   t h a t   i n t e r s e c t s   t h e   r e c t a n gl e   i s   c o m put e d,   t h e n   r e c t a n gl e   r a t i c a n   be   c a l c ul a t e a s   fol l ow s :     R e c t a ngl e   ra t i o   =       (4)     T h e   m a t h e m a t i c a l   ra t i o   f i gur e s   o ut   t h e   e xt e rna l   b o un da r y   fo r   t h e   h a nd  ge s t u r e .   T h e   p r e v i o us   t w pa r a m e t e ra t i o s   a r e   i l l us t ra t e i F i g u r e   6 .           F i gu r e   6 .   T h e   ra t i o   p a ra m e t e r s   f o r   t h e   s uppo s e r e c t a ngl e   a nd  l i n e s       c)   T h e   s e c o n o r d e r   c ol um n   m o m e n t ,   w h e r e   ̅   i s   t h e   r ow s '   m e a n        =   1   ( ̅ ) 2 ( , )     (5)   Evaluation Warning : The document was created with Spire.PDF for Python.
In do n e s i a J   E l e c   E ng  &   Co m S c i     IS S N :   2502 - 4752       Sm ar t   ha nd  g e s t ur e s   r e c ogn i t i on   us i ng   K - N b as e d   al g or i t h m   f or   v i de o…   ( Mal e k   Z . A l k s as b e h )   249   T h i s   pa ra m e t e r   gi v e s   i n f o r m a t i o n   a b o ut   t h e   h o ri z o n t a l   di s t ri b ut i o n   a r o un t h e   r o w s '   m e a n   w i t hi n   t h e   w h o l e   h a nd  a r e a .     d)   T h e   s t a n da r d   d e vi a t i o n :   i s   a   m e a s ur e   of  t h e   da t a   s e t   di s pe r s a l   f r om   i t s   m e a n .   T h e   m o r e   di ffu s i o n   a pa r t   t h e   da t a ,   t h e   h i gh e r   t h e   d e vi a t i o n .   S t a n da r d   d e vi a t i o i s   r e pr e s e n t e d   a s   t h e   p os i t i ve   s q ua r e   r oot   of  va r i a n c e .     If   w e   h a v e   v e c t o r   X   w h i c h   c o n t a i n s   t h e   n u m b e r   o f   h a nd  pi xe l s   a t   e a c h   r o w   fo r   t h e   ha n ge s t u r e ,   w h e r e   i s   t h e   l a s t   r o w   n u m b e r   t ha t   i s   l e s s   t ha r o w ' s   m e a n ,   t h e n :       =   (    ) 2 = 1 1   (6)     A s   s h o w n   i n   F i gu r e   7 ,   t h e   s t a n d a r de v i a t i o n   r e f l e c t s   t h e   di s pe r s a l   o f   h a n de n s i t y   f r o m   i t s   m e a n.   T h e   m o r e   di f f us i o n   s c a t t e ri n g   t h e   d a t a ,   t h e   h i g h e t h e   de v i a t i o n .           F i gu r e   7 .   T h e   s t a n d a r de v i a t i o p a r a m e t e e f fe c t       2. 3 .     P o s p r o c e s s i n g   A t   t h i s   po i n t   t h e   f i na l   t o uc h   t o   t h e   de s i gn   i s   a dde d .   P o s t   pr o c e s s i n i s   t h e   a nn o t a t i o n   t ha t   de s c ri b e s   t h e   ha n ge s t u r e .   P o s t   pr o c e s s i n a l l o w s   t h e   us e r   t o   a dd  hi s   ow n   a nn o t a t i o n   by   b ui l di n a   g ra p h i c a l   us e r   i n t e r f a c e   (G U I),   gi v i n g   t h e   us e r   a   c h o i c e   w h e t h e r   o r   n o t   t o   a dd  a n y   s ugge s t e a nn o t a t i o n.   F i gu r e   s h o w s   t h e   a nn o t a t e d   f r a m e   a s   b e i n g   r e c o m m e n de d   by   t h e   us e r .             F i gu r e   8 .   A nn o t a t e f ra m e       3.   O B S ER V A N D   EV A LU A TE   T h e   pe r f o r m a n c e   of   t h e   w h o l e   s y s t e m   i s   di s c us s e i t hi s   s e c t i o n   b a s e o n   p r o c e s s i n t i m e ,   a c c ur a c y ,   s e n s i t i v i t y ,   a n d   s pe c i f i c i t y .       3. 1 .     P r o c e s s i n g   ti m e   T i m e   e v a l ua t i o n   i n   i m a ge   pr o c e s s i n a n r e c o gn i t i o n   p ha s e s   i s   v e r y   e s s e n t i a l   t o   e s t i m a t e   t h e   pe r f o r m a n c e .   P r o c e s s i n t i m e   s h o w s   l e a n i n g   i t h e   t e c hni que   w h i c h   ha s   b e e n   us e t o   r e c o gn i z e ha nd  ge s t ur e s .   T h e r e   a r e   f e w   f a c t o r s   t ha t   di s c ri m i na t e   t h e   r e s ul t s   s uc h   a s   i m a ge   qua l i t y ,   i m a ge   s i z e   (6 48x480  a n d   1920x108 0)  a n t h e   p a r a m e t e r s   o f   r e c o gn i t i o n   t e c hn i q ue   o r   a l go ri t hm .   I t ra i ni n g ,   t e s t i n g ,   f e a t u r e   e xt ra c t i o Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2502 - 4752   In do n e s i a J   E l e c   E ng  &   Co m S c i ,   V o l .   21 ,   N o .   1 J a n u a r y   2021   :     242   -   252   250   a n r e c o gn i t i o n   o t h a t   pa rt i c ul a r   i m a ge ,   p r o c e s s i n t i m e   fo r   o ur   s y s t e m   i s   a l m o s t   n e gl i g i b l e   s i n c e   i t   a c hi e v e s   2. 1   m s / f r a m e   p r o c e s s i n s pe e d.       3. 2 .     Eff e c t   o tr ai n i n g   p att e r n   T h i s   e xpe ri m e n t a l   a s s u m pt i o n   w a s   m a de   t o   r e duc e   m i s c l a s s i f i c a t i o n   a s   t h e   n u m b e r   of   t r a i n i ng  pa t t e rn s   i n c r e a s e .   T h e r e   a r e   m a n y   i m a ge s   of   di ffe r e n t   pe o pl e   w i t h   s ki n   c o l o r   i n   t h e   t r a i n i ng  da t a b a s e   t o   e n a b l e   K N N   t o   l e a rn  i o r de r   t o   c l a s s i fy   w i t di f f e r e n t   ge s t u r e   p o s i t i o n s .   M o u n t i n g   t ra i ni n pa t t e rn   g i v e s   m o r e   e ffe c t i ve   a n d   i n f l ue nt i a l   r e s ul t s .   In  t hi s   s t udy ,   c o n f us i o n   m a t ri i s   us e t o   c a l c ul a t e   t h e   s y s t e m   a c c u r a c y ,   s e n s i t i v i t y ,   a nd  s pe c i f i c i t y .   A   c o n f us i o n   m a t r i [ 29 ]   c o n t a i n s   n um e ri c   da t a   a b o ut   a c t ua l   a n r e s ul t   c l a s s i f i c a t i o n   t h a t   i s   do n e   by   t h e   r e c o gn i t i o n   m a c h i n e   l e a rni ng  a l go r i t h m .   T h e   f o l l ow i n T a b l e   s h o w s   t h e   f o r m   o c o n f us i o n   m a t r i x .   W h e r e   T P   i s   t h e   c o rr e c t   p r e di c t i o n s   o f   t h e   po s i t i v e   i n s t a n c e ,   F B   i s   t h e   i n c o rr e c t   p r e di c t i o n s   o f   t h e   n e ga t i v e   i n s t a n c e ,   F N   i s   t h e   c o rr e c t   pr e di c t i o n s   of   t h e   n e ga t i v e   i n s t a n c e   a n T N   i s   t h e   i n c o rr e c t   pr e di c t i o n s   of   t h e   n e ga t i v e   i n s t a n c e .         T a b l e   1 .   T h e   c o n f us i o n   m a t r i x   f o r m a t       P re d i c t e d     P o s i t i v e   N e g a t i v e   A c t u a l   P o s i t i v e   TP   FP   N e g a t i v e   FN   TN       In   t h i s   s t udy ,   120  H a n G e s t u r e i m a ge s   fo r   e a c h   c l a s s   w e r e   us e i n   t h e s e   e xpe r i m e nt s .   T h e n,   a c c ur a c y ,   s e n s i t i v i t y ,   a n s pe c i f i c i t y   fo r   t w e n t y   c l a s s e s   w e r e   c a l c ul a t e a s   po r t ra y e i n   T a b l e   a n F i g u r e   de pe n di n g   o t h e   f o l l ow i n f o r m u l a s .   A c c ur a c y   (7)  i s   h o w   c l o s e   a   m e a s u r e d   v a l ue   i s   t o   t h e   a c t u a l   (t r ue )   v a l ue .        =    +   +  +  +    (7)     S e n s i t i v i t y   (8)  w h i c h   c a l l e t h e   t r ue   po s i t i v e   r a t e   m e a s u r e s   t h e   p r o po r t i o n   o f   a c t ua l   po s i t i v e s   a n i s   c o m pl e m e n t a r y   t o   t h e   f a l s e   n e g a t i v e   r a t e .        =     +    (8)     S pe c i f i c i t y   (9)  i s   t h e   t r ue   n e ga t i v e   r a t e   r e f l e c t s   t h e   pr o po r t i o n   o f   n e ga t i v e s   a n i s   c o m pl e m e n t a r y   t t h e   f a l s e   po s i t i v e   ra t e .        =     +    (9)           F i gu r e   9 .   T h e   a c c u r a c y ,   s e n s i t i v i t y ,   a n s pe c i f i c i t y   pe r f o r m a n c e   r e s ul t s   Evaluation Warning : The document was created with Spire.PDF for Python.
In do n e s i a J   E l e c   E ng  &   Co m S c i     IS S N :   2502 - 4752       Sm ar t   ha nd  g e s t ur e s   r e c ogn i t i on   us i ng   K - N b as e d   al g or i t h m   f or   v i de o…   ( Mal e k   Z . A l k s as b e h )   251   T a b l e   2 .   T h e   a c c u r a c y ,   s e n s i t i v i t y ,   a n s pe c i f i c i t y   r e s ul t s   Cl a s s e s   A c c u ra c y   S e n s i t i v i t y   S p e c i f i c i t y   H a n g   l o o s e   9 5 . 8 3   100   9 7 . 4 3   Ca l l   m e   9 5 . 0 0   9 1 . 3 0   9 7 . 2 9   L o s e r   9 5 . 8 3   9 5 . 3 4   9 6 . 1 0   Hi - fi v e   100   100   100   T a l k   t o   t h e   h a n d   100   100   100   G o o d   j o b   9 7 . 5 0   9 7 . 5 6   9 7 . 4 6   H i t c h i n g   a   ri d e   9 8 . 3 3   9 5 . 4 5   100   D i s l i k e   9 6 . 6 6   9 7 . 5 6   9 6 . 2 0   W o rl d 's   s m a l l e s t   v i o l i n   9 3 . 3 3   9 7 . 3 6   9 1 . 4 6   P e a c e   100   100   100   S h o c k e r   9 2 . 5 0   9 7 . 5 0   9 0 . 0 0   Y o u   9 7 . 5 0   9 5 . 0 0   9 8 . 7 5   Ba n g   b a n g   100   100   100   Ok   100   100   100   H o l e   9 5 . 8 3   9 2 . 1 0   9 7 . 5 6   Ch e c k   9 7 . 5 0   100   9 6 . 4 2   P o w e t o   9 4 . 1 6   8 8 . 8 8   9 5 . 2 9   F - Y O U   100   100   100   G o o d   l u c k   100   100   100   Ro c k   9 2 . 5 0   9 3 . 7 5   9 2 . 0 4   A v e ra g e   9 7 . 1 2   9 7 . 2 0   9 7 . 1 2       4.   C O N C LU S I O N   In   t hi s   w o r k,   a   de s c r i p t i o n   o a   s t r uc t u r e ge s t u r e   a nn o t a t i o n   s y s t e m   i s   de v e l o pe d.   t h e   p r o po s e d   s y s t e m   c o n s i s t s   o f   a l go r i t hm s   i m pl e m e n t e o n   s i n g l e - pe r s o n   ha n ge s t u r e   r e c o gn i t i o n,   A s   r e qui r e i a n y   r e s e a r c h,   w e   h a v e   p e r f o r m e a n   e xt e n s i v e   r e s e a r c h   l o o ki ng  fo r   v a r i o us   a pp r o a c h e s   f o r   de v e l o pi n H G m e t h o ds .   F o ur   pa r a m e t e r s   w e r e   e xt r a c t e t o   be   t h e   ke y - e n t r i e s   fo r   K - N N   c l a s s i f i e r .   T h e   pr o po s e s y s t e m   w o r ks   i n   o ff - l i n e   m o de .   T h e   s y s t e m   c a n   de t e c t   s i n gl e - ha n de i ndi v i du a l s   i n   t h e   c a m e r a ’s   f i e l o f   v i e w   a c c ur a t e l y ,   t h e n   i t   r e c o gn i z e s   t h e   ge s t ur e   w h e n   t h e y   a ppe a r   s uc c e s s f ul l y .   G U fo r   v i de o   a n n o t a t i o n   i s   a l s pr e s e nt e a l l o w i n t h e   us e t o   a d hi s   o w n   de s c r i p t i o o n   t h e   v i de o .   T h e   s y s t e m   pe r f o r m a n c e   i s   t e s t e o n   120   ha n ge s t u r e s   f o r   e a c h   ge s t u r e .   T h e   e xpe r i m e nt   r e s ul t s   s h o w e t ha t   t h e   s ugge s t e m e t h o h a a a v e r a ge   r e c o gn i t i o r a t e   o f   97%.   A s   i l l us t r a t e i t hi s   r e s e a r c t h e   s ugge s t e s y s t e m   a c h i e v e s   e xc e l l e n t   r e s ul t s   a n d   hi t s   a n   a c c e pt a b l e   a c c ur a c y ,   b ut   fo r   m o r e   pr o m o t i o n s ,   t h e r e   i s   s o m e   s m a l l   i s s ue s   n e e de t o   b e   s o l ve s uc h   a s ,   v i de o   r e s o l ut i o n   a f f e c t s   t h e   pr o c e s s i n t i m e .   A l s o ,   t h e   p r o pos e s y s t e m   w o r ks   w i t h   s i ngl e   pe r s o n   H G R   o n l y ,   a n o t h e r   c h a l l e n ge   w a s   t h e   po s i t i o n   o f   h a n w h e n   do i n t h e   g e s t ur e ,   i f   i t   i s   i n   f r o n t   o f   t h e   f a c e   t h e n   t h e   s y s t e m   w i l l   m i s s   c l a s s i fy   i t .   H G R   i s   a   w i de   s c i e n c e   f i e l w h i c h   s h o w s   c o n t i n uo us   upg r a di n s y s t e m s   a n i n v e n t i o n s ,   t a k i n t hi s   c ri t i c a l   f a c t   i nt o   a c c o un t   a n d ue   t o   t h e   i m po rt a nt   a pp l i c a t i o n   f i e l ds ,   t h e r e   a r e   s o m e   s ugge s t i o n s   t h a t   c a n   b e   i m p l e m e nt e i n   f ut u r e   w o r k,   s uc h   a s   p r o c e s s i n a n   O N L IN E   v i de o ,   de t e c t i ng  m u l t i - pe r s o n   ha n d   ge s t ur e ,   de a l i n w i t h   m o r e   h a nd  a n f a c e   ge s t ur e s   voc a b ul a ry ,   b ui l di ng  b i da t a s e t   o f   h a n ge s t u r e s   fo r   m o r e   e ff i c i e n c y   a n d   f o r   R obo t i c s   a n c o m put e v i s i o n .       R EF ER EN C ES   [ 1]   M .   A .   R a hi m ,   M .   R .   I s l a m ,   a nd  J .   S hi n,   N o n - T o uc S i g W o r R e c og ni t i o B a s e o D y na m i c   H a nd  G e s t u r e   U s i ng   H y br i S e g m e nt a t i o a nd  C N N   F e a t ur e   F u s i o n ,   A pp l i e d   Sc i e nc e s ,   v o l .   9,   no .   18 ,   pp.   3 790 ,   2019 .     [ 2]   H .   B a d i ,   R e c e nt   m e t ho ds   i v i s i o n - ba s e d   ha nd  g e s t u r e   r e c o g ni t i o n,   I nt e r na t i ona l   J ou r na l   o f   D a t Sc i e nc e   and   A nal y t i c s ,   v o l .   1 ,   no .   2,   pp .   77 - 87 ,   2016 .     [ 3]   Q .   D e   S m e dt ,   D y na m i c   ha nd  g e s t ur e   r e c og ni t i o n - F r o m   t r a di t i o na l   ha n dc r a f t e t o   r e c e n t   d e e l e a r n i ng   a ppr o a c he s ,   S c i e nc e s   a ndT e c hno l o g i e s ,   U ni v e r s i t é   L i l l e   1 ,   2017 .     [ 4]   S .   F e ng ,   R .   M a nm a t ha ,   a nd  V .   L a v r e nko ,   " M ul t i pl e   be r no ul l i   r e l e v a nc e   m o de l s   f o r   i m a g e   a n v i de o   a nno t a t i o n. "   P r oc e e di ngs   of   t he   20 04  I E E E   C om pu t e r   So c i e t y   C on f e r e nc e   on  C om pu t e r   V i s i on  an P at t e r R e c o gni t i on   ( C V P R ) ,   200 4 .     [ 5]   M .   P a nw a r ,   a nd   P .   S .   M e h r a ,   H a n g e s t ur e   r e c o g ni t i o f o r   hum a c o m put e r   i nt e r a c t i o n,   i 2011   I nt e r na t i ona l   C onf e r e nc e   on   I m age   I nf o r m a t i o P r oc e s s i n g ,   S h i m l a ,   p p.   1 - 7 ,   2 01 1 .     [ 6]   D .   L e e ,   a nd  K .   H o ng ,   A   H a nd  g e s t u r e   r e c o g ni t i o s y s t e m   ba s e o di f f e r e nc e   i m a g e   e n t r o py ,   i 201 6t h   I nt e r n at i on al   C on f e r e nc e   on  A dv anc e I n f or m a t i on  M anage m e nt   a nd  Se r v i c e   ( I M S) ,   S e o ul , S o ut K o r e a ,     pp.   41 0 - 413 ,   2 010 .     [ 7]   M .   P a nw a r ,   H a nd  g e s t ur e   r e c o g ni t i o ba s e o s ha pe   p a r a m e t e r s ,   i 201 I n t e r nat i o nal   C o nf e r e nc e   on   C om put i ng ,   C om m un i c a t i on   and   A p pl i c a t i on s ,   D i ndi g ul ,   T a m i l n a du ,   2012 ,   pp .   1 - 6.     [ 8]   H .   H i ka w a ,   a nd  K .   K a i d a ,   N o v e l   F P G A   i m p l e m e n t a t i o o f   ha nd  s i g r e c o g ni t i o s y s t e m   w i t S O M H e bb   c l a s s i f i e r ,   I E E E   T r ans a c t i on s   on   C i r c u i t s   and   Sy s t e m s   f or   V i de T e c hnol o gy ,   v o l .   25 ,   no .   1 ,   pp .   153 - 166 ,   201 4.     [ 9]   K .   L i u,   C .   C he n,   R .   J a f a r i ,   a nd  N .   K e h t a r n a v a z ,   F us i o of   i ne r t i a l   a nd  de pt s e n s o r   da t a   f o r   r o bus t   ha nd  g e s t ur e   r e c o g ni t i o n,   I E E E   Se ns or s   J ou r na l ,   v o l .   1 4,   no .   6 ,   p p.   1 898 - 190 3,   2014 .     Evaluation Warning : The document was created with Spire.PDF for Python.