I n d on e s i an   Jo u r n al   o El e c t r i c al   En gi n e e r i n g   an d   C o m p u te r   S c i e n c e   V o l .   1 5 ,   N o .   1 Ju ly   201 9 ,   pp .   4 95 ~ 5 03   IS S N :   2502 - 4752 ,   D O I :   10. 1 1591 / i j e e c s . v 1 5 .i 1 . pp 495 - 503             495       Jou r n al   h o m e pa ge ht t p: / / i ae s c or e . c om / j our na l s / i nde x . php/ i j e e c s   In d o n e si a n   s i g n   l a n g u a g e   r e c o g n i t i o n   u si n g   k i n e c t   a n d   d y n a m i c   t i m e   w a r p i n g       Wi jayan t i   N u r u l   K h o ti m ah ,   T i ar A n gg i ta ,   an d   N an i k   S u c i at i   In f o r m a t i c s   D e pa r t m e nt ,   I n s t i t ut   T e k n o l o gi   S e pul u N o pe m b e r   S u ra b a y a ,   I n do n e s i a       A r ti c l e   I n fo     A B S TR A C T   Ar t i c l e   h i s t or y:   R e c e i v e O c t   1,   2018   R e v i s e D e c   10,   2018   A c c e pt e J an   25,   201 9       S i g L a ng ua g e   R e c o g ni t i o S y s t e m   ( S L R S )   i s   a   s y s t e m   t o   r e c o g ni s e   s i g l a ng ua g e   a nd  t he t r a ns l a t e   t he m   i n t o   t e xt .   T h i s   s y s t e m   c a be   de v e l o pe by   us i ng   a   s e ns o r - ba s e t e c hn i qu e .   S o m e   s t ud i e s   ha v e   i m p l e m e nt e v a r i o us   f e a t u r e   e xt r a c t i o a nd   c l a s s i f i c a t i o m e t ho ds   t o   r e c o g ni s e   s i g l a ng ua g e   i t he   di f f e r e n t   c o unt r y .   H o w e v e r ,   t he i r   s y s t e m s   w e r e   us e r   de pe n de nt   ( t h e   a c c ur a c y   w a s   hi g w he t he   t r a i ne a nd  t he   t e s t e u s e r   w e r e   t he   s a m e   pe o pl e ,   bu t   i t   w a s   g e t t i ng   w o r s e   w he t he   t e s t e us e r   w a s   di f f e r e nt   t o   t he   t r a i n e us e r ) .   T he r e f o r e ,   i t h i s   s t udy ,   w e   pr o po s e a   f e a t ur e   e xt r a c t i o m e t ho w h i c i s   i nv a r i a n t   t o   a   u s e r .   W e   us e t h e   d i s t a nc e   be t w e e n   t w o   us e r s   s ke l e t o i n s t e a o f   us i ng   t h e   u s e r s   s ke l e t o po s i t i o ns   b e c a us e   t h e   s k e l e t o di s t a nc e   i s   i nde pe nd e n t   t o   t he   us e r   po s t u r e .   F i na l l y ,   f o r t y - f i v e   f e a t ur e s   w e r e   e xt r a c t e i t hi s   pr o po s e m e t ho d .   F u r t h e r ,   w e   c l a s s i f i e t he   f e a t u r e s   by   us i ng   a   c l a s s i f i c a t i o m e t ho t ha t   i s   s ui t a bl e   w i t s i g l a ng ua g e   g e s t u r e s   c ha r a c t e r i s t i c   ( t i m e - de p e nd e n t   s e que nc e   d a t a ) .   T h e   c l a s s i f i c a t i o m e t ho i s   D y na m i c   T i m e   W r a pp i ng .   F o r   t he   e xp e r i m e n t ,   w e   us e t w e n t y   I ndo ne s i a n   s i g l a ng ua g e s   f r o m   di f f e r e nt   s e m a n t i c   g r o ups   ( g r e e t i ng s ,   que s t i o ns ,   pr o no uns ,   pl a c e s ,   f a m i l y   a nd  o t he r s )   a nd  d i f f e r e n t   g e s t u r e   c ha r a c t e r i s t i c   ( s t a t i c   g e s t ur e   a nd  dy na m i c   g e s t ur e ) .   T he t he   s y s t e m   w a s   t e s t e by   a   di f f e r e n t   u s e r   w i t t h e   us e r   w ho   di t h e   t r a i n i ng .   T h e   r e s ul t   w a s   p r o m i s i ng ,   t hi s   pr o po s e m e t ho pr o duc e h i g a c c ur a c y ,   r e a c 91%   w h i c s ho w s   t h a t   t hi s   pr o po s e d   m e t ho i s   us e r   i n de p e nde nt .   Ke y w or ds :   D y n a m i c   T i m e   W ra pp i n g   In do n e s i a n   s i g n   l a n gu a ge   r e c o gn i t i o n   U s e r   i nde pe n de n t   s y s t e m   C opy r i gh t   ©   201 9   I n s t i t ut e   o f   A dv anc e E ng i ne e r i ng   and   S c i e nc e .     A l l   r i gh t s   r e s e r v e d .   Cor r e s pon di n g   Au t h or :   W i j a y a n t i   N u rul   K h o t i m a h,     In f o r m a t i c s   D e pa r t m e nt ,     In s t i t ut   T e k n o l o gi   S e pul u N o pe m b e r   S u r a b a y a ,     S uko l i l o   60111 ,   S u ra b a y a ,   I n do n e s i a .   E m a i l :   w i j a y a n t i @ i f . i t s . a c . i d       1.   I N TR O D U C TI O N   S i g n   L a n gu a ge   R e c o gn i t i o n   S y s t e m   (S L R S i s   a   s y s t e m   w h i c h   c a p t u r e s   s i g n   l a n g u a ge   us e by   pe o pl e   w i t h   h e a r i ng  di s a b i l i t y ,   e xt r a c t s   t h e   f e a t u r e s ,   c l a s s i f i e s   t h e   f e a t ur e s   a n t h e n   s h o w s   t h e   r e s ul t   i nt o   t e xt .   T h e   s y s t e m   c a n   i de nt i fy   b o t h   s t a t i c   s i g n   a nd  dy n a m i c   s i g n.   T h e   S L R S   c a n   b e   de v e l o pe by   us i n e i t h e r   s e n s o r - b a s e t e c hn i que   o r   i m a ge - b a s e t e c hn i que   [1] .   T he   s e n s o r - b a s e t e c hn i q ue   e m pl o y s   a   v a ri e t y   o s e n s o r   de v i c e s   t o   r e c o gn i s e   s i gn   ( h u m a n   m o ve m e n t ) ,   e . g.   S m a rt   gl o v e ,   K i n e c t ,   a nd  L e a m o t i o n   c o n t r o l l e r   [2 - 7] .   W h i l e   i n   t h e   i m a ge - b a s e t e c h ni que ,   a   s e que n c e   o i m a ge s   w a s   c a pt u r e by   us i n a   c a m e ra .   T h e n,   t h o s e   i m a ge s   w e r e   p r o c e s s e by   us i n a i m a ge - p r o c e s s i n m e t h o [8 - 10 ] .   M a n y   f e a t ur e s   e xt r a c t i o n   m e t h o ds   ha v e   be e n   i m p l e m e nt e i n   t h e   r e c o gn i t i o n   b y   us i n t h e   s e n s o r - b a s e t e c h ni que .   F i r s t   w a s   t h e   s t udy   c o n duc t e by   I b r a hi m   e t   a l .   w hi c us e 28  v a r i a b l e s   f r o m   gl o v e   s e n s o r   t o   r e c o gn i s e   A ra b i c   s i g n   l a n gu a ge   [11] .   T h e n,   P e i   y i n   e xt ra c t e 17  f e a t ur e s   o f   h a n po s i t i o n.   T h e s e   f e a t ur e s   w e r e   t hum b   o ut s i de ,   t h u m b   t o (o n   a   t hum b n a i l ) ,   i n de f i ng e r ,   m i dd l e   f i n ge r ,   ri n f i n ge r,   l i t t l e   f i n ge r ,   w ri s t   pe r pe n di c ul a r   t o   b o n e s ,   w r i s t   p a r a l l e l   t o   f i n ge r s ,   w r i s t   pe r p e n di c ul a r   t o   pa l m ,   s h o ul de r   e l e v a t i o (f o r w a r d) ,   s h o ul de r   (o ut w a r d)  [12] .   I n   201 6,   T a m a s   e t   a l .   us e a t o m i c   ge s t ur e s   of   e a c h   s ke l e t o n   t o   r e c o gn i s e   ge s t ur e   i n   Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2502 - 4752   In do n e s i a J   E l e c   E ng  &   Co m S c i ,   V o l .   1 5 ,   N o .   1 Ju ly   201 9   :     4 9 5   -   5 0 3   496   A ra b i c   s i g n   l a n gu a ge   w h i l e   T e e ra w a t   e t   a l .   us e s ke l e t o t r a j e c t o r y   [13 - 14] .   I n   t h e   s a m e   y e a r,   L e e   e t   a l .   e xt ra c t e ha n d   po s i t i o n s ,   ha n d   s i g ni n g   di r e c t i o n ,   a nd  ha n d   s ha pe s   t o   r e c o gn i s e   T a i w a n e s e   s i g n   l a ngua ge   [15]   F urt h e r,   t h e   s i g l a ngu a ge   r e c o gn i t i o n   a c c ur a c y   i s   i n f l ue n c e n o t   o n l y   by   t h e   f e a t u r e s   b ut   a l s o   by   t h e   c l a s s i f i c a t i o m e t h o d.   D u r i ng  t h e s e   y e a r s ,   s o m e   r e s e a r c h e r s   ha i m p l e m e n t e d i f f e r e n t   c l a s s i f i c a t i o m e t h o ds   t o   s o l ve   t h i s   p r o b l e m .   N e a r e s t   N e i g h b o ur   a l go r i t hm   ha b e e n   us e by   I b r a hi m ,   T a m a ,   a n T e e ra w a t .   T h e i r   s t udy   r e po r t e t h a t   t h e   a c c ura c y   of   t h e i r   s y s t e m   w a s   r o ugh l y   95%.   H ow e v e r ,   t h e   s t udi e s   o n l y   r e c o gn i s e a   s m a l l   n u m b e r   o s i gn   l a n gu a ge s   [12 14 - 15] .   A n o t h e r   a l go ri t hm   w a s   S V M .   A ga r w a l   a n S u n   ha us e S V M   a l go ri t hm   a nd  w r o t e   t h a t   t h e i s y s t e m   a c c ur a c y   w a s   a r o un 9 0% .   It   w a s   l o w e r   t ha n   t h e   p r e v i o us   a l go ri t hm ,   b ut   t h e   num b e r   o f   t h e   r e c o gn i s e s i g l a n gu a ge   w a s   h i g h e r   t h a t h e   p r e v i o us   a l go ri t hm   [ 16 - 18] H i dde n   M a r ko v   M o de l s   w a s   a l s po pul a r.   It   h a b e e n   us e by   Q ua dr i   a nd  U l r i c h.   T h e   a c c ura c y   w a s   v a r y i n g ,   b ut   i t   c o ul be   us e t o   r e c o gn i s e   s e v e r a l   n um b e r s   o f   s i gn   l a n g ua ge s   [19 - 21] .   E v e n   t h o ugh   t h o s e   r e s e a r c h e r s   ha us e di f fe r e nt   c l a s s i f i c a t i o n   m e t h o ds ,   t h e y   h a s i m i l a r i t i e s ;   t h e i r   s y s t e m   w a s   us e r   de pe n de n t   ( t h e   a c c ur a c y   w a s   h i g w h e n   t h e   t ra i n e us e r   a nd  t h e   t e s t e us e w e r e   t h e   s a m e   pe o pl e ,   b ut   i t   w a s   ge t t i n w o r s e   w h e n   t h e   t e s t e us e di f f e r e n t   t o   t h e   t ra i n e d   us e r ) .   T h e r e f o r e ,   w e   n e e t o   f i n f e a t ur e   e xt ra c t i o n   m e t h o w h i c h   r e p r e s e n t e t h e   s i g n   l a n g ua ge   a nd  i n v a ri a nt   t o   t h e   us e r   c ha ra c t e ri s t i c .   I n   t h e   c l a s s i f i c a t i o n   m e t h o d,   w e   r e qui r e   a   c l a s s i f i c a t i o n   m e t h o t ha t   s ui t a b l e   w i t h   s i g n   l a n gu a ge   c h a ra c t e r i s t i c   s i n c e   s i gn   l a n gu a ge   i s   a   t i m e - de pe nde nt   s e que n c e .   T h us ,   i n   t h i s   r e s e a r c h,   w e   us e s ke l e t o n   di s t a n c e   i n s t e a o f   s ke l e t o n   po s i t i o n   f o r   t h e   f e a t ur e ,   a nd  w e   us e D y n a m i c   T i m e   W r a p pi n g   m e t h o w h i c h   s u i t a b l e   t o   c l a s s i fy   t i m e - de pe n de nt   s e que n c e   da t a .   T h e   o r ga ni z a t i o n   o f   t hi s   pa pe r   i s   a s   f o l l ow s .   A f t e r   a   ge n e ra l   i n t r o duc t i o o f   t h e   p r e v i o us   r e s e a r c h   i t h e   s i g n   l a n gu a ge   r e c o gn i t i o n,   t h e   de t a i l   a b o ut   Indo n e s i a S i gn   L a n gu a ge   a n D y n a m i c   T i m e   W r a ppi n g   w e r e   di s c us s e i n   s e c t i o n   2.   In   s e c t i o n   3,   w e   di s c u s s e d   t h e   r e c or d i n p r o c e s s ,   t h e   fe a t ur e   e xt r a c t i o n   a n D T W   i m p l e m e nt a t i o n .   I s e c t i o n   4,   da t a s e t ,   e xpe r i m e n t   de t a i l   a nd  a n a l y s i s   h a v e   be e n   pr e s e n t e d .   A n t h e   s t udy   h a s   b e e n   c o n c l ude i s e c t i o n   5 .       2.   R EF ER EN C ES   2. 1     I n d o n e s i an   S i gn   Lan gu age   S o m e   di ff e r e n t   s i g l a n gu a ge s   e xi s t   i n   t h e   w o r l d.   E a c h   s i g n   l a n gu a ge   i di f f e r e n t   c o unt r y   m i g h t   ha s   di f fe r e nt   ge s t u r e ,   b ut   m o s t   of   t h e m   us e t h e   ha n ge s t u r e s .   F o r   i n s t a n c e ,   t h e   w o r ‘pe r s o n’  i s   s i g n e by   us i n In do n e s i a s i g n   l a n gua ge   t ha t   i s   s h o w n   i n   F i gu r e   1 ( a ),   b ut   i t   i s   s i g n e by   us i ng  B ra z i l i a s i g n   l a ngua ge   t h a t   i s   s h o w n   i F i g u r e   1(b [22 ] .   B a s e o n   t h e   ge s t u r e ’s   c h a ra c t e r i s t i c s ,   s o m e   s i g n   l a n gu a ge s   ha v e   a   s t a t i c   g e s t u r e ,   a n o t h e r s   ha v e   d y n a m i c   ge s t u r e s .   T h e   s t a t i c   ge s t u r e   i s   a   ge s t u r e   t ha t   do e s   no t   i n v o l ve   a   m o v e m e n t   i i t s   de l i v e r y   a s   s e e n   i F i gu r e   2 .   W h i l e   t h e   dy n a m i c   ge s t u r e   i s   a   ge s t u r e   t h a t   ha s   m o v e m e n t   i i t s   de l i v e r y   a s   s e e n   i F i gu r e   3 .             F i gu r e   1 .   S i g n   L a ngua ge   o f   w o r ' pe r s o n '   i ( a )   In do n e s i a S i g L a n g ua ge   (b B r a z i l i a S i g n   l a ngua ge           F i gu r e   2 .   S i g n   L a ngua ge   w i t h   s t a t i c   ge s t u r e s ,   t h e   w o r o f   (a )’m o t h e r ’  a n d   (b )’I’  i n   I n do n e s i a   S i g n   L a ngua ge           F i gu r e   3 .   S i g n   L a ngua ge   w i t h   D y n a m i c   ge s t u r e s ,   t h e   w o r o f   (a )   ‘H e l l o ’,   (b m o rn i ng’,   a n (c m e e t ’  i In do n e s i a S i g L a n g ua e   Evaluation Warning : The document was created with Spire.PDF for Python.
In do n e s i a J   E l e c   E ng  &   Co m S c i     IS S N :   2502 - 4752       Indone s i an  Si gn   L angu age   R e c ogni t i o U s i n K i n e c t   a n D y nam i c   T i m e   ( W i j ay an t i   Nur ul   Kh ot i m ah )   497   2. 2     D yn am i c   T i m e   Wr ap i n g   D y n a m i c   T i m e   W a rpi n g   (D T W i s   a   w e l l - k n o w n   t e c hni que   f o r   f i n d i n o p t i m a l   a l i g nm e n t   b e t w e e n   t w t i m e - de pe n de n t   s e que n c e s   un de r   a   c e rt a i n   l i m i t   [23] .   D T W   i s   a l s o   c a l l e a s   a   n o n - l i n e a r   s e que n c e   a l i g n m e n t   [24] .   D T W   i s   m o r e   r e a l i s t i c   t o   us e   i n   m e a s u r i ng   pa t t e rn   m a t c hi n b e t w e e n   t w o   t i m e - de pe nde nt   s e que n c e s   t h a n   j us t   us i n l i n e a r   m e a s u r e m e nt   a l go r i t hm s   s uc h   a s   E uc l i de a n   D i s t a n c e ,   M a nha t t a n,   Ca n b e rra ,   a n M e xi c a H a t ;   a nd  w i de l y   us e f o r   s pe e c h   r e c o gn i t i o n,   ha n dw ri t i n r e c o gn i t i o n   a n s i g n a t u r e s ,   da t a   m i ni n g ,   c l us t e r i ng,   ge s t u r e   p r o c e s s i n g,   a n d   m us i c .   F u rt h e r,   s i g n   l a ngua ge   ge s t u r e   i s   i n c l ude i nt o   a   t i m e - de pe n de nt   s e que n c e .   F o r   e xa m p l e ,   t h e   ge s t u r e   o f   w o r h e l l o ’  m i g h t   b e   s i gn e d   w i t h   s l o w   s pe e by   a   pe r s o n   a ;   a n i t   m i g h t   b e   s i gn e w i t h   h i g h e r   s pe e by   a   pe r s o n   b .   A s   a   r e s ul t ,   t h e   s e que n c e   of   t h e   w o r ‘h e l l o ’  by   a   pe r s o n   a   a nd  a   pe r s o n   b   m i g ht   b e   s l i ght l y   di f fe r e n t .   T hus ,   a a l i g nm e nt   b e t w e e n   t h o s e   t w o   ge s t ur e s   (s e que n c e s i s   r e qui r e t o   r e c o gn i z e   t h e   m e a ni n o f   t h e   ge s t u r e s .   T h e   e xa m p l e   o a l i g nm e nt   b e t w e e n   t h o s e   t w o   s e que n c e s   c a b e   s e e n   i n   F i gu r e   4 .   T o   c o m put e   t h e   a l i g nm e nt ,   a s s u m e   w e   h a v e   t w o   t i m e - de pe n d e n t   num e r i c   s e que n c e s   a   (a 1,   a 2 ,   . . . ,   a n)  a n b   (b 1,   b 2,   . . . ,   b m ).   F i r s t ,   w e   c a l c ul a t e   t h e   l o c a l   di s t a n c e   b e t w e e n   e l e m e n t s   o f   t w s e que n c e s ;   t h e y   a r e   c a l c ul a t e d   by   f i n di n g   t h e   a b s o l ut e   v a l ue   of   t h e   d i f f e r e n c e   b e t w e e n   t h e   t w o   s e r i e s   o f   da t a   a s   f o r m ul a t e d     i n   t h e   (1) .        =   |   | , = 1 , ,      = 1 , ,   (1)     S e c o n d,   w e   f i n t h e   w a r pi n pa t h.   W a rpi n p a t h   i s   a   pa t h   t hr o ug h   a   m a t ri t h a t   c o n t a i n s   a   m i ni m a l   di s t a n c e   f r o m   a n   e l e m e nt   D 11  ( a n   e l e m e nt   i n   t h e   D T W   m a t ri x)  t o   a n   e l e m e n t   D nm .   T o   c o m put e   t h e   f i r s t - r o w   e l e m e n t   a n t h e   f i r s t - c o l um n   e l e m e n t   i n   t h e   D T W   m a t r i x,   w e   us e (2)  a n (3 ),   r e s pe c t i v e l y .   T h e n,   t o   c o m put e   t h e   o t h e r   e l e m e n t s   o f   D T W   m a t r i x ,   (4)  i s   us e d.   F o r   e xa m pl e ,   t h e   D T W   m a t ri o f   t r a i ni n d a t a   s e que n c e   A = { 2, 5 , 2 , 5, 3, 4}   a nd  t e s t i n g   da t a   s e qu e n c e   B = { 0, 3, 6, 0 , 6, 1} w a s   s h o w n   i F i gu r e   5 .     ( 1 , ) =   ( 1 , 1 ) + ( 1 , )      ( 1 , 0 ) = 0   (2)     ( , 1 ) =   ( 1 , 1 ) + ( , 1 )      ( 0 , 1 ) = 0   (3)      =    + mi n ( 1 , 1 , 1 , , , 1 )   (4)     S i n c e   t h e   s e que n c e   A =   { 2, 5, 2 , 5 , 3, 4}   a n t h e   s e que n c e   B = { 0, 3 , 6, 0 , 6 , 1}   h a v e   t h e   s a m e   e l e m e n t   n u m b e r ,   s i x ,   s o   t h e   D T W   m a t r i s i z e   i s   ×   6.   E i t h e r   (2),   (3) ,   o r   (4)  i s   us e t o   f i l l   t h e   e l e m e n t s   i n   t h e   m a t ri x.   F o r   e xa m pl e ,   t o   f i l l   a n   e l e m e nt   D (1 , 4)   w e   us e (2).       ( 1 , 4 ) =   ( 1 , 3 ) + ( 1 , 4 )     ( 1 , 4 ) =   ( 1 , 3 ) + | 1   4 |     ( 1 , 4 ) =   7 + | 2   0 |       ( 1 , 4 ) =   7 + 2       ( 1 , 4 ) = 9       T o   f i l l   t h e   e l e m e nt   i n   t h e   f i r s t - c o l um n,   w e   us e (3).   F o r   e xa m pl e ,   a e l e m e n t   D (2, 1)  w a s   c o m put e a s   fo l l ow s :         ( 2 , 1 ) =   ( 2 1 , 1 ) + ( 2 , 1 )     ( 2 , 1 ) =   ( 1 , 1 ) + | 2   1 |     ( 2 , 1 ) =   2 + | 5 0 |       ( 2 , 1 ) =   2 + 5       ( 2 , 1 ) =   7       A n d   t h e   o t h e e l e m e nt   w a s   f i l l e d   by   us i n g   (4) .   F o r   e xa m p l e ,   a n   e l e m e n t   D (4 , 4)   w a s   c o m put e a s   f o l l ow s :       ( 4 , 4 ) =   4 , 4 + mi n ( 4 1 , 4 1 , 4 1 , 4 , 4 , 4 1 )     ( 4 , 4 ) =   | 4   4 | + mi n ( 3 , 3 , 3 , 4 , 4 , 3 )       ( 4 , 4 ) =   | 5 0 | + mi n ( 8 , 6 , 6 )       ( 4 , 4 ) =   5 + 6       ( 4 , 4 ) =   11     Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2502 - 4752   In do n e s i a J   E l e c   E ng  &   Co m S c i ,   V o l .   1 5 ,   N o .   1 Ju ly   201 9   :     4 9 5   -   5 0 3   498   F i na l l y ,   a f t e r   D T W   m a t ri e l e m e n t   ha b e e n   f i l l e d,   t h e   o pt i m a l   w a r p i n c o s t   w a s   c o m put e b y   c o m put i n t h e   m i ni m um   t o t a l   c o s t   f r o m   D (m , n)  t o   D (1, 1).   T h e   e xa m pl e   o f   w a r p i n p a t i s   s h o w n   by   t h e   r e e l e m e n t   i n   F i gu r e   5.   S t a r t   f r o m   t h e   e l e m e n t   D ( m , n),   w e   c a l l e i t   a s   t h e   c urr e nt   w r a pp i n e l e m e n t ,   t h e   n e xt   w r a ppi ng   e l e m e nt   i s   m i ( 1 , 1 , 1 , , , 1 ) .   T hi s   p r o c e s s   i s   do n e   u nt i l   r e a c e l e m e n t   D (1 , 1) .   T h e   o pt i m a l   w ra pp i n g   c o s t   i s   t h e   s um   o f   t h e   w ra pp i n e l e m e nt .                   F i gu r e   4 .   E xa m p l e   o f   A l i g n m e n t   b e t w e e n   S e que n c e   a   a n S e que n c e   b     F i gu r e   5 .   T h e   D T W   m a t r i x   o f   s e que n c e   A = { 2, 3 , 2 , 5, 3, 4}   a nd  s e que n c e   B = { 0, 3 , 6, 0 , 6 , 1}       3.   R ES EA R C H   M ET H O D   T h e   p r o po s e In do n e s i a S i g L a n g ua ge   R e c o gn i t i o n   S y s t e m   (IS L R S w a s   de ve l o p e by   us i n M i c r o s of t   V i s ua l   S t ud i o   12. a n K i n e c t   2 . 0.   T h e   s y s t e m   ha s   t w o   s t a ge s :   t r a i n i ng  a nd  t e s t i n g .   T h e   t r a i n i ng  s t a ge   ha s   t w o   m a i n   p r o c e s s e s   (ge s t ur e   r e c o r di n a nd  f e a t ur e   e xt ra c t i o n ) ,   a nd  t h e   t e s t i ng  s t a ge   h a s   t hr e e   m a i pr o c e s s e s   (ge s t ur e   r e c o r di ng,   f e a t u r e   e xt r a c t i o n,   a nd  r e c o gn i t i o n   b y   us i n D T W ).   T h e   ge s t u r e   r e c o r di ng  a nd  f e a t ur e   e xt ra c t i o n   p r o c e s s   i n   t h e   t r a i n i ng  a n t e s t i ng  a r e   t h e   s a m e .   T h e   di f f e r e n c e   b e t w e e n   t h e   t r a i ni n a n d   t e s t i n a r e   i n   t r a i n i ng  t h e   e xt ra c t e f e a t ur e s   a r e   s a v e i n   t h e   da t a s e t   t o ge t h e r   w i t h   i t s   l a b e l ,   w h i l e   i n   t e s t i n t h e   e xt ra c t e f e a t u r e s   a r e   p r o c e s s e by   us i n D T W   t o   p r e di c t   t h e   c l a s s   l a b e l .   T h e   p r o c e s s   di a gra m   o f   t e s t i n g   i s   s h o w n   i n   F i g u r e   6 .   T h e   de t a i l   o f   t h e   p r o c e s s   i s   a s   f o l l ow s :           F i gu r e   5 .   T h e   P r o c e s s   D y a gr a m       3. 1 .       R e c o r d i n g   P r o c e s s     In  t hi s   s y s t e m ,   w e   a s a   us e r   t o   s t a n up  b e t w e e n   1 - 1 . m e t e r s   i f r o nt   o f   t h e   K i n e c t .   W h e t h e   s y s t e m   c a pt ur e t h e   us e r   s ke l e t o n ,   i t   s t a rt e t o   r e c o r t h e   us e r   s ke l e t o n   po s i t i o n.   T h i s   s y s t e m   w o ul r e c o r 12   s ke l e t o n   po s i t i o n   o n   t h e   a x i s   X ,   Y ,   a nd  Z   i n   e a c h   f r a m e   t h e   s ke l e t o n s   a r e   s h o w n   i n   F i g u r e   7,   t h o s e   s ke l e t o n s     S ta r t F i n d i n g   th e   u s e r   s k e l e ton I s   th e   u s e r   s k e l e t o n   e x i s t ? R e c o r d i n g   th e   h a n d   g e s tu r e F e a tu r e   e x tr a c ti o n   p r o c e s s 4 5   f e a tu r e s R e c o g n i ti o n   p r o c e s s   b y   u s i n g   D T W T r a i n i n g   d a ta   s e t S i g n   l a n g u a g e   p r e d i c ti o n S to p no ye s Evaluation Warning : The document was created with Spire.PDF for Python.
In do n e s i a J   E l e c   E ng  &   Co m S c i     IS S N :   2502 - 4752       Indone s i an  Si gn   L angu age   R e c ogni t i o U s i n K i n e c t   a n D y nam i c   T i m e   ( W i j ay an t i   Nur ul   Kh ot i m ah )   499   w e r e :   H e a ( H ),   M i ddl e   S h o ul de r   (M S ) ,   L e f t   S h o ul de r   (L S ),   R i ght   S h o ul de r   (R S ),   L e f t   E l bow   ( L E ),   R i ght   E l b ow   (R E ),   L e f t   W r i s t   (L W ),   R i g h t   W r i s t   (R W ),   L e f t   A r m   (L A ),   R i g h t   A rm   (R A ),   S p i n e   (S ),   a n d   H i (H i ).   In  t hi s   s y s t e m ,   w e   a s s um e   t ha t   o n e   s i g l a n gu a ge   ge s t u r e   w a s   e xp r e s s e fo r   39  f r a m e s   l o n g ,   s o   w e   r e c o r de d   t h e   s ke l e t o n s   f o r   39  f r a m e s   l o ng.   F i n a l l y ,   w e   w o ul ge t   39x 12x3= 1 . 404   s ke l e t o n s   d a t a   f o r   o n e   s i g n   l a n g ua g ge s t ur e   s e e   at   F i gu r e   8 .       F i gu r e   7 .   T h e   S ke l e t o n s   Ca p t u r e b y   K i n e c t           F i gu r e   6 .   E xa m p l e   o f   t h e   d a t a   f r o m   r e c o r di n g   p r o c e s s   fo r   o n e   s i g ge s t u r e       3. 2 .     F e atu r e   Ex tr ac t i o n   P r o c e s s   Cha ra c t e ri s t i c s   t ha t   r e p r e s e n t   b e s t   t h e   da t a   a r e   r e qui r e t o   i m pr o v e   t h e   a c c ura c y   of   t h e   s i g n   l a n g ua ge   r e c o gn i t i o n.   T h e   c h a ra c t e ri s t i c s   a r e   o b t a i n e t hr o ug f e a t u re   e xt ra c t i o p r o c e s s .   In  t hi s   s t u dy ,   w e   e xt r a c t e fo r t y - f i ve   f e a t ur e s   da t a   f r o m   t h e   1 . 404   s ke l e t o n s   da t a   r e c e i v e f r o m   t h e   r e c o r di n g   p r o c e s s .     f r a m e 1 2 3 37 38 39 H - X 0 . 3 2 0 . 3 2 0 . 3 2 0 . 3 4 0 . 3 4 0 . 3 4 H - Y 1 . 5 3 1 . 5 3 1 . 5 3 1 . 5 2 1 . 5 2 1 . 5 1 H - Z 2 1 . 0 4 2 1 . 0 4 2 1 . 0 4 2 . 8 7 2 . 8 4 2 . 8 2 M S - X 0 . 3 2 0 . 3 2 0 . 3 2 0 . 3 3 0 . 3 2 0 . 3 1 M S - Y 1 . 3 6 1 . 3 6 1 . 3 6 1 . 3 6 1 . 3 6 1 . 3 6 M S - Z 2 1 . 0 2 2 1 . 0 2 2 1 . 0 2 2 . 8 9 2 . 8 6 2 . 8 4 L S - X 0 . 1 8 0 . 1 8 0 . 1 9 0 . 2 0 0 . 1 9 0 . 1 9 L S - Y 1 . 3 4 1 . 3 5 1 . 3 5 1 . 3 3 1 . 3 2 1 . 3 2 L S - Z 2 1 . 0 2 2 1 . 0 2 2 1 . 0 2 2 . 8 9 2 . 8 6 2 . 8 4 RS- X 0 . 4 4 0 . 4 4 0 . 4 4 0 . 4 2 0 . 4 1 0 . 4 1 RS- Y 1 . 2 7 1 . 2 7 1 . 2 7 1 . 2 6 1 . 2 5 1 . 2 4 RS- Z 2 . 9 6 2 . 9 6 2 . 9 6 2 . 8 1 2 . 7 9 2 . 7 6 L E - X 0 . 1 2 0 . 1 2 0 . 1 3 0 . 1 7 0 . 1 4 0 . 1 3 L E - Y 1 . 1 0 1 . 1 0 1 . 1 0 1 . 1 4 1 . 1 4 1 . 1 4 L E - Z 3 . 0 0 2 1 . 0 0 2 1 . 0 1 2 . 8 0 2 . 8 2 2 . 7 9 RE - X 0 . 5 2 0 . 5 6 0 . 5 6 0 . 5 1 0 . 4 5 0 . 4 5 RE - Y 1 . 0 8 1 . 0 6 1 . 0 5 1 . 0 5 1 . 0 3 1 . 0 4 RE - Z 2 . 9 6 2 1 . 0 1 2 1 . 0 0 2 . 7 9 2 . 7 3 2 . 7 1 L W - X 0 . 0 9 0 . 1 1 0 . 1 1 0 . 1 9 0 . 1 7 0 . 2 0 L W - Y - 1 . 1 1 - 1 . 1 0 - 1 . 0 8 - 1 . 0 1 - 1 . 0 2 - 1 . 0 3 L W - Z 2 . 9 4 2 . 9 5 2 . 9 6 2 . 6 9 2 . 6 9 2 . 6 1 RW - X 0 . 6 1 0 . 6 0 0 . 5 6 0 . 4 8 0 . 4 3 0 . 2 4 RW - Y - 1 . 0 8 - 1 . 1 2 - 1 . 1 2 - 1 . 1 3 - 1 . 1 5 - 1 . 0 2 RW - Z 2 . 9 8 2 . 9 6 2 . 9 5 2 . 7 6 2 . 6 8 2 . 5 8 L A - X 0 . 1 0 0 . 1 1 0 . 1 2 0 . 2 1 0 . 2 1 0 . 2 2 L A - Y - 1 . 1 5 - 1 . 1 3 - 1 . 1 2 - 1 . 0 5 - 1 . 0 4 - 1 . 0 3 L A - Z 2 . 9 4 2 . 9 5 2 . 9 5 2 . 6 3 2 . 6 1 2 . 5 8 RA - X 0 . 6 4 0 . 6 2 0 . 5 7 0 . 4 8 0 . 2 1 0 . 2 3 RA - Y - 1 . 1 5 - 1 . 1 6 - 1 . 1 5 - 1 . 1 5 - 1 . 0 6 - 1 . 0 2 RA - Z 2 . 9 7 2 . 9 6 2 . 9 4 2 . 7 5 2 . 6 0 2 . 5 8 S - X 0 . 3 2 0 . 3 2 0 . 3 1 0 . 3 3 0 . 3 3 0 . 3 2 S - Y 1 . 1 7 1 . 1 7 1 . 1 7 1 . 1 8 1 . 1 8 1 . 1 7 S - Z 2 1 . 0 1 2 1 . 0 1 2 1 . 0 1 2 . 8 8 2 . 8 5 2 . 8 3 H i- X 0 . 3 0 0 . 3 0 0 . 3 0 0 . 3 4 0 . 3 3 0 . 3 1 H i- Y - 1 . 0 9 - 1 . 0 9 - 1 . 0 9 - 1 . 0 9 - 1 . 0 9 - 1 . 1 0 H i- Z 2 . 9 9 2 . 9 9 2 . 9 8 2 . 8 5 2 . 8 2 2 . 8 0 Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2502 - 4752   In do n e s i a J   E l e c   E ng  &   Co m S c i ,   V o l .   1 5 ,   N o .   1 Ju ly   201 9   :     4 9 5   -   5 0 3   500   F urt h e r,   w e   e xt r a c t e 45  f e a t u r e s   w hi c w e r e   di v i de i n t o   f our  g r o ups   w i t t h e   f o l l o w i n de t a i l s :   a.   G r o up  1   (fo ur   f e a t ur e s ) t h e   f e a t ur e s   t ha t   r e p r e s e n t   t h e   po s i t i o n   o f   t h e   pa l m s   i n   t h e   v e r t i c a l   pl a n e .   H e r e ,   t h e   v e r t i c a l   di s t a n c e s   be t w e e n   t h e   ri g h t   p a l m   (R A - Y)   a n t h e   he a (H - Y a r e   c a l c ul a t e i n   e a c h   f r a m e .   W e   us e E uc l i di a n   d i s t a n c e   t c o m put e   t h e   di s t a n c e .   S i n c e   t he   n um b e r   o f r a m e s   is   39,   t h i s   c o m put a t i o n   pr o duc e s   39  v a l ue s ;   a n t h e   m i n i m u m   o f   t h o s e   v a l ue s   i s   us e a s   t h e   f e a t ur e .   T h e   s a m e   p r o c e s s   w a s   i m p l e m e nt e t o   t h e   v e r t i c a l   d i s t a n c e   b e t w e e n   t h e   r i g ht   p a l m   (R A - Y a n t h e   h i p   (H i - Y ),   t h e   l e f t   pa l m   (L A - Y a n d   t h e   h e a (H - Y ),   t h e   l e f t   pa l m   (L A - Y a n d   t h e   hi (H i - Y ).     b.   G r o up  2 ,   t h e   f e a t u r e s   t ha t   r e p r e s e n t   t h e   di s t a n c e   o f   t h e   pa l m s   a ga i n s t   o t h e r   j o i nt s   e xc e pt   f o r   hi a n h e a d.   F o r   e xa m p l e ,   t h e   po s i t i o n   b e t w e e n   t h e   r i g ht   p a l m   (R A - X ,   R A - Y ,   R A - Z a n t h e   m i ddl e   s h o ul de r   (M S - X ,   MS - Y ,   M S - Z ),   t h e   po s i t i o n   b e t w e e n   t h e   r i g ht   pa l m   (R A - X ,   R A - Y ,   R A - Z a n t h e   l e f t   e l bow   ( LE - X ,   L E - Y ,   L E - Z ),   a n d   t h e   po s i t i o n   b e t w e e n   t h e   l e f t   pa l m   (L A - X ,   L A - Y ,   L A - Z a n t h e   m i ddl e   s h o ul de r   (M S - X ,   MS - Y ,   M S - Z ).   T h us ,   s e v e n t e e n   f e a t u r e s   c a ndi d a t e   e xi s t   i n   e a c h   f r a m e .   T h e   p r o c e s s   t o   f i n t h e   f e a t ur e s   in   39   c o n s e c ut i ve   f r a m e s   a r e   t h e   s a m e   a s   t h e   p r e v i o us   gr o up   by   f i n di n t h e   m i n i m u m   v a l ue .   I n   t h e   e n d ,   s e v e n t e e n   f e a t u r e s   w e r e   e xt r a c t e d   f r o m   t h i s   g r o up.     c.   G r o up   3,   t h e   f e a t ur e s   t h a t   r e pr e s e nt   t h e   s t a t i s t i c a l   v a l ue   of   e a c h   c a n d i da t e   f e a t ur e s   i n   G r o up  1.   I n   G r o up  o n e ,   e a c h   c a ndi d a t e   f e a t u r e s   ha s   39  v a l ue s .   T h us ,   t h e   s t a t i s t i c a l   v a l ue   (a v e ra ge ,   m e di a n,   m o dus ,   v a ri a nt ,   a n s t a nda r de v i a t i o n o f   e a c h   c a n d i da t e   f e a t ur e   i s   c a l c ul a t e d.   T h e   num b e r   o f   fe a t ur e s   i n   t hi s   g r o up  i s   20   f e a t ur e s   d.   G r o up  4,   t h e   f e a t ur e s   (f o ur   fe a t ur e s t ha t   r e pr e s e nt   t h e   de pt h   po s i t i o n   o t h e   pa l m   a g a i n s t   t h e   h e a a nd  t h e   hi p.   H e r e ,   t h e   de pt h   di s t a n c e   be t w e e n   t h e   ri g h t   p a l m   (R A - Z a nd  t h e   h e a (H - Z );   t h e   r i g h t   p a l m   (R A - Z )   a n t h e   h i (H i - Z ),   t h e   l e f t   pa l m   (L A - Z a n t h e   h e a (H - Z ),   t h e   l e f t   pa l m   (L A - Z a n t h e   h i (H i - Z a r e   c o m put e i n   e a c f ra m e .   T h e n,   t h e   p r o c e s s   t o   f i n t h e   f e a t u r e s   i 39  f r a m e s   i s   t h e   s a m e   a s   G r o up  1 .     In   t ra i ni n s t a ge ,   t h o s e   45  f e a t ur e s   w h i c h   r e p r e s e n t   o n e   s i gn   l a n gu a ge   ge s t ur e   w a s   s a ve i n t o   a   t r a i ni n da t a s e t   w i t h   t h e   l a b e l   s i m ul t a n e o us l y .   W h i l e   i n   t h e   t e s t i n s t a ge ,   t h o s e   45  fe a t u r e s   w e r e   pr o c e s s e b y   us i n D T W .     3. 3 .       R e c o gn i ti o n   b y   U s i n D T W   T h e   W o r ds   a n t h e   A c c ur a c y   of  E a c h   W o r o n   E a c h   S c e n a ri o   a s   s h o w n   i n   T a b l e   1.   T h e   r e c o gn i t i o n   by   us i n D T W   w a s   i m pl e m e n t e i n   t h e   t e s t i n s t a ge .   H e r e ,   a   s i g n   l a n gu a ge   ge s t ur e   w a s   pr o c e s s e by   t h e s e   t w pr e v i o us   pr o c e s s e s   pr o duc i n 45  f e a t u r e s .   T h us ,   t h e   opt i m um   w a r pi ng  pa t h   c o s t   b e t w e e n   t h e   t e s t i n g   ge s t ur e   f e a t u r e   a nd  300   t ra i ni n g   da t a   i s   c o m put e d.   S i n c e   e a c h   d a t a   ha s   45  f e a t u r e s ,   t h e   D T W   m a t ri s i z e   i s   45x45.   T h e n,   (2) ,   (3 ),   o r   (4)  i s   us e t o   f i l l   t h e   D T W   m a t ri x .   F i na l l y ,   t h e   l a b e l   of   t h e   t e s t i n ge s t u r e   i s   de f i n e b a s e o n   t h e   l a b e l   o f   t h e   t ra i ni n g   da t a   t ha t   p r o duc e s   t h e   m i n i m um   w a rpi n g   p a t c o s t .       T a b l e   1 .   T h e   W o r ds   a n d   t h e   A c c ur a c y   of   E a c W o r o n   E a c S c e n a ri o   S e m a n t i c   Ca t e g o ry     W o r d s   A b b r e v i a t i o n   U s e d   H a n d   D y n a m i c /   S t a t i c   S c e n a ri o     A (% )   B(% )   C (% )   G re e t i n g s   H e l l o   ( H a l o )   H L O   Ri g h t   D y n a m i c   100   100   100   G re e t i n g   fo m o s l e m   ( S a l a m )   G T G   L e ft ,   r i g h t   S t a t i c   80   80   100   M o r n i n g   ( P a g i )   M N G   L e ft ,   r i g h t   D y n a m i c   100   100   100   M e e t   ( J u m p a   M E T   L e ft ,   r i g h t   D y n a m i c   100   100   100   Q u e s t i o n s   W h a t   ( A p a )   W H T   ri g h t   D y n a m i c   100   80   100   H o w   ( B a g a i m a n a )   HOW   L e ft ,   r i g h t   D y n a m i c   80   60   60   F a m i l y   F a m i l y   ( K e l u a r g a )   FMY   L e ft ,   r i g h t   D y n a m i c   80   60   100   M o t h e ( Ib u   MT R   ri g h t   S t a t i c   80   80   100   Ch i l d   ( A n a k )   CH D   Ri g h t   D y n a m i c   100   100   100   F a t h e ( A y a h )   F T R   Ri g h t   D y n a m i c   100   100   80   Bro t h e ( S a u d a r a )   BT H   L e ft ,   R i g h t   D y n a m i c   100   100   100   P ro n o u n s   ( S a y a )   I   Ri g h t   D y n a m i c   100   100   80   Y o u   ( K a m u )   YOU   Ri g h t   D y n a m i c   100   100   100   P l a c e s   H o u s e   ( R u m a h )   H U E   L e ft ,   r i g h t   D y n a m i c   80   100   100   S c h o o l   ( S e k o l a h )   S CL   L e ft ,   r i g h t   D y n a m i c   100   100   100   O t h e r s   G o o d   ( B a i k )   GOD   Ri g h t   S t a t i c   100   100   100   E v i l   ( J a h a t )   E V L   L e ft ,   R i g h t   S t a t i c   100   100   100   P ro b l e m   ( M a s a l a h )   P BM   L e ft ,   R i g h t   D y n a m ic   100   80   60   W o rk   ( K e r j a )   W R K   L e ft ,   R i g h t   D y n a m i c   80   100   100   M a d   ( M a r a h )   M A D   L e ft ,   R i g h t   D y n a m i c   100   80   100   A v e r a g e   (% )         94   91   94   Evaluation Warning : The document was created with Spire.PDF for Python.
In do n e s i a J   E l e c   E ng  &   Co m S c i     IS S N :   2502 - 4752       Indone s i an  Si gn   L angu age   R e c ogni t i o U s i n K i n e c t   a n D y nam i c   T i m e   ( W i j ay an t i   Nur ul   Kh ot i m ah )   501   4.   EX P ER I M EN A N D   A N A LY S I S   4. 1 .       D at S e t   In   t h i s   r e s e a r c h,   w e   t r i e t o   r e c o gn i z e   20  s i g n   l a n gu a ge s   f r o m   v a ri o us   s e m a n t i c   c a t e go r y   (gr e e t i n gs ,   que s t i o n s ,   p r o n o un s ,   p l a c e s ,   f a m i l y   a n o t h e r s ) .   T h e   s i g n   l a ngua ge s   c o n s i s t   o f   s t a t i c   s i g n   l a ngua ge s   a n 16   d y n a m i c   s i g n   l a ngua ge s .   S o m e   of   t h e m   us e   o n e   h a nd,   a nd  o t h e r s   us e   t w o   h a n ds .   T h o s e   s i gn   l a n gu a ge s   a r e   H e l l o   (‘ H a l o ’),   G r e e t i n f o r   m us l e m   (‘S a l a m ’),   M o rni n (‘P a gi ’) ,   M e e t   (‘J um p a ’),   W ha t   (‘A p a ’),   H ow   (‘B a ga i m a na ’) ,   F a m i l y   (‘K e l ua r g a ’) ,   M o t h e r   ( ‘Ib u’),   C hi l d   (‘A na k’) ,   F a t h e r   (‘A y a h ’) ,   B r o t h e r   (‘S a uda ra ’) ,   M e   (‘S a y a ’),   Y o (‘K a m u ’),   H o us e   (‘R um a h ’) ,   S c h o o l   (‘S e ko l a h ’) ,   F i n e   (‘ B a i k’ ),   E v i l   (J a ha t ) ,   P r o b l e m   (M a s a l a h ) ,   W o r k   (‘K e r j a ’) ,   a n d   M a d   (‘M a r a h ).   T h e   ge s t u r e   of   t h o s e   s i g l a n gu a ge s   w a s   s h o w n   i n   F i gu r e   9 .           F i gu r e   7 .   T h e   s i g l a n g ua ge   ge s t u r e   e xa m pl e       4. 2   Ex p e r i m e n t   In  t ra i ni n g ,   w e   c o l l e c t e 15  ge s t ur e s   f o r   e a c w o r d.   T o t a l l y ,   w e   h a d   c o l l e c t e 300  ge s t u r e s   f r o m   a   us e r .   T h e   t e s t i ng  w a s   do n e   i n   r e a l - t i m e .   O u r   s y s t e m   r e c o r de t h e   ge s t ur e   w h e n   t h e   us e r   w a s   gi v i ng  s i g l a n gu a ge   a nd  e xt ra c t e t h e   f e a t ur e s .   T h e n ,   t h e   s y s t e m   c o m put e t h e   w a rpi n g   c o s t   be t w e e n   t h e   t e s t i n d a t a   a n t h e   t ra i ni n da t a .   T h e   l a b e l   of   t h e   t e s t i ng  da t a   w a s   b a s e d   o n   t h e   l a b e l   of   t h e   t ra i ni n d a t a   w h i c h   p r o duc e d   t h e   m i ni m um   w a r pi ng  c o s t .   T h e n   t h e   p r e d i c t e l a b e l   a n t h e   s i g n   l a n gu a ge   pi c t u r e   o f   t h e   l a b e l   w e r e   s h o w n   i n   t h e   us e i nt e r f a c e   (U I).   T h e   e xa m pl e   o f   t h e   U i s   s h o w n   i n   F i gur e   10.   A l s o ,   w e   di v i de t h e   t e s t i n i n t o   t hr e e   s c e n a ri o s   t o   t e s t   w h e t h e t h e   p r o po s e m e t h o us e r - de pe n de nt   o r   n o .   T h o s e   s c e n a ri o s   a r e   a s   f o l l ow s :   a.   S c e n a r i o   A ,   t h e   s i gn   l a n g ua ge   t e s t i n w a s   pe r f o r m e by   a   us e r   w h o   h a pe r f o r m e t h e   t ra i ni n g .   T h e   h e i g ht   o f   t h e   us e r   i s   16 c m .   b.   S c e n a r i o   B ,   t h e   t e s t i n a nd  t h e   t r a i n i ng  w e r e   pe r fo r m e by   a   di f f e r e n t   us e r.   T h e   h e i g ht   o f   t h e   us e r   w h o   pe r f o r m e t h e   t ra i ni n i s   163   c m ,   w hi l e   t h e   h e i g h t   o f   t h e   us e w h o   pe r f o r m e t h e   t e s t i ng  i s   173   c m .   T hi s   s c e n a r i o   w a s   c o n duc t e w i t h   t h e   a i m   o f   i de nt i fy i n w h e t h e r   s i g n i f i c a nt   di f f e r e n c e s   i n   h e i g ht   b e t w e e n   t h e   t ra i ni n g   us e a nd  t h e   t e s t i n us e e ff e c t   o n   t h e   a c c ur a c y .   c.   S c e n a r i o   C ,   t h e   t e s t i ng  a n d   t h e   t ra i ni n g   w e r e   pe r f o r m e b y   t w o   us e r s .   T h o s e   us e r s   ha v e   di f fe r e n t   h e i g ht .   d.   T h e   t o t a l   a c c ura c y   o t h i s   p r o po s e m e t h o o n   e v e r y   w o r c a n   b e   s e e n   i n   T a b l e   1 .   W hi l e   t h e   de t a i l   of  t h e   r e s ul t   f o r   f i v e   t i m e s   t e s t i n o n   e a c h   w o r i n   s c e na r i o   A ,   B ,   a n C   i s   s h o w n   i n   F i gu r e   1 1 ,   12 ,   a n 1 3   r e s pe c t i v e l y .   Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2502 - 4752   In do n e s i a J   E l e c   E ng  &   Co m S c i ,   V o l .   1 5 ,   N o .   1 Ju ly   201 9   :     4 9 5   -   5 0 3   502         F i gu r e   8 .   T h e   U s e r   I nt e r f a c e   o f   t h e   S y s t e m         F i gu r e   9 .   T h e   Co n f us i o n   M a t r i o f   S c e n a r i o   A         F i gu r e   10 .   T h e   Co n f us i o n   M a t ri o f   S c e n a r i o   B     F i gu r e   11 .   T h e   Co n f us i o n   M a t ri o f   S c e n a r i o   C       4. 3   A n al ys i s   B a s e o n   t h e   e xpe r i m e n t s ,   w e   c a s e e   t h a t :   a.   T h e   pr o po s e m e t h o p r o duc e a c c ur a c y   m o r e   t ha n   91 % .   I t   i s   hi g h e r   t ha n   p r e v i o us   r e s e a r c h   us i n K - N N   w h i c o nl y   pr o duc e   88%  a c c u r a c y   [25] .   b.   T h e   r e s ul t s   o b t a i n e f r o m   s c e n a r i o   A   a n s c e na r i o   a r e   qui t e   go o d,   i . e .   94%.   W hi l e   t h e   r e s ul t   o b t a i n e d   f r o m   s c e n a ri o   B   i s   s l i g h t l y   l ow e r ,   b ut   i t   i s   goo e n o ugh ,   t ha t   i s   91%.   T h i s   p r o of s   t ha t   t h e   pr o po s e m e t h o i s   us e r   i n de pe n de n t .   E v e n   t h o ug h   t h e   us e r   w h o   di t h e   t ra i ni n d i f f e r e n t   t o   t h e   us e r   w h o   di t h e   t e s t i ng,   t h e   a c c ur a c y   w a s   n o t   a f f e c t e a   l o t .   c.   S o m e   s i gn   l a n gu a ge s   h a v e   s i m i l a r   ge s t u r e   w h i c h   i n c r e a s e t h e   e rr o r   ra t e .   I n   s c e n a r i o   B   a n s c e n a r i o   C,   t h e   ge s t ur e   o f   t h e   w o r ‘F a m i l y ’  w a s   m i s c l a s s i f i e i nt o   t h e   ge s t u r e   of   t h e   w o r ‘H o us e ’;   a n t h e   ge s t ur e   o ‘P r o b l e m ’  w a s   m i s c l a s s i f i e i nt o   t h e   ge s t u r e   o f   ‘S c h o o l ’.   T hi s   p r o b l e m   o c c urr e b e c a us e   t h e i r   ge s t u r e s   a r e   s i m i l a r.   B o t ge s t u r e s   us e t w o   h a nds ,   dy n a m i c s   ( m o v e s   f r om   t o t o   b o t t o m ),   a n d   po s i t i o o f   t h e   ha n i s   i f r o n t   o f   t h e   b o d y .       5.   C O N C LU S I O N   T h i s   pu r po s e   of   t h i s   s t udy   w a s   t o   r e c o gn i z e   Indo n e s i a n   S i g n   L a n g ua ge .   I n   t hi s   s t udy ,   w e   pr o po s e t us e   t h e   di s t a n c e   a m o n us e r   s ke l e t o n s   fo r   t h e   f e a t ur e s   i n s t e a of   t h e   pos i t i o n   o t h e   us e r   s ke l e t o n s   be c a us e   t h e   di s t a n c e   o f   t h e   s ke l e t o n s   i s   i n v a r i a nt   t o   t h e   us e r   po s t u r e .   T h e r e f o r e ,   t h e   s y s t e m   w i l l   i n de pe nde nt   t o   a   us e r.   F urt h e r,   w e   pr o po s e t h e   us e o f   D T W   t o   c o m put e   t h e   di s t a n c e   b e t w e e n   t h e   f e a t ur e s   b e c a us e   t h e   s pe e o f   t h e   us e r   w h e n   g i v i n s i g n   l a n g ua ge   i s   v a r i o us .   W e   h o pe t h e   D T W   c o ul i m p r o v e   t h e   a c c u r a c y   of    t h e   r e c o gn i t i o n.   B a s e o n   o ur   e xpe r i m e n t ,   e i t h e r   w h e n   t h e   us e r   i s   t h e   s a m e   o r   w h e n   t h e   us e r   i s   di f f e r e n t   t o   t h e   us e r   w h o   doe s   t h e   t r a i n i ng,   t h e   r e s ul t   o f   o ur   p r o po s e m e t h o i s   pr o m i s i n g .   E v e n   t h o ugh   w h e n   t h e   us e r   w h o   t e s t s   t h e   da t a   i s   n e w   (h e r   da t a   d i n o t   e xi s t   i n   t ra i ni n d a t a ),   i n   s c e n a r i o   B ,   t h e   a c c ura c y   de c r e a s e d,   b ut   t h e   de c r e a s e   w a s   n o t   m uc h,   o nl y   f r o m   94%  t o   91%.   T hi s   r e s u l t   s h o w s   t h a t   t h e   p r o po s e m e t h o i s   i n v a r i a n t   t o   a   us e r   (us e r   i n de pe n de nt ) .   H ow e ve r ,   w h e n   t w o   s i gn   l a n gu a ge s   ha v e   s i m i l a r   ge s t ur e s ,   t h e i r   m i s c l a s s i f i c a t i o n   r a t e s   a r e   i n c r e a s i ng.   A l s o ,   t h e   s i g n   l a n g ua ge s   us e i n   t h e   e xpe r i m e nt   a r e   l i m i t e t o   20  s i gn   l a ngua ge s .   T h e r e f o r e ,   f ur t h e r   s t udy   a bo ut   fe a t ur e   e xt r a c t i o n   w h i c h   c a n   d i s t i ngui s h   s i m i l a r   ge s t u r e s   i s   r e qui r e d.   A nd  i t   w o ul be   i n t e r e s t i n g   t o   a s s e s s   t h e   p r o po s e m e t h o i m o r e   s i g l a n g u a ge s .     HLO G T G MN G ME T W H T H O W FMY MT R C H D FTR B T H I Y O U H U E S C L G O D E V L P B M W R K MA D HLO 5 G T G 4 1 MN G 5 ME T 5 W H T 5 H O W 4 1 FMY 4 1 MT R 4 1 C H D 5 FTR 5 B T H 5 I 5 Y O U 5 H U E 1 4 S C L 5 G O D 5 E V L 5 P B M 5 W R K 1 4 MA D 5 S Y S T E P R E D I C T I O N T R U E   L A B E L HLO G T G MN G ME T W H T H O W FMY MT R C H D FTR B T H I Y O U H U E S C L G O D E V L P B M W R K MA D HLO 5 G T G 4 1 MN G 5 ME T 5 W H T 4 1 H O W 3 2 FMY 2 3 MT R 4 1 C H D 5 FTR 5 B T H 5 I 5 Y O U 5 H U E 5 S C L 5 G O D 5 E V L 5 P B M 1 4 W R K 5 MA D 1 4 S Y S T E M  P R E D I C T I O N T R U E  L A B E L H L O GTG M N G M E T WH T HOW F M Y M T R C H D F T R B T H I Y O U H U E S C L GOD E VL P B M WR K M A D H L O 5 GTG 5 M N G 5 M E T 5 WH T 5 HOW 3 2 F M Y 5 M T R 5 C H D 5 F T R 1 4 B T H 5 I 4 1 Y O U 5 H U E 5 S C L 5 GOD 5 E VL 5 P B M 2 3 WR K 5 M A D 5 S Y S T E M  P R E D I C T I O N T R U E  L A B E L Evaluation Warning : The document was created with Spire.PDF for Python.
In do n e s i a J   E l e c   E ng  &   Co m S c i     IS S N :   2502 - 4752       Indone s i an  Si gn   L angu age   R e c ogni t i o U s i n K i n e c t   a n D y nam i c   T i m e   ( W i j ay an t i   Nur ul   Kh ot i m ah )   503   A C K N O WL ED G E   T h i s   r e s e a r c w a s   s uppo r t e by   a   r e s e a r c h   g ra n t   f o r   P e n e l i t i a n   P e m u l a   i n   20 18  f r o m   I n s t i t ut   T e kn o l o gi   S e pul u h   N o pe m b e r ,   S u r a b a y a ,   I n do n e s i a .       R EF ER EN C ES   [ 1]   [ N .   B .   I br a h i m ,   M .   M .   S e l i m ,   a nd  H .   H .   Z a y e d,   A A ut o m a t i c   A r a bi c   S i g L a ng ua g e   R e c og ni t i o S y s t e m   (A r S L R S ) ,   J .   K i ng   Sa ud  U ni v .   -   C om p ut .   I n f .   S c i . ,   O c t .   2 017 .   [ 2]   M .   I .   S a d e k,   M .   N .   M i kh a e l ,   a n H .   A .   M a ns o ur ,   A   N e w   A ppr o a c f o r   D e s i g ni ng   A   S m a r t   G l o v e   f o r   A r a bi c   S i g n   L a ng ua g e   R e c og ni t i o S y s t e m   B a s e o t h e   S t a t i s t i c a l   A na l y s i s   o f   t he   S i g L a ng ua g e ,   i 2 017  34t N at i o nal   R adi o   S c i e nc e   C o nf e r e nc e   ( N R SC ) ,   201 7,   pp .   380 388 .   [ 3]   W .   N .   K ho t i m a h ,   Y .   A .   S us a nt o ,   a nd   N .   S uc i a t i ,   C o m bi ni ng   D e c i s i o T r e e   a n B a c P r o pa g a t i o G e ne t i c   A l go r i t hm   N e ur a l   N e t w o r f o r   R e c og ni z i ng   W o r G e s t ur e s   i I ndo ne s i a S i g L a ng ua g e   us i ng   K i ne c t ,   J .   T he or .   A ppl .   I n f .   T e c hn ol . ,   v o l .   95 ,   no .   2 ,   pp .   292 298 ,   J a n .   201 7.   [ 4]   C .   H .   C hu a n,   E .   R e g i na ,   a n C .   G ua r d i no ,   A m e r i c a S i g L a ng u a g e   R e c og ni t i o U s i ng   L e a M o t i o S e n s o r ,   i n   2014   13 t h   I n t e r na t i ona l   C onf e r e nc e   o M a c h i ne   L e ar n i ng   an A ppl i c a t i ons ,   201 4,   pp .   541 544 .   [ 5]   W .   N .   K ho t i m a h ,   R .   A .   S a put r a ,   N .   S uc i a t i ,   a nd  R .   R .   H a r i a di ,   A l pha be t   S i g L a ng ua g e   R e c o g ni t i o U s i ng   L e a M o t i o T e c hno l o gy   a nd  R ul e   B a s e B a c kpr o pa g a t i o n - G e ne t i c   A l g o r i t hm   N e ur a l   N e t w o r ( R B B P G A N N ) ,   J U T I   J .   I l m .   T e k no l .   I nf . ,   v o l .   15 ,   no .   1 ,   pp .   95 1 03 ,   J a n .   2017 .   [ 6]   L .   E .   P o t t e r ,   J .   A r a u l l o ,   a n L .   C a r t e r ,   T he   L e a M o t i o C o nt r o l l e r :   A   V i e w   o S i g L a ng ua g e ,   i n   P r oc e e di ngs   o f   t he   25t A u s t r al i a C om pu t e r - H um an  I nt e r a c t i on   C on f e r e nc e :   A ugm e nt a t i on ,   A pp l i c a t i on ,   I n nov at i on ,   C ol l abo r at i o n ,   N e w   Y o r k,   N Y ,   U S A ,   2 013 ,   pp .   1 75 1 78 .   [ 7]   T .   C .   H o u,   W .   N .   W .   Z a ka r i a ,   T .   S .   J i ng ,   R .   T o m a r i ,   T .   K .   S e k ,   a nd   A .   A .   M .   S ube r i ,   V i s i o B a s e H um a D e c oy   S y s t e m   f o r   S po t   C o o l i ng ,   T E L K O M N I K A   T e l e c om m u n.   C om put .   E l e c t r on .   C ont r o l ,   v o l .   1 5,   no .   4,     pp.   15 12 1 519 ,   D e c .   2 017 .   [ 8]   C .   C h a ns r i   a n J .   S r i no nc ha t ,   H a nd  G e s t ur e   R e c o g ni t i o f o r   T ha i   S i g L a ng ua g e   i n   C o m pl e B a c kg r o und  U s i ng   F us i o n   o f   D e pt h   a nd  C o l o r   V i d e o ,   P r oc e di a   C om pu t .   Sc i . ,   v o l .   86 ,   pp.   25 7 26 0,   J a n.   2 016 .   [ 9]   R .   E l a k ki y a ,   K .   S e l v a m a ni ,   a nd   A .   K a n na n ,   A I nt e l l i g e nt   F r a m e w o r f o r   R e c og ni z i ng   S i g L a ng ua g e   f r o m   C o nt i nuo us   V i d e o   S e que nc e   U s i ng   B oo s t e S ubun i t s ,   i I E T   C onf e r e nc e   P r oc e e di ngs ;   St e v e nage ,   S t e v e na g e ,   U ni t e d   K i ng do m ,   S t e v e na g e ,   2013 .   [ 10]   P .   D o l i o t i s ,   V i e w po i nt   I nv a r i a n t   G e s t ur e   R e c o g ni t i o a nd  3D   H a nd  P o s e   E s t i m a t i o U s i ng   R G B - D ,   P h. D . ,   T he   U ni v e r s i t y   o f   T e xa s   a t   A r l i ng t o n,   U n i t e S t a t e s   --   T e xa s ,   20 13 .   [ 11]   I .   M .   A l - s a i ha t i ,   " R e a l   T i m e   A r a b i c   S i g L a ng ua g e   R e c o g ni t i o n " .   D a hr a n,   S a u di   A r a bi a :   K i ng   F a hd   U ni v e r s i t y   o f   P e t r o l i um   a n M i ne r a l s ,   2 00 6.   [ 12]   P .   Y i n,   " S e g m e nt a l   D i s c r i m i na t i v e   A na l y s i s   f o r   A m e r i c a S i g L a ng ua g e   R e c og ni t i o a nd  v e r i f i c a t i o n " .   G e o r g i a   I ns t i t u t e   o f   T e c hno l o gy ,   2010.   [ 13]   T .   A uj e s z ky   a nd  M .   E i d,   A   G e s t u r e   R e c og i nt i o A r c hi t e c t ur e   f o r   A r a bi c   S i g L a ng ua g e   C o m m uni c a t i o S y s t e m ,   M u l t i m e d.   T oo l s   A pp l . ,   v o l .   7 5,   no .   14 ,   pp .   8493 851 1,   20 16.   [ 14]   T .   K a m na r ds i r i ,   L .   H o ng s i t ,   a n N .   W o ng t a ,   D e s i g ni ng   A   S i gn  L a ng ua g e   I nt e l l i g e nt   G a m e - B a s e L e a r ni ng   F r a m e w o r w i t K i ne c t ,   i I C E L 201 6 - P r oc e e di ng s   o f   t he   1 1t I n t e r nat i o nal   C on f e r e nc e   on  e - L e ar ni ng I C E l 2 016 ,   2016 ,   p .   6 4.   [ 15]   G .   C .   L e e ,   F . - H .   Y e h ,   a nd  Y . - H .   H s i a o ,   K i ne c t - B a s e T a i w a n e s e   S i g n - L a ng ua g e   R e c o g ni t i o S y s t e m ,   M u l t i m e d.   T ool s   A ppl . ,   v o l .   75 ,   no .   1 ,   pp .   261 279 ,   2016 .   [ 16]   A .   A g a r w a l   a n M .   K .   T ha kur ,   S i g L a ng ua g e   R e c og ni t i o n   U s i ng   M i c r o s o f t   K i n e c t ,   i C on t e m por a r y   C om put i ng   ( I C 3) ,   2 013   Si x t I n t e r na t i o nal   C o nf e r e nc e   on ,   201 3,   pp .   181 185 .   [ 17]   C .   S u n,   T .   Z h a ng ,   B . - K .   B a o ,   a n C .   X u ,   L a t e n t   S uppo r t   V e c t o r   M a c h i ne   f o r   S i g L a ng ua g e   R e c o g ni t i o w i t h   K i ne c t ,   i I m age   P r oc e s s i ng   ( I C I P ) ,   2013   2 0t h   I E E E   I n t e r na t i ona l   C on f e r e nc e   on ,   2 013 ,   pp .   4 190 4194 .   [ 18]   M .   M .   S a a d ,   N .   J a m i l ,   a n R .   H a m z a h,   E v a l ua t i o o f   S uppo r t   V e c t o r   M a c hi ne   a nd   D e c i s i o T r e e   f o r   E m o t i o n   R e c og ni t i o o f   M a l a y   F o l kl o r e s ,   B ul l .   E l e c t r .   E n g.   I nf o r m . v o l .   7 ,   no .   3 ,   pp.   4 79 4 86,   2 018 .   [ 19]   S .   I .   M .   Q u a dr i ,   " A I nt e g r a t e S y s t e m   f o r   A r a bi c   S i g L a ng ua g e   R e c og ni t i o n " .   U . M . I . ,   20 07 .   [ 20]   U .   V o A g r i s ,   J .   Z i e r e n ,   U .   C a nz l e r ,   B .   B a ue r ,   a nd   K . - F .   K r a i s s ,   R e c e nt   D e v e l o pm e nt s   I V i s ua l   S i g L a ng ua g e   R e c og ni t i o n ,   U ni v e r s .   A c c e s s   I n f .   S oc . ,   v o l .   6 ,   no .   4,   pp .   323 362 ,   2008 .   [ 21]   I .   N .   Y ul i t a ,   F e a t ur e   E x t r a c t i o A na l y s i s   f o r   H i dde M a r ko M o de l s   i S un da n e s e   S pe e c R e c og ni t i o n ,   T E L K O M N I K A   T e l e c om m u n.   C om p ut .   E l e c t r on .   C on t r o l ,   v o l .   16 ,   n o .   5,   2 018 .   [ 22]   S .   G .   M o r e i r a   A l m e i da ,   F .   G .   G ui m a r ã e s ,   a nd  J .   A r t u r o   R a m í r e z ,   F e a t u r e   E x t r a c t i o i B r a z i l i a S i g L a ng ua g e   R e c og ni t i o B a s e d   o P ho no l o g i c a l   S t r uc t ur e   a n U s i ng   R G B - S e ns o r s ,   E x pe r t   Sy s t .   A pp l . ,   v o l .   4 1,   no .   16 ,   pp .   7259 7271 ,   N o v .   2014 .   [ 23]   M .   M ül l e r ,   D y na m i c   T i m e   W a r pi ng ,   I n f .   R e t r .   M us i c   M o t i o n ,   pp .   69 84 ,   200 7.   [ 24]   S ut a r m a n ,   M .   A .   M a j i d,   a nd  J .   M .   Z a i n ,   A   R e v i e w   o t he   D e v e l o pm e nt   o f   I ndo ne s i a S i g L a ng ua g e   R e c og ni t i o n   S y s t e m ,   J .   C om pu t .   Sc i . ,   v o l .   9 ,   no .   1 1,   pp .   149 6 15 05,   N o v .   201 3.   [ 25]   W .   N .   K ho t i m a h ,   N .   S uc i a t i ,   Y .   E .   N ug y a s a ,   a nd  R .   W i j a y a ,   D y n a m i c   I ndo ne s i a S i g L a ng ua g e   R e c og ni t i o by   U s i ng   W e i g h t e d   K - N e a r e s t   N e i g hbo r ,   i I n f or m a t i on   &   C om m uni c a t i on   T e c hno l og y   a nd  Sy s t e m   ( I C T S) ,   20 17   11t h   I nt e r n at i on al   C on f e r e nc e   on ,   2017 ,   pp .   269 274 .     Evaluation Warning : The document was created with Spire.PDF for Python.