I n te r n ati o n al   Jo u r n al   o El e c tr i c a l   an d   C o m p u te r   En gi n e e r i n g   (I JEC E )   V o l .   10 ,   N o .   2 A p r i l   2020 ,   p p.   1495 ~ 150 6   IS S N :   2088 - 8708 D O I :   10. 1 1591 / i j e c e . v 10 i 2 . pp1495 - 1506             1495       Jou r n al   h o m e pa ge ht t p: / / i j e c e . i ae s c or e . c om / i nd e x . php / IJ E CE   A b n o r m a l   g a i t   d e t e c t i o n   b y   m e a n o f   L S T M         C é s ar   G .   P ac h ó n - S u e s c ú n ,   Jav i e r   O .   P i n z ó n - A r e n as ,   R o b i n s o n   Ji m é n e z - M o r e n o     F a c ul t y   o f   E ng i ne e r i ng ,   N ue v a   G r a n a da   M i l i t a r y   U ni v e r s i t y ,   B o go t á   D . C . ,   C o l o m bi a         A r ti c l e   I n fo     A B S TR A C T     Ar t i c l e   h i s t or y :   R e c e i v e S e p   18 2 019   R e v i s e O c t   11 ,   2 019   A c c e pt e O Ct   20 201 9       T hi s   a r t i c l e   p r e s e n t s   a   s y s t e m   f o c us e o t he   de t e c t i o o f   t hr e e   t y pe s   o f   a bno r m a l   w a l p a t t e r n s   c a us e by   ne ur o l o g i c a l   d i s e a s e s ,   s pe c i f i c a l l y   P a r k i n s o ni a g a i t ,   H e m i pl e g i c   g a i t ,   a nd  S pa s t i c   D i pl e g i c   g a i t .   A   K i ne c t   s e ns o r   i s   u s e t o   e xt r a c t   t he   S k e l e t o f r o m   a   pe r s o dur i ng   i t s   w a l k,   t o   t h e n   c a l c ul a t e   f o ur   t y pe s   o f   ba s e s   t ha t   g e ne r a t e   d i f f e r e n t   s e que nc e s   f r o m   t he   25  po i nt s   o f   a r t i c ul a t i o ns   t ha t   t he   S k e l e t o g i v e s .   F o r   e a c t y pe   of   c a l c ul a t e d   ba s e ,   a   r e c ur r e n t   ne ur a l   ne t w o r ( R N N )   i s   t r a i ne d ,   s p e c i f i c a l l y   a   L o ng   s ho r t - t e r m   m e m o r y   ( L S T M ) .   I a ddi t i o n,   t he r e   i s   a   g r a p h i c a l   us e r   i nt e r f a c e   t ha t   a l l o w s   t h e   a c qui s i t i o n,   t r a i n i ng ,   a nd   t e s t i ng   o f   t r a i ne d   ne t w o r ks .   O f   t he   f o ur   t r a i n e ne t w o r ks ,   98. 1%   a c c ur a c y   i s   o bt a i ne w i t t he   da t a ba s e   t ha t   w a s   c a l c ul a t e w i t t h e   di s t a nc e   o f   e a c po i nt   pr o v i de by   t he   S ke l e t o t o   t he   H i p - C e nt e r   po i n t .   Ke y w or d s :   A b n o r m a l   ga i t   p a t t e rn s     K i n e c t   s e n s o   L S T M   C opy r i gh t   ©   2020   I n s t i t ut e   o f   A dv anc e E ng i ne e r i ng   and   S c i e nc e   A l l   r i gh t s   r e s e r v e d .   Cor r e s pon di n g   Au t h or :   Ro b i n s o n   J i m é n e z   M o r e n o   M e c h a t r o n i c s   E ngi n e e ri n g   P r o gra m ,   F a c ul t y   of   E n gi n e e r i n g ,   N ue v a   G r a na d a   M i l i t a r y   U n i v e r s i t y ,   Ca rr e r a   11   #101 - 80,   B o go t á   D . C. ,   Co l o m b i a .   E m a i l :   r o b i n s o n . j i m e n e z @ u ni m i l i t a r . e du . c o       1.   I N TR O D U C TI O N     T h e   de s i gn   o f   s y s t e m s   b a s e o n   a r t i f i c i a l   i n t e l l i ge n c e   t e c hni que s   w i t h   a   f oc us   o n   m e di c i n e   ha s   ga i n e i m po r t a n c e   i n   v a r i o us   r e s e a r c h.   I [1] ,   i t   w a s   s o ugh t   t o   a ut o m a t e   t h e   de t e c t i o n   o f   m ul t i pl e   s c l e r o s i s ,   i m p l e m e nt i ng  de e l e a rni n t e c hni que s ,   s pe c i f i c a l l y   t h e   c o n v o l ut i o n a l   n e u r o na l   n e t w o r ks   (CN N ),     w h e r e   a   c o rr e l a t i o n   o f   0. 97  i s   o b t a i n e w i t h   r e s pe c t   t o   t h e   m a nua l   a nn o t a t i o n s   o f   t h e   w h i t e   m a t t e r ,     c o n c l udi n g   t ha t   t h e   us e   o f   CN N   t o   a ut o m a t e   p r o c e s s e s   of   de t e c t i o n   o f   w h i t e   m a t t e r   i s   c l o s e   t o   t h a t   o f   e xpe r t s ,     b e i n a   c l e a s t a r t i ng  po i nt   f o r   t h e   i m p l e m e nt a t i o n   o f   t h i s   t y p e   of   s y s t e m s .     CN N   i s   a   D e e l e a rni n t e c hn i q ue   [2],   t h a t   ha s   b e e n   de m o n s t ra t e i t s   hi g h   pe r f o r m a n c e   i n   pa t t e rn   r e c o gn i t i o n   [3] ,   w i t h   a n   e m p ha s i s   o n   i m a ge   c l a s s i f i c a t i o n   [4] .   T h i s   t e c hni que   h a s   b e e n   t o   h a v e   s o m e   e vo l ut i o n s   i n   c o m pl e m e n t a r i e s   a r c h i t e c t ur e s   l i ke   t h e   D A G - CN N   [5]  a n t h e   R - CN N   [6].   I n   [ 7 ],   CN N s   a r e   us e fo r   s e gm e n t a t i o n   o f   m a g n e t i c   r e s o n a n c e   i m a ge s ,   i n   o r de r   t o   c l a s s i f y   i m a ge s   o f   b r a i n s   a c c o r di ng  t o   t h e   a ge   o f   t h e   pe r s o n,   w h e r e   8 2 t o   91%   o f   t h e   p r e c i s i o o f   t h e   c l a s s i f i c a t i o n s   i s   o b t a i n e d.   In  [ 8 ] ,   i t   i s   e m p h a s i z e t ha t   w i t h   c u rr e n t   m e t h o ds ,   t h e   d i a g n o s i s   o f   P a r ki n s o n ' s   d i s e a s e   t e n ds   t o   be   s ub j e c t i ve ,   fo r   t hi s   r e a s o n   a   K i n e c t   s e n s o r   [ 9 i s   us e a s   a   s uppo r t   f o r   t h e   di a g n o s i s   of   P a r ki n s o n' s ,   s e e ki ng  t c a pt u r e   by   m e a n s   o t h i s ,   t h e   m o ve m e n t   o f   pa t i e n t s ,   t h e   m o ve m e n t   o f   pa t i e n t s ,   e xt r a c t i n c ha r a c t e r i s t i c s   s uc h   a s   a m p l i t ude   a n f r e que n c y   of   m ove m e n t ,   w h i c h   a r e   i m po r t a n t   f o r   p h y s i c i a n s   t o   m a ke   a   c o rr e c t   di a g n o s i s   o t h i s   di s e a s e .   I [ 1 0 ] ,   i t   i s   m e nt i o n e t h a t   c u rr e n t l y   fo r   t h e   d e t e c t i o n   a n i de nt i f i c a t i o n   o f   n e ur o de ge n e r a t i v e   di s e a s e s ,   ph y s i c i a n s   t e n t o   a n a l y z e   t h e   pr o gr e s s   of   pa t i e nt s ,   i n   t hi s   c a s e ,   t h e y   fo c us   o n   t h e   de t e c t i o n   o P a rki n s o n' s   d i s e a s e ,   H un t i n g t o n   a n d   a m y o t r o ph i c   l a t e r a l   s c l e r o s i s ,   i m pl e m e n t i n a   t y pe   of   R N N   c a l l e d   L S T M ,   a c hi e v i n g   a   95 . 67%   a c c u r a c y   i t h e   i de n t i f i c a t i o o f   t h e   ga i t s .   S e ve r a l   s t ud i e s   ha v e   a l r e a dy   fo c us e o n   t h e   a n a l y s i s   of   a l t e ra t i o n s   i n   t h e   ga i t ,   b e h a v i o r   o r   po s t ur e s   of   pe o pl e .   In   [ 11 ] ,   a   t y p e   of   s h o e s   w e r e   de s i gn e t ha t   a r e   m a de   up  o f   v a r i o us   s e n s o r s   s uc h   a s   l o a c e l l s ,   a c c e l e r o m e t e r s ,   a nd  gy r o s c o pe s   t ha t   h e l t o   i de nt i f y   t h e   ga i t   o f   t h e   pe r s o n,   v e c t o r s   o f   m a c h i n e   s uppo rt s   Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2088 - 8708   Int   J   E l e c   &   Co m E n g ,   V o l .   10 ,   N o .   2 A p ri l   2020   :     1 4 9 5   -   1 5 0 6   1496   (S V M a r e   i m pl e m e nt e f o r   t h e   c l a s s i f i c a t i o b e t w e e n   t y p e s   of   n o r m a l   ga i t ,   f o o t   i n w a r ds ,   f o o t   o ut w a r ds ,   a m o ng  o t h e r s ,   o b t a i ni n b e t w e e n   89. 6%  a n 93 . 38%  a c c ura c y   i n   t h e   c l a s s i f i c a t i o n   o ga i t   a b n o rm a l i t i e s ,   pr e s e nt i n g   a s   a   di s a dv a n t a ge   t h a t   t h e   m e t h o ds   us e t e n t o   be   i nt r us i v e   fo r   t h e   us e r.   I [ 1 2 ] ,   di f f e r e n t   t y pe s   of  R N N   a r e   e v a l ua t e d,   s uc a s   t h e   L S T M ,   t h e   v a ni l l a   R N N ,   a n t h e   G a t e R e c urr e nt   U ni t   G R U ,     t o   de t e c t   a b n o r m a l   b e h a v i o r s   i e l de rl y   pe o pl e   w i t de m e nt i a ,   i t   i s   c o n c l ude t ha t   t h e   L S T M   ha s   a   b e t t e r   b e h a v i o r   a c h i e v i n u t o   96 . 7 a c c u r a c y   i t h e   i de nt i f i c a t i o o f   a b n o r m a l i t i e s .   I n   [ 13 ] ,   us i n CN N   a nd    t h e   m o v e m e n t   o f   t h e   S ke l e t o n   o f   a   pe r s o n   t u rn  i t   i nt o   a n   i m a ge   t o   de t e c t   t h e   a c t i o n s   t h a t   a r e   b e i n c a rri e o ut ,     s uc h   a s   m o v e m e n t s   i t h e   b o d y   a n a c t i o n s   i n   s po rt s ,   t h e   p ro pos e m e t h o i s   t e s t e w i t h   di f f e r e n t   d a t a b a s e s ,   ob t a i n i ng  pe r c e nt a ge s   o f   a c c ur a c y   be t w e e n   86. 97%   a n d   95 . 4 5%.   F o r   t h e   r e c o gn i t i o o f   h um a n   a c t i o n s ,   i t   b e c o m e s   r e c urr e nt   i c urr e nt   w o r ks ,   t h e   i m pl e m e n t a t i o of  de e l e a rn i ng  a l go r i t hm s   w h e t h e r   t hr o ug h   CN N   o r   L S T M ,   de m o n s t ra t i n h o w   r o b us t   a n p r e c i s e   t h e s e   t e c hn i q ue s   c a n   b e .   A s   a n   e xa m pl e   o f   t h e   a b ove   i n   [ 1 4 ] ,   ge n e t i c   a l go r i t hm s   (G A a n CN N   a r e   us e t r e c o gn i z e   a m o n 50  h u m a n   a c t i o n s   o t h e   U CF 50  da t a b a s e   [1 5 ],   t h e   G A s   a r e   us e t o   i n i t i a l i z e   t h e   CN N   w e i ght s ,   a c h i e v i n g   a   99 . 9 8%   a c c u r a c y   i n   t h e   c l a s s i f i c a t i o n .   I [1 6 a n [ 1 7 ] ,   t h e   L S T M   i s   us e f o r     t h e   r e c o gn i t i o n   o f   a c t i o n s   i n   pe o pl e ,   w h e r e   t h e   f i r s t   o n e   f oc us e s   o n   i de nt i fy i n t h e   a c t i o n   t ha t   a   pe r s o n   i s   pe r f o r m i ng  (w a l ki n g ,   s i t t i ng,   s t a n d i n g ,   j o ggi n g ,   a m o n o t h e r s ),   a c hi e v i n 92 . 1%  a c c ur a c y   i n     t h e   i de n t i f i c a t i o n   o f   a c t i o n s .   W hi l e   i t h e   s e c o n o n e ,   t h e   us e   of   L S T M   i s   h i g hl i g h t e f o r   t h e   a na l y s i s   of  a c t i o n s   i n   a   s pa t i o - t e m po r a l   w a y ,   t h e   m e t h o i s   t e s t e i n   d i f fe r e n t   da t a b a s e s ,   o b t a i ni n a   9 5%  a c c u r a c y   i n     t h e   c l a s s i f i c a t i o n   o f   t h e   U T - K i n e c t   d a t a b a s e   [1 8 ].   T h e   W o r l H e a l t h   O r g a n i z a t i o n   (W H O ),   c o n duc t e a   s t udy   of   n e ur o l o gi c a l   d i s o r de r s   a n d     t h e   c h a l l e n ge s   t h e y   pr e s e n t e t o   pub l i c   h e a l t h,   w h e r e   a   f o re c a s t   w a s   m a de   w h i c h   m e n t i o n e t ha t   b y   2030,   12. 22 o f   de a t h s   w o ul b e   a t t ri b ut e t o   n e u r o l o gi c a l   d i s o rde r s   [1 9 ].   T h e s e   s t udi e s   de m o n s t ra t e   t h e   n e e t fo c us   r e s e a r c h   o n   t h e   i de n t i f i c a t i o n   a n de t e c t i o n   o f   n e ur o l o gi c a l   di s e a s e s .   F o r   t hi s   r e a s o n,   t hi s   a r t i c l e   e xpo s e s   a i n v e s t i ga t i o o ri e nt e i t h e   de t e c t i o n   a n d   i de nt i f i c a t i o n   o f   t hr e e   t y p e s   of   a b n o r m a l   pa t t e rn s     i n   g a i t   t h a t   a r e   c a us e by   s o m e   n e ur o l o gi c a l   di s e a s e :   P a r ki n s o n i a g a i t ,   H e m i pl e gi c   g a i t ,   a n d   S pa s t i c     D i pl e gi c   g a i t .   T h e   a i m   i s   t o   de t e c t   ga i t   a b n o r m a l i t i e s   by   i m pl e m e n t i ng  L S T M .   I n   [ 20 ] ,   b e s i de s   e xpl a i n i n g     t h e   ge n e ra l   o pe ra t i o n   o f   t h e   L S T M ,   i t   i s   m e n t i o n e t ha t   t h e y   a r e   a   s pe c i a l   t y pe   of  R N N ,   t h a t   do   n o t   pr e s e nt   t h e   p r o b l e m   of   l o n g - t e rm   de pe n de n c e   t ha t   t h e   c l a s s i c   R N N s   do ,   w h i c h   a r e   e xpl a i n e i n   de p t h   i n   [ 2 1],     t h us   a v o i di n t h e   p r o b l e m s   t h a t   a ri s e   i n   t h e   g ra d i e nt s   o f   t h e   de e pe r   g ra di e n t   o f   t h e   n e t w o r k.   T h i s   t y pe   of  n e t w o r w a s   p r e s e n t e i [ 22 ] ,   w h e r e   i t   i s   e m p h a s i z e t ha t   t h e   i m pl e m e n t a t i o n   o f   L S T M   l e a ds   t o   m o r e   pr e c i s e   r e s ul t s   a n d   f a s t e t ra i ni n g ,   c o m pa r e t o   r e c u rr e nt   l e a rni n g   a n d   r e t r o - p r o pa ga t i o o v e r   t i m e .   T h e   pa pe r   i s   d i v i de i n t o   p a r t s .   I n   t h e   f i r s t   p a rt ,   t h e   ge n e ra l   o ut l i n e   o f   t h e   pr o c e s s   i s   pr e s e n t e d .     T h e   s e c o n f oc us e s   o n   t h e   a c qu i s i t i o o f   t h e   da t a b a s e   a nd  t h e   c a l c ul a t i o o f   i n pu t   c h a ra c t e r i s t i c s   f o r   s e c t i o n   t hr e e ,   w h i c h   f o c us e s   o n   t h e   a r c h i t e c t ur e   o f   t h e   L S T M   a n i t s   t ra i ni n g .   I n   t h e   fo ur t h   p a r t ,   s o m e   of  t h e   c a s e s   of  c o r r e c t   a n i n c o rr e c t   c l a s s i f i c a t i o n   o f   t h e   n e t w o r a r e   s h o w n.   T h e   f i f t h   pa r t   p r e s e nt s   a   gra p hi c   us e r   i n t e r f a c e   de s i gn e t o   f a c i l i t a t e   a n a ut o m a t e   t h e   p r o c e s s   of   i de n t i fy i n g   t h e   t y p e   of   ge a r .   T h e n   t h e   c l a s s i f i c a t i o n   t i m e s   of  o n e   of   t h e   t r a i n e n e t w o r ks   a r e   p r e s e n t e d .   F i na l l y ,   c o n c l us i o n s   a r e   gi v e n   o n   t h e   r e s ul t s   o b t a i n e i n   e a c h   o   t h e   s t a ge s .       2.   R ES EA R C H   M ET H O D     2. 1 .   P r o c e s s   s c h e m e   F i gu r e   s h o w s   t h e   ge n e ra l   p r o c e s s   of   t h e   p r o po s e m e t h o t o   de t e c t   t h e   t y pe   of   ga i t   a b n o rm a l i t y   t h a t   a   pe r s o n   m a y   h a v e .   T h e   i n i t i a l   s t e i s   t o   pe r f o r m   t h e   a c qui s i t i o n   o f   t h e   pe r s o n ' s   ga i t ,   f o r   t h i s   i t   i s   de c i de d   t o   us e   a   K i n e c t   V 2,   t a ki n i n t o   a c c o un t   t ha t   i t   i s   a   n o n - i nt r us i v e   s y s t e m   a n t h e r e f o r e   i t   w i l l   n o t   a f fe c t   o r   c a us e   v a r i a t i o n s   i n   t h e   pa t i e nt s ’  w a l duri n t h e   t e s t s .   I n   a dd i t i o n ,   i t   ha s   a l r e a dy   b e e n   i m p l e m e nt e i n   s i m i l a r e s e a r c h   a s   e v i de n c e i n   t h e   s t a t e   o f   t h e   a r t .   T h e   us e r   m us t   w a l i n   f r o nt   o f   t h e   s e n s o r,   t a ki ng  i nt o   a c c o un t   t h a t   h i s   w h o l e   b o d y   m us t   b e   s e e n   s o   t ha t   t h e   S ke l e t o c a n   b e   e xt ra c t e c o rr e c t l y .   O n c e   i t   i s   de t e c t e t ha t   t h e r e   i s   n o   o n e   i n   t h e   f i e l o f   v i s i o n   of   t h e   s e n s o r,   a   s i m u l a t i o n   o f   t h e   pe r s o n ' s   w a l i s   ge n e ra t e d,   us i n g   t h e   e xt r a c t e S ke l e t o n ,   i t   s h o ul b e   n o t e t h a t   e a c h   f r a m e   of   t h e   v i de o   h a s   a   r e s o l ut i o n   o f   512x424  pi xe l s .     F r o m   t h e   c oo r di na t e s   o f   e a c h   po i nt   o f   t h e   S ke l e t o n   i n   e a c h   of   t h e   t a b l e s   of   t h e   v i de o ,   t h e   s e que n c e s   t h a t   w i l l   b e   e n t e r e i nt o   t h e   L S T M   a r e   c a l c ul a t e d.   F i na l l y ,   t h e   n e t w o r c l a s s i f i e s   t h e   ga i t   e n t e r e i nt o   c a t e go r i e s   (n o r m a l   ga i t ,   S p a s t i c   D i p l e gi c   ga i t ,   H e m i p l e gi c   ga i t ,   a n d   P a rki n s o n i a ga i t ) .         Evaluation Warning : The document was created with Spire.PDF for Python.
Int   J   E l e c   &   Co m E n g     IS S N :   2088 - 8708       A bnor m al   g a i t   de t e c t i on   by   m e a ns   o f   L ST M   ( s ar   G .   P ac n - Sue s c ún )   1497       F i gu r e   1 .   P r o c e s s   s c h e m e       2. 2 .   D atab as e   T h e   s t a ge   o f   t h e   da t a b a s e   b e gi n s   w i t h   t h e   a na l y s i s   of   t h e   da t a   t ha t   t h e   K i n e c t   s e n s o r   p r o v i de s   f r o m   t h e   pe r s o n .   T h e n   i t   i s   n e c e s s a r y   t o   un de r s t a n t h e   m a i n   c ha ra c t e ri s t i c s   o e a c h   of   t h e   ga i t s   t o   be   c l a s s i f i e d.   S ub s e que n t l y ,   f o ur   di f fe r e nt   t y pe s   of   da t a b a s e s   a r e   ge n e r a t e d,   w i t h   e a c h   o f   t h e s e   a   n e t w o r w i l l   b e   t r a i n e d.   F i na l l y ,   t h e   n u m b e r   o f   t r a i n i n g   s e que n c e s   a nd  t e s t s   f o r   t h e   n e t w o r i s   e s t a b l i s h e d .     2. 2 . 1.     K i n e c t   d ata   o th e   S k e l e to n   In  F i gu r e   2 ,   e a c h   o f   t h e   j o i nt s   t ha t   c a n   i de n t i f y   a   pe r s o n ,   t h e   S ke l e t o n   f un c t i o n   o f   K i n e c t ,   b e i n 2 i t o t a l .   W h a t   t h e   S ke l e t o n   p r o v i de s   a r e   t h e   c o o r di na t e s   o e a c o f   t h e s e   po i n t s   i e a c c a pt u r e f ra m e .     W i t h   t h e s e   c oo r di na t e s ,   e a c h   o f   t h e   j o i nt s   c a n   b e   l i n ke d   t o   v i s ua l i z e   t h e   s ke l e t o n   o f   t h e   pe r s o n   i n   hi s   t r a j e c t o r y .   O nl y   f r a m e s   pe r   s e c o n a r e   c a pt u r e d,   b e i n e n o ug h   t o   o b t a i di f f e r e n t   po s i t i o n s   o f   t h e   b o d y   duri n g   t h e   m a r c h.           F i gu r e   2 .   J o i n t s   t o   f o r m   t h e   s ke l e t o n   [4]       2. 2 . 2.     G a i p at te r n s   ac q u i r e d   T h i s   p r o j e c t   i s   t h e   f i r s t   a pp r o a c h   t o   e v a l ua t e   t h e   po t e nt i a l   o f   L S T M   t o   de t e c t   di f fe r e n t   a b n o r m a l i t i e s   i n   g a i t   pa t t e rn s ,   f o r   t h e   a c qu i s i t i o n   o f   t h e   da t a b a s e   w e r e   us e pe o pl e   w h o   di n o t   s uf f e r   a n y   a b n o r m a l i t y .   T h e r e f o r e ,   t o   ge n e ra t e   t h e   d a t a b a s e ,   i t   i s   n e c e s s a r y   t o   un de r s t a n t h e   m a i f e a t u r e s   o f   e a c h   o n e   of   t h e   g a i t   pa t t e rn s ,   i n   o r de r   t o   i m i t a t e   t h e m   c o r r e c t l y   dur i n t h e   a c qui s i t i o n   o f   t h e   da t a .   I n   [ 23 24 ],   e a c h   o f   t h e   ga i t   Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2088 - 8708   Int   J   E l e c   &   Co m E n g ,   V o l .   10 ,   N o .   2 A p ri l   2020   :     1 4 9 5   -   1 5 0 6   1498   a b n o rm a l i t i e s   c a us e by   s o m e   t y pe   of   n e ur o l o gi c a l   pr o b l e m   i s   e xpl a i n e i n   de t a i l .   I n   ge n e r a l ,   t h e   S pa s t i c   D i pl e gi c   ga i t ,   c h a ra c t e ri z e by   pa r a l y s i s   of  t h e   uppe r   o r   l ow e r   e xt r e m i t i e s ,   i s   us ua l l y   c a us e by   c e r e b r a l   pa l s y ,   t h e   pa t i e n t   t e n ds   t o   w a l w i t h   t h e   uppe r   p a rt   o f   t h e   l e gs   n a rr o w l y   a n d   s h uf f l e   w h e w a l ki n g .     In   t h e   H e m i pl e gi c   ga i t ,   u nl i ke   t h e   pr e v i o us   o n e ,   t h e   pa r a l y s i s   o n l y   o c c ur s   i n   o n e   pa r t   o f   t h e   bo d y ,   t h e   a r m   i s   f l e xe a n r o t a t e i n t e rn a l l y ,   t h e   l e o t h e   s a m e   a f fe c t e a r e a   i s   i n   e xt e n s i o n   a nd  w h e n   w a l ki ng,     s e m i c i r c l e s   a r e   m a de   w i t h   t h a t   l e g.   F i na l l y ,   t h e   P a r k i n s o ni a ga i t   i s   c ha ra c t e ri z e b e c a us e   t h e   pa t i e nt   i s   w i t kn e e s   b e n t ,   t h e   h e a d   b e n t   a nd  a dv a n c e s   w i t s m a l l   s t e ps .   In  t o t a l ,   220  v i de o s   a r e   a c qui r e f o r   t h e   d a t a b a s e   t h a t   m e e t   t h e   c h a ra c t e ri s t i c s   o f   e a c h   ga i t   pa t t e rn   t b e   e v a l ua t e d,   55  v i de o s   p e r   e a c h   t y pe   o ga i t ,   e a c h   r e p r e s e nt i n o n e - qu a r t e r   o t h e   t o t a l   da t a b a s e .   F i gu r e   s h o w s   a n   e xa m pl e   o f   e a c h   o t h e   fo ur   m a r c h e s   t o   b e   c l a s s i f i e i n   t h e   n e t w o r k,   i t   s h o ul b e   n o t e t h a t   f o r   r e a s o n s   o f   c o r r e c t   v i s ua l i z a t i o n ,   o nl y   t h e   m o s t   r e p r e s e n t a t i v e   S ke l e t o n   f r a m e s   a r e   s h o w n   dur i ng    t h e   t ra j e c t o r y .           F i gu r e   3 .   G a i t   p a t t e rn s       2. 2 . 3.     C al c u l ati o n   o d atab as e s   T h e   b a s e   i n f o r m a t i o n   us e c o r r e s po n ds   t o   t h e   pi xe l   c o o r di na t e s   o f   t h e   X   a n Y   a xe s   of   e a c h   of   t h e   25  po i nt s   i n   e a c h   f r a m e   c a pt u r e by   v i de o .   W h a t   i s   s o ught   i s   t o   ge n e r a t e   da t a b a s e s   w h e r e   t h e i r   v a l ue s   a r e   r e p r e s e n t a t i v e   i t h e   w a l o f   a   pe r s o n,   f o r   t hi s   r e a s o n ,   4   d i f fe r e n t   b a s e s   a r e   p r o po s e d.   W i t e a c o f   t h e s e   b a s e s   t h e   n e t w o r w i l l   be   t r a i n e d ,   a nd  di f f e r e n t   n e t w o r ks   w i l l   b e   c o m pa r e t o   v e r i fy   w h i c h   m e t h o pr o v i de s   gr e a t e p r e c i s i o i t h e   c l a s s i f i c a t i o o f   w a l ki n g   pa t t e rn s .   In  F i gu r e   4 ,   t h e   g ra p o f   t h e   f i r s t   da t a b a s e   i s   p r e s e n t e d ,   t hi s   c o rr e s po n ds   t o   t h e   X   c o o r di n a t e   i pi xe l s   o e a c h   of   t h e   po i n t s   i n   e a c h   f r a m e   o t h e   i m a ge   w h e r e   t h e   s ke l e t o n   w a s   d e t e c t e d.   T h e   pe r s o n   s t a r t s   w a l ki n f r o m   r i g ht   t o   l e f t ,   t hi s   c a b e   e v i de n c e by   ob s e r v i ng  t h e   de c r e a s e   i t h e   v a l ue   o f   t h e   X   c o o r di n a t e   a s   e a c h   p i c t u r e   a c qu i r e a dv a n c e s .   T h e   s e c o n b a s e   c o r r e s po n ds   t o   t h e   Y   c o o r di na t e   i p i xe l s   i n   e a c h   f ra m e   c a pt u r e w h e r e   t h e   s ke l e t o n   w a s   de t e c t e d   a s   s h o w n   i n   F i gu r e   5 .   T h i s   s h o w s   h o w   t h e   Y   po s i t i o n   o f   e a c h   o f   t h e   po i n t s   do e s   n o t   t e nd  t o   v a r y   s i gni f i c a n t l y   i n   e a c c a pt u r e d   f ra m e .             F i gu r e   4 .   F e a t u r e s   o f   t h e   c o o r di n a t e   X   da t a b a s e     F i gu r e   5 .   F e a t u r e s   o f   t h e   c o o r di n a t e   Y   da t a b a s e   Evaluation Warning : The document was created with Spire.PDF for Python.
Int   J   E l e c   &   Co m E n g     IS S N :   2088 - 8708       A bnor m al   g a i t   de t e c t i on   by   m e a ns   o f   L ST M   ( s ar   G .   P ac n - Sue s c ún )   1499   T h e   t h i rd  b a s e   i s   c a l c ul a t e w i t h   t h e   d i s t a n c e   f r o m   e a c h   o f   t h e   25  po i n t s   o f   t h e   s ke l e t o n   t o   t h e   pi xe l   o n e   o f   t h e   i m a ge ,   w h e r e     a nd    r e f e r   t o   t h e   c urr e nt   c o o r di na t e s   o f   t h e   25   po i n t s   ( 1) .      = ( 1 ) 2 + ( 1 ) 2   (1)     In   F i gu r e   6,   t h e   s e que n c e   ge n e r a t e b y   t h e   pr e v i o us   c a l c ul a t i o n   i s   s h o w n .   It   c a n   b e   a n a l y z e f r o m   t h e   ge n e ra t e g ra p h,   h o w   t h e   di s t a n c e s   t o   pi xe l   of  t h e   i m a g e   w i t h   r e s pe c t   t o   e a c h   of   t h e   25  po i n t s   de c r e a s e s   w i t e a c c a pt u r e f ra m e   w h e r e   t h e   s k e l e t o w a s   de t e c t e d,   t hi s   i s   b e c a us e   t h e   g a i t   i s   m a de   f r o m   r i g h t   t o   l e f t .           F i gu r e   6 .   C ha ra c t e ri s t i c s   o f   t h e   da t a b a s e   f r o m   di s t a n c e   t o   pi x e l   o n e   (D P )       T h e   l a s t   d a t a b a s e   foc us e s   o n   h a v i n a   po i nt   o f   r e fe r e n c e   i n   t h e   b o d y   of   t h e   pe r s o n,     s pe c i f i c a l l y   t h e   H i Ce n t e r   p r e s e nt e i F i gu r e   2 ,   a n i s   c a l c ul a t e w i t t h e   d i s t a n c e   t h a t   e xi s t s   f r o m   e a c po i n t   o f   t h e   b o d y   t o   t h i s ,   w h e r e     a n d     r e f e r   t o   t h e   c u rr e n t   H i p   Ce n t e c oo r di na t e   ( 2).      = ( ) 2 + ( ) 2   (2)     In   F i gu r e   7,   t h e   s e que n c e   ge n e ra t e by   t h e   p r e v i o us   c a l c ul a t i o n   i s   s h o w n ,   s h o w i n t h e   di s t a n c e   f r o m   e a c h   po i n t   o f   t h e   b o d y   t o   t h e   H i Ce n t e r   i n   e a c h   o f   t h e   c a pt u r e f ra m e s .   F o r   t hi s   e xa m pl e ,   a   p a r k i n s o n i a n   g a i t   i s   p r e s e n t e d .           F i gu r e   7 .   C ha ra c t e ri s t i c s   d a t a b a s e   o f   t h e   d i s t a n c e   t o   t h e   H i p - c e n t e (D CB )       2. 2 . 4.     Tr a i n i n g   an d   t e s d ata   A s   i n p ut   t o   t h e   n e t w o r k,   t h e   s e que n c e s   of   e a c h   v i de o   a r e   e n t e r e a c c o r di n t o   t h e   da t a b a s e   w i t w h i c i t   w i l l   b e   t ra i n e d,   h i g h l i g h t i n g   t ha t   t h e r e   w i l l   b e   25  c h a ra c t e r i s t i c s   i n   e a c h   o f   t h e   da t a b a s e s .     It   i s   e s t a b l i s h e t ha t   o f   t h e   220  v i de o s   c a pt u r e d,   168  a r e   us e fo r   n e t w o r t ra i ni n g ,   c o rr e s po n di ng  t o   76. 36 of   t h e   t o t a l   b a s e   a n t h e   r e m a i n i ng  52   c o rr e s po n di n g   t o   2 3. 63%   a r e   f o r   t e s t .   I n   F i gu r e   8,   a e xa m p l e   o f   t h e   i n pu t   s e que n c e s   fo r   t ra i ni n a n d   t e s t i ng  t h e   n e t w o r w i t h   t h e   D CB   da t a b a s e   i s   s h o w n .   W h e r e   e a c h   o f   t h e   b a r s   r e p r e s e n t s   a   s e que n c e   o f   s o m e   of   t h e   t y pe s   of   ge a r   c a l c ul a t e i t h e   b a s e   D CB .   In   t h i s   w a y ,   t h e   X ,   Y ,   a n D P   da t a b a s e s   h a v e   t h e i i nput   s e que n c e s   t o   t ra i a nd  t e s t   e a c o f   t h e   n e t w o r ks .     Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2088 - 8708   Int   J   E l e c   &   Co m E n g ,   V o l .   10 ,   N o .   2 A p ri l   2020   :     1 4 9 5   -   1 5 0 6   1500       F i gu r e   8 .   I nput s   f o r   t ra i ni n g   a n d   t e s t i n g   t h e   n e t w o r k       2. 3 .   A r c h i t e c tu r e   an d   t r a i n i n g   In   F i gu r e   9,   t h e   a r c h i t e c t u r e   i m pl e m e nt e fo r   t h e   n e t w o r i s   s h ow n .   T hi s   a r c h i t e c t u r e   i s   c h o s e n   b a s e o n   a n   i t e ra t i v e   pr o c e s s   w h e r e   pa ra m e t e r s   s uc h   a s   t h e   num b e r   of   h i dde n   u n i t s ,   de pt h   o t h e   n e t w o r a n d   n u m b e r   o f   F ul l y   C o nn e c t e l a y e r s   w e r e   v a r i e d ,   l o o ki n fo r   t h e   r e s ul t s   a f t e r   t r a i n i ng  t o   ha v e   a   gr e a t e pe r c e n t a ge   o a c c ur a c y .   In i t i a l l y ,   t h e   n e t w o r r e c e i v e s   a s   i nput   s e que n c e s   w i t h   25  f e a t u r e s ,   a s   e xpl a i n e i n   t h e   s t a ge   of   c r e a t i o n   of   t h e   da t a b a s e s ,   t h e s e   fe a t ur e s   w i l l   de pe n o n   t h e   da t a b a s e   w i t h   w h i c h   i t   i s   t r a i n e o r   put   t o   t h e   t e s t   (b a s e   X ,   Y ,   D P   o r   D CB ).   T h e   s e c o n l a y e r   c o r r e s po n ds   t o   t h e   L S T M ,   e s t a b l i s h i ng  70  hi dde n   uni t s ,   f i n di ng  t h a t   w i t h   t hi s   v a l ue   a   be t t e r   pe r f o r m a n c e   i t h e   t r a i n i ng  i s   ob t a i n e d.   T h e n   f o l l ow s   a   F ul l y   Co nn e c t e l a y e r ,   w h e r e   t h e   n u m b e r   of   f i l t e r s   i s   c o r r e s p o n di n t o   t h e   n u m b e r   of   c a t e go r i e s   f o r   w h i c h   t h e   n e t w o r w a s   t ra i n e d .   F i na l l y ,   t h e r e   i s   t h e   S o f t m a F u n c t i o n ,   w hi c i s   r e s po n s i b l e   fo r   e s t a b l i s h i ng  i e a c h   of   t h e   o ut pu t   c a t e go ri e s   t h e   p r o b a b i l i s t i c   v a l ue   t h a t   t h e   i n p ut   ha s   o f   be l o n gi n g   t o   a   s pe c i f i c   c a t e go r y ,     w h e r e   t h e   s um   of   t h e s e   v a l ue s   w i l l   b e   1,   i n   [2 5 t h e   o pe r a t i o n   o f   t h e   s of t m a i s   e xpl a i n e i n   m o r e   de t a i l .     T h e   c a t e go r y   t h a t   h a s   t h e   h i g h e s t   v a l ue   a t   t h e   e xi t   w i l l   b e   t h e   c a t e go r y   i n   w h i c t h e   n e t w o r c l a s s i f i e d   t h e   i n p ut   s e que n c e .           F i gu r e   9 .   A r c h i t e c t ur e   i m pl e m e n t e d       F o r   t h e   t ra i ni n o f   t h e   n e t w o r ks ,   t h e   s a m e   c o n di t i o n s   a r e   s e t .   It   w a s   ob s e r v e i n   t h e   n e t w o r t r a i ni n g   g ra p h   t h a t   w i t h   150  e po c h s   i t   i s   e n o ug h   t o   o b t a i a d e qua t e   pe r c e n t a ge s   o f   a c c ur a c y   i n   t h e   r e c o gn i t i o of   t h e   t y pe   of   ga i t   a nd  w i t h o ut   o v e r t ra i ni n g .   A n   i n i t i a l   l e a rni n f a c t o r   (L R o f   0. 0 001  i s   s e t   f r o m   e po c h   1   t o   90.   I o r de r   f o r   t h e   w e i gh t s   t o   v a r y   l e s s   a ggr e s s i v e l y   a n d   t o   b e   e s t a b l i s h e i n   t h e   s y s t e m   m i ni m u m s ,   t h e   L R   i s   r e duc e by   a   f a c t o r   o f   10,   l e a v i n 0. 0 0001   f r o m   90   t o   150.   F i n a l l y ,   t h e   s i z e   o f   t h e   b a t c h   i s   s e t   t o   1 ,     us i n a   s m a l l   v a l ue   i n   t h i s   p a r a m e t e r   w i l l   a l l o w   a   gr e a t e ge n e ra l i z a t i o n   i n   t h e   t ra i ni n o f   t h e   n e t w o r k,     a s   i ndi c a t e i [2 6 ].       3.   R ES EA R C H   M ET H O D   T a b l e   s h o w s   a   c o m pa r i s o n   b e t w e e n   t h e   n e t w o r ks   t ra i n e fo r   e a c o f   t h e   da t a b a s e s .   F o r   e a c o n e ,   t h e   c l a s s i f i c a t i o n   a c c ura c y   of   t h e   s e que n c e s   i n   e a c h   c a t e go r y   i s   ob s e r ve d,   w h e r e   t h e   Y   D a t a b a s e   h a   t h e   l o w e s t   a c c ur a c y   a n t h e   D CB   da t a b a s e   t h e   h i g h e s t ,   w i t h   a   98 . 1%  a c c ura c y .   T h e   n e t w o r t ra i n e w i t h   t h e   D CB   da t a b a s e   ob t a i n e 100 a c c ur a c y   i n   t h e   c l a s s i f i c a t i o n   o f   t h e   S pa s t i c   D i pl e gi c ,   H e m i pl e gi c   a n d   P a rki n s o ni a ga i t   s e que n c e s .   In  t h e   n o rm a l   g a i t   p r e s e n t e a   92. 3%   a c c ura c y ,   i n c o rr e c t l y   c l a s s i fy i n o n l y   o n e   Evaluation Warning : The document was created with Spire.PDF for Python.
Int   J   E l e c   &   Co m E n g     IS S N :   2088 - 8708       A bnor m al   g a i t   de t e c t i on   by   m e a ns   o f   L ST M   ( s ar   G .   P ac n - Sue s c ún )   1501   s e que n c e ,   c o n f us i n i t   w i t h   a   ga i t   t y pe   S pa s t i c   D i pl e gi c .   F i gu r e   10  s h o w s   t h e   c o n f us i o n   m a t r i o f   t h e   n e t w o r k   t h a t   o b t a i n e t h e   hi g h e s t   p r e c i s i o du r i ng  t r a i n i ng  a nd  t e s t s .   I n   t h e   g r e e di a go na l   a r e   t h e   s e que n c e s   t ha t   w e r e   c o r r e c t l y   c l a s s i f i e d,   w h e r e   t h e   l a s t   v a l ue ,   c o rr e s po n d i n g   t o   t h e   l o w e r   r i g ht   b o x,   s h o w s   t h e   a c c ura c y   ob t a i n e by   t h e   n e t w o r k,   o f   98. 1%.   T h e   r o w s   c o r r e s po n t o   t h e   c l a s s e s   t h a t   t h e   n e t w o r pr e di c t e a n t h e   c o l um n s   t o   t h e   r e a l   c l a s s .       T a b l e   1 .   R e s ul t s   o f   t h e   n e t w o r ks   t r a i n e w i t e a c h   d a t a b a s e .     X   Y   DP   D CB   N o r m a l   100%   100%   100%   9 2 . 3 %   S p a s t i c   D i p l e g i c   3 8 . 5 %   0%   0%   100%   H e m i p l e g i c   7 6 . 9 %   100%   3 8 . 5 %   100%   P a rk i n s o n i a n   6 9 . 2 %   0%   100%   100%   T o t a l   7 1 . 2 %   50%   5 9 . 6 %   9 8 . 1 %         F i gu r e   10 .   Co n f us i o n   m a t r i w i t D CB   da t a b a s e       2. 2 . 1.     C o r r e c an d   i n c o r r e c c l as s i fi c ati o n s     F o r   t h i s   s t a ge ,   o n l y   t h e   t ra i n e n e t w o r w i t h   t h e   D CB   da t a b a s e   i s   a n a l y z e d,   t h a t   i s   t h e   o n e   t ha t   ob t a i n e t h e   b e s t   pe r fo r m a n c e   a nd  t h e r e f o r e   i t   i s   i m po r t a nt   t o   kn o w   i n   m o r e   de t a i l   w h a t   c o ul b e   t h e   po s s i b l e   c a us e s   of   t h e   1. 9%  e rr o r   i n   t h i s   n e t w o r k.   F i gu r e   11  s h o w s   t he   s e que n c e   of   a   c a s e   of   e a c h   t y p e   of   ga i t   t ha t   w a s   c o r r e c t l y   c l a s s i f i e by   t h e   n e t w o r k.   F i r s t ,   t h e   H e m i pl e gi c   G a i t   i s   p r e s e nt e d,   t hi s   ha s   a s   a   ge n e r a l   f e a t ur e   v a r i a t i o n   i n   t h e   di s t a n c e   of   t h e   po i nt s   o f   t h e   l e t ha t   s uf f e r s   t h e   p a r a l y s i s   w i t h   r e s pe c t   t o   t h e   H i Ce n t e r .     T h e   n o r m a l   g a i t ,   i n   ge n e r a l ,   do e s   n o t   t e n t o   p r e s e n t   d ra s t i c   c h a nge s   i n   t h e   di s t a n c e   of   e a c h   of   t h e   po i n t s   t o   t h e   c e n t e r   o f   t h e   bo d y .   T h e   S pa s t i c   D i pl e g i c   G a i t   i s   s i m i l a r   t o   t h e   H e m i pl e gi c   ga i t ,   w i t h   t h e   di f fe r e n c e   t ha t   i t h i s   t h e   v a r i a t i o n s   a r e   p r e s e nt e i n   t h e   f e a t u r e s   t h a t   c o rr e s pon t o   bo t h   l e gs .   F i n a l l y ,   i n   t h e   P a r k i n s o ni a n   G a i t ,     a s   t h e   po s i t i o n   o f   t h e   bo d y   t h a t   t e n ds   t o   b e   be n t ,   t h e   f e a t ur e s   a r e   c l o s e r   t o ge t h e r   a nd  gi v e n   t h e   t r e m o r s   i   t h e   b o d y   a l t e r a t i o n s   a r e   s h o w n   i s o m e   o f   t h e   c h a ra c t e ri s t i c s .   In   ge n e r a l ,   t h e   s e que n c e s   o f   t h e   ga i t   p a t t e rn s   a r e   c l e a rl y   di ffe r e nt i a t e f r o m   t h e   D CB   b a s e ,     w h i c h   a l l o w e t h e   n e t w o r t o   l e a rn  t h e   pa t t e rn s   o f   t h e   f e a t ur e s .   A   pa rt i c u l a r   c a s e   w a s   c l a s s i f i e i n   t h e   i n c o rr e c t   c a t e go r y ,   F i gu r e   12  s h o w s   a   n o r m a l   w a l k i n pa t t e rn,   w h i c h   w a s   c l a s s i f i e i n   t h e   s pa s t i c   di p l e gi c   c a t e go r y .   I f   t h e   f e a t ur e s   of   t h e   s e que n c e   a r e   a n a l y z e d,   i t   c a n   b e   ob s e r v e t h a t   t h e   b e gi nn i ng  o t h e   ga i t ,   c o m pa r e t o   n o rm a l   w a l k i n g,   ha a   b e h a v i o r   t ha t   i s   n o t   c ha ra c t e r i s t i c   o f   t hi s   p a t t e rn.   S e e i n o nl y   t h e   s e que n c e   of   di s t a n c e   f r o m   e a c h   pa rt   o f   t h e   b o d y   t o   t h e   H i p - Ce nt e r   do e s   n o t   p r o v i de   e n o ugh   i n f o r m a t i o n   a b o ut   t h e   c a us e   of   t h e   a n o m a l y   i n   t h e   pa t t e rn.   F o r   t hi s   r e a s o n   i n   F i g u r e   13a ,   t h e   S ke l e t o n   of   t h e   pe r s o n   i s   s h o w n   a n i n   F i gu r e   13b ,   t h e   pa t h   o f   t h e   S ke l e t o n .   I t   i s   o b s e r v e t h a t   i n de e a t   t h e   b e gi nn i n g   of   t h e   t r a j e c t o r y   t h e   po s i t i o n   o f   t h e   l e gs   i s   n a rr o w ,   w h e r e   t h i s   c ha r a c t e r i s t i c   o f   a   S pa s t i c   D i pl e gi c   t y pe   i s   t y pi c a l .   T h i s   a b n o r m a l i t y   i n   n o r m a l   ga i t   m a y   b e   due   t o   a   us e r ' s   i ni t i a l   po o r   po s i t i o n   o r   n o i s e   pr o b l e m s   i n   t h e   pe r s o n ' s   S ke l e t o n,   c a us i n g   t h e   n e t w o r t o   i n c o rr e c t l y   c l a s s i fy  t h e   s e que n c e .     Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2088 - 8708   Int   J   E l e c   &   Co m E n g ,   V o l .   10 ,   N o .   2 A p ri l   2020   :     1 4 9 5   -   1 5 0 6   1502       F i gu r e   11 .   S e que n c e s   c o r r e c t l y   c l a s s i f i e d           F i gu r e   12 .   W r o ng  c l a s s i f i c a t i o o f   t h e   n e t w o r k           F i gu r e   13 .   S ke l e t o n   i n c o rr e c t   c l a s s i f i c a t i o n       2. 2 .     G r ap h i c   u s e r   i n te r fa c e   A   g r a p hi c   us e i nt e r f a c e   i s   de s i g n e d ,   i o r de r   t o   f a c i l i t a t e ,   o r ga ni z e   a nd  c o n c a t e na t e   t h e   p r o c e s s e s   pr e s e nt e i n   t h e   pa pe r.   T h e   f i r s t   pa rt   o t h e   i nt e r f a c e   i s   r e s po n s i b l e   fo r   t h e   a c qui s i t i o n   s t a ge   o t h e   da t a b a s e   F i gu r e   14 .   T h e   f i r s t   s t e i n   t h e   a c qui s i t i o n   o t h e   S ke l e t o n   t o   c a l c ul a t e   t h e   da t a b a s e s   i s   t o   s e l e c t   f r o m   t h e   l i s t   w h a t   t y p e   of   ga i t   t h e   pe r s o n   h a s .   A f t e r   c l i c ki n o " A c qui r e " ,   t h e   K i n e c t   w i l l   b e   a c t i v a t e a n o n c e     t h e   pe r s o n' s   S ke l e t o i s   de t e c t e f o r   t h e   f i r s t   t i m e ,   t h e   b ut t o t h a t   s a y s   " W a l k"   w i l l   c h a nge   t o   g r e e n   i n d i c a t i n t h e   us e r   c a n   s t a rt   w a l ki n F i g u r e   14 ( a ) .   O n c e   t h e   pe r s o n   l e a v e s   t h e   s c e n e ,   i n   f i gur e   14 ( b ) ,   t h e   s i m ul a t i o n   o   t h e   ga i t   o f   t h e   us e r' s   S ke l e t o n   w i l l   b e   di s pl a y e d,   a f t e r   w h i c h   t h e   d a t a b a s e s   a r e   c a l c ul a t e d ,   pl o t t e a n d     s t o r e F i gu r e   14 (c ) .   Evaluation Warning : The document was created with Spire.PDF for Python.
Int   J   E l e c   &   Co m E n g     IS S N :   2088 - 8708       A bnor m al   g a i t   de t e c t i on   by   m e a ns   o f   L ST M   ( s ar   G .   P ac n - Sue s c ún )   1503       F i gu r e   14 .   A c qu i s i t i o o f   da t a   i t h e   g r a p hi c   us e r   i n t e r f a c e       O n c e   t h e   da t a b a s e   i s   a c qui r e d,   t h e   n e xt   s t e i s   t o   t r a i n   t h e   n e t w o r k.   I n   F i gu r e   15,   t h e   s e c t i o n   of    t h e   i n t e r f a c e   r e s po n s i b l e   fo r   t h i s   s t a ge   i s   s h o w n .   F i r s t ,   i t   m us t   b e   s e l e c t e i n   t h e   l i s t   o f   F i gur e   15 ( a ) ,   w i t w h a t   t y pe   of  da t a b a s e   i t   i s   w a n t e t o   t r a i n   t h e   n e t w o r k,   t h e n ,   v a r i o us   pa r a m e t e r s   m us t   b e   s e t :   n a m e   of   t h e   n e t w o r k,   pe r c e nt a ge   o f   t h e   da t a b a s e   t h a t   w i l l   b e   fo r   t r a i ni n g ,   n u m b e r   o f   c a t e go r i e s ,   n u m b e r   o f   fe a t u r e s ,   hi d de n   u ni t s ,   s i z e   o f   t h e   b a t c a nd  t h e   num b e o f   t r a i n i ng  e po c h s .   O n c e   a   v a l ue   i s   s e l e c t e fo r   e a c h   o f   t h e s e   pa r a m e t e r s ,   i n   F i g u r e   15 ( b ) ,   i t   m us t   b e   c l i c ke o n   t h e   t ra i n   b ut t o n.   O n c e   t h e   t ra i ni n i s   f i n i s h e d,   c l i c o n   t h e   t e s t   b ut t o n .   I F i gu r e   15 ( c ) ,   a e xa m pl e   o f   o n e   o f   t h e   s e que n c e s   of   t h e   b a s e   t o   b e   t ra i n e d ,   t h e   s i z e   o f   t h e   t ra i ni n a nd  t e s t   s e que n c e s   be   s h ow n .   I n   a ddi t i o n ,   i f   t he   us e r   w i s h e s   t o   s e e   i n   m o r e   de t a i l   t h e   t e s t s   of   t h e   t r a i n e n e t w o r a n o b s e r v e   t h e   pe r c e n t a ge s   o f   a c c ur a c y   of   t h e   n e t w o r i n   e a c h   c a t e go r y ,   t h e y   c a n   do   s by   c l i c ki n o n   t h e   " Co n f us i o M a t r i x"   b ut t o n .           F i gu r e   15 .   T ra i a nd  T e s t   i t h e   g ra p h i c   us e i nt e r f a c e       T h e   l a s t   pa rt   o t h e   i n t e r f a c e   i s   s h ow n   i n   F i gu r e   16 .   T h i s   s e c t i o n   fo c us e s   o n   t e s t i n t h e   t r a i n e n e t w o r ks   a nd  s h o w i n t h e   c a t e go ri e s   i n   w hi c h   t h e   i n p ut   s e q ue n c e s   a r e   c l a s s i f i e d.   T h e   f i r s t   s t e i s   s h o w n   i F i gu r e   16a ,   t h e   t y pe   of   da t a b a s e   i s   s e l e c t e i n   t h e   l i s t ,   a n d   t h e n   t h e   na m e   o f   t h e   n e t w o r t r a i n e w i t h   t ha t   da t a b a s e   i s   c h o s e n .   T h e   t e s t s   c a n   b e   do n e   i n   t w o   w a y s ,   t h e   f i r s t   by   c l i c ki n o n   t h e   " A c qui r e "   b ut t o n,   t h e   K i n e c t   w i l l   b e   a c t i v a t e a n d ,   a s   i n   F i gu r e   14 ( a ) ,   w i l l   i n di c a t e   t h e   u s e r   w h e n   t o   s t a r t   w a l ki ng.   O n c e   t h e   pe r s o i s   n o t   de t e c t e d,   t h e   s i m u l a t i o o f   t h e   us e r ' s   ga i t   w i t t h e   S ke l e t o w i l l   b e   ge n e r a t e i n   F i gu r e   16 ( b ) ,   t h e n   i n   F i gu r e   16 ( c )   t h e   c a t e go r y   i n   w h i c h   t h e   i n pu t   s e que n c e   w a s   c l a s s i f i e i s   di s pl a y e d   i Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2088 - 8708   Int   J   E l e c   &   Co m E n g ,   V o l .   10 ,   N o .   2 A p ri l   2020   :     1 4 9 5   -   1 5 0 6   1504   gr e e n.   T h e   o t h e r   o pt i o n   t o   pe r f o r m   t h e   t e s t s   i s   by   c l i c ki ng  o n   t h e   " o pe b a s e   da t a "   b ut t o n   o f   F i gu r e   16 ( a ) ,   t h i s   w i l l   s h o w   a   pa n e l   i n   t h i s   s a m e   s e c t i o n ,   t h e   us e r   m us t   c l i c o n   t h e   pa t t e rn,   t h e n   c l i c o n   t h e   " O pe n   b a s e "   b ut t o n ,   a n a   t e xt   w i l l   i ndi c a t e   h o w   m a n y   v i de o s   i t   h a s   a v a i l a b l e   t o   t e s t .   S e l e c t   a   v a l ue   be t w e e n   a n d   t h e   i n d i c a t e v a l ue   of   a v a i l a b l e   da t a ,   i f   de s i r e d,   c a n   c l i c o n   t h e   r a d i o   b ut t o n   " S h o w   S ke l e t o n " ,   t o   s e e ,   i n   F i gu r e   16 ( b ) ,   t h e   ga i t   o f   t h e   s e l e c t e c a s e .   By   c l i c ki n o n   t h e   " r u n "   b u t t o n ,   t h e   n e t w o r w i l l   c l a s s i fy   t h e   s e l e c t e pa t t e rn   i n   o n e   of   t h e   fo ur   c a t e go r i e s   of  F i gur e   1 6 ( c ) .   In   t h e   c a s e   of   " A c qui r e " ,   o n c e   t h e   n e t w o r k   c l a s s i f i e s   t h e   s e que n c e ,   t h e   us e r   c a n   f e e t h e   d a t a b a s e s   of   e a c h   w a l ki n p a t t e rn,   b y   c l i c ki ng  o n   o n e   o f   t h e   b ut t o n s   i t h e   s e c t i o o f   F i gu r e   16 ( c ) .           F i gu r e   16 .   D i a g n o s i s   i n   t h e   g ra p hi c   us e i nt e r f a c e       2. 3 .     G r ap h i c   u s e r   i n te r fa c e   A n   i m po rt a nt   s t e i n   s y s t e m s   t h a t   i m p l e m e n t   de e l e a rni n a l go ri t hm s   i s   t o   kn o w   t h e   t i m e   i t   t a ke s   t h e   n e t w o r t o   c l a s s i fy   t h e   s e que n c e s .   I n   t h i s   w a y ,   i t   c a n   b e   kn o w n   i f   i t   i s   v i a b l e   fo r   a pp l i c a t i o n s   i r e a l - t i m e   a n t ha t ,   i n s t e a o f   c a us i n de l a y s   i n   t h e   p r o c e s s e s ,   t h e y   a r e   o pt i m i z e d .   T a b l e   s h o w s   t h e   t i m e s   i t   t a ke s     fo r   t h e   t ra i n e n e t w o r w i t h   t h e   D CB   da t a b a s e   t o   c l a s s i fy   a   s i ngl e   s e que n c e .   It   s h o ul b e   n o t e t ha t   t h e   t e s t s   w e r e   pe r f o r m e o n   a   c o m put e w i t h   a N V ID IA   1 050  T i   G P U ,   16  G B   of   R A M   a nd  a e i g ht h - ge n e ra t i o n   i 7   pr o c e s s o r .       T a b l e   2 .   P r o c e s s i n t i m e s   T y p e   o G a i t   T i m e   ( s )   N o r m a l   0 . 0 2 0 9   S p a s t i c   D i p l e g i c   0 . 0 2 1 3   H e m i p l e g i c   0 . 0 2 1 0   P a rk i n s o n i a n   0 . 0 2 2 8   A v e ra g e   t i m e :   0 . 0 2 1 5       4.   C O N C LU S I O N     B a s e o n   t h e   r e s ul t s   o f   t h e   n e t w o r ks   t ra i n e d   w i t h   e a c h   o f   t h e   4   b a s e s ,   h a v i n g   a   r e f e r e n c e   po i nt   i n   t h e   bo d y   of   t h e   pe r s o n   du r i ng  t h e   w a l a l l o w s   t h e   L S T M   t o   di s c r i m i n a t e   t h e   f e a t ur e s   of   e a c h   t y pe   of   ga i t   pa t t e rn  m o r e   a c c ura t e l y ,   i n   t h i s   c a s e   o b t a i n i ng  a   98 . 1%   a c c u ra c y   i t h e   t e s t s   o f   t h e   n e t w o r k.   Ide n t i fy i n t h a t     t h e   pr o po s e d   s y s t e m   f o r   t h e   de t e c t i o n   of   a b n o r m a l i t i e s   ga i t   c a n   b e   a   us e f ul   s uppo r t   t o o l   fo r   doc t o r s   w h o   n e e d   t o   m a ke   a   di a g n o s i s   o f   t h i s   t y pe .   T h e   pr o po s e m e t h o a nd  gra p hi c   us e r   i n t e r f a c e ,   a pa r t   f r o m   t h e   K i n e c t   s e n s o r   a n a   c o m put e r,   do   n o t   r e qui r e   i nt r us i v e   de v i c e s   t h a t   m a y   a ffe c t   t h e   pe r s o n ' s   ga i t   pa t t e rn .   A l l o w i n i t   t o   b e   a   t o o l   t ha t   c a n   s e r v e   a s   a   s up po r t   t o   p h y s i c i a n s   i n   t h e   d i a g n o s i s   o f   n e u r o l o gi c a l   d i s e a s e s   r e l a t e t o   t h e   ga i t   p a t t e rn s   w o r ke d.   T h e   p r o c e s s i n t i m e s   s h o w   t h a t ,   o n c e   t h e   s e que n c e   t o   be   c l a s s i f i e d   i s   e n t e r e d,   t h e   t i m e s   w i l l   n o t   v a r y   s i gn i f i c a nt l y   de pe n di ng  o n   t h e   t y pe   of   ga i t .   I n   a dd i t i o n,   h a v i n a n   a v e r a ge   t i m e   of  0. 0215s   i n   t h e   c l a s s i f i c a t i o n   w i l l   n o t   s i g ni f i c a nt l y   a f fe c t   t h e   p a t i e n t ' s   di a g n o s t i c   p r o c e s s e s .   Evaluation Warning : The document was created with Spire.PDF for Python.