I n d o n e s i a n   J o u r n a l   o f   E l e c t r i c a l   E n g i n e e r i n g   a n d   C o m p u t e r   S c i e n c e   V o l .   11 ,   N o .   3 S e p t e m b e r   201 8 ,   p p .   987 ~ 993   I S S N :   2502 - 4 7 5 2 D O I :   1 0 . 1 1 5 9 1 / i j e e c s . v 11 .i 3 . p p 9 8 7 - 9 9 3           987       J o u r n a l   h o m e p a g e h t t p : / / i a e s c o r e . c o m / j o u r n a l s / i n d e x . p h p / i j e e c s   A   S u r v e y   o V i d e o   B a s e d   A c ti o n   R e c o g n i ti o n   i n   S p o r ts       N u r   A z m i n a   R a h m a d 1 M u h a m m a d   A m i r   A s a r i 2 ,   N u r u l   F a t h i a h   G h a z a l i 3 N o r a z m a n   S h a h a r 4   N u r   A n i s   J a s m i n   S u f r i 5   2 F a c ul t y  of Bi os c i e nc e s  a nd  M e di c a l  E ng i ne e ri ng U ni ve rs i t i  T e knol og i   M a l a y s i a , J ohor Ba hru, M a l a y s i a   1,2,3,4,5 S p ort  Innova t i on a nd T e c hnol og y  Ce nt e r (S IT C), Ins t i t ut e  of H um a n Ce nt e re d E ng i ne e ri ng   (IH CE ), U ni ve rs i t i   T e knol og i   M a l a y s i a , J ohor Ba hru,  M a l a y s i a       A r t i c l e   I n f o     A B S T R A C T   A r t i c l e   h i s t o r y :   R e c e i v e d   Ja n   25 ,   2 0 1 8   R e v i s e d   A p r   2 1 ,   2 0 1 8   A c c e p t e d   J a n   14 ,   2 0 1 8       S p ort   p e rform a nc e   a na l y s i s   w hi c i s   c ruc i a l   i s p ort   p ra c t i c e   i s   us e t i m p rove   t he   p e rform a nc e   of  a t hl e t e s   duri ng   t he   g a m e s M a ny   s t udi e s   a nd  i nve s t i g a t i on  ha ve   be e done   i de t e c t i ng   di ffe re nt   m ove m e nt s   of  p l a y e for  not a t i ona l   a na l y s i s   us i ng   e i t he s e ns or  ba s e or  vi de ba s e m oda l i t y Re c e nt l y vi s i on  ba s e m oda l i t y   ha s   be c om e   t he   re s e a rc i nt e re s t   due   t t he   va s t   de ve l op m e nt   of  v i de t ra ns m i s s i on  onl i ne T he re   a re   t re m e ndous   e x p e ri m e nt a l   s t udi e s   ha ve   be e n done  us i ng  vi s i on ba s e d m oda l i t y  i n s p ort  but   onl y   a   fe w   re vi e w   s t udy   ha s   be e done   p re vi ous l y H e nc e w e   p rovi de   a   re vi e w   s t udy   on  t he   vi de ba s e t e c hni que   t re c og ni z e   s p ort   a c t i on t ow a rd  e s t a bl i s hi ng   t he   a ut om a t e not a t i ona l   a na l y s i s   s y s t e m T he   p a p e w i l l   be   org a ni z e i nt four  p a rt s F i rs t l y w e   p rovi de   a ove rvi e w   of  t he   c urre nt   e x i s t i ng   t e c hnol og i e s   of  t he   vi de ba s e s p ort s   i nt e l l i g e nc e   s y s t e m s S e c ondl y w e   re vi e w   t he   fr a m e w ork  of  a c t i on  re c og ni t i on  i a l l   fi e l ds   be fore   w e   furt he di s c us s   t he   i m p l e m e nt a t i on  of  de e p   l e a rni ng   i vi s i on  ba s e m oda l i t y   for  s p ort   a c t i ons F i na l l y t he   p a p e s um m a ri z e s   t he   furt he t re nd  a nd  re s e a rc di re c t i on  i a c t i on  re c og ni t i on  for  s p ort s   us i ng   vi de a p p roa c h.  W e   be l i e ve t ha t   t hi s   re vi e w   s t udy   w oul be   ve ry   be ne fi c i a l   i p rovi di ng   a   c om p l e t e  ove rvi e w   on vi de o ba s e a c t i on re c og ni t i on  i n s p ort s .   K e y w o r d s :   A c t i o n   r e c o g n i t i o n   D e e p   l e a r n i n g   S p o r t   p e r f o r m a n c e   a n a l y s i s   V i d e o   b a s e d   m o d a l i t y   Copy r i ght   ©   201 8   Ins t i t ut e   of   A dv anc e d E ngi ne e r i ng  and Sc i e nc e   A l l   r i ght s  r e s e r v e d .   C o r r e s p o n d i n g   A u t h o r :   M u h a m m a d   A m i r   A s a r i   F a c u l t y   o f   B i o s c i e n c e s   a n d   M e d i c a l   E n g i n e e r i n g ,   U n i v e r s i t i   T e k n o l o g i   M a l a y s i a ,     J o h o r   B a h r u ,   M a l a y s i a .   E m a i l :   a m i r - a s a r i @b i o m e d i c a l . u t m . m y       1.   I N T R O D U C T I O N   S p o r t s   a r e   s y n o n y m   w i t h   t h e   a c t i v e   m o v e m e n t s   o f   a t h l e t e s   o n   s p a c e   e i t h e r   c o u r t   o r   f i e l d .   T h e s e   m o v e m e n t s   a r e   u s u a l l y   u s e d   b y   c o a c h   o r   t r a i n e r   i n   e v a l u a t i n g   t h e   p e r f o r m a n c e   o f   t h e i r   a t h l e t e s .   I n   s p o r t   p r a c t i c e ,   p e r f o r m a n c e   a n a l y s i s   c a n   b e   d i v i d e d   i n t o   t w o :   t e c h n i q u e   a n a l y s i s   a n d   t a c t i c a l   a n a l y s i s .   A c c o r d i n g   t o   L e e s   [ 1 ] ,   t e c h n i q u e   a n a l y s i s   s t u d i e s   h o w   t h e   a c t i o n s   o r   m o v e m e n t s   w e r e   p e r f o r m e d   b y   t h e   p l a y e r s .   T a c t i c a l   a n a l y s i s   o r   s o   c a l l e d   n o t a t i o n a l   a n a l y s i s   s t u d i e s   w h a t   a c t i o n s   w e r e   c a r r i e d   o u t   a n d   t h e   e v a l u a t i o n   o f   t h e   t h e s e   a c t i o n s   t a k e   p l a c e   [ 2 ] .   T h e r e f o r e ,   a c t i v i t y   r e c o g n i t i o n   i s   a n   i m p o r t a n t   l a y e r   i n   t a c t i c a l   a n a l y s i s   b e f o r e   f u r t h e r   a n a l y s i s   c a n   b e   d o n e   b y   o t h e r   r e s e a r c h e s .   H o w e v e r ,   t h i s   p a p e r   w i l l   b e   f o c u s i n g   o n   t h e   m e t h o d   i n   r e c o g n i z i n g   t h e   a c t i o n   f r o m   s p o r t   v i d e o   f o r   e s t a b l i s h i n g   t h e   a u t o m a t e d   n o t a t i o n a l   a n a l y s i s   s y s t e m .     E v a l u a t i n g   t h e   p l a y e r s   p e r f o r m a n c e   h a s   b e c o m e s   a   c h a l l e n g i n g   t a s k   d u e   t o   l i m i t a t i o n   o n   a c t i v i t y   r e c o g n i t i o n   p h a s e .   H e n c e ,   a   t e c h n o l o g y   i n t e r v e n t i o n   f o r   g a m e s   s u c h   a s   w e a r a b l e   s e n s o r   a n d   v i d e o   c a m e r a   a c t   a s   a   t o o l   t o   o v e r c o m e s   t h e   c h a l l e n g e s .   W e a r a b l e   s e n s o r   r e f e r s   t o   t h e   w e a r a b l e   d e v i c e   u s e d   b y   t h e   a t h l e t e s   t o   c o l l e c t   t h e   d a t a   o f   t h e   a c t i v i t i e s   i n   f o r m   o f   o n e - d i m e n s i o n a l   s i g n a l s   a n d   t h e   c o m m o n   w e a r a b l e   s e n s o r   u s e d   i s   i n e r t i a l   s e n s o r   [ 3 ] .   A l t h o u g h   t h i s   a p p r o a c h   i s   e f f e c t i v e   t o   r e c o g n i z e   t h e   p h y s i c a l   a c t i v i t i e s ,   u n f o r t u n a t e l y ,   t h e   w e a r a b l e   s e n s o r   i s   l e s s   p r a c t i c a l   a s   a t h l e t e s   a r e   n o t   a l l o w e d   t o   w e a r   t h e   s e n s o r s   d u r i n g   t h e   m a t c h .   N o t   o n l y   Evaluation Warning : The document was created with Spire.PDF for Python.
                                I S S N :   2502 - 4 7 5 2   I n d o n e s i a n   J   E l e c   E n g   &   C o m p   S c i ,   V o l 11 ,   N o .   3 S e p t e m b e r   201 8   :     987     993   988   t h a t ,   t h e   p l a c e m e n t   o f   s e n s o r s   o n   t o   a n y   p a r t   o f   h u m a n   b o d y   a l s o   p r o v i d e   l i m i t a t i o n   t o   t h e   m o v e m e n t s   o f   p l a y e r s   d u r i n g   t r a i n i n g   o r   m a t c h .   V i d e o   c a m e r a   i s   a   v i s u a l   s e n s i n g   f a c i l i t y   t h a t   p r o v i d e s   v i s u a l   d a t a   o r   v i d e o   o f   t h e   m o n i t o r e d   a c t i v i t i e s   a n d   e n v i r o n m e n t a l   c h a n g e s .   I t   h a s   b e e n   u s e d   w i d e l y   i n   h i g h   p r o f i l e   s p o r t s   s u c h   a s   f o o t b a l l   a n d   t e n n i s   f o r   t a c t i c a l   a n a l y s i s ,   t r a c k i n g   p l a y e r s ,   d e t e c t i n g   t h e   c o u r t   l i n e s ,   e v e n t s   r e c o g n i t i o n   a n d   v i d e o   s u m m a r i z a t i o n   [ 4 - 9 ] .   T h e   p r a c t i c a l i t y   o f   v i d e o   b a s e d   m o d a l i t y   i s   m o r e   h i g h e r   c o m p a r e d   t o   t h e   s e n s o r   b a s e d   a s   n o   a d d i t i o n a l   h a r d w a r e   w i l l   b e   a t t a c h e d   t o   t h e   a t h l e t e s   b o d y .   V i d e o   c a m e r a   c a p t u r e d   t h e   e v e n t s   a n d   p r o d u c e d   t h e   b r o a d c a s t   v i d e o   t h a t   r e c e i v e   h i g h   v i e w e r s h i p .   T h e r e f o r e ,   t h e s e   w i d e l y   a v a i l a b l e   v i d e o   w i l l   b e   u s e d   b y   t h e   r e s e a r c h e s   t o   s e g m e n t   t h e   u s e f u l   p a r t   o f   v i d e o   f o r   t h e   p e r f o r m a n c e   a n a l y s i s   [ 1 0 ] .   M a n y   r e s e a r c h   h a v e   i m p l e m e n t e d   t h e   v i d e o   i n   r e c o g n i z i n g   t h e   a c t i o n ,   o b j e c t   o r   e v e n     v e h i c l e   [ 1 1 - 1 3 ] .   B u t ,   t h e   r e v i e w   s t u d y   o n   t h i s   m o d a l i t y   i s   s t i l l   l a c k i n g .   T h e r e f o r e ,   t h i s   p a p e r   w i l l   b e   r e v i e w e d   a b o u t   t h e   c u r r e n t   a n d   p r e v i o u s   w o r k s   o n   r e c o g n i z i n g   t h e   a c t i o n   i n   s p o r t   u s i n g   t h e   v i d e o   b a s e d   m o d a l i t y .       2.   V I D E O   B A S E D   S P O R T S   I N T E L L I G E N C E   T O O L   S i n c e   v i d e o   b a s e d   m o d a l i t y   h a s   a t t r a c t e d   m a n y   r e s e a r c h e r s   a t t e n t i o n   i n   s p o r t   p e r f o r m a n c e   a n a l y s i s ,   t h e r e   a r e   s e v e r a l   t o o l s   d e v e l o p e d   b y   i n t e r n a t i o n a l   c o m p a n y   e i t h e r   f o r   m o b i l e   o r   d e s k t o p   u s a g e .   A   s u m m a r y   o f   t h e   e x i s t i n g   i n t e l l i g e n c e   s y s t e m   b a s e d   o n   v i d e o   f o r   v a r i o u s   s p o r t s   i s   s h o w n   i n   T a b l e   1 .       T a b l e   1 .   P r e s e n t   d e v e l o p e d   t o o l   W o r k   D e s c r i p t i o n   [ 1 4 ]   A   s o f t w a r e   d e v e l o p e d   b y   D a r t f i s h   c o m p a n y   t o   h i g h l i g h t   i n t e r e s t e d   i n f o r m a t i o n   f r o m   a   m a t c h   o r   t r a i n i n g   v i d e o   f o r   a n y   s p o r t s .   I t   i s   a   u s e f u l   f o r   d e s k t o p   a n d   m o b i l e   t o o l   f o r   c o a c h   t o   a n a l y s e s   t h e   p e r f o r m a n c e   o f   t h e   a t h l e t e s .   [ 1 5 ]   V i z r t   i n t r o d u c e d   a   f e w   i n t e l l i g e n c e   s y s t e m s   f o r   m o d e l l i n g   a n d   a n i m a t i o n ,   s p o r t   a n a l y s i s ,   a u t o m a t e d   r e c o r d i n g ,   g r a p h i c ,   v i d e o   m a n a g e m e n t   a n d   e t c .   f o r   v a r i o u s   h i g h   p r o f i l e   s p o r t s   s u c h   a s   f o o t b a l l ,   b a s k e t b a l l ,   t e n n i s   a n d   h o c k e y .   [ 1 6 ]   N a c s p o r t   h a s   b e e n   a   m a r k e t e r   f o r   v i d e o   s p o r t   a n a l y s i s   s o f t w a r e   s i n c e   2 0 0 8 .   I t   o f f e r s   s p o r t   p r o f e s s i o n a l s   t o   e v a l u a t e   b e h a v i o r s   o f   a l l   k i n d s   o f   a t h l e t e s .   T h e   d a t a   p r o v i d e d   b y   s o f t w a r e   a r e   b o t h   q u a l i t a t i v e   a n d   q u a n t i t a t i v e   a n d   a r r a n g e d   a c c o r d i n g   t o   n e e d .   H e n c e ,   t h e   a n a l y s i s   c a n   b e   d o n e   f a s t e r .   [ 1 7 ]   S p o r t r a d a r   p r o v i d e   s e r v i c e s   i n   c o l l e c t i n g   a n d   a n a l y z i n g   s p o r t s   d a t a   f o r   o v e r   1 0 0 0   c o m p a n i e s   i n c l u d i n g   s p o r t   f e d e r a t i o n ,   m e d i a   c o m p a n i e s   a n d   b o o k m a k e r s .   [ 1 8 ]   C o a c h s   e y e   i s   a   v i d e o   a n a l y s i s   a p p   f r o m   T e c h S m i t h   C o r p o r a t i o n   t h a t   a n a l y s e s   t h e   v i d e o   r e c o r d e d   f r o m   a n y   d e v i c e .   I t   p r o v i d e s   t h e   r e a l   t i m e   a n a l y s i s   f o r   i n d i v i d u a l   a t h l e t e   o r   t e a m   w h i c h   e n a b l e   c o a c h   t o   s h a r e   t h e   a n a l y z e d   r e s u l t s   i m m e d i a t e l y   w i t h   t h e   a t h l e t e s   f o r   f a s t   p e r f o r m a n c e   i m p r o v e m e n t .       H o w e v e r ,   i n   t h e   a f o r e m e n t i o n e d   s y s t e m s ,   t h e r e   i s   n o   t o o l   t h a t   c a n   a u t o m a t i c a l l y   r e c o g n i z e   a n d   c l a s s i f y   t h e   a c t i v i t i e s   i n   s p o r t   f o r   n o t a t i o n a l   a n a l y s i s .   T h e   h i g h l i g h t e d   a c t i o n s   f o r   a n a l y s i s   a r e   b a s e d   o n   h u m a n   p e r c e p t i o n .   F o r   e x a m p l e ,   i n   D a r t f i s h ,   t h e   a n a l y s t   m u s t   m a n u a l l y   w a t c h ,   s e l e c t   a n d   i n t e r p r e t   t h e   a c t i o n   o f   t h e   a t h l e t e   b e f o r e   f u r t h e r   a n a l y s i s   b y   t h e   s o f t w a r e   c a n   b e   t a k e n .       3.   A C T I O N   R E C O G N I T I O N   F R A M E WO R K   T h e   v i d e o   c o n s i s t s   o f   t e m p o r a l   s e q u e n c e s   o f   2 D   i m a g e s   o r   c a n   b e   d e f i n e d   a s   a   s e t   p i x e l s   i n   3 D     s p a c e   [ 1 9 ] .   F i g u r e   1   s h o w s   t h e   o v e r v i e w   o f   v i d e o   b a s e d   a c t i o n   r e c o g n i t i o n   f r a m e w o r k .   A c c o r d i n g   t o   [ 1 9 - 2 1 ] ,   t h e   a c t i o n   r e c o g n i t i o n   c a n   b e   d i v i d e d   i n t o   t w o   a p p r o a c h e s :   s i m p l e   a p p r o a c h   a n d   c o m p l e x   a p p r o a c h .   S i m p l e   a p p r o a c h   i n v o l v e s   l o w   l e v e l   m e c h a n i s m   i n   w h i c h   t h e   r e c o g n i z e d   a c t i o n   i s   o b t a i n e d   f r o m   t h e   d e t e c t i o n   a n d   t r a c k i n g   o f   t h e   h u m a n   i n   e a c h   f r a m e   [ 2 2 ] .   F o r   e x a m p l e ,   t o   r e c o g n i z e   s m a s h   a c t i v i t y   i n   b a d m i n t o n   m a t c h ,   f i r s t l y   t h e   p l a y e r s   a r e   d e t e c t e d   f r o m   t h e   s u r r o u n d i n g   b a c k g r o u n d   a n d   t h e n   t r a c k e d   t o   c r e a t e   a   m o t i o n   d e s c r i p t i o n   o f   t h e i r   m o v e m e n t .   H o w e v e r ,   c o m p l e x   a p p r o a c h   u s e s   a   l o t   o f   h i g h   l e v e l   m e c h a n i s m .   T h i s   i n c l u d e s   c o m p l e x   f e a t u r e   e x t r a c t i o n   a n d   c l a s s i f i c a t i o n   t o   r e c o g n i z e   t h e   h u m a n   a c t i o n .               F i g u r e   1 .   A c t i o n   R e c o g n i t i o n   A p p r o a c h   A c t i o n   R e c o g n i t i o n   S i m p l e   A p p r o a c h   D e t e c t i o n   T r a c k i n g   C o m p l e x     A p p r o a c h   F e a t u r e   E x t r a c t i o n   C l a s s i f i c a t i o n   Evaluation Warning : The document was created with Spire.PDF for Python.
I n d o n e s i a n   J   E l e c   E n g   &   C o m p   S c i     I S S N :   2502 - 4 7 5 2     A   S u r v e y   o f   V i d e o   B a s e d   A c t i o n   R e c o g n i t i o n   i n   S p o r t s   ( N u r   A z m i n a   R a h m a d )   989   3 . 1 .   D e t e c t i o n   a n d   T r a c k i n g   I n   a c t i o n   r e c o g n i t i o n ,   t r a c k i n g   w a s   u s e d   t o   g e n e r a t e   t h e   m o v e m e n t   t r a j e c t o r y   f r o m   t h e   d e t e c t e d   r e g i o n   o f   i n t e r e s t   t o   i n f e r   t h e   p e r f o r m e d   a c t i o n .   I n   [ 2 3 ] ,   d e n s e   t r a j e c t o r i e s   a p p r o a c h   w e r e   p r o p o s e d   t o   d e s c r i b e   v i d e o s .   F r o m   e a c h   f r a m e ,   d e n s e   p o i n t s   w e r e   s a m p l e d   a n d   t r a c k e d   b a s e d   o n   d i s p l a c e m e n t   i n f o r m a t i o n   f r o m   a   d e n s e   o p t i c a l   f l o w   f i e l d .   T o   e v a l u a t e   v i d e o   d e s c r i p t i o n   i n   t h e   c o n t e x t   o f   a c t i o n   c l a s s i f i c a t i o n ,   a   b a g   o f   f e a t u r e s   a p p r o a c h   h a s   b e e n   u s e d .   P r o p o s e d   m e t h o d   s h o w s   a n   i m p r o v e m e n t   o n   s t a t e - of - t h e - a r t   o n   d a t a s e t s   w i t h   d i f f e r e n t   l e v e l   o f   d i f f i c u l t y   s u c h   a s   K T H   a n d   H o l l y w o o d 2 .   S i n c e   o p t i c a l   f l o w   m e t h o d   i s   n o t   s u i t a b l e   t o   b e   u s e d   i n   l o w   r e s o l u t i o n   v i d e o ,   Z h a o   e t . a l   [ 2 4 ]   p r o p o s e d   a   R e g i o n - b a s e d   M i x t u r e   M o d e l   ( R M M )   f o r   a c t i o n   c l a s s i f i c a t i o n   o f   l o w   r e s o l u t i o n   v i d e o .   I n   t h i s   m e t h o d ,   a   s e t   o f   l o n g   t e r m   m o t i o n   t r a j e c t o r i e s   a n d   l o n g   t e r m   c o m m o n   s h a p e   i s   e x t r a c t e d   f r o m   e a c h   v i d e o   s e q u e n c e   u s i n g   L a y e r e d   E l a s t i c   M o t i o n   T r a c k i n g   ( L E M T )   m e t h o d .   I n   a d d i t i o n ,   P a r t i c l e   F i l t e r   ( P F )   a p p r o a c h   i s   a   t e c h n i q u e   o f   B a y e s i a n   s e q u e n t i a l   i m p o r t a n c e   s a m p l i n g .   B o t h   w o r k   i n   [ 2 5 ,   2 6 ]   u t i l i z e d   t h i s   a p p r o a c h   i n   t h e i r   s t u d i e s .   W h i l e   w o r k   i n   [ 2 6 ]   d e f i n e d   t h e   h u m a n   g e s t u r e s   a n d   r e a l   t i m e   h u m a n   t r a c k i n g   f r o m   d e p t h   d a t a   u s i n g   P F   m e t h o d ,   w o r k   i n   [ 2 5 ]   u t i l i z e d   a   h u m a n - r o b o t   i n t e r f a c e   s y s t e m   w h i c h   i n c o r p o r a t e s   P F   a n d   A d a p t i v e   M u l t i - s p a c e   T r a n s f o r m a t i o n   ( A M T )   t o   t r a c k   t h e   p o s e   o f   t h e   h u m a n   h a n d   f o r   c o n t r o l l i n g   t h e   r o b o t   m a n i p u l a t o r .   P F   i s   u s e d   t o   e s t i m a t e   t h e   t r a n s l a t i o n   o f   t h e   h u m a n   h a n d   w h i l e   A M T   i s   u s e d   t o   i m p r o v e   t h e   a c c u r a c y   a n d   r e l i a b i l i t y   i n   d e t e r m i n i n g   t h e   p o s e   o f   t h e   r o b o t .     3 . 2 .   F e a t u r e   E x t r a c t i o n   a n d   C l a s s i f i c a t i o n   I n   m a c h i n e   l e a r n i n g ,   f e a t u r e   e x t r a c t i o n   i s   d e s c r i b e d   a s   a   p r e - p r o c e s s i n g   p a r t   t o   r e m o v e   r e d u n d a n t   p a r t   a n d   r e d u c e   t h e   d i m e n s i o n a l i t y   [ 2 7 ] .   I n   [ 2 8 ] ,   f e a t u r e   e x t r a c t i o n   w a s   d e f i n e d   i n t o   l o w - l e v e l   a n d   h i g h - l e v e l   f e a t u r e s .   T h e   k e y   p o i n t   f o r   l o w   l e v e l   f e a t u r e   a r e   c o r n e r s ,   e d g e s ,   b l o b s   o r   c o n t o u r s   w h i l e   h i g h   l e v e l   f e a t u r e   i s   m o r e   h o l i s t i c   l i k e   t h e   s t r u c t u r e d   i n f o r m a t i o n   r e l a t e d   t o   t h e   a c t i o n   b e i n g   t a k e n .   F o r   s p o r t   v i d e o ,   i m p o r t a n t   f e a t u r e s   i n c l u d i n g   f i e l d ,   c o u r t ,   a t h l e t e   a n d   s c o r e   b o a r d   a r e   e x t r a c t e d .   H o w e v e r ,   c l a s s i f i c a t i o n   i s   d e s c r i b e d   a s   m e t h o d   t o   r e c o g n i z e   t h e   t y p e s   o f   a c t i o n s   a f t e r   f e a t u r e   e x t r a c t i o n   p h a s e   i s   c o m p l e t e d .     I n   [ 2 9 ] ,   d i f f e r e n t   k i n d   o f   f e a t u r e s   w e r e   e x t r a c t e d   u s i n g   f a s t   f e a t u r e   d e s c r i p t o r   w h i c h   i s   3 D   H i s t o g r a m s   o f   T e x t u r e   ( 3 D H o T s )   m e t h o d .   T h i s   m e t h o d   i s   d e r i v e d   f r o m   p r o j e c t i n g   d e p t h   f r a m e s   o n t o   f r o n t a l ,   s i d e   a n d   t o p   p l a n e s .   A n d   t h e n ,   t o   c l a s s i f y   t h e   f e a t u r e s   a   n e w   c l a s s i f i e r   w h i c h   i s   M u l t i - c l a s s   B o o s t i n g   C l a s s i f i e r   ( M C B )   h a s   b e e n   p r o p o s e d .   B y   p r o v i d i n g   a   b e t t e r   m a r g i n   d i s t r i b u t i o n ,   t h e   m e t h o d   w a s   c l a i m e d   t o   b e   e f f i c i e n t   b y   m a x i m i z i n g   t h e   m e a n   o f   m a r g i n   w h e r e a s   t h e   v a r i a n c e   o f   m a r g i n   i s   s t i l l   i n   m i n i m u m   l e v e l .   N o t   o n l y   t h a t ,   w o r k   b y   L i   e t . a l   [ 3 0 ]   p r e s e n t e d   a n   a u t o m a t i c   p l a y e r s   d e t e c t i o n   a n d   a n a l y s i n g   s y s t e m   i n   s p o r t s   v i d e o   s e q u e n c e s .   T h e r e   a r e   t h r e e   l e v e l s   i n   r e c o g n i z i n g   t h e   a c t i o n   o f   p l a y e r   i n   t h e   m o v i n g   b a c k g r o u n d   v i d e o .   A t   g r a n u l a r i t y   l e v e l ,   g l o b a l   m o t i o n   e s t i m a t i o n   f o r   f i l t e r i n g   w a s   p r o p o s e d .   T h e n ,   a t   t h e   m i d d l e   l e v e l ,   t h e r e   i s   a   s e g m e n t a t i o n   o f   t h e   h i g h l i g h t e d   o b j e c t   a n d   f i n a l l y   a t   f i n e   l e v e l ,   a c t i o n   r e c o g n i t i o n   u s i n g   C o n t i n u o u s   H i d d e n   M a r k o v   M o d e l   ( C H M M )   w a s   p r o p o s e d .   A s   f o r   w o r k   i n   [ 3 1 ] ,   H i d d e n   M a r k o v   M o d e l   ( H M M )   w a s   t r a i n e d   t o   h i g h l i g h t   t h e   s u m m a r y   o f   R G B - D   s p o r t   v i d e o   t h a t   h a s   b e e n   e x t r a c t e d   b y   H A R   m e t h o d .   Z h o u   e t . a l   u s e d   l i n e a r   S u p p o r t   V e c t o r   M a c h i n e   ( S V M )   c l a s s i f i e r   t o   p r e d i c t   t h e   c l a s s   o f   a c t i o n   b a s e d   o n   a c t i o n   r e p r e s e n t a t i o n   a f t e r   t h e   e x t r a c t i o n   o f   l o c a l   m o t i o n   a n d   a p p e a r a n c e   f e a t u r e s   h a s   b e e n   d o n e   [ 3 2 ] .       4.   D E E P   L E A R N I N G   I N   V I D E O   B A S E D   A P P R O A C H   D e e p   l e a r n i n g   i s   a   s u b t y p e   o f   m a c h i n e   l e a r n i n g   b u t   m o r e   p r o m i s i n g   a p p r o a c h   a s   c o m p a r e   t o   o t h e r   c o n v e n t i o n a l   m a c h i n e   l e a r n i n g   a p p r o a c h e s .   D e e p   l e a r n i n g   i s   s i m i l a r   w i t h   o n e   o f   t h e   m a c h i n e   l e a r n i n g   m o d e l   c a l l e d   a r t i f i c i a l   n e u r a l   n e t w o r k   l a y e r .   B o t h   c o n s i s t   o f   i n p u t   l a y e r ,   h i d d e n   l a y e r   a n d   o u t p u t   l a y e r .   B u t ,   t h e   n u m b e r   o f   h i d d e n   l a y e r   i n   d e e p   l e a r n i n g   c o u l d   r e a c h   t o   h u n d r e d s   l a y e r   a n d   t h i s   i s   w h e r e   t h e   t e r m   d e e p   i s   c a m e   f r o m .   S i n c e   d e e p   l e a r n i n g   s h o w s   a n   i m p r e s s i v e   r e s u l t   o n   s e v e r a l   a p p l i c a t i o n s   s u c h   a s   i m a g e   c l a s s i f i c a t i o n ,   i t   h a s   b e e n   i m p l e m e n t e d   i n   t h e   a c t i o n   r e c o g n i t i o n   a p p l i c a t i o n .   T a b l e   2   s h o w s   t h e   d i f f e r e n c e s   b e t w e e n   d e e p   l e a r n i n g   a n d   m a c h i n e   l e a r n i n g   i n   t e r m   o f   p r e p r o c e s s i n g   p h a s e ,   s i z e   o f   d a t a   s e t ,   t r a i n i n g   t i m e   a n d   h a r d w a r e   r e q u i r e m e n t .     I n   d e e p   l e a r n i n g ,   p r e p r o c e s s i n g   p h a s e   i s   n o t   r e q u i r e d .   A s   i l l u s t r a t e d   i n   F i g u r e   2 ,   d e e p   l e a r n i n g   e l i m i n a t e s   t h e   m a n u a l   f e a t u r e   e x t r a c t i o n   p h a s e   b e c a u s e   t h e   n e t w o r k   e x t r a c t   f e a t u r e s   d i r e c t l y   f r o m   i m a g e s   d u r i n g   t r a i n i n g .   T o   t r a i n   t h e   d e e p   l e a r n i n g   m o d e l ,   l a r g e   d a t a   s e t s   a r e   r e q u i r e d   t o   c o m p e n s a t e   l a r g e   s i z e   o f   h i d d e n   l a y e r s .   H o w e v e r ,   d u e   t o   t h e   v a s t   d e v e l o p m e n t   o f   b r o a d c a s t   s p o r t   v i d e o   o n l i n e   w h i c h   i s   a c c e s s i b l e ,   s p o r t   v i d e o   a n a l y s i s   u s i n g   d e e p   l e a r n i n g   h a s   b e c o m e   t h e   e m e r g i n g   r e s e a r c h   i n t e r e s t   [ 3 3 ] .   D u e   t o   c o m p l e x i t y   o f   t h e   d e e p   l e a r n i n g ,   m o r e   t i m e   i s   n e e d e d   t o   t r a i n   t h e   m o d e l .   H e n c e ,   h i g h   p e r f o r m a n c e   G P U   i s   i m p o r t a n t   t o   r e d u c e   t h e   t r a i n i n g   t i m e .   G P U   i s   c h o s e n   c o m p a r e d   t o   C P U   b e c a u s e   i t   h a s   p a r a l l e l   a r c h i t e c t u r e   t h a t   a c c e l e r a t e s   t h e   c o m p u t i n g   p r o c e s s .   O n e   o f   t h e   m o s t   p o p u l a r   d e e p   l e a r n i n g   m o d e l   i s   C o n v o l u t i o n a l   N e u r a l   N e t w o r k   ( C N N ) .   T a b l e   3   s h o w s   a   f e w   v a r i o u s   t y p e s   o f   C N N   w h i c h   w e r e   f o r m u l a t e d   t o   c l a s s i f y   d i f f e r e n c e   t y p e   o f   a c t i o n .         Evaluation Warning : The document was created with Spire.PDF for Python.
                                I S S N :   2502 - 4 7 5 2   I n d o n e s i a n   J   E l e c   E n g   &   C o m p   S c i ,   V o l 11 ,   N o .   3 S e p t e m b e r   201 8   :     987     993   990   T a b l e   2 .   M a c h i n e   L e a r n i n g   v s .   D e e p   L e a r n i n g   Cha ra c t e ri s t i c   M a c hi ne  l e a rni ng   D e e p  l e a rni ng   P re p roc e s s i ng  p ha s e   N e e d   D oe s  not  ne e d   S i z e   of da t a  s e t   S m a l l   L a rg e   T ra i ni ng   t i m e   S hort   L ong   H a rdw a re  re qui re m e nt   S i m p l e   H i g e nd         F i g u r e   2 .   I l l u s t r a t i o n   o f   d e e p   l e a r n i n g   a r c h i t e c t u r e   [ 3 4 ]       T a b l e   3 .   S u m m a r y   o f   T y p e s   o f   C N N   W o r k   M e t h o d   [ 3 5 ]   D e e p   C o n v N e t   [ 3 6 ]   3 D   C o n v N e t   [ 3 7 ,   3 8 ]   T w o - s t r e a m   C o n v N e t       T h e   w o r k   i n   [ 3 5 ]   m o d e l l e d   t h e   C o n v o l u t i o n a l   N e u r a l   N e t w o r k   ( C N N )   t o   c l a s s i f y   1   m i l l i o n   Y o u t u b e   v i d e o s   c o n t a i n   4 8 7   c l a s s e s   ( c a l l e d   S p o r t s - 1 M   d a t a s e t ) .   T h e   m o d e l   w h i c h   c a n   b e   s e e n   i n   F i g u r e   3   w a s   d i v i d e d   t o   p r o c e s s   t h e   i n p u t   i n t o   l o w   r e s o l u t i o n   c o n t e x t   s t r e a m   a n d   h i g h   r e s o l u t i o n   f o v e a   s t r e a m   b e f o r e   t h e   n e t w o r k s   w a s   t r a i n e d   u s i n g   U C F - 1 0 1   d a t a s e t   a l o n e   i n   o r d e r   t o   i n c r e a s e   t h e   p e r f o r m a n c e   o f   r u n t i m e .     B o t h   s t r e a m s   c o n s i s t   o f   c o n v o l u t i o n a l ,   n o r m a l i z a t i o n   a n d   p o o l i n g   l a y e r s   t h a t   a l t e r n a t e   e a c h   o t h e r   a n d   t h e   t w o   s t r e a m s   f i n a l l y   c o n v e r g e d   i n t o   t w o   f u l l y   c o n n e c t e d   l a y e r s .   T h e   p e r f o r m a n c e   o f   t o p   l a y e r s   o n   U C F - 1 0 1   d a t a s e t   s h o w   s i g n i f i c a n t   i m p r o v e m e n t   c o m p a r e d   t o   t h e   U C F - 1 0 1   b a s e l i n e   m o d e l .             F i g u r e   3 .   C N N   a r c h i t e c t u r e   [ 3 5 ]       O n e   o f   t h e   m a j o r   i s s u e s   i n   a c t i o n   r e c o g n i t i o n   i s   h i g h   i n t e r   a n d   i n t r a   c l a s s   v a r i a t i o n s   a n d   l a r g e   c l a s s   i m b a l a n c e .   H e n c e ,   t o   o v e r c o m e   t h e   a f o r e m e n t i o n e d   p r o b l e m ,   w o r k   i n   [ 3 6 ]   i m p l e m e n t e d   a   3 D   C o n v o l u t i o n a l   N e u r a l   N e t w o r k   ( C N N )   f o r   m u l t i - l a b e l   c l a s s - i m b a l a n c e d   i n   h o c k e y   v i d e o s   o n   t w o   d e e p   a p p r o a c h e s :   1 )   e n s e m b l e   o f   k - b i n a r y   n e t w o r k ;   a n d   2 )   s i n g l e   m u l t i - l a b e l   k - o u t p u t   n e t w o r k .   T h e   3 D   c o n v o l u t i o n a l   a n d   p o o l i n g   p r o c e s s   w e r e   e m b e d d e d   i n   t h e   p r o p o s e d   a p p r o a c h e s   t o   t a c k l e   t h e   m u l t i   l a b e l   r e c o g n i t i o n .     W a n g   e t . a l   [ 3 7 ]   p r o p o s e d   T r a j e c t o r y - P o o l e d   D e e p - C o n v o l u t i o n a l   D e s c r i p t o r s   ( T D D )   c o n d u c t e d   o n   t w o   c h a l l e n g i n g   d a t a s e t s :   H M D B 5 1   a n d   U C F 1 0 1 .   I n   t h i s   m e t h o d ,   f i r s t l y ,   t h e   t w o - s t r e a m   C o n v N e t s   w e r e   t r a i n e d   o n   b o t h   d a t a s e t s   a s   a   d e e p   C o n v N e t   t o   e x t r a c t   m u l t i c l a s s   f e a t u r e   m a p s   f r o m   v i d e o   s e q u e n c e s   [ 3 8 ] .   T h e n ,   t h e   T D D   d e s c r i p t o r   w a s   o b t a i n e d   u s i n g   p o o l i n g   p r o c e s s   o f   t h e s e   C o n v N e t s   b e f o r e   c l a s s i f y i n g   t h e   a c t i o n   u s i n g   S V M   c l a s s i f i e r   t o   p e r f o r m   a c t i o n   r e c o g n i t i o n .   B e s i d e s   C N N ,   a n o t h e r   m o d e l   o f   s u p e r v i s e d   d e e p   l e a r n i n g   w h i c h   i s   g o o d   i n   h a n d l i n g   s e q u e n t i a l   d a t a   i s   r e c u r r e n t   n e u r a l   n e t w o r k   ( R N N )   a n d   o n e   o f   t h e   c o m m o n   R N N   i s   c a l l e d   L o n g   S h o r t - T e r m   M e m o r y   Evaluation Warning : The document was created with Spire.PDF for Python.
I n d o n e s i a n   J   E l e c   E n g   &   C o m p   S c i     I S S N :   2502 - 4 7 5 2     A   S u r v e y   o f   V i d e o   B a s e d   A c t i o n   R e c o g n i t i o n   i n   S p o r t s   ( N u r   A z m i n a   R a h m a d )   991   ( L S T M )   [ 3 9 ,   4 0 ] .   T h e   w o r k   i n   [ 3 6 ]   w h i c h   e x p l a i n e d   e a r l i e r   a l s o   a t t e m p t   t o   e m b e d d e d   t h e   p r o p o s e d   3 D   C N N   w i t h   L S T M .   T h e   L S T M   w a s   a d d e d   i n   b e t w e e n   f l a t t e n e d   C N N   f e a t u r e   l a y e r s   a n d   d e n s e   l a y e r s   ( s e e   F i g u r e   4 ) .   H o w e v e r ,   t h e   r e s u l t   s h o w s   t h a t   t h e   c o m b i n a t i o n   o f   L S T M   r e d u c e s   t h e   p e r f o r m a n c e   b e c a u s e   t h e   s h o r t   s e q u e n c e s   o f   f r a m e   w e r e   u s e d .         F i g u r e   4 .   G e n e r a l   s t r u c t u r e   o f   t h e   n e t w o r k   [ 3 6 ]       N o t   o n l y   t h a t ,   t h e r e   a r e   s e v e r a l   a t t e m p t s   t o   i m p l e m e n t   L S T M   i n   f o o t b a l l   v i d e o   a n a l y s i s .   F o r   e x a m p l e   i n   [ 4 1 ] ,   L S T M   w a s   p r o p o s e d   t o   c l a s s i f y   f o o t b a l l   v i d e o   s e q u e n c e   o n   M I C C - S o c c e r - A c t i o n s - 4   d a t a s e t   w h i c h   c o n t a i n s   f o u r   a c t i o n   c l a s s e s   u s i n g   v i s u a l   a n d   m o t i o n   c o n t e n t .   I n   t h i s   s t u d y ,   t h e   f e a t u r e s   t h a t   r e p r e s e n t   t h e   v i s u a l   c o n t e n t   w e r e   e s t a b l i s h e d   u s i n g   t h e   B a g   o f   W o r d s   ( B o W )   t e c h n i q u e   w h i l e   S I F T - b a s e d   m o d e l   w a s   p r o p o s e d   t o   e x t r a c t   t h e   m o t i o n   f e a t u r e s .   T h e s e   f e a t u r e s   w e r e   u s e d   i n   L S T M   t o   c l a s s i f y   t h e   a c t i o n .   T h e   r e s u l t s   s h o w   t h a t   t h e   p e r f o r m a n c e   i n   a c t i o n   c l a s s i f i c a t i o n   f o r   t h e   c o m b i n a t i o n   p r o p o s e d   m o d e l s   i s   9 2 % .   T s u n o d a   e t . a l   [ 4 2 ]   a l s o   w o r k e d   o n   a c t i o n   r e c o g n i t i o n   f o r     f o o t b a l l   v i d e o   b y   i m p l e m e n t i n g   h i e r a r c h i c a l   L S T M .   I n   t h e   p r o p o s e d   m o d e l ,   s e v e r a l   C N N   m o d e l s   w e r e   i n t e g r a t e d   w i t h   t w o   l a y e r s   o f   L S T M s   ( s e e   F i g u r e   5 ) .   C N N   w a s   u s e d   t o   e x t r a c t   m u l t i p l e   p e r s o n - c e n t e r e d   f e a t u r e s .   T h e n ,   t h e   f i r s t   l a y e r   o f   L S T M   w a s   c o m p u t e d   t o   i n t e g r a t e   a l l   k - n u m b e r s   o f   p e r s o n - c e n t e r e d   f e a t u r e s   b e f o r e   t h e   l a s t   L S T M   l a y e r   i n t e g r a t e d   t h e   t e m p o r a l   s e q u e n c e   o f   i n t e g r a t e d   m u l t i p l e   p e r s o n   f e a t u r e s .   T h e   w o r k   i n   [ 4 3 ]   f o c u s e d   i n   i m p l e m e n t a t i o n   o f   L S T M   i n   i c e   h o c k e y   v i d e o   w h i c h   h a s   b e e n   e x t r a c t e d   i n t o   s e q u e n c e   o f   i m a g e s   t o   c l a s s i f y   f i v e   p u c k   p o s s e s s i o n   e v e n t s :   d u m p   i n ,   d u m p   o u t ,   p a s s ,   s h o t   a n d   l o o s e   p u c k   d e l i v e r y .   I n   t h i s   w o r k ,   f i r s t l y ,   t h e   w h o l e   f r a m e   a n d   e a c h   p l a y e r   w e r e   e x t r a c t e d   u s i n g   p r e - t r a i n e d   C N N   t o   o b t a i n   t h e   c o n t e n t   i n f o r m a t i o n ,   i n d i v i d u a l   a c t i o n   a n d   i n t e r a c t i o n   b e t w e e n   p l a y e r s .   T h e   p r e - t r a i n e d   A l e x N e t   m o d e l   w a s   c h o s e n   f o r   t h e   e x t r a c t i o n   p h a s e   a s   t h e   n u m b e r   o f   a v a i l a b l e   d a t a   i s   s m a l l   a n d   t h e   m o d e l   s h o w e d   t h e   g r e a t   a c h i e v e m e n t   i n   v a r i o u s   c o m p u t e r   v i s i o n   t a s k s .   L a t e r   i n   e v e n t s   p r e d i c t i o n   p h a s e ,   o n e   l a y e r   o f   L S T M   m o d e l   i s   u s e d   t o   c l a s s i f y   t h e   f i v e   p u c k   p o s s e s s i o n   e v e n t s .   H o w e v e r ,   i n   [ 4 4 ]   ,   d e e p   f u s i o n   f r a m e w o r k   w a s   i n t r o d u c e d   b y   c o m b i n i n g   s p a t i a l   f e a t u r e s   f r o m   C N N   w i t h   t e m p o r a l   f e a t u r e s   f r o m   L S T M   o n   t h r e e   d a t a s e t s :   U C F 1 1 ,   U C F S p o r t s   a n d   j H M D B .   F o u r   C N N s   a n d   L S T M   f u s i o n   m e t h o d s   f o r   t h e   r e c o g n i t i o n   o f   h u m a n   a c t i o n s   w e r e   p r o p o s e d   ( t w o   d i r e c t   m a p p i n g   m o d e l s   a n d   t w o   m e r g e d   m o d e l s ) .   F i r s t   t w o   m o d e l s   a r e   s i n g l e   s t r e a m   m o d e l s   c a l l e d   a s   c o n v - L   a n d   f c - L   ( d i r e c t   m a p p i n g   m o d e l s ) .   T h e s e   m o d e l s   e x t r a c t   C N N   a c t i v a t i o n   o u t p u t s   f r o m   t h e   l a s t   c o n v o l u t i o n a l   l a y e r   a n d   t h e   f i r s t   f u l l y   c o n n e c t e d   l a y e r   f o r   e a c h   f r a m e   o f   e a c h   v i d e o .   T h e   f i n a l   o u t p u t   o f   t h e s e   m o d e l s   i s   d e t e r m i n e d   b y   c o n s i d e r i n g   t h e   o u t p u t   f r o m   t h e   s o f t - m a x   l a y e r   o f   L S T M   n e t w o r k   w h i c h   f e d   w i t h   f e a t u r e s   o b t a i n e d   f r o m   t h e   C N N .   T h e   s e c o n d   r e m a i n i n g   m o d e l s   c a l l e d   f u - 1   a n d   f u - 2   ( t w o   m e r g e d   m o d e l s )   a r e   t w o   s t r e a m   a p p r o a c h e s   w h e r e   t w o   n e t w o r k s   a r e   m e r g e d .   F r o m   t h e   e x p e r i m e n t ,   i t   s h o w s   t h a t   t h e   d i r e c t   m a p p i n g   m e t h o d s   a r e   l e s s   a c c u r a t e   c o m p a r e d   t o   t h e   t w o   m e r g e d   m o d e l s .   B u t ,   a m o n g   t w o   m e r g e d   m o d e l s ,   f u - 2   s h o w s   t h e   g o o d   a c c u r a c y   v a l u e .   I t   p r o v e d   t h a t   t h i s   f u s i o n   m e t h o d   p r o d u c e s   b e s t   r e s u l t s   w i t h   t h e   a i d   o f   d e e p   l a y e r   w i s e   s t r u c t u r e .           F i g u r e   5 .   H i e r a r c h i c a l   L S T M   [ 4 2 ]   Evaluation Warning : The document was created with Spire.PDF for Python.
                                I S S N :   2502 - 4 7 5 2   I n d o n e s i a n   J   E l e c   E n g   &   C o m p   S c i ,   V o l 11 ,   N o .   3 S e p t e m b e r   201 8   :     987     993   992   5.   C O N C L U S I O N   A N D   F U R T H E R   R E S E A R C H   D I R E C T I O N   D u e   t o   t h e   r a p i d   d e v e l o p m e n t   o f   b r o a d c a s t   v i d e o   o n l i n e   o n   s p o r t   m a t c h ,   i t   h a s   b e c o m e   a   t o o l   f o r   a c t i o n   r e c o g n i t i o n   f o r   s p o r t   a n a l y s i s .   T w o   m a i n   a p p r o a c h e s   u s e d   b y   r e s e a r c h e s   a r e   m a c h i n e   l e a r n i n g   a n d   d e e p   l e a r n i n g .   T h e r e   a r e   v a r i o u s   w o r k s   h a v e   b e e n   d o n e   o n   b o t h   a p p r o a c h e s .   R e c e n t l y ,   d e e p   l e a r n i n g   a p p r o a c h   s u c h   a s   C N N   a n d   R N N   h a v e   b e e n   t r e m e n d o u s l y   u s e d   i n   m a n y   w o r k s   a s   i t   p r o v i d e s   a   b e t t e r   a c c u r a c y   a n d   c a p a b l e   o f   e l i m i n a t i n g   t h e   c o m p l e x   p r e p r o c e s s i n g   p h a s e .   H o w e v e r ,   i t   h a s   b e c o m i n g   t h e   i s s u e s   s i n c e   e a c h   p r o p o s e d   m e t h o d   c a n   o n l y   c l a s s i f y   t h e   a c t i o n s   f o r   c e r t a i n   s p o r t   b e c a u s e   d i f f e r e n t   s p o r t   h a s   d i f f e r e n t   c o n t e x t   a n d   f e a t u r e s .   H e n c e ,   i n   f u t u r e ,   a   f l e x i b l e   m e t h o d   f o r   a c t i o n   r e c o g n i t i o n   c a n   b e   p r o p o s e d   i n   w h i c h   o n e   m e t h o d   c a n   c l a s s i f y   d i f f e r e n t   t y p e   o f   s p o r t s .       A C K N O WL E D G M E N T   T h e   a u t h o r s   w o u l d   l i k e   t o   e x p r e s s   t h e i r   g r a t i t u d e   t o   U n i v e r s i t i   T e k n o l o g i   M a l a y s i a   ( U T M )   f o r   s u p p o r t i n g   t h i s   r e s e a r c h   u n d e r   Z a m a l a h   S c h o l a r s h i p .       R E F E R E N C E S   [1]   L e e s   A T e c hni que  a na l y s i s  i n s p ort s :  A  c ri t i c a l  re vi e w .   Spor t s  Sc i e nc e 2002;  20.(10):  813 - 828.   [2]   H ug he s   M Ba rt l e t t   R.M T he   us e   of  p e rform a nc e   i ndi c a t ors   i p e rform a nc e   a na l y s i s Spor t s   Sc i e nc e 2002;   20.(10): 739 - 754.   [3]   D om i ng ue z   V e i g a   J .J O ' Re i l l y   M W he l a D Ca ul fi e l B,  W a rd  E .T F e a t ure - F re e   A c t i vi t y   Cl a s s i fi c a t i on  of  Ine rt i a l   S e ns or  D a t a   W i t M a c hi ne   V i s i on  T e c hni que s :   M e t hod,  D e ve l op m e nt a nd  E va l ua t i on J MIR   m H e al t and uH e al t h 2017;  5.(8):  115.   [4]   Choroś   K D e t e c t i on  of  T e nni s   Court   L i ne s   for  S p ort   V i de Ca t e g ori z a t i on Com put at i onal   Col l e c t i v e   Int e l l i ge nc e   T e c hnol ogi e s   and  A ppl i c at i ons 4t Int e r nat i onal   Conf e r e nc e H Chi   M i nh Ci t y , V i e t na m . 2012:  304 - 314.   [5]   K a p e l a   R,  Ś w i e t l i c ka   A ,   R y b a r c z y k   A ,   K o l a n o w s k i   K ,   O ׳ C o n n o r   N . E .   Re a l - t i m e  e ve nt  c l a s s i fi c a t i on i n fi e l d s p ort   vi de os Si gnal  P r oc e s s i ng:  Im age  Com m uni c at i on . 2015;   35.(1):  35 - 45.   [6]   L a i   J . - H Che C. - L K a C. - C.,  Chi e S . - Y T e nni s  V i de o 2.0:  A  ne w  p re s e nt a t i on of s p ort s  vi d e os  w i t h c ont e nt   s e p a ra t i on a nd re nde ri ng J our nal  of   V i s ual  Com m uni c at i on  and Im age  R e pr e s e nt at i on .   2011;  22.(3):  271 - 283.   [7]   N i Z G a X T i a Q T a c t i c   a na l y s i s   ba s e on  re a l - w orl ba l l   t ra j e c t ory   i s oc c e vi de o P at t e r n R e c ogni t i on 2012;  45.(5):   1937 - 1947.   [8]   Cona i re   C,  K e l l y   P   Conna g ha D O ' Connor  N .E T e nni s S e ns e :   A   p l a t form   for  e x t ra c t i ng   s e m a nt i c  i nform a t i on  from   m ul t i - c a m e ra   t e nni s   da t a D i gi t al   Si gnal   P r oc e s s i ng,  2009  16t Int e r nat i onal   Conf e r e nc e S a nt ori ni - H e l l a s G re e c e 2009:  1 - 6.   [9]   S un  L L i G F i e l l i ne s   a nd  p l a y e rs   de t e c t i on  a nd  re c og ni t i on  i s oc c e vi de o 2009  IE E E   Int e r nat i onal   Conf e r e nc e   on A c ous t i c s Spe e c and Si gnal   P r oc e s s i ng.   T a i p e i , T a i w a n. 2009:  1237 - 1240.   [10]   Z hu  G X C,  H ua ng   Q Rui   Y J i a ng   S G a W Y a H E ve nt   T a c t i c   A na l y s i s   Ba s e on  Broa dc a s t   S p ort s   V i de o IE E E   T r ans ac t i ons  on Mul t i m e di a 2009;  11.(1):  49 - 67.   [11]   L A Z hong   L L i   L W a ng   Q M ovi ng   V e hi c l e   Re c og ni t i on  a nd  F e a t ure   E x t ra c t i on  F rom   T unne l   M oni t ori ng   V i de os T E L KO MNIKA  Indone s i an J our nal  of   E l e c t r i c al   E n gi ne e r i ng 2013;   11.(10):  6060 - 6067.   [12]   W a ng   L Y un  T L i H Boos t   A c t i on  Re c og ni t i on  t hroug Com p ut e V ol um e T E L KO MNIKA   Indone s i an  J our nal  of   E l e c t r i c al   E ngi ne e r i ng.   2013;   11.(4):  1871 - 1876.   [13]   X P   Q i ng da U S t udy   on  M ovi ng   O bj e c t s   by   V i de o M oni t ori ng   S y s t e m  of Re c og ni t i on a nd T ra c i ng  S c he m e T E L KO MNIKA  Indone s i an J our nal  of   E l e c t r i c al   E ngi ne e r i ng 2013;   11.(9):  4847 - 4854.   [14]   D a rt fi s h W e bs i t e . [O nl i ne ];   A va i l a bl e   from :   ht t p : / / w w w .da rt fi s h.c om / 360_S .   [15]   V i rt z  W e bs i t e . [O nl i ne ];   A va i l a bl e   from :  ht t p : / / w w w .vi z r t .c om .   [16]   N a c S p ort  W e bs i t e . [O nl i ne ];   A va i l a bl e   from :   ht t p : / / w w w .na c s p ort .c om .   [17]   S p ort Ra da r W e bs i t e . [O nl i ne ];   A va i l a bl e   from :  ht t p : / / s p ort ra da r.c om .   [18]   Coa c h' s   E y e  S p ort s  V i de o A na l y s i s  A p p . [O nl i ne ];  A va i l a bl e  from :  ht t p s : / / w w w .c oa c hs e y e .c om / .   [19]   Che ng   G W a Y S a uda g a A .N N a m uduri   K Buc kl e s   B.P A dva nc e s   i H um a A c t i on  Re c og ni t i on:   A   S urve y CoR R .   2015;  1501.05964.(1):   1 - 30.   [20]   X X T a ng   J Z ha ng   X L i X Z ha ng   H Q i Y E x p l ori ng   T e c hni que s   for  V i s i on  Ba s e H um a A c t i vi t y   Re c og ni t i on:   M e t hods , S y s t e m s , a nd  E va l ua t i on Se ns or s . 2013;  13.(2):  1635 - 1650.   [21]   P op p e   R.  A   S urve y   on  V i s i on - ba s e H um a A c t i on  Re c og ni t i on Im age   and  V i s i on  Com put i ng  2010 2010;   28.(6):  976 - 990.   [22]   A g g a rw a l   J .K Ry oo  M .S H um a a c t i vi t y   a na l y s i s :   A   re vi e w J our nal  A CM Com put i ng Sur v e y s   (CSU R ) . 2011;   43.(3).   [23]   W a ng   H K l ä s e A S c hm i C,  L i C.L A c t i on  re c og ni t i on  by   de ns e   t ra j e c t ori e s Com p ut e V i s i on  a nd  P a t t e rn  Re c og ni t i on  (CV P R) 2011 IE E E   Conf e r e nc e P r ov i de nc e , RI, U S A . 2011:   3169 - 3176.   [24]   Z ha Y D i   H Z ha ng   J L Y L F Re c og ni z i ng   hum a a c t i ons   from   l ow - re s ol ut i on  vi de os   by   re g i on - ba s e m i x t ure   m ode l s 2016  IE E E   Int e r nat i onal   Conf e r e nc e   on  Mul t i m e di and  E x po  (ICME ) S e a t t l e , W A , U S A . 2016:   1 - 6.   Evaluation Warning : The document was created with Spire.PDF for Python.
I n d o n e s i a n   J   E l e c   E n g   &   C o m p   S c i     I S S N :   2502 - 4 7 5 2     A   S u r v e y   o f   V i d e o   B a s e d   A c t i o n   R e c o g n i t i o n   i n   S p o r t s   ( N u r   A z m i n a   R a h m a d )   993   [25]   D G Z ha ng   P W a ng   X H um a n - M a ni p ul a t or  Int e rfa c e   U s i ng   P a rt i c l e   F i l t e r T he   Sc i e nt i f i c   Wor l J our nal .   2014.(2014):  1 - 12.   [26]   Be dna ˇr´ı J H e rm a D H um a g e s t ure  re c og ni t i on us i ng  t op  vi e w  de p t h da t a  obt a i ne d from  K i ne c t  s e ns or T he   E x c e l   @  F IT  Conf e r e nc e F ac ul t y   of  Inf or m at i on T e c hnol ogy   of   t he  B r no U ni v e r s i t y  of   T e c hnol ogy 2015.   [27]   K ha l i S   K ha l i l   T N a s re e S A   s urve y   of  fe a t ure   s e l e c t i on  a nd  fe a t ure   e x t ra c t i on  t e c hni que s   i m a c hi ne   l e a rni ng 2014 Sc i e nc e   and Inf or m at i on  Conf e r e nc e .   L ondon, U K . 2014: 372 - 378.   [28]   S oom ro  K , Z a m i r A .R.  A c t i on Re c og ni t i on i Re a l i s t i c   S p ort s  V i de os U S A :  S p ri ng e r.  2014.    [29]   Z ha ng   B,  Y a ng   Y Che C,  Y a ng   L H a J S ha L A c t i on  Re c og ni t i on  U s i ng   3D   H i s t og ra m s   of  T e x t ure   a nd  A   M ul t i - Cl a s s  Boos t i ng  Cl a s s i fi e r IE E E   T r ans ac t i ons  on Im age  P r oc e s s i ng . 2017;   26.(10):   4648 - 4660.   [30]   L i   H T a ng   J W S Z ha ng   Y L i   S A ut om a t i c   D e t e c t i on  a nd  A na l y s i s   of  P l a y e A c t i on  i n M ovi ng  Ba c kg round  S p ort s   V i de S e que nc e s IE E E   T r ans ac t i ons   on  Ci r c ui t s   and  Sy s t e m s   f or   V i de T e c hnol ogy .   2010;   20.(3):   351 - 364.   [31]   T e j e ro - de - P a bl os   A N a ka s hi m a   Y S a t o   T Y okoy a   N H um a a c t i on  re c og ni t i on - ba s e vi de s um m a ri z a t i on for  RG B - D   p e rs ona l   s p ort s   vi de o 2016  IE E E   Int e r nat i onal   Conf e r e nc e   on  Mul t i m e di and  E x po  (ICME ) S e a t t l e W A , U S A . 2016:  1 - 6.   [32]   Z hou  W W a ng   C,  X i a B,  Z ha ng   Z A c t i on  re c og ni t i on  vi a   s t ru c t ure c ode book  c ons t ruc t i on Si gnal   P r oc e s s i ng: Im age  Com m uni c at i on 2014;  29.(4):   546 - 555.   [33]   Ra hm a ni   H M i a A S ha M L e a rni ng   a   D e e p   M ode l   for  H um a A c t i on  Re c og ni t i on from  N ove l  V i e w p oi nt s CoR R 2016;   a bs / 1602.00828.(1):   1 - 14.   [34]   L a ut e nba c F A   l a b ora t ory   s t udy   on  a t t e nt i ona l   bi a s   a s   a unde rl y i ng   m e c ha ni s m   a ffe c t i ng   t he   l i nk  be t w e e c ort i s ol   a nd  p e rform a nc e l e a di ng   t a   di s c us s i on  on  t he   na t ure   of  t he   s t re s s or  (a rt i fi c i a l   vs p s y c hos oc i a l ) P hy s i ol ogy   &   B e hav i or .   2017;  175.(175):  9 - 15.   [35]   K a rp a t hy   A T ode ri c i   G S he t t y   S F e i   L .F L a rg e - S c a l e   V i de Cl a s s i fi c a t i on  w i t Convol ut i ona l   N e ura l   N e t w orks 2014  IE E E   Conf e r e nc e   on  Com put e r   V i s i on  and  P at t e r R e c ogni t i on  (CV P R ).   Col um bus O H U S A 2014: 1725 - 1732.   [36]   S oz y ki K K ha A .M P rot a s ov  S H us s a i R.  M ul t i - l a be l   Cl a s s - i m ba l a nc e A c t i on  Re c og ni t i on  i H oc ke y   V i de os   vi a   3D   Convol ut i ona l   N e ura l   N e t w orks Com put e r   V i s i on  and  P at t e r R e c ogni t i on 2017;   a bs / 1709.01421.(1):   1 - 8.    [37]   W a ng   L Q i a Y T a ng   X A c t i on  re c og ni t i on  w i t t ra j e c t ory - p ool e de e p - c onvol u t i ona l   de s c ri p t ors .2015  IE E E   Conf e r e nc e   on Com put e r  V i s i on  and P at t e r R e c ogni t i on  (CV P R ) Bos t on, M A , U S A . 2015:  4305 - 4314 .   [38]   S i m ony a K Z i s s e rm a A T w o - S t re a m   Convol ut i ona l   N e t w orks   for  A c t i on  Re c og ni t i on  i V i de os .   Ne ur al   Inf or m at i on P r oc e s s i ng  Sy s t e m s  Conf e r e nc e M ont re a l ,Ca na da . 2014:  1 - 11.   [39]   G e rs   F .A S c hra udol p N .N S c hm i dhube J L e a rni ng   p re c i s e   t i m i ng   w i t L S T M   re c urre nt   ne t w orks T he   J our nal  of   Mac hi ne   L e ar ni ng R e s e ar c h.   2003;   3.(1):  115 - 143.   [40]   H oc hre i t e r  S S c hm i dhube J L ong  S hort - T e r m  M e m ory J our nal  Ne ur al  Com put at i on . 1997;   9.(8):  1735 - 1780.   [41]   Ba c c ouc he   M M a m a l e t   F W ol C,  G a rc i a  C, Ba s kurt  A .   A c t i on Cl a s s i fi c a t i on i n S oc c e r V i de os  w i t h L ong  S hort - T e rm   M e m ory   Re c urre nt   N e ura l   N e t w orks A r t i f i c i al   Ne ur al   Ne t wor k s     ICA NN  2010:  20t Int e r nat i onal   Conf e r e nc e T he s s a l oni ki G re e c e 2010:   154 - 159.   [42]   T s unoda   T K om ori   Y M a t s ug M H a ra da   T F oot ba l l   A c t i on  Re c og ni t i on  U s i ng   H i e ra rc hi c a l   L S T M 2017 ”.   IE E E   Conf e r e nc e   on  Com put e r   V i s i on  and  P at t e r R e c ogni t i on  Wor k s hops   (CV P R W).   H onol ul u,   H I,  U S A 2017:   1 - 9.   [43]   T ora   M .R,  Che J , L i t t l e  J . J Cl a s s i fi c a t i on of P uc k P os s e s s i on E ve nt s  i n Ic e  H oc ke y 2017 IE E E  Conf e r e nc e  on  Com put e r  V i s i on  and P at t e r R e c ogni t i on  Wor k s hops  (CV P R W) . H onol ul u, H I, U S A . 2017:  1 - 8.   [44]   G a m m ul l e   H D e nm a S S ri dha ra S F ooke s   C.  T w S t re a m   L S T M :   A   D e e p   F us i on  F ra m e w ork  for  H um a A c t i on Re c og ni t i on CoR R . 2017;   a bs / 1704.01194.(1):  1 - 10.   Evaluation Warning : The document was created with Spire.PDF for Python.