T E L K O M NIKA   T elec o mm un ica t io n,  Co m pu t ing ,   E lect ro nics   a nd   Co ntr o l   Vo l.   1 8 ,   No .   4 A u g u s t   2020 ,   p p .   1 9 2 6 ~ 1 9 3 3   I SS N:  1 6 9 3 - 6 9 3 0 ,   ac cr ed ited   First Gr ad b y   Ke m e n r is te k d i k ti,  Dec r ee   No : 2 1 /E/KPT /2 0 1 8   DOI : 1 0 . 1 2 9 2 8 / T E L KOM NI KA . v 1 8 i 4 . 1 4 7 3 0     1926       J o ur na l ho m ep a g e h ttp : //jo u r n a l.u a d . a c. id /in d ex . p h p /TELK OM N I K A   Deep learni ng  in  spo rt  v ideo  ana ly sis a  review       K ee rt ha na   Ra ng a s a m y 1 ,   M uh a mm a d A m ir  A s a ri 2 ,   Nur  Az m ina   Ra h m a d 3   Nurul F a t hia h G ha za li 4 ,   Sa ha rudin   I s m a il 5   1, 2, 3, 4 , 5 S c h o o o f   Bio m e d ica En g in e e rin g   a n d   He a lt h   S c ien c e s,  F a c u lt y   o f   En g in e e rin g ,     Un iv e rsiti   T e k n o lo g M a lay sia ,   M a la y sia   2 S p o rt   In n o v a ti o n   a n d   T e c h n o l o g y   C e n ter,  In stit u te o f   Hu m a n   Ce n tere d   En g in e e rin g ,     Un iv e rsiti   T e k n o lo g M a lay sia ,   M a la y sia       Art icle  I nfo     AB ST RAC T   A r ticle  his to r y:   R ec eiv ed   Dec   2 2019   R ev i s ed   Ma r   2 ,   2 0 2 0   A cc ep ted   Ma r   1 3 ,   2 0 2 0       S p o rt   is  a   c o m p e ti ti v e   f ield ,   wh e re   it   is  a n   e lem e n o f   m e a su re m e n f o r     a   c o u n tri e d e v e lo p m e n t.     Du e   to   th is  re a so n ,   sp o r a n a ly sis  h a s   b e c o m e   o n e   o f   th e   m a jo c o n tri b u ti o n   i n   a n a ly sin g   a n d   i m p ro v in g   th e   p e rf o r m a n c e   lev e o f   a n   a th lete .     V id e o - b a se d   m o d a li ty   h a b e c o m e   a   c ru c ial  to o u se d   in   sp o r a n a ly sis  b y   c o a c h e a n d   p e rf o rm a n c e   a n a l y sis.  T h e re   w e re   w i d e   v a riet y     o f   tec h n iq u e u se d   in   sp o r v id e o   a n a ly sis.    T h e   m a in   p u rp o se   o f   th is  re v iew   p a p e is  t o   c o m p a re   a n d   u p d a t e   re v ie w   b e twe e n   trad it io n a h a n d c ra f ted   a p p ro a c h   a n d   d e e p   lea rn in g   a p p r o a c h   in   sp o r v id e o   a n a ly sis  b a se d   o n   h u m a n   a c ti v it y   r e c o g n it io n ,   o v e rv iew   o re c e n stu d y   in   v id e o   b a se d   h u m a n   a c ti v it y   re c o g n it io n   i n   sp o r a n a ly sis   a n d   f in a ll y   c o n c lu d e d   w it h   f u tu re   p o ten ti a l   d irec ti o n   in   sp o r v id e o   a n a ly sis.   K ey w o r d s :   Dee p   lear n in g   Hu m an   ac ti v it y   r ec o g n itio n     Sp o r v id eo   an al y s i s     T h is i a n   o p e n   a c c e ss   a rticle   u n d e th e   CC B Y - SA   li c e n se .     C o r r e s p o nd ing   A uth o r :   Mu h a m m ad   Am ir   A s ar i,    Dep ar t m en t o f   B io m ed ical  E n g in ee r i n g ,   Sch o o l o f   B io m ed ical  E n g i n ee r in g   a n d   Hea lth   Scien ce s ,     Facu lt y   o f   E n g i n ee r i n g ,     Un i v er s iti T ek n o lo g i M ala y s ia ,     J o h o r   B ah r u ,   Ma lay s ia .   E m ail: a m ir . asar i @ b io m ed ical . u t m . m y       1.   I NT RO D UCT I O N   Sp o r is   an   ac ti v it y   t h at  i n v o l v es  t h ac tiv e   m o v e m en t   o f   an   at h lete  ei th er   i n   t h f o r m   o f   tea m     o r   in d iv id u al  to   co m p lete  w it h   th o p p o s ite  tea m   [ 1 ] .   I i s   o n o f   t h ele m e n ts   o f   m ea s u r e m en f o r   co u n tr ie s   d ev elo p m en a s   it  b r in g s   g o o d   r ep u tatio n   to   co u n tr y   i f   i ts   tea m   w i n   i n   th g a m [ 2 ] .   I n   o r d er   to   ac h iev h ig h   p er f o r m an ce   in   s p o r b y   t h ath letes,  co ac h e s   a n d   s p o r ts   p r o f ess io n al s   p la y   v it al  r o le  to   ev alu ate     an d   tr ain   th e ir   ath lete s   [ 3 ] .   Am o n g   v ar io u s   m eth o d s ,   s p o r v id eo   an al y s is   i s   o n o f   t h m et h o d s   to   ev alu ate   th p er f o r m an ce   le v el  o f   at h le tes  a n d   to   e n h an ce   tr ain in g   tec h n iq u es   [ 4 ] .   p r o ce s s   to   as s e s s   th e   p er f o r m a n ce   lev el  o f   a n   at h lete   is   k n o w n   a s   p er f o r m a n ce   a n al y s i s   [ 5 ] .   P er f o r m an ce   an a l y s is   ca n   b d iv id in to   t w o   w h ic h   ar tech n ical  a n al y s is   a n d   tactica o r   n o tatio n al  an al y s i s   [ 6 ] .   T h r o u g h   tech n ical  a n al y s is ,   w w o u ld   g e t     an   a n s w er   to   t h q u esti o n h o w   d o es  t h g a m is   p er f o r m ed   b y   t h a th lete s .   O n   t h o th er   h a n d ,   th r o u g h   tactica l o r   n o tatio n al  an a l y s is   t h q u est io n   o f   w h at  ac ti v it y   is   p er f o r m ed   w o u ld   b an s w er ed   [ 7 ] .   Ov er   t h p ast   f e w   y ea r s ,   i n   t h f ield   o f   co m p u ter   v i s io n ,   d i f f er e n ap p r o ac h es   h av b ee n   i m p le m en ted   to   an al y s s p o r v id eo s .   Du r in g   th ea r l y   s tag tr ad itio n al  h a n d cr af te d   ap p r o ac h es  w er e   p r o p o s ed   b y   m an y   r esear ch er s   f o r   s p o r v id eo   an al y s i s   [ 8 ] .   A f ter   th d ev elo p m e n o f   tech n o lo g y ,     d ee p   lean in g   ap p r o ac h   h a s   b ec o m t h c u r r en to p ic  o f   in te r est  in   s p o r v id eo   an al y s i s   d u to   its   s u cc es s f u l   Evaluation Warning : The document was created with Spire.PDF for Python.
T E L KOM NI K A   T elec o m m u n   C o m p u t E C o n tr o l         Dee p   lea r n in g   in   s p o r t v id eo   a n a lysi s :   a   r ev iew   ( K ee r th a n a   R a n g a s a my )   1927   p er f o r m a n ce   i n   o th er   co m p u ter   v is io n   ar ea s   s u c h   as  h u m an - co m p u ter   i n ter f ac e,   h a n d w r iti n g   r ec o g n it io n     an d   s p ee ch   r ec o g n itio n   [ 9 ] .   Gen er all y ,   s p o r v id eo   a n al y s i s   u s in g   s u c h   ap p r o ac h   ca n   b d iv id i n to   s e v er al   d ir ec tio n s   s u c h   a s   tr ac k i n g   p l a y er s   a s   w e ll  a s   b all,   tr aj ec to r y   d etec tio n   an d   ac tio n   r ec o g n itio n .   T h is   p ap er   ai m s   to   r e v ie w   c u r r en t   tr en d s   i n   d ee p   lea n in g   ap p r o ac h   i n   h u m a n   ac t iv i t y   r ec o g n itio n - b ased   s p o r v id eo   an al y s is .   T h r e m ai n d er   o f   t h i s   p ap er   is   o r g a n ized   as  s ec tio n   2   illu s tr ates  tr ad itio n al  h an d c r af ted   ar ch itect u r e.   Nex s ec tio n   3   p r esen ts   d ee p   l ea r n in g   ar ch itectu r e.   Sec tio n   4   d is cu s s es  t h d r a w b ac k   o f   s t ate  o f   t h ar t   w o r k s   an d   Sectio n   5   p r esen t c o n cl u s i o n   an d   f u t u r w o r k s   to   ad d r ess .       2.   T RAD I T I O NAL H AN DCR AF T E A RCH I T E C T UR E       I n   th i s   s ec tio n ,   o v er v ie w   o f   h an d cr af ted   ar ch itec tu r a n d   its   ap p licatio n   in   s p o r v id eo   an al y s i s   w a s   s tu d ied   b ased   o n   p r io r   r esear c h .     2 . 1 .     O v er v ie w   o f   ha nd cr a f t e d a rc hite ct ure   B ef o r th ad v an ce m e n o f   te ch n o lo g y   a n d   th e m er g e n ce   o f   d ee p   lear n in g   ar c h itect u r e,   s p o r v id eo   an al y s is   is   m ain l y   p er f o r m ed   u s in g   h a n d cr af ted   f ea tu r e s   [ 9 ] T r ad itio n al  h an d cr a f ted   f ea tu r es  ar h u m an   d esig n   f ea t u r es  f o r   s p ec if ic  p r o b lem s   [ 1 0 ] I co n s is ts   o f   f ea t u r d escr ip to r s   an d   f ea t u r ex t r ac to r s   th at  u s ed   to   m an u all y   ex tr ac t h i m p o r tan in f o r m atio n   f r o m   t h e   s p o r v id eo   f o r   f u r th er   an al y s is .   Ho w e v er ,     th ese  tr ad itio n a h a n d cr af ted   f ea t u r es  co u ld   o n l y   ex ec u te  l o w - lev e f ea t u r es  e x tr ac tio n   [ 1 1 ] .   Fu r th er   in   t h is   s ec tio n   w o u ld   li k to   p r esen th e x is ti n g   tr ad itio n al  h an d cr af ted   ar ch itect u r th at  w a s   u s ed   w id el y     in   co m p u ter   v is io n   to   r ec o g n iz ac tiv it y   in   v i d eo .     Du r in g   th e   p r eh is to r ic  a g e s   o f   s p o r v id eo   an a l y s is ,   ac tio n   r ec o g n itio n   w a s   p er f o r m ed   u s i n g   m an u all y   h u m a n   d esi g n   f ea t u r es  to   ex tr ac an d   r ep r esen t   f ea t u r es  f o r   ac tio n   r ec o g n it io n   b y   w h ic h   t h is   tech n iq u i s   ca lled   a   h a n d cr af ted   ap p r o ac h .   A f ir s t,  lo w - l ev el  ac tio n   f ea t u r es  s u c h   a s   h is to g r a m   o f   o p tical   f lo w s   ( HOF) ,   h is to g r a m   o f   g r ad ien ts   ( HOG) ,   s p ar s s p ati al - te m p o r al  in ter est  p o in t s   ( S T I P )   f ea tu r es  w er d esig n ed   to   ex tr ac f ea t u r es  i n   v id eo s   f o r   a n al y s is   [ 9 ] .   T h en ,   th o s s p ar s f ea t u r es  w er e m b e llis h ed   to   d en s e   s p atio - te m p o r al  f ea t u r es  [ 1 2 ] .   Af ter   s o m ti m e,   i m p r o v ed   d en s tr aj ec to r ies  ( iDT )   w er in n o v ated   w h ic h   co m p r is e s   o p tical  f lo w   a n d   s p ee d ed   u p   r o b u s f ea t u r es   ( S UR F)  [ 1 3 ] .   T o   f u r th er   e n h a n ce   iDT   m u l ti - la y er   s tak ed   f i s h er   v ec to r   ( FV)   w as   d ev elo p ed   [ 1 4 ] .   Mu lti - s k ip   Fe atu r s tak i n g   w a s   al s o   u s ed   f o r   f ea t u r e x tr ac tio n   o f   ac tio n   r ec o g n i tio n   i n   v id eo s   w h ic h   i m p r o v t h p er f o r m a n ce   o f   ac tio n   r ec o g n i ti o n   [ 1 5 ] .   A lt h o u g h ,     th ese  h an d cr af ted   f ea t u r es  wer ev o lv ed   w it h   ti m an d   a ls o   i m p r o v ed   in   p er f o r m a n ce   b u it  co u ld   o n l y   p er f o r m   i n   s p ec if ic   p r o b le m .   I i s   n o f le x ib le  to   b e   u s ed   in   o th er   d atase ts .   T ab le  1   s h o w s   s o m   o f   t h e x is ti n g   p o p u lar   h an d cr af ted   f ea tu r es   u s ed   i n   ac ti o n   r ec o g n itio n   f o r   v id eo   an a l y s i s   s u c h   a s   s p o r t     v id eo   an al y s is .       T ab le  1 .   L is t o f   p o p u lar   h an d c r af ted   f ea t u r es u s ed   f o r   ac tio n   r ec o g n itio n   in   v id eo s   H a n d c r a f t e d   f e a t u r e s   R e f e r e n c e   H i st o g r a m o f   O p t i c a l   F l o w   ( H O F )   a n d     H i st o g r a m o f   G r a d i e n t s   ( H O G )   [ 1 6 ,   17]   S p a r se   S p a t i o - t e mp o r a l   i n t e r e st   p o i n t s     [ 1 8 ]   I mp r o v e d   D e n se   T r a j e c t o r i e s (i D T )   [ 1 3 ]   F i sh   V e c t o r   ( F V )   [ 1 4 ]   M u l t i - l a y e r   F e a t u r e   S t a c k i n g   ( M L F S )   [ 1 5 ]       2 . 2 .   Sp o rt   v ideo   a na ly s is   us i ng   ha nd cr a f t ed  f ea t ures   Du r in g   t h ea r l y   s tag e s   o f   v id eo   an al y s is   i n   co m p u ter   v is io n   s u ch   a s   in   s p o r ts ,   h an d cr af t ed   f ea tu r e s   w er u s ed   as  m en t io n ed   ea r lier .   Fo r   in s tan ce ,   A b d u l m u n e m   e al.   [ 1 9 ]   w er p r o p o s ed   m e th o d   f o r   ac tio n   r ec o g n itio n   b ased   o n   s al ien t   o b j ec s p o ttin g   u s i n g   l o ca a n d   g lo b al  d escr ip to r s   in   KT an d   U C F - Sp o r ts   d atasets .   I n   t h is   m et h o d ,   th e y   w er u s in g   h a n d cr af ted   3 D - SIFT - HOO ( SGSH)  f ea t u r es  w h ic h   w er p ass   th r o u g h   SV af ter   en co d in g   w it h   b ag   o f   v is u al  w o r d s   ap p r o ac h .   B esid es,  C ar n o n n ea u   et  al.   [ 2 0 ]   p r esen ted   a   n o v el  tech n iq u e   to   id en t if y   p l a y   b r ea k   e v e n ts   in   h o c k e y   v i d eo s .   T h ey   u s ed   b ag - of - w o r d s   ev e n d etec to r s   to   id en ti f y   t h k e y   e v e n ts   li k li n e - c h a n g a n d   p la y - b r ea k   ST I P   w er u s ed   in   f i n al  d ec is io n   m ak in g   b y   cr ea tin g   co n tex t d escr ip to r .   Fig u r 1   th e   s h o w s   s c h e m atic  b lo ck   d ia g r a m   o f   t h ev e n t d etec to r   u s ed   i n   [ 2 0 ] .   Z h u   et  al.   [ 7 ]   in tr o d u ce d   n o v el  m et h o d   to   d etec an   ev e n i n   a   s o cc er   g a m e s   to   e x tr a ct  tactica l   in f o r m atio n .   I n   t h i s   r esear ch   w o r k ,   t h e y   e m p lo y   m u l ti - o b j ec tr aj ec to r y   a n d   f ield   lo ca tio n s   o f   th e v e n s h o ts   to   r ec o g n ize  th s e m a n tic  e v e n in   t h s o cc er   g a m e s .   Mo r eo v er ,   L ee   et  al.   [ 2 1 ]   im p le m e n p atter n   m atch in g   tech n iq u es  to   a u to m at icall y   r e co g n ize  e v en t s   i n   s o cc er   g a m es  u s in g   m u lti - o b j ec tr ac k in g   u n it  an d   m o t io n   r ec o g n izer .   T h eir   p r o p o s ed   b l o ck   d iag r a m   i s   s h o w n   i n   Fi g u r 2 .   L ie n   et  al.   [ 2 2 ]   s tu d ied   s ce n e - b ased   ev e n d etec tio n   f o r   b aseb all  v id eo s   b y   i m p le m e n ti n g   v ar io u s   h an d cr af ted   f ea t u r es  s u c h   a s   i m a g e - b a s ed   f ea t u r es,  o b j ec t - b ased   f ea tu r e s   an d   g lo b al  m o tio n   to   ca p t u r Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   1 6 9 3 - 6930   T E L KOM NI K A   T elec o m m u n   C o m p u t E C o n tr o l Vo l.  1 8 ,   No .   4 A u g u s t   2020:    1 9 2 6   -   1 9 3 3   1928   s e m a n tic  i n f o r m atio n   f r o m   t h b aseb all  s p o r v id eo .   T h en   th o s e,   e x tr ac ted   f ea t u r es  wer f ed   in to   h id d en   Ma r v o n   m o d el  ( HM M)   to   clas s if y   t h d etec ted   e v en ts .   C h e n   et  al.   [ 2 3 ]   d ev elo p ed   n o v el  h an d cr af ted   m o d el   b ased   o n   p la y er   tr aj ec to r ies  r ec o n s tr u ct io n   m et h o d   w h ic h   i n clu d e s   co u r d et ec tio n ,   p la y e r   d etec tio n ,   p la y er   tr ac k in g   a n d   h o m o g r ap h y   tr a n s f o r m a tio n   i n   b r o ad ca s ted   b as k etb all  v id eo s .           Fig u r 1 .     Sch e m a tic  b lo ck   d iag r a m   o f   e v e n t d etec to r s   in   [ 2 0 ]           Fig u r 2 .   B lo ck   d iag r a m   o f   s o cc er   ev en t d etec tio n   s y s te m   [ 2 1 ]       L u   et  al.   [ 2 4 ]   co n s tr u cted   s y s te m   to   a u to m atica ll y   tr a ck   v ar io u s   h o c k e y   p la y er s   a s   w e ll  as   r ec o g n ize  t h eir   ac tiv i t y   co n cu r r en tl y   i n   b r o ad ca s ted   h o ck e y   v id eo .   I n   t h is   s tu d y ,   H O d escr ip to r s   w er e   u tili s ed   to   d etec t h p la y er s   an d   to   m o d el  th ap p ea r an c o f   t h p la y er s   p r o b ab ilis tic  f r a m e w o r k   w a s   d esig n ed   w ith   m i x t u r o f   lo ca s u b s p ac es.  A d d itio n all y ,   b o o s ted   p ar ticle  f ilter   ( B P F)  w as  e m p lo y ed   i n   t h i s   tr ac k in g   s y s te m .   M u k h er j ee   et  al.   [ 2 5 ]   p r o p o s ed   n o v el  d e s cr ip to r   b ased   o n   im p r o v ed   d en s tr aj ec to r ies  in   h u m a n   ac ti o n   an d   e v en r ec o g n i tio n .   T h eir   d esig n   al s o   u s ed   Fis h er   Vec to r   ( FV)   an d   th p r o p o s ed   n o v el  ap p r o ac h   w as tr ai n ed   w it h   b in ar y   s u p p o r t v ec to r   m ac h i n ( S VM ) .   T h d ataset  u s ed   f o r   t h is   r esear ch   w as U C F   s p o r ts ,   C MU   Mo ca p   an d   Ho lly w o o d 2   d atasets   f o r   ev en t a n d   ac t io n   r ec o g n it io n .       3.   DE E P   L E A RNIN G     I n   th is   s ec tio n ,   o v er v ie w   o f   d ee p   lear n in g   ar ch ictu r a n d   it s   ap p licatio n   i n   s p o r v id eo   an al y s i s   w a s   r ev ie w ed   b ased   o n   p r ev io u s   s t u d ies.     3 . 1 .     O v er v ie w   o f   deep  lea rning   a rc hite ct ure   Dee p   lear n i n g   ar ch itec tu r wo r k s   a u to m at icall y   b y   d ir ec tly   cla s s i f y in g   r a w   i n p u t   i m ag es  o r   v id eo   f r a m e s   t h r o u g h   m u ltip le  p r o ce s s i n g   la y er s   s o   as   to   lear n   an d   r ep r ese n d ata  [ 2 6 ] .   Un li k tr ad itio n a l   h an d cr af ted   ar ch itect u r e,   it  d o es  n o r eq u ir es  an y   f ea t u r e   d escr ip to r s   o r   f ea tu r ex tr a cto r s .   Fo r   in s tan ce ,     d ee p   lear n in g   ar ch i tectu r u s e s   lo ca p er ce p tio n ,   d o w n   p o o lin g ,   w ei g h t   s h ar in g ,   m u lti - c o n v o l u tio n   k er n e l,   etc.   to   au to m at icall y   lear n   lo ca f ea t u r es  f r o m   j u s s e g m en o f   a n   i m a g r ath er   t h a n   w h o le   i m ag [ 2 7 ] .      Dee p   lear n in g   tec h n iq u es  ab le  to   class if y   h i g h - le v el  o r   co m p le x   ac tio n   r ec o g n itio n   wh ich   attr ac t s   h u g e   r esear ch   o f   in ter est  [ 2 8 ] .   E x a m p les  o f   w id el y   u s ed   d ee p   l ea r n in g   m o d els  i s   co n v o l u tio n al  n eu r al   n et w o r k   ( C NN) ,   r ec u r r en t n e u r al  n e t wo r k   ( R NN)   a n d   lo n g   s h o r t - ter m   m e m o r y   ( L ST M) .   E x ce lle n p er f o r m an ce   w it h   o v er w h e l m in g   ac cu r ac y   o f   d ee p   lear n in g   i n   v i s u a task   in s p ir ed     th ex p lo itatio n   o f   d ee p   lear n i n g   i n   v id eo   an al y s is .   I n i tiall y ,   C NN  w o r k s   i n d ep en d en tl y   to   ex tr ac in f o r m atio n   f r o m   th s till   i m ag e s   [ 2 9 ] .   Ho w e v er ,   2 D - C NN  f ails   to   ex tr ac te m p o r al  in f o r m atio n   in   v id eo   s eq u en ce s .     I n   o r d er   to   o v er co m th i s   is s u e,   3 D - C NN  i s   th e n   co n s tr u cte d   to   ex tr ac t   b o th   s p atial  a n d   te m p o r al   in f o r m at io n   o f   v id eo   f r a m es  [ 3 0 ] .   Fo llo w i n g   t h is   R NN  w as  u s ed   in   ac t io n   r ec o g n itio n .   R NN  b ased   m et h o d   ef f ec ti v el y   Evaluation Warning : The document was created with Spire.PDF for Python.
T E L KOM NI K A   T elec o m m u n   C o m p u t E C o n tr o l         Dee p   lea r n in g   in   s p o r t v id eo   a n a lysi s :   a   r ev iew   ( K ee r th a n a   R a n g a s a my )   1929   ca p tu r te m p o r al  in f o r m atio n   w h er eb y   its   c u r r en p r ed ictio n   is   b ased   o n   b o th   cu r r en o b s er v atio n s   a s   w ell  as   p ast  in f o r m atio n   [ 3 1 ] .   B u in   s p ite  o f   t h at,   R NN  ar c h itect u r o n l y   h as  s h o r ter m   m e m o r y ,   w h ic h   co u ld   n o t   ap p ly   in   t h r ea l - w o r ld   s ce n ar io .   T o   allev iate  th is   p r o b le m ,   L ST m o d el  w as  p r o p o s ed .   T h is   m o d el  ab le  to   ex tr ac te m p o r al  i n f o r m atio n   f r o m   s eq u e n tial  v id eo   d ata.   L S T m o d el  h as  m e m o r y   u n i t   th at  d ec id es  w h en   to   r em e m b er   an d   f o r g et  h id d e n   s tates  [ 3 2 ] .   Du to   its   s u p er io r ity ,   t h L ST m o d el  b r o ad l y   u s ed   i n   co m p u ter   v is io n   ap p licatio n s   s u c h   as a ct io n   r ec o g n it io n .   T ab le  2   s h o w   co m p ar is o n   b et w ee n   d ee p   lear n in g   m o d els.       T ab le  2 .   C o m p ar is o n   b et w ee n   d ee p   lear n in g   m o d el   M o d e l   A d v a n t a g e   D r a w b a c k   2D - C N N     A u t o mat i c a l l y   c a p t u r e     t h e   s p a t i a l   i n f o r ma t i o n   i n     t h e   i m a g e   p a t c h e s     C o u l d   n o t   a b l e   t o   c a p t u r e   t h e   t e mp o r a l       i n f o r mat i o n   i n   v i d e o   d a t a   3D - C N N     A u t o mat i c a l l y   c a p t u r e   b o t h     sp a t i a l   a n d   t e mp o r a l   i n f o r mat i o n     Ex p e n si v e   mo d e l   d u e   t o   3 D     R N N     A u t o mat i c a l l y   c a p t u r e     t h e   t e m p o r a l   i n f o r ma t i o n     i n   se q u e n t i a l   d a t a     H a s sh o r t   me mo r y   a b i l i t y ,   c o u l d   n o t     a p p l y   i n   r e a l   si t u a t i o n     G r a d i e n t   e x p l o si o n   L S T M     A u t o mat i c a l l y   c a p t u r e     t h e   t e m p o r a l   i n f o r ma t i o n     i n   se q u e n t i a l   d a t a     N I L       3. 2 .   Dee lea rning   a rc hite ct ure  in s po rt   v ideo   a na ly s is   Desp ite  th a s to n i s h in g   p er f o r m a n ce   o f   d ee p   lear n in g   ap p r o ac h   in   v ar io u s   co m p u t er   v is io n   ap p licatio n   s u ch   as  v o ice  r ec o g n itio n ,   te x r ec o g n itio n   it  also   ac h ie v es   o u t s tan d i n g   r es u lts   in   s p o r v id eo   an al y s is   i n   r ec en y ea r s .   A lt h o u g h   it  is   s t ill  in   t h ea r l y   s ta g o f   ap p licatio n   in   s p o r v id eo   an al y s i s   an d   o n l y   v er y   f e w   r e s ea r ch   h as   b ee n   d o n e,   y et  s o   f ar   i ts   p er f o r m a n ce   is   m o r ac c u r ate  as   co m p ar ed   to   tr ad itio n al  ap p r o ac h es  an d   it’ s   g ett in g   m o r atte n tio n   p r ese n tl y   [ 3 3 ] .   T o r et  al [ 3 4 ]   p r o p o s ed   n o v el  d ee p   lear n in g   ap p r o ac h   in   clas s i f y in g   p u ck   p o s s ess io n   e v en t s   i n   ice   h o c k e y .   T h e y   u s ed   p r e - tr ain ed   C NN  to   f ir s e x tr ac t     th f ea t u r es  t h e n   u s L ST M   f o r   class i f icatio n   o f   th f i v t y p es  o f   e v en t s   w h ich   ar d u m p   i n ,   d u m p   o u t,     lo o s p u ck   r ec o v er y ,   p as s   a n d   s h o t.    So z y k i n   et  al.   [ 3 5 ]   p r esen ted   3 C NN  b ased   ac tio n   r ec o g n itio n   s y s te m   f o r   m u lti - clas s   i m b ala n ce d   in   ice  h o ck e y .   T h e y   f ir s e x tr a ct  f ea tu r e s   f r o m   b o th   s in g le  i m a g an d   s lice     o f   f r a m e s   u s in g   C NN.   T h en ,   to   s o lv th m u lt i - cla s s   i m b al an ce ,   th e y   i n tr o d u ce   t w o   d if f er en s tr ateg ies  th a ca n   co m p ar i ts   p er f o r m an ce   s ep ar atel y   w h ic h   ar e   th e   e n s e m b le  o f   i n d ep en d en t   s i n g le - lab el   lear n i n g   n et w o r k s   an d   s i n g le  m u lti - l ab el  k - o u tp u n et w o r k .   I is   f o u n d   t h at  as  co m p ar ed   to   th e   en s e m b le  m o d el,   s in g le  m u lti - lab el  o u tp u t   m o d el   ac h ie v e s   h ig h   p er f o r m an ce .   L o n g ten g   et   al.   [ 3 6 ]   d esig n ed   j o in t   f r a m e w o r k   co m p r is i n g   o f   b o th   ath lete  tr ac k in g   a n d   ac t io n   r ec o g n itio n   in   s p o r v id eo s   u s in g   s ca lin g     an d   o cc lu s io n   r o b u s tr ac k er   w it h   s p atial   p y r a m id   p o o lin g   n et w o r k   ( SP P - n e t)   [ 3 7 ]   an d   L ST to   ex tr ac m o tio n ,   s p atial  a n d   te m p o r al  f ea tu r es.   J ian g   et   al.   [ 3 8 ]   in tr o d u ce   d ee p   lear n in g   b ased   a u to m atic  s o cc er   v id eo   ev e n t d etec tio n   b y   u s i n g   C NN   an d   R NN.   T h is   p ap er   f o cu s ed   o n   4   t y p es  o f   e v en w h ich   ar e   g o al,   g o al  atte m p t,  co r n er   an d   ca r d .   C NN  m o d el  w a s   u s ed   to   e x tr ac i m ag e   f e atu r es.  An d   R NN  s tr u ct u r w a s   u s ed   to   ca p tu r te m p o r al   r elatio n .   Ho w e v er ,     in   t h is   p ap er   th r ee   d i f f er en t y p es  o f   R NN   s tr u ctu r e s   ( tr ad itio n al  R N m o d el,   L ST m o d el  an d   g ated   r ec u r r en u n i t ( G R U)   m o d el)   w er u s ed   to   d eter m in e   th e   o p ti m u m   m o d el.   L ST is   th e   b e s t - p er f o r m ed   m o d el   a m o n g   t h o s t h r ee   R NN  s tr u ct u r es.  Ho n g   et   al.   [ 3 9 ]   d eliv er ed   d ee p   tr an s f er   lear n i n g   b ased   en d - to - e n d   s o cc er   v id eo   s ce n an d   ev e n clas s i f i ca tio n .   Scen clas s i f icatio n   in clu d es  lo n g   v ie w   a n d   clo s e - u p   v ie w   w h ile  e v en t   class i f icatio n   i n clu d e s   co r n er ,   f r ee - k ic k ,   g o al  an d   p en al t y .   T h eir   class i f icatio n   m o d el  u s ed   C NN  m o d el s   a s   w ell  a s   tr an s f er   lear n in g   m et h o d .   W h er ea s ,   Yu   et  al.   [ 4 0 ]   d esig n ed   d ee p   lear n in g - b ased   s o c ce r   ev en t   d etec tio n   th at  i n clu d es  e v en d etec tio n   as  w el as   s to r y   g e n er atio n   r ef er   to   Fig u r 3   w h ic h   b eg in s   w it h   ev e n t   clip s   an d   en d   w it h   r ep la y   ev e n t.  I n   th is   d es ig n   C NN  an d   L ST w er u s ed .   B esid es,  in   ten n is   s p o r t,  Mo r et  al.   [ 4 1 ]   h av p r o p o s ed   d o m ai n - s p ec if ic  d ee p   lear n in g   ac tio n   r ec o g n itio n   m et h o d   b y   u tili s i n g   p r e - tr ai n ed   C NN  w it h   th r ee - la y er ed   L ST m o d el.   T h is   p ap er   w as  ai m   to   r ec o g n is ed   f i n e - g r ai n ed   ac tio n   in   ten n i s   s p o r ts .   T h d ee p   L ST n et w o r k   u s ed   in   t h is   r esea r ch   is   ab le  to   lear n   h ig h - le v el  s tr u ct u r es  a n d   p r o v id es  h i g h   ac cu r ac y .   A p ar f r o m   t h at,   I b r ah i m   et  a l.  [ 4 2 ]   in n o v ated   d ee p   m o d el  to   ex tr ac d y n a m ic  te m p o r al  i n f o r m atio n   in   v o lle y b a ll  u s i n g   L ST m o d els.  T h g a m e   s t ate  w as  d ed u ce d   b y   ca p tu r in g   p la y er s   s tate  t h r o u g h   t h t w o - s tag L ST m o d el.   R am a n at h a n   et  al.   [ 4 3 ]   estab lis h ed   d ee p   lean i n g   m eth o d   to   d etec t   a n d   ca teg o r is ed   b as k etb all  e v e n ts   u s i n g   R NN.   T h is   w o r k   u s ed   a n   atte n tio n   m o d el  to   d etec k e y   p la y er s   f r o m   m u lti - p er s o n   v id eo s   f ir s t.  T h en   u s ed   C NN  a n d   L ST to   ex tr a ct   f e atu r an d   d etec t   an   ev en t i n   b as k etb all.     Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   1 6 9 3 - 6930   T E L KOM NI K A   T elec o m m u n   C o m p u t E C o n tr o l Vo l.  1 8 ,   No .   4 A u g u s t   2020:    1 9 2 6   -   1 9 3 3   1930       Fig u r 3 .     P r o p o s ed   s o cc e r   s to r y   d etec tio n   f r a m e w o r k   [ 4 0 ]       4.   DIS CU S SI O N   Fo r   th p as f e w   d ec ad es,  t h er w as  q u ite  a   lo o f   r esear ch   f o cu s i n g   o n   s p o r v id eo   an a l y s i s   b ased   o n   h an d cr af ted   ar ch i tectu r es.   H o w e v er ,   th is   h a n d cr af ted   ar c h itect u r e   w h ic h   co n s i s ts   o f   f ea t u r d escr ip to r s     an d   ex tr ac to r s   ar p r o b lem - d ep en d en t.  I n   o th er   w o r d s ,   th o s h an d cr af ted   f ea t u r es  ca n   o n l y   ap p l y   to   s p ec if i c   p r o b lem s .   I co u ld   n o b u s e d   f o r   o th er   d atasets   o r   p r o b lem s   w h ic h   is   ir r ele v an to   ap p ly   in   r ea s ce n ar io .   A p ar f r o m   th a t,  th tr ad itio n al  h a n d cr af ted   ar ch itect u r u s ed   f o r   s p o r v id eo   an al y s is   co u ld   o n l y   e x tr ac t     lo w - le v el  f ea t u r es,  it   is   v er y   ch a llen g i n g   i n   ca p tu r i n g   f o r   h i g h - lev el   s e m a n tic   in f o r m atio n   [ 4 4 ]   T h u s ,   t h ad v an ce m e n in   tec h n o lo g y   lead s   to   th e   e m er g e n ce   o f   d ee p   lear n in g - b ased   s p o r v id eo   an al y s i s .   Sin ce   d ee p   lear n i n g - b ased   s p o r v id eo   an al y s is   is   s till   n e w   a n d   g r o w in g   r esear c h   f iel d ,   th er w er o n l y     f e w   s t u d ies   f o u n d .   Mo s o f   th s t u d ies  ar f o cu s i n g   o n   s o cc er   g a m es,  ten n is ,   b aseb all  a n d   b as k etb all  [ 4 5 ] On l y   l i m ited   r eso u r ce s   ar f o u n d   o n   th o th er   s p o r ts   s u ch   as  h o ck e y   a n d   b ad m i n to n .   Ho w e v er ,   th m ai n   d r a w b ac k   o f   u s i n g   d ee p   lear n in g   m o d els   ar its   d ata - h u n g r y   m ea n i n g   to   lear n   f ea tu r es   au to m at icall y   f r o m   r a w   in p u ts   d ata  it  is   d ep en d s   o n   th o u d s a n d s   o f   in p u d ata   [ 4 6 ] .   B esid es,  to   elev ate  th e   p er f o r m a n ce   lev el     o f   th d ee p   lear n in g   m o d el  it  n ee d s   h i g h - p er f o r m an ce   GP U s   [ 4 7 ] .   B u t,  th r ec en ad v an c e m en in   tech n o lo g y   an d   th g r o w t h   i n   b ig   d ata  h a v o v er co m t h ese  i s s u es.    P r ev io u s l y ,   C NN  m o d el  w h ic h   is   o n o f   t h d ee p   lear n in g   ap p r o ac h   h as  s h o w n   tr e m e n d o u s   s u cc es s   in   i m ag r ec o g n itio n ,   s p ee ch   r ec o g n itio n   au d io   r ec o g n i tio n ,   etc   [ 4 8 ] .   Ho w e v er ,   in   t h an a l y s i s   o f   v id eo   in p u d ata  r esear ch er s   f ac m a n y   c h allen g es  b ec au s v id eo   s eq u e n ce s   d y n a m icall y   e v o l v w ith   ti m e.   I is   d if f icu lt   to   e x tr ac te m p o r al  i n f o r m ati o n .   W ith   th e   co n t in u o u s   s tu d y   i n   v id eo   a n al y s is   u s i n g   d ee p   lear n in g ,   ca u s e     th estab li s h m e n o f   s eq u e n t ial  m o d els  s u ch   a s   R NN  a n d   L ST M.   T h ese  m o d els  ar ab le  to   ex tr ac te m p o r al   in f o r m atio n   i n   v id eo   in p u d ata.   T h er w er s o m r ese ar ch es  w o r k   o n   t h co m b in atio n   o f   b o th   C N N     an d   L ST m o d el  to   e x tr ac s p atio - te m p o r al  i n f o r m atio n .   B u o n l y   f e w   r e s ea r ch es   w er e   f o u n d   i n   e x tr ac tio n   h ig h - le v el  s e m a n tic  i n f o r m ati o n   in   s p o r v id eo   an al y s is .   D esp ite  asto n is h i n g   p er f o r m an c o f   d ee p   lear n i n g   b ased   ar ch ictu r e,   t h ad v a n ce m en ac h iev e s   i n   i m ag e   clas s i f icatio n   h a v n o b ee n   r ea c h ed   in   ce r tai n   f ield   li k e   v id eo   class i f icat io n   o r   s p o r v id eo   an al y s is   [ 4 9 ] .   I is   s till   a n   o p en   is s u e   in   d ee p   lear n i n g - b ased   r esear ch   i n   w h ic h   m a n y   r e s ea r ch er s   tr y   to   s o lv an d   it is   a n   o n g o in g   r es ea r ch   w o r k   [ 5 0 ] .       5.   CO NCLU SI O N     T h is   p ap er   co n tr ib u tes  a   co m p r e h e n s i v s u r v e y   o n   s p o r v id eo   an al y s is   b y   co m p a r in g   b o th   h an d cr af ted   an d   d ee p   lear n in g   ap p r o ac h .   I n   s u m m ar y ,   d ee p   lear n in g   ap p r o ac h   h as  o v er co m t h li m itatio n s   en c o u n ter ed   b y   tr ad itio n al  m eth o d s   in   ac ti v it y   r ec o g n itio n   o f   s p o r v id eo   an al y s is .   Ho w e v er ,   o n l y   f e r esear ch   h as  f o cu s ed   o n   s p o r v id eo   an al y s is .   So ,   in   f u t u r e   s tu d ies,  t h r esear ch er s   ca n   f o cu s   o n   ex tr ac tio n   h ig h - le v el  s e m an tic  in f o r m ati o n   in   s p o r an al y s is   w h ich   w i ll  b u s ed   b y   co ac h es  an d   s p o r ts   p r o f ess io n al s   i n   ev alu a tin g   p la y er s   tactica l   p er f o r m an ce   i n   t h g a m e.   Mo r eo v er ,   f u t u r r esear c h   s h o u ld   al s o   co n ce n tr ate   m o r e   o n   s p o r v id eo s   th at   ar ap ar f r o m   s o cc er   g a m e s ,   te n n i s ,   b aseb all  an d   b as k etb all  as   al m o s 8 0 o f   p r io r   r esear ch   h ad   b ee n   f o c u s ed   o n   th o s s p o r ts       ACK NO WL E D G E M E NT   T h au th o r s   w o u ld   lik to   ex p r ess   th e ir   ap p r ec iatio n   to   Un i v er s iti  T ek n o lo g Ma la y s ia  ( UT M )     f o r   en d o w   th i s   r esear c h   a n d   t h Min is ter   o f   Hig h er   E d u ca tio n   ( MO HE ) ,   Ma la y s ia  f o r   s u p p o r tin g   th is   r e s ea r c h   w o r k   u n d er   Z a m a lah   Sc h o lar s h ip   an d   R e s ea r ch   Gr an No .   Q. J 1 3 0 0 0 0 . 2 5 4 5 . 1 9 H8 8 .   Evaluation Warning : The document was created with Spire.PDF for Python.
T E L KOM NI K A   T elec o m m u n   C o m p u t E C o n tr o l         Dee p   lea r n in g   in   s p o r t v id eo   a n a lysi s :   a   r ev iew   ( K ee r th a n a   R a n g a s a my )   1931   RE F E R E NC E   [1 ]   L e x ico ,   sp o rt  |   De f in it io n   o f   sp o rt   in   En g li s h   b y   Ox f o rd   Dic ti o n a ries ,   [ On l in e ].   A v a il a b le:  h tt p s:/ /en . o x f o rd d ictio n a ries . c o m / d e f in it io n /sp o r t.   A c c e ss e d 3 1   Ja n u a ry   2019.   [2 ]   D.  G u ,   A n a l y sis  o f   tac ti c a in f o r m a ti o n   c o ll e c ti o n   in   s p o rts  c o m p e ti ti o n   b a se d   o n   t h e   in telli g e n p r o m p a u to m a ti c   c o m p letio n   a lg o rit h m ,   J o u rn a o In telli g e n a n d   F u zz y   S y ste ms ,   v o l.   3 5 ,   n o .   3 ,   p p .   2 9 2 7 - 2 9 3 6 ,   2 0 1 8 .   [3 ]   N.  Ho m a y o u n f a r,   S .   F i d ler,  a n d   R.   Urta su n ,   S p o r ts  f ield   l o c a li z a ti o n   v ia  d e e p   stru c t u re d   m o d e ls,”  2 0 1 7   IEE E   Co n fer e n c e   o n   Co m p u ter   Vi si o n   a n d   Pa tt e rn   Rec o g n it io n   ( CVP R) ,   v o l.   2 0 1 7 - Ja n u a ry ,   p p .   4 0 1 2 4 0 2 0 ,   2 0 1 7 .   [4 ]   M .   S tei n   e a l. ,   Bri n g   It  t o   t h e   P i tch C o m b in in g   V id e o   a n d   M o v e m e n Da ta  to   En h a n c e   T e a m   S p o rt  A n a ly sis,”   IEE T ra n sa c ti o n o n   Vi su a li za t i o n   a n d   Co m p u ter   Gr a p h ics ,   v o l.   2 4 ,   n o .   1 ,   p p .   1 3 2 2 ,   2 0 1 8 .   [5 ]   E.   E.   Cu st,  A .   J.  S w e e ti n g ,   K.  B a ll ,   a n d   S .   Ro b e rtso n ,   M a c h in e   a n d   d e e p   lea rn in g   f o sp o rt - sp e c i f ic  m o v e m e n re c o g n it io n a   s y ste m a ti c   re v ie o f   m o d e d e v e lo p m e n a n d   p e rf o rm a n c e ,   J o u rn a o S p o rts  S c i e n c e s ,   v o l.   3 7 ,     n o .   5 ,   p p .   5 6 8 6 0 0 ,   2 0 1 9 .   [6 ]   N.  A .   R a h m a d ,   M .   A .   As ’a ri,   N.  F .   G h a z a li ,   N.  S h a h a r,   a n d   N.  A .   J.  S u f ri,   su rv e y   o v i d e o   b a se d   a c ti o n   re c o g n it io n   in   s p o rts ,   In d o n e si a n   J o u rn a o El e c trica En g in e e rin g   a n d   C o mp u ter   S c ien c e ,   v o l.   1 1 ,   n o .   3 ,     p p .   9 8 7 9 9 3 ,   2 0 1 8 .   [7 ]   G .   Zh u   e t   a l. ,   Ev e n t   tac ti c   a n a ly sis  b a se d   o n   b r o a d c a st  sp o r ts  v id e o ,   IEE T ra n sa c ti o n o n   M u lt i me d ia ,   v o l.   1 1 ,   n o .   1 ,   p p .   4 9 6 7 ,   2 0 0 9 .   [8 ]   A .   Ka r,   N.  Ra i,   K.  S ik k a ,   a n d   G .   S h a rm a ,   A d a S c a n A d a p ti v e   sc a n   p o o li n g   in   d e e p   c o n v o lu ti o n a n e u ra n e tw o rk s   f o h u m a n   a c ti o n   re c o g n it io n   in   v id e o s,”   2 0 1 7   IEE Co n fer e n c e   o n   Co mp u ter   Vi sio n   a n d   Pa tt e rn   Rec o g n it i o n   ( CVP R) ,   p p .   3 3 7 6 3 3 8 5 ,   2 0 1 7 .   [9 ]   B .   M e n g ,   X.   L i u ,   a n d   X.   W a n g ,   H u m a n   b o d y   a c t i o n   re c o g n i t i o n   b a s e d   o n   q u a t e r n i o n   s p a t i a l - tem p o ra l   c o n v o l u t i o n a l   n e u r a l   n e tw o r k ,   Y i   Q i   Y i   B i a o   X u e   B a o / C h i n e s e   J .   S c i .   I n s t r u m . ,   v o l .   3 8 ,   n o .   1 1 ,   p p .   2 6 4 3 2 6 5 0 ,   2 0 1 7 .   [1 0 ]   H.  Ya n g   e a l. ,   A s y m m e tri c   3 Co n v o l u ti o n a Ne u ra l   Ne tw o rk f o a c ti o n   re c o g n it i o n ,   Pa t ter n   Rec o g n it .   v o l.   8 5 ,   p p .   1 1 2 ,   2 0 1 9 .   [1 1 ]   Z.   Hu i q u n ,   W .   Hu i,   a n d   W .   X ia o li n g ,   A p p li c a ti o n   re se a rc h   o f   v id e o   a n n o tati o n   in   s p o rts  v i d e o   a n a ly sis,”   2011  In ter n a t io n a C o n fer e n c e   o n   F u t u re   Co mp u ter   S c ie n c e   a n d   E d u c a ti o n ,   p p .   6 2 6 6 ,   2 0 1 1 .   [1 2 ]   S .   Do ll á r,   P . ,   Ra b a u d ,   V.,   Co tt re l l,   G .   a n d   Be lo n g ie,  G o in g   d e e p e in to   a c ti o n   re c o g n it io n  :  A   su rv e y ,   Ima g e   a n d   Vi sio n   Co mp u ti n g ,   v o l.   6 0 ,   p p .   4 2 1 ,   2 0 1 7 .   [1 3 ]   H.  Ch e n ,   J.  C h e n ,   R .   Hu ,   C.   Ch e n ,   a n d   Z.   W a n g ,   A c ti o n   re c o g n it io n   w it h   tem p o ra sc a le - in v a rian d e e p   lea rn i n g   f ra m e w o rk ,   Ch in a   C o mm u n ic a ti o n s ,   v o l .   1 4 ,   n o .   2 ,   p p .   1 6 3 1 7 2 ,   2 0 1 7 .   [1 4 ]   X .   P e n g ,   C.   Zo u ,   Y.  Qia o ,   a n d   Q .   P e n g ,   A c ti o n   Re c o g n it io n   w it h   S tac k e d   F ish e V e c to rs,”  Eu ro p e a n   Co n fer e n c e   o n   C o mp u ter   Vi sio n   -   ECC 2 0 1 4 Co m p u ter   Vi si o n     ECC 2 0 1 4 ,   p p .   5 8 1 5 9 5 ,   2 0 1 4 .   [1 5 ]   Zh e n z h o n g   L a n ,   M in g   L in ,   Xu a n c h o n g   L i,   A .   G .   H a u p tm a n n ,   a n d   B.   Ra j,   Be y o n d   G a u ss ian   P y r a m id M u lt i - sk ip   F e a tu re   S tac k in g   f o a c ti o n   re c o g n it io n ,   2 0 1 5   IEE Co n fer e n c e   o n   Co mp u ter   Vi sio n   a n d   P a tt e rn   Rec o g n it io n   ( CVP R) ,   p p .   2 0 4 2 1 2 ,   2 0 1 5 .   [1 6 ]   N.  Da lal,   B.   T ri g g s,  a n d   C.   S c h m id ,   Hu m a n   De t e c ti o n   Us in g   Orie n ted   Histo g ra m s   o f   F lo w   a n d   A p p e a ra n c e ,   Eu ro p e a n   C o n fer e n c e   o n   C o mp u t e r V isio n   ( ECCV   ’0 6 ) ,   p p .   4 2 8 4 4 1 ,   2 0 0 6 .   [1 7 ]   N .   D a la l ,   B .   T r ig g s ,   H i s t o g r a m o f   o r ie n t e d   g r a d i e n t s   f o h u m a n   d e te c t i o n ,   2 0 0 5   I E E E   C o m p u t e r   S o c i e t y   C o n f e r e n c e   on   C o m p u t e r   V i s i o n   a n d   P a t t e r n   R e c o g n i t i o n   ( C V P R '0 5 ) ,   2 0 0 5 .   [1 8 ]   P .   D o l l á r ,   V.   R a b a u d ,   G .   C o t t r e l l ,   S .   B e l o n g i e , Be h a v i o r   r e c o g n i t i o n   v i a   s p a rs e   s p a t i o - t e m p o r a l   f e a t u r e s ,   2 0 0 5   I E E E   I n t e r n a t i o n a l   W o r k s h o p   o n   V i s u a l   S u r v e i l l a n c e   a n d   P e r f o r m a n c e   E v a l u a t i o n   o f   T r a c k i n g   a n d   S u r v e i l l a n c e ,   2 0 0 5 .   [1 9 ]   A .   A b d u lm u n e m ,   Y.   K.  L a i,   a n d   X.  S u n ,   S a li e n c y   g u id e d   lo c a a n d   g lo b a d e sc rip to rs  f o e ff e c ti v e   a c ti o n   re c o g n it io n ,   Co mp u t a ti o n a Vi su a M e d ia ,   v o l.   2 ,   p p .   9 7 1 0 6 ,   2 0 1 6 .   [2 0 ]   M .   A .   Ca rb o n n e a u ,   A .   J.  Ra y m o n d ,   E.   G ra n g e r,   a n d   G .   G a g n o n ,   Re a l - ti m e   v isu a p la y - b re a k   d e t e c ti o n   in   sp o rt   e v e n ts  u sin g   a   c o n tex d e sc rip t o r,   2 0 1 5   IEE E   In ter n a ti o n a S y mp o si u o n   Circ u it a n d   S y ste ms   ( IS CAS ) ,   p p .   2 8 0 8 2 8 1 1 ,   2 0 1 5 .   [2 1 ]   J.  L e e ,   D.  Na m ,   S .   M o o n ,   J.  L e e ,   a n d   W .   Yo o ,   S o c c e Ev e n Re c o g n it io n   T e c h n iq u e   b a se d   o n   P a tt e rn   M a tch i n g ,   2 0 1 7   Fe d e ra ted   C o n fer e n c e   o n   C o mp u ter   S c ien c e   a n d   I n fo rm a ti o n   S y ste ms   ( Fed CS IS ),   p p .   6 4 3 6 4 6 ,   2 0 1 7 .   [2 2 ]   C.   C.   L ien ,   C.   L .   Ch ian g ,   a n d   C.   H.  Lee ,   S c e n e - b a se d   e v e n d e tec ti o n   f o b a se b a ll   v id e o s,”   J o u rn a o Vi su a l   Co mm u n ica ti o n   a n d   Ima g e   Rep re se n ta ti o n ,   v o l.   1 8 ,   n o .   1 ,   p p .   1 1 4 ,   2 0 0 7 .   [2 3 ]   L .   H.  Ch e n ,   C.   W .   S u ,   a n d   H.  A .   Hs iao ,   P lay e r   traje c to r y   r e c o n stru c ti o n   f o tac ti c a l   a n a l y sis,”   M u lt ime d ia   T o o l s   a n d   Ap p li c a ti o n s ,   v o l.   7 7 ,   p p .   3 0 4 7 5 3 0 4 8 6 ,   2 0 1 8 .   [2 4 ]   W .   L .   L u ,   K.  Ok u m a ,   a n d   J.   J.  L it tl e ,   T ra c k in g   a n d   re c o g n izin g   a c ti o n o f   m u lt ip le  h o c k e y   p la y e rs  u sin g   th e   b o o ste d   p a rti c le f il ter,”  Ima g e   a n d   Vi si o n   C o mp u ti n g ,   v o l.   2 7 ,   n o .   1 ,   p p .   1 8 9 2 0 5 ,   2 0 0 9 .   [2 5 ]   S .   M u k h e rjee   a n d   K.  Ka ra n ,   H u m a n   a c ti o n   a n d   e v e n re c o g n it io n   u si n g   a   n o v e d e sc rip to b a se d   o n   im p ro v e d   d e n se   traje c to ries ,   M u lt ime d i a   T o o ls  a n d   A p p li c a ti o n s v o l u me ,   v o l .   7 7 ,   p p .   1 3 6 6 1 1 3 6 7 8 ,   2 0 1 8 .   [2 6 ]   A .   V o u lo d im o s,  N.  Do u la m is,  A .   Do u lam is,  a n d   E.   P r o to p a p a d a k i s,  De e p   Lea rn in g   f o Co m p u ter  V isio n A   Brie Re v ie w ,   Co mp u ta ti o n a I n telli g e n c e   a n d   Ne u ro sc ien c e ,   v o l .   2 0 1 8 ,   p p .   1 - 13 ,   2 0 1 8 .   [2 7 ]   A .   S a r g a n o ,   P .   A n g e lo v ,   a n d   Z.   Ha b ib ,   A   Co m p re h e n siv e   R e v i e o n   Ha n d c ra f ted   a n d   Lea rn in g - Ba se d   Ac ti o n   Re p re se n tatio n   A p p r o a c h e s f o Hu m a n   A c ti v it y   Re c o g n it io n ,   Ap p l li e d   S c i e n c e ,   v o l.   7 ,   n o .   1 ,   p p .   1 1 0 ,   2 0 1 7 .   [2 8 ]   A .   El b o u sh a k i,   R.   Ha n n a n e ,   K.   Af d e l,   a n d   L .   Ko u tt i,   M u lt i D - CNN  :  A   m u lt i - d im e n sio n a fe a tu re   lea rn in g   a p p ro a c h   b a se d   o n   d e e p   c o n v o l u ti o n a n e tw o rk f o g e stu re   r e c o g n it io n   in   RG B - i m a g e   se q u e n c e s,”   Exp e rt   S y ste ms   wit h   Ap p li c a ti o n s ,   v o l .   1 3 9 ,   p p .   1 1 2 8 2 9 ,   2 0 2 0 .   [2 9 ]   B .   M e n g ,   X.   L i u ,   a n d   X.   W a n g ,   H u m a n   a c t i o n   r e c o g n i t i o n   b a s e d   o n   q u a t e r n i o n   s p a t i a l - t e m p o r a l   c o n v o l u t i o n a l   n e u r a l   n e t w o rk   a n d   L S T M   i n   RG B   v i d e o s ,   M u l t i me d i a   T o o l s   a n d   A p p l i c a t i o n s ,   v o l .   38 ,   n o .   11 ,   p p .   2 6 9 0 1 - 2 6 9 1 8 ,   2 0 1 8 .     Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   1 6 9 3 - 6930   T E L KOM NI K A   T elec o m m u n   C o m p u t E C o n tr o l Vo l.  1 8 ,   No .   4 A u g u s t   2020:    1 9 2 6   -   1 9 3 3   1932   [3 0 ]   M .   A s a d i - a g h b o l a g h i   e t   a l . ,   A   S u r v e y   o n   D e e p   L e a r n i n g   B a s e d   A p p r o a c h e s   f o r   A c t i o n   a n d   G e s t u r e   R e c o g n i t i o n   i n   I m a g e   S e q u e n c e s ,   F G   2 0 1 7   -   1 2 t h   I E E E   C o n f e r e n c e   o n   A u t o m a t i c   F a c e   a n d   G e s t u r e   R e c o g n i t i o n ,   p p .   4 7 6 483 ,   2 0 1 7 .   [3 1 ]   X.   Y a n g ,   P .   M o l c h a n o v ,   a n d   J .   K a u t z ,   M u l t i l a y e r   a n d   M u l t i m o d a l   F u s i o n   o f   D e e p   N e u r a l   N e tw o rk s   f o r   Vi d e o   C l a s s if i c a t i o n ,   M M   '1 6 :   P r o c e e d in g s   o f   t h e   2 4 t h   A C M   i n t e r n a t i o n a l   c o n f e r e n c e   o n   M u l t i m e d i a ,   p p .   9 7 8 987 ,   2 0 1 6 .   [3 2 ]   J.  Y.   H.  Ng ,   M .   Ha u sk n e c h t ,   S .   V ij a y a n a ra si m h a n ,   O.  V in y a ls,  R.   M o n g a ,   a n d   G .   T o d e rici,   Be y o n d   S h o rt   S n ip p e ts:  De e p   Ne tw o rk f o V id e o   Clas sif ica ti o n ,   2 0 1 5   IEE E   Co n fer e n c e   o n   Co mp u ter   Vi sio n   a n d   Pa t ter n   Rec o g n it io n   ( CVP R) ,   2 0 1 5 .   [3 3 ]   N.  A .   Ra h m a d ,   N.  A .   J.  S u f ri,   N.  H.  M u z a m il ,   a n d   M .   A .   A s’ a ri,   Ba d m in to n   p lay e d e tec ti o n   u si n g   f a ste re g io n   c o n v o lu ti o n a n e u ra n e tw o rk ,   In d o n e si a n   J o u rn a o E lec trica En g in e e rin g   a n d   Co mp u ter   S c ien c e ,   v o l.   1 4 ,   n o .   3 ,   p p .   1 3 3 0 1 3 3 5 ,   2 0 1 9 .   [3 4 ]   M .   R.   T o ra   a n d   J.  J.  L it tl e ,   C las sif ic a ti o n   o f   P u c k   P o ss e s sio n   Ev e n ts  in   Ic e   Ho c k e y ,   IEE Co n fer e n c e   o n   Co mp u ter   V isio n   a n d   Pa t ter n   Rec o g n it io n   W o rk sh o p s ( CVP RW ) , p p .   1 4 7 - 1 5 4 ,   2 0 1 7 .   [3 5 ]   K.  S o z y k in ,   S .   P ro tas o v ,   A .   Kh a n ,   R.   Hu ss a in ,   a n d   J.  L e e ,   M u lt i - lab e c las s - im b a lan c e d   a c ti o n   re c o g n it io n   i n   h o c k e y   v id e o s v i a   3 D co n v o l u ti o n a n e u ra n e tw o rk s,”   a rX iv :1 7 0 9 . 0 1 4 2 1 ,   2 0 1 8 .   [3 6 ]   L .   K o n g ,   D .   H u a n g ,   J .   Q i n ,   a n d   Y .   W a n g ,   A   J o i n t   F r a m e w o r k   f o r   A t h l e t e   T ra c k i n g   a n d   A c t i o n   R e c o g n i t i o n   i n   S p o r t s   Vi d e o s ,   I E E E   T r a n s a c t i o n s   o n   C i r c u i t s   a n d   S y s t e m s   f o r   V i d e o   T e c h n o l o g y ,   v o l .   3 0 ,   n o .   2 ,   p p .   5 3 2 5 4 8 ,   2 0 2 0 .   [3 7 ]   J.  He ,   K.,   Zh a n g ,   X . ,   Re n ,   S .   a n d   S u n ,   S p a ti a P y ra m id   P o o l i n g   in   De e p   Co n v o lu t io n a Ne two rk f o V isu a l   Re c o g n it io n ,   IEE T ra n s .   Pa tt e rn   An a l.   M a c h .   I n tell. ,   v o l.   3 7 ,   n o .   9 ,   p p .   1 9 0 4 1 9 1 6 ,   2 0 1 5 .   [3 8 ]   H.  Jia n g ,   Y.  L u ,   a n d   J.  X u e ,   A u to m a ti c   so c c e v id e o   e v e n d e tec ti o n   b a se d   o n   a   d e e p   n e u ra n e t w o rk   c o m b in e d   CNN   a n d   RNN ,   2 0 1 6   IE EE   2 8 t h   In ter n a ti o n a C o n fer e n c e   o n   T o o ls  wit h   Arti f icia I n telli g e n c e   ( ICT AI)   p p .   4 9 0 4 9 4 ,   2 0 1 7 .   [3 9 ]   Y.  Ho n g ,   C.   L in g ,   a n d   Z.   Ye ,   En d - to - e n d   so c c e v id e o   sc e n e   a n d   e v e n c las si f ica ti o n   w it h   d e e p   tra n sf e lea rn in g ,   2 0 1 8   I n ter n a ti o n a l   Co n fer e n c e   o n   In telli g e n S y ste ms   a n d   Co m p u te r V isio n   ( IS CV) ,   p p .   1 4 ,   2 0 1 8 .   [4 0 ]   J.  Yu ,   A .   L e i,   a n d   Y.   Hu ,   S o c c e Vid e o   Ev e n De tec ti o n   Ba se d   o n   De e p   L e a rn in g ,   In ter n a ti o n a l   Co n fer e n c e   o n   M u lt ime d ia   M o d e li n g   -   M M M   2 0 1 9 M u l ti M e d ia   M o d e li n g S p ri n g e r,  v o l.   8 9 3 6 ,   p p .   3 7 7 - 3 8 9 ,   2 0 1 9 .   [4 1 ]   S .   V .   M o ra   a n d   W .   J.   Kn o tt e n b e lt ,   De e p   L e a rn in g   f o Do m a in - S p e f icis  Ac ti o n   Re c o g n it io n   i n   T e n n is,”  2 0 1 7   IE E E   Co n fer e n c e   o n   Co m p u ter   Vi si o n   a n d   Pa tt e rn   Rec o g n it io n   W o rk sh o p s ( CVP RW ) ,   p p .   1 7 0 1 7 8 ,   ,   2 0 1 7 .   [4 2 ]   M .   G .   I b r a h i m   M S ,   M u r a l i d h a r a n   S ,   D e n g   Z ,   V a h d a t   A ,   A   h i e r a r c h i c a l   d e e p   t e m p o r a l   m o d e l   f o r   g r o u p   a c t i v i t y   r e c o g n i t i o n ,   P r o c e e d i n g s   o f   t h e   I E E E   C o n f e r e n c e   o n   C o m p u t e r   V i s i o n   a n d   P a t t e r n   R e c o g n i t i o n ,   p p .   1 9 7 1 1980 ,   2 0 1 6 .   [4 3 ]   V .   Ra m a n a th a n ,   J.  Hu a n g ,   S .   A b u - el - h a ij a ,   A .   G o rb a n ,   K.  M u rp h y ,   a n d   L .   F e i - f e i,   De te c ti n g   e v e n ts  a n d   k e y   a c to rs  in   m u lt i - p e rso n   v id e o s ,   2 0 1 6   I E EE   Co n fer e n c e   o n   C o mp u ter   Vi si o n   a n d   P a tt e rn   Rec o g n it io n   ( C VP R),   2 0 1 6 .   [4 4 ]   J.  Lee ,   D.  W .   Na m ,   J.  S .   L e e ,   S .   M o o n ,   K.  Ki m ,   a n d   H.  Ki m ,   stu d y   o n   c o m p o siti o n   o f   c o n tex t - b a se d   so c c e a n a ly sis  s y ste m ,   2 0 1 7   1 9 t h   I n ter n a ti o n a l   Co n fer e n c e   o n   Ad v a n c e d   Co mm u n ica ti o n   T e c h n o lo g y   ( ICACT )   p p .   8 8 6 8 8 9 ,   2 0 1 7 .   [4 5 ]   H.  C.   S h ih ,   A   S u rv e y   o f   Co n ten t - Aw a r e   V id e o   A n a l y sis  f o S p o r ts,”  IEE T r a n sa c ti o n s   o n   Circ u i ts  a n d   S y ste ms   fo r V i d e o   T e c h n o l o g y ,   v o l.   2 8 ,   n o .   5 ,   p p .   1 2 1 2 1 2 3 1 ,   2 0 1 8 .   [4 6 ]   P .   F e lse n ,   P .   A g ra w a l,   a n d   J.  M a li k ,   W h a w il Ha p p e n   Ne x t?  F o re c a stin g   P lay e M o v e in   S p o r ts  V i d e o s,”   2 0 1 7   IEE In ter n a ti o n a C o n fer e n c e   o n   Co m p u ter   Vi si o n   ( ICCV) ,   p p .   3 3 6 2 3 3 7 1 ,   2 0 1 7 .   [4 7 ]   Z.   X u ,   Y.  Ya n g ,   a n d   A .   G .   Ha u p tm a n n ,   A   d isc ri m in a ti v e   CNN   v id e o   re p re se n tatio n   f o e v e n d e tec ti o n ,   2 0 1 5   IEE Co n fer e n c e   o n   Co mp u ter   V isio n   a n d   P a tt e rn   Rec o g n it io n   ( CVP R) ,   p p .   1 7 9 8 1 8 0 7 ,   2 0 1 5 .   [4 8 ]   Y.  L e c u n ,   Y.  Be n g io ,   a n d   G .   Hin t o n ,   De e p   lea rn i n g ,   Na t u re ,   v o l.   5 2 1 ,   n o .   7 5 5 3 ,   p p .   4 3 6 4 4 4 ,   2 0 1 5 .   [4 9 ]   I.   Ro d ríg u e z - M o re n o ,   J.  M .   M a rt ín e z - Otz e ta,  B.   S ierra ,   I.   Ro d rig u e z ,   a n d   E.   Ja u re g i,   V i d e o   a c ti v it y   r e c o g n it io n :   S tate - of - th e - a rt,   S e n so rs   ( S wit ze rla n d ) ,   v o l.   1 9 ,   n o .   1 4 ,   p p .   1 2 5 ,   2 0 1 9 .   [5 0 ]   A .   Kh a n ,   A .   S o h a il ,   U.  Zah o o ra ,   a n d   A .   S .   Qu re sh i,   A   S u rv e y   o f   th e   Re c e n A rc h it e c tu re o f   De e p   Co n v o l u ti o n a l   Ne u ra Ne tw o rk s,”   a rX iv :1 9 0 1 . 0 6 0 3 2 ,   p p .   1 6 2 ,   2 0 1 9 .       B I O G RAP H I E S O F   AUTH O RS        K e e r th a n a   Ra n g a sa m y   re c e iv e d   B. E   (Ho n s)  i n   Bi o m e d ica En g in e e rin g   f ro m   Un iv e rsiti   T e k n o lo g M a lay sia   (U T M in   2 0 1 8 .   Cu rre n t ly ,   sh e   p u rsu i n g   h e P h i n   Bio m e d ica En g in e e rin g   u n d e S c h o o o f   Bio m e d ica En g in e e rin g   a n d   He a lt h   S c ien c e ,   F a c u lt y   o En g in e e rin g   in   Un iv e rsiti   T e k n o lo g M a lay si a .   He r   re se a r c h   in tere sts  a re   ar ti f icial   in teli g e n ce ,   co m p u ter   v is io n   an d   d ee p   lear n in g .         Evaluation Warning : The document was created with Spire.PDF for Python.
T E L KOM NI K A   T elec o m m u n   C o m p u t E C o n tr o l         Dee p   lea r n in g   in   s p o r t v id eo   a n a lysi s :   a   r ev iew   ( K ee r th a n a   R a n g a s a my )   1933     Dr .   M u h a m m a d   A m ir  B in   As ' a r i   h o ld a   P h i n   Bio m e d ica En g in e e rin g   f ro m   Un iv e rsiti   T e k n o lo g M a lay sia .   His  P h ’s  w o rk   w a in   th e   f ield   o f   a ss isti v e   tec h n o l o g y ,   c o m p u ter  v isio n   a n d   im a g e   p ro c e ss in g   a n d   h is  wo rk   f o c u se d   o n   d e v e lo p in g   a   n o v e 3 sh a p e   d e sc rip to rs  f o re c o g n izin g   th e   a c ti v it ies   o d a il y   li v in g   b a se d   o n   Kin e c t - li k e   d e p th   im a g e . He   p u rsu e d   h is   mas ter  d e g r e e   a n d   b a c h e lo d e g r e e   a F a c u lt y   o f   El e c tri c a En g in e e rin g ,   Un iv e rsiti   Tek n o lo g M a la y sia ,   m a jo re d   in   El e c tri c a En g in e e rin g .   C u rre c tl y ,   h e   is  w o rk in g   o n   th e   d e v e lo p m e n o f   sig n a a n d   im a g e   p ro c e ss in g   a p p ro a c h e w it h   in telli g e n in terv e n ti o n   i n   a s sistiv e   tec h n o lo g y   a n d   re h a b il it a ti o n   a w e ll   a sp o rt  p e rf o rm a n c e   tec h n o lo g y   e sp e c iall y   in   a u to m a ted   h u m a n   m o v e m e n re c o g n it io n           Nur  Az m i na   Ra h m a d   r ec eiv ed   B . E   ( Ho n s )   i n   B io m ed ical  E n g in ee r i n g   f r o m   Un i v er s iti  T ek n o lo g i   Ma la y s i ( UT M)   in   2 0 1 7 .   C u r r en tl y ,   s h p u r s u i n g   h er   P h i n   B io m ed ical  E n g in ee r i n g   u n d er   Sch o o o f   B io m ed ical  E n g i n ee r i n g   an d   Hea l t h   Scien ce ,   Facu l t y   o f   E n g in ee r in g   in   U n iv er s iti  T ek n o lo g i   Ma la y s ia.   Her   r esear c h   in ter est s   ar ar tif icial  i n teli g e n ce ,   co m p u t er   v is io n   an d   d ee p   lear n in g .                 Nurul  F a t hia G ha za li   r ec eiv ed   Dip lo m in   E lectr ical  E n g i n ee r i n g   ( P o w er )   f r o m   Un i v er s iti T ek n o lo g i M ala y s i a,   Ku ala  L u m p u r   ( 2 0 1 3 )   an d   B ac h elo r   o f   E n g i n ee r in g   i n   B io m ed ical  f r o m   Un i v er s i ti   T ek n o lo g i   Ma la y s ia,   J o h o r   B ah r u   ( 2 0 1 7 ) .   Sh is   cu r r en tl y   w o r k i n g   o n   h er   P h s t u d ies  i n   B io m ed ical  E n g i n ee r i n g   at  U n i v er s it T ek n o lo g Ma la y s ia,   J o h o r   B ah r u   an d   h er   cu r r en r e s ea r ch   is   ab o u ac ti v it y   r ec o g n itio n   s tu d y   i n   b ad m in t o n   s p o r u s i n g   i n er tial   s e n s o r   w h ic h   c o llab o r ated   w it h   Sp o r I n n o v atio n   an d   T ec h n o lo g y   C en tr ( SIT C )   an d   I n s ti tu te  o f   H u m an   C e n ter ed   E n g i n ee r i n g   ( iHu m E n )   f r o m   UT J B .   Her   r esear ch   i n ter est   in cl u d es   ac ti v it y   r ec o g n itio n   s t u d ies,  s i g n a l p r o ce s s i n g ,   a n d   m ac h in lear n i n g .         Sa ha rudin   I s m a il   g r ad u ated   f r o m   B ac h elo r   o f   Occ u p ati o n al  T h er ap y   ( Ho n o u r s ) ,   UKM   in   2 0 0 8 .   He  p u r s u ed   h is   Ma s ter   o f   P h ilo s o p h y   i n   R eh ab ilit atio n   T ec h n o lo g y     o n   2 0 1 3   an d   attain ed   h is   P HD  in   Hea lt h   Scien ce   o n   2 0 1 9   f r o m   U n iv er s iti  T ek n o lo g i   Ma la y s ia.   Mo s o f   h is   w o r k   i s   r e l a te d   t o   A s s is ti v e   D e v i c es ,   R eh a b i li t at i o n ,   B i o s t a ti s t i cs ,   M o t o r   C o n t r o l ,   M o t o r   L e a r n in g   an d   K in es i o l o g y   th r o u g h   th a p p l i ca t i o o f   th i n er tial se n s o r s .           Evaluation Warning : The document was created with Spire.PDF for Python.