Internati o nal  Journal of Ele c trical   and Computer  Engineering  (IJE CE)  Vol.  4, No. 6, Decem ber  2014, pp. 979~ 988  I S SN : 208 8-8 7 0 8           9 79     Jo urn a l  h o me pa ge : h ttp ://iaesjo u r na l.com/ o n lin e/ind e x.ph p / IJECE  Goal Detection in Soccer Video:  Ro le -Ba s ed Ev e n ts Detec t ion  Approach      Fa rsha d Bayat *,  M o ha mmad Sha h ra Mo in*, Fa rha d   Ba ya t**  * Depart em ent o f  El ectr i c a and  Com puter Engin eering ,  Is l a m i Azad  Unive r s i t y , Qa zvin Br anch ,  Qazvin , Ir an   ** Depart em ent  of El ectr i c a Eng i neer ing,  Univer s i t y  of  Zanj an,  Z a njan , Ir an.       Article Info    A B STRAC T Article histo r y:  Received J u 7, 2014  R e vi sed Oct  9,   2 0 1 4   Accepted Oct 25, 2014      S o ccer video p r oces s i ng and anal ys is  to fin d  criti cal  event s  s u ch as   occurren ces  of g o al ev ent hav e  b een one  of  the  important issues and topics of  act ive res e arche s  in recent  years .  In this  paper, a  new role-bas ed fram e work   is proposed for g o al even t dete cti on in which the sem a ntic structu r e of soccer   game is used. Usually   after a go al scen e, the  aud i ences’ and repo rters’ sound   intensit is incr eased, b a ll  is  s e nt back to  the c e nter  and the  ca m e ra m a y:   zoom on  Play er, show audiences ’ delightin g ,  rep eat the goa l s cen e or dis p la a com b inat ion o f  them . Thus th e occurr enc e  of  goal ev ent wil l  b e  det ect abl e   b y   analy s is of s e quences of  abo v e ro les.  The pr oposed framework in  this   paper  consists of four main procedures:  1- detection of game ’s  cri tic al  event s   b y  using aud i o channel, 2-  dete ction of  shot boundary  and shots   classification, 3-  selection of  can d idat e ev ents according to  the ty pe of shot  and existence of  goalmouth in the shot,  4- detection of r e starting the game  from the center  of the field .  A new me thod fo r shot classification is als o   presented in this  framework. Finally ,  b y   apply i ng  the proposed method it was  shown that th e g o al  even ts d e tection has  a good  accuracy   and th percen tag e   of detection f a ilure is  also v e r y   low. Keyword:  Ev en t d e tection  Field cente de tection   Field ext r action  Sho t  bou nd ar d e tectio Shot classification  Socce r vi de o p r oces si n g   Copyright ©  201 4 Institut e  o f   Ad vanced  Engin eer ing and S c i e nce.  All rights re se rve d Co rresp ond i ng  Autho r Far s h a d Bayat,   Depa rt m e nt  of  El ect ri cal  and   C o m put er E ngi neeri n g ,   Islamic Azad  Uni v ers ity, Qazv in   B r an ch No k hbe ga B l vd . Qazvi n . Ira n.   Em a il: farsh a d . b a yat@q i au .ac.ir       1.   INTRODUCTION  In  rece nt years, the  devel opmen t  of m u l t i m e di a appl i cat i ons i n  di ffe re nt  fi el ds , i n c r ease of  t h i n t e rnet  i m pact  and  devel o p m ent  of c o m m uni cat i ons, l e d t o  t h de vel o pm ent  of   m u l t i m e di st ora g e   t echn o l o gy . T h ere f o r e, p r od uci n g i n f o rm ati on m a nagem e nt  and ret r i e va l  t ool s for h a n d l i ng t h ese l a r g e dat a   becam e necessary. In t h is  regard, sp ort c o mpetitions a r one  of the m o st  popular m u lti media and  on  top  of  t h em , wat c hi ng socce r i s  t h e m o st  exci ti ng and  po p u l a r sp o r t  vi de os. T hus , hi g h  v o l u m e s of socce r vi de os are   pr o duce d  an d t h i s  po p u l a ri t y  has l e d resea r c h ers t o  be  in terested  in  creatin g   n e w id eas an d   ways to   m a n a g e   and  retrieve inform ation from soccer  vide os [1,  2 and 3] . Socce r vi deo pr ocessing a n d inform ation retrieva l   t echni q u es are  di vi de d i n t o  t w o onl i n e and  of fl i n e g e neral  st ru ct ur es. Onl i n e t e chni que s ext r act  t h i n f o rm at i on of  a li ve gam e   and t h e r eby  e nha nce vi si t o r s ’ i n f o rm at i on of a gam e  bei ng di s p l a y e d .  For   exam ple, the  num ber of team ’s offside, the distance tr aveled by a player, the tim e  of ball possessi on by  tea m s. In [4] s o m e  ca m e ras  with hi gh  fra me rate (e.g .200fs p)  were  pl aced in t h e stadium  and used to fi nd  online  goal. T h e purpose of  using cam eras   with  h i gh  frame rate is  th at i n  t hose s hot s t h at  goal  eve n t  occu rs   t h e bal l  spee i s  oft e very  h i gh;  t h ere f ore ,  usi n g t h vi de o o b t a i n e d  fr o m  conve nt i o na l  sy st em s wi t h  abo u t   30 fram es per second recording spee d, makes detec tion of goal occurre nce very di fficult and pe rha p s   im possi bl e.  In   [4]  t w o t ech ni que s ha ve  bee n   used  f o det e ct i ng  goal  e v e n t .  I n  t h e fi rst   m e t hod,  t h e al go ri t h m   of ci rcl e   det ect i on  (ci r cul a r H o u g h  t r a n sf or m  al gori t h m )  i s  use d  t o   fi n d   candi dat e s.  In  t h e seco n d  t echni qu e ,   Evaluation Warning : The document was created with Spire.PDF for Python.
                        I S SN 2 088 -87 08  IJECE Vol. 4, No. 6, D ecem ber 2014   979 – 988  98 0 t h e pr o duce d   candi dat e s are  eval uat e d a n d com p ared  u s i ng a s upe rvi s ed ne ur al  net w o r k ,  an d t h e  pr ope r   can d i d a te is selected . By track ing  th p o s itio n   o f  t h e b a ll,  th e o c cu rren ce o f   g o a l ev en is d e term in ed . Sin ce  watching t h whole s o ccer ga m e  video is time cons um i ng so, offli n e inform ation retrie val and m a nage m e nt   tools  help s o cc er ent h usiasts and resea r ch ers  in  th is fiel d .  Th o f flin e ex tractio n  an d   an aly s is to o l s allow  u s  t o   extract the ne cessary information  fro m  t h e g a m e s in  t h e lo west ti me . An e x am ple of suc h  i m po rt ant   in fo rm atio n  is d e tection   o f   g o a l ev en ts in so ccer  g a m e s. Utilizin g these m a n a g e m e n t  and  i n formation  retriev a l too l su mm arize th e  v i d e o  g a m e  an d   resu lt in  sav i ng  th e so ccer exp e rts’ tim e  wh en  an alyzin g  t h t act i c of  t h e g a m e Goal  det ect i on based o n  ci nem a ti feat ures  i s  p r esent e i n  [5] .  Thi s  pape r poi nt o u t   t h at   ju st  usi n vi de o p r ocessi n g  t e chni que s f o g o al  det ect i o n i s  di ffi c u l t .  T h er efo r e, t h ey  ha v e  use d  t h e a d v a nt age  of t h e nat u ral   event s  t h at  occ u r a f t e r a  goal   event .   The a u t h o r have  pr o p o se d f o l l o wi ng  pr oce d u r es f o r g o al   d e tectio n :  con s id ering  th e in terru p tion s   d u ring  th e g a m e co n s id ering  th e ex isten ce of at least o n e  sh o t  ou t of  the field (e .g. a udie n ce s h ot)  or a clos e- up  s hot ,  co nsi d eri n g t h e   prese n ce  of   at least one  replay s hot. In  [6,  7]   t h e sc ore b oar d   i n f o rm at i on i s   use d  t o  fi nd  a  goal   occ u r r e n c e  i n  s o cce vi d e o.  I n  t h i s  m e tho d ,  g o al   occ u rre nces  are d e t e rm i n ed by   det ect i on  of  sco r eb oa rd   l o cat i on  d u ri n g  t h e  vi deo  di spl a y  an d t r ac ki n g  c h an ges i n  i t .   A   di sad v a n t a ge  o f  t h i s  m e t hod i s  t h at  t h e t e xt u r e o f  m o st  of  t h e sc ore b oar d s  i s  h o m ogene o u wi t h  t h e  t e x t ure  of   th e aud i en ce, wh ich  lead s to  d i fficu lty in  sco r ebo a rd   d e tectio n  an d m a tch  resu lt find ing .   Ano t h e di sad v a n t a ge  o f  t h i s  m e t hod i s  t h occu rre n ce of  i m age i n t e rfere nce  o n  t h e l o cat i o of  score b oar d   (e. g . t h e   TV c h a nnel s ’ l o g o s,  a dve rt i s i n g  et c.) ,  t h at   m a ke t h det e ct i on  of  cha n g e s o n  t h e sc or eboa r d   di ffi c u l t . Usi n g   m u l ti-clu e s is an o t h e r st rategy to  find  th go al o c cu rren ce [8 ].  In  t h is m e th od  th e ca ndidate shots are   chosen  by  usi n g t h e cl ues suc h  as i n crease of s o un d i n t e nsi t y  and  occur r e n ce of  goal  bar i n  t h e shot . Ne xt , t h e g o al   event s  are  det e rm i n ed by  revi ewi n g t h e ne xt  shot s an d i d e n t i f y i ng t h e vi s u al  cl ues of g o al  scori n g s u ch a s  t h audi e n ces’  s h o t  and  re pl ay  sh ot . T h i s   pape pr o v i d es a   fra m ework t o  detect the goal e v ents in  a s o cce r gam e   vi de o. F o r t h i s  pu rp ose,  we  ext r act  vi de o e v ent s   usi n g b o t h vi sual  an audi o cha n nel s . Thi s  f r am ewor k i s   com posed  of  several m a in stages th at in  each stage  we  relate a number   of feature s  to hi ghe r se mantic  conce p t s . I n  t h e fi rst  st ep we use basi c feat u r es o f  so un d a nd  det e rm i n e the im port a nt  event s   of vi deo .  In t h e   next  st ag e, we  use di ssi m i l a ri ty  feat ures  fo r s hot   bo u nda ry  det ect i on a nd t h en cl assi fy  t h ese sh ot s wi t h   basi c   visual  feature s  and in the  ne xt stage  we fi nd t h e m o m e nts whe n  the  a udie n ces’ shot  and close s hot exist  whi c h i s  t h e i n di cat or  of i m port a nt  scenes  o f  vi de o.  I n  the  final step  we use the  created meaningful uni ts  and  det ect  g o al m o ut h a n d  gam e  st art  fram e wor k . B y  appl y i ng these steps we  can fi nd  goal e v ents a n d s u mmarize  th e v i d e o. Th is fram e work is illu strated  i n  Fi g u re  1 .           Fi gu re  1.  B l oc di ag ram  of t h e p r o p o sed  m e tho d .       2.   E X T R ACTI N G THE E X IS TING E V EN TS FR OM  SO CCE VI DEO  Undo ub ted l y th e m o st p o p u l ar spo r t in  th e world  is so ccer. The m a in  id ea is th at as an  im p o r tan t   event occ u rs in a soccer ga me, the audiences’ a nd re porters’ sound  intensity increases. Thus, the audi chan nel  has  hi gh sem a nt i c  i n fo rm ati on an t h i s  feat ure ca n be wi del y  us ed f o det ect i on o f  im port a nt  event s .   Usi n g t h i s   feat ure l e a d s t o  i n crease  of  det e ct i on acc uracy  and  nat u ral l y  resul t s  i n   del e t i on  of  uni m p o r t a nt   part s an d dec r ease o f  pr oc essi ng c o m p l e xi t y  of cal cul a t i ons. I n m o st  of t h e exi s t i ng i m port a nt   event s   extraction approache s , the  bas i c audio si gnal energy level fe ature is used. In  [9], the a b ove feature along wit h   t h e det ect i on  of s o m e  key w or ds i n cl u d i n g  t h e wor d s s u ch as "goal "   and " p enal t y " i s  used fo r f i ndi n g   im port a nt  eve n t s  of socce r ga m e . Som e t i m e s i n  t h e gam e t h e audi e n ces l o u d l y  and c ont i n u o u s l y  enco ura g e   their fa vorite t e a m , so i n  the s e cases t h e a u dio si gnal  ene r gy level  feature won’t ha ve  the  require d  ac curacy   for th e d e tectio n   o f  im p o r tant ev en ts. In  [10 ] , in  ad d ition   to  th e au d i o  sig n a l en erg y  lev e l featu r e, th e b a sic  Evaluation Warning : The document was created with Spire.PDF for Python.
I J ECE   I S SN 208 8-8 7 0 8       Goa l  Detectio in  S o ccer  Vi d e o :   Ro le-Based Even ts Detectio Ap p r oa ch   (F a r sh a d  B a ya t)   98 1 feat ure  of ze r o  crossi ng  rat e  i s  us ed to e nhance the acc uracy of im porta n t  ev en ts d e tectio n  and  th resu lts  show t h at the   accuracy  has i n crease d  t o  a l a rge  exte nt.  In this  pape r,  we  ha ve  use d  the  proposed m e thod i n   [10 ] ; and  after  id en tifying  th e ex citing   p a rts  o f  th e m a tch ,   w e  seg m en t th e v i d e o in  t h p e ri o d s  of  50  seconds  bef o re  an 85   seco nds  aft e r t h det ect ed  poi nt s, i n  o r de r t o  per f o rm  subse que nt   pr ocessi ng . It  i s   w o rt h   not i n g   t h at  t h e se gm ent a t i on l e n g t h   has  bee n   obt ai ned  aft e r  re pea t ed ex pe ri m e nts an d si m u l a t i ons.       3.   SHOT BOUNDARY  DETECTION  The m o st  im port a nt  st ep i n  t h e seri es of vi de os p r oce ssi n g  and  ret r i e vi ng i s  shot  b o u n d a r y  det ect i on.  By sh o t   b oun dary d e tectio n,  th e b a sic sem a n tic stru ct u r o f   v i d e o   will be read for th e n e x t  step o f   v i d e pr ocessi ng . S h ot  b o u n d ary  i s   det e rm i n ed by   si gni fi ca nt  cha nge s i n  t h e  co m posi t i on o f  c o l o r o r   pi xel  l o cat i o n   [1 1] . The  dom i n ant  col o r i n  t h e socce r vi de o i s  gree n;  ho weve r i t s  am ount  i s  cha nge d  i n  som e  part s of t h e   vi de o. F o r e x a m pl e,  t h e am ount  o f  g r een c o l o r w h ere t h e  cam e ra i s  l o cat e d i n  t h e m i ddl e o f  t h e fi el d o r  far   v i ew is sign ifican tly d i fferent fro m  close or audience s h ot. Thes e cha nge s can be  used as a m eas ure  of  d i ssimilarity to  sep a rate th e sh o t   bo und aries. An o t h e r d i ssi milarit y  criterio n  th at is also   u s ed  in  t h is p a p e r i s   th e d i fferen c e in  th e co l o r in ten s ity.    3.1. The Fe ature of Gree n Color Rati o Difference   In  t h i s   pape w e  ha ve  use d  t h e  feat u r of  g r ee n c o l o r rat i o   di ffe rence  t h at  i s  speci fi e d  as  f o l l o ws.        |  1   |                 In t h is f o rm ula,    sh o w s t h t o t a l  num ber o f  pi xel s  an Pg   i  sho w s t h e n u m ber of  gre e n   p i x e ls i n  th e ith   fram e  th at is ch aracterized  as fo llo ws:        ,      (3 )     ,  1,    T E D , i 0,      O. W                       (4 )     Whe r e ED , i 1 ,  ,  , .   Th e P  (x , y)  variab le rep r esen ts th v a lu es  o f  R G B co l o in  th p o s ition o f   (x, y) i n  the ith  fram e The  ED , i   va riable  shows t h e E u c lidean  distan ce  bet w ee n t h e  c o l o rs o f  t h e pi xel   ,  in  th e ith  frame   rel a t i v e t o  t h pu re  gree n c o l o r .  C e rt ai nl y ,  t h e c hoi ce  of  t h e t h res h ol val u e i n  di f f ere n t   peri ods  an d l i g ht i n g   co nd itio ns of stad iu m  wo u l d   b e  d i fferen t. To  find  th e ap pro p riate th resh old  v a lu e, we use th e fo llowing  fo ur  steps:  1.   Sel ect  num ber  of  f r am es from  vi de ra nd om ly  and  cal l  t h es e fram e s .   2.   For each  fram e , calculate the Euclidea distance  relative to green  color a nd a rra nge them  in   desce ndi ng  o r d e r.    3.   To  fi n d  t h e  ap pr o p ri at e t h res hol val u e ,    fra m es are selecte d   from  the  beginning of t h e a rra nge d set   and from  each    ؛ 1 ; calculate Euclidea distance  for eac pixel, a n d t h e n  a rra nge  thes val u es  i n  asce n d i n or der .   4.   R e m ove   of the end elem ents and     of the  first elem ents  of t h set and avera g e the  rest of  t h e   v a lu es of th e set an d con s i d er it as th e t h resho l d   v a lu e.  R e m oval   of  t h e      of the  end  values   of the  s e t leads  to  del e tion  of i n accurate inform atio n a n d al s o   rem oval  of t h e     of t h dat a  fr om  t h e begi n n i ng  of t h e set  m a kes t h e E u cl i d ean  di st ance  f r om  t h e pu re g r ee n   g r eater and   prov id es cond itio ns to  cho o s e d a rk er co l o rs . Th resho l d   v a lu e is u s u a lly in  th [0.6,  0 . 8 ]  ran g e Th e cr iter i on   of  gr een  co lo r ratio  ch an g e s,  deter m in es th pr op er bou nd ary f o r  th e sho t  fr o m  th e sho t   b oun d a ry in  the fram e s th at  g r een  co l o r com b in atio n s  chan g e   d r am atic ally. Bu t in  th i s  criterio n , th e sp atial   inform ation of  pixels is not c onsi d ere d To  boost the  detec tion accuracy  of s h ot bounda r y, we  use a c r iterion  th at con s id ers t h e sp atial in fo rmatio n  of  p i x e l s   Evaluation Warning : The document was created with Spire.PDF for Python.
                        I S SN 2 088 -87 08  IJECE Vol. 4, No. 6, D ecem ber 2014   979 – 988  98 2 3. 2. T h e Fe at u re o f   Co l o r Intensity  Differe nce  If   ,   is cth co l o r ch ann e l in tensity    ,  ,   in   ,  po sition  and  ith frame,  criterio n  of  d i ssi m ilarit y , d i ffer en ce of sp atial in ten s ity of  co lors, is d e fined  as fo llo ws:       , ,   ∀ , β 1, 0 , 1   (5 )      , , 1     ,  ,  1   ,   , ,   ,   / , q 1, ∞   (6 )     In  w h i c de fi nes t h e t y pe  of  di st an ce, s o  t h at   q= 1 an q=2 t h at  s h ows  t h e ci t y   di st ance a n Euclidea n distance, res p ectively.  Param e ters  of  α  an β   d e t e rm i n e t h e sl i d i n g  am ount   of t h fi rst   fra m e  ove th e  s e con d   f r a me  in  th e   x and  y ax e s , r e sp ec tiv e l y.  T h      e quat i o n   det e rm i n es t h e m i nim u m  di st ance   b e tween  two  co n s ecu tiv e frames in  th di rections  s p ecifi ed in Figure  2.          Fi gu re 2.   Di f f e r ent  val u es   o f   α  and  β   i n  9 di r ect i ons       The GR D feat ure  produces  values in  [0, 1] range   a nd S P feat ure pr od uces val u es i n   [0 Im ax]   rang e th at Imax  is th m a x i m u m   lig h tin g in ten s ity in  the re d and blue cha nnels . For ease of work and  classificatio n  pro cess, it is b e t t er to  n o r m a liz e th e v a lu es in the range  of z e ro and one and we should notice  th at th GR v a lu es are usually in  th rang o f  [0 , 0. 8 6 ]   be fo re n o rm alization. Follo win g  fo rm ulas  can   b e   use d  f o no rm al i zat i on:             (7 )              (8 )     In Figure  3-a  you ca see the norm alized SPD cha n g e   r a te an d in Figu re 3- b th no r m alized  G R chan ge  rat e  i n  t e rm s of t h e fram e  num ber. We use t w o  NSP D  a nd  NGR D feat ure s  t o  det e rm i n e sh ot   bounda ry.  So,  feature  s p ace i s  as follows:       , |0   (9 )     The be st  can di dat e  fo r s hot   b o u n d ary  i s  t h fram e in  wh ich  th v a lu es  o f   NSPD or NGRD features   or b o t h   val u es  are i n  l o cal   m a xim u m .  In or der t o  fi nd t h e l o cal   m a xi m u m ,  t h e val u e of feat u r e sh oul d be   m a xim u m  i n  com p ari s on  wi t h  i t s be fo re an d aft e r .  The r ef ore ,  we  use f o l l owi n g e quat i o ns i n   or der t o  f i nd t h e   diffe re nce between  val u es:      ,   1 (1 0)      ,   1 (1 1)     In t h e above e quation   are the sam e  features that are s p ecified  in  equ a tion  (9 ). In   o r d e to  find  lo cal   m a xim u m ,  we  use t h e f o l l o wi ng  eq uat i o n:     Evaluation Warning : The document was created with Spire.PDF for Python.
I J ECE   I S SN 208 8-8 7 0 8       Goa l  Detectio in  S o ccer  Vi d e o :   Ro le-Based Even ts Detectio Ap p r oa ch   (F a r sh a d  B a ya t)   98 3   ,   , , , ,      0, .     0.01                                    (1 2)     The    shows t h e  differe n ce c o m p ared   to  n e igh bors who s e valu es  are selected em pirically.            Fi gu re 3.   Fram e-base d feat u r e s   di a g ram :  (a)  The  feature  of  gree n c o lor  ratio c h anges  in te rm s of fram num ber,  ( b )  Th e feat u r of  spa t i a l  chan ges  of   pi xel s  col o r  i n t e nsi t y  i n  t e rm s o f  f r am e num ber       An gi ve n t h a t  t h e sh ot  l e n g t h  i s  at  l east  40  fram e s, w e  use  wi n d o w i ng  ope rat o r a nd  f o r eac h   wind ow select  a lo cal m a x i mu m .  To   d o  th is, th fo llowing   eq u a tion  is u s ed  to id en tify the sho t   b oun d a ry:      ,  0∃   j i1 , i l | ,  , 1,                                     o. w.   (1 3)     In  w h ich     in d i cates  th leng th o f   th e windo w,  h e re we h a v e  co nsid ered  40  fram e s.    Wh en  t h e SB  v a lu e i n  ith  frame eq u a ls  1 ,  t h e fram e will  b e  th sho t  bou nd ary, ind eed in  th is fram t h e val u es  of  f eat ures a r e l o c a l   m a xim u m .  In Fi gu re  4.a s h ot  b o u n d ary  e x t r act i on  base on  N S P D  feat u r e an d   in  Figur 4 . b  t h e sho t  bou nd ar y ex tr acti o n by N G R D  is show n.          Fi gu re  4.  (a ) S hot   b o u n d ary  e x t r act i o by  N SPD  feat ur (A)  NSPD feat ure c u rve  (B) E x tracted boundaries by  l o cal  m a xim u m .  (b) S h ot b o u nda ry  e x t r act i o by  N G RD  fe ature (A) NGRD  feat ure  curve (B) Ext r acted  bo u nda ri es by  l o cal   m a xim u m .       In o r der t o  fi n d  t h e fi nal  shot  bo u nda ri es, we  use  t h e com b inat i on  of s hot  bo u nda ri es fo u nd  based   o n   NSPD a n NGRD feat ures , as  follows:         , , ,   (1 4)     We ha ve  use d   wi n d o w i n g t e c hni que i n  o r de r t o   decrease e r r o r i n  fi n d i n t h e sh ot  b o u n d a ry . Gi ven   that the shot lengt h is at least 40  fram e s, we can use a  wi n d o w  wi t h  a l e n g t h   of  40  fram e s;  and  we sel ect  t h e   m a in shot bounda ry from  a m ong the set  of s hot bounda ries with the m o st SPD  in each window. Figure 5  sh ows th result o f  co m b in ing  th e feat u r es.  Evaluation Warning : The document was created with Spire.PDF for Python.
                        I S SN 2 088 -87 08  IJECE Vol. 4, No. 6, D ecem ber 2014   979 – 988  98 4     Fi gu re  5.  C o m b i n at i o of  sh o t  bo u nda ri es t h at are s p ecified by  NSPD a n NGR feature s     4.   CLAS SIFI C A T ION OF SH OTS   There a r e ge nerally four different s hots in  soccer  gam e s. These four s h ots are shown  in Figure 6.  The fa r s hot  i s  usual l y  use d  t o  sh o w  t h ga m e  si t u at i on i n  whi c h t h nu m b er of pl ay er s and  g r eat  am ou nt  o f   pl ay i ng fi el d’s  grass i s  i n  t h e  im age. The m i ddl e sh ot  i s  u s ed t o  s h o w  t h m ovem e nt of t h pl ay ers  and t h e   ca m e ra zo o m s to  th e po sition  of th p l ayer who  h a s t h b a ll so  th at the n u m b e o f   players with  rel a tiv ely  l a rge si ze  i s  i n cl ude d i n  t h e  i m age. C l ose  s hot   us ual l y  occ u rs  w h e n  st op   has  occ u r r ed  d u ri ng  t h gam e  w h i c h   is u s u a lly associated  with  imp o rtan t ev en ts  o f  t h p l ay ; and  in  t h is m o d e , th e cam era will zo o m  o n  a  p l ayer to   th e fu ll ex ten t   so  th at th e m a j o rity o f  t h e imag e is related  t o  th p l ayer.  Au d i en ce sh o t  is related  to  th v i ew  that ca m e ra images the audience pre s en in  th e stad iu m  th at is u s u a lly after th e g o al o ccu rren ce. After  identifying the  shot  bounda ri es, a ke y fram e  is extracted from   each shot a nd t h e algorithm which is shown i n   Figure 7 is pe rform e d as a hierarc h y. The features of  col o r ratio, holes’  area ratio and  edge  ratio are  use d  for  shot  cl assi fi cat i on.           Fi gu re  6.  S hot   Ki n d s,  res p ect i v el y  ( A Far  sh ot  (B ) M i d d l e   Sh ot  (C ) C l ose  Sh ot   (D Au di ence S h ot .       To  calcu late ho les’ area  ratio, first we ex tract g r a ss area  from  the  main fra m e and detect  the blobs in  the grass  area a n d calculate th e b l ob  area  ratio  as fo llo ws:              (1 5)     In  w h ich     is th e set of  h o l es in  th e ith   fram e  an d C sh ow s t h e nu m b er  of   h o les.  To calc u late the edge  ratio  we  canny  edge  de tection on  gray level fram e.          (1 6)     We  use t h e foll owi n g equation to calcu late  Energy  of NSPD in each s hot:        , | |    (1 7)     Param e ters s and e s p ecify the be ginnin g a n d e n d  o f  t h e s h ot respect i v el y .   Evaluation Warning : The document was created with Spire.PDF for Python.
I J ECE   I S SN 208 8-8 7 0 8       Goa l  Detectio in  S o ccer  Vi d e o :   Ro le-Based Even ts Detectio Ap p r oa ch   (F a r sh a d  B a ya t)   98 5     Fi gu re  7.  Di a g r a m  of  Sh ot  C l assi fi cat i o n       5.   DETECTION OF  GOAL E V ENT   We  d e tect go al ev en ts  u s i n sem a n tic u n its. Th es e un its are ob tain ed   h i er arc h i cal l y  an by  usi ng  im age processi ng techniques.  The  high -l e v el  uni t s   a r e descri bed   bel o w .     5. 1 Detec t i o n  of   G oal m o u t h   Thi s  pape r has use d   t h e p r ese n t e d way s   i n   [ 12]  fo r det ect i o n   o f  goal m out h whi c i s   c o m pos ed o f   t h e   follo win g  t h ree  stages:   1.   First,  we app l y to h a t tran sfo r m a tio n  (THT)  o n  th e  frame. T h is tra n sform a tion leads t o  inc r ease  of  wh ite co l o r in t e n s ity an d  th erefore th e edg e s o f   g o a lm o u t h  will b e  m o re sp ecific and  fo r a b i n a ry   im age, a self-a daptive  thres h old can be  used.   2.   Th e wh ite v e rt ical lin es in  th im age are extracted as the  prope r can di d a t e  for t h g o a lm out h as   fo llows. V ind i cates v e rtical  wh ite lin es.      , 1  , , ∈ , , 1 0   ,          .   (1 8)      ,  1,    1 0 , 1 0 ,∀ 10, 10 ,   ,  0   ,   .   (1 9)     In  t h e a b ove  eq uat i o n ,   VL x  indicat es the  vertical l i nes.  3.   Tw o l i n es t h at  hav e  t h fol l owi ng t e rm s are sel ect ed as  t h e l i n es  of  g o al m out h f r om  am ong t h e   vertical lines e x tracted in ste p  2.     20 0 . 3 2 0  0 . 4 0.5  , 2 0 0 |   | 2 0 1 0 . 3 0.5              (2 0)     H an W, res p ect i v el y ,  det e r m i n e t h e wi dt h  and  hei g ht  pi x e l s  and Li  sh o w s t h e am ount  of pi xel s  i n   each line ,  D s h ows  the  horiz o ntal  distance  between t h e t w o lines,   and   , res p ectively,  pres ents the  hi ghes t   an d l o w e st  positio n   of  lin e,  an  represen ts th o v e rlap  o f  th e two lin es in the  ve rtical directi o n.  By  form ing the  s m allest rectangle  b y  th e t w o   v e rtical lin es, C  ( , ) is t h e  center  of t h e  rectangle t h at    represen ts th e wid t h  of th e cen ter of th e rectang l e.  Th e p r o c ess o f   go alm o u t h  d e tectio n  is illu strated  in    Fi gu re 8.       Evaluation Warning : The document was created with Spire.PDF for Python.
                        I S SN 2 088 -87 08  IJECE Vol. 4, No. 6, D ecem ber 2014   979 – 988  98 6 5.2 Detec t ion of  Center of  the  Field  Sho t s related t o  th e cen ter  o f   th e field  are  com posed  of t w o m a in com p onents:  1.   Ex isten ce  of el lip se in  t h e im a g 2.   Ellip se  cu t b y  a  lin Th ere are d i fferen t  ways to   su rv ey ellip se su ch   as Least-Squ a res Fitting  (LSF) [13 ,  14 ], Inv a rian Pattern   Filter (IPF)  [15 ]  an Ellip se Hou gh transfo r m   (EHT)  [16 ] . In  th is p a p e r we h a v e  u s ed  th e Houg t r ans f o r m   m e t h od , a n d  ha ve m a de  bi na ry  i m age as  f o l l o w s , t o   obt ai n  bet t e r   resul t s .       (E)     (D )     (C)     (B)     (A )     Fi gu re  8.  St age s  o f   goal   ba r e x t r act i o n:  ( A )  t h e m a i n  im age, (B )  ap pl i cat i on  of  EH T,  (C m a ki ng i m age  bi na ry , ( D ) ca n d i d at es  of  ve r tical lines, (E) goal ba [12].      First, we calculate th e Eu clid ean  distance of the correspondi ng fram e re lativ e to  g r een co lo r, th en,  appl y  ca nny  e d ge  det ect i o n  al go ri t h m  on i t .         (C)     (B)     (A )     Fi gu re  9.  Pr oce ss o f   pre p a r i n g  a bi nary  i m age ( A ) t h e m a in im age (B) E u cl idean  d i stan ce relativ to  pu re  gree c o l o r (C )   ap pl i cat i on of  canny   e d ge det ect i on.       El im i n at e part s wi t h  dense e d ge an d ap pl y  EHT al g o ri t h m   on i t ,  aft e r cre a t i ng a bi na ry  im age. Thi s   p r o cess is sh ow n  i n  Figu r e   9. A p p l y lin ear   H oug h  tr an sf o r m a ti ons o n  t h e bi nary  i m age created in last stage   and fi nd the lines’ candidates. If there is  a li n e  in  th e cand i d a tes th at its a n g l e with  th ho rizo n t al ang l e o f  the  ellip se is ab o u t 9 0 ,  and  th d i stan ce b e t w een  th e cen ter  o f  th e ellip se an d  th p e rp en d i cu lar lin e to  th can d i d a te lin e is lo w, th e shot is co n s id ered as th g a m e  start.Wh en  a goal o ccu rs, g a m e  will b e  in terru p t ed   for a  few m i n u tes. Th is in terru p tion  is  u s ed  to   show  t h hap p i n e ss  of a udi e n ces a n d r e pl ay  of  g o al   even t .   Thus, after a goal shot the r e is usually a close-up shot , audi e n ce sh ot  and re pl ay  sh ot. The states after goal   o ccurren ce are illu strated  in   Fig u re 10 . To   d e tect g o a l ev en t, we find  th e p a rts th at at le ast o n e  o f  th ab ov m odes has  bee n  i n  t h e s hot  c h an ge.  I n  t h e  c a se t h goal m out h i s   det ect ed  i n  t h e m i ddl e s hot  a n d gam e  st art  i s   det ect ed a f t e m odes i n  Fi gu r e  1 1 we  de not e t h at  m i ddl e shot  a s  t h e  g o al   event .       6.   E X PERI MEN T AL RES U L T We ha ve us ed  several s o ccer  gam e s’ videos  available  on internet to test this approac h . T h ese vi deos   are  recorde d  from  TV c h annel and  with t h e rate  of  25  f r a m e s per  sec o nd . T h e  ex peri m e nt  i s  com p o s ed  of  three pa rts. In  the first pa rt, we ha ve eval uated det ection of  s hot bounda ry. W e   ha ve s e parate d vide o pieces   wi t h  ap p r o x i m at el y  3,37 fra m e m a nual l y   and  ha ve com p are d  wi t h  ap p r oac h es  prese n t e d i n  t h pape r. T h e   r e su lts ar e show n in   Tab l 1 .     Evaluation Warning : The document was created with Spire.PDF for Python.
IJECE   ISS N 2088-8708      Goa l  Detectio in  S o ccer  Vi d e o :   Ro le-Based Even ts Detectio Ap p r oa ch   (F a r sh a d  B a ya t)   98 7     Fi gu re 1 1 . Di f f e rent   s h ot   t y pe st at es  aft e r go a l   occu rre nce .       The e v aluation criteria are  de fined a s  follows      ,         (2 1)     In  w h ich    shows t h num ber of c o rrect case s  t h num ber  of  m i ssed cases an  indicates the   num ber of false cases.As you can see, the recall criterion  and  precision criterion are  acceptable.The results of  evaluating shots’ classification int o  four classes of fa r view, middle  view, close and audience  view are   prese n t e d  i n  T a bl 2. T h e  res u l t s  are  desi rab l e an d sat i s fact ory .  The  fi nal   resul t s   of   goal   det ect i o n  are  s h o w n   in Ta ble 3.  As  it can be  see n the precision c r iteri on is alm o st 92%, a n d the recall m easure is 78%.      Tabl e 1.  E v al u a t i on of   sh ot  b o u n d ary  det ect i on.   Precision   Recall    Clips    Match  N O   0. 90   0. 94    31    17    287    21    1    0. 89   0. 94    26    12    215    19    2    0. 87   0. 92    26    14    183    17    3    0. 94   0. 89    10    21    167    16    4    0. 89   0. 91    19    15    161    16    5    0. 93   0. 91    11    14    143    15    6      Tabl 2. E v al u a t i on  of  sh ot  cl assi fi cat i o n   Precision    Recall    Shot T y pe 0. 82    0. 86    61   59   350   L ong   0. 88    0. 87    34   36   242   Med i u m   0. 87    0. 90    29   21   198   Close   0. 94    0. 88    5   11   84   Audience         Tabl e 3.  E v al u a t i on of   g o al  d e t ect i o n   6   5   4   3   2   1 Match  N O   2   4   3   5   3   7   Total Goal     1   2   3   4   3   6   Correct    1   2   0   1   0   1   Miss    0   1   0   0 0 1   False   0. 5   0. 5   1   0. 8   1   0. 86    Recall   1   0. 67   1   1   1   0. 86    Precision       7.   CO NCL USI O N   A ne w ap pr oa ch f o r s hot  b o u n d a r y  separat i ng an d cl assi fy i ng  was p r e s ent e d i n  t h i s   pape r.  We  id en tify th e goal sh o t s b a sed   o n   h i gh -class se m a n tic u n its ex tracted   fro m  v i d e o. As it is sh own  in  th e resu lt   eval uat i o n sect i on, t h e al go ri t h m  based o n  t w feat u r es o f  di ssi m i l a ri t y  of  gree n col o r rat i o cha nges a n d  col o r   in ten s ity ch anges and with th e h e l p   o f  self-adap tiv e t h re s h ol d, t h res u l t s  o f  s hot  b o u n d a r y  ha ve t h e  a d e quat e   precision a n d recall.  W e  can  also det ect goa l  events  with pr o p er  p r eci si o n  by  creat i n g se m a nt i c  uni t s  a nd  by   using sem a ntic struct ure  of the gam e . Th goal of  obtained res u lts is acce pted.      REFERE NC ES   [1]   S . F .  d e  S ous a  J ú nior,  A.  de   A   Araújo , D.  M e no tti , "An  overv iew   of au tom a ti c  eve n t d e te ct ion  in  s o ccer  m a t c hes " ,   Applications of   Computer Visio n  (WACV), 2011  IEEE Workshop on, pp. 31, 38 , 5-7  Jan. 2011.  [2]   T.T .  Pham , T.T .  Trinh, V.H. Vo , N. Q. L y , D.A. Duong, "Event  Retriev a in Soccer Vid e o from  Coarse to Fine  Based on Multi-Modal Approach", Computing and Comm uni cation Technolo g ies, Research , Innovation,  an Vision for th e F u ture (RIVF), 20 10 IEEE RIVF I n terna tional Con f erence on  , pp.  1, 6 ,  1-4  Nov. 20 10.  Evaluation Warning : The document was created with Spire.PDF for Python.
                        I S SN 2 088 -87 08  IJECE Vol. 4, No. 6, D ecem ber 2014   979 – 988  98 8 [3]   J.  Yu,  Y.  He,  K.  Sun,  Z.  Wang,  X.  Wu,  "Semantic Analy s is and  Retrieval of Sports Video", Frontier of Computer   Science  and Technolog y ,  2006 FCST ' 06. Japan - Ch ina Join t Workshop on, pp . 9 7 , 108 , Nov. 200 6.  [4]   T. D’Orazio ,  M. Leo, P. Spagnol o, M.  Nitti, N. Mosca, A. Distante, “A visual  sy stem  for real tim e detection of goal   events dur ing so ccer  m a tch e s”, C o m puter Visi on  and Im age  Unde rstanding, 113(5 ) : 622–632, 200 9.    [5]   A. Ekin, A .  M .   Teka lp, R .  M e hr otra, “ A utom ati c  s o ccer vid e o an al y s is  and s u m m ariz ation , I EEE  Trans a c tions  on  Image Processin g , 12(7): 796–80 7, 2003   [6]   S. Yang, W. Xiangming,  S. Yong, Z. Liang ,  Y. Lelin , L. Haitao,  "A Scoreboard Based Method for Goal Events   Detecting in Football Videos",  Dig ital Media and Digital Content Manage ment (DMDC M ), 20 11 Workshop  o n  ,  pp. 248 , 251 , 15 -16 May  2011 [7]   M. Hung, C. Hsieh, "Ev e nt D e tection  of  Broad c ast Baseball Vi d e os", Circuits and  S y st ems for Video Technolog y ,   IEEE Tr ansactio ns on , vol. 18,  n o . 12 , pp . 1713 1726, Dec. 2008 [8]   P .  S h i, Y. Xiao-qing, "Goal Eve n t Detect ion in S o ccer  Videos Using Multi-Clues De tect ion Rules", Managem e nt  and Service Science, 2009. MASS ' 0 9 .  Internatio nal C onf eren ce  on, vol., no., pp 1, 4 ,  20-22  Sept. 2009.  [9]   L.H. Yong, H.  Tingting ,  "Integ rating Multip le  Feature  Fusion for Sem a ntic E v ent Dete ction i n  Soccer Video " Artificial Intellig ence, 2009 . JCA I   ' 09. Intern ation a l Join t Conference on , pp . 128 131, 25-26  April 2009.  [10]   M . H. Kolekar ,   K. P a lan i appan ,   "A hierarch ic al f r am ework for s e m a ntic s c ene  cla s s i fication  in s o c cer s ports  vid e o" ,   TENCON 2008  - 2008 IEEE Region 10 Conf er ence, pp. 1, 6, 19- 21 Nov. 2008 [11]   X. Gao, X. Tan g , "Unsupervised vide o-shot  seg m entation and model-free an ch orperson detection for news video   stor y  p a rsing",  Circuits  and S y s t ems for Video  Techno lo g y , I E EE Tr ansactions  on , vol. 12 , no . 9, pp . 765 , 77 6,   Sep. 2002 [12]   Y.  Yang,  S.   Lin, Y.  Zhang,  S.   Tang,   "Highlights  extra c tion  in soc cer vid e os  based  on goal-mouth  detection" , Sign al  Processing and  Its Applications,  2007.  ISSPA 2007. 9th  International S y mpos ium on, pp. 1, 4,  12-15 Feb. 2007.  [13]   A. Fitzg i bbon,  M. Pilu, R.B .   Fisher, "Direct  least squa re fitting of  ellipses", Pa ttern Analy s is and Machin Intelligen ce, IEEE Tr ansa ctions o n  , vol. 21, no.  5, pp. 476, 480, May  1999.  [14]   W. Jianping, " R obust Real-T i m e  Ellipse Det ect ion b y   Di rect L east-Square-Fitting" , Com puter Sci e nce  an Software Eng i neering, 2008 In ter n ation a l Conf erence on  , vol. 1 ,  p p . 923 , 927 , 12- 14 Dec. 2008 [15]   T. J. Atherton,  D. J. Ke rby s on , “Size invarian t circ le detection”, Image and Vi sion Computing, 17(11): 795–803,  1999.  [16]   X. Yu, H.W. Leon., C. Xu, Q. Tian , "A robust  Hough-base d algorithm for partial ellipse detection in broadcas soccer video" Multim edia and  Expo, 2004. IC ME ' 04. 2004 I EEE Int e rna tion a l Conferen ce o n , vol. 3, no ., p p 1555, 1558 , Vol. 3, 30-30 June 2 004.    Evaluation Warning : The document was created with Spire.PDF for Python.