Indonesi an  Journa l  of El ect ri cal Engineer ing  an d  Comp ut er  Scie nce   Vo l.   1 3 ,  No.   1 ,  Jan uar y   201 9 ,   pp.  1 8 6 ~ 1 90   IS S N: 25 02 - 4752, DO I: 10 .11 591/ijeecs .v1 3 .i 1 .pp 1 8 6 - 190          186       Journ al h om e page :  http: // ia es core.c om/j ourn als/i ndex. ph p/ij eecs   Key fr am e extr action usi ng hybri d algo rith m of  dy namic     sign l anguage       Hussein  Ali A ldel fy 1 , M ah m ood H amz a Al - M uf r aj i 2 , T h amir  R.   Sa ee d 3   1,2,3 Depa rtment   o f  Elec tr ical Engi nee ring ,   Univ ersity   of   T ec hnolog y ,   Ir aq   1 Facul t y   of Engi nee ring ,   Univ ersity   of   Mus ta nsiri y ah ,   B aghda d ,   Ir aq       Art ic le  In f o     ABSTR A CT    Art ic le  history:   Re cei ved   J un   10 , 2 018   Re vised N ov  19 , 2 018   Accepte d Nov  30 , 201 8       Video  sum m ari za t ion  used  in   m an y   applicat ions  such  as  vide o  object   rec ogni ti on  and   cl assifi cation.  Diffe ren t   m et ho ds  used  for  this   purpose:    ke y   fr ame  ext r a ct ion  using  edg e  det e ction  and  ke y   fr ame  ext r a ct ion  using  discre t e  wave let   tra nsform   (D WT ).   In  vide o   proc essing,   num ero us  fra m es  cont a ini ng  sim ilar  informati on ,   thi s  le ads  to  tim e  consum pti on  and  slow   proc essing  spee d  and  complexi t y .   New  m et hod  Hy br id  DW T - Edge   Ke y   Fram e  Dete ctio n  (HD EKFD )  o f  d y n amic  sign   la nguag e  pre se nte d  in  th is  pape r.   Thi s  m ethod  comb ine d  t wo  al gorit hm s  edge   detec t ion  a nd  DW T  to  inc re ase   proc es sing  spee d  b y   red uce   th e  num ber s  of  red undant   fra m es.   Sim ula ti on  resul ts  il lustr at e   the  eff icient  of  th e  proposed  al gori t hm   compare   to  oth er  m et hods .   Ke yw or ds:   D WT   Ed ge dete ct ion   Hybr i d   Key  f ram e   Vide o   Copyright   ©   201 9   Instit ut e  o f Ad vanc ed   Engi n ee r ing  and  S cienc e .     Al l   rights re serv ed.   Corres pond in g  Aut h or :   Hu s sei n Ali  A l delfy ,   Dep a rtm ent o f El ect rical  En gi neer i ng,    Un i ver sit y o f Te ch no l og y,  Ir aq.   Em a il :  hu ssien al du lfy @ gm ai l .co m       1.   INTROD U CTION     To  extract  vali d  inf or m at ion   from   vid eo,   wi thout  any  loss  of   in form at ion ,  m uch   at te ntion   is  bein g  paid  to  vid e o  processin g  te chnolo gy .   F or  this  Key  Fr a m e  is  ver y  us efu l  te ch nique .  Extracti ng  a   s m al l   nu m ber s  of  ke y  fr am es  that  can  a bs tract   t he   co ntent  of  vi deo  is  ver y  im portant  for  e ff i ci ent  bro wsing   an d  retrieval  in  vide o  databas e.  V ideo  proce ssin g  te chn i qu es  c an  be  us e d  to  r e m ov e  redu ndant  fr am es  fr om   vid eo   so   that  it   will   so lve  the  prob l e m   of   the  data  storag e  [1 ] .  K ey   fr am e   extracti ng   base d  on   threshold  te ch niqu e   wh e re  the  cal culat ed  thres hold  is  br ou gh t  out  in  com par ison   with  the  dif fer e nce  histo gra m   of   the  i m a ge  [2 ] .   An   e ff ect i ve  a nd   e ff ic ie nt  co ntent  ba sed  ke y  fr am e  detection   m et ho d  ba sed  on   c onte nt   analy sis  an d  f eat ur e   detect ion   f r om  key  fr am e  pr opos e d  in  [ 3].   Sele ct   and   ex tract   key  fr am es  from   new s  vid e o  shot  bas ed  on   dissim il arit y  between  each   pa ir  of  c onsec utive  f ram es  was   prese nted  i n  [ 4].  Anothe r  a ppr oac h  for  key   fram e s   extracti on  f rom   vid eo  base d  on  Fa ber - Sc haude r  coe ff ic ie nts  an d  si ng ular  value  dec om po sit ion   presented     in  [5 ]   thr ough   the  key  fr am e  sequ e nce  de te ct ion   and   id entifi cat ion ,  th e  sign   la ngua ge  can  be  ra pi dly  recog nized.   At  the  sa m e  tim e ,  sign   la ngua ge   is  a  way  fo r  deaf   people  to   com m un ic at e   and   e xch a nge  ideas   thr ough  fi ng e r   al ph a bet  a nd  gestu res  i ns t ead  of   la ngua ge  [ 6].  Key  f ram e  extracti on   m et ho d  bas ed  on   un s uper vise d  c lusterin g  a nd  m utu al   com pa ri son  wer e   de ve lop e d  i n  [ 7].  A  m et ho d  of  key  f ram e  extracti on   us in g  thres holdin g  of   a bs ol ut e  diff ere nce  of   histogram   of   c on s ecuti ve   f ra m es  o f  vid e o  da ta   was  pr op ose d  [8 ] .   Key f ram e extracti on  m et ho d usin g D WT wa velet  stat ist ic s w as  pro po se d  i n  [ 9]. T he key   fr am es are found b y   com pu ti ng   t he  edg e   dif fe ren c e  betwee n  t he  consecuti ve   f ra m es  and   t hose  fr am es  exceedi ng  the  t hr es hold  are   cons idere d  a s  key f ram e [1 0] .   In   t his  stu dy,  a   Ne w  Me th od   Hybr i d  D WT - Ed ge  Key  Fr a m e  Detect ion   ( HD E KFD )  of  dynam ic   sig n  la nguag e  is  pro po s ed .  This  m e thod  com bin ed   two  al gorithm s  edg e  detect io n  an d  D WT  to  increase  pr oce ssin g  sp ee d  by  reduc e  the  num ber s  of   redu nd ant  fra m es.  Si m ulatio n  res ults  il lustrate   the  ef fici ent  of  the  pro pose d  Evaluation Warning : The document was created with Spire.PDF for Python.
Ind on esi a n  J  E le c Eng &  Co m p  Sci     IS S N:  25 02 - 4752       Ke y fram e  extr ac ti on usi ng  hy br id  a l go rit hm  of  dy namic  sig n  la ngua ge  ( H us sei n Al i Al de lf y )   187   al gorithm   co m par e  t o  oth er   m et ho ds.  T his  pap e r  is  orga nized  as  fo ll ows .   Sect ion   2  s ho ws  s om e  m e tho d  f or   key  f ram e  extracti on .   Sect ion  3  prese nts   the  pro posed   m e thod,  a nd   Sect io n  4  bri e fly   disc us se s  the   exp e rim ental   resu lt s  an d  S ect ion   5  is  the  c oncl us i on   of   t hi s  stud y  in  c ompare  with  the  D WT  wa velet   m et ho d  and the  Ed ge d et ect ion  m et ho d.       2.   GENER AL  M ET HOD S  FO R  KE Y  F R A ME E X T RAC TION   This secti on  de scribe d  s om e o f gene ral m et ho ds u sed  for ke y fr am e extracti on :      2 . 1.       Ke y Fra me Ex tra c tion B as ed  on  DW T Wa velet  Sta tistics:   The  first  ste p,   t he  vid e o  fr am es  are  rea d  a nd,  then  t wo  c on se cutive  fr am es  trans f or m ed  with  D WT  t o  ob ta in  f our  sub  b a nds,  LL ,  HL,   L H,   a nd  HH.  O nly  thre e  su b - bands,   H L,  LH ,  an d  H H  a re  us e d  to  detect   key  fr am e .  Fo r  eac h  sub  ba nd  dif fer e nt  value  is  est i m at ed  by  s ub t racti ng   detai l  co m po ne nt  va lues  of   c urr e nt   and  nex t  fr am e as s how n  in   E qu at i on 1 .     ( ) = ∑ ∑ (  + 1 ( , ) −  ( , ) ) = 1 = 1   = 1 , 2 , 3   (1)     wh e re  i   an d  j  a re  nu m ber s   of   row  a nd  c olu m n,     are  t he  HL ,   LH   a nd  HH  ba nd  of  gray   im ages    and    + 1   are  the  HL,   L H  an d  HH   ba nd   of   gray   i m ages  + 1 .  I n  the  sec ond  s te p,   m ean    and   sta ndar d  dev ia ti on    are c al culat ed  f r om   ste p on e  u si ng  diff e re nce  valu es of s ub ban ds  E quat io n 2 a nd  E quat ion 3 .     = ∑ ( ( ) ) − 1 = 1 − 1   (2)     =    [ ∑ ( ( ) − ) 2 − 1 = 1 − 1 ]   (3)     The   thir d  ste p,  th res ho l d  val ue  fo r   each   s ub  ba nd  is   com pu te d  by  E qu at ion   4 .   th e  la st  ste p  a  com par ison   be tween  th res ho l d  an d  di ff e rence   values  the n  if  two  di ff e rence   values  of   a ny  two  s ub   ba nd s  a re   gr eat er  tha n  ea ch r el at ed  th res ho l d ,   t he  la st  fra m e con si der e d  as  a  key f ram e.     = + .     (4)     2 . 2 .      Ed ge De tection   In   this   m et ho d  the  vid e o  strea m   is  ta ken   as  inpu t  co nvert  in to  dif fer e nt  im ages .   M Af te r  t his  i m age  is  conve rted  i nto   edg e   detect e d  us in g  of  one  of  the   ed ge  dete ct ion   m et ho d.  Ca nn y  detect io n  m et ho d  is  us ed  in   thi s  ph ase  of   key  fr am e  ext racti on .   Af te r   that  the  edg e   diff er ence  be tween  tw o  s uc cessi ve  fr am es  are   cal culat ed   and  in  this  way  t he  dif fer e nce  betwee n  al l  fr a m es  is   cal cu la te d .   The n  th e  total   accu m ulate d  diff e re nce  is  ta ken   a nd  by  us in g  that  the   m ean  of   t he  total   vid e o  is  cal culat ed.   Af t er  that  the  st a nd a r d  de viati on  is  ca lc ulate d .  T he  t hr es hold  is  cal culat ed  dep e ndin g  on  m ean  and   sta ndar d  de viati on   cal c ulati on   then  if  t he  dif fer e nce  betwe en  tw o  s ucces sive  f ram es  is   gr eat e r  tha n  the  th reshol d  va lue  the   key  f ram e  is   extracte d.  Fi gure  1  s how  t he  f lowc har t  for  ke y  fr am e  extracti on   us i ng  D W T  m et ho d.   Fig ur e   2   sho ws  t he   flo w   char t  of the  ke y fr am e extracti on   base d o n  e dg e  d et ect io n m et ho d.       3.   PROP OSE D MET HO D  H YBRID  DWT - EDGE  KEY   FRAME  DET ECTION   The  propose d  m et ho d  Hyb rid  D WT - E dg e  Key  Fr am e  Detect ion   ( HD E KFD)  c om pr ise s  two  ph a se ,   the  fir st  phase   is  the  key  f ram e  extracti on  ba sed  on  discrete   wa velet   m et h od.  T he  outp ut  file s  f r om   this   phas e   is  ta ken   as  input  to  the  second  phase  that  ke y  fr am e   extracti on   base d  on   edg e  detect io n  as  show n  in  fig ur e .   Figure  3  s how   the the  bloc k d ia gr am  o f key  fram e extracti on   base d on ( H DEKFD )  m et ho d.     Evaluation Warning : The document was created with Spire.PDF for Python.
                          IS S N :   2502 - 4752   Ind on esi a n  J  E le c Eng &  Co m p  Sci,   Vo l.   1 3 , N o.   1 ,  Ja nu a ry  201 9   :   1 8 6   –   1 9 0   188       Figure  1. Flo w char t  for key  fr a m e extracti on u si ng DWT m et hod.   (Phase  1)           Figure  2. Flo w char t  for key  fr a m e extracti on b ase d o n  e dg e  d et ect io n  m eth od  ( ph ase  2)   Evaluation Warning : The document was created with Spire.PDF for Python.
Ind on esi a n  J  E le c Eng &  Co m p  Sci     IS S N:  25 02 - 4752       Ke y fram e  extr ac ti on usi ng  hy br id  a l go rit hm  of  dy namic  sig n  la ngua ge  ( H us sei n Al i Al de lf y )   189       Figure  3.   The   blo c k diag ram   of k ey   fr am e extracti on  base d o n (HDE KFD )  m et ho d       4.   THE  E X PE RI MENT AL R E SU LT S   In   this  sect io n  of   r esearc h  is  ind ic at ive  words  belo ng   t o  De af  an d  dum b  peo ple,  t hese  w ords  we r e   colle ct ed  in  A rab ic   la ngua ge   an d  I ra qi  dial ect   and  in div i du al   w o r ds   i n  colla borati on  with  I ra qi  Mi ni stry  of   la bour   a nd  S oc ia l  Af fairs .  Mo re  tha n  f or ty   w ords   sig nalle d  ta sk   in  de al ing  on e  w ord  is  use d  as  a n  exa m ple,  water  word   IS  us e d  as  in pu t s  to  the  propo sed  syst em   al s o  bee n  us in g  MATLAB  pro gr am   2013b  i n  the   i m ple m ent at io n  of   t he  propo sed  al go rithm .   The  water  vide o  is  11.9  MH z  an d  5  sec on d  ti m e  le ng th  and  30   fr am e  /se c .   Th e  com par at ive  resu lt s o f  key  f ram e  extracti on   ba sed  on  ( H DEKFD )  m et ho d  with o the r  m et ho ds   is i ll us trat ed In   T able  1 .       Table  1.  C om par at ive  Re s ults   Metho d   No   o f  f ra m es in  vi d eo   Key  f ra m e  No   Discrete  Wav elet  m e th o d   174   34   Edg e detectio n   m e th o d   174   27   (HDEKF D )  m eth o d   174   10       The  key  f ram e  extracti on  of  D WT  wa vel et   m et ho d  sho wn   in   F ig ur e  4 .  T he  num ber   of   im ages    about  34  im age.  Fig ure  5   s ho ws  t he  key  f ra m e  extracti on  base d  on  ed ge  detect ion  m et h od  an d  t he  nu m ber   of   i m ages  resu lt e d  ab out  27   im a ges .   Fi gure  6   s hows  the k ey   f ram e  extracti on   base d  on   the ( H DE KFD)  propose d  m et ho d  a nd t he  num ber  of im ages  res ulted a bout  (10) im ag es .           Figure  4.   Key  f ram e  extracti on   base d on disc rete wa velet  m et hod       Evaluation Warning : The document was created with Spire.PDF for Python.
                          IS S N :   2502 - 4752   Ind on esi a n  J  E le c Eng &  Co m p  Sci,   Vo l.   1 3 , N o.   1 ,  Ja nu a ry  201 9   :   1 8 6   –   1 9 0   190       Figure  5.   Key  f ram e extracti on   base d on Ed ge  d et ect io n  m eth od           Figure  6. Key  f ram e extracti on   base d on H D EKFD m et ho d       5.   CONCL US I O N   In   this  pap e r  key  fr am e  extracti on   base d  on   (HDE KFD )  m e tho d  is  presente d .   T he  Aim   of   this   m et ho d  is  to   reduce  the  r edun dan t  f ra m es  that  can  le ad  dim ensi on al it y  reducti on   of  feat ur e   vector  cl assifi cat ion   of  an  isolat ed  A rab ic   w ord  for   deaf   a nd   du m p  pe ople s.   Acc ord in g  to  the  e xp e rim ental   re su lt s ,   the  (HDE KFD )  Me thod  is  ef fecti ve  in  re duct ion   of  key  fra m es  in  co m par iso n  with  tw o  m e tho ds  an d  this  resu lt   le a ds   t o  an  e ff ect ive   re du ct io n  in  ti m e   co nsum ing   in  processi ng  tim e  an d  re du ct io n  of  sto rage  ca pacit y .   As  our  f uture  work,  we  will   con ti nue  in  ou r  researc h  f or   patte rn   rec ogni ti on   o f  sign   la ngua ge  base d  on   th e   resu lt ed  k ey   fra m es f r om  a u sed vide o  cl ips .       REFERE NCE S    [1]   Am it kum ar  M.  Satput e ,   K.  R.   Khada rka r ”  Video   Summ ari za ti on  b y   Removing  Duplicate   Fram es  from   Surveil la nc e  Video  Us ing  Key fr ame   Ext r ac t io n”  Inte rn ational   Journal  of  Innov at iv e  Rese arc h  i n  computer   and  Com m unic at io n   Engi ne eri ng ,   Vo l . 5, pp . 8501 - 850 9,   Iss ue  4 , April   2017.   [2]   Sanjo y   Ghat ak,   “ Ke y   –   Fram e  Ext racti on  Us ing  Thre sholdt ec hni que ” ,   Int ern a ti on al   journal  of  Eng ine er ing  Applie d   Scie nc es  and   Technol og y ,   Vol.   1 , Iss ue  8,   ISS N No.2455 - 2143,   pp . 51 - 56,   2016.   [3]   Zhe n y u  W u,   Rui quing  W u , Hon  gy ang   Yu,  Bin  Tang  “ Ke y   Fram e  Ext ra ct ion  Towa rd s  Kerne l  – SIF T  Ide nt ifi c ation ”   Inte rna ti ona l  Confer ence  o n  Advanc ed   Com pute r  Scie nce   and  El e ct ron i cs  Infor m at ion,     pp. 163 - 166 ,   (IC ACS EI  2013).   [4]   Sanjo y   Ghata k ,   Debotosh  Bhat t a cha rj ee   “ Extrac tion  of  Ke y   Fram es  from   News   V ide o  Us ing  EDF ,   MD F  AN D  HI   Method  for  News   Video  Summ ari zation  “   Inte rn a ti onal   Journ al   of   Engi ne eri ng  an d  Innova ti v e  Technol og y (IJEIT ) ,   Vol  2, pp . 188 - 19 4 ,   Iss ue  12 , June  2013.   [5]   As s m a  Aze roua l ,   Kari m   Afdel ,   El   Haj ji   Moham ed  Hass an  Douz i  “   Ke y   Fram e  Ext ra ct ion   using   Faber   – Sch aud er  W ave le t ”   Advan ce s in   informat io n  s ci en ce a nd   co m pute r  Engi n ee r ing .   pp . 317 - 322,   2015.   [6]   L.   Shurong,   H.  Yuan y u an,   H .   Z uoji n,   an d  D .   Q un,   "K e y   Fram e   Detect ion   Algo rit hm   base d  on   D y namic   Sign   La nguag e  Video   for  the   Non  Sp ec if ic   Popul at io n, "  Inte rn at ion al  Journal  of  Sign al   Proce ss ing ,   I m age   Proce ss ing   and  Pat te rn   Recogniti on,   vol .   8 ,   pp.   135 - 148 ,   20 15.     [7]   N.  J.  Janwe  an d  K.  K.  Bho y a r,   "V ide o  Ke y - Fram e  Ext racti o n  using  Uns up erv ised  Clust ering  and  Mutual  Com par ison,"  In te rna ti ona l  Journ al   of   Im age Proc essing  (IJIP ),   vol .   10 ,   p .   73 - 84 ,   2 016.   [8]   C.   Sheen a  and  N .   Nar a y ana n ,   "K e y - fra m e  Ext ra ction  b y   Ana l y s is  of  Histograms   of  Video  Fram es  Us ing  S ta ti sti cal   Methods, " Procedia   Com pute r   Sc ie nc e, vol .   70,   p p.   36 - 40 ,   2015 .   [9]   K.  T.   Ti n t  and  K.  Soe,   "K e y   fr ame  ext ra ction  for  vide o  sum m ari za ti on  using  DW T  wave let  statist ic s,"  Inte rn at ion al  Journal  of  Advanc ed  Res earch  in  Com pute r  Engi n ee r i ng  &  Te chno log y   (I JA RCE T),   vol .   2,   p p.     pp:  1829 - 1833,   2013.   [10]   K.  Khurana   and   M.  Chand ak,  "K e y   fra m e  ext ra ct ion  m e thodol o g y   for   vid eo  an nota ti on , "  Int ern at ion al   Journa l  of   Com pute r  Engi n ee ring   and   Tech nolog y ,   vo l. 4, p p.   221 - 228 ,   201 3.   Evaluation Warning : The document was created with Spire.PDF for Python.