Indonesian J ournal of Ele c trical Engin eering and  Computer Sci e nce   Vol. 2, No. 1,  April 201 6, pp. 161 ~ 16 7   DOI: 10.115 9 1 /ijeecs.v2.i1.pp16 1-1 6 7        161     Re cei v ed  De cem ber 2 2 , 2015; Re vi sed  F ebruary 27,  2016; Accept ed March 1 0 , 2016   Sparse Modeling with Applications to Speech   Processing: A Survey      AN Om a r a* 1 ,  AA H e fn a w y 1 , Abdelhalim Zekr y 2  1 Computers a n d  S y stems D e p a rtment, Electr onics R e searc h  Institute, Giza, Eg ypt   2 Communic a tio n s and El ectro n ics De partme n t, F a cult y  of Engi neer in g, Ain  Shams Univ er sit y , Cair o, Eg ypt  *Corres p o ndi n g  author, e-ma i l : ahmed _omar a@eri.sci.e g       A b st r a ct   Now adays, the r e has b een  a  grow ing i n ter e st in  the stud y of sparse ap proxi m ati on of  signa ls.   Using  an ov er -complet e dicti onary co nsisti ng of prototyp e sign als or  a t oms, sig nals  are descr ibe d   by   sparse li near  combi natio ns of  thes e  ato m s. Applic atio ns  that us e sp ar se  repr ese n tati on are many and   inclu de c o mpr e ssio n , source  separ atio n, e nha nce m e n t, a nd re gul ari z at i on i n  inv e rse  prob le ms, feat ure   extraction, a n d  mor e . T h is arti cle intro duc es  a literat ure  rev i ew  of sparse c odi ng a p p licati ons in t he fie l d  of  speec h proc es sing.      Ke y w ords : Sp arse mod e li ng,  signa l repres e n tations, sp eec h process i ng         Copy right  ©  2016 In stitu t e o f  Ad van ced  En g i n eerin g and  Scien ce. All  rig h t s reser ve d .       1. Introduc tion  Natural  and   artificial  sensors a r e t he  only tool s  we have  for sensi ng th e  world  and   gatheri ng si g nals of phy si cal proc esse s. The s e sen s ors a r e u s u a lly not aware of the physical  pro c e s s und e r lying the p h e nomen a they  “se e ,” h e n c e  they often sa mple the  sign al with a  high er  rate tha n  the  effective dim ensi on of the  pro c e s s. To  rep r e s ent the  sam p led  dat a efficiently,  we  have to re du ce its di men s ion to b e  e ffective.  In other  words, t he sig nal h a s  to be lin ea rly  rep r e s ente d  with a few p a r amete r s. Su ch repres ent ations often y i eld su peri o r  sign al pro c e s sing  algorithms.  Recent theory inform s us that, with high  probability,  a relatively small num ber  of  rand om proje c tion s of a sig nal ca n co nt a i n most of its relevant info rmation.  One of the e fficient sig nal  rep r e s entati ons  i s  the  sp arse de com p osition. Thi s   type of  sign al  de co mpositio n  h a s re cently received ex tensive  re se arch inte re st  acro ss several   comm unitie s  inclu d ing sig n a l  processin g ,   informat io n  theory, an d o p timization  [1 -3]. Also, th e s e   rep r e s entatio ns have fo un d su cces sful  application s  in data interpretation,  so urce sepa rati on,  sign al de-noi sing, codin g , cla ssi fi cation,  reco gnition,  and many mo re [4].  In  sp arse re pre s entatio n,  the signal  ca n  be  co nstructed  by el ementa r y wa veforms  chosen in a family called a dictionary [5]. T he diction a r y element s a r e called ato m s that may  be  orthog onal  or non-orth ogo nal [6].The ov er-com pleted   diction a rie s   who s e ve ctors a r e la rge r  t han   bases  are  n eede d to bui ld sp arse re pre s entatio ns of compl e x sign als [7]. But choo sin g  is  dif fi cult and requires m o re  compl e x algo rithms.   This arti cle   aims  at pre s entin g an  ove r view of re se arch effort s o n  sparse   decompos i tions  of  speec h  s i gnals .   So, t he  s t ruc t ure  of the artic l e is  as  follows . In Sec t ion II, we  review  the b a si c  d e finitions of  the sp arse c odi ng.  And  we ill u s trate th e m e thod s of  sp arse  optimization probl em. In Section III, we show the  aspect of over-complet e di ctionaries and its   approa che s .  In Sectio n IV , we  illust rat e  the  impo rt ance of  sparse  co ding  in   different  sp e e ch   pro c e ssi ng a pplication s .      2. Sparse M odeling  It was   fi rst introdu ce d in [8], [9] as a method to  fi nd sparse line a r combinatio ns  of basi s   function s to encode nat ural im age s. Sparse repr esentation of signal s is a g r owi ng  fi eld of  resea r ch whi c h aim s  at  fi nding a set of prototype si gnal s calle d atoms  ∈  w h ic h fo r m s  a  diction a ry  ∈   that can  be u s ed to represe n t a  pa rticul a r  set of given  sign als  ∈  by  some  sp arse  linear  com b in ation of the atoms in t he di ctiona ry. Mathematica lly, for a given  set  of  sign als rep r e s ente d   by Χ , we nee d to  fi n d   a suitable  diction a ry   suc h  that    whe r e  Evaluation Warning : The document was created with Spire.PDF for Python.
                             ISSN: 25 02-4 752                   IJEECS  Vol.  2, No. 1, April 2016 :  161 –  167   162 ∈   is  a sp arse vector whi c h contai ns  th e coe ffi cient s f o r the li nea r  combi nation   and  ∈ Χ .    2.1. Non-Co nv ex Sparse Optimizatio n  Problem   The pro b lem  of sparse rep r esentation  can  thus be fo rmulate d  as  a non-co nvex or ( ℓ )  optimizatio n probl em of  fi nd in g  ,   whic h satis fi es     ,  ∶ A r g m i n , ‖  ‖ Subject t o ‖ ‖    (1)   whe r e   is some  prede fi ne d thre sh old whi c h  control s  the  spa r sene ss of the   rep r e s entatio n and  ‖ ‖  denotes the  ℓ  pseu do norm whi c h co unts th e numbe r of  non-ze ro  element s of the vector  . This pro b lem  ca n alternately  be formul ated  as     ,  ∶ A r g m i n , ‖ ‖ Subject t o ‖  ‖    (2)   whe r e   is the  tolerabl e limit of erro r in  re con s tru c tion.  Thoug h the  solution s to Eq .1 and   Eq.2 nee d  n o t be th e  sa me math ema t ically, they  are  simil a r in  esse nce to  what th e  spa r se   rep r e s entatio n probl em ai ms at achi e v ing. This  problem is thu s  involves a  choi ce of the  diction a ry an d a sp arse li near  co mbin ation of t he  atoms in th e  dictiona ry to  rep r e s ent e a ch  desi r ed sign a l .    2.2. Non-Co nv ex Sparse Optimizatio n  Problem   Usi ng the   ℓ norm in th e  sp arse a pproximation p r obl em ma ke s it  a NP -Hard   with a  redu ction to   NP-compl ete  sub s et  sele ction p r obl e m s  in com b i natorial opti m ization.  A conve x   relaxation of the probl em can instea d be  obtained by takin g  the ℓ  norm instead of the  ℓ norm,  whe r e ‖ ‖  ∑  ,  . The  ℓ norm in du ce s sp arsity under  ce rtain  conditio n s [ 10]. The  solution of the convex opti m ization problem will be in  the form of     ,  ∶ A r g m i n , ‖  ‖ Subject t o ‖ ‖    (3)   Or      ,  ∶ A r g m i n , ‖ ‖ Subject t o ‖  ‖    (4)   Efforts devot ed to this p r o b lem have  re sulted  in th e  cre a tion of a  numbe r of al gorithm s  inclu d ing b a si s pu rsuit (BP) [11], matchin g  pursu it (MP )  [12], orthog onal mat c hin g  pursuit (OM P )  [22], s u bs pace pursuit (SP )  [13], [14],  regres s i on shrink age  and sele c t ion (LASSO) [15], focal  unde r-determ i ned syste m  solver  (F O CUSS) [16],  and gradi e n t pursuit (GP) [17]. Sparse   decompo sitio n s  of a  si gnal , however,  rel y  gre a tly on t he d e g r ee  of  fi tting b e twe e n  the  data  an d  the diction a ry , which le ad s to the second  pr oble m , i.e., the issu e of diction a ry de sign.       3. O v er-Com plete Dic t ion a ries   An over-co m plete di ctiona ry, one in  which  th e num ber of ato m s is greate r  than the   dimen s ion  of  the sig nal,  ca n be  obtaine d by eithe r  a n  analytical o r  a le arning -b ase d  ap proach.  The analytical approa ch  generates  the diction a ry based o n  a prede fi n ed mathem a t ical  transfo rm, su ch a s  di scret e  Fou r ier tran sform  (D FT), disc rete c o s i ne  trans f orm (DCT), wavelets   [18], curvelet s [19], contou rlets [20], an d bandel ets  [21]. Such dictionarie s are relatively easy to   obtain and  more  suitabl e for gene ric signal s. In  learni ng -ba s e d  approa che s , howeve r , the  diction a rie s  a r e ad apted from a set of training  data  [8], [9], and [22]-[27]. Although thi s  ma y  involve  high er comp utational compl e xity,  lear ned  diction a rie s  have the  potential to  offer  improve d  pe rforma nce a s  compa r ed  with  pre d e fi ned  di ctiona rie s , sin c e the  atom s  are  derive d  to   captu r e the salient inform a t ion  dire ctly from the sign al s.  Evaluation Warning : The document was created with Spire.PDF for Python.
IJEECS   ISSN:  2502-4 752     Sparse Mod e ling with Appli c ation s  to Speech Pro c e s sing: A Surve y   (AN Om ara )   163 Optimizin g  the di ctiona ry   is a  chall engin g  probl em, and th e  nume r ical strategy   comm only e m ployed  co n s ist s  in ite r at ive algo rith m s  that  start f r om  an initia l diction a ry a nd  alternate b e twee n the followin g  step s [28]:    Sparse co din g : given a  fi xed diction a ry  , the matrix  ∅  of sparse ap proximation co e ffi cient s  is cal c ul ated  usin g any suit able al g o rith m for spa r se  approximatio n.    Dictio nary up date:  given a  fi xed a p p r oxi m ation mat r ix  ∅ , the di ctiona ry   is  upd ated  in orde r  to minimize t he re sidu al cost functio n ‖  ∅ ‖ .  More speci fi cally, several  method s hav e bee n propo s ed to fo rmal ize the  notio n of the  suitability of a dictionary for sparse approximati on. These include the mut ual  coherence [29], the  cumul a tive coheren ce [30 ], the exact recove ry coef fi ci ent (E RC) [30], the sp ark [31], and  the   rest ricte d  iso m etry con s ta nts (RI C s) [3 2], [33 ]. Except for the mutual co heren ce and cumula tive   coh e re nce, none of the s e mea s u r e s  can be ef fi ciently cal c ul ated for an  arbitra r y given  diction a ry.    3.1. Mutual Coher e nc e o f  a Diction a r y   The perfo rma n ce of sp arse  approximatio n  algorithm s  depe nd s on the mutual co here n ce   of the dictionary  de fi n ed a s  the maximum absol ute inner p r od uct  between an y two di ff ere n t  atoms.     ≝m a x  〈 , 〉   (5)   The mutual  coheren ce of a dict ion a ry measures th e simila ri ty betwee n  the dictiona ry's  atoms. F o r  an o r thog on al matrix  ,   0 . For a n  ove r -compl ete ma trix     we   necessa rily h a ve  0 . There i s  an intere st i n  diction a ri es with   as  sm all as p o ssibl e   for spa r se re pre s entatio n purp o ses. If  1 ,  it implies the existence of two parallel atoms,  and this cau s es ambi guity in the con s tru c tion of sp a r se atom comp osition s . In [34] it was sho w n  that for a full rank di ction a ry of size           1   (6)   and equ ality is obtaine d for a family of dictionari e s called Grassmannia n  fra m es. For   ≫  the mutual coheren ce we can exp e ct  to  have is thus  of the orde r o f   1 √ ⁄ .    3.2. Cumulativ e  Coheren ce of a Dic t i onar y   A re fi nem ent  of the cohe rence pa ram e ter is th e   c u mu la tive  co he r e nc e fu nc tio n  [3 5 ] ,   [36]. It measure s  ho w m u ch a  coll ect i on of   atom s can resem b le a  fi xe d, distin ct atom .  Formally [1]     ≝m a x | |  max ∉ |〈 , 〉| ∈   (7)   We pla c e the  convention t hat  0 0 . The sub s cript on   serv es as a mn e m onic that  the cumulativ e  cohe ren c e  is an absol ute  sum, and it distinguishe s  the function   from the  numbe r μ . When the cumulat i ve coheren ce grows slo w l y ,  we say info rmally that th e dictiona ry is  inco herent or  qua si-in c o herent.    3.3. Spark of a Dictionary   The spark of  a diction a ry    is the sm a llest num ber  of colum n s t hat form a li nearly  depe ndent  se t [37]. In-spite the  simil a r  de fi nition, n o te that  spa r k i s  m a rkedly  di fferent fro m  t he  matrix  ran k , being   the greatest num b e r of  line a rly  inde pen dent  col u mn s. A  trivial  relati on   betwe en the  spa r k    and the mutual co h e ren c e   is  [37].      1 1  (8)   Evaluation Warning : The document was created with Spire.PDF for Python.
                             ISSN: 25 02-4 752                   IJEECS  Vol.  2, No. 1, April 2016 :  161 –  167   164 4. Speech Pr ocessin g  Ba sed on Spar se Modeling   Sparse mo de ling ha s ubiq u itous a ppli c ations  in  spe e ch a nd au di o pro c e s sing  area s,  inclu d ing di mensi onality  redu ction,  model re gulari z atio n, spee ch  compressio n  and  recon s tru c tio n , acou stic/a udio fe ature   sele ction,   acousti c m odeli ng, spee ch  reco gnition,  bl ind  sou r ce sepa ration, and m any others. T h is sect io n prese n ts some  efforts on  sp eech processing  usin g sp arse  modelin g.    4.1. Speaker  Identifica tio n   The  autho rs i n  [38] i n trod u c ed  a  novel   method  for spea ker ide n ti fi cation or  det ermini ng  an un kno w n  spe a ker’ s ide n tity based o n  a sp arse  si gnal mo del a nd the u s e o f  Comp re sse d   Sensin g (CS ) . The use  of CS permit s  the use of  less tra n sm issi on po we r for the sen s or  recording  the  voice. A dditionally, this  method  had   been  sho w n  to be  rob u st  to noi se  in  the  recorded  spe e ch  sign al. This is e n cour aging a nd wa rra nts furth e r  investigatio n.    4.2. Speech  Compre ssio n   In [39],  the author present ed the Molecular Ma tchin g  Pursuit (M MP) algorith m  that is  suitabl e for  spee ch  codin g .  The main  g oal of MMP i s  to ma ke a  pra c tical  de compo s ition  such   that at every iteration the  algorithm id enti fi e s  an d remove s a  whol e clu s ter of (orthog o nal)  atoms. At the cost of a sli g ht  sub optim a lity in the approximation e r ror  rate, this  offers a n u m ber   of advantage s, most  notably it is signi fi cantly faster since the i nner p r odu cts update step  is  made for a la rge num be r of atoms at every iterati on. Also, the use  of a Modified Discrete Co si ne  Tran sfo r m (MDCT) for  spee ch codin g  wa s inve st igated in [40 ]. This appro a ch p r od uce s   a   spa r ser  de co mpositio n tha n  the tra d ition a l MDCT -ba s ed o r thog ona l tran sform  a nd allo ws bet ter  codi ng ef fi cie n cy at low bitrates. Contra ry to state- of-the-a r t low bit r ate co de rs,  whi c h are ba sed  on pure pa ra metric o r  hybrid rep r e s entat ions,  the ap proach is abl e to provide tran spa r en cy.    4.3. Blind Source Separ a tion   Und e rd etermi ned  spee ch  sep a ratio n  is a chall engi n g  pro b lem th at has b een  studie d   extensively in recent yea r s. The a u th or in  [56] prese n ted a promisin g met hod to the Blind   Sourc e  Separation (BSS) for s p eech s i gnals  ba sed on spars e  represent ation with adaptive   diction a ry le arnin g . In  a nother  work [58 ], the  author  sho w ed that  the  use  of sp arse  decompo sitio n  in a p r op er si gnal  dictionary p r ovides  high -qu a lity blind so urce sepa rati on.  More over, h e  proved th at the maxi mum a  po st erio ri fra m e w ork  gives the mo st g e neral   approa ch,  which i n cl ude s the situ atio n of mo re  source s tha n   sen s o r s. In  [41], the aut hor  addressed the convol utiv e BSS issue  and suggest ed a soluti on using sparse  Independent  Comp one nt Analysi s  (ICA).     4.4. Speech  Enhanceme n t   Re cently, sp arse  rep r e s e n tation i s   wi dely u s ed  f o r  sp ee ch  p r ocessin g  in  noi sy  environ ment s; howeve r ,  many proble m s n eed to  be solved b e ca use of th e pa rticula r it y of  spe e ch. In [4 2], a n o vel vi ew fo r th e e n han ceme nt of  sig nal s  wa s  applie d  su cce ssfully to   spe e ch  usin g the K - Singula r  Val ue Decomp o s ition Alg o rit h m (K -SVD)  [22]. The K-SVD algo rith m is   desi gne d for  training  an  ov er-com plete  diction a ry  tha t  best  suits  a  set of  given  signal s. Anoth e r  spe e ch e nha ncem ent te ch nique  was su gge sted i n  [5 7] wh en th e a u thor  propo sed a n  exem pl ar- based te chni que for th e n o isy spee ch.  The te chniq u e  wo rks by  fi nding  a sparse rep r e s e n tation  of the n o isy  spee ch i n  a  di ctiona ry cont aining  both  spee ch  and  n o ise  exempl a r s,  and  u s e s   the   activated di ctionary atom s to cre a te a time-varyin g   fi lte r  to enhan ce t he noi sy spe e ch.    A good  effort  wa s d one i n  [43]; the aut hor  pro p o s ed  an effe ctive dual -chan ne l noise  redu ction  alg o rithm b a sed  on sp arse  re pre s entatio ns. The algo rith m is compo s ed of four  ste p s.  Firstly, ove r la pping  pat che s   sam p led  from two  cha n nels togeth e r inste a d  of e a ch  chan nel  one   by one  are  trained to  be  a dictio na ry via K-SVD.  Secon d ly, O M P re con s tru c tion al go rith m is  applie d to  ob tain the  sp arse  co ef fi cient s of  pat che s   usin g the  di ctionary. T h irdly, the de noisi n g   spe e ch can  b e  obtain ed b y  the upd ate d  co ef fi cient s. Lastly, the  above th ree  step s a r e ite r ated   to get clea rer spee ch u n til some  con d itions a r e rea c hed. Experim ental re sults  sho w  that this  algorith m  perf o rm s better t han that with  singl e ch ann el.  Another spe e ch  den oisi n g  metho d  b a s ed   on  gree dy ortho gon a l  adaptive  di ctiona r y   learni ng was propo se d in  [25]. The algorithm  con s truct s  a use r -de fi ne d co m p lete dictio na ry,  who s e  atom s clea rly en co de lo cal p r o p e rties of  the sign al.  The p e rform a n c e o f   the  algo rithm  Evaluation Warning : The document was created with Spire.PDF for Python.
IJEECS   ISSN:  2502-4 752     Sparse Mod e ling with Appli c ation s  to Speech Pro c e s sing: A Surve y   (AN Om ara )   165 wa s compa r e d  to that of the Prin cipal  Compon ent  An alysis  (PCA ) method, an d  it was fou nd t o   give good  sig nal app roxim a tions, eve n   as the  numb e r  of atom s in t he re co nst r u c tions d e crea ses   con s id era b ly; it was also o b se rved that the al gorithm  has goo d toleran c e to noi se, com p a r ab le   to that afforded by PCA.   The enh an ce ment of spe e c h de gra ded  by non- statio nary interfe r e r s  wa s add re ssed in  [55]. The a u thor  presente d  a m ona ural  sp ee ch   e n h ancement m e thod ba sed on spa r se co ding   of noisy spee ch si gnal s in  a com p o s ite diction a ry , co nsi s ting of th e con c ate nati on of a sp ee ch  and i n terfe r e r  dictio na ry, b o th bei ng  po ssi bly ove r -complete. T h e  sp ee ch  dicti onary  is lea r ned   off-line o n  a t r aining  co rp us, while  an  env ironm ent spe c i fi c int e rfe r er diction a ry i s  l earn ed  on-li n e   durin g sp ee ch pau se s.     4.5. Speech  Reco gnition   Most of auto m atic spee ch  recognitio n  ( ASR) technol ogie s  are ba sed on hi dde n  Markov  model s (HM M s),  whi c h m odel a time -v arying  spe e ch sig nal u s in g a sequ en ce  of states, e a c h of  whi c h i s  a s so ciated  with a  distrib u tion of  aco u sti c  feat ure s . While HMMs  rea c h a  relatively hig h   perfo rman ce  in  go od co n d itions,  th ey have  p r obl e m s i n  mo deli ng  wide  vari ances in  nat ural  spe e ch  sign als,  su ch  a s   spe e ch in  natu r al  en vironme n ts  whi c h i s  often inte rfered  by   environ menta l  noise s.   Re cently, so me studi es  [44-45], an d  [51-54] h a ve aimed at  ASR usin g  spa r se   rep r e s entatio ns of sp ee ch.  In them, a time-fre que ncy  representati on of spe e ch is as a  weig h t ed   linear  com b i nation of sp eech atom s. Bene fi t s  of the existing  system s ra n ge from imp r oved   recognitio n  a c cura cy to  an  ea sy in co rpo r ation  of  robu stne ss to  add itive noises.  Some of  the s e   system s con s tru c t the di ctiona ry of atoms to  be  use d  in the  spa r se rep r ese n tation from  exempla r s of  sp ee ch,  whi c h  are  realizations of  sp e e ch  in th e training  data,  spa nnin g  mul t iple  time frames  [54].  Whe n  the we ights of the  sparse rep r e s entati on a r e  use d  directly  in the re cog n ition,  a   fundame n tal  probl em is t he asso ciati on of high er-level inform ation with th e atoms in  the   diction a ry to enabl e the reco gnition. In  [45],  the author trai ned a  neural n e twork to ma p the  weig hts  of th e atom s  dire ctly to phon em e cl asse s.   Where a s in [ 5 3 ], the autho r  asso ciated  e a ch  atom with  on e pho netic  cl as s, and  re co gnition  wa s d one by  fi ndi n g  the ph one me cla s s  with  the   highe st sum  of weig hts. A l so in [5 2], the autho r  u s e d  a di ctiona ry con s istin g   of both a c ou stic  informatio n a nd hig her-lev el pho netic i n formation.  Bu t in [51], the  author u s ed t he ind e x of the  spe e ch atom  with the hi ghe st weig ht as an  a ddit i onal feature  for their Dy namic Baye sian   Network re co gnizer.   Beside  the fo regoi ng effo rts, there a r e  mo re re se arches on spe e c h re cog n ition  ba sed   on spa r se re pre s entatio ns [46-50]. In [46], t he author enh an ced  the Least Ab solute Shri nkage   and Selection Operator (LASSO) algo ri thm for improving the speech  recognition rates. In [50],  the auth o r  used the  sp arse  rep r e s ent atio n to e s timate  the missin g (unreli able )   co efficients of t h e   spe e ch si gn al. In [47], the auth o r  h ad evalu a te d  the sparsity assum p tion s in co rpo r ate d  in  spa r se com p onent analy s i s  in the fram ewo r k of De gene rate Un-mixing Estimation Techni que  (DUET) fo r spee ch recog n ition in a m u lti-sp ea ke r e n vironm ent. In [48], the author p r op osed a  state-b a sed l abelin g for a c ou stic patterns  of spee ch  and  a m e th od for u s ing   this la beling   in   noise robu st  automatic sp eech recogni tion. In  [49],  a fram ework  for an  exem plar-ba s e d , d e - convol utive spee ch re co gn it ion system  wa s pre s e n te d.      5. Conclusio n   This  study  sh eds light o n  t he a pplicatio ns  of  the  spa r se  mo deling   in the field  of  sp ee ch  pro c e ssi ng. A l though  the  sparse  mod e li ng i s  ju st  a   si gnal  de comp osition  techni que, thi s   su rvey  sho w e d  the importa nce of this strategy  in the  spee ch sou r ce sep a ration, spee ch comp ressi on,  spe a ker id ent ification, spe e ch  re cog n ition an d noi se  redu ction.   Not only the sp arsene ss of t h e   rep r e s entatio n plays a  role  in the s e  wid e  appli c atio ns, but also the   choi ce  of the  diction a ry pl a y s  an imopo rtant  role in this variation of the  application s .      Referen ces   [1]    JA  T r opp.  T opics in sp ar se appr o x imat ion.  Ph.D. Di ssertation, Co mputatio nal a nd App lie d   Mathematics, T he  Universit y   of  T e xas at Au stin. 2004.   Evaluation Warning : The document was created with Spire.PDF for Python.
                             ISSN: 25 02-4 752                   IJEECS  Vol.  2, No. 1, April 2016 :  161 –  167   166 [2]    P F ö ldiák. F o rming spars e  repres ent ati ons  b y  loc a l anti- Heb b ia n lear ni ng.  Biol ogic a l Cyber netics .  199 0; 64: 165- 170.   [3]    Le w i ck i MS, Sejn o w ski T J . "Lear nin g  ov ercompl e te repr e s entatio ns".  N eura l  Co mput . 200 0; 12(2) :   337- 65.   [4]    W  Dai, T  Xu, a nd W  W ang.  " Simulta neo us  Cod e w o rd Opti mi z a t i o n  (Si m C O ) for Diction a r y Lear nin g ".   in Proc.  49th   Annu al A llerto n  Co nfere n ce  on C o mmu nic a tion, Contro l, and   Com putin g  (AL L ERT O N   201 1), Montice llo, Illin ois, US A.  2011.  [5]    S Mallat. A W a velet T our of Signa l Processi n g . 2nd e d . Ne w  York: Academi c . 1998.   [6]    David  L Do no ho an d Mich a e l Ela d .  Optima lly sp arse r epres entati on  in ge ner al (no northo g o nal )   dictionaries via  ¹  mini mi z a t i on . Proc. Natl. Acad. Sci. USA 100. 200 3.   [7]    JJ F u chs. “On  sparse r epr ese n tations  in  arb i trar y  r edu nd an t bases”.  IEEE  T r ans. Inf. T heory . 2 004 ;   50: 134 1– 13 44 .  [8]    Bruno A Olsha u sen, Dav i d J F i eld. Emerg e n ce of  simple- c ell rece ptive fi eld pr operti es b y  l ear nin g   a   sparse co de fo r natural im age s.  Nature . 199 6; 381(6 5 8 3 ): 607-9.   [9]    Olshaus en BA,  F i eld DJ. “Sp a rse Co din g   w i th an Overcom p lete Bas i s Set :  A Strateg y  E m plo y e d  b y   V1?".  Visi on R e searc h . 199 7; 37: 331 1-33 25 .  [10]    David  L Don o h o . “F or most large un derd e ter m ine d  s y stems  of linear e qua tions, the mini mal 1-n o r m   near-s oluti on appr o x imates  the  sp arsest  n ear-sol ut io n,”  Dept. of Statis ti cs, Stanford  Univ. 2 0 0 4 ,   T e ch. Rep. 2004-1 1 .  [11]   Huggins,  PS,  Zucker,  SW. "Greedy  Basis  Pursuit".  IEEE  Transactions on Signal Proc essing . 20 07;  55(7): 37 60- 37 72.   [12]    Mallat  SG, Z h i f eng Z h an g. “ M atchin g p u rs uits w i t h   time-f requ enc y  dicti onar ies”.  IEEE  T r ansacti ons   on Sig nal Pr oc essin g . 199 3; 41(12): 33 97- 34 15.   [13]    W e i Dai; Mi le n k ovic O. "Sub space P u rsuit  for Compr e ssi ve Sens in g Si gna l Rec onstr uction".  IE EE  T r ansactio n s o n  Information T heory . 20 09; 5 5 (5): 223 0-2 2 4 9 .  [14]   D Ne ede ll a nd  JA T r opp Co S a  MP. Iterative  sign al rec o ver y  from incom p le te and  in accur a te samp le s   Appl ied a nd C o mputati o n a l H a rmonic A nal ysis. 2009   [15]   T i bshirani R.  Regr essio n  sh rinka ge an d s e lecti on via th e Lasso.  J. Roy. Statist.Soc.  Ser. B . 1996;  58(1): 26 7-2 8 8 .   [16]    Gorodn itsk y  IF , Rao BD. "S parse s i gn al r e constructi on f r om limite d  d a t a usin g F O CUSS: a re- w e ighted minimum norm algorithm".  IEEE Transactions on Signal Proc essing . 19 97; 45 (3): 600-6 16.   [17]    Blume n sath  T ,  Dav i es ME.  " G radie n t Purs uits".  IEEE Tr ansactions  on  Signal Proc essing . 20 08;   56(6): 23 70- 23 82.   [18]    Seles n ick IW , Baran i uk RG,  Kings bur y N C . "T he dual-tre e  compl e x  w a v e let transform".  IEEE Signal  Processi ng Ma ga z i n e . 20 05; 22(6): 12 3- 15 1.  [19]    EJ Cand es, DL Don oho et  al. Curvel ets:  A surprisin g ly  effective non a daptiv e repres entatio n for   obj ects w i th edges . Dep a rtme nt of Statistics,  Stanford Un ive r sit y . 19 99.   [2 0 ]     MN  D o  a n d   M Ve tte rl i .  T h e  co n t ou rl e t  tra n s fo rm: a n  effi ci e n t  d i re ction a l  mul t i r e s ol uti o n  i m age  repres entati on.   IEEE Transactions on Im age  Processing . 20 05; 14(1 2 ): 209 1–2 10 6.  [21]    Le P enn ec E,  Mallat S.  "Sp a r s e g eomet ric  i m age  repr ese n t ations  w i th  ba nde lets".  IEEE Transactions   on Image Proc essin g . 200 5; 14(4): 423- 43 8.  [22]    M Ahar on, M  Elad and A  B r uckstein. "T he K-SVD: A n   algorith m  for  designing of  overcomplet e   dictio nari e s for sparse re pres e n tation ".  IEEE Transactions on Signal Proc essing . 2 006; 5 4 (11): 4 311- 432 2.  [23]    W i pf DP, Rao BD. "Sparse Ba yesi an le ar nin g  for basis  selectio n".  IEEE Transactions on Signal  Processi ng . 20 04; 52(8): 2 153 - 2164.   [24]   MD  Plumbl e y .   Diction ary Le arni ng for L1- Exact Sparse  Codi ng . In ME Davies, CJ  James, SA   Abda lla h an d  MD Plumb l e y  ( eds.), Procee di ngs of  the 7th  Internatio na l C onf ere n ce o n  Inde pe nde nt   Comp one nt An al ysis  an d Si gn al S epar atio n, ICA 2 007,  Lo nd on, UK,  9-12  S ept 2 0 0 7 , LN C S  46 66, p p   406- 413, Spr i n ger, Berli n .  [25]    MG Jafari and MD Plumbl e y .  Speec h de nois i ng b a sed o n  a  greedy  a dapti v e dictio nary al gorith m . I n   Proc. 17th E u rope an S i gn al  Processi ng  C onfere n ce  (E U S IPCO 200 9)  Glasgo w ,  Sc ot lan d . 20 09:  142 3-14 26.   [26]    Rémi Grib onv al, Karin Sc h nass: Dictio n a r y   id e n tificati on: spars e  matrix-factor i z a tion vi a l1- minimiz a tion.  IEEE Transacti ons on Infor m a t ion Theory . 2 0 10; 56(7): 3 523 -353 9.  [27]    Q Geng, H W ang, a nd J W r ight. " On the  Loca l  Correct ness of L ^ 1  Mini mi z a t i o n  for Dictio nar y   Lear nin g ". Pre s ented at C o R R . 2011.   [28]    Barchi esi D, Pl umbl e y  M D . "L earn i ng  inco he rent  dicti onar ie s for sparse a p p ro ximati on  usi ng iter ativ e   proj ections a n d  rotations".  IEEE Transactions  on Signal Proc essing . 201 3; (99): 1, 0.  [29]    Don oho  DL, H uo  X. "U ncerta int y   pri n cip l es and id eal atom ic  dec ompos iti on".  IEEE Transactions o n   Information Theory . 200 1; 47( 7): 2845- 28 62.   [30]    T r opp JA. "Just rela x: conve x  programm i ng  me thods for i d entif yin g  spars e  sign als i n  no ise".  IEEE   T r ansactio n s o n  Information T heory . 20 06; 5 2 (3): 103 0-1 0 5 1 .  Evaluation Warning : The document was created with Spire.PDF for Python.
IJEECS   ISSN:  2502-4 752     Sparse Mod e ling with Appli c ation s  to Speech Pro c e s sing: A Surve y   (AN Om ara )   167 [31]    Don oho D L , Elad M,  T e ml y a k o v VN. "Stable  recove r y   of sparse overcom p lete repr esenta t ions in t h e   prese n ce of no ise".  IEEE Transactions o n  Informatio n  Theor y . 2006; 52( 1): 6- 18.   [32]    Can des EJ  a n d  T ao T .   T he Dantzi g se lect or: stat i s ti ca l esti ma ti o n   w hen  p i s  mu ch l a rg e r  tha n  n.  Anna ls of Statistics . 2007; 35( 6): 2313- 23 51.   [33]    EJ Can des, J K  Romb erg a nd T   T ao. "Stabl e  Sig nal  R e cover y  from  Incompl e te an d Inaccur a t e   Measur ements " .  Communic a ti ons on Pur e  an d Appl ied M a th ematics . 200 6; LIX: 12 07 –12 2 3 .  [34]    T  Strohmer and RW  H e ath Jr. “ Grassma n n i an F r a m es w i th Ap plicati ons to  Codi ng  an d   Co mmun icati o ns ”. in Appl ied  and C o mput ati ona l Harmo nic  Anal ys is. 200 3; 14(3): 257- 27 5.  [35]    T r opp JA. "Greed  is g o o d : alg o rithmic r e s u lts for sp arse  appr o x imati o n " .  IEEE Transactions  on  Information Theory . 200 4; 50( 10): 223 1- 22 4 2 .  [36]    D D ono ho  a n d  M El ad.  " Maxi ma l  S parsity R epres entati on via l1  M i ni mi z a tion ". T he Pr oc . Nat. Aca .   Sci. 2003; 1 00:  2197- 22 02.   [37]    M Aharon, M  Elad, and AM   Bruckstein. "On the uniq ueness of  overc o mplete dictionaries, and  a  practical  w a y  to retrieve them".  J. Linear Alg ebra Ap pl . 20 0 6 ; 416: 48- 67.   [38]   A Griffin, E Karamicha li, a nd  A Mouchtar is. " Spe a ker Ide n tificatio n  usi ng  Sparse ly Excit ed Sp eec h   Sign als  a nd Co mpress ed Sensi n g ". i n   Proc. 18th E u rop ean  Sig n a l Proc essin g  Confer enc e   (EUSIPCO ' 10), Aalborg, De n m ark. 2010.   [39]    Dau det L. "Sp a rse an d stru c t ured dec omp o s itions of si gn als  w i th th e molec u lar match i ng p u rsuit" .   IEEE Transactions on Au di o, Speec h, and L ang ua ge Proce ssing . 20 06; 14 (5): 1808- 18 16 .  [40]    Ravel li E, Rich a rd G, Daud et L.  "Unio n  of MDCT  Bases for Audi o Co di ng".  IEEE Transactions  on  Audi o, Speec h, and La ng ua ge  Processin g . 2008; 16( 8): 136 1-13 72.   [41]    Jafari MG, Ab dall ah SA, Pl u m ble y  MD, D a vies ME.  Spar se Co din g  for  Conv olutiv e  Blin d Aud i o   Source Se par a t ion . In ICA. 2006: 132- 13 9.  [42]    Z hao N an,  Xu  Xin  an d Ya n g  Yi. "S parse  Repr ese n tatio n s for Sp eec h  Enh ancem ent ".  Chi nes e   Journ a l of Elec tronics . 201 1; 19(2).   [43]    Jianc hen g Z o u ,  Jingsai  Lia ng,  Xi n Yan g . " Du al-ch ann el n o is e reducti on vi a  sprase re pres entatio ns ".  201 2 IEEE 14th Internatio na l Workshop o n  Multim ed ia Si g nal Proc essin g  (MMSP). 2012 : 221-22 5.  [44]    B King  and  L E  Atlas. " Sing l e -cha nne l so u r ce sep a ratio n  usin g si mpl i fi ed-trai nin g  co mp lex  matrix   factori z ation ". i n  Proc. ICASSP. 2010: 42 06- 420 9.  [45]    GSVS Sivaram, SK Nem a la, M El hilali,  T D   T r an and  H Herm ansk y .  " Sp arse c odi ng for  spe e c h   recog n itio n ".  in Proc. ICASSP. 2010: 43 46- 434 9.  [46]    QF  T an,  PG Georgi ou,  a n d  SS Nara ya na n. “Enha nced  sparse im putat ion tech ni ques  for a robus t   speec h reco gn ition front-e nd” .  IEEE Trans.  Audi o, Speec h ,  Lang uag e Pr ocess . 20 11; 1 9 (8): 241 8- 242 9.  [47]    Afsaneh As ae i ,  Hervé Bo url a rd, an d Phi l i p  N Garner. “ Sparse c o mpo nent a nalys is  for speec h   recog n itio n  in mu lti-spe a ker envir on me nt ". INT E RSPEECH. 2010: 1 704- 170 7.  [48]    T  Virtanen, JF   Gemmeke, a n d  A H u rma lai n en. " State- bas ed  lab e ll in g for  a  s parse  repr esentati o n  of   speec h an d its app licati on to r obust spe e ch r e cog n itio n ". in  Proc. IN T E RSPEECH. 201 0: 893- 896.   [49]    Antti Hurmala i nen, Jort F  Ge mmeke, T uomas Vi rtane n: Non-n egativ e matrix  d e co nvol ution i n  noi s e   robust spe e ch  recog n itio n.  ICASSP . 2011: 4 588- 459 1.   [50]   J Gemmeke,  B Cran en.  " Us ing  spars e  re p r esentati ons f o r missin g  d a ta  i m put ation  in   nois e  ro bust   speec h reco gni tion ". Proc. of EUSIPCO. 200 8  [51]    Schul ler B, Weni nger F ,  W ö llm er M, Sun Y, Rigoll G. "Non-ne gativ e mat r ix factorizati o n as noise- robust featur e  extract o r for s peec h reco gn ition".  201 0 IEE E  Internatio na l  Confer ence  o n  Acoustics   Speec h an d Si gna l Processi n g  (ICASSP) . 2010: 45 62- 456 5.   [52]    Maarten  Va n S egbr oeck,  Hug o  Va n  Hamme.  Uns uperv i se d lear nin g  of  tim e -frequ enc y pa tches  as  a   nois e -rob u st represe n tatio n  of speech.  Sp ee ch Co mmu n ica t ion . 200 9; 51( 11): 112 4-1 138 .  [53]    Sain ath T N , C a rmi A, Kanev sk y  D, Ram a b hadr an B. "Ba y es ia n compre ssive sens ing  for phon et i c   classification".  2010 IEEE I n ternatio nal Conference  on   Acoustics S p e e ch  an d Si gn al Pr ocessi n g   (ICASSP) . 201 0: 4370- 43 73.   [54]    Gemmeke JF , Virtan en T .  "Noise  ro bust e x em pl ar-bas ed  con nected  d i git rec ogn itio n" .  201 0 IEE E   Internatio na l C onfere n ce o n  Acoustics Spe e c h  and Si gn al P r ocessi ng (ICA SSP) . 2010;: 4 546- 454 9.   [55]    Sigg C D , Dikk   T ,  Buhmann  JM. "Speech  e nha nceme n t  w i th sparse c o d i ng in  lear ne d  dictio nari e s".  in  2010 IEEE I n ternational Conferenc e on    Acoustics Speec h and Si gnal P r ocessing (ICA SSP) . 201 0:   475 8-47 61.   [56]    T ao Xu, W e n w u  W a n g . "M ethods f o r le a r ni n g  ad aptiv e  dictio nar y i n  und erd e termi ned s p e e ch   separ ation " . 20 11  IEEE Intern ation a l Worksh op o n  Mach ine  Lear nin g  for S i gn al Proc essi ng (MLSP) .   201 1: 1-6.   [57]    Gemmeke JF , Virtane n T ,   Hurmal a i nen  A. "E xempl a r- Based S pars e  Repr esent atio ns for No is e   Robust Automatic Speec h Re co gn i t i o n " . in  IEEE Transactions  on A u dio,  Speech,  and Language  Processi ng . 20 11; 19(7): 2 067 -208 0.  [58]    M Z i bul evsk y ,  BA Pe arlmut ter, P Bofil l   and  P Kis ilev .  " Blin d S our ce Se parati o n  by S par s e   Deco mpositi o n ". Chapter i n  the bo ok: SJ Roberts, and  R M  Everson ed s. Indepen de nt Compo n e n t   Anal ys is: Princi ples a nd Practi ce, Cambri dge.  2001.   Evaluation Warning : The document was created with Spire.PDF for Python.