I nte rna t io na l J o urna l o f   E lect rica l a nd   Co m p ute E ng in ee ring   ( I J E CE )   Vo l.   7 ,   No .   4 A u g u s t   201 7 ,   p p .   1 9 0 6 ~ 1 9 1 4   I SS N:  2 0 8 8 - 8708 DOI : 1 0 . 1 1 5 9 1 / i j ec e . v7 i 4 . p p 1 9 0 6 - 1914          1906       J o ur na l ho m ep a g e h ttp : //ia e s jo u r n a l.c o m/o n lin e/in d ex . p h p /I JE C E   A Nov el Method   ba sed o n G a uss ia nity a nd Spa rsity   for Sig na Sepa ra tion Alg o ri th m s       Abo uzid  H o ud a ,   Cha kk o O t m a n   De p a rtme n o f   T e le c o m m u n ica ti o n s,   RS A ID L a b o ra to ry ,   Natio n al   Sch o o l o f   A p p lied   Scien ce s ,   A b d e l m a le k   Essa a d Un iv e rsit y T e tu a n ,   M o r o c c o       Art icle  I nfo     AB ST RAC T     A r ticle  his to r y:   R ec eiv ed   J u n   9 ,   2 0 1 6   R ev i s ed   No v   2 0 ,   2 0 1 6   A cc ep ted   Dec   1 1 ,   2 0 1 6       Bli n d   so u rc e   se p a ra ti o n   is  a   v e r y   k n o w n   p ro b lem   w hi c h   re f e r to   fin d i n g   th e   o rig in a so u rc e w it h o u th e   a id   o f   in f o r m a ti o n   a b o u th e   n a t u re   o f   th e   so u rc e s an d   th e   m ix in g   p ro c e ss ,   to   so lv e   th is  k in d   o f   p ro b lem   h a v i n g   o n ly   th e   m i x tu re s,  it   is  a l m o st  i m p o ss ib le  ,   th a w h y   u sin g   so m e   a s su m p ti o n is  n e e d e d   in   s o m e h o w   a c c o rd in g   to   th e   d if f e r e n ts  situ a ti o n e x isti n g   in   th e   re a w o rld ,   f o e x e m p le,  in   lab o ra to ry   c o n d it io n ,   m o st  o f   tes t e d   a lg o rit h m w o rk s   v e r y   f in e   a n d   h a v in g   g o o d   p e rf o rm e n c e   b e c a u se   th e     n a t u re   a n d   t h e   n u m b e o f   th e   in p u sig n a ls  a re   a l m o st  k n o w n   a p rio ri  a n d   th e n   th e   m ix in g   p ro c e ss   is  w e ll   d e ter m in e d   f o th e   se p a ra ti o n   o p e ra ti o n .     Bu in   f a c t,   th e   re a l - li fe   sc e n a rio   is  m u c h   m o re   d iffere n a n d   o f   c o u rse   th e   p ro b lem   is   b e c o m in g   m u c h   m o re   c o m p li c a ted   d u e   to   th e   th e   f a c o h a v in g   th e   m o st  o f   th e   p a r a m e ters   o th e   li n e a r   e q u a ti o n   a re   u n k n o w n .   In   th is  p a p e r,   w e   p re se n a   n o v e m e th o d   b a se d   o n   G a u ss ian it y   a n d   S p a rsity   f o si g n a se p a ra ti o n   a lg o rit h m w h e re   i n d e p e n d e n c o m p o n e n a n a ly s is  w il b e   u se d .   T h e   S p a rs it y   as   a   p re p ro c e ss in g   ste p ,   th e n ,   a f in a ste p ,   th e   G a u ss ian it y   b a s e d   so u rc e   se p a ra ti o n   b lo c k   h a b e e n   u se d   to   e stim a te  th e   o rig in a so u rc e s.  T o   v a li d a te   o u p ro p o se d   m e th o d ,   th e   F P IC A   a lg o rit h m   b a se d   o n   BS S   tec h n iq u e   h a b e e n   u se d .   K ey w o r d :   Gau s s ia n it y   I n d ep en d en C o m p o n en An al y - s is   ( I C A )   Sig n al  Sep ar atio n   A l g o r ith m s   Sp ar s I n d ep en d en An al y s is   Sp ar s it y     Co p y rig h ©   2 0 1 7   In stit u te o A d v a n c e d   E n g i n e e rin g   a n d   S c ien c e .     Al rig h ts  re se rv e d .     C o r r e s p o nd ing   A uth o r :   A B OU Z I Ho u d a,     Dep ar t m en t o f   T elec o m m u n ic atio n s ,   A b d el m a lek   E s s aa d Un iv er s it y ,   Natio n al  Sc h o o l o f   A p p lied   Scien ce s ,   P B   2 2 2 2   M' h a n n ec h ,   T etu an ,   Mo r o cc o .   E m ail: a b zd h o u d a @ g m ai l.c o m       1.   I NT RO D UCT I O N       Sp ee ch   is   t h m o s i m p o r tatn w a y s   o f   h u m an   co m m u n i ca tio n   in ter ac tio n   p ick ed i n g   u p   w ith   h i s   n atu r al  m ic h r o p h o n es   ( ea r s )   ,   th er ef o r w h e n   d if f er e n ts   s p e ak er s   ar talk i n g   in   t h s a m ti m i n   r o o m   li k e   in   t h co ck tail  p ar t y ,   th i s   h u m an   ea r   l is te n   to   m ix t u r es  o f   w a n ted   an d   u n w a n ted   s i g n als.Fo r tu n atel y ,   th e   h u m a n   lis ten er   is   v er y   i n tel lig en t i n   d etec tin g   m an y   ac ti v s o u n d   s o u r ce s   a n d   th e n   h is   ab le  to   co n ce n tr ate  o n   s in g le  s o u r ce   ( lik s p ee ch   o f   f r ie n d )   an d   ig n o r th o t h er s   as  d i s tu r b i n g   b ac k g r o u n d   n o is e. Ho w e v er ,   th is   tech n ical  o p er atio n   is   n o p o s s ib le  f o r   m ac h i n o r   an   h u m a n o id   r o b o b ec au s it  d o esn h av t h b r ain   lik t h e   h u m an ,     as   co n s e q u en ce   ,   it  w i ll  g et  co n f u s ed   h a v i n g   n o   ab ili t y   to   s ep ar at th e   ar r iv ed   a u d io   m i x tu r e s   an d   t h en   i n d er s ta n d   th o r d er s .   T o   s o lv th is   k in d   o f   p r o b lem s ,   th b li n d   s o u r ce   s e p ar atio n   tech n iq u e   m u s t b d o n e.       T h b lin d   s o u r ce   s ep ar atio n   i s   v er y   i m p o r tan an d   r ec en to p ic  attr ac ted   b y   m a n y   r es er ch er s   in   d if f er e n ts   f ield s   w h ich   h as b ee n   d ev elo p ed   an d   ap p lied   to   au d io   s ig n a l p r o ce s s in g   [ 1 ] .   Du r i n g   th r ec e n y ea r s   m an y   s t u d ies   h a v b ee n   i n ter ested   to   t h s tu d y   o f   B li n d   S o u r ce   Sep ar atio n   ( B SS )   [ 2 ]   an d   m o r e   g e n er all y   to   th at  o f   I n d ep en d en C o m p o n e n An al y s is   ( I C A ) . T h is   tech n i q u is   u s ea ll y   b ased   o n   t h h y p o t h esi s   t h at  t h e   Evaluation Warning : The document was created with Spire.PDF for Python.
I J E C E     I SS N:  2 0 8 8 - 8708       A   N o ve l Meth o d   b a s ed   o n   Ga u s s ia n ity  a n d   S p a r s ity  fo r   S ig n a l S ep a r a tio n   A lg o r ith ms ( A b o u z id   Ho u d a )   1907   s o u r ce s   ar m u tu al l y   in d ep en d en ts . Au d io   s ep ar atio n   m et h o d   h as  f o u n d   its   p lace   in   m a n y   ap p licatio n s ,   s u c h   a s : th co ck tail p ar t y   p r o b le m , v o ice  r ec o g n it io n   s y s te m s   , T h n o is S u p p r ess io n   f o r   m o b ile  p h o n es o r   h ea r in g   aid s   ,   Me d ical  ap p licatio n s : E C G,   E E G, etc.     T h e re   ar s ev er al  ap p r o ch es u s in g   t h B SS   tech n iq u lik e:   a.   I n d ep en d en t Co m p o n en A n al y s i s   ( I C A )   m et h o d   .   b.   T im e - Fre q u e n c y   m as k i n g   a p p r o ac h   f o r   s p ee ch   s ep ar atio n   .   c.   B SS   in   i m ag s ep ar atio n   .   d.   C lu s t er i n g   a n d   MM SE - b a s ed   f ilter in g   .     e.   I n d ep en d en ce   .   f.   No n - n e g ati v it y     g.   Sp ar s en es s         As  r esu lt  o f   th ce n tr al  li m i th eo r e m ,   th p r o b ab ilit y   d en s it y   f u n ctio n   o f   th s u m   o f   in d ep en d en t   r an d o m   v ar iab les  ( o r   late n v ar iab les)  is   m o r g a u s s ia n   t h a n   th o r i g i n al  r an d o m   v ar iab l es.  T h er ar m a n y   b lin d   s ig n al  s ep ar atio n   al g o r ith m s   in   t h liter a t u r e,   th at  u s es  th g a u s s ia n it y   i n   o r d er   to   s ep ar ate  th s ig n als ,   w h er th er ar e   m a n y   m et h o d s   f o r   m ea s u r in g   t h g a u s s ian it y   ( k u r to s i s   [ 3 ] ,   n eg en tr p y   [ 4 ] )   .   I n   o u r   p ap er   w co m b in e   th e   ad v an ta g o f   t h g a u s s ian it y   a n d   s p ar s it y   o f   t h s o u r ce   s ig n al,   in   o r d e to   s ep ar ate,     r ec o v er in g   an d   es ti m ati n g   s o u r ce   s ig n als.   T o   v alid ate  o u r   p r o p o s ed   m e th o d ,   w w i ll  u s e   au d io   s ig n als  f o r   r o b o tic  h u m a n o id   ap p licatio n s .   Sp ar s e   d ec o m p o s itio n s   tech n i q u es  w ill  b s tu d ied   in   o r d er   t o   ch o o s s u itab le  alg o r ith m   w it h   b etter   q u a lit y   o f   s i g n al  s ep ar atio n .       2.   T H E   P RO P O SE M E T H O D   2 . 1 .   G a us s ia nity   ba s ed  M et ho ds   f o Sig na l Sepa ra t io n Alg o ri t h m s   2 . 1 . 1 .   G ener a l M o del o f   B SS   T h g o al  o f   t h B li n d   s i g n a s ep ar atio n   ( B SS )   is   to   r ec o v er   s et  o f   u n k n o w n   s o u r ce s   f r o m   M   o b s er v atio n s   r esu ltin g   f r o m   t h m i x t u r o f   th e s s o u r ce s   t h r o u g h   u n k n o w n   tr an s m i s s io n   c h an n el s .   T h B SS   p r o b lem   is   p r esen t in   m a n y   r e al - w o r ld   ap p licatio n s ,   s u ch   a s   b io m ed ical,   telec o m m u n icatio n   an d   s p ee ch   [ 5 ].   L et  a   s et  o f   t h s o u r ce   s i g n als  d en o ted   b y   v ec to r   s   =[ s 1 ( t) , …, s N ( t) ] T ,   th o b s er v atio n s   o r   t h r ec o r d e d   s ig n al s   ar x   [ x 1 ( t) , …. , x M ( t) ] T .   T h m i x t u r m o d el  f o r   b asic  b lin d   s ig n al  s ep ar atio n   p r o b lem   is   r ep r esen ted   b y :     ( t ) A . s ( t ) x       ( 1 )     W h er A   ( a ij )   is   an   u n k n o w n   Nx i n v er tib le  m i x i n g   m atr i x .     I n   o r d er   to   s tu d y   th s ig n al  s e p ar atio n   m eth o d s   b ased   o n   g a u s s ian it y ,   w co n s id er   th s i m p le  ca s e,   w h er t h e   n u m b er   o f   s o u r ce s   is   eq u al  to   th n u m b er   o f   s en s o r s   ( M) ,   in   th is   ca s th r o le  o f   t h B SS   is   to   d eter m i n e   Nx s ep ar ati n g   m atr i x   W ( w ij )   s u ch   t h at:     ( ) . ( ) . ( ) y t W x t G s t                  ( 2 )     W h er y   is   an   esti m ate  o f   th s o u r ce   s ig n als  .     2 . 1 . 2 .   I nd epe nd e nt  Co m po nent  An a ly s is   ( I CA)   I n d ep en d en C o m p o n en An al y s i s   ( I C A )   is   f a m o u s   an d   class ical  m e th o d   u s ed   to   s ep ar ate  s ig n als   f r o m   lin ea r   m ix t u r es  o f   s ta tis tical  i n d ep en d en co m p o n e n t T h p r in cip al  ap p licatio n s   o f   I C A   ar b lin d   s ig n al  ( s o u r ce s )   s ep ar atio n   an d   f ea tu r ex tr ac tio n   ( B ell  an d   Sej n o w s k i 1 9 9 6 ) [ 6 ] .   A ll t h ap p licatio n s   ca n   b f o r m u lated   in   u n i f ied   m a th e m at ical  f r a m e w o r k :   W o b s er v r an d o m   v ar iab le s   x 1 , x 2 , …, x n   w h ic h   ar lin ea r   co m b i n atio n s   o f   late n t v ar ia b les  s 1 , s 2 , …, s n   as:     x = a i1 s 1   + a i2 s 2   + …   + a in s n    f o r   all    i =  1 ,   …,   n     W h er a ij 1 , . . . , n j   ar s o m r ea l c o ef f icien t s .     B y   d ef i n it io n ,   th s o u r ce s   s i   ar e   s tatis ticall y   in d ep en d e n t.  T h la ten v ar iab les”  ar th s o u r ce s   s i w h ic h   ar al s o   ca lled   th e   i n d ep en d en co m p o n en ts .   T h e y   ar ca lled   late n t”  b ec a u s e   th e y   ca n n o d ir ec tl y   b e   o b s er v ed   o r   m ea s u r ed .   B o th   th i n d ep en d en co m p o n e n ts ,   s i ,   an d   th e   m ix i n g   co ef f icie n t s ,   a ij ,   ar n o k n o wn   an d   m u s t b d eter m i n ed   ( o r   esti m ated )   u s in g   o n l y   t h o b s er v ed   d ata  x i   [ 7 ] .   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 8 - 8708   I J E C E     Vo l.  7 ,   No .   4 A u g u s t   2017     1 9 0 6     1 9 1 4   1908   T h I C A   late n t v ar iab le s   m o d el  is   b etter   r ep r esen ted   in   m atr ix   f o r m .   I f   12 [ , , . . . , ] T n S s s s r ep r esen ts   th o r ig i n al,   m u lti v ar iate  d ata  th at  is   tr a n s f o r m ed   t h r o u g h   s o m tr an s f o r m atio n   m atr i x   H   p r o d u cin g   X   s u ch   th at   :   X H S .   T h en   I C A   tr ies to   id en ti f y   a n   u n m i x i n g   m atr i x   W s u ch   t h at   :   1 WH .   So   th at  th r es u lt in g   m atr ix   Y   is :   () Y W S W H S S S   ( s in ce 1 WH ) .   As  w alr ea d y   k n o w ,   t h o n l y   th in g   li n ea r   I C A   d e m an d s   i s   t h at  th o r ig i n al  s i g n als  12 , s . . . , n ss   m u s t   b at   an y   ti m t   s tati s tical l y   i n d ep en d en t   an d   th m i x i n g   o f   t h s o u r ce s   b li n ea r .   An   i m p o r tan p r ep r o ce s s i n g   s tep   b ef o r s en d i n g   th e   d ata  t h r o u g h   t h I C A   al g o r ith m   is   w h ite n i n g .   W h iten i n g   is   w ea k er   t h an   s t atis tical  i n d ep en d en ce   b u s li g h t l y   s tr o n g er   th a n   u n co r r elate d n ess .   T h w ell - estab lis h ed   to o l f o r   m a k i n g   s e n s o f   h i g h   d i m en s io n a l d ata  b y   r ed u cin g   it to   s m aller   d i m e n s io n .   W h iten e s s   o f   ze r o - m ea n   r an d o m   v ec to r ,   e. g . X ,   m ea n s   th at   its   co m p o n e n t s   ar u n co r r elate d   an d   th eir   v ar ia n ce   eq u al s   u n it y .   T h at  is ,   th co v ar ia n ce   m a tr ix   o f   X eq u als t h id en tit y   m atr ix I       {} T E X X I     Fo r   o u r   m ix ed   d ata X ,   w h iten in g   m ea n s   th at  w lin ea r l y   tr an s f o r m   it  b y   m u ltip l y i n g   w it h   m atr i x   ( s a y V s u ch   t h at  t h r esu l tin g   m atr ix   Z   is   w h ite   :   () Z V X V H S H S   .   An   i m p o r tan t   r esu lt  o f   w h ite n in g   p r o ce s s   is   t h at  t h n e w   m i x in g   m atr i x H ,   is   o r th o g o n al   ( i.e .   its   in v er s is   eq u a to   its   tr an s p o s e) .   I is   i m p o r tan to   n o te  th a th w h ite n in g   ( o r   s p h er in g )   p r o ce s s   alo n d o es  n o t e n s u r s tat is tical  i n d ep en d en ce   o f   X   b u t it  p la y s   an   i m p o r t an t ste p   i n   th s ep ar atio n   p r o c ess   [ 8 ] .   I n   o r d er   to   u s t h n o n g a u s s ia n it y   o f   late n v ar iab les,  w h a v to   m ea s u r t h n o n g au s s ia n it y   i n   I C A ,   w u s ed   s o m q u a n tita tiv m e asu r o f   n o n g a u s s ian i t y ,   li k Ku r to s is   ( ab s o l u te  v alu e)   o r   it s   s q u ar v alu e.   T h e y   v an i s h   f o r   Gau s s ia n   v ar iab le ,   an d   th e y   ar p o s iti v f o r   m o s t n o n g au s s ia n   r an d o m   v ar iab le s   [ 9 ] .   T h k u r to s i s   o r   t h f o u r th - o r d er   cu m u la n t   o f   r an d o m   v ar ia b le  y   is   d ef i n ed   f o r   ze r o - m ea n   v ar iab le  b y :     4 2 2 ( ) { } 3 ( { } ) k u r t y E y E y      ( 3 )     I f   1 y an d 2 y ar t w o   in d ep en d en t r a n d o m   v ar iab les,  w h a v e:     1 2 1 2 ( ) ( ) ( ) k u r t y y k u r t y k u r t y               ( 4 )     An d   4 11 ( . ) . ( ) k u r t a y a k u r t y                 ( 5 )     W ith   ( a is   s ca lar ) .   T h Ku r to s is   is   ze r o   f o r   Gau s s ia n   r an d o m   v ar iab le,   a n d   th r an d o m   v ar iab les  th a t   h av p o s iti v k u r to s is   ar ca lled   s u p er   Gau s s ian   ( o r   lep to k u r tic) ,   an d   t h o s w i th   n e g ati v k u r to s i s   ar c alled   s u b   Ga u s s ia n   ( o r   p laty k u r tic) .   Neg e n tr o p y   ca n   also   b u s ed   t o   m ea s u r t h n o n g a u s s ia n it y . I ts   d ef in ed   as  f o llo w s :     ( ) ( ) ( ) g a u s s J y H y H y          ( 6 )     W h er H   is   th d i f f er e n tial e n t r o p y   o f   r an d o m   v ec to r   y   d ef i n ed   b y :     ( ) ( ) . l o g ( ) H y f y f y d y                ( 7 )     I n   th in f o r m at io n - th eo r etic  f r a m e w o r k ,   th n e g e n tr o p y   is   co n s id er ed   as  m et h o d   to   m ea s u r th e   n o n g au s s ia n it y ,   an d   t h lar g e s en tr o p y   a m o n g   all  t h r an d o m   v ar iab les  o f   eq u al  v ar ian c is   f o r   Gau s s ia n   v ar iab le.   T h n eg en tr o p y   f o r   Gau s s ian   v ar iab le  is   ze r o   an d   al w a y s   n o n n e g ati v [ 1 0 ] .   A ll  t h s o l u tio n s   p r o p o s ed   f o r   s ig n al  s ep ar atio n   al g o r ith m s ,   esp ec iall y   th o s cited   in   th is   p ap er ,   i.e .   th m et h o d s   b ased   in   th m ea s u r o f   n o n g a u s s ia n it y   [ 1 1 ] ,   th n u m b er   o f   s o u r ce   is   eq u al  to   t h n u m b er   o f   s en s o r s ,   Evaluation Warning : The document was created with Spire.PDF for Python.
I J E C E     I SS N:  2 0 8 8 - 8708       A   N o ve l Meth o d   b a s ed   o n   Ga u s s ia n ity  a n d   S p a r s ity  fo r   S ig n a l S ep a r a tio n   A lg o r ith ms ( A b o u z id   Ho u d a )   1909   o b v io u s l y   w co u ld   h av t w o   o th er s   s it u atio n s ,   t h o v er   co m p lete  an d   u n d er   co m p lete  c ases .   T h at  w h y   we   p r o p o s to   u s th s p ar s i t y ,   as  s o lu tio n   to   s ep ar ate  s i g n als  f r o m   a n   u n d er d eter m i n ed   s y s te m s   [ 1 2 ] .     2 . 2 .   Sp a rsity   ba s ed  m et ho d s   f o Sig na l Sepa ra t io n Alg o rit h m s   B ef o r g iv i n g   d ee p   in s ig h t a b o u t h o w   th s p ar s i t y   ca n   s ep a r ate  th s i g n al s ,   let ’s   d ef i n t h m ea n in g   o f   s p ar s s ig n al.     2 . 2 . 1 .   Def ini t io n   T h m ea n i n g   o f   p ar s i m o n y   i s   lin k ed   to   th n o tio n   o f   ec o n o m y . T h u s ,   r ep r esen tatio n   o f   r ea v ec to r   is   s aid   to   b p ar s i m o n io u s   i f   th is   r ep r esen tatio n   is   ec o n o m i ca l.  I n   o th er   w o r d s ,   t h er is   a   m o r ec o n o m ical   w a y   o f   d escr ib i n g   th e   v ec to r   th an   g i v i n g   th v al u o f   all  it s   ele m e n t s .   I n   s ig n al  p r o ce s s i n g ,   t h i s   m ea n s   t h at   m o s o f   t h co ef f icie n t s   ar ze r o ,   an d   o n l y   f e w   co ef f icie n ts   h a v n o n - ze r o   v alu e s .   T h is   t y p o f   p ar s i m o n y   is   ca lled   s tr ict  p ar s i m o n y .   T h w id esp r ea d   p ar s i m o n y   r ef lect s   t h f ac t h at  t h m aj o r it y   o f   th co e f f ic ien t s   h av e   lo w   v alu e,   w h ile  t h e   r est  ta k e s   q u i te  lar g e   v alu e s .   I f   w e   d ef i n it   i n   ter m   o f   Ga u s s ia n it y ,   w e   ca n   s a y   t h at   t h e   s ig n al  is   s p ar s if   it s   m ar g in a l   d is tr ib u tio n   h a s   p ea k   at  ze r o   lar g er   th an   Gau s s ia n   w o u l d ,   o r   h as  f atter   tail s   th an   t h o s o f   Ga u s s ia n .   T h f i g u r b elo w   p r ese n t a n   e x e m p le  o f   s p ar s s ig n al:         Fig u r 1 .   E x e m p le  o f   s p ar s s ig n al       T h Fig u r e   1   s h o w s   t h at  s ig n al  i s   s p ar s w h e n   its   m o s co ef f icien ts   ar ( ap p r o x i m atel y )   ze r o   ( th s ig n al  i n   b lu e)   an d   t h at  th p ea k s   r ep r esen t t h s i g n i f ican t c o ef f icien ts   w h ic h   co n s ti tu te  t h f o r m   o f   t h s i g n al.     2 . 2 . 2 .   Appl ica t io ns   i n D ig it a C o m m u nica t io ns   T h p ar s im o n io u s   r ep r esen tat io n   o f   s i g n a ls   h a s   g r o w n   s i g n if ica n tl y   o v er   th p ast  d ec ad e.   T h is   h as   m ad it   p o s s ib le  to   r eso lv e   m a n y   p r o b le m s   o f   s i g n al   p r o ce s s in g   a n d   i m ag e s   s u c h   a s   co m p r ess io n ,   b lin d   a u d io   s o u r ce     s ep ar atio n   d etec tio n   o f   ar r iv al  o f   s o u r ce s ,   o r   d en o is in g   a n d   r ep r esen tatio n   o f   f u n ct io n s   i n   b asis .   A l s o   w ell  k n o w n   ap p lic atio n s   o f   t h s p ar s it y ,   i s   t h tr ea t m en t   o f   i n v er s p r o b lem s   i n   telec o m m u n icatio n s   e x p lo itin g   th p ar s i m o n io u s   c h ar ac ter   o f   th s ig n al s   to   th f in ite  alp h a b et.   T h b lin d   id en tif icatio n   o f   p ar s i m o n io u s   c h an n el s   in   SI MO   an d   MI MI - OFDM  s y s te m s .   T h ese  m et h o d s   h a v s h o w n   p er f o r m an ce s   s u p er io r   to   th e   m e t h o d s   c las s ical  a s   w ell   as  a   r o b u s tn e s s   to   th e   o v er esti m atio n   o f   th o r d er   o f   th ch a n n el,   in d u ce d   b y   p ar s i m o n io u s   r eg u lar izatio n   T h s p ar s it y   p la y s   a n   i m p o r ta n r o le  r eso l v in g   t h p r o b le m s   r ef er r in g   to   t h e m es  o f   id en tific atio n   o f   s y s te m s   ( id e n ti f icatio n   o f   c h a n n el s ) ,   eq u aliza tio n   a n d   t h i d en tific atio n   o f   p ar s i m o n io u s   c h a n n el s   i n   m u lti - s en s o r   s y s te m s   [ 1 3 ] .     2 . 2 . 3 .   E x e m ple o f   us i ng   S pa rs it y   f o Audi o   Sig na l S epa ra t io n   T h s ig n al s   ar co n v e n tio n all y   r ep r esen ted   i n   th f o r m   o f   li n ea r   tr an s f o r m at io n   o f   t h eir   co ef f icie n t s C o n v e n tio n al  s ig n al  r ep r esen ta tio n   tec h n iq u e s   g en er all y   u s a   d escr ip tio n   o f   th co m p o n e n t s   o n   b asis   o n   w h ic h   t h r ep r esen tatio n   o f   t h s ig n al  i s   u n iq u ( Fo u r ier   b asis ,   b asi s   o f   o r th o g o n al  w av ele ts   f o r   ex a m p le) .   T h F ig u r 2   s h o w s   th r ep r esen tatio n   o f   s p ar s s ig n al  i n   Fo u r ier   b asis .   Ma th em atic ally ,   th e   ty p ic al   p r o b lem   o f   b l in d   s ig n al   p r o c ess i n g   ca n   b e   f o r m u late d   as:   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 8 - 8708   I J E C E     Vo l.  7 ,   No .   4 A u g u s t   2017     1 9 0 6     1 9 1 4   1910   ( ) . ( ) ( ) x t A s t n t      ( 8 )     W ith A is   th e   NM m i x in g   m atr ix   an d   t h n o is e () nt .   So   th g o a l w ill  b e   t o   esti m ate  m ix in g   m atr ix A an d   th s o u r ce   s ig n als () st   No t th at ,   m an y   s ig n als ca n   b e   s p ar s ely   r e p r es en te d   u s in g   a   p r o p er   s ig n al   d ic ti o n ar y .   T h s ca lar   f u n c tio n   ar e   ca lled   ato m s   o r   ele m e n ts   o f   t h d icti o n ar y   ( th er ar also   w a v elet - r elate d   d ictio n ar ies)  w h ic h   h a v to   b g r ea ter   th an   th s i g n al  s ize.   Un lik i n d ep en d en co m p o n e n a n al y s i s ,   th e s ele m e n ts   d o   n o t   h av to   b lin ea r l y   i n d ep en d en t   [ 1 4 ] .         Fig u r 2 R ep r esen tatio n   o f   s p ar s s ig n al  u s i n g   Fo u r ier   b asis       3.   RE S E ARCH   M E T H O D   I n   th i s   p ap er ,   o u r   p r o p o s ed   m eth o d   is   b ased   o n   co m b i n i n g   o f   t w o   p r in cip les,  o n is   s p ar s it y s   b ased   s tep ,   it  is   u s ed   as  p r ep r o ce s s in g   p r o ce s s   i n   o r d er   to   r eso l v th p r o b le m   o f   t h u n d er d eter m i n ed   m i x t u r e,   w h ic h   is   co n s id er ed   o n o f   th e   g r ea t a d v an ta g es o f   th s p ar s i t y   b ased   m et h o d   f o r   s ig n al s   s e p ar a tio n .   T h Gau s s ia n it y   is   u s ed   to   s e p ar ate  th s ig n als  f r o m   t h eir   m i x tu r e s s tar ti n g   to   esti m ate  th m ix i n g   m atr i x ,   th e n   m o v i n g   to   p r o ce ed   s ig n als  s ep ar atio n s   p r o ce s s   u s in g   o f   co u r s t h es ti m ate d   m ix in g   m atr ix .   I f   w r ec ei v m o r s o u r ce s   t h a n   m i x tu r e s ,   t h en   th e   p r o b lem   to   esti m ate  th m i x i n g   m atr i x   a n d   th e   esti m ated   s o u r ce s   is   co n s id er ed   as a   d if f i cu lt  m u l tiv ar iate  o p ti m izatio n   p r o b lem   [ 1 5 ].   T h s ec o n d   b lo ck   i s   b ased   o n   g au s s ia n it y   ( o r   n o n g a u s s ia n it y ) ,   u s ed   as   p o s p r o ce s s i n g   s tep   ( o r   f in a s tep )   f o r   th o b s er v ed   s ig n al s   [ 1 6 ].       T h alg o r ith m s   b ased   o n   s p ar s it y   f o r   s ig n al  s ep ar atio n   is   lar g el y   d i f f er in g   f r o m   t h e   class ical   ass u m p tio n   o f   t h s tati s tic al  i n d ep en d en ce   o f   th s ig n al s .       4.   RE SU L T S AN D I SCU SS I O N   T h e   F ig u r 3   r ep r esen t s   t h o r ig in a s o u r ce s   tah h a v b ee n   ta k in g   d u r i n g   t h p r esen e x p er i m e n t,   u s i n g   au d io   s p ac s ig n als  ta k in g   f r o m   I C AL A B ,   th r es u lt   s ee n   in   t h F i g u r 4 ,   af ter   u s in g   th p r o p o s ed   m et h o d :   Evaluation Warning : The document was created with Spire.PDF for Python.
I J E C E     I SS N:  2 0 8 8 - 8708       A   N o ve l Meth o d   b a s ed   o n   Ga u s s ia n ity  a n d   S p a r s ity  fo r   S ig n a l S ep a r a tio n   A lg o r ith ms ( A b o u z id   Ho u d a )   1911       Fig u r 3 .   T h o r ig in al  s p ar s s o u r ce s           Fig u r 4 FP I C A   est i m a ted   o u tp u ts         T o   d escr i b th e   p r ec is o f   I C A   a lg o r it h m ,   w u s n o o n l y   t h es ti m ated   m ix i n g   m atr i x   b u t   w h av e   to   u s e   in d e x   to   s h o w   t h q u alit y   o f   t h e   s ep ar atio n   o f   FP I C A   al g o r ith m ,   th i s   s ca tte r   in d ex   n a m ed   SIR   ( Sig n al  to   I n ter f er e n ce   R atio ) ,   th F i g u r e   5   b elo w   d e m o n s tr at th at:           Fig u r 5 .   Sig n al  to   I n ter f er e n c R atio   f o r   S   -4 -2 0 2 4 s1 -4 -2 0 2 4 s2 100 200 300 400 500 600 700 800 900 1000 -4 -2 0 2 4 s3 Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 8 - 8708   I J E C E     Vo l.  7 ,   No .   4 A u g u s t   2017     1 9 0 6     1 9 1 4   1912       Hig h er   v al u es  o f   SIR  m ea n s   t h at  th al g o r ith m   p er f o r m s   b e tter   f o r   s ig n a s ep ar atio n .   As  th m ea n   ( SIR)  =3 8 . 9 3   d B >2 0 ,   th p er f o r m a n ce   o f   t h al g o r ith m   FP I C A   is   g o o d ,   an d   f r o m   t h p lo t s   o f   t h s i g n als  w e   o b s er v th at  t h ex tr ac ted   s i g n als ar s i m ilar   o n b y   o n to   t h o r ig i n al  s i g n a l so u r ce s .     Fig u r 6   s h o w s   s ig n al  to   I n ter f er en ce   R atio   f o r   A   w it h   p er f o r m an ce   i n d ex 0 . 0 0 7 8 4 4         Fig u r 6 Sig n al  to   I n ter f er e n c R atio   f o r   A   w i th   p er f o r m an c in d ex 0 . 0 0 7 8 4 4       T h s ca tter   in d ices o f   t h esti m ated   s o u r ce s   ar s h o w n   i n   t h F ig u r e   7   b elo w :         Fig u r 7 T h s ca tter   in d ices o f   th e s ti m ated   s o u r ce s   Y       T h s ca tter   in d ices  s h o w s   t h d ir ec tio n s   o f   ar r iv al  o f   each   s i g n al  s o u r ce s   w itc h   th b est  d ir ec tio n   is   th s i g n al  w h ich   h as  th m o s t   g r ea ter   in d ice  ,   h er w ill  b th s o u r ce   Y3   h av i n g   t h s ca t ter   in d ice  eq u al  to   3 9 . 7 3   d B .   Evaluation Warning : The document was created with Spire.PDF for Python.
I J E C E     I SS N:  2 0 8 8 - 8708       A   N o ve l Meth o d   b a s ed   o n   Ga u s s ia n ity  a n d   S p a r s ity  fo r   S ig n a l S ep a r a tio n   A lg o r ith ms ( A b o u z id   Ho u d a )   1913   5.   CO NCLU SI O     B lin d   s o u r ce   s ep ar atio n   ( B SS )   is   g en er al  s i g n al  p r o ce s s in g   tech n iq u e,   w h ic h   co n s is ts   o f   r ec o v er in g ,   f r o m   f i n ite  s et   o f   o b s er v atio n s   r ec i ev ed   b y   s en s o r s ,   th co n tr ib u tio n s   o f   d if f er e n p h y s ica s o u r ce s   i n d ep en d en tl y   f r o m   t h p r o p ag atio n   an d   w i th o u an y   aid   o f   in f o r m atio n   p r io r o n   th s o u r ce s   o r   th m i x in g   p r o ce s s .   T h p r o p o s ed   m et h o d   h as  d e m o n s tr ate  i m p r o v e m e n p er f o r m an ce   o f   s ig n al  s ep a r atio n   u s i n g   s p ar s it y   an d   FP I C A   a lg o r it h m   f o r   au d io   s i g n al s .   T h is   is   co u ld   b e   s h o w n   clea r l y   f r o m   t h e   f i g u r e s   a n d   t h r es u lt s   o f   s i m u lat io n   ac co r d in g   to   th e   d if f er e n in d ice s   u s ed   f o r   test in g   t h q u alit y   an d   t h p er f o r m an ce   o f   th e   s ep ar atio n ,     w h i c h   r ev ea le d   th p o w er   o f   u s i n g   th is   t w o   m et h o d s   to g et h er   as a   co m m o n   p o w er f u l te ch n iq u e.   T h h u m an   b ei n g   is   ab le  to   f o cu s ,   in   t h m i x t u r co m i n g   f r o m   it s   en v ir o n m e n t,  o n   o n e   o f   th s o u r ce s   o f   s ig n al  t h at  he   r ec ei v es  to   its   b o th   ear s .   I n   th ca s o f   w ea k n ess   o f   t h i s   o r g a n ,   s u ch   as  i n   t h h ea r i n g   i m p air ed ,   DSP   im p r o v e s   p er f o r m a n ce .   T h n ex c h alle n g e   w ill  b t h e   d ev elo p m en o f   t h i s   m eth o d   i n   t h r ea ti m ap p licatio n   u s i n g   d i g ital   s ig n al  p r o ce s s i n g   to   s ep ar ate  t h r ec iev ed   au d io   s i g n a ls   f o r   th h u m an o id   r o b o t.       RE F E R E NC E S     [1 ]   Ka y o d e   F .   Ak in g b a d e   a n d   Isia k a   A .   A li m ,   S e p a ra ti o n   o f   Dig it a A u d io   S ig n a ls  u si n g   L e a stM e a n S q u a re   L M S   A d a p ti v e   A l g o rit h m ,   In ter n a ti o n a J o u rn a o El e c trica a n d   Co mp u ter   En g i n e e rin g   ( IJ ECE ) ,   v o l. 4 ,   n o . 4 ,     p p .   5 5 7 - 560 ,   2 0 1 4 .   [2 ]   Y.  Ch e n ,   J.  M e n g ,   S tu d y   o n   BS S   A lg o rit h m   u se d   o n   F a u lt   Dia g n o sis  o f   G e a rb o x ,   T EL KOM NI KA  In d o n e sia n   J o u rn a o El e c trica En g in e e rin g v o l.   1 1 ,   n o .   6,   pp.   2 9 4 2 - 2 9 4 7 ,   2 0 1 3 .     [3 ]   m i   G rib o n v a l,   S y lv a in   L e sa g e ,   S u rv e y   o f   S p a rs e   Co m p o n e n An a lys is  f o Bl in d   S o u rc e   S e p a r a ti o n :   Prin c i p le,   Per sp e c ti v e s,  a n d   n e C h a ll e n g e s” ES A NN ’2 0 0 6   p ro c e e d i n g - Eu ro p e a n   S y m p o siu m   o n   A rti f icia Ne u ra Ne tw o rk s Bru g e (Be lg iu m ), 2 6 - 2 8   A p ril 2 0 0 6 , d - si d e   p u b li c ,   IS BN  2 - 9 3 0 3 0 7 - 06 - 4.   [4 ]   Yu a n q i n g   L i,   A n d rz e Cich o c k i,   S h u n - ich i   Am a ri,   S p a rs e   C o mp o n e n t   An a lys is  f o Bl i n d   S o u rc e   S e p a r a ti o n   wit h   les S e n so rs   th e n   S o u rc e s”,   4 th   In tern a ti n a l   S y m p o siu m   o n   In d e p e n d e n Co m p o n e n A n a ly sis  a n d   Bli n d   S ig n a l   S e p a ra ti o n   (ICA   2 0 0 3 ),   A p ri 2 0 0 3 ,   Na ra ,   Ja p a n .   [5 ]   J . - L .   S tarc k ,   M .   El a d ,   D.  L .   D o n o h o ,   Re d u n d a n m u lt isc a le  tr a n sf o rm a n d   th e ir  a p p li c a ti o n   f o M o rp h o l o g ica l   Co m p o n e n A n a ly sis,” J o u rn a l   o Ad v a n c e s i n   Ima g in g   a n d   El e c tro n   Ph y sic s ,   v o l .   1 3 2 ,   p p .   2 8 7 3 4 8 ,   2 0 0 4 .     [6 ]   S .   Krs tu l o v ic,   R.   G rib o n v a l ,   M P T K:  M a tch in g   P u rsu i m a d e   T r a c tab le,”  in   P ro c .   I n t.   C o n f .   A c o u st .   S p e e c h   S ig n a l   P r o c e s.   [7 ]   O.   Yilm a z ,   S . Rick a rd ,   Bli n d   S e p a ra ti o n   o f   S p e e c h   M ix tu re v ia  T i m e - F re q u e n c y   M a sk in g IEE T ra n s a a c ti o n s   o n   S ig n a Pro c e ss in g ,   v o l.   5 2 ,   n o .   7 ,   p p .   1 8 3 0 1 8 4 7 ,   Ju l.   2 0 0 4 .   [8 ]   P .   G .   G e o rg ie v ,   F .   T h e is,   A .   Cich o c k i,   S p a rse   Co m p o n e n A n a l y sis  a n d   b li n d   S o u rc e   S e p a ra t io n   o f   u n d e r d e term in e d   M ix tu re s” ,   IEE T ra n sa c ti o n s o n   Ne u r a Ne two r k s ,   v o l.   1 6 ,   n o .   4 ,   p p .   9 9 2 9 9 6 ,   2 0 0 5 .   [9 ]   F.   J.  T h e is,   A .   Ju n g ,   C.   G .   P u n t o n e t ,   L a n g   E.   W .   L in e a g e o m e tri c   I C A F u n d a m e n tals  a n d   A l g o rit h m s” ,   Ne u ra l   Co mp u t a ti o n ,   1 5 (2 ):   4 1 9 - 4 3 9 ,   F e b ru a ry   2 0 0 3 .   [1 0 ]   A .   Ik h le f ,   D.  L e   G u e n n e c ,   A   S im p li f ied   Co n sta n M o d u lu A lg o rit h m   f o Bli n d   Re c o v e ry   o f   M IM QA M   a n d   P S S ig n a ls Crit e rio n   w it h   Co n v e rg e n c e   A n a l y sis ,   EURA S IP  J o u rn a o n   W ire les s   Co mm u n ica ti o n a n d   Ne two rk in g ,   v o l.   2 0 0 7 ,   A rti c le ID   9 0 4 0 1 ,   1 3   p a g e s,  2 0 0 7 .   d o : 1 0 . 1 1 5 5 /2 0 0 7 /9 0 4 0 1 .   [1 1 ]   J.   F.  Ca rd o so ,   A .   S o u lo u m iac ,   B li n d   B e a m f o r m in g   f o N on - Ga u ss ian   S ig n a ls” IEE   PR OCEEDINGS F,   v o l.   1 4 0 ,   n o.   6,   De c e m b e 1 9 9 3 .   [1 2 ]   S .   M a k in o ,   T . - W .   L e e ,   H.  S a w a d a , Bli n d   S p e e c h   S e p a ra ti o n ,   S p ri n g e r ,   2 0 0 7 .   [1 3 ]   A.   A is sa - El - Be y ,   Re p se n tatio n P a rc im o n ieu se e A p p li c a t io n e n   Co m m u n ica ti o n   N u m é riq u e ,   T e lec o m   Bre tag n e ,   HD /Un i v e rsite d e   Bre tag n e   Oc c id e n tale ,   3 0   No v e m b re   ,   2 0 1 2 .   [1 4 ]   V .   M a ti c ,   W .   De b u rc h g r a e v e ,   Co mp a ris o n   o f   ICA  A l g o ri th ms   fo E CG  Art if a c t   Rem o v a l   fro m   EE S ig n a ls” IEE E - EM BS   Be n e lu x   Ch a p ter S y m p o siu m ,   2 0 0 9 .   [1 5 ]   O.   C h a k k o r,   Ca rlo Ga r c ia  P u n to n e t,   M o h a m m e d   Ess a a d i,   A   S u rv e y   o S ig n a S e p a ra ti o n   A lg o rit h m s ”,  In ter n a t io n a J o u rn a o C o mp u ter   Ap p l ica ti o n s ,   v o l.   5 4 ,   n o .   8 ,   2 0 1 2 .   [1 6 ]   H.   A b o u z id ,   O.   Ch a k k o r,   Bli n d   A u d io   S o u rc e   S e p a ra ti o n S ta te - o f   A rt”,  In ter n a ti o n a J o u rn a o Co mp u ter   Ap p li c a ti o n s ,   v o l .   1 3 0 ,   n o .   4 ,   N o v e m b e 2 0 1 5 .                         Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 8 - 8708   I J E C E     Vo l.  7 ,   No .   4 A u g u s t   2017     1 9 0 6     1 9 1 4   1914   B I O G RAP H I E S   O F   AUTH O RS        H o u d a   A b o u z i d   w a b o rn   i n   M a 1 9 8 9   i n   T e to u a n ,   M o r o c c o ,   sh e   is  a   p h d   st u d e n a A b d e lm a le k   e ss a a d u n iv e rsity ,   Na ti o n a S c h o o l   o f   A p p li e d   S c ie n c e in   T e to u a n .   S h e   re c e iv e d   h e d e g re e   o En g in e e rin g   o f   tele c o m m u n ica ti o n   sy ste m a n d   n e tw o rk s   in   2 0 1 3   a th e   sa m e   s c h o ll .   S in c e   2 0 1 4 ,   sh e   h a p ro v id e d   se v e ra v o c a ti o n a trai n in g   c o u rse o n   m a tl a b   p r o g ra m m in g ,   n e tw o rk a n d   e m b e d d e d   sy ste m s .   S h e   is  a lso   a   T e a c h e V a c a n a th e   Na ti o n a S c h o o o f   A p p li e d   S c ie n c e (ENS A - T e ).   S h e   is  th e   p re si d e n a n d   m e m b e o f   c r e a ti o n   o f   a   tele c o m   g e n e r a ti o n   c lu b   a ENS A - T e   sin c e   2 0 1 6 ,   p r o v id i n g   d if f e re n e d u c a ti o n a c o u rse s   a n d   w o rk sh o p s   d e d ica ted   to   a ll   P h stu d e n ts   o f   A b d e l m a le k   E ss a a d i   u n iv e rsity .           O t m a n   Cha k k o r   wa b o rn   in   No v e m b e 1 9 7 7   i n   T a n g ier,  M o ro c c o .   He   is  a   P ro f e ss o (He a d   o f   T e le c o m m u n ica ti o n   De p a rte m e n t)  a A b d e lm a l e k   Ess a a d i   Un iv e rsit y ,   in   Na ti o n a S c h o o o f   A p p li e d   S c ien c e ENS A   in   T e tu a n ,   M o ro c c o   a n d   m e m b e o f   th e   RS A ID   Lab o ra to ry .   He   re c e iv e d   h is  P h D - T h e sis  f ro m   th e   Un i v e rsit y   o f   G ra n a d a   (S p a in ),   D e p a rtme n o f   A r c h it e c tu re   a n d   T e c h n o lo g ies   o f   Co m p u ters Are a S ig n a p ro c e s sin g ,   He   o b tain e d   h is  d e g re e   o f   El e c tri c   En g in e e rin g   IEE A   f ro m   A b d e lm a lek   Essa a d Un iv e rsit y   (M o ro c c o )   in   1 9 9 9 .       Evaluation Warning : The document was created with Spire.PDF for Python.