I nte rna t io na l J o urna l o f   E lect rica l a nd   Co m p ute r  E ng in ee ring   ( I J E CE )   Vo l.   7 ,   No .   4 ,  A u g u s t   201 7 ,   p p .   1 9 0 6 ~ 1 9 1 4   I SS N:  2 0 8 8 - 8708 ,  DOI : 1 0 . 1 1 5 9 1 / i j ec e . v7 i 4 . p p 1 9 0 6 - 1914          1906       J o ur na l ho m ep a g e :  h ttp : //ia e s jo u r n a l.c o m/o n lin e/in d ex . p h p /I JE C E   A Nov el Method   ba sed o n G a uss ia nity a nd Spa rsity   for Sig na l  Sepa ra tion Alg o ri th m s       Abo uzid  H o ud a ,   Cha kk o r  O t m a n   De p a rtme n t  o f   T e le c o m m u n ica ti o n s,   RS A ID L a b o ra to ry ,   Natio n al   Sch o o l o f   A p p lied   Scien ce s ,   A b d e l m a le k   Essa a d i  Un iv e rsit y ,  T e tu a n ,   M o r o c c o       Art icle  I nfo     AB ST RAC T     A r ticle  his to r y:   R ec eiv ed   J u n   9 ,   2 0 1 6   R ev i s ed   No v   2 0 ,   2 0 1 6   A cc ep ted   Dec   1 1 ,   2 0 1 6       Bli n d   so u rc e   se p a ra ti o n   is  a   v e r y   k n o w n   p ro b lem   w hi c h   re f e r s  to   fin d i n g   th e   o rig in a l  so u rc e s  w it h o u t  th e   a id   o f   in f o r m a ti o n   a b o u t  th e   n a t u re   o f   th e   so u rc e s an d   th e   m ix in g   p ro c e ss ,   to   so lv e   th is  k in d   o f   p ro b lem   h a v i n g   o n ly   th e   m i x tu re s,  it   is  a l m o st  i m p o ss ib le  ,   th a t  w h y   u sin g   so m e   a s su m p ti o n s  is  n e e d e d   in   s o m e h o w   a c c o rd in g   to   th e   d if f e r e n ts  situ a ti o n s  e x isti n g   in   th e   re a l  w o rld ,   f o r  e x e m p le,  in   lab o ra to ry   c o n d it io n ,   m o st  o f   tes t e d   a lg o rit h m s  w o rk s   v e r y   f in e   a n d   h a v in g   g o o d   p e rf o rm e n c e   b e c a u se   th e     n a t u re   a n d   t h e   n u m b e r  o f   th e   in p u t  sig n a ls  a re   a l m o st  k n o w n   a p rio ri  a n d   th e n   th e   m ix in g   p ro c e ss   is  w e ll   d e ter m in e d   f o r  th e   se p a ra ti o n   o p e ra ti o n .     Bu t  in   f a c t,   th e   re a l - li fe   sc e n a rio   is  m u c h   m o re   d iffere n t  a n d   o f   c o u rse   th e   p ro b lem   is   b e c o m in g   m u c h   m o re   c o m p li c a ted   d u e   to   th e   th e   f a c t  o f  h a v in g   th e   m o st  o f   th e   p a r a m e ters   o f  th e   li n e a r   e q u a ti o n   a re   u n k n o w n .   In   th is  p a p e r,   w e   p re se n t  a   n o v e l  m e th o d   b a se d   o n   G a u ss ian it y   a n d   S p a rsity   f o r  si g n a l  se p a ra ti o n   a lg o rit h m s  w h e re   i n d e p e n d e n t  c o m p o n e n t  a n a ly s is  w il l  b e   u se d .   T h e   S p a rs it y   as   a   p re p ro c e ss in g   ste p ,   th e n ,   a s  a  f in a l  ste p ,   th e   G a u ss ian it y   b a s e d   so u rc e   se p a ra ti o n   b lo c k   h a s  b e e n   u se d   to   e stim a te  th e   o rig in a l  so u rc e s.  T o   v a li d a te   o u r  p ro p o se d   m e th o d ,   th e   F P IC A   a lg o rit h m   b a se d   o n   BS S   tec h n iq u e   h a s  b e e n   u se d .   K ey w o r d :   Gau s s ia n it y   I n d ep en d en t  C o m p o n en t  An al y - s is   ( I C A )   Sig n al  Sep ar atio n   A l g o r ith m s   Sp ar s e  I n d ep en d en t  An al y s is   Sp ar s it y     Co p y rig h t  ©   2 0 1 7   In stit u te o f  A d v a n c e d   E n g i n e e rin g   a n d   S c ien c e .     Al l  rig h ts  re se rv e d .     C o r r e s p o nd ing   A uth o r :   A B OU Z I D  Ho u d a,     Dep ar t m en t o f   T elec o m m u n ic atio n s ,   A b d el m a lek   E s s aa d i  Un iv er s it y ,   Natio n al  Sc h o o l o f   A p p lied   Scien ce s ,   P B   2 2 2 2   M' h a n n ec h ,   T etu an ,   Mo r o cc o .   E m ail: a b zd h o u d a @ g m ai l.c o m       1.   I NT RO D UCT I O N       Sp ee ch   is   t h e  m o s t  i m p o r tatn t  w a y s   o f   h u m an   co m m u n i ca tio n   in ter ac tio n   p ick ed i n g   u p   w ith   h i s   n atu r al  m ic h r o p h o n es   ( ea r s )   ,   th er ef o r e  w h e n   d if f er e n ts   s p e ak er s   ar e  talk i n g   in   t h e  s a m e  ti m e  i n   a  r o o m   li k e   in   t h e  co ck tail  p ar t y ,   th i s   h u m an   ea r   l is te n   to   m ix t u r es  o f   w a n ted   an d   u n w a n ted   s i g n als.Fo r tu n atel y ,   th e   h u m a n   lis ten er   is   v er y   i n tel lig en t i n   d etec tin g   m an y   ac ti v e  s o u n d   s o u r ce s   a n d   th e n   h e  is   ab le  to   co n ce n tr ate  o n   a  s in g le  s o u r ce   ( lik e  a  s p ee ch   o f   a  f r ie n d )   an d   ig n o r e  th e  o t h er s   as  a  d i s tu r b i n g   b ac k g r o u n d   n o is e. Ho w e v er ,   th is   tech n ical  o p er atio n   is   n o t  p o s s ib le  f o r   a  m ac h i n e  o r   an   h u m a n o id   r o b o t  b ec au s e  it  d o esn ’ t  h av e  t h e  b r ain   lik e  t h e   h u m an ,     as   a  co n s e q u en ce   ,   it  w i ll  g et  co n f u s ed   h a v i n g   n o   ab ili t y   to   s ep ar at e  th e   ar r iv ed   a u d io   m i x tu r e s   an d   t h en   i n d er s ta n d   th e  o r d er s .   T o   s o lv e  th is   k in d   o f   p r o b lem s ,   th e  b li n d   s o u r ce   s e p ar atio n   tech n iq u e   m u s t b e  d o n e.       T h e  b lin d   s o u r ce   s ep ar atio n   i s   a  v er y   i m p o r tan t  an d   r ec en t  to p ic  attr ac ted   b y   m a n y   r es er ch er s   in   d if f er e n ts   f ield s   w h ich   h as b ee n   d ev elo p ed   an d   ap p lied   to   au d io   s ig n a l p r o ce s s in g   [ 1 ] .   Du r i n g   th e  r ec e n t  y ea r s   m an y   s t u d ies   h a v e  b ee n   i n ter ested   to   t h e  s tu d y   o f   B li n d   S o u r ce   Sep ar atio n   ( B SS )   [ 2 ]   an d   m o r e   g e n er all y   to   th at  o f   I n d ep en d en t  C o m p o n e n t  An al y s is   ( I C A ) . T h is   tech n i q u e  is   u s ea ll y   b ased   o n   t h e  h y p o t h esi s   t h at  t h e   Evaluation Warning : The document was created with Spire.PDF for Python.
I J E C E     I SS N:  2 0 8 8 - 8708       A   N o ve l Meth o d   b a s ed   o n   Ga u s s ia n ity  a n d   S p a r s ity  fo r   S ig n a l S ep a r a tio n   A lg o r ith ms ( A b o u z id   Ho u d a )   1907   s o u r ce s   ar e  m u tu al l y   in d ep en d en ts . Au d io   s ep ar atio n   m et h o d   h as  f o u n d   its   p lace   in   m a n y   ap p licatio n s ,   s u c h   a s : th e  co ck tail p ar t y   p r o b le m , v o ice  r ec o g n it io n   s y s te m s   , T h e  n o is e  S u p p r ess io n   f o r   m o b ile  p h o n es o r   h ea r in g   aid s   ,   Me d ical  ap p licatio n s : E C G,   E E G, etc.     T h e re   ar e  s ev er al  ap p r o ch es u s in g   t h e  B SS   tech n iq u e  lik e:   a.   I n d ep en d en t Co m p o n en t  A n al y s i s   ( I C A )   m et h o d   .   b.   T im e - Fre q u e n c y   m as k i n g   a p p r o ac h   f o r   s p ee ch   s ep ar atio n   .   c.   B SS   in   i m ag e  s ep ar atio n   .   d.   C lu s t er i n g   a n d   MM SE - b a s ed   f ilter in g   .     e.   I n d ep en d en ce   .   f.   No n - n e g ati v it y     g.   Sp ar s en es s         As  a  r esu lt  o f   th e  ce n tr al  li m i t  th eo r e m ,   th e  p r o b ab ilit y   d en s it y   f u n ctio n   o f   th e  s u m   o f   in d ep en d en t   r an d o m   v ar iab les  ( o r   late n t  v ar iab les)  is   m o r e  g a u s s ia n   t h a n   th e  o r i g i n al  r an d o m   v ar iab l es.  T h er e  ar e  m a n y   b lin d   s ig n al  s ep ar atio n   al g o r ith m s   in   t h e  liter a t u r e,   th at  u s es  th e  g a u s s ia n it y   i n   o r d er   to   s ep ar ate  th e  s ig n als ,   w h er e  th er e  ar e   m a n y   m et h o d s   f o r   m ea s u r in g   t h e  g a u s s ian it y   ( k u r to s i s   [ 3 ] ,   n eg en tr p y   [ 4 ] )   .   I n   o u r   p ap er   w e  co m b in e   th e   ad v an ta g e  o f   t h e  g a u s s ian it y   a n d   s p ar s it y   o f   t h e  s o u r ce   s ig n al,   in   o r d e r  to   s ep ar ate,     r ec o v er in g   an d   es ti m ati n g   s o u r ce   s ig n als.   T o   v alid ate  o u r   p r o p o s ed   m e th o d ,   w e  w i ll  u s e   au d io   s ig n als  f o r   r o b o tic  h u m a n o id   ap p licatio n s .   Sp ar s e   d ec o m p o s itio n s   tech n i q u es  w ill  b e  s tu d ied   in   o r d er   t o   ch o o s e  a  s u itab le  alg o r ith m   w it h   b etter   q u a lit y   o f   s i g n al  s ep ar atio n .       2.   T H E   P RO P O SE D  M E T H O D   2 . 1 .   G a us s ia nity   ba s ed  M et ho ds   f o r  Sig na l Sepa ra t io n Alg o ri t h m s   2 . 1 . 1 .   G ener a l M o del o f   B SS   T h e  g o al  o f   t h e  B li n d   s i g n a l  s ep ar atio n   ( B SS )   is   to   r ec o v er   a  s et  o f   N  u n k n o w n   s o u r ce s   f r o m   M   o b s er v atio n s   r esu ltin g   f r o m   t h e  m i x t u r e  o f   th e s e  s o u r ce s   t h r o u g h   u n k n o w n   tr an s m i s s io n   c h an n el s .   T h e  B SS   p r o b lem   is   p r esen t in   m a n y   r e al - w o r ld   ap p licatio n s ,   s u ch   a s   b io m ed ical,   telec o m m u n icatio n   an d   s p ee ch   [ 5 ].   L et  a   s et  o f   t h e  s o u r ce   s i g n als  d en o ted   b y   a  v ec to r   s   =[ s 1 ( t) , …, s N ( t) ] T ,   th e  o b s er v atio n s   o r   t h e  r ec o r d e d   s ig n al s   ar e  x   =  [ x 1 ( t) , …. , x M ( t) ] T .   T h e  m i x t u r e  m o d el  f o r   a  b asic  b lin d   s ig n al  s ep ar atio n   p r o b lem   is   r ep r esen ted   b y :     ( t ) A . s ( t ) x       ( 1 )     W h er e  A   ( a ij )   is   an   u n k n o w n   Nx N  i n v er tib le  m i x i n g   m atr i x .     I n   o r d er   to   s tu d y   th e  s ig n al  s e p ar atio n   m eth o d s   b ased   o n   g a u s s ian it y ,   w e  co n s id er   th e  s i m p le  ca s e,   w h er e  t h e   n u m b er   o f   s o u r ce s   is   eq u al  to   th e  n u m b er   o f   s en s o r s   ( N  =  M) ,   in   th is   ca s e  th e  r o le  o f   t h e  B SS   is   to   d eter m i n e   a  Nx N  s ep ar ati n g   m atr i x   W ( w ij )   s u ch   t h at:     ( ) . ( ) . ( ) y t W x t G s t                  ( 2 )     W h er e  y   is   an   esti m ate  o f   th e  s o u r ce   s ig n als  .     2 . 1 . 2 .   I nd epe nd e nt  Co m po nent  An a ly s is   ( I CA)   I n d ep en d en t  C o m p o n en t  An al y s i s   ( I C A )   is   a  f a m o u s   an d   class ical  m e th o d   u s ed   to   s ep ar ate  s ig n als   f r o m   a  lin ea r   m ix t u r es  o f   s ta tis tical  i n d ep en d en t  co m p o n e n t .  T h e  p r in cip al  ap p licatio n s   o f   I C A   ar e  b lin d   s ig n al  ( s o u r ce s )   s ep ar atio n   an d   f ea tu r e  ex tr ac tio n   ( B ell  an d   Sej n o w s k i 1 9 9 6 ) [ 6 ] .   A ll t h e  ap p licatio n s   ca n   b e  f o r m u lated   in   a  u n i f ied   m a th e m at ical  f r a m e w o r k :   W e  o b s er v e  n  r an d o m   v ar iab le s   x 1 , x 2 , …, x n   w h ic h   ar e  lin ea r   co m b i n atio n s   o f   n  late n t v ar ia b les  s 1 , s 2 , …, s n   as:     x i  = a i1 s 1   + a i2 s 2   + …   + a in s n    f o r   all    i =  1 ,   …,   n     W h er e  a ij ,  1 , . . . , n j   ar e  s o m e  r ea l c o ef f icien t s .     B y   d ef i n it io n ,   th e  s o u r ce s   s i   ar e   s tatis ticall y   in d ep en d e n t.  T h e  “ la ten t  v ar iab les”  ar e  th e  s o u r ce s   s i ,  w h ic h   ar e  al s o   ca lled   th e   i n d ep en d en t  co m p o n en ts .   T h e y   ar e  ca lled   “ late n t”  b ec a u s e   th e y   ca n n o t  d ir ec tl y   b e   o b s er v ed   o r   m ea s u r ed .   B o th   th e  i n d ep en d en t  co m p o n e n ts ,   s i ,   an d   th e   m ix i n g   co ef f icie n t s ,   a ij ,   ar e  n o t  k n o wn   an d   m u s t b e  d eter m i n ed   ( o r   esti m ated )   u s in g   o n l y   t h e  o b s er v ed   d ata  x i   [ 7 ] .   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 8 - 8708   I J E C E     Vo l.  7 ,   No .   4 ,  A u g u s t   2017   :    1 9 0 6   –   1 9 1 4   1908   T h e  I C A   late n t v ar iab le s   m o d el  is   b etter   r ep r esen ted   in   m atr ix   f o r m .   I f   12 [ , , . . . , ] T n S s s s r ep r esen ts   th e  o r ig i n al,   m u lti v ar iate  d ata  th at  is   tr a n s f o r m ed   t h r o u g h   s o m e  tr an s f o r m atio n   m atr i x   H   p r o d u cin g   X   s u ch   th at   :   X H S .   T h en   I C A   tr ies to   id en ti f y   a n   u n m i x i n g   m atr i x   W s u ch   t h at   :   1 WH .   So   th at  th e  r es u lt in g   m atr ix   Y   is :   () Y W S W H S S S   ( s in ce 1 WH ) .   As  w e  alr ea d y   k n o w ,   t h e  o n l y   th in g   li n ea r   I C A   d e m an d s   i s   t h at  th e  o r ig i n al  s i g n als  12 , s . . . , n ss   m u s t   b e  at   an y   ti m e  t   s tati s tical l y   i n d ep en d en t   an d   th e  m i x i n g   o f   t h e  s o u r ce s   b e  li n ea r .   An   i m p o r tan t  p r ep r o ce s s i n g   s tep   b ef o r e  s en d i n g   th e   d ata  t h r o u g h   t h e  I C A   al g o r ith m   is   w h ite n i n g .   W h iten i n g   is   w ea k er   t h an   s t atis tical  i n d ep en d en ce   b u t  s li g h t l y   s tr o n g er   th a n   u n co r r elate d n ess .   T h e  w ell - estab lis h ed   to o l f o r   m a k i n g   s e n s e  o f   h i g h   d i m en s io n a l d ata  b y   r ed u cin g   it to   a  s m aller   d i m e n s io n .   W h iten e s s   o f   a  ze r o - m ea n   r an d o m   v ec to r ,   e. g . X ,   m ea n s   th at   its   co m p o n e n t s   ar e  u n co r r elate d   an d   th eir   v ar ia n ce   eq u al s   u n it y .   T h at  is ,   th e  co v ar ia n ce   m a tr ix   o f   X eq u als t h e  id en tit y   m atr ix I   :      {} T E X X I     Fo r   o u r   m ix ed   d ata X ,   w h iten in g   m ea n s   th at  w e  lin ea r l y   tr an s f o r m   it  b y   m u ltip l y i n g   w it h   a  m atr i x   ( s a y V )  s u ch   t h at  t h e  r esu l tin g   m atr ix   Z   is   w h ite   :   () Z V X V H S H S   .   An   i m p o r tan t   r esu lt  o f   w h ite n in g   p r o ce s s   is   t h at  t h e  n e w   m i x in g   m atr i x H ,   is   o r th o g o n al   ( i.e .   its   in v er s e  is   eq u a l  to   its   tr an s p o s e) .   I t  is   i m p o r tan t  to   n o te  th a t  th e  w h ite n in g   ( o r   s p h er in g )   p r o ce s s   alo n e  d o es  n o t e n s u r e  s tat is tical  i n d ep en d en ce   o f   X   b u t it  p la y s   an   i m p o r t an t ste p   i n   th e  s ep ar atio n   p r o c ess   [ 8 ] .   I n   o r d er   to   u s e  t h e  n o n g a u s s ia n it y   o f   late n t  v ar iab les,  w e  h a v e  to   m ea s u r e  t h e  n o n g au s s ia n it y   i n   I C A ,   w e  u s ed   s o m e  q u a n tita tiv e  m e asu r e  o f   n o n g a u s s ian i t y ,   li k e  Ku r to s is   ( ab s o l u te  v alu e)   o r   it s   s q u ar e  v alu e.   T h e y   v an i s h   f o r   a  Gau s s ia n   v ar iab le ,   an d   th e y   ar e  p o s iti v e  f o r   m o s t n o n g au s s ia n   r an d o m   v ar iab le s   [ 9 ] .   T h e  k u r to s i s   o r   t h e  f o u r th - o r d er   cu m u la n t   o f   a  r an d o m   v ar ia b le  y   is   d ef i n ed   f o r   a  ze r o - m ea n   v ar iab le  b y :     4 2 2 ( ) { } 3 ( { } ) k u r t y E y E y      ( 3 )     I f   1 y an d 2 y ar e  t w o   in d ep en d en t r a n d o m   v ar iab les,  w e  h a v e:     1 2 1 2 ( ) ( ) ( ) k u r t y y k u r t y k u r t y               ( 4 )     An d   4 11 ( . ) . ( ) k u r t a y a k u r t y                 ( 5 )     W ith   ( a is   a  s ca lar ) .   T h e  Ku r to s is   is   ze r o   f o r   a  Gau s s ia n   r an d o m   v ar iab le,   a n d   th e  r an d o m   v ar iab les  th a t   h av e  a  p o s iti v e  k u r to s is   ar e  ca lled   s u p er   Gau s s ian   ( o r   lep to k u r tic) ,   an d   t h o s e  w i th   n e g ati v e  k u r to s i s   ar e  c alled   s u b   Ga u s s ia n   ( o r   p laty k u r tic) .   Neg e n tr o p y   ca n   also   b e  u s ed   t o   m ea s u r e  t h e  n o n g a u s s ia n it y . I ts   d ef in ed   as  f o llo w s :     ( ) ( ) ( ) g a u s s J y H y H y          ( 6 )     W h er e  H   is   th e  d i f f er e n tial e n t r o p y   o f   a  r an d o m   v ec to r   y   d ef i n ed   b y :     ( ) ( ) . l o g ( ) H y f y f y d y                ( 7 )     I n   th e  in f o r m at io n - th eo r etic  f r a m e w o r k ,   th e  n e g e n tr o p y   is   co n s id er ed   as  a  m et h o d   to   m ea s u r e  th e   n o n g au s s ia n it y ,   an d   t h e  lar g e s t  en tr o p y   a m o n g   all  t h e  r an d o m   v ar iab les  o f   eq u al  v ar ian c e  is   f o r   a  Gau s s ia n   v ar iab le.   T h e  n eg en tr o p y   f o r   a  Gau s s ian   v ar iab le  is   ze r o   an d   al w a y s   n o n n e g ati v e  [ 1 0 ] .   A ll  t h e  s o l u tio n s   p r o p o s ed   f o r   s ig n al  s ep ar atio n   al g o r ith m s ,   esp ec iall y   th o s e  cited   in   th is   p ap er ,   i.e .   th e  m et h o d s   b ased   in   th e  m ea s u r e  o f   n o n g a u s s ia n it y   [ 1 1 ] ,   th e  n u m b er   o f   s o u r ce   is   eq u al  to   t h e  n u m b er   o f   s en s o r s ,   Evaluation Warning : The document was created with Spire.PDF for Python.
I J E C E     I SS N:  2 0 8 8 - 8708       A   N o ve l Meth o d   b a s ed   o n   Ga u s s ia n ity  a n d   S p a r s ity  fo r   S ig n a l S ep a r a tio n   A lg o r ith ms ( A b o u z id   Ho u d a )   1909   o b v io u s l y   w e  co u ld   h av e  t w o   o th er s   s it u atio n s ,   t h e  o v er   co m p lete  an d   u n d er   co m p lete  c ases .   T h at  w h y   we   p r o p o s e  to   u s e  th e  s p ar s i t y ,   as  a  s o lu tio n   to   s ep ar ate  s i g n als  f r o m   a n   u n d er d eter m i n ed   s y s te m s   [ 1 2 ] .     2 . 2 .   Sp a rsity   ba s ed  m et ho d s   f o r  Sig na l Sepa ra t io n Alg o rit h m s   B ef o r e  g iv i n g   a  d ee p   in s ig h t a b o u t h o w   th e  s p ar s i t y   ca n   s ep a r ate  th e  s i g n al s ,   let ’s   d ef i n e  t h e  m ea n in g   o f   a  s p ar s e  s ig n al.     2 . 2 . 1 .   Def ini t io n   T h e  m ea n i n g   o f   p ar s i m o n y   i s   lin k ed   to   th e  n o tio n   o f   ec o n o m y . T h u s ,   a  r ep r esen tatio n   o f   a  r ea l  v ec to r   is   s aid   to   b e  p ar s i m o n io u s   i f   th is   r ep r esen tatio n   is   ec o n o m i ca l.  I n   o th er   w o r d s ,   t h er e  is   a   m o r e  ec o n o m ical   w a y   o f   d escr ib i n g   th e   v ec to r   th an   g i v i n g   th e  v al u e  o f   all  it s   ele m e n t s .   I n   s ig n al  p r o ce s s i n g ,   t h i s   m ea n s   t h at   m o s t  o f   t h e  co ef f icie n t s   ar e  ze r o ,   an d   o n l y   a  f e w   co ef f icie n ts   h a v e  n o n - ze r o   v alu e s .   T h is   t y p e  o f   p ar s i m o n y   is   ca lled   s tr ict  p ar s i m o n y .   T h e  w id esp r ea d   p ar s i m o n y   r ef lect s   t h e  f ac t  t h at  t h e  m aj o r it y   o f   th e  co e f f ic ien t s   h av e   a  lo w   v alu e,   w h ile  t h e   r est  ta k e s   q u i te  lar g e   v alu e s .   I f   w e   d ef i n e  it   i n   ter m   o f   Ga u s s ia n it y ,   w e   ca n   s a y   t h at   t h e   s ig n al  is   s p ar s e  if   it s   m ar g in a l   d is tr ib u tio n   h a s   a  p ea k   at  ze r o   lar g er   th an   a  Gau s s ia n   w o u l d ,   o r   h as  f atter   tail s   th an   t h o s e  o f   a  Ga u s s ia n .   T h e  f i g u r e  b elo w   p r ese n t a n   e x e m p le  o f   a  s p ar s e  s ig n al:         Fig u r e  1 .   E x e m p le  o f   a  s p ar s e  s ig n al       T h e  Fig u r e   1   s h o w s   t h at  a  s ig n al  i s   s p ar s e  w h e n   its   m o s t  co ef f icien ts   ar e  ( ap p r o x i m atel y )   ze r o   ( th e  s ig n al  i n   b lu e)   an d   t h at  th e  p ea k s   r ep r esen t t h e  s i g n i f ican t c o ef f icien ts   w h ic h   co n s ti tu te  t h e  f o r m   o f   t h e  s i g n al.     2 . 2 . 2 .   Appl ica t io ns   i n D ig it a l  C o m m u nica t io ns   T h e  p ar s im o n io u s   r ep r esen tat io n   o f   s i g n a ls   h a s   g r o w n   s i g n if ica n tl y   o v er   th e  p ast  d ec ad e.   T h is   h as   m ad e  it   p o s s ib le  to   r eso lv e   m a n y   p r o b le m s   o f   s i g n al   p r o ce s s in g   a n d   i m ag e s   s u c h   a s   co m p r ess io n ,   b lin d   a u d io   s o u r ce     s ep ar atio n   ,  d etec tio n   o f   ar r iv al  o f   s o u r ce s ,   o r   d en o is in g   a n d   r ep r esen tatio n   o f   f u n ct io n s   i n   a  b asis .   A l s o   a  w ell  k n o w n   ap p lic atio n s   o f   t h e  s p ar s it y ,   i s   t h e  tr ea t m en t   o f   i n v er s e  p r o b lem s   i n   telec o m m u n icatio n s   e x p lo itin g   th e  p ar s i m o n io u s   c h ar ac ter   o f   th e  s ig n al s   to   th e  f in ite  alp h a b et.   T h e  b lin d   id en tif icatio n   o f   p ar s i m o n io u s   c h an n el s   in   SI MO   an d   MI MI - OFDM  s y s te m s .   T h ese  m et h o d s   h a v e  s h o w n   p er f o r m an ce s   s u p er io r   to   th e   m e t h o d s   c las s ical  a s   w ell   as  a   r o b u s tn e s s   to   th e   o v er esti m atio n   o f   th e  o r d er   o f   th e  ch a n n el,   in d u ce d   b y   p ar s i m o n io u s   r eg u lar izatio n   T h e  s p ar s it y   p la y s   a n   i m p o r ta n t  r o le  r eso l v in g   t h e  p r o b le m s   r ef er r in g   to   t h e m es  o f   id en tific atio n   o f   s y s te m s   ( id e n ti f icatio n   o f   c h a n n el s ) ,   eq u aliza tio n   a n d   t h e  i d en tific atio n   o f   p ar s i m o n io u s   c h a n n el s   i n   m u lti - s en s o r   s y s te m s   [ 1 3 ] .     2 . 2 . 3 .   E x e m ple o f   us i ng   S pa rs it y   f o r  Audi o   Sig na l S epa ra t io n   T h e  s ig n al s   ar e  co n v e n tio n all y   r ep r esen ted   i n   th e  f o r m   o f   a  li n ea r   tr an s f o r m at io n   o f   t h eir   co ef f icie n t s .  C o n v e n tio n al  s ig n al  r ep r esen ta tio n   tec h n iq u e s   g en er all y   u s e  a   d escr ip tio n   o f   th e  co m p o n e n t s   o n   a  b asis   o n   w h ic h   t h e  r ep r esen tatio n   o f   t h e  s ig n al  i s   u n iq u e  ( Fo u r ier   b asis ,   b asi s   o f   o r th o g o n al  w av ele ts   f o r   ex a m p le) .   T h e  F ig u r e  2   s h o w s   th e  r ep r esen tatio n   o f   a  s p ar s e  s ig n al  i n   a  Fo u r ier   b asis .   Ma th em atic ally ,   th e   ty p ic al   p r o b lem   o f   b l in d   s ig n al   p r o c ess i n g   ca n   b e   f o r m u late d   as:   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 8 - 8708   I J E C E     Vo l.  7 ,   No .   4 ,  A u g u s t   2017   :    1 9 0 6   –   1 9 1 4   1910   ( ) . ( ) ( ) x t A s t n t      ( 8 )     W ith A is   th e   NM m i x in g   m atr ix   an d   t h e  n o is e () nt .   So   th e  g o a l w ill  b e   t o   esti m ate  a  m ix in g   m atr ix A an d   th e  s o u r ce   s ig n als () st .    No t e  th at ,   m an y   s ig n als ca n   b e   s p ar s ely   r e p r es en te d   u s in g   a   p r o p er   s ig n al   d ic ti o n ar y .   T h e  s ca lar   f u n c tio n   ar e   ca lled   ato m s   o r   ele m e n ts   o f   t h e  d icti o n ar y   ( th er e  ar e  also   w a v elet - r elate d   d ictio n ar ies)  w h ic h   h a v e  to   b e  g r ea ter   th an   th e  s i g n al  s ize.   Un lik e  i n d ep en d en t  co m p o n e n t  a n al y s i s ,   th e s e  ele m e n ts   d o   n o t   h av e  to   b e  lin ea r l y   i n d ep en d en t   [ 1 4 ] .         Fig u r e  2 .  R ep r esen tatio n   o f   a  s p ar s e  s ig n al  u s i n g   a  Fo u r ier   b asis       3.   RE S E ARCH   M E T H O D   I n   th i s   p ap er ,   o u r   p r o p o s ed   m eth o d   is   b ased   o n   co m b i n i n g   o f   t w o   p r in cip les,  o n e  is   s p ar s it y ’ s   b ased   s tep ,   it  is   u s ed   as  a  p r ep r o ce s s in g   p r o ce s s   i n   o r d er   to   r eso l v e  th e  p r o b le m   o f   t h e  u n d er d eter m i n ed   m i x t u r e,   w h ic h   is   co n s id er ed   o n e  o f   th e   g r ea t a d v an ta g es o f   th e  s p ar s i t y   b ased   m et h o d   f o r   s ig n al s   s e p ar a tio n .   T h e  Gau s s ia n it y   is   u s ed   to   s e p ar ate  th e  s ig n als  f r o m   t h eir   m i x tu r e s ,  s tar ti n g   to   esti m ate  th e  m ix i n g   m atr i x ,   th e n   m o v i n g   to   p r o ce ed   a  s ig n als  s ep ar atio n s   p r o ce s s   u s in g   o f   co u r s e  t h e  es ti m ate d   m ix in g   m atr ix .   I f   w e  r ec ei v e  m o r e  s o u r ce s   t h a n   m i x tu r e s ,   t h en   th e   p r o b lem   to   esti m ate  th e  m i x i n g   m atr i x   a n d   th e   esti m ated   s o u r ce s   is   co n s id er ed   as a   d if f i cu lt  m u l tiv ar iate  o p ti m izatio n   p r o b lem   [ 1 5 ].   T h e  s ec o n d   b lo ck   i s   b ased   o n   g au s s ia n it y   ( o r   n o n g a u s s ia n it y ) ,   u s ed   as   p o s t  p r o ce s s i n g   s tep   ( o r   f in a l  s tep )   f o r   th e  o b s er v ed   s ig n al s   [ 1 6 ].       T h e  alg o r ith m s   b ased   o n   s p ar s it y   f o r   s ig n al  s ep ar atio n   is   lar g el y   d i f f er in g   f r o m   t h e   class ical   ass u m p tio n   o f   t h e  s tati s tic al  i n d ep en d en ce   o f   th e  s ig n al s .       4.   RE SU L T S AN D  D I SCU SS I O N   T h e   F ig u r e  3   r ep r esen t s   t h e  o r ig in a l  s o u r ce s   tah t  h a v e  b ee n   ta k in g   d u r i n g   t h e  p r esen t  e x p er i m e n t,   u s i n g   au d io   s p ac e  s ig n als  ta k in g   f r o m   I C AL A B ,   th e  r es u lt   s ee n   in   t h e  F i g u r e  4 ,   af ter   u s in g   th e  p r o p o s ed   m et h o d :   Evaluation Warning : The document was created with Spire.PDF for Python.
I J E C E     I SS N:  2 0 8 8 - 8708       A   N o ve l Meth o d   b a s ed   o n   Ga u s s ia n ity  a n d   S p a r s ity  fo r   S ig n a l S ep a r a tio n   A lg o r ith ms ( A b o u z id   Ho u d a )   1911       Fig u r e  3 .   T h e  o r ig in al  s p ar s e  s o u r ce s           Fig u r e  4 .  FP I C A   est i m a ted   o u tp u ts         T o   d escr i b e  th e   p r ec is e  o f   I C A   a lg o r it h m ,   w e  u s e  n o t  o n l y   t h e  es ti m ated   m ix i n g   m atr i x   b u t   w e  h av e   to   u s e   in d e x   to   s h o w   t h e  q u alit y   o f   t h e   s ep ar atio n   o f   FP I C A   al g o r ith m ,   th i s   s ca tte r   in d ex   n a m ed   SIR   ( Sig n al  to   I n ter f er e n ce   R atio ) ,   th e  F i g u r e   5   b elo w   d e m o n s tr at e  th at:           Fig u r e  5 .   Sig n al  to   I n ter f er e n c e  R atio   f o r   S   -4 -2 0 2 4 s1 -4 -2 0 2 4 s2 100 200 300 400 500 600 700 800 900 1000 -4 -2 0 2 4 s3 Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 8 - 8708   I J E C E     Vo l.  7 ,   No .   4 ,  A u g u s t   2017   :    1 9 0 6   –   1 9 1 4   1912       Hig h er   v al u es  o f   SIR  m ea n s   t h at  th e  al g o r ith m   p er f o r m s   b e tter   f o r   s ig n a l  s ep ar atio n .   As  th e  m ea n   ( SIR)  =3 8 . 9 3   d B >2 0 ,   th e  p er f o r m a n ce   o f   t h e  al g o r ith m   FP I C A   is   g o o d ,   an d   f r o m   t h e  p lo t s   o f   t h e  s i g n als  w e   o b s er v e  th at  t h e  ex tr ac ted   s i g n als ar e  s i m ilar   o n e  b y   o n e  to   t h e  o r ig i n al  s i g n a l so u r ce s .     Fig u r e  6   s h o w s   s ig n al  to   I n ter f er en ce   R atio   f o r   A   w it h   p er f o r m an ce   i n d ex =  0 . 0 0 7 8 4 4         Fig u r e  6 .  Sig n al  to   I n ter f er e n c e  R atio   f o r   A   w i th   p er f o r m an c e  in d ex =  0 . 0 0 7 8 4 4       T h e  s ca tter   in d ices o f   t h e  esti m ated   s o u r ce s   ar e  s h o w n   i n   t h e  F ig u r e   7   b elo w :         Fig u r e  7 .  T h e  s ca tter   in d ices o f   th e  e s ti m ated   s o u r ce s   Y       T h e  s ca tter   in d ices  s h o w s   t h e  d ir ec tio n s   o f   ar r iv al  o f   each   s i g n al  s o u r ce s   w itc h   th e  b est  d ir ec tio n   is   th e  s i g n al  w h ich   h as  th e  m o s t   g r ea ter   in d ice  ,   h er e  w ill  b e  th e  s o u r ce   Y3   h av i n g   t h e  s ca t ter   in d ice  eq u al  to   3 9 . 7 3   d B .   Evaluation Warning : The document was created with Spire.PDF for Python.
I J E C E     I SS N:  2 0 8 8 - 8708       A   N o ve l Meth o d   b a s ed   o n   Ga u s s ia n ity  a n d   S p a r s ity  fo r   S ig n a l S ep a r a tio n   A lg o r ith ms ( A b o u z id   Ho u d a )   1913   5.   CO NCLU SI O N      B lin d   s o u r ce   s ep ar atio n   ( B SS )   is   a  g en er al  s i g n al  p r o ce s s in g   tech n iq u e,   w h ic h   co n s is ts   o f   r ec o v er in g ,   f r o m   a  f i n ite  s et   o f   o b s er v atio n s   r ec i ev ed   b y   s en s o r s ,   th e  co n tr ib u tio n s   o f   d if f er e n t  p h y s ica l  s o u r ce s   i n d ep en d en tl y   f r o m   t h e  p r o p ag atio n   an d   w i th o u t  an y   aid   o f   in f o r m atio n   a  p r io r i  o n   th e  s o u r ce s   o r   th e  m i x in g   p r o ce s s .   T h e  p r o p o s ed   m et h o d   h as  d e m o n s tr ate  i m p r o v e m e n t  p er f o r m an ce   o f   s ig n al  s ep a r atio n   u s i n g   s p ar s it y   an d   FP I C A   a lg o r it h m   f o r   au d io   s i g n al s .   T h is   is   co u ld   b e   s h o w n   clea r l y   f r o m   t h e   f i g u r e s   a n d   t h e  r es u lt s   o f   s i m u lat io n   ac co r d in g   to   th e   d if f er e n t  in d ice s   u s ed   f o r   test in g   t h e  q u alit y   an d   t h e  p er f o r m an ce   o f   th e   s ep ar atio n ,     w h i c h   r ev ea le d   th e  p o w er   o f   u s i n g   th is   t w o   m et h o d s   to g et h er   as a   co m m o n   p o w er f u l te ch n iq u e.   T h e  h u m an   b ei n g   is   ab le  to   f o cu s ,   in   t h e  m i x t u r e  co m i n g   f r o m   it s   en v ir o n m e n t,  o n   o n e   o f   th e  s o u r ce s   o f   s ig n al  t h at  he   r ec ei v es  to   its   b o th   ear s .   I n   th e  ca s e  o f   a  w ea k n ess   o f   t h i s   o r g a n ,   s u ch   as  i n   t h e  h ea r i n g   i m p air ed ,   a  DSP   im p r o v e s   p er f o r m a n ce .   T h e  n ex t  c h alle n g e   w ill  b e  t h e   d ev elo p m en t  o f   t h i s   m eth o d   i n   t h e  r ea l  ti m e  ap p licatio n   u s i n g   d i g ital   s ig n al  p r o ce s s i n g   to   s ep ar ate  t h e  r ec iev ed   au d io   s i g n a ls   f o r   th e  h u m an o id   r o b o t.       RE F E R E NC E S     [1 ]   Ka y o d e   F .   Ak in g b a d e   a n d   Isia k a   A .   A li m ,   “ S e p a ra ti o n   o f   Dig it a l  A u d io   S ig n a ls  u si n g   L e a stM e a n S q u a re   L M S   A d a p ti v e   A l g o rit h m ” ,   In ter n a ti o n a l  J o u rn a l  o f  El e c trica l  a n d   Co mp u ter   En g i n e e rin g   ( IJ ECE ) ,   v o l. 4 ,   n o . 4 ,     p p .   5 5 7 - 560 ,   2 0 1 4 .   [2 ]   Y.  Ch e n ,   J.  M e n g ,   “ S tu d y   o n   BS S   A lg o rit h m   u se d   o n   F a u lt   Dia g n o sis  o f   G e a rb o x ” ,   T EL KOM NI KA  In d o n e sia n   J o u rn a l  o f  El e c trica l  En g in e e rin g ,  v o l.   1 1 ,   n o .   6,   pp.   2 9 4 2 - 2 9 4 7 ,   2 0 1 3 .     [3 ]   Ré m i   G rib o n v a l,   S y lv a in   L e sa g e ,   “ A  S u rv e y   o f   S p a rs e   Co m p o n e n t  An a lys is  f o r  Bl in d   S o u rc e   S e p a r a ti o n :   Prin c i p le,   Per sp e c ti v e s,  a n d   n e w  C h a ll e n g e s” ,  ES A NN ’2 0 0 6   p ro c e e d i n g - Eu ro p e a n   S y m p o siu m   o n   A rti f icia l  Ne u ra l  Ne tw o rk s Bru g e (Be lg iu m ), 2 6 - 2 8   A p ril 2 0 0 6 , d - si d e   p u b li c ,   IS BN  2 - 9 3 0 3 0 7 - 06 - 4.   [4 ]   Yu a n q i n g   L i,   A n d rz e j  Cich o c k i,   S h u n - ich i   Am a ri,   “ S p a rs e   C o mp o n e n t   An a lys is  f o r  Bl i n d   S o u rc e   S e p a r a ti o n   wit h   les s  S e n so rs   th e n   S o u rc e s”,   4 th   In tern a ti n a l   S y m p o siu m   o n   In d e p e n d e n t  Co m p o n e n t  A n a ly sis  a n d   Bli n d   S ig n a l   S e p a ra ti o n   (ICA   2 0 0 3 ),   A p ri l  2 0 0 3 ,   Na ra ,   Ja p a n .   [5 ]   J . - L .   S tarc k ,   M .   El a d ,   D.  L .   D o n o h o ,   “ Re d u n d a n t  m u lt isc a le  tr a n sf o rm s  a n d   th e ir  a p p li c a ti o n   f o r  M o rp h o l o g ica l   Co m p o n e n t  A n a ly sis,” J o u rn a l   o f  Ad v a n c e s i n   Ima g in g   a n d   El e c tro n   Ph y sic s ,   v o l .   1 3 2 ,   p p .   2 8 7 – 3 4 8 ,   2 0 0 4 .     [6 ]   S .   Krs tu l o v ic,   R.   G rib o n v a l ,   “ M P T K:  M a tch in g   P u rsu i t  m a d e   T r a c tab le,”  in   P ro c .   I n t.   C o n f .   A c o u st .   S p e e c h   S ig n a l   P r o c e s.   [7 ]   O.   Yilm a z ,   S . Rick a rd ,   ” Bli n d   S e p a ra ti o n   o f   S p e e c h   M ix tu re s  v ia  T i m e - F re q u e n c y   M a sk in g ” ,  IEE E  T ra n s a a c ti o n s   o n   S ig n a l  Pro c e ss in g ,   v o l.   5 2 ,   n o .   7 ,   p p .   1 8 3 0 – 1 8 4 7 ,   Ju l.   2 0 0 4 .   [8 ]   P .   G .   G e o rg ie v ,   F .   T h e is,   A .   Cich o c k i,   “ S p a rse   Co m p o n e n t  A n a l y sis  a n d   b li n d   S o u rc e   S e p a ra t io n   o f   u n d e r d e term in e d   M ix tu re s” ,   IEE E  T ra n sa c ti o n s o n   Ne u r a l  Ne two r k s ,   v o l.   1 6 ,   n o .   4 ,   p p .   9 9 2 – 9 9 6 ,   2 0 0 5 .   [9 ]   F.   J.  T h e is,   A .   Ju n g ,   C.   G .   P u n t o n e t ,   L a n g   E.   W .   “ L in e a r  g e o m e tri c   I C A :  F u n d a m e n tals  a n d   A l g o rit h m s” ,   Ne u ra l   Co mp u t a ti o n ,   1 5 (2 ):   4 1 9 - 4 3 9 ,   F e b ru a ry   2 0 0 3 .   [1 0 ]   A .   Ik h le f ,   D.  L e   G u e n n e c ,   “ A   S im p li f ied   Co n sta n t  M o d u lu s  A lg o rit h m   f o r  Bli n d   Re c o v e ry   o f   M IM O  QA M   a n d   P S K  S ig n a ls :  A  Crit e rio n   w it h   Co n v e rg e n c e   A n a l y sis ” ,   EURA S IP  J o u rn a l  o n   W ire les s   Co mm u n ica ti o n s  a n d   Ne two rk in g ,   v o l.   2 0 0 7 ,   A rti c le ID   9 0 4 0 1 ,   1 3   p a g e s,  2 0 0 7 .   d o i  : 1 0 . 1 1 5 5 /2 0 0 7 /9 0 4 0 1 .   [1 1 ]   J.   F.  Ca rd o so ,   A .   S o u lo u m iac ,   “ B li n d   B e a m f o r m in g   f o r  N on - Ga u ss ian   S ig n a ls” ,  IEE   PR OCEEDINGS – F,   v o l.   1 4 0 ,   n o.   6,   De c e m b e r  1 9 9 3 .   [1 2 ]   S .   M a k in o ,   T . - W .   L e e ,   H.  S a w a d a , “ Bli n d   S p e e c h   S e p a ra ti o n ” ,   S p ri n g e r ,   2 0 0 7 .   [1 3 ]   A.   A is sa - El - Be y ,   “ Re p ré se n tatio n s  P a rc im o n ieu se s  e t  A p p li c a t io n s  e n   Co m m u n ica ti o n   N u m é riq u e ” ,   T e lec o m   Bre tag n e ,   HD R  /Un i v e rsite d e   Bre tag n e   Oc c id e n tale ,   3 0   No v e m b re   ,   2 0 1 2 .   [1 4 ]   V .   M a ti c ,   W .   De b u rc h g r a e v e ,   “ Co mp a ris o n   o f   ICA  A l g o ri th ms   fo r  E CG  Art if a c t   Rem o v a l   fro m   EE G  S ig n a ls” ,  IEE E - EM BS   Be n e lu x   Ch a p ter S y m p o siu m ,   2 0 0 9 .   [1 5 ]   O.   C h a k k o r,   Ca rlo s  Ga r c ia  P u n to n e t,   M o h a m m e d   Ess a a d i,   “ A   S u rv e y   o f  S ig n a l  S e p a ra ti o n   A lg o rit h m s ”,  In ter n a t io n a l  J o u rn a l  o f  C o mp u ter   Ap p l ica ti o n s ,   v o l.   5 4 ,   n o .   8 ,   2 0 1 2 .   [1 6 ]   H.   A b o u z id ,   O.   Ch a k k o r,   “ Bli n d   A u d io   S o u rc e   S e p a ra ti o n :  S ta te - o f   A rt”,  In ter n a ti o n a l  J o u rn a l  o f  Co mp u ter   Ap p li c a ti o n s ,   v o l .   1 3 0 ,   n o .   4 ,   N o v e m b e r  2 0 1 5 .                         Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 8 - 8708   I J E C E     Vo l.  7 ,   No .   4 ,  A u g u s t   2017   :    1 9 0 6   –   1 9 1 4   1914   B I O G RAP H I E S   O F   AUTH O RS        H o u d a   A b o u z i d   w a s  b o rn   i n   M a i  1 9 8 9   i n   T e to u a n ,   M o r o c c o ,   sh e   is  a   p h d   st u d e n t  a t  A b d e lm a le k   e ss a a d i  u n iv e rsity ,   Na ti o n a l  S c h o o l   o f   A p p li e d   S c ie n c e s  in   T e to u a n .   S h e   re c e iv e d   h e r  d e g re e   o f  En g in e e rin g   o f   tele c o m m u n ica ti o n   sy ste m s  a n d   n e tw o rk s   in   2 0 1 3   a t  th e   sa m e   s c h o ll .   S in c e   2 0 1 4 ,   sh e   h a s  p ro v id e d   se v e ra l  v o c a ti o n a l  trai n in g   c o u rse s  o n   m a tl a b   p r o g ra m m in g ,   n e tw o rk s  a n d   e m b e d d e d   sy ste m s .   S h e   is  a lso   a   T e a c h e r  V a c a n t  a t  th e   Na ti o n a l  S c h o o l  o f   A p p li e d   S c ie n c e s  (ENS A - T e ).   S h e   is  th e   p re si d e n t  a n d   m e m b e r  o f   c r e a ti o n   o f   a   tele c o m   g e n e r a ti o n   c lu b   a t  ENS A - T e   sin c e   2 0 1 6 ,   p r o v id i n g   d if f e re n t  e d u c a ti o n a l  c o u rse s   a n d   w o rk sh o p s   d e d ica ted   to   a ll   P h D  stu d e n ts   o f   A b d e l m a le k   E ss a a d i   u n iv e rsity .           O t m a n   Cha k k o r   wa s  b o rn   in   No v e m b e r  1 9 7 7   i n   T a n g ier,  M o ro c c o .   He   is  a   P ro f e ss o r  (He a d   o f   T e le c o m m u n ica ti o n   De p a rte m e n t)  a t  A b d e lm a l e k   Ess a a d i   Un iv e rsit y ,   in   Na ti o n a l  S c h o o l  o f   A p p li e d   S c ien c e s  ENS A   in   T e tu a n ,   M o ro c c o   a n d   m e m b e r  o f   th e   RS A ID   Lab o ra to ry .   He   re c e iv e d   h is  P h D - T h e sis  f ro m   th e   Un i v e rsit y   o f   G ra n a d a   (S p a in ),   D e p a rtme n t  o f   A r c h it e c tu re   a n d   T e c h n o lo g ies   o f   Co m p u ters ;  Are a :  S ig n a l  p ro c e s sin g ,   He   o b tain e d   h is  d e g re e   o f   El e c tri c   En g in e e rin g   IEE A   f ro m   A b d e lm a lek   Essa a d i  Un iv e rsit y   (M o ro c c o )   in   1 9 9 9 .       Evaluation Warning : The document was created with Spire.PDF for Python.