T E L K O M N I K T elec o m m un ica t io n,  Co m pu t ing ,   E lect ro nics   a nd   Co ntr o l   Vo l.   18 ,   No .   5 Octo b er   2 0 2 0 ,   p p .   2 4 8 8 ~ 2 4 9 7   I SS N:  1 6 9 3 - 6 9 3 0 ,   ac cr ed ited   First Gr ad b y   Kem en r is tek d i k ti,  Dec r ee   No : 2 1 /E/KPT /2 0 1 8   DOI : 1 0 . 1 2 9 2 8 /TE L KOM NI K A. v 1 8 i5 . 1 4 6 5 5     2488       J o ur na l ho m ep a g e h ttp : //jo u r n a l.u a d . a c. id /in d ex . p h p /TELK OM N I K A   K erna l bas ed  spe a ker specifi c f ea t ure e x trac tion a n d it a pplica tions   in iT a ukei cros s la ng ua g e spea ker re co g nition       Sa t y a na nd   Sin g h 1 P ra g y a   Si ng h 2   1 S c h o o o f   El e c tri c a a n d   El e c tro n ics   En g i n e e rin g F ij Na ti o n a Un i v e rsisty F ij i   2 S c h o o o f   P u b li c   He a lt h   a n d   P ri m a ry   Ca re F ij Na ti o n a Un iv e rsi sty F i ji       Art icle  I nfo     AB S T RAC T   A r ticle  his to r y:   R ec eiv ed   No v   2 1 2 0 1 9   R ev is ed   Ma y   2 2 0 2 0   Acc ep ted   May   11 2 0 2 0       Ex trac ti o n   a n d   c las sifica ti o n   a lg o r it h m b a se d   o n   k e rn e l   n o n l in e a f e a tu re a re   p o p u lar   in   t h e   n e d irec ti o n   o r e se a rc h   in   m a c h i n e   lea rn i n g .   T h i re se a rc h   p a p e c o n si d e rs  th e ir   p ra c ti c a a p p li c a ti o n   in   t h e   iT a u k e a u to m a ti c   sp e a k e r   re c o g n it i o n   s y ste m   (ASR fo c ro ss - lan g u a g e   sp e e c h   re c o g n it io n .   S e c o n d ,   n o n li n e a s p e a k e r - sp e c ifi c   e x tra c ti o n   m e th o d su c h   a k e r n e l   p ri n c ip a c o m p o n e n a n a ly sis  (K P CA),  k e rn e in d e p e n d e n t   c o m p o n e n t   a n a l y si (KICA ),   a n d   k e rn e l   li n e a d isc rimin a n a n a l y sis  (KLDA )   a re   su m m a rize d .     Th e   c o n v e rsi o n   e ffe c ts  o n   s u b se q u e n t   c las sifica ti o n we re   tes ted   in   c o n ju n c ti o n   with   G a u ss ian   m ix tu re   m o d e li n g   (G M M lea rn in g   a lg o rit h m s;  in   m o st  c a se s,  c o m p u tatio n we r e   fo u n d   to   h a v e   a   b e n e ficia l   e ffe c o n   c las sifica ti o n   p e rfo rm a n c e .   A d d i ti o n a ll y ,   th e   b e st  re su lt we re   a c h iev e d   b y     th e   Ke rn e li n e a d isc rimin a n a n a ly sis  (KLDA a lg o rit h m .   T h e   p e rfo rm a n c e   o th e   A S sy ste m   is  e v a lu a ted   fo c lea sp e e c h   to   a   wid e   ra n g e   o sp e e c h   q u a li t y   u sin g   ATR  Ja p a n e se   C   l a n g u a g e   c o r p u s   a n d   se lf - re c o rd e d   i Tau k e i   c o rp u s.  T h e   ASR  e fficie n c y   o KLDA ,   KICA ,   a n d   KLDA   tec h n iq u e   fo 6   se c   o ATR  Ja p a n e se   lan g u a g e   c o rp u 9 9 . 7 % ,   9 9 . 6 % ,   a n d   9 9 . 1 %   a n d   e q u a e rro r   ra te  (EE R)  a re   1 . 9 5 % ,   2 . 3 1 % ,   a n d   3 . 4 1 %   re sp e c ti v e ly .   T h e   EE im p ro v e m e n o th e   KLDA   tec h n i q u e - b a se d   A S sy ste m   c o m p a re d   wit h   KICA   a n d   KPCA   is 4 . 2 5 %   a n d   8 . 5 1 %   re sp e c ti v e l y .   K ey w o r d s :   Au to m atic  s p ea k er   r ec o g n itio n   s y s tem   Ker n el  in d ep e n d en t c o m p o n en an aly s is   Ker n el  lin ea r   d is cr im in an an aly s is   Ker n el  p r in cip al  c o m p o n en an aly s is   Prin cip al  co m p o n en t a n al y s is   T h is i a n   o p e n   a c c e ss   a rticle   u n d e th e   CC B Y - SA   li c e n se .     C o r r e s p o nd ing   A uth o r :   Saty an an d   Sin g h ,   Sch o o l o f   E lectr ical  a n d   E lectr o n ics E n g in ee r i n g ,     Fij i N atio n al  Un iv er s is ty ,   Fiji .   E m ail:  s aty an an d . s in g h @ f n u . a c. f j       1.   I NT RO D UCT I O N   ASR   i s   im p lem en ted   u s in g   v e r y   co n v en tio n al   s tatis tical  m o d elin g   tech n i q u es  s u ch   as  GM o r   ANN  m o d elin g .   B u t in   th p ast f ew  y ea r s ,   m ac h in lear n in g   th eo r y   h as e v o lv ed   in to   v a r iety   o f   n ew  alg o r ith m s   f o r   lear n in g   an d   class if icatio n .   T h s o - ca lled   k er n el - b ased   m eth o d ,   in   p ar ticu lar ,   h as  r ec en tly   b ec o m p r o m is in g   n ew  p ath   to   s cien ce .   Ke r n el - b ased   class if icatio n   an d   r e g r es s io n   tech n iq u es  lik th e   well - k n o wn   SVM  f o u n d     f air ly   s lo ex p r ess io n .   T h a m ay   b b ec a u s to   ad d r ess   th eo r etica an d   p r ac tical  p r o b lem s   it  n ee d s   to   b ap p lied   to   lar g task s   s u ch   a s   s p ee ch   r ec o g n itio n .   R ec en tl y ,   h o we v er ,   m o r an d   m o r au th o r s   h a v b ee n   co n ce r n e d   ab o u t th u s o f   s u p p o r v ec to r   m ac h in es in   s p ee ch   r ec o g n itio n   [ 1 ] .     B esid es   u s in g   k er n el - b ased   cl ass if ier s ,   an   alter n ate  way   is   t o   u s k e r n el - b ased   tech n o l o g i es  o n ly   to   co n v er th e   f ea tu r e   s p ac an d   leav th class if icatio n   jo b   to   m o r co n v en tio n al  m eth o d s .   T h p u r p o s o f   th is   p ap er   is   to   s tu d y   th ap p licab ilit y   o f   s o m o f   th ese  m eth o d s   to   class if y   p h o n em es,  u s in g   k er n el - b ased     p r e - lear n in g   s p ea k er - s p ec if ic  f ea tu r ex tr ac tio n   m eth o d s   to   im p r o v ASR   class if icatio n   r ates.  T h is   p ap er   m ain ly   d is cu s s es KPC A   [ 2 ] ,   KI C A   [ 3 ] ,   KL DA.   Evaluation Warning : The document was created with Spire.PDF for Python.
T E L KOM NI KA   T elec o m m u n   C o m p u t E l Co n tr o l         K ern a l b a s ed   s p ea ke r   s p ec ific fe a tu r ex tr a ctio n   a n d   its   a p p l ica tio n s   i n …    ( S a tya n a n d   S in g h )   2489   Usu ally ,   tr ad itio n al  ASR   p r o ce s s   co n s is ts   o f   two   p h ase s :   tr ain in g   p h ase,   an d   te s p h ase.     I n   th e   tr ain in g   p h ase,   th d ev i ce   ex tr ac ts   s p ea k e r - s p ec if ic  c h ar ac ter is tics   f r o m   t h s p ee ch   s ig n al  to   b e   u s ed   to   cr ea te  s p ea k er   m o d el   [ 1 ] ,   wh er th aim   o f   th test   p h ase  is   to   d eter m in e   th s p ea k in g   s am p les  th at  f it     th in d iv id u al  o f   t h tr ain in g   s am p le.   h o r i g in al  s p ee ch   s ig n al  is   tr an s f o r m ed   in to   v ec t o r   r ep r esen tatio n   o f   th f u n ctio n   [ 2 ]   in   all  a u d io   s ig n al  p r o ce s s in g .   L in ea r   p r e d ictio n   ce p s tr al  c o ef f icien ts   ( L PC C )   an d   p e r ce p tu a l   lin ea r ity   p r ed icted   ce p s tr u m   c o ef f icien ( PLPC C ) ,   m al  f r eq u en cy   ce p s tr al  co ef f icien ( MFC C )   [ 3 ]   ap p r o ac h   is   m o s co m m o n ly   u s ed   in   th ASR   s y s tem   to   o b tain   s p ea k er - s p ec if ic  f ea tu r es.   Fo r   m o d elin g ,   d is cr im in an t   class if ier s   in   s u p p o r v ec to r   m ac h in ( SVM)   [ 4 ]   r ep r esen tati o n   h a v ac h iev ed   i m p r ess iv r esu lts   in   m an y   ASR   s y s tem s .   SVM  will  d ef in itely   ef f ec tiv el y   tr ai n   n o n - lin ea r   b o u n d a r ies  f o r   d ec is io n - m a k in g   b y   class if y in g   in ter esti n g   s p ea k er s /im p o s ter s   as th ey   ar d is tin ct.     Alth o u g h   th ese  f ea tu r ex t r ac tio n   tech n iq u es  ar e   ef f ec tiv e ,   n o n - lin e ar   m ap p in g   o f   s p ee ch   f ea tu r es  to   n ew  s u itab le  s p ac es  m a y   g e n er ate  n ew   f ea tu r es  th at  ca n   b etter   id en tify   s p ee ch   ca teg o r ies.  Ker n el - b ased   tech n o lo g y   h as  b ee n   ap p lied   to   v ar iety   o f   lear n in g   m ac h in es,  in clu d in g   s u p p o r v ec to r   m ac h in es  ( SVM) ,   Ker n el  d is cr im in an an aly s is   ( KDA) ,   k er n el  p r i n cip al  co m p o n en an aly s is   ( KPC A)   [ 5 ] .   T h e   latter   two   m eth o d s   ar wid ely   u s ed   in   im ag r ec o g n itio n .   T h eir   p er f o r m an ce   in   s p ea k er   r ec o g n itio n ,   h o w ev er ,   h as  n o b ee n   ca r ef u lly   in v esti g ated .   T h p u r p o s o f   th is   p ap er   is   to   ex a m in e   th e   ap p licab ilit y   o f   s o m o f   th ese  m et h o d s   t o   class if y   p h o n e m es,  u s in g   k er n el - b ased   f ea tu r ex tr ac tio n   m eth o d s   ap p lied   b ef o r lear n in g   to   b o o s class if icatio n   lev els.   E s s en tially ,   th is   p ap er   d ea ls   with   th s tr ateg ies  o f   KPC A ,   KI C [ 6 ,   7 ] ,   KL DA  [ 5 ] ,   a n d   Ke r n el  s p r in g y   d is cr im in an an aly s is   ( KSDA)   [ 8 ] .   I n   th is   wo r k ,   KPC A,   KI C A,   an d   KL DA  is   u s ed   f o r   s p ea k er   s p ec if ic  f ea tu r ex tr ac tio n   with   an   ASR   s y s tem .   W ith   KPC A,   s p ea k er - s p ec i f ic  f ea tu r es  ca n   b ex p r ess ed   i n   h ig h   d im en s io n   s p ac e   wh ich   ca n   p o s s ib ly   g en e r at m o r d is tin g u is h ab le  s p ea k er   f ea tu r es.       2.   F UNDA M E N T AL   O F   P RI N CIPAL CO M P O NE N T   AN AL YS I S   Prin cip al  co m p o n e n an aly s is   ( PC A)   i s   v er y   co m m o n   m eth o d   o f   d im en s io n ality   r e d u ctio n   an d   f ea tu r ex tr ac tio n .   PC attem p ts   to   f in d   lin ea r   s u b s p ac es  th a ar s m aller   in   s ize  th an   t h o r ig in al  f ea tu r s p ac e,   with   n ew  f ea t u r es  h a v in g   th l ar g est  v ar ian ce   [ 9 ] .   C o n s id er   t h d ata   s et  { }   wh er = 1 , 2 , 3 , . , ,   ea ch     is   D - d im en s io n al  v ec t o r .   No we  p r o ject  t h d ata  i n to   th - d im en s io n al  s u b s p ac e,   h er e,   <   T h p r o jectio n   is   r ep r esen ted   as  =  ,   wh er = [ 1 , 2 , . ,   ] ,    = 1   f o r   = 1 , 2 , 3 , . , W wan t to   m ax im ize  th v a r ian ce   o f   { } ,   wh ich   is   th tr ac o f   th co v ar ian ce   m atr ix   o f   { } .     = a r g   ( )                   ( 1)     wh er e ,     = 1 ( ̅ ) ( ̅ ) = 1               ( 2 )     an d     ̅ = 1 = 1                   ( 3 )     C o v ar ien ce   m atr ix   o f   { }   is   th ,   s in ce    ( ) =  ( ) ,   b y   u s in g   th L ag r an g ia n   m u ltip lier   an d   tak in g   th d e r iv ativ e,   we  g et ,     =                     ( 4 )     wh ich   in d icate s     is   th eig en v e cto r   o f     an d   n o   ca n   b r e p r esen ted   as f o llo ws;     = ( ) = 1                 ( 5 )       ca n   b a p p r o x im ated   b y   ̃   an d   ex p r ess ed   as f o llo ws:       ̃ = ( ) = 1                 ( 6 )     wh er is   th eig en v ec to r   o f   co r r esp o n d in g   t o   th k t h   lar g est  eig en v alu e.   Stan d a r d   P C r esu lts   f o r     th two - s p ea k er s   au d io   d ata  s h o wn   in   Fig u r e   1   ( a) .       Evaluation Warning : The document was created with Spire.PDF for Python.
                    I SS N :   1 6 9 3 - 6 9 3 0   T E L KOM NI KA   T elec o m m u n   C o m p u t E l Co n tr o l Vo l.  18 ,   No .   5 Octo b e r   2 0 2 0 :    2 4 8 8   -   2497   2490   2 . 1   K er nel P CA  m et ho do lo g y   f o r   dim ens io na lity   re du ct io n   in ASR  s y s t em   Stan d ar d   PC o n ly   allo ws  lin ea r   s ize  r ed u ctio n .   Ho wev er ,   s tan d ar d   PC is   n o v er y   u s ef u wh en     th d ata  h as  m o r co m p le x   s tr u ctu r th at  ca n n o b r e p r esen ted   well  in   lin ea r   s u b s p ac es.  Fo r tu n ately ,     th k er n el  PC allo ws  u s   to   e x ten d   th s tan d a r d   PC to   n o n lin ea r   d im en s io n ality   r ed u ctio n   [ 1 0 ] .   Ass u m th at  s et  o f   o b s er v ati o n s   is   g iv en   , = 1 , 2 , 3 , . , .   C o n s id er   th in n er   d o p r o d u ct  s p ac   ass o ciate d   with   th in p u t   s p ac b y   m a p   :   m ay   b e   n o n - lin ea r .   T h f ea tu r s p ac e     h as  an   a r b itr ar y   s ize  an d     in   s o m ca s es   h as  an   in f in ite  d im en s io n .   Her e,   u p p er ca s letter s   u s ed   f o r   elem en ts   o f   ,   an d   lo wer ca s letter s   ar u s ed   f o r   elem en ts   o f   .   Su p p o s we  ar wo r k in g   o n   ce n te r ed   d ata    ( ) = 0 = 1 .   I n   F,  t h co v ar ian ce   m atr ix   h as th f o r m   as   f o llo ws:     = 1 ( ) ( ) = 1                   ( 7 )     E ig en v alu es  0   an d   n o n ze r o   eig e n v ec to r s   \ ( 0 )   s atis f y in g    =  .   I is   well  k n o wn   th at   all   s o lu tio n s     with   0   ar in   th r an g o f   { ( ) } = 1 .   T h is   h as  two   co n s eq u en ce s .   First,  co n s id er   s et  o f   eq u atio n s   ( ) ,  = ( ) , ,   f o r   all   = 1 , 2 , 3 , ,   an d   s ec o n d   th er e   ex is co e f f i cien ts     , = 1 , 2 , 3 , ,   in   s u ch   way   th at  = ( ) = 1 .   C o m b in in g   ( ) ,  = ( ) ,   an d     = ( ) = 1   we  g et  th d u al  r ep r esen tatio n   o f   th e   eig en v alu p r o b lem   as  1 ( ) , ( ) ( ) , ( ) = 1 = ( ) , ( ) = 1 = 1   f o r   all  = 1 , 2 , 3 , , .   W ar d ef in in g      m atr i x   b y    = ( ) , ( ) ,   th is   m ak es  2 =  .   W h er   d en o ted   as   a   co lu m n   v ec to r s   with   1 , 2 , 3 , . ,   en tr ies.    L et  1   2   b th eig en v alu o f   1 , 2 , ,   b th s et  o f   co r r esp o n d in g   eig e n v ec to r s ,   an d     b th last   n o n - ze r o   eig e n v alu e.   No r m alizin g   1 , 2 , ,   b y   n ee d i n g   th c o r r esp o n d in g   v ec to r s   in     b n o r m alize d   , = 1 ,   f o r   all  = 1 , 2 , , .   C o n s id er in g   = ( ) = 1   an d    =    th n o r m aliza tio n   co n d itio n   o f   1 , 2 , , ca n   b r ew r itten   as f o llo ws ;     1 = , ( ) , ( ) = , , = , = ,     ( 8 )     f o r   th p u r p o s o f   p r in ci p al  co m p o n en ex t r ac tio n ,   we  n ee d   to   co m p u te  th p r o jectio n s   o n to     th eig en v ec to r s     in   ,   f o r   = 1 , 2 , , .   L et    b th test   p o in t,  with   a n   im a g ( )   in   .     , ( ) = ( ) , ( ) = 1             ( 9 )     , ( )   n o n lin ea r   p r in ci p al  co m p o n en t c o r r esp o n d in g   t o   .     2 . 2 .     Co m pu t a t io n o f   co v a ria nce  m a t rix   a nd   do t   pro du ct   m a t rix   by   po s it io nin g   o n f ea t ure  s pa ce   Fo r   th s ak o f   s im p licity ,   we  ass u m th at  th o b s er v atio n s   ar a th ce n ter .   T h is   is   ea s y   to   im p lem en in   th in p u s p ac e   b ec au s it  is   n o p o s s ib le  to   ex p licitly   ca lc u late  th av e r ag o f   t h o b s er v atio n s   m ap p e d   with   ,   b u it  is   m o r e   d if f icu lt  to   u s e   .   Ass u m th at  an y     an d   a n y   s er ies  o f   o b s er v atio n s   1 , 2 , ,   ar g iv e n   th en   let  u s   d ef in ̅ = 1 ( ) = 1   an d   th en   th p o in ̃ ( ) = ( ) ̅   will  b ce n ter ed .   T h er ef o r e ,     th ab o v ass u m p tio n   h o ld s ,   we  d ef in   th e   co v a r ian ce   m atr i x   an d   th e   d o p r o d u ct  m at r ix   ̃  = ̃ ( ) , ̃ ( )   in   .   W k n o wn   eig en v alu p r o b lem s   as  ̃ ̃ = ̃ ̃   with   ̃   is   th ex p an s io n   co ef f icien o f   th eig en v ec to r   r elativ to   th ce n ter   p o in t   ̃ ( ) .   Sin ce   th er e   is   n o   c en tr al  d ata,   ̃   ca n n o b e x p licitly   ca lc u lated ,   b u it  ca n   b e   r ep r esen ted   b y   c o r r esp o n d in g     with o u a   ce n ter   th e r ef o r e   ̃  = ̃ ( ) , ( )   = , 1  1  + 1 2  , = 1 = 1 = 1 .   W ca n   g et  m o r co m p ac ex p r e s s io n   b y   u s in g   th v ec to r     1 = ( 1 , , 1 ) .   T h co m p ac ex p r ess io n   is   ̃ = 1 1 1 1 1 1 + 1 2 ( 1 1 ) 1 1 .   W ca n   ca lcu late  ̃   f r o m     an d   s o lv th e   eig en v alu p r o b lem .   C o n s id er   test   p o in   p r o jectio n   o f   th ce n ter   p o in o f   th ce n ter   - im ag o f     to   th f ea tu r v ec to r   o f   th c o v ar ian ce   m atr ix   is   co m p u ted   to   f in d   its   co o r d in ates   [ 1 1 ] .     ̃ ( ) , ̃ = ( )   , ̃ = ̃ ( )   , ( )   = 1       = ̃ = 1 { ( , ) 1 ( , ) 1 ( , ) + 1 2 ( , ) , = 1 = 1 = 1 }     ( 1 0 )     I n tr o d u cin g   t h v ec to r   .     Evaluation Warning : The document was created with Spire.PDF for Python.
T E L KOM NI KA   T elec o m m u n   C o m p u t E l Co n tr o l         K ern a l b a s ed   s p ea ke r   s p ec ific fe a tu r ex tr a ctio n   a n d   its   a p p l ica tio n s   i n …    ( S a tya n a n d   S in g h )   2491   = ( ( , ) )  1                 ( 1 1 )   ( ̃ ( ) , ̃ ) 1  = ̃ 1 1 ̃ 1 ( 1 ) 1 ̃ + 1 2 ( 1 1 ) 1 ̃       = ( 1 1 1 ) ̃ 1 1 ( 1 1 1 ) ̃             = ( 1 1 ) ( 1 1 1 )   ̃             ( 1 2 )     No te  th at  KP C im p licitly   u s es  o n ly   in p u v ar iab les  b ec au s th alg o r ith m   u s es  k er n el  f u n ctio n   ev alu atio n   to   r ep r esen th r e d u ctio n   in   f ea t u r s p ac d im en s io n s .   T h er ef o r e,   KPC is   u s ef u f o r   n o n lin e ar   f ea tu r ex t r ac tio n   b y   r ed u cin g   t h s ize;  it d o es n o t e x p lain   th e   ch ar ac ter is tics   o f   th in p u t v ar iab le  s elec tio n .       3.   K E RNE L -   B A SE SPEAK E SPE CIFI F E A T UR E   E XT RAC T I O A ND  I T S AP P L I CA T I O I ASR   C las s if icat io n   alg o r ith m s   m u s r ep r esen th o b jects  to   b cl ass if ied   as  p o in ts   in   m u ltid im en s io n al  f ea tu r s p ac e.   Ho wev er ,   o n c an   ap p l y   o t h er   v ec to r   s p ac tr a n s f o r m atio n s   to   th e   in itial  f ea t u r es  b ef o r r u n n in g   th lear n in g   alg o r ith m .   T h e r e   ar two   r ea s o n s   f o r   d o in g   t h is .   First,  th ey   ca n   im p r o v e   th p er f o r m a n ce   o f   class if icatio n   an d   s ec o n d ,   th e y   ca n   r ed u ce   th d ata' s   d im en s io n ality .   T h s elec tio n   o f   i n itial  f ea tu r es  an d   th eir   tr an s f o r m atio n   ar e   s o m etim e s   d ea lt  with   in   th e   liter atu r e   u n d er   t h titl "f ea tu r e x tr ac tio n ”.   T o   av o id   m is u n d er s tan d in g ,   th is   s ec tio n   d escr ib es  o n ly   th latter   an d   d escr ib es  th f ir s f ea tu r s et.   Ho p ef u lly   it  will  b e   m o r ef f ec tiv an d   class if icatio n   will b f aster .   T h a p p r o ac h   to   th ex tr ac tio n   o f   f ea tu r es  m ay   b eith er   lin ea r   o r   n o n lin ea r ,   b u th er is   tech n iq u th at  b r ea k s   d o wn   th b ar r ier   b etwe en   th two   f o r m s   in   s o m way .     T h k ey   id ea   b eh in d   th k er n el   tech n iq u was  o r ig in ally   p r esen ted   in   [ 1 2 ]   an d   ap p lied   ag ain   in   co n n ec tio n   with     th g en er al  p u r p o s SVM   [ 1 3 - 1 5 ]   f o llo wed   b y   o th e r   k er n el - b ased   m eth o d s .     3. 1 .     Su pp ly ing   inp ut  v a ria ble inf o rm a t i o n into   k er nel  P C A   A d d itio n al  in f o r m atio n   to   t h KPC r ep r esen tatio n   f o r   in ter p r etab ilit y .   W h av e   d e v elo p e d   p r o ce s s   to   p r o ject  g iv en   in p u v ar iab le  in to   s u b s p ac s p an n ed   b y   f ea tu r v ec to r s   ̃ = ̃ ̃ ( 1 ) = 1 .   W ca n   th in k   o f   o u r   o b s er v atio n   as  r an d o m   v ec to r   = ( 1 , 2 , . . ,     )   im p lem en tatio n   th en   t o   r ep r esen th p r o m i n en ce   o f   th in p u v ar iab le    in   th KPC A.   C o n s id er in g   s et  o f   p o i n ts   o f   m ath em atica f o r m s   = +   wh er = ( 0 , . , 1 , . , 0 )   o f   k th   co m p o n en is   eith er   0   o r   1 .   Nex t,  th p r o jectio n   p o in ts   ( )   o f   th ese  im ag es  o n to   th s u b s p ac s p an n ed   b y   th f ea tu r v ec t o r   ̃ = ̃ ̃ ( 1 ) = 1   ca n   b ca lcu lated .   C o n s id er in g   i n   ( 1 2 )     th r o v ec to r   g iv es th i n d u c tio n   cu r v e   in   th E i g en   s p ac e x p r ess ed   in   m atr ix   f o r m :     ( ) 1  = ( 1 1 ) ( 1 1 1 ) ̃           ( 1 3 )     Fu r th er m o r e ,   b y   p r o jectin g   th e   tan g en v ec to r   to   s   0 ,   we  ca n   ex p r ess   th m ax im u m   ch a n g d ir ec tio n   o f   ( )   ass o ciate d   with   th v ar iab l .   Ma tr ix   f o r m   o f   th ex p r ess io n   r ep r esen ted   as f o llo ws:       | = 0 =  | = 0 ( 1 1 1 ) ̃             ( 1 4 )     wh er      | = 0 = ( 1  | = 0 , . . ,  | = 0 )       an d        | = 0 =  ( , )  | = 0 = (  ( , ) = 1  ) | = 0 =  ( , ) = 1 | = =  ( , ) | =       wh er d elta  o f   Kr o n ec k er   is   r ep r esen ted   as    an d   r ad ial  b asis   k er n el  as  ( , ) =  ( 2 ) =  ( (  ) 2 = 1 ) .   Af ter   co n s id er i n g   = + :      | = 0 =  ( , ) | = = 2  ( , ) (  ) = 2  ( , ) (   )   Evaluation Warning : The document was created with Spire.PDF for Python.
                    I SS N :   1 6 9 3 - 6 9 3 0   T E L KOM NI KA   T elec o m m u n   C o m p u t E l Co n tr o l Vo l.  18 ,   No .   5 Octo b e r   2 0 2 0 :    2 4 8 8   -   2497   2492   wh er th t r ain in g   p o i n = .   T h u s ,   b y   ap p ly i n g   ( 1 3 ) ,   it  is   p o s s ib le  to   lo ca lly   r ep r esen a n y   g iv en   in p u t   v ar iab le  p lo in   KPC A.   Fu r th er m o r e,   b y   u s in g   ( 1 4 ) ,   it  is   p o s s ib le  to   r ep r esen t h tan g e n v e cto r   ass o ciate d   with   an y   g iv en   in p u v ar iab le  at   ea c h   s am p le   p o in t   [ 1 6 ] .   T h e r ef o r e ,   v ec to r   f ield   ca n   b e   d r aw n   o n   KPC in d icatin g   th g r o wth   d ir ec tio n   o f   g iv e n   v ar iab le.   T h er ar e   s o m ex is tin g   tech n iq u es  to   co m p u te  z   f o r   s p ec if ic  k er n els  [ 1 7 ] .   Fo r   Gau s s ian   k er n el  ( , ) ) =  ( 2 / 2 2 )     m u s t satis f y   th f o llo win g   c o n d itio n ;     = ( 2 / 2 2 ) = 1 = 1 ( 2 ) / 2 2                 ( 1 5 )     Ker n el  PC r esu lts   f o r   th two -   s p ea k er s   a u d io   d ata  with   is   s h o wn   in   Fig u r e   1   ( b ) .           ( a)       ( b )     Fig u r 1 .   Stan d a r d   PC an d   K er n el  PC r esu lts   f o r   th two - s p ea k er s   au d io   d ata   ( a)   s tan d ar d   PC A   an d   ( b )   k er n el  PC A       3 . 2 .     Appl ica t io n o f   k er nel independ e nt  co m po nent  a na ly s is   ( K I CA)   I n d ep e n d en c o m p o n en an al y s is   i s   g en er al  s tatis tical  ap p r o ac h   o r ig in ally   b o r n   f r o m   th s tu d y   o f   s ep ar atio n   f r o m   b lin d   s o u r c es.  An o th er   a p p licatio n   o f   I C is   th u n s u p er v is ed   ex tr ac tio n   o f   f ea tu r es.  T h is   is   in ten d ed   t o   tr an s f o r m   in p u d ata  lin ea r ly   in to   u n c o r r elate d   ele m en ts ,   u s in g   at  least  d is tr ib u tio n   o f   th Gau s s ian   s am p le  s et   [ 1 8 ] .   T h e   ex p la n atio n   f o r   th is   is   th at   class if icati o n   o f   d ata  i n   ce r tain   d ir ec tio n s   wo u ld   b s im p ler .   T h is   is   in   ac c o r d an ce   with   t h m o s t p o p u lar   s p ee c h   m o d elin g   tech n iq u e,   i.e .   f itti n g   Gau s s ian   m ix tu r es o n   ea ch   Evaluation Warning : The document was created with Spire.PDF for Python.
T E L KOM NI KA   T elec o m m u n   C o m p u t E l Co n tr o l         K ern a l b a s ed   s p ea ke r   s p ec ific fe a tu r ex tr a ctio n   a n d   its   a p p l ica tio n s   i n …    ( S a tya n a n d   S in g h )   2493   class .   T h is   o b v io u s ly   m ea n s   t h at  Gau s s ian   m ix tu r es  ca n   ap p r o x im ate   th d is tr ib u tio n s   o f   th g r o u p s   KI C ex ten d s   th is   b y   ass u m in g ,   o n   th co n tr ar y ,   th at  wh en   all   class es  ar f u s ed ,   th d is tr ib u tio n   is   n o Gau s s ian th u s ,   u s in g   n o n - Ga u s s ian is m   as  a   h eu r is tic  f o r   th u n co n t r o lled   e x tr ac tio n   o f   f ea tu r es  wo u ld   p r ef er   th o s d ir ec tio n s   wh ich   s ep ar ate  class es.   Sev er al  o b jectiv f u n ctio n s   f o r   o p tim al  s elec tio n   o f   in d e p en d en d ir ec tio n s   wer d escr ib ed   u s in g   ap p r o x im ately   eq u iv alen a p p r o ac h es.  T h e   KI C alg o r ith m ' s   g o al  its elf   is   to   f in d   s u ch   o b j ec tiv f u n ctio n s   as  o p tim ally   as  p o s s ib le   [ 1 9 ] .   Fo r   KI C o u tp u m o s iter a tiv m eth o d s   ar av ailab le .   Oth er s   n ee d   to   b p r ep r o ce s s e d ,   i.e .   f o cu s ed   an d   wh iten ed   wh ile   o th er s   d o   n o t.  Ov e r all,   ex p er ien ce   s h o ws  th at  all  o f   th ese   alg o r ith m s   ca n   c o n v er g f aste r   with   o r ien ted   an d   w h itewash ed   d ata,   ev e n   th o s th at  d o n ' t r ea lly   n ee d   it   [ 2 0 ] .   L et's f ir s t in v esti g ate  h o th ce n ter in g   a n d   wh iten i n g   p r e - p r o ce s s in g   s tep s   ca n   b d o n e   in   th k er n el   f u n ctio n   s p ac e.   T o   th is   en d ,   allo th k er n el  f u n ctio n     in     to   im p licitly   d ef in th in n er   p r o d u ct  with     th ass o ciate d   tr an s f o r m atio n   .   Step   o n e   C en ter in g     -   Sh if tin g   th d ata  ( 1 ) , ( 2 ) , . . , ( )   alo n g   with   its   m ea n   { ( ) }   to   g et  th d ata  as f o ll o ws:     {         ( 1 ) = ( 1 ) { ( ) } ( 2 ) = ( 2 ) { ( ) } . . ( ) = ( ) { ( ) }                 ( 1 6 )     Step   two   W h iten in g   i n   .   T r an s f o p r m i n g   th e   ce n ter e d   s am p le s   ( 1 ) , ( 2 ) , . , ( )   v ia  an   o r t h o g o n al  tr an s f o r m atio n     in to   its   v ec to r s   ̂ ( 1 ) = ( 1 ) , ( 2 ) , , ( ) = ( )   ̂ =   is   th co v ar ian ce   m atr ix .   B ec au s s tan d ar d   PC co n v er ts   th co v ar ia n ce   m a tr ix   in to   d iag o n al  f o r m   ju s lik its   k er n el  b ased   eq u iv alen t,  wh er th d ia g o n a elem en ts   ar th u n iq u v alu es  o f   th d ata  co v ar ian ce   m atr ix   { ̂ ( ) ̂ ( ) } all  th at  r em ain s   is   to   tr an s f o r m   th d iag o n al   elem en i n to   1 .   B ased   o n   th is   f in d in g ,   s lig h m o d if icatio n   o f     th f o r m u las  p r o v id e d   in   th KPC s ec tio n   will  o b tain   th n ec ess ar y   wh iten in g   tr an s f o r m atio n   [ 2 1 ] .   Her e   ( 1 1 ) , ( 2 2 ) , . . , ( )   an d   1 2   ar th e   eig h p air s   o f   { ̂ ( ) ̂ ( ) }   th en   th e   tr an s f o r m atio n   m atr ix     will  tak f o r m [ 1 1 2 1 , 2 1 2 2 , . . 1 2 ] .   Ker n el  I n d ep e n d en co m p o n en an aly s is   r esu lt s   f o r     th two - s p ea k er s   au d io   d ata  i s   s h o wn   in   Fig u r 2   ( a) .     3 . 3 .     Appl ica t io n o f   k er nel linea dis cr im ina nt  a na ly s is   ( K L DA)   L DA  is   co n v en tio n al,   s u p e r v is ed   m eth o d   o f   ex t r ac tin g   s p ea k er - s p ec if ic  c h ar ac ter is tics   [ 1 9 ]   th at  h as   p r o v e n   to   b o n o f   t h m o s ef f ec tiv p r e - p r o ce s s in g   class if icatio n   tech n iq u es.  I h as  a ls o   lo n g   b ee n   u s ed     in   s p ee ch   r e co g n itio n   [ 2 2 ] .   T h m ain   g o al  o f   L DA  is   to   f in d   n ew  o r th o g o n al  d ata  s et  to   p r o v id t h o p tim al  class   s ep ar atio n .     I n   KL DA  we  ar ess en tially   f o llo win g   th d is cu s s io n   o f   its   lin ea r   co u n ter p ar t,   ex ce p t i n   th i s   ca s th is   is   in ten d ed   t o   h a p p en   im p lici tly   in   th e   k er n el  f ea t u r s p ac F.  L et' s   s ay   ag ain   th at   k e r n el  f u n ctio n   with     f ea tu r m ap   an d   k er n el  f iel d   s p ac h as  b ee n   ch o s en .   I n   o r d er   to   d ef in th tr a n s f o r m atio n   m atr ix     o f   KL DA,   we  d ef in th o b jectiv f u n ctio n   f ir s as   Γ ,   b ec au s o f   th s u p er v is ed   n atu r o f   th is   m eth o d ,   it  d ep en d s   n o t o n l y   o n   t h test   d ata     b u t a l s o   o n   th in d icato r   .   L et' s   d esc r ib u b iq u ito u s   Γ ( V ) .     Γ ( V ) =  ,             : \ { 0 }               ( 1 7 )     wh er   is   th s ca tter   m atr ix   o f   th in ter class ,   wh ile    is   th s ca tter   m atr ix   o f   th in ter class .   Her e,   th s ca tter   m atr ix     b etwe en   class es sh o ws   th s ca tter   o f   th m e an   v ec t o r s     ar o u n d   th e   o v er all   m ea n   v ec to r   .     = ( ) = 1 ( )     ;   = 1 ( ) = ;       = 1 ( )   ( )     ( 1 8 )     with   th class   lab el  ,   th i n - cla s s   s ca tter   m atr ix     r ep r esen ts   th weig h ted   av er ag e   s ca tter   o f   t h s am p le  v ec to r   co v ar ian ce   m at r ices  .     =   ;     = 1 = 1 ( ( ) ) ( ( ) ) ( ) =           ( 1 9 )     Ker n el  lin ea r   d is cr im in an t a n a ly s is   r esu lts   f o r   th two - s p ea k er s   au d io   d ata  is   s h o wn   in   Fig u r 2   ( b ) .   Evaluation Warning : The document was created with Spire.PDF for Python.
                    I SS N :   1 6 9 3 - 6 9 3 0   T E L KOM NI KA   T elec o m m u n   C o m p u t E l Co n tr o l Vo l.  18 ,   No .   5 Octo b e r   2 0 2 0 :    2 4 8 8   -   2497   2494     ( a)       ( b )     Fig u r 2 .   Ker n el  in d e p en d e n co m p o n en t a n aly s is   an d   k er n e l lin ea r   d is cr im in an   an aly s is   r esu lts   f o r   th two - s p ea k er s   au d io   d ata ( a)   k er n el  i n d ep en d en t c o m p o n en t a n aly s is     an d   ( b )   k er n el  ln ea r   d is cr im in an t a n aly s is       4.   E XP E R I M E N T A L   SE T UP     T o   ev alu ate  th e f f icien cy   o f   k er n el - b ased   s p ea k er - s p ec if ic  f ea tu r ex tr ac tio n   tech n iq u es,  an   is o lated   wo r d   r ec o g n itio n   e x p er im e n was  p er f o r m ed .   T h e x p er im en in clu d es  5 2 0   J ap an ese  w o r d s   f r o m   th AT R   J ap an ese  C   lan g u ag s et  Vo ic d atab ase,   8 0   s p ea k er s   ( 4 0   m en   an d   4 0   Fem ale) .   Au d io   s am p les  o f   1 0   iTa u k ei   s p ea k er s   wer c o llected   at   r a n d o m   an d   u n d er   u n f av o u r a b le  co n d itio n s .   T h a v er ag e   d u r a tio n   o f   th e   tr ain in g   s am p les  was  s ix   s ec o n d s   p er   s p ea k er   f o r   all  1 0   s p ea k e r s   an d   o u o f   twen ty   u tter an ce s   o f   ea ch   s p ea k er   j u s o n e   was  u s ed   f o r   tr ain in g   p u r p o s e   [ 2 3 - 2 7 ] .   Fo r   m atch in g   p u r p o s e s   th r em ain in g   1 9   v o ice  s am p les  wer u s ed   f r o m   th co r p u s .   W h av r ec o r d ed   u tter an ce s   f o r   t h is   in v esti g atio n   wer at  o n e   s itti n g   f o r   ea c h   s p ea k er .   T h tex f o r   th u tter an ce s   was  r an d o m ly   s elec ted   b y   s p ea k er .   T h e   m ain   v o ice  r ec o r d in g s   co n s is o f   b o th   m ale  a n d   f em ale  s p ea k er s   o f   twen ty   u tter an ce   o f   ea ch   u s in g   s am p lin g   r ate  o f   1 6   k Hz  with   1 6   b its /s am p le.     T h r o u g h o u th ex p er im e n t,  1 0 4 0 0   u tter a n ce s   wer u s ed   as  tr ain in g   d ata  an d   th r em ai n in g   3 1 , 2 0 0   u tter an ce s   wer u s ed   as  test   d a ta.   T h s am p lin g   r ate  o f   t h au d io   s ig n al  is   1 0   k Hz.   1 2   Me l - C ep s tr al  co ef f icien ts   ex tr ac ted   u s in g   2 5 . 6   m s   Ham m in g   win d o ws  with   1 0   m s   s h if ts   [ 2 8 - 3 2 ] .   T h f ea tu r es  o f   K PC wer ex tr ac ted   f r o m   1 3   Me l - ce p s tr al  c o ef f icie n ts   in clu d in g   ze r o   c o ef f icien ts   co r r esp o n d i n g   t o   3 9   v ec to r   co ef f icien ts   an d   th eir   in cr em en an d   ac ce ler atio n   co ef f icien ts .   Ar o u n d   1 , 0 0 0 , 0 0 0   f r am es   wer e   u s ed   as   tr ain in g   d ata   in   th is   ex p er im en t,   an d   it   is   co m p u tat io n ally   im p o s s ib le   to   ca lcu late   m at r ix   K   with   th is   am o u n t   of   d ata.   f r am es  ar e   r an d o m l y   p ick ed   f r o m   t h tr ain in g   d ata  to   r e d u ce   th n u m b e r   o f   f r am es.  T h n u m b er   N=   1 0 2 4   was  ch o s en   t o   m ak th s y s tem   co m p u tatio n ally   f ea s ib le.   T ab le  1   r ep r esen ts   ef f icien c y   a n d   E E R   o f   th e   ASR   s y s tem   f o r   KL DA,   KI C an d   KL DA  r e s p ec tiv ely   f o r   AT R   J ap an ese  C   lan g u ag e T ab le  2   r ep r esen ts   ef f icien c y   an d   E E R   o f   th ASR   s y s te m   f o r   KL DA,   KI C an d   KL DA  r esp ec tiv ely   f o r 1 0   iTa u k ei   s p ea k er s   c r o s s   lan g u ag e Fig u r 3   s h o w   th e   eq u al   er r o r   r ate  ( E E R )   o f   Evaluation Warning : The document was created with Spire.PDF for Python.
T E L KOM NI KA   T elec o m m u n   C o m p u t E l Co n tr o l         K ern a l b a s ed   s p ea ke r   s p ec ific fe a tu r ex tr a ctio n   a n d   its   a p p l ica tio n s   i n …    ( S a tya n a n d   S in g h )   2495   KL DA  KI C A,   an d   KPC b as ed   m o d elin g   tech n iq u e.   T h e   ASR   ef f icien cy   o f   o f   KL DA  KI C A,   an d   KPC b ased   m o d elin g   tec h n iq u ar 9 9 . 9 %,  9 9 . 6 %,  an d   9 8 . 1 an d   E E R   ar 4 . 7 %,   4 . 9 an d   5 . 1 r esp ec tiv ely   f o r   6   s ec   o f   au d io   s ig n al.   T h e   E E R   im p r o v em en o f   KL DA  tech n iq u b as ed   ASR   s y s tem   co m p ar ed   with   KI C an d   KPC is   4 . 2 5 % a n d   8 . 5 1 % r esp ec tiv ely .           ( a)       ( b )     Fig u r 3 .   E E R   o f   KL DA,   KI C an d   KL DA  tech n iq u f o r   6   s ec   o f   v o ice  d ata   ( a)   AT R   J ap an ese  C   lan g u ag e   an d   ( b )   iTa u k ei  s p ea k er s   cr o s s   lan g u ag e   Evaluation Warning : The document was created with Spire.PDF for Python.
                    I SS N :   1 6 9 3 - 6 9 3 0   T E L KOM NI KA   T elec o m m u n   C o m p u t E l Co n tr o l Vo l.  18 ,   No .   5 Octo b e r   2 0 2 0 :    2 4 8 8   -   2497   2496   T ab le  1 .   E f f icien cy   a n d   E E R   o f   th ASR   s y s tem   f o r   KL DA,   KI C an d   KL DA  r esp ec tiv ely     f o r   AT R   J ap an ese  C   lan g u ag e     K LD A   K I C A   K P C A     Ef f i c i e n c y   i n   %   EER   i n   %   Ef f i c i e n c y   i n   %   EER   i n   %   Ef f i c i e n c y   i n   %   EER   i n   %   6   se c   9 9 . 7   1 . 9 5   9 9 . 6   2 . 3 1   9 9 . 1   3 . 4 1   4   se c   9 9 . 5   2 . 2 9   9 9 . 1   3 . 2 0   9 8 . 2   4 . 1 1   se c   9 8 . 8   3 . 2 3   9 8 . 3   4 . 3 2   9 7 . 6   5 . 3       T ab le  2 .   E f f icien cy   a n d   E E R   o f   th ASR   s y s tem   f o r   KL DA,   KI C an d   KL DA  r esp ec tiv ely     f o r 1 0   iTa u k ei  s p ea k er s   cr o s s   lan g u ag e     K LD A   K I C A   K P C A     Ef f i c i e n c y   i n   %   EER   i n   %   Ef f i c i e n c y   i n   %   EER   i n   %   Ef f i c i e n c y   i n   %   EER   i n   %   se c   9 4 . 9   2 . 0 4   9 4 . 6   3 . 4   9 4 . 1   4 . 1   4   se c   9 4 . 3   2 . 3 4   9 4 . 1   3 . 7   9 3 . 5   4 . 8   2   se c   9 3 . 5   3 . 2 . 0   9 3 . 1   4 . 1   9 2 . 6   5 . 3       5.   CO NCLU SI O N     An   ex p er im en tal  ev al u atio n   o f   th p er f o r m an ce   o f   th ASR   s y s tem   h as  b ee n   d o n o n   6   s ec   o f   v o ice   d ata  o f   AT R   J ap an ese  C   lan g u ag e.   Fo r   t h 1 0 4 0 0 ,   v o ice  s a m p les  o f   th AT R   J ap an ese  C   lan g u ag s p ea k er   r ec o g n itio n   ac c u r ac y   9 9 . 7 %,  9 9 . 6 %,  an d   9 9 . 1 an d   eq u al  er r o r   r ate  ( E E R )   is   1 . 9 5 %,  2 . 3 1 %,  an d   3 . 4 1 %   r esp ec tiv ely   f o r   KL DA,   KI C A,   an d   KPC A.   T h E E R   im p r o v em en o f   th e   KL DA  tech n iq u e - b ased   ASR   s y s tem   co m p ar ed   with   KI C an d   KP C i s   4 . 2 5 an d   8 . 5 1 r esp ec tiv ely .   W f in d   th at  n o n - lin ea r   tr an s f o r m atio n s   u s u ally   lead   to   b etter   class if icatio n   th an   n o n - lin ea r   tr a n s f o r m atio n s ,   an d   ar e   th er ef o r e   p r o m is in g   n ew  r esear ch   d ir ec tio n .   W also   f o u n d   t h at  th s u p er v is ed   tr a n s f o r m atio n s   ar u s u ally   s tr o n g e r   th an   t h o s n o s u p er v is ed .   W th in k   it  wo u ld   b wo r th   s ea r ch in g   f o r   o t h er   s u p er v is ed   ap p r o ac h es  wh ich   co u ld   b e   b u ilt  s im ilar ly   to     th KL DA  o r   KI C A - b ased   ASR   ap p licatio n   m eth o d o lo g y .   Su ch   tr an s f o r m atio n s   s ig n if ican tly   im p r o v ed     th p h o n o lo g ical  k n o wled g e   ASR   tr ain in g   f r am ewo r k   b y   p r o v id in g   co m p r eh e n s iv an d   ac cu r ate  class if icatio n   o f   s p ea k in g   co n t ex tu al  f ea tu r es u n iq u to   r ea l - t im s p ea k er s .       RE F E R E NC E S   [ 1 ]     S.   S in g h ,   S u p p o rt   Ve c to M a c h in e   Ba se d   Ap p ro a c h e F o Re a Ti m e   Au to m a ti c   S p e a k e Re c o g n it io n   S y ste m ,”   In ter n a t io n a J o u rn a o A p p li e d   En g i n e e rin g   Res e a rc h p p .   8 5 6 1 - 8 5 6 7 ,   2 0 1 8 .   [ 2 ]     B.   S c h ö lk o p f ,   A.  J .   S m o la,  a n d   K.   R.   M u ll e e t   a l. ,   Ke rn e P ri n c ip a Co m p o n e n An a l y sis ,”   A d v a n c e in   Ke rn e l   M e th o d s S u p p o rt   Vec to r L e a r n in g ,   p p .   3 2 7 3 5 2 ,   1 9 9 9 .   [ 3 ]     F .   R.   Ba c h   a n d   M .   I.   J o rd a n ,   Ke rn e in d e p e n d e n c o m p o n e n a n a ly sis,”   J o u rn a o M a c h i n e   L e a r n in g   Res e a rc h ,     v o l.   3 ,   n o .   2 0 0 2 ,   p p .   1 - 4 8 ,   2 0 0 2 .   [ 4 ]     G .   Ba u d a a n d   F .   An o u a r,   G e n e ra li z e d   d isc rimin a n a n a ly sis  u si n g   a   k e rn e a p p r o a c h ,   Ne u ra C o mp u t . ,   v o l.   1 2 ,     n o .   1 0 ,   p p .   2 3 8 5 2 4 0 4 ,   2 0 0 0 .   [ 5 ]     A.  Ko c so r   a n d   K.   K o v á c e t   a l. ,   Ke rn e sp ri n g y   d isc rimin a n t   a n ly s is  a n d   it s   a p p li c a ti o n   to   a   p h o n o l o g ica a wa re n e ss   tea c h in g   sy ste m ,   I n ter n a t io n a C o n fer e n c e   o n   T e x t,   S p e e c h   a n d   Di a lo g u e ,   v o l.   2 4 4 8 ,   p p .   3 2 5 - 3 2 8 ,   2 0 0 2 .   [ 6 ]     F .   R.   Ba c h   a n d   M .   I.   J o rd a n ,   Ke rn e in d e p e n d e n c o m p o n e n t   a n a ly sis ,   J .   M a c h in e   L e a rn in g   Res . ,   v o l.   3 ,     p p .   1 4 8 ,   2 0 0 2 .   [ 7 ]     A.  Ko c so r   a n d   J.   Csiri k ,   F a st  i n d e p e n d e n c o m p o n e n t   a n a l y sis  i n   k e rn e l   fe a tu re   sp a c e s,”   S OF S E M   2 0 0 1 :   T h e o ry   a n d   Pra c ti c e   o In fo rm a ti c s,  2 8 t h   Co n fer e n c e   o n   Cu rr e n T re n d i n   T h e o ry   a n d   Pr a c ti c e   o In f o rm a ti c Pi e sta n y   v o l.   2 2 3 4 ,   p p .   2 7 1 2 8 1 ,   2 0 0 1 .   [ 8 ]     A.  Ko c so r   a n d   K.   K o v á c e t   a l. ,   Ke rn e sp ri n g y   d isc rimin a n t   a n ly s is  a n d   it s   a p p li c a ti o n   to   a   p h o n o l o g ica a wa re n e ss   tea c h in g   sy ste m ,   I n ter n a t io n a C o n fer e n c e   o n   T e x t,   S p e e c h   a n d   Di a lo g u e ,   v o l.   2 4 4 8 ,   p p .   3 2 5 3 2 8 ,   2 0 0 2 .   [ 9 ]     D.  Lay ,   Li n e a Alg e b ra   a n d   it a p p li c a ti o n s,   4 th   e d . ,   P e a rso n ,   2 0 1 2   [ 1 0 ]     B.   S c h o lk o p f ,   A.   J.   S m o la ,   K . R.   M u ll e r,   No n li n e a Co m p o n e n A n a ly sis  a a   Ke rn e Ei g e n v a lu e   P r o b lem , ”  Ne u ra l   Co mp u t a ti o n v o l.   1 0 ,   p p .   1 2 9 9 - 1 3 1 9 ,   1 9 9 8 .   [ 1 1 ]     Wein b e rg e r,   Kili a n   Q.,   P a c k e r,   Be n jam in   D.,   a n d   S a u l,   Law re n c e   K.  No n l in e a d ime n sio n a li t y   re d u c ti o n   b y   se m id e fin it e   p ro g ra m m in g   a n d   k e rn e m a tri x   fa c to riza ti o n ,   Pro c e e d in g o th e   T e n th   I n ter n a t io n a W o rk sh o p   o n   Arti fi c ia I n telli g e n c e   a n d   S t a ti sti c s ,   p p .   3 8 1 - 3 8 8 ,   2 0 0 5 .   [ 1 2 ]     G e r a z o v ,   B. ;   Iv a n o v sk i,   Z.   Ke rn e P o we F l o Orie n tatio n   C o e fficie n ts  fo r   No ise - Ro b u st  S p e e c h   Re c o g n it io n , ”  IEE E/ ACM   T ra n s.  A u d i o   S p e e c h   L a n g .   Pr o c e ss ,   v o l .   2 3 ,   p p . 4 0 7 - 4 1 9 ,   2 0 1 5 .   [ 1 3 ]     J.   G e ig e r ,   B.   S c h u l ler ,   G.   Ri g o ll ,   Larg e - sc a le  a u d io   fe a tu re   e x trac ti o n   a n d   S VM  f o a c o u stic  sc e n e   c las sifica ti o n ,”   Pro c e e d in g o th e   2 0 1 3   IEE W o rk sh o p   o n   A p p li c a ti o n o S i g n a Pro c e ss in g   to   A u d io   a n d   Aco u st ics   (W AS PA A),   Ne w P a lt z ,   NY ,   USA,   2 0 2 3   Oc t o b e r,   p p .   1 - 4 ,   2 0 1 3 .   Evaluation Warning : The document was created with Spire.PDF for Python.
T E L KOM NI KA   T elec o m m u n   C o m p u t E l Co n tr o l         K ern a l b a s ed   s p ea ke r   s p ec ific fe a tu r ex tr a ctio n   a n d   its   a p p l ica tio n s   i n …    ( S a tya n a n d   S in g h )   2497   [ 1 4 ]     A.   Ra b a o u i ,   M.   Da v y ,   S.   Ro ss i g n a o l,   N.   El l o u z e ,   Us i n g   On e - Clas S VMs  a n d   Wav e let fo r   Au d io   S u rv e il la n c e ,”   IEE T ra n s.  I n f.   Fo re n sic s S e c u r ,   v o l 3 ,   7 6 3 - 7 7 5 ,   2 0 1 8 .   [ 1 5 ]     H.   Jia n g ,   J.   Ba i ,   S.   Z h a n g ,   B.   Xu ,   S VM - b a se d   a u d io   sc e n e   c las sifica ti o n ,   Pro c e e d i n g o f   th e   2 0 0 5   IE EE   In ter n a t io n a C o n fer e n c e   o n   Na tu ra L a n g u a g e   Pro c e ss in g   a n d   Kn o wled g e   En g in e e rin g ,   Wu h a n ,   Ch in a ,     p p .   1 3 1 - 1 3 6 ,   2 0 0 5 .   [ 1 6 ]     S.  M i k a ,   B.   S c h o lk o p f,   A.   J.  S m o l a ,   K.   R.   M u ll e r,   M .   S c h o lz,  a n d   G .   Ra tsc h ,   Ke rn e P CA  a n d   d e n o isin g   in   fe a tu re   sp a c e s ,”   i n   M .   S .   Ke a rn s,  S .   A.  S o ll a ,   a n d   D.   A.  C o h n ,   e d it o rs ,   A d v a n c e s in   Ne u ra l   In f o rm a ti o n   Pro c e ss in g   S y ste ms v o l u m e   1 1 ,   p a g e 5 3 6 5 4 2 .   M IT  P re ss ,   1 9 9 9 .   [ 1 7 ]     K.   I.   Kim ,   K.   Ju n g ,   H.   J.   Kim ,   F a c e   Re c o g n it io n   Us in g   Ke r n e P rin c ip a C o m p o n e n A n a ly sis ,”   IEE S i g n a l   Pro c e ss in g   L e tt e rs ,   v o l.   9 ,   n o .   2 ,   p p .   4 0 - 4 2 ,   F e b ru a ry   2 0 0 2 ) .   [ 1 8 ]     L.   B.   Alm e id a ,   M IS EP   -   li n e a a n d   n o n l in e a ICA  b a se d   o n   m u t u a in f o rm a ti o n ,”   J o u rn a o M a c h in e   L e a rn in g   Res e a rc h ,   v o l.   4 ,   n o .   2 0 0 2 ,   p p . 1 2 9 7 - 1 3 1 8 ,   2 0 0 3 .   [ 1 9 ]     K.   Zh a n g ,   L.   Ch a n ,   No n li n e a in d e p e n d e n c o m p o n e n a n a ly sis  with   m in imu m   n o n li n e a d isto rti o n ,”   ICM L   2 0 0 7 ,   Co rv a ll is ,   OR,   US,   p p .   1 1 2 7 - 1 1 3 4 ,   2 0 0 7 .   [ 2 0 ]     M.   S.   Ba rtl e tt ,   J.   R.   M o v e ll a n ,   T.   J.   S e jn o ws k i ,   F a c e   Re c o g n it i o n   b y   In d e p e n d e n t   Co m p o n e n t   An a ly sis ,”   IEE E   T ra n sa c ti o n o n   Ne u ra l   Ne two rk s ,   v o l.   1 3 no .   6 ,   p p .   1 4 5 0 - 1 4 6 4 2 0 0 2 .   [ 2 1 ]     F.   R.   Ba c h ,   M.   I.   Jo r d a n ,   Ke rn e In d e p e n d e n C o m p o n e n t   An a ly sis ,”   J .   M a c h in e   L e a rn in g   Res ,   v o l.   3,   n o .   2 0 0 2 ,   pp. 1 - 4 8 ,   2 0 0 2 .   [ 2 2 ]     O.  S io h a n ,   On   t h e   ro b u stn e ss   o li n e a d isc rimin a n a n a l y sis  a a   p re p ro c e ss in g   ste p   f o n o isy   sp e e c h   re c o g n it io n ,   Pro c .   ICAS S P ,   De tro it ,   M I,   p p .   1 2 5 - 1 2 8 ,   1 9 9 5 .   [ 2 3 ]     S .   S in g h ,   EG   Ra jan ,   Ap p li c a ti o n   o d iffere n fil ters   i n   M e fre q u e n c y   c e p stra c o e fficie n ts  fe a tu re   e x trac ti o n   a n d   fu z z y   v e c to q u a n t iza ti o n   a p p ro a c h   in   sp e a k e re c o g n it io n , ”  In t e rn a ti o n a J o u rn a o En g i n e e rin g   Res e a rc h   &   T e c h n o l o g y ,   v o l.   2 ,   n o .   6 ,   p p .   4 1 9 - 4 2 5 ,   2 0 1 3 .   [ 2 4 ]     G .   S .   M o rriso n ,   a n d   F .   Ke ll y ,   sta ti stica p ro c e d u re   to   a d ju st  fo ti m e - in terv a m ism a tch   in   fo re n sic   v o ice   c o m p a riso n   S p e e c h   Co mm u n ica t io n ,   v o l.   1 1 2 ,   p p .   1 5 -   2 1 ,   2 0 1 9 .   [ 2 5 ]     S.   S i n g h   a n d   Aje e S in g h   Ac c u ra c y   Co m p a riso n   u si n g   Diffe re n M o d e li n g   Tec h n i q u e s u n d e Li m i ted   S p e e c h   Da ta   o S p e a k e Re c o g n it io n   S y ste m s ,”   Glo b a J o u rn a o S c ien c e   Fro n ti e Res e a rc h M a t h e ma ti c a n d   De c isio n   S c ien c e s ,   v o l .   16 ,   n o .   2 ,   p p .   1 - 17 ,   2 0 1 6 .   [ 2 6 ]     P .   Bo e rsm a   a n d   D.  Wee n i n k ,   P ra a t:   d o in g   p h o n e ti c b y   c o m p u ter” ,   v e rsio n   6 . 0 . 3 7 ,   2 0 2 0 .   A v a il a b le:   h tt p : // ww w.p ra a t. o r g /,   2 0 2 0   [ 2 7 ]     S.   S in g h .   Th e   Ro le  o S p e e c h   Tec h n o l o g y   in   Bi o m e tri c s,  F o re n sic a n d   M a n - M a c h i n e   In terfa c e   In ter n a ti o n a l   J o u rn a o El e c trica a n d   C o mp u t e r E n g i n e e rin g ,   v o l.   9 ,   n o .   1 ,   p p .   281 - 2 8 8 ,   2 0 1 9 .   [ 2 8 ]     Ch e n - Ch o u   L o ,   S z u - Wei  F u ,   W e n - Ch in   H u a n g ,   Xin   Wan g ,   J u n i c h Ya m a g ish i,   Yu   Tsa o ,   a n d   H sin - M in   Wan g ,   M OSNe t:   De e p   Lea rn in g   b a se d   Ob jec ti v e   As se ss m e n fo V o ice   Co n v e rsi o n ,   In ter sp e e c h   IS CA   p p .   1 5 4 2 1 5 4 5 ,   2 0 1 9 .   [ 2 9 ]     D.  S n y d e r,   D.  G a rc ia - Ro m e ro ,   G .   S e ll ,   D.  P o v e y ,   a n d   S .   Kh u d a n p u r,   X - v e c to rs:  Ro b u st  DN N   e m b e d d in g fo r   sp e a k e re c o g n it io n ,   ICAS S 2 0 1 8 ,   2 0 1 8 .   [ 3 0 ]     G a li n a   Lav re n ty e v a ,   S e rg e y   N o v o se lo v ,   An d z h u k a e v   Tse re n ,   M a rin a   Vo lk o v a ,   Arte m   G o rlan o v ,   a n d   Ale x a n d Ko z lo v ,   S TC   An t isp o o fi n g   S y ste m f o r   th e   ASVsp o o f2 0 1 9   Ch a ll e n g e ,   Pr o c .   I n t e rs p e e c h   2 0 1 9   p p .   1 0 3 3 - 1 0 3 7 ,   2 0 1 9 .   [ 3 1 ]     S.   S i n g h   a n d   M a n s o u H .   As sa f P e rfe c Ba lan c e   o S p a rsit y   a n d   Ac o u stic  h o le  in   S p e e c h   S ig n a l   a n d   Its   Ap p li c a ti o n   in   S p e a k e Re c o g n it io n   S y ste m , ”  M id d le - Ea st   J o u rn a l   o f   S c ien ti fi c   Res e a rc h v o l.   2 4 ,   n o . 1 1 ,     p p .   3 5 2 7 - 3 5 4 1 ,   2 0 1 6 .   [ 3 2 ]     A.  Ale x a n d e r,   O.  F o rt h ,   A.  A.   At re y a ,   F.  Ke ll y ,   VO CALIS E:   F o re n sic   Au t o m a ti c   S p e a k e Re c o g n it io n   S y ste m   S u p p o rt in g   S p e c tral,   P h o n e ti c ,   a n d   Us e r - P ro v id e d   F e a tu re s ,”   Re se a rc h   a n d   De v e l o p m e n t   Ox fo r d   Wa v e   Re se a rc h   Lt d ,   Un it e d   Ki n g d o m ,   2 0 1 6 .     Evaluation Warning : The document was created with Spire.PDF for Python.