T E L K O M N I K A  T elec o m m un ica t io n,  Co m pu t ing ,   E lect ro nics   a nd   Co ntr o l   Vo l.   18 ,   No .   5 ,  Octo b er   2 0 2 0 ,   p p .   2 4 8 8 ~ 2 4 9 7   I SS N:  1 6 9 3 - 6 9 3 0 ,   ac cr ed ited   First Gr ad e  b y   Kem en r is tek d i k ti,  Dec r ee   No : 2 1 /E/KPT /2 0 1 8   DOI : 1 0 . 1 2 9 2 8 /TE L KOM NI K A. v 1 8 i5 . 1 4 6 5 5     2488       J o ur na l ho m ep a g e :  h ttp : //jo u r n a l.u a d . a c. id /in d ex . p h p /TELK OM N I K A   K erna l bas ed  spe a ker specifi c f ea t ure e x trac tion a n d it s  a pplica tions   in iT a ukei cros s la ng ua g e spea ker re co g nition       Sa t y a na nd   Sin g h 1 ,  P ra g y a   Si ng h 2   1 S c h o o l  o f   El e c tri c a l  a n d   El e c tro n ics   En g i n e e rin g ,  F ij i  Na ti o n a l  Un i v e rsisty ,  F ij i   2 S c h o o l  o f   P u b li c   He a lt h   a n d   P ri m a ry   Ca re ,  F ij i  Na ti o n a l  Un iv e rsi sty ,  F i ji       Art icle  I nfo     AB S T RAC T   A r ticle  his to r y:   R ec eiv ed   No v   2 1 ,  2 0 1 9   R ev is ed   Ma y   2 ,  2 0 2 0   Acc ep ted   May   11 ,  2 0 2 0       Ex trac ti o n   a n d   c las sifica ti o n   a lg o r it h m s  b a se d   o n   k e rn e l   n o n l in e a r  f e a tu re s  a re   p o p u lar   in   t h e   n e w  d irec ti o n   o f  r e se a rc h   in   m a c h i n e   lea rn i n g .   T h i s  re se a rc h   p a p e r  c o n si d e rs  th e ir   p ra c ti c a l  a p p li c a ti o n   in   t h e   iT a u k e i  a u to m a ti c   sp e a k e r   re c o g n it i o n   s y ste m   (ASR )  fo r  c ro ss - lan g u a g e   sp e e c h   re c o g n it io n .   S e c o n d ,   n o n li n e a r  s p e a k e r - sp e c ifi c   e x tra c ti o n   m e th o d s  su c h   a s  k e r n e l   p ri n c ip a l  c o m p o n e n t  a n a ly sis  (K P CA),  k e rn e l  in d e p e n d e n t   c o m p o n e n t   a n a l y si s  (KICA ),   a n d   k e rn e l   li n e a r  d isc rimin a n t  a n a l y sis  (KLDA )   a re   su m m a rize d .     Th e   c o n v e rsi o n   e ffe c ts  o n   s u b se q u e n t   c las sifica ti o n s  we re   tes ted   in   c o n ju n c ti o n   with   G a u ss ian   m ix tu re   m o d e li n g   (G M M )  lea rn in g   a lg o rit h m s;  in   m o st  c a se s,  c o m p u tatio n s  we r e   fo u n d   to   h a v e   a   b e n e ficia l   e ffe c t  o n   c las sifica ti o n   p e rfo rm a n c e .   A d d i ti o n a ll y ,   th e   b e st  re su lt s  we re   a c h iev e d   b y     th e   Ke rn e l  li n e a r  d isc rimin a n t  a n a ly sis  (KLDA )  a lg o rit h m .   T h e   p e rfo rm a n c e   o f  th e   A S R  sy ste m   is  e v a lu a ted   fo r  c lea r  sp e e c h   to   a   wid e   ra n g e   o f  sp e e c h   q u a li t y   u sin g   ATR  Ja p a n e se   C   l a n g u a g e   c o r p u s   a n d   se lf - re c o rd e d   i Tau k e i   c o rp u s.  T h e   ASR  e fficie n c y   o f  KLDA ,   KICA ,   a n d   KLDA   tec h n iq u e   fo r  6   se c   o f  ATR  Ja p a n e se   C  lan g u a g e   c o rp u s  9 9 . 7 % ,   9 9 . 6 % ,   a n d   9 9 . 1 %   a n d   e q u a l  e rro r   ra te  (EE R)  a re   1 . 9 5 % ,   2 . 3 1 % ,   a n d   3 . 4 1 %   re sp e c ti v e ly .   T h e   EE R  im p ro v e m e n t  o f  th e   KLDA   tec h n i q u e - b a se d   A S R  sy ste m   c o m p a re d   wit h   KICA   a n d   KPCA   is 4 . 2 5 %   a n d   8 . 5 1 %   re sp e c ti v e l y .   K ey w o r d s :   Au to m atic  s p ea k er   r ec o g n itio n   s y s tem   Ker n el  in d ep e n d en t c o m p o n en t  an aly s is   Ker n el  lin ea r   d is cr im in an t  an aly s is   Ker n el  p r in cip al  c o m p o n en t  an aly s is   Prin cip al  co m p o n en t a n al y s is   T h is i s  a n   o p e n   a c c e ss   a rticle   u n d e r  th e   CC B Y - SA   li c e n se .     C o r r e s p o nd ing   A uth o r :   Saty an an d   Sin g h ,   Sch o o l o f   E lectr ical  a n d   E lectr o n ics E n g in ee r i n g ,     Fij i N atio n al  Un iv er s is ty ,   Fiji .   E m ail:  s aty an an d . s in g h @ f n u . a c. f j       1.   I NT RO D UCT I O N   ASR   i s   im p lem en ted   u s in g   v e r y   co n v en tio n al   s tatis tical  m o d elin g   tech n i q u es  s u ch   as  GM M  o r   ANN  m o d elin g .   B u t in   th e  p ast f ew  y ea r s ,   m ac h in e  lear n in g   th eo r y   h as e v o lv ed   in to   a  v a r iety   o f   n ew  alg o r ith m s   f o r   lear n in g   an d   class if icatio n .   T h e  s o - ca lled   k er n el - b ased   m eth o d ,   in   p ar ticu lar ,   h as  r ec en tly   b ec o m e  a  p r o m is in g   n ew  p ath   to   s cien ce .   Ke r n el - b ased   class if icatio n   an d   r e g r es s io n   tech n iq u es  lik e  th e   well - k n o wn   SVM  f o u n d     a  f air ly   s lo w  ex p r ess io n .   T h a t  m ay   b e  b ec a u s e  to   ad d r ess   th eo r etica l  an d   p r ac tical  p r o b lem s   it  n ee d s   to   b e  ap p lied   to   lar g e  task s   s u ch   a s   s p ee ch   r ec o g n itio n .   R ec en tl y ,   h o we v er ,   m o r e  an d   m o r e  au th o r s   h a v e  b ee n   co n ce r n e d   ab o u t th e  u s e  o f   s u p p o r t  v ec to r   m ac h in es in   s p ee ch   r ec o g n itio n   [ 1 ] .     B esid es   u s in g   k er n el - b ased   cl ass if ier s ,   an   alter n ate  way   is   t o   u s e  k e r n el - b ased   tech n o l o g i es  o n ly   to   co n v er t  th e   f ea tu r e   s p ac e  an d   leav e  th e  class if icatio n   jo b   to   m o r e  co n v en tio n al  m eth o d s .   T h e  p u r p o s e  o f   th is   p ap er   is   to   s tu d y   th e  ap p licab ilit y   o f   s o m e  o f   th ese  m eth o d s   to   class if y   p h o n em es,  u s in g   k er n el - b ased     p r e - lear n in g   s p ea k er - s p ec if ic  f ea tu r e  ex tr ac tio n   m eth o d s   to   im p r o v e  ASR   class if icatio n   r ates.  T h is   p ap er   m ain ly   d is cu s s es KPC A   [ 2 ] ,   KI C A   [ 3 ] ,   KL DA.   Evaluation Warning : The document was created with Spire.PDF for Python.
T E L KOM NI KA   T elec o m m u n   C o m p u t E l Co n tr o l         K ern a l b a s ed   s p ea ke r   s p ec ific fe a tu r e  ex tr a ctio n   a n d   its   a p p l ica tio n s   i n …    ( S a tya n a n d   S in g h )   2489   Usu ally ,   a  tr ad itio n al  ASR   p r o ce s s   co n s is ts   o f   two   p h ase s :   a  tr ain in g   p h ase,   an d   a  te s t  p h ase.     I n   th e   tr ain in g   p h ase,   th e  d ev i ce   ex tr ac ts   s p ea k e r - s p ec if ic  c h ar ac ter is tics   f r o m   t h e  s p ee ch   s ig n al  to   b e   u s ed   to   cr ea te  a  s p ea k er   m o d el   [ 1 ] ,   wh er e  th e  aim   o f   th e  test   p h ase  is   to   d eter m in e   th e  s p ea k in g   s am p les  th at  f it     th e  in d iv id u al  o f   t h e  tr ain in g   s am p le.   h e  o r i g in al  s p ee ch   s ig n al  is   tr an s f o r m ed   in to   a  v ec t o r   r ep r esen tatio n   o f   th e  f u n ctio n   [ 2 ]   in   all  a u d io   s ig n al  p r o ce s s in g .   L in ea r   p r e d ictio n   ce p s tr al  c o ef f icien ts   ( L PC C )   an d   p e r ce p tu a l   lin ea r ity   p r ed icted   ce p s tr u m   c o ef f icien t  ( PLPC C ) ,   m al  f r eq u en cy   ce p s tr al  co ef f icien t  ( MFC C )   [ 3 ]   ap p r o ac h   is   m o s t  co m m o n ly   u s ed   in   th e  ASR   s y s tem   to   o b tain   s p ea k er - s p ec if ic  f ea tu r es.   Fo r   m o d elin g ,   d is cr im in an t   class if ier s   in   s u p p o r t  v ec to r   m ac h in e  ( SVM)   [ 4 ]   r ep r esen tati o n   h a v e  ac h iev ed   i m p r ess iv e  r esu lts   in   m an y   ASR   s y s tem s .   SVM  will  d ef in itely   ef f ec tiv el y   tr ai n   n o n - lin ea r   b o u n d a r ies  f o r   d ec is io n - m a k in g   b y   class if y in g   in ter esti n g   s p ea k er s /im p o s ter s   as th ey   ar e  d is tin ct.     Alth o u g h   th ese  f ea tu r e  ex t r ac tio n   tech n iq u es  ar e   ef f ec tiv e ,   n o n - lin e ar   m ap p in g   o f   s p ee ch   f ea tu r es  to   n ew  s u itab le  s p ac es  m a y   g e n er ate  n ew   f ea tu r es  th at  ca n   b etter   id en tify   s p ee ch   ca teg o r ies.  Ker n el - b ased   tech n o lo g y   h as  b ee n   ap p lied   to   a  v ar iety   o f   lear n in g   m ac h in es,  in clu d in g   s u p p o r t  v ec to r   m ac h in es  ( SVM) ,   Ker n el  d is cr im in an t  an aly s is   ( KDA) ,   k er n el  p r i n cip al  co m p o n en t  an aly s is   ( KPC A)   [ 5 ] .   T h e   latter   two   m eth o d s   ar e  wid ely   u s ed   in   im ag e  r ec o g n itio n .   T h eir   p er f o r m an ce   in   s p ea k er   r ec o g n itio n ,   h o w ev er ,   h as  n o t  b ee n   ca r ef u lly   in v esti g ated .   T h e  p u r p o s e  o f   th is   p ap er   is   to   ex a m in e   th e   ap p licab ilit y   o f   s o m e  o f   th ese  m et h o d s   t o   class if y   p h o n e m es,  u s in g   k er n el - b ased   f ea tu r e  ex tr ac tio n   m eth o d s   ap p lied   b ef o r e  lear n in g   to   b o o s t  class if icatio n   lev els.   E s s en tially ,   th is   p ap er   d ea ls   with   th e  s tr ateg ies  o f   KPC A ,   KI C A  [ 6 ,   7 ] ,   KL DA  [ 5 ] ,   a n d   Ke r n el  s p r in g y   d is cr im in an t  an aly s is   ( KSDA)   [ 8 ] .   I n   th is   wo r k ,   KPC A,   KI C A,   an d   KL DA  is   u s ed   f o r   s p ea k er   s p ec if ic  f ea tu r e  ex tr ac tio n   with   an   ASR   s y s tem .   W ith   KPC A,   s p ea k er - s p ec i f ic  f ea tu r es  ca n   b e  ex p r ess ed   i n   a  h ig h   d im en s io n   s p ac e   wh ich   ca n   p o s s ib ly   g en e r at e  m o r e  d is tin g u is h ab le  s p ea k er   f ea tu r es.       2.   F UNDA M E N T AL   O F   P RI N CIPAL CO M P O NE N T   AN AL YS I S   Prin cip al  co m p o n e n t  an aly s is   ( PC A)   i s   a  v er y   co m m o n   m eth o d   o f   d im en s io n ality   r e d u ctio n   an d   f ea tu r e  ex tr ac tio n .   PC A  attem p ts   to   f in d   lin ea r   s u b s p ac es  th a t  ar e  s m aller   in   s ize  th an   t h e  o r ig in al  f ea tu r e  s p ac e,   with   n ew  f ea t u r es  h a v in g   th e  l ar g est  v ar ian ce   [ 9 ] .   C o n s id er   t h e  d ata   s et  { }   wh er e  = 1 , 2 , 3 , … . , ,   ea ch     is   a  D - d im en s io n al  v ec t o r .   No w  we  p r o ject  t h e  d ata  i n to   th e  - d im en s io n al  s u b s p ac e,   h er e,   < .    T h e  p r o jectio n   is   r ep r esen ted   as  =  ,   wh er e  = [ 1 , 2 , … . ,   ] ,    = 1   f o r   = 1 , 2 , 3 , … . , .  W e  wan t to   m ax im ize  th e  v a r ian ce   o f   { } ,   wh ich   is   th e  tr ac e  o f   th e  co v ar ian ce   m atr ix   o f   { } .     ∗ = a r g   ( )                   ( 1)     wh er e ,     = 1 ∑ ( − ̅ ) ( − ̅ ) = 1               ( 2 )     an d     ̅ = 1 ∑ = 1                   ( 3 )     C o v ar ien ce   m atr ix   o f   { }   is   th e  ,   s in ce    ( ) =  ( ) ,   b y   u s in g   th e  L ag r an g ia n   m u ltip lier   an d   tak in g   th e  d e r iv ativ e,   we  g et ,     =                     ( 4 )     wh ich   in d icate s     is   th e  eig en v e cto r   o f     an d   n o w    ca n   b e  r e p r esen ted   as f o llo ws;     = ∑ ( ) = 1                 ( 5 )       ca n   b e  a p p r o x im ated   b y   ̃   an d   ex p r ess ed   as f o llo ws:       ̃ = ∑ ( ) = 1                 ( 6 )     wh er e  is   th e  eig en v ec to r   o f   co r r esp o n d in g   t o   th e  k t h   lar g est  eig en v alu e.   Stan d a r d   P C A  r esu lts   f o r     th e  two - s p ea k er ’ s   au d io   d ata  s h o wn   in   Fig u r e   1   ( a) .       Evaluation Warning : The document was created with Spire.PDF for Python.
                    I SS N :   1 6 9 3 - 6 9 3 0   T E L KOM NI KA   T elec o m m u n   C o m p u t E l Co n tr o l ,  Vo l.  18 ,   No .   5 ,  Octo b e r   2 0 2 0 :    2 4 8 8   -   2497   2490   2 . 1 .    K er nel P CA  m et ho do lo g y   f o r   dim ens io na lity   re du ct io n   in ASR  s y s t em   Stan d ar d   PC A  o n ly   allo ws  lin ea r   s ize  r ed u ctio n .   Ho wev er ,   s tan d ar d   PC A  is   n o t  v er y   u s ef u l  wh en     th e  d ata  h as  a  m o r e  co m p le x   s tr u ctu r e  th at  ca n n o t  b e  r e p r esen ted   well  in   lin ea r   s u b s p ac es.  Fo r tu n ately ,     th e  k er n el  PC A  allo ws  u s   to   e x ten d   th e  s tan d a r d   PC A  to   n o n lin ea r   d im en s io n ality   r ed u ctio n   [ 1 0 ] .   Ass u m e  th at  a  s et  o f   o b s er v ati o n s   is   g iv en   ∈ ℝ , = 1 , 2 , 3 , … . , .   C o n s id er   th e  in n er   d o t  p r o d u ct  s p ac e    ass o ciate d   with   th e  in p u t   s p ac e  b y   a  m a p   : ℝ →   m ay   b e   n o n - lin ea r .   T h e  f ea tu r e  s p ac e     h as  an   a r b itr ar y   s ize  an d     in   s o m e  ca s es   h as  an   in f in ite  d im en s io n .   Her e,   u p p er ca s e  letter s   u s ed   f o r   elem en ts   o f   ,   an d   lo wer ca s e  letter s   ar e  u s ed   f o r   elem en ts   o f   ℝ .   Su p p o s e  we  ar e  wo r k in g   o n   ce n te r ed   d ata  ∑   ( ) = 0 = 1 .   I n   F,  t h e  co v ar ian ce   m atr ix   h as th e  f o r m   as   f o llo ws:     = 1 ∑ ( ) ( ) = 1                   ( 7 )     E ig en v alu es  ≥ 0   an d   n o n ze r o   eig e n v ec to r s   ∈ \ ( 0 )   s atis f y in g    =  .   I t  is   well  k n o wn   th at   all   s o lu tio n s     with   ≠ 0   ar e  in   th e  r an g e  o f   { ( ) } = 1 .   T h is   h as  two   co n s eq u en ce s .   First,  co n s id er   a  s et  o f   eq u atio n s   〈 ( ) ,  〉 = 〈 ( ) , 〉 ,   f o r   all   = 1 , 2 , 3 , … ,   an d   s ec o n d   th er e   ex is t  co e f f i cien ts     , = 1 , 2 , 3 , … ,   in   s u ch   a  way   th at  = ∑ ( ) = 1 .   C o m b in in g   〈 ( ) ,  〉 = 〈 ( ) , 〉   an d     = ∑ ( ) = 1   we  g et  th e  d u al  r ep r esen tatio n   o f   th e   eig en v alu e  p r o b lem   as  1 ∑ 〈 ( ) , ∑ ( ) 〈 ( ) , ( ) 〉 = 1 〉 = ∑ 〈 ( ) , ( ) 〉 = 1 = 1   f o r   all  = 1 , 2 , 3 , … , .   W e  ar e  d ef in in g   a     m atr i x   b y    = ( ) , ( ) ,   th is   m ak es  2 =  .   W h er e    d en o ted   as   a   co lu m n   v ec to r s   with   1 , 2 , 3 , … . ,   en tr ies.    L et  1 ≥   2 ≥ ⋯   b e  th e  eig en v alu e  o f   ,  1 , 2 , … ,   b e  th e  s et  o f   co r r esp o n d in g   eig e n v ec to r s ,   an d     b e  th e  last   n o n - ze r o   eig e n v alu e.   No r m alizin g   1 , 2 , … ,   b y   n ee d i n g   th e  c o r r esp o n d in g   v ec to r s   in     b e  n o r m alize d   〈 , 〉 = 1 ,   f o r   all  = 1 , 2 , … , .   C o n s id er in g   = ∑ ( ) = 1   an d    =  ,    th e  n o r m aliza tio n   co n d itio n   o f   1 , 2 , … , ca n   b e  r ew r itten   as f o llo ws ;     1 = ∑ , 〈 ( ) , ( ) 〉 = ∑ , , = 〈 , 〉 = 〈 , 〉     ( 8 )     f o r   th e  p u r p o s e  o f   p r in ci p al  co m p o n en t  ex t r ac tio n ,   we  n ee d   to   co m p u te  th e  p r o jectio n s   o n to     th e  eig en v ec to r s     in   ,   f o r   = 1 , 2 , … , .   L et    b e  th e  test   p o in t,  with   a n   im a g e  ( )   in   .     〈 , ( ) 〉 = ∑ 〈 ( ) , ( ) 〉 = 1             ( 9 )     〈 , ( ) 〉   n o n lin ea r   p r in ci p al  co m p o n en t c o r r esp o n d in g   t o   .     2 . 2 .     Co m pu t a t io n o f   co v a ria nce  m a t rix   a nd   do t   pro du ct   m a t rix   by   po s it io nin g   o n f ea t ure  s pa ce   Fo r   th e  s ak e  o f   s im p licity ,   we  ass u m e  th at  th e  o b s er v atio n s   ar e  a t  th e  ce n ter .   T h is   is   ea s y   to   im p lem en t  in   th e  in p u t  s p ac e   b ec au s e  it  is   n o t  p o s s ib le  to   ex p licitly   ca lc u late  th e  av e r ag e  o f   t h e  o b s er v atio n s   m ap p e d   with   ,   b u t  it  is   m o r e   d if f icu lt  to   u s e   .   Ass u m e  th at  an y     an d   a n y   s er ies  o f   o b s er v atio n s   1 , 2 , … ,   ar e  g iv e n   th en   let  u s   d ef in e  ̅ = 1 ∑ ( ) = 1   an d   th en   th e  p o in t  ̃ ( ) = ( ) − ̅   will  b e  ce n ter ed .   T h er ef o r e ,     th e  ab o v e  ass u m p tio n   h o ld s ,   we  d ef in   th e   co v a r ian ce   m atr i x   an d   th e   d o t  p r o d u ct  m at r ix   ̃  = 〈 ̃ ( ) , ̃ ( ) 〉   in   .   W e  k n o wn   eig en v alu e  p r o b lem s   as  ̃ ̃ = ̃ ̃   with   ̃   is   th e  ex p an s io n   co ef f icien t  o f   th e  eig en v ec to r   r elativ e  to   th e  ce n ter   p o in t   ̃ ( ) .   Sin ce   th er e   is   n o   c en tr al  d ata,   ̃   ca n n o t  b e  e x p licitly   ca lc u lated ,   b u t  it  ca n   b e   r ep r esen ted   b y   a  c o r r esp o n d in g     with o u t  a   ce n ter   th e r ef o r e   ̃  = 〈 ̃ ( ) − , ( ) − 〉   = , − 1 ∑  − 1 ∑  + 1 2 ∑  , = 1 = 1 = 1 .   W e  ca n   g et  m o r e  co m p ac t  ex p r e s s io n   b y   u s in g   th e  v ec to r     1 = ( 1 , … , 1 ) .   T h e  co m p ac t  ex p r ess io n   is   ̃ = − 1 1 1 − 1 1 1 + 1 2 ( 1 1 ) 1 1 .   W e  ca n   ca lcu late  ̃   f r o m     an d   s o lv e  th e   eig en v alu e  p r o b lem .   C o n s id er   test   p o in t    p r o jectio n   o f   th e  ce n ter   p o in t  o f   th e  ce n ter   - im ag e  o f     to   th e  f ea tu r e  v ec to r   o f   th e  c o v ar ian ce   m atr ix   is   co m p u ted   to   f in d   its   co o r d in ates   [ 1 1 ] .     〈 ̃ ( ) , ̃ 〉 = 〈 ( ) − ⃑   , ̃ 〉 = ∑ ̃ 〈 ( ) − ⃑   , ( ) − ⃑   〉 = 1       = ∑ ̃ = 1 { ( , ) − 1 ∑ ( , ) − 1 ∑ ( , ) + 1 2 ∑ ( , ) , = 1 = 1 = 1 }     ( 1 0 )     I n tr o d u cin g   t h e  v ec to r   .     Evaluation Warning : The document was created with Spire.PDF for Python.
T E L KOM NI KA   T elec o m m u n   C o m p u t E l Co n tr o l         K ern a l b a s ed   s p ea ke r   s p ec ific fe a tu r e  ex tr a ctio n   a n d   its   a p p l ica tio n s   i n …    ( S a tya n a n d   S in g h )   2491   = ( ( , ) )  1                 ( 1 1 )   ( 〈 ̃ ( ) , ̃ 〉 ) 1  = ̃ − 1 1 ̃ − 1 ( 1 ) 1 ̃ + 1 2 ( 1 1 ) 1 ̃       = ( − 1 1 1 ) ̃ − 1 1 ( − 1 1 1 ) ̃             = ( − 1 1 ) ( − 1 1 1 )   ̃             ( 1 2 )     No te  th at  KP C A  im p licitly   u s es  o n ly   in p u t  v ar iab les  b ec au s e  th e  alg o r ith m   u s es  k er n el  f u n ctio n   ev alu atio n   to   r ep r esen t  th e  r e d u ctio n   in   f ea t u r e  s p ac e  d im en s io n s .   T h er ef o r e,   KPC A  is   u s ef u l  f o r   n o n lin e ar   f ea tu r e  ex t r ac tio n   b y   r ed u cin g   t h e  s ize;  it d o es n o t e x p lain   th e   ch ar ac ter is tics   o f   th e  in p u t v ar iab le  s elec tio n .       3.   K E RNE L -   B A SE D  SPEAK E R  SPE CIFI C  F E A T UR E   E XT RAC T I O N  A ND  I T S AP P L I CA T I O N  I N  ASR   C las s if icat io n   alg o r ith m s   m u s t  r ep r esen t  th e  o b jects  to   b e  cl ass if ied   as  p o in ts   in   a  m u ltid im en s io n al  f ea tu r e  s p ac e.   Ho wev er ,   o n e  c an   ap p l y   o t h er   v ec to r   s p ac e  tr a n s f o r m atio n s   to   th e   in itial  f ea t u r es  b ef o r e  r u n n in g   th e  lear n in g   alg o r ith m .   T h e r e   ar e  two   r ea s o n s   f o r   d o in g   t h is .   First,  th ey   ca n   im p r o v e   th e  p er f o r m a n ce   o f   class if icatio n   an d   s ec o n d ,   th e y   ca n   r ed u ce   th e  d ata' s   d im en s io n ality .   T h e  s elec tio n   o f   i n itial  f ea tu r es  an d   th eir   tr an s f o r m atio n   ar e   s o m etim e s   d ea lt  with   in   th e   liter atu r e   u n d er   t h e  titl e  "f ea tu r e  e x tr ac tio n ”.   T o   av o id   m is u n d er s tan d in g ,   th is   s ec tio n   d escr ib es  o n ly   th e  latter   an d   d escr ib es  th e  f ir s t  f ea tu r e  s et.   Ho p ef u lly   it  will  b e   m o r e  ef f ec tiv e  an d   class if icatio n   will b e  f aster .   T h e  a p p r o ac h   to   th e  ex tr ac tio n   o f   f ea tu r es  m ay   b e  eith er   lin ea r   o r   n o n lin ea r ,   b u t  th er e  is   a  tech n iq u e  th at  b r ea k s   d o wn   th e  b ar r ier   b etwe en   th e  two   f o r m s   in   s o m e  way .     T h e  k ey   id ea   b eh in d   th e  k er n el   tech n iq u e  was  o r ig in ally   p r esen ted   in   [ 1 2 ]   an d   ap p lied   ag ain   in   co n n ec tio n   with     th e  g en er al  p u r p o s e  SVM   [ 1 3 - 1 5 ]   f o llo wed   b y   o th e r   k er n el - b ased   m eth o d s .     3. 1 .     Su pp ly ing   inp ut  v a ria ble inf o rm a t i o n into   k er nel  P C A   A d d itio n al  in f o r m atio n   to   t h e  KPC A  r ep r esen tatio n   f o r   in ter p r etab ilit y .   W e  h av e   d e v elo p e d   a  p r o ce s s   to   p r o ject  a  g iv en   in p u t  v ar iab le  in to   a  s u b s p ac e  s p an n ed   b y   f ea tu r e  v ec to r s   ̃ = ∑ ̃ ̃ ( 1 ) = 1 .   W e  ca n   th in k   o f   o u r   o b s er v atio n   as  a  r an d o m   v ec to r   = ( 1 , 2 , … . . ,     )   im p lem en tatio n   th en   t o   r ep r esen t  th e  p r o m i n en ce   o f   th e  in p u t  v ar iab le    in   th e  KPC A.   C o n s id er in g   a  s et  o f   p o i n ts   o f   m ath em atica l  f o r m s   = + ∈ ℝ   wh er e  = ( 0 , … . , 1 , … . , 0 )   o f   k th   co m p o n en t  is   eith er   0   o r   1 .   Nex t,  th e  p r o jectio n   p o in ts   ( )   o f   th ese  im ag es  o n to   th e  s u b s p ac e  s p an n ed   b y   th e  f ea tu r e  v ec t o r   ̃ = ∑ ̃ ̃ ( 1 ) = 1   ca n   b e  ca lcu lated .   C o n s id er in g   i n   ( 1 2 )     th e  r o w  v ec to r   g iv es th e  i n d u c tio n   cu r v e   in   th e  E i g en   s p ac e  e x p r ess ed   in   m atr ix   f o r m :     ( ) 1  = ( − 1 1 ) ( − 1 1 1 ) ̃           ( 1 3 )     Fu r th er m o r e ,   b y   p r o jectin g   th e   tan g en t  v ec to r   to   s   =  0 ,   we  ca n   ex p r ess   th e  m ax im u m   ch a n g e  d ir ec tio n   o f   ( )   ass o ciate d   with   th e  v ar iab l e  .   Ma tr ix   f o r m   o f   th e  ex p r ess io n   r ep r esen ted   as f o llo ws:       | = 0 =  | = 0 ( − 1 1 1 ) ̃             ( 1 4 )     wh er e       | = 0 = ( 1  | = 0 , … … . . ,  | = 0 )       an d        | = 0 =  ( , )  | = 0 = ( ∑  ( , ) = 1  ) | = 0 = ∑  ( , ) = 1 | = =  ( , ) | =       wh er e  d elta  o f   Kr o n ec k er   is   r ep r esen ted   as    an d   r ad ial  b asis   k er n el  as  ( , ) =  ( − ‖ − ‖ 2 ) =  ( − ∑ ( −  ) 2 = 1 ) .   Af ter   co n s id er i n g   = + ∈ ℝ :      | = 0 =  ( , ) | = = − 2  ( , ) ( −  ) = − 2  ( , ) (  −  )   Evaluation Warning : The document was created with Spire.PDF for Python.
                    I SS N :   1 6 9 3 - 6 9 3 0   T E L KOM NI KA   T elec o m m u n   C o m p u t E l Co n tr o l ,  Vo l.  18 ,   No .   5 ,  Octo b e r   2 0 2 0 :    2 4 8 8   -   2497   2492   wh er e  th e  t r ain in g   p o i n t  = .   T h u s ,   b y   ap p ly i n g   ( 1 3 ) ,   it  is   p o s s ib le  to   lo ca lly   r ep r esen t  a n y   g iv en   in p u t   v ar iab le  p lo t  in   KPC A.   Fu r th er m o r e,   b y   u s in g   ( 1 4 ) ,   it  is   p o s s ib le  to   r ep r esen t  t h e  tan g e n t  v e cto r   ass o ciate d   with   an y   g iv en   in p u t  v ar iab le  at   ea c h   s am p le   p o in t   [ 1 6 ] .   T h e r ef o r e ,   a  v ec to r   f ield   ca n   b e   d r aw n   o n   KPC A  in d icatin g   th e  g r o wth   d ir ec tio n   o f   a  g iv e n   v ar iab le.   T h er e  ar e   s o m e  ex is tin g   tech n iq u es  to   co m p u te  z   f o r   s p ec if ic  k er n els  [ 1 7 ] .   Fo r   a  Gau s s ian   k er n el  ( , ) ) =  ( − ‖ − ‖ 2 / 2 2 )   ,    m u s t satis f y   th e  f o llo win g   c o n d itio n ;     = ∑ ( ‖ − ‖ 2 / 2 2 ) = 1 ∑ = 1 ( − ‖ − ‖ 2 ) / 2 2                 ( 1 5 )     Ker n el  PC A  r esu lts   f o r   th e  two -   s p ea k er ’ s   a u d io   d ata  with   is   s h o wn   in   Fig u r e   1   ( b ) .           ( a)       ( b )     Fig u r e  1 .   Stan d a r d   PC A  an d   K er n el  PC A  r esu lts   f o r   th e  two - s p ea k er ’ s   au d io   d ata ;    ( a)   s tan d ar d   PC A   an d   ( b )   k er n el  PC A       3 . 2 .     Appl ica t io n o f   k er nel independ e nt  co m po nent  a na ly s is   ( K I CA)   I n d ep e n d en t  c o m p o n en t  an al y s is   i s   a  g en er al  s tatis tical  ap p r o ac h   o r ig in ally   b o r n   f r o m   th e  s tu d y   o f   s ep ar atio n   f r o m   b lin d   s o u r c es.  An o th er   a p p licatio n   o f   I C A  is   th e  u n s u p er v is ed   ex tr ac tio n   o f   f ea tu r es.  T h is   is   in ten d ed   t o   tr an s f o r m   in p u t  d ata  lin ea r ly   in to   u n c o r r elate d   ele m en ts ,   u s in g   at  least  a  d is tr ib u tio n   o f   th e  Gau s s ian   s am p le  s et   [ 1 8 ] .   T h e   ex p la n atio n   f o r   th is   is   th at   class if icati o n   o f   d ata  i n   ce r tain   d ir ec tio n s   wo u ld   b e  s im p ler .   T h is   is   in   ac c o r d an ce   with   t h e  m o s t p o p u lar   s p ee c h   m o d elin g   tech n iq u e,   i.e .   f itti n g   Gau s s ian   m ix tu r es o n   ea ch   Evaluation Warning : The document was created with Spire.PDF for Python.
T E L KOM NI KA   T elec o m m u n   C o m p u t E l Co n tr o l         K ern a l b a s ed   s p ea ke r   s p ec ific fe a tu r e  ex tr a ctio n   a n d   its   a p p l ica tio n s   i n …    ( S a tya n a n d   S in g h )   2493   class .   T h is   o b v io u s ly   m ea n s   t h at  Gau s s ian   m ix tu r es  ca n   ap p r o x im ate   th e  d is tr ib u tio n s   o f   th e  g r o u p s   KI C A  ex ten d s   th is   b y   ass u m in g ,   o n   th e  co n tr ar y ,   th at  wh en   all   class es  ar e  f u s ed ,   th e  d is tr ib u tio n   is   n o t  Gau s s ian ;  th u s ,   u s in g   n o n - Ga u s s ian is m   as  a   h eu r is tic  f o r   th e  u n co n t r o lled   e x tr ac tio n   o f   f ea tu r es  wo u ld   p r ef er   th o s e  d ir ec tio n s   wh ich   s ep ar ate  class es.   Sev er al  o b jectiv e  f u n ctio n s   f o r   o p tim al  s elec tio n   o f   in d e p en d en t  d ir ec tio n s   wer e  d escr ib ed   u s in g   ap p r o x im ately   eq u iv alen t  a p p r o ac h es.  T h e   KI C A  alg o r ith m ' s   g o al  its elf   is   to   f in d   s u ch   o b j ec tiv e  f u n ctio n s   as  o p tim ally   as  p o s s ib le   [ 1 9 ] .   Fo r   KI C A  o u tp u t  m o s t  iter a tiv e  m eth o d s   ar e  av ailab le .   Oth er s   n ee d   to   b e  p r ep r o ce s s e d ,   i.e .   f o cu s ed   an d   wh iten ed   wh ile   o th er s   d o   n o t.  Ov e r all,   ex p er ien ce   s h o ws  th at  all  o f   th ese   alg o r ith m s   ca n   c o n v er g e  f aste r   with   o r ien ted   an d   w h itewash ed   d ata,   ev e n   th o s e  th at  d o n ' t r ea lly   n ee d   it   [ 2 0 ] .   L et's f ir s t in v esti g ate  h o w  th e  ce n ter in g   a n d   wh iten i n g   p r e - p r o ce s s in g   s tep s   ca n   b e  d o n e   in   th e  k er n el   f u n ctio n   s p ac e.   T o   th is   en d ,   allo w  th e  k er n el  f u n ctio n     in   ℱ   to   im p licitly   d ef in e  th e  in n er   p r o d u ct  with     th e  ass o ciate d   tr an s f o r m atio n   .   Step   o n e   C en ter in g   ℱ   -   Sh if tin g   th e  d ata  ( 1 ) , ( 2 ) , … . . , ( )   alo n g   with   its   m ea n   { ( ) }   to   g et  th e  d ata  as f o ll o ws:     {         ′ ( 1 ) = ( 1 ) − { ( ) } ′ ( 2 ) = ( 2 ) − { ( ) } . . ′ ( ) = ( ) − { ( ) }                 ( 1 6 )     Step   two   W h iten in g   i n   ℱ .   T r an s f o p r m i n g   th e   ce n ter e d   s am p le s   ′ ( 1 ) , ′ ( 2 ) , … . , ′ ( )   v ia  an   o r t h o g o n al  tr an s f o r m atio n     in to   its   v ec to r s   ̂ ( 1 ) = ′ ( 1 ) , ′ ( 2 ) , … , ′ ( ) = ( ′ )   .  ̂ =   is   th e  co v ar ian ce   m atr ix .   B ec au s e  s tan d ar d   PC A  co n v er ts   th e  co v ar ia n ce   m a tr ix   in to   a  d iag o n al  f o r m   ju s t  lik e  its   k er n el  b ased   eq u iv alen t,  wh er e  th e  d ia g o n a l  elem en ts   ar e  th e  u n iq u e  v alu es  o f   th e  d ata  co v ar ian ce   m atr ix   { ̂ ( ) ̂ ( ) } ,  all  th at  r em ain s   is   to   tr an s f o r m   th e  d iag o n al   elem en t  i n to   1 .   B ased   o n   th is   f in d in g ,   a  s lig h t  m o d if icatio n   o f     th e  f o r m u las  p r o v id e d   in   th e  KPC A  s ec tio n   will  o b tain   th e  n ec ess ar y   wh iten in g   tr an s f o r m atio n   [ 2 1 ] .   Her e   ( 1 1 ) , ( 2 2 ) , … . . , ( )   an d   1 ≥ 2 ≥   ar e  th e   eig h p air s   o f   { ̂ ( ) ̂ ( ) }   th en   th e   tr an s f o r m atio n   m atr ix     will  tak e  a  f o r m [ 1 − 1 2 1 , 2 − 1 2 2 , … . . − 1 2 ] .   Ker n el  I n d ep e n d en t  co m p o n en t  an aly s is   r esu lt s   f o r     th e  two - s p ea k er ’ s   au d io   d ata  i s   s h o wn   in   Fig u r e  2   ( a) .     3 . 3 .     Appl ica t io n o f   k er nel linea r  dis cr im ina nt  a na ly s is   ( K L DA)   L DA  is   a  co n v en tio n al,   s u p e r v is ed   m eth o d   o f   ex t r ac tin g   s p ea k er - s p ec if ic  c h ar ac ter is tics   [ 1 9 ]   th at  h as   p r o v e n   to   b e  o n e  o f   t h e  m o s t  ef f ec tiv e  p r e - p r o ce s s in g   class if icatio n   tech n iq u es.  I t  h as  a ls o   lo n g   b ee n   u s ed     in   s p ee ch   r e co g n itio n   [ 2 2 ] .   T h e  m ain   g o al  o f   L DA  is   to   f in d   a  n ew  o r th o g o n al  d ata  s et  to   p r o v id e  t h e  o p tim al  class   s ep ar atio n .     I n   KL DA  we  ar e  ess en tially   f o llo win g   th e  d is cu s s io n   o f   its   lin ea r   co u n ter p ar t,   ex ce p t i n   th i s   ca s e  th is   is   in ten d ed   t o   h a p p en   im p lici tly   in   th e   k er n el  f ea t u r e  s p ac e  F.  L et' s   s ay   ag ain   th at   a  k e r n el  f u n ctio n   with     a  f ea tu r e  m ap   an d   a  k er n el  f iel d   s p ac e  h as  b ee n   ch o s en .   I n   o r d er   to   d ef in e  th e  tr a n s f o r m atio n   m atr ix     o f   KL DA,   we  d ef in e  th e  o b jectiv e  f u n ctio n   f ir s t  as   Γ ∶ ℱ → ℛ ,   b ec au s e  o f   th e  s u p er v is ed   n atu r e  o f   th is   m eth o d ,   it  d ep en d s   n o t o n l y   o n   t h e  test   d ata     b u t a l s o   o n   th e  in d icato r   ℒ .   L et' s   d esc r ib e  u b iq u ito u s   Γ ( V ) .     Γ ( V ) = ℬ  ,             ∈ : ℱ \ { 0 }               ( 1 7 )     wh er e  ℬ   is   th e  s ca tter   m atr ix   o f   th e  in ter class ,   wh ile    is   th e  s ca tter   m atr ix   o f   th e  in ter class .   Her e,   th e  s ca tter   m atr ix   ℬ   b etwe en   class es sh o ws   th e  s ca tter   o f   th e  m e an   v ec t o r s     ar o u n d   th e   o v er all   m ea n   v ec to r   .     ℬ = ∑ ( − ) = 1 ( − )     ;   = 1 ∑ ( ) = ;       = 1 ∑ ( )   ℒ ( )     ( 1 8 )     with   th e  class   lab el  ,   th e  i n - cla s s   s ca tter   m atr ix     r ep r esen ts   th e  weig h ted   av er ag e   s ca tter   o f   t h e  s am p le  v ec to r   co v ar ian ce   m at r ices  .     = ∑   ;     = 1 = 1 ∑ ( ( ) − ) ( ( − ) ) ℒ ( ) =           ( 1 9 )     Ker n el  lin ea r   d is cr im in an t a n a ly s is   r esu lts   f o r   th e  two - s p ea k er ’ s   au d io   d ata  is   s h o wn   in   Fig u r e  2   ( b ) .   Evaluation Warning : The document was created with Spire.PDF for Python.
                    I SS N :   1 6 9 3 - 6 9 3 0   T E L KOM NI KA   T elec o m m u n   C o m p u t E l Co n tr o l ,  Vo l.  18 ,   No .   5 ,  Octo b e r   2 0 2 0 :    2 4 8 8   -   2497   2494     ( a)       ( b )     Fig u r e  2 .   Ker n el  in d e p en d e n t  co m p o n en t a n aly s is   an d   k er n e l lin ea r   d is cr im in an t    an aly s is   r esu lts   f o r   th e  two - s p ea k er ’ s   au d io   d ata ;  ( a)   k er n el  i n d ep en d en t c o m p o n en t a n aly s is     an d   ( b )   k er n el  ln ea r   d is cr im in an t a n aly s is       4.   E XP E R I M E N T A L   SE T UP     T o   ev alu ate  th e  e f f icien cy   o f   k er n el - b ased   s p ea k er - s p ec if ic  f ea tu r e  ex tr ac tio n   tech n iq u es,  an   is o lated   wo r d   r ec o g n itio n   e x p er im e n t  was  p er f o r m ed .   T h e  e x p er im en t  in clu d es  5 2 0   J ap an ese  w o r d s   f r o m   th e  AT R   J ap an ese  C   lan g u ag e  s et  Vo ic e  d atab ase,   8 0   s p ea k er s   ( 4 0   m en   an d   4 0   Fem ale) .   Au d io   s am p les  o f   1 0   iTa u k ei   s p ea k er s   wer e  c o llected   at   r a n d o m   an d   u n d er   u n f av o u r a b le  co n d itio n s .   T h e  a v er ag e   d u r a tio n   o f   th e   tr ain in g   s am p les  was  s ix   s ec o n d s   p er   s p ea k er   f o r   all  1 0   s p ea k e r s   an d   o u t  o f   twen ty   u tter an ce s   o f   ea ch   s p ea k er   j u s t  o n e   was  u s ed   f o r   tr ain in g   p u r p o s e   [ 2 3 - 2 7 ] .   Fo r   m atch in g   p u r p o s e s   th e  r em ain in g   1 9   v o ice  s am p les  wer e  u s ed   f r o m   th e  co r p u s .   W e  h av e  r ec o r d ed   u tter an ce s   f o r   t h is   in v esti g atio n   wer e  at  o n e   s itti n g   f o r   ea c h   s p ea k er .   T h e  tex t  f o r   th e  u tter an ce s   was  r an d o m ly   s elec ted   b y   s p ea k er .   T h e   m ain   v o ice  r ec o r d in g s   co n s is t  o f   b o th   m ale  a n d   f em ale  s p ea k er s   o f   twen ty   u tter an ce   o f   ea ch   u s in g   s am p lin g   r ate  o f   1 6   k Hz  with   1 6   b its /s am p le.     T h r o u g h o u t  th e  ex p er im e n t,  1 0 4 0 0   u tter a n ce s   wer e  u s ed   as  tr ain in g   d ata  an d   th e  r em ai n in g   3 1 , 2 0 0   u tter an ce s   wer e  u s ed   as  test   d a ta.   T h e  s am p lin g   r ate  o f   t h e  au d io   s ig n al  is   1 0   k Hz.   1 2   Me l - C ep s tr al  co ef f icien ts   ex tr ac ted   u s in g   2 5 . 6   m s   Ham m in g   win d o ws  with   1 0   m s   s h if ts   [ 2 8 - 3 2 ] .   T h e  f ea tu r es  o f   K PC A  wer e  ex tr ac ted   f r o m   1 3   Me l - ce p s tr al  c o ef f icie n ts   in clu d in g   ze r o   c o ef f icien ts   co r r esp o n d i n g   t o   3 9   v ec to r   co ef f icien ts   an d   th eir   in cr em en t  an d   ac ce ler atio n   co ef f icien ts .   Ar o u n d   1 , 0 0 0 , 0 0 0   f r am es   wer e   u s ed   as   tr ain in g   d ata   in   th is   ex p er im en t,   an d   it   is   co m p u tat io n ally   im p o s s ib le   to   ca lcu late   m at r ix   K   with   th is   am o u n t   of   d ata.   N  f r am es  ar e   r an d o m l y   p ick ed   f r o m   t h e  tr ain in g   d ata  to   r e d u ce   th e  n u m b e r   o f   f r am es.  T h e  n u m b er   N=   1 0 2 4   was  ch o s en   t o   m ak e  th e  s y s tem   co m p u tatio n ally   f ea s ib le.   T ab le  1   r ep r esen ts   ef f icien c y   a n d   E E R   o f   th e   ASR   s y s tem   f o r   KL DA,   KI C A  an d   KL DA  r e s p ec tiv ely   f o r   AT R   J ap an ese  C   lan g u ag e .  T ab le  2   r ep r esen ts   ef f icien c y   an d   E E R   o f   th e  ASR   s y s te m   f o r   KL DA,   KI C A  an d   KL DA  r esp ec tiv ely   f o r 1 0   iTa u k ei   s p ea k er s   c r o s s   lan g u ag e .  Fig u r e  3   s h o w   th e   eq u al   er r o r   r ate  ( E E R )   o f   Evaluation Warning : The document was created with Spire.PDF for Python.
T E L KOM NI KA   T elec o m m u n   C o m p u t E l Co n tr o l         K ern a l b a s ed   s p ea ke r   s p ec ific fe a tu r e  ex tr a ctio n   a n d   its   a p p l ica tio n s   i n …    ( S a tya n a n d   S in g h )   2495   KL DA  KI C A,   an d   KPC A  b as ed   m o d elin g   tech n iq u e.   T h e   ASR   ef f icien cy   o f   o f   KL DA  KI C A,   an d   KPC A  b ased   m o d elin g   tec h n iq u e  ar e  9 9 . 9 %,  9 9 . 6 %,  an d   9 8 . 1 %  an d   E E R   ar e  4 . 7 %,   4 . 9 %  an d   5 . 1 %  r esp ec tiv ely   f o r   6   s ec   o f   au d io   s ig n al.   T h e   E E R   im p r o v em en t  o f   KL DA  tech n iq u e  b as ed   ASR   s y s tem   co m p ar ed   with   KI C A  an d   KPC A  is   4 . 2 5 % a n d   8 . 5 1 % r esp ec tiv ely .           ( a)       ( b )     Fig u r e  3 .   E E R   o f   KL DA,   KI C A  an d   KL DA  tech n iq u e  f o r   6   s ec   o f   v o ice  d ata ;    ( a)   AT R   J ap an ese  C   lan g u ag e   an d   ( b )   iTa u k ei  s p ea k er ’ s   cr o s s   lan g u ag e   Evaluation Warning : The document was created with Spire.PDF for Python.
                    I SS N :   1 6 9 3 - 6 9 3 0   T E L KOM NI KA   T elec o m m u n   C o m p u t E l Co n tr o l ,  Vo l.  18 ,   No .   5 ,  Octo b e r   2 0 2 0 :    2 4 8 8   -   2497   2496   T ab le  1 .   E f f icien cy   a n d   E E R   o f   th e  ASR   s y s tem   f o r   KL DA,   KI C A  an d   KL DA  r esp ec tiv ely     f o r   AT R   J ap an ese  C   lan g u ag e     K LD A   K I C A   K P C A     Ef f i c i e n c y   i n   %   EER   i n   %   Ef f i c i e n c y   i n   %   EER   i n   %   Ef f i c i e n c y   i n   %   EER   i n   %   6   se c   9 9 . 7   1 . 9 5   9 9 . 6   2 . 3 1   9 9 . 1   3 . 4 1   4   se c   9 9 . 5   2 . 2 9   9 9 . 1   3 . 2 0   9 8 . 2   4 . 1 1   2  se c   9 8 . 8   3 . 2 3   9 8 . 3   4 . 3 2   9 7 . 6   5 . 3       T ab le  2 .   E f f icien cy   a n d   E E R   o f   th e  ASR   s y s tem   f o r   KL DA,   KI C A  an d   KL DA  r esp ec tiv ely     f o r 1 0   iTa u k ei  s p ea k er s   cr o s s   lan g u ag e     K LD A   K I C A   K P C A     Ef f i c i e n c y   i n   %   EER   i n   %   Ef f i c i e n c y   i n   %   EER   i n   %   Ef f i c i e n c y   i n   %   EER   i n   %   6  se c   9 4 . 9   2 . 0 4   9 4 . 6   3 . 4   9 4 . 1   4 . 1   4   se c   9 4 . 3   2 . 3 4   9 4 . 1   3 . 7   9 3 . 5   4 . 8   2   se c   9 3 . 5   3 . 2 . 0   9 3 . 1   4 . 1   9 2 . 6   5 . 3       5.   CO NCLU SI O N     An   ex p er im en tal  ev al u atio n   o f   th e  p er f o r m an ce   o f   th e  ASR   s y s tem   h as  b ee n   d o n e  o n   6   s ec   o f   v o ice   d ata  o f   AT R   J ap an ese  C   lan g u ag e.   Fo r   t h e  1 0 4 0 0 ,   v o ice  s a m p les  o f   th e  AT R   J ap an ese  C   lan g u ag e  s p ea k er   r ec o g n itio n   ac c u r ac y   9 9 . 7 %,  9 9 . 6 %,  an d   9 9 . 1 %  an d   eq u al  er r o r   r ate  ( E E R )   is   1 . 9 5 %,  2 . 3 1 %,  an d   3 . 4 1 %   r esp ec tiv ely   f o r   KL DA,   KI C A,   an d   KPC A.   T h e  E E R   im p r o v em en t  o f   th e   KL DA  tech n iq u e - b ased   ASR   s y s tem   co m p ar ed   with   KI C A  an d   KP C A  i s   4 . 2 5 %  an d   8 . 5 1 %  r esp ec tiv ely .   W e  f in d   th at  n o n - lin ea r   tr an s f o r m atio n s   u s u ally   lead   to   b etter   class if icatio n   th an   n o n - lin ea r   tr a n s f o r m atio n s ,   an d   ar e   th er ef o r e   a  p r o m is in g   n ew  r esear ch   d ir ec tio n .   W e  also   f o u n d   t h at  th e  s u p er v is ed   tr a n s f o r m atio n s   ar e  u s u ally   s tr o n g e r   th an   t h o s e  n o t  s u p er v is ed .   W e  th in k   it  wo u ld   b e  wo r th   s ea r ch in g   f o r   o t h er   s u p er v is ed   ap p r o ac h es  wh ich   co u ld   b e   b u ilt  s im ilar ly   to     th e  KL DA  o r   KI C A - b ased   ASR   ap p licatio n   m eth o d o lo g y .   Su ch   tr an s f o r m atio n s   s ig n if ican tly   im p r o v ed     th e  p h o n o lo g ical  k n o wled g e   ASR   tr ain in g   f r am ewo r k   b y   p r o v id in g   a  co m p r eh e n s iv e  an d   ac cu r ate  class if icatio n   o f   s p ea k in g   co n t ex tu al  f ea tu r es u n iq u e  to   r ea l - t im e  s p ea k er s .       RE F E R E NC E S   [ 1 ]     S.   S in g h ,   “ S u p p o rt   Ve c to r  M a c h in e   Ba se d   Ap p ro a c h e s  F o r  Re a l  Ti m e   Au to m a ti c   S p e a k e r  Re c o g n it io n   S y ste m ,”   In ter n a t io n a l  J o u rn a l  o f  A p p li e d   En g i n e e rin g   Res e a rc h ,  p p .   8 5 6 1 - 8 5 6 7 ,   2 0 1 8 .   [ 2 ]     B.   S c h ö lk o p f ,   A.  J .   S m o la,  a n d   K.   R.   M u ll e r  e t   a l. ,   “ Ke rn e l  P ri n c ip a l  Co m p o n e n t  An a l y sis ,”   A d v a n c e s  in   Ke rn e l   M e th o d s :  S u p p o rt   Vec to r L e a r n in g ,   p p .   3 2 7 – 3 5 2 ,   1 9 9 9 .   [ 3 ]     F .   R.   Ba c h   a n d   M .   I.   J o rd a n ,   “ Ke rn e l  in d e p e n d e n t  c o m p o n e n t  a n a ly sis,”   J o u rn a l  o f  M a c h i n e   L e a r n in g   Res e a rc h ,     v o l.   3 ,   n o .   2 0 0 2 ,   p p .   1 - 4 8 ,   2 0 0 2 .   [ 4 ]     G .   Ba u d a t  a n d   F .   An o u a r,   “ G e n e ra li z e d   d isc rimin a n t  a n a ly sis  u si n g   a   k e rn e l  a p p r o a c h , ”   Ne u ra l  C o mp u t . ,   v o l.   1 2 ,     n o .   1 0 ,   p p .   2 3 8 5 – 2 4 0 4 ,   2 0 0 0 .   [ 5 ]     A.  Ko c so r   a n d   K.   K o v á c s  e t   a l. ,   “ Ke rn e l  sp ri n g y   d isc rimin a n t   a n ly s is  a n d   it s   a p p li c a ti o n   to   a   p h o n o l o g ica l  a wa re n e ss   tea c h in g   sy ste m , ”   I n ter n a t io n a l  C o n fer e n c e   o n   T e x t,   S p e e c h   a n d   Di a lo g u e ,   v o l.   2 4 4 8 ,   p p .   3 2 5 - 3 2 8 ,   2 0 0 2 .   [ 6 ]     F .   R.   Ba c h   a n d   M .   I.   J o rd a n ,   “ Ke rn e l  in d e p e n d e n t  c o m p o n e n t   a n a ly sis , ”   J .   M a c h in e   L e a rn in g   Res . ,   v o l.   3 ,     p p .   1 – 4 8 ,   2 0 0 2 .   [ 7 ]     A.  Ko c so r   a n d   J.   Csiri k ,   “ F a st  i n d e p e n d e n t  c o m p o n e n t   a n a l y sis  i n   k e rn e l   fe a tu re   sp a c e s,”   S OF S E M   2 0 0 1 :   T h e o ry   a n d   Pra c ti c e   o f  In fo rm a ti c s,  2 8 t h   Co n fer e n c e   o n   Cu rr e n t  T re n d s  i n   T h e o ry   a n d   Pr a c ti c e   o f  In f o rm a ti c s  Pi e sta n y ,    v o l.   2 2 3 4 ,   p p .   2 7 1 – 2 8 1 ,   2 0 0 1 .   [ 8 ]     A.  Ko c so r   a n d   K.   K o v á c s  e t   a l. ,   “ Ke rn e l  sp ri n g y   d isc rimin a n t   a n ly s is  a n d   it s   a p p li c a ti o n   to   a   p h o n o l o g ica l  a wa re n e ss   tea c h in g   sy ste m , ”   I n ter n a t io n a l  C o n fer e n c e   o n   T e x t,   S p e e c h   a n d   Di a lo g u e ,   v o l.   2 4 4 8 ,   p p .   3 2 5 – 3 2 8 ,   2 0 0 2 .   [ 9 ]     D.  Lay ,   “ Li n e a r  Alg e b ra   a n d   it s  a p p li c a ti o n s, ”   4 th   e d . ,   P e a rso n ,   2 0 1 2   [ 1 0 ]     B.   S c h o lk o p f ,   A.   J.   S m o la ,   K . R.   M u ll e r,   “ No n li n e a r  Co m p o n e n t  A n a ly sis  a s  a   Ke rn e l  Ei g e n v a lu e   P r o b lem , ”  Ne u ra l   Co mp u t a ti o n ,  v o l.   1 0 ,   p p .   1 2 9 9 - 1 3 1 9 ,   1 9 9 8 .   [ 1 1 ]     Wein b e rg e r,   Kili a n   Q.,   P a c k e r,   Be n jam in   D.,   a n d   S a u l,   Law re n c e   K.  “ No n l in e a r  d ime n sio n a li t y   re d u c ti o n   b y   se m id e fin it e   p ro g ra m m in g   a n d   k e rn e l  m a tri x   fa c to riza ti o n , ”   Pro c e e d in g s  o f  th e   T e n th   I n ter n a t io n a l  W o rk sh o p   o n   Arti fi c ia l  I n telli g e n c e   a n d   S t a ti sti c s ,   p p .   3 8 1 - 3 8 8 ,   2 0 0 5 .   [ 1 2 ]     G e r a z o v ,   B. ;   Iv a n o v sk i,   Z.   “ Ke rn e l  P o we r  F l o w  Orie n tatio n   C o e fficie n ts  fo r   No ise - Ro b u st  S p e e c h   Re c o g n it io n , ”  IEE E/ ACM   T ra n s.  A u d i o   S p e e c h   L a n g .   Pr o c e ss ,   v o l .   2 3 ,   p p . 4 0 7 - 4 1 9 ,   2 0 1 5 .   [ 1 3 ]     J.   G e ig e r ,   B.   S c h u l ler ,   G.   Ri g o ll ,   “ Larg e - sc a le  a u d io   fe a tu re   e x trac ti o n   a n d   S VM  f o r  a c o u stic  sc e n e   c las sifica ti o n ,”   Pro c e e d in g s  o f  th e   2 0 1 3   IEE E  W o rk sh o p   o n   A p p li c a ti o n s  o f  S i g n a l  Pro c e ss in g   to   A u d io   a n d   Aco u st ics   (W AS PA A),   Ne w P a lt z ,   NY ,   USA,   2 0 – 2 3   Oc t o b e r,   p p .   1 - 4 ,   2 0 1 3 .   Evaluation Warning : The document was created with Spire.PDF for Python.
T E L KOM NI KA   T elec o m m u n   C o m p u t E l Co n tr o l         K ern a l b a s ed   s p ea ke r   s p ec ific fe a tu r e  ex tr a ctio n   a n d   its   a p p l ica tio n s   i n …    ( S a tya n a n d   S in g h )   2497   [ 1 4 ]     A.   Ra b a o u i ,   M.   Da v y ,   S.   Ro ss i g n a o l,   N.   El l o u z e ,   “ Us i n g   On e - Clas s  S VMs  a n d   Wav e let s  fo r   Au d io   S u rv e il la n c e ,”   IEE E  T ra n s.  I n f.   Fo re n sic s S e c u r ,   v o l .  3 ,   7 6 3 - 7 7 5 ,   2 0 1 8 .   [ 1 5 ]     H.   Jia n g ,   J.   Ba i ,   S.   Z h a n g ,   B.   Xu ,   “ S VM - b a se d   a u d io   sc e n e   c las sifica ti o n , ”   Pro c e e d i n g s  o f   th e   2 0 0 5   IE EE   In ter n a t io n a l  C o n fer e n c e   o n   Na tu ra l  L a n g u a g e   Pro c e ss in g   a n d   Kn o wled g e   En g in e e rin g ,   Wu h a n ,   Ch in a ,     p p .   1 3 1 - 1 3 6 ,   2 0 0 5 .   [ 1 6 ]     S.  M i k a ,   B.   S c h o lk o p f,   A.   J.  S m o l a ,   K.   R.   M u ll e r,   M .   S c h o lz,  a n d   G .   Ra tsc h ,   “ Ke rn e l  P CA  a n d   d e – n o isin g   in   fe a tu re   sp a c e s ,”   i n   M .   S .   Ke a rn s,  S .   A.  S o ll a ,   a n d   D.   A.  C o h n ,   e d it o rs ,   A d v a n c e s in   Ne u ra l   In f o rm a ti o n   Pro c e ss in g   S y ste ms ,  v o l u m e   1 1 ,   p a g e s  5 3 6 – 5 4 2 .   M IT  P re ss ,   1 9 9 9 .   [ 1 7 ]     K.   I.   Kim ,   K.   Ju n g ,   H.   J.   Kim ,   “ F a c e   Re c o g n it io n   Us in g   Ke r n e l  P rin c ip a l  C o m p o n e n t  A n a ly sis ,”   IEE E  S i g n a l   Pro c e ss in g   L e tt e rs ,   v o l.   9 ,   n o .   2 ,   p p .   4 0 - 4 2 ,   F e b ru a ry   2 0 0 2 ) .   [ 1 8 ]     L.   B.   Alm e id a ,   “ M IS EP   -   li n e a r  a n d   n o n l in e a r  ICA  b a se d   o n   m u t u a l  in f o rm a ti o n ,”   J o u rn a l  o f  M a c h in e   L e a rn in g   Res e a rc h ,   v o l.   4 ,   n o .   2 0 0 2 ,   p p . 1 2 9 7 - 1 3 1 8 ,   2 0 0 3 .   [ 1 9 ]     K.   Zh a n g ,   L.   Ch a n ,   “ No n li n e a r  in d e p e n d e n t  c o m p o n e n t  a n a ly sis  with   m in imu m   n o n li n e a r  d isto rti o n ,”   ICM L   2 0 0 7 ,   Co rv a ll is ,   OR,   US,   p p .   1 1 2 7 - 1 1 3 4 ,   2 0 0 7 .   [ 2 0 ]     M.   S.   Ba rtl e tt ,   J.   R.   M o v e ll a n ,   T.   J.   S e jn o ws k i ,   “ F a c e   Re c o g n it i o n   b y   In d e p e n d e n t   Co m p o n e n t   An a ly sis ,”   IEE E   T ra n sa c ti o n s  o n   Ne u ra l   Ne two rk s ,   v o l.   1 3 ,  no .   6 ,   p p .   1 4 5 0 - 1 4 6 4 ,  2 0 0 2 .   [ 2 1 ]     F.   R.   Ba c h ,   M.   I.   Jo r d a n ,   “ Ke rn e l  In d e p e n d e n t  C o m p o n e n t   An a ly sis ,”   J .   M a c h in e   L e a rn in g   Res ,   v o l.   3,   n o .   2 0 0 2 ,   pp. 1 - 4 8 ,   2 0 0 2 .   [ 2 2 ]     O.  S io h a n ,   “ On   t h e   ro b u stn e ss   o f  li n e a r  d isc rimin a n t  a n a l y sis  a s  a   p re p ro c e ss in g   ste p   f o r  n o isy   sp e e c h   re c o g n it io n , ”   Pro c .   ICAS S P ,   De tro it ,   M I,   p p .   1 2 5 - 1 2 8 ,   1 9 9 5 .   [ 2 3 ]     S .   S in g h ,   EG   Ra jan , ”   Ap p li c a ti o n   o f  d iffere n t  fil ters   i n   M e l  fre q u e n c y   c e p stra l  c o e fficie n ts  fe a tu re   e x trac ti o n   a n d   fu z z y   v e c to r  q u a n t iza ti o n   a p p ro a c h   in   sp e a k e r  re c o g n it io n , ”  In t e rn a ti o n a l  J o u rn a l  o f  En g i n e e rin g   Res e a rc h   &   T e c h n o l o g y ,   v o l.   2 ,   n o .   6 ,   p p .   4 1 9 - 4 2 5 ,   2 0 1 3 .   [ 2 4 ]     G .   S .   M o rriso n ,   a n d   F .   Ke ll y ,   “ A  sta ti stica l  p ro c e d u re   to   a d ju st  fo r  ti m e - in terv a l  m ism a tch   in   fo re n sic   v o ice   c o m p a riso n ”   S p e e c h   Co mm u n ica t io n ,   v o l.   1 1 2 ,   p p .   1 5 -   2 1 ,   2 0 1 9 .   [ 2 5 ]     S.   S i n g h   a n d   Aje e t  S in g h   “ Ac c u ra c y   Co m p a riso n   u si n g   Diffe re n t  M o d e li n g   Tec h n i q u e s u n d e r  Li m i ted   S p e e c h   Da ta   o f  S p e a k e r  Re c o g n it io n   S y ste m s ,”   Glo b a l  J o u rn a l  o f  S c ien c e   Fro n ti e r  Res e a rc h :  F  M a t h e ma ti c s  a n d   De c isio n   S c ien c e s ,   v o l .   16 ,   n o .   2 ,   p p .   1 - 17 ,   2 0 1 6 .   [ 2 6 ]     P .   Bo e rsm a   a n d   D.  Wee n i n k ,   “ P ra a t:   d o in g   p h o n e ti c s  b y   c o m p u ter” ,   v e rsio n   6 . 0 . 3 7 ,   2 0 2 0 .   A v a il a b le:   h tt p : // ww w.p ra a t. o r g /,   2 0 2 0   [ 2 7 ]     S.   S in g h .   “ Th e   Ro le  o f  S p e e c h   Tec h n o l o g y   in   Bi o m e tri c s,  F o re n sic s  a n d   M a n - M a c h i n e   In terfa c e ”   In ter n a ti o n a l   J o u rn a l  o f  El e c trica l  a n d   C o mp u t e r E n g i n e e rin g ,   v o l.   9 ,   n o .   1 ,   p p .   281 - 2 8 8 ,   2 0 1 9 .   [ 2 8 ]     Ch e n - Ch o u   L o ,   S z u - Wei  F u ,   W e n - Ch in   H u a n g ,   Xin   Wan g ,   J u n i c h i  Ya m a g ish i,   Yu   Tsa o ,   a n d   H sin - M in   Wan g ,   “ M OSNe t:   De e p   Lea rn in g   b a se d   Ob jec ti v e   As se ss m e n t  fo r  V o ice   Co n v e rsi o n , ”   In ter sp e e c h   IS CA ,    p p .   1 5 4 2 – 1 5 4 5 ,   2 0 1 9 .   [ 2 9 ]     D.  S n y d e r,   D.  G a rc ia - Ro m e ro ,   G .   S e ll ,   D.  P o v e y ,   a n d   S .   Kh u d a n p u r,   “ X - v e c to rs:  Ro b u st  DN N   e m b e d d in g s  fo r   sp e a k e r  re c o g n it io n , ”   ICAS S P  2 0 1 8 ,   2 0 1 8 .   [ 3 0 ]     G a li n a   Lav re n ty e v a ,   S e rg e y   N o v o se lo v ,   An d z h u k a e v   Tse re n ,   M a rin a   Vo lk o v a ,   Arte m   G o rlan o v ,   a n d   Ale x a n d r  Ko z lo v ,   “ S TC   An t isp o o fi n g   S y ste m s  f o r   th e   ASVsp o o f2 0 1 9   Ch a ll e n g e , ”   Pr o c .   I n t e rs p e e c h   2 0 1 9 ,    p p .   1 0 3 3 - 1 0 3 7 ,   2 0 1 9 .   [ 3 1 ]     S.   S i n g h   a n d   M a n s o u r  H .   As sa f ,  “ A  P e rfe c t  Ba lan c e   o f  S p a rsit y   a n d   Ac o u stic  h o le  in   S p e e c h   S ig n a l   a n d   Its   Ap p li c a ti o n   in   S p e a k e r  Re c o g n it io n   S y ste m , ”  M id d le - Ea st   J o u rn a l   o f   S c ien ti fi c   Res e a rc h ,  v o l.   2 4 ,   n o . 1 1 ,     p p .   3 5 2 7 - 3 5 4 1 ,   2 0 1 6 .   [ 3 2 ]     A.  Ale x a n d e r,   O.  F o rt h ,   A.  A.   At re y a ,   F.  Ke ll y ,   “ VO CALIS E:   A  F o re n sic   Au t o m a ti c   S p e a k e r  Re c o g n it io n   S y ste m   S u p p o rt in g   S p e c tral,   P h o n e ti c ,   a n d   Us e r - P ro v id e d   F e a tu re s ,”   Re se a rc h   a n d   De v e l o p m e n t   Ox fo r d   Wa v e   Re se a rc h   Lt d ,   Un it e d   Ki n g d o m ,   2 0 1 6 .     Evaluation Warning : The document was created with Spire.PDF for Python.