I AE S In t er na t io na l J o urna l o f   Art if icia l In t ellig ence   ( I J - AI )   Vo l .  1 4 ,   No .  1 ,  Feb r u ar y   2 0 2 5 ,   p p .  1 30 ~ 1 4 1   I SS N:  2252 - 8 9 3 8 ,   DOI : 1 0 . 1 1 5 9 1 /ijai . v 1 4 . i 1 . pp 1 30 - 1 4 1           130     J o ur na l ho m ep a g e :  h ttp : //ij a i . ia esco r e . co m   Discrimi na tive d e ep learning  bas ed  hybrid sp ec tro - te mpo ra l  features  for sy nth etic  v o ice spo o fin g  det ec tion       P ra nita   Nira j   P a ls a pu re ,   Ra j eswa ri,   Sa nd ee p K um a r  K em peg o wda ,   K um bh a r  T rupti  Ra v ik um a r   D e p a r t me n t   o f   El e c t r o n i c s  a n d   C o mm u n i c a t i o n   En g i n e e r i n g ,   A c h a r y a   I n st i t u t e   o f   Te c h n o l o g y ,   V i s v e s v a r a y a   T e c h n o l o g i c a l   U n i v e r si t y ,   B e l a g a v i ,   I n d i a       Art icle  I nfo     AB S T RAC T   A r ticle  his to r y:   R ec eiv ed   Oct   16 ,  2 0 2 3   R ev is ed   J an   11 ,  2 0 2 4   Acc ep ted   Feb   21 ,  2 0 2 4       Vo ice - b a se d   sy ste m s  li k e   sp e a k e r   id e n ti fica ti o n   s y ste m s  (S IS )   a n d   a u to m a ti c   sp e a k e r  v e rifi c a ti o n   sy ste m s  (AS V)  a re   p ro li fe ra ti n g   a c ro ss   i n d u str ies   su c h   a s  fin a n c e   a n d   h e a lt h c a re   d u e   to   t h e ir  u ti l it y   i n   i d e n ti t y   v e rifi c a ti o n   th r o u g h   u n i q u e   sp e e c h   p a tt e rn   a n a ly sis .  De sp it e   th e ir  a d v a n c e m e n ts,  ASVs  a re   su sc e p ti b le  t o   v a ri o u s  s p o o fin g   a t tac k s,  in c lu d i n g   l o g ica l  a n d   re p lay   a tt a c k s,   p o sin g   c h a ll e n g e s  d u e   t o   th e   s o p h isti c a ted   a c o u st ic  d isti n c ti o n s  b e twe e n   a u th e n ti c   a n d   sp o o fe d   v o ice s .  To   c o u n tera c t,   th is  stu d y   p r o p o se s  a   ro b u st  y e t   c o m p u t a ti o n a ll y   e fficie n t  c o u n ter m e a su re   sy ste m ,   u ti li z in g   a   sy ste m a ti c   d a ta  p ro c e ss in g   p i p e li n e   c o u p led   with   a   h y b ri d   sp e c tral - tem p o ra l   lea rn in g   a p p ro a c h .  T h e   a im  is  t o   id e n ti fy   e ffe c ti v e   fe a tu re s  th a t   o p ti m ize   t h e   m o d e l' s  d e tec ti o n   a c c u ra c y   a n d   c o m p u tatio n a l  e fficie n c y .  Th e   m o d e l   a c h iev e d   su p e rio r  p e rfo rm a n c e   with   a n   a c c u ra c y   o f  9 9 . 4 4 %   a n d   a n   e q u a l  e rro r  ra te  (EE R)  o f  0 . 0 1 4   i n   th e   lo g ica l  a c c e ss   sc e n a rio   o f  th e   A S Vs p o o f  2 0 1 9   c h a ll e n g e ,   d e m o n stra ti n g   it s  e n h a n c e d   a c c u ra c y   a n d   re li a b il i ty   i n   d e tec ti n g   sp o o f in g   at tac k s with   m in imiz e d   e rr o r  m a rg in .    K ey w o r d s :   Au to m atic  s p ea k er   v e r if icatio n   Hy b r id   f ea t u r e  lear n i n g   L STM - C NN   Sp ec tr al - tem p o r al  f ea t u r e   Sp o o f in g   attac k   d etec tio n   T h is i s  a n   o p e n   a c c e ss   a rticle   u n d e r th e   CC B Y - SA   li c e n se .      C o r r e s p o nd ing   A uth o r :   Pra n ita  Nir aj  Pals ap u r e   Dep ar tm en t o f   E lectr o n ics  an d   C o m m u n icatio n   E n g in ee r i n g ,   Ach ar y a  I n s titu te  o f   T ec h n o lo g y   Vis v esv ar ay a  T ec h n o l o g ical  Un iv er s ity   B elag av i   5 9 0 0 1 8 ,   Kar n atak a,   I n d ia   E m ail: p r an itan ir ajp alsap u r e@ g m ail . co m       1.   I NT RO D UCT I O N   I n   to d ay ' s   d ig ital  wo r ld ,   wh e r e  p er s o n al   d ata   an d   s ec u r ity   ar e  p ar a m o u n t,  b io m etr ic   au t h en ticatio n   d eliv er s   a  u n iq u e  a n d   co n v en ien t  way   to   id en tify   in d i v id u a ls   b ased   o n   th eir   p h y s io lo g ical  tr aits   r ath er   th an   tr ad itio n al  p ass wo r d s   an d   PI Ns  [ 1 ] ,   [ 2 ] .   Am o n g   v a r io u s   b io m etr ic  m o d alities ,   v o ice - b ased   s y s tem s   ar e  a  p r o m is in g   tech n o lo g y   with   s e v er al  ad v a n tag es c o m p ar ed   to   o th er   b i o m etr ic  m o d alities   s u ch   as f in g e r p r in t a n d   f ac ial  r ec o g n itio n   [ 3 ] .   V o ice - b ased   au th en ticatio n - b ased   a p p r o ac h es  ar e   m o r e   u s e r - f r ien d ly   b ec au s e  th e y   d o   n o t  r eq u ir e  p h y s ical  co n tact   f r o m   th e  u s er ,   th u s   p r eser v in g   p r iv ac y   an d   allo win g   f o r   f r ictio n less   u s er   au th en ticatio n   in   r e m o te  en v ir o n m en ts   [ 4 ] .   B asically ,   v o ic e - b ased   b io m etr ic  a p p licatio n s   em p lo y   a  s p ea k er   r ec o g n itio n   s y s tem   ( SIS)   an d   au to m atic  s p ea k er   v er if icatio n   s y s tem   ( A VS) .   SIS  ar e  d esig n ed   to   d eter m in e   a   s p ea k er ' s   id en tity ,   wh ile  A SV   is   u s ed   to   co n f ir m   th at  th e  p r esen ted   s p ea k er ' s   id en tity   i s   w h o   h e  claim s   to   b e  [ 5 ] .   ASV  s y s tem s   ar e   wid ely   u s ed   in   s ec u r ity - s en s itiv e  in d u s tr ies,  s u ch   as  ac ce s s   co n tr o l,   u s er   au th en ticatio n ,   f in an cial  s er v ices,  v ir t u al  ass is tan ts ,   telec o m m u n icatio n s ,   an d   h ea lth ca r e   [ 6 ] .   B y   a n aly zin g   s p ee ch   p atter n s   a n d   ch ar ac ter is tics ,   ASVs   ca n   p r ev en t  u n a u th o r ize d   ac ce s s ,   r ed u c e  id en tity   f r au d ,   an d   im p r o v e   u s er   ex p er ien ce   [ 7 ] .   Alth o u g h   ASV  s y s tem s   h av e  p r o m is in g   b en ef its ,   t h ey   ar e  n o t  im m u n e  to   v o ice  s p o o f in g   attac k s ,   in   wh ich   an   attac k er   attem p ts   to   tr ick   th e  s y s tem   b y   im itatin g   a  leg itima te  u s er ' s   v o ice  [ 8 ] .   R ep lay   attac k s   in v o lv e  r ec o r d in g   a  g en u in e  u s er ' s   v o ice  an d   p lay in g   it  b ac k   to   tr ick   th e  ASV  s y s tem   in to   th in k in g   th at  th e  at tack er   is   th e  g en u in e   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J Ar tif   I n tell     I SS N:   2252 - 8 9 3 8         Dis crim in a tive  d ee p   lea r n in g   b a s ed   h yb r id   s p ec tr o - temp o r a l fe a tu r es fo r   …  ( P r a n ita   N ir a j P a ls a p u r e )   131   s p ea k er   [ 9 ] .   Ad d itio n ally ,   s p ee ch   s y n th esis   u s es  tex t - to - s p ee c h   ( T T S)   tech n o lo g ies  to   cr ea te   s p ee ch   th at  m im ics   th e  g en u in e  s p ea k e r ' s   v o ice  f e atu r es  to   cr ea te   r ea lis tic - s o u n d in g   s p ee c h   to   s p o o f   th e  ASV   s y s tem   [ 1 0 ] .   Vo ice  tr an s f o r m atio n   attac k s   in v o lv e   m o d i f y i n g   an   attac k er ' s   v o ice  to   r esem b le  a  r ea l  s p ea k e r ' s ,   b y p ass in g   th e  ASV   s y s tem   [ 1 1 ] .   As tec h n o lo g y   co n tin u es to   ev o lv e,   attac k e r s   will in cr ea s in g ly   ad o p t m o r e  s o p h is ticated   m eth o d s   to   d ec eiv e  ASV  s y s tem s ,   m ak in g   it  ch allen g in g   f o r   an ti - s p o o f in g   s y s tem s   t o   r em ain   ef f ec tiv e  [ 1 2 ] .   An o th er   ch allen g e  is   h an d lin g   th e  q u alit y   o f   tr ain in g   d ata  s ets,  wh ich   ar e  o f ten   af f ec ted   b y   h i g h   d im en s io n s   an d   tem p o r al   d y n am ics.  Fu r th e r m o r e,   au th e n tic,   an d   s p o o f ed   s p ee c h   ac o u s tic  f ea tu r es  m ay   b e  v e r y   s im ilar ,   r ep r esen tin g   a n   i n ter - class   s im ilar ity   p r o b lem .   W ith   th ese  co m p lex ities   an d   ad v an ce s   in   ar tific ial  in tellig en c e  tech n o lo g y ,   v o ice   s p o o f in g   attac k s   s er io u s ly   th r e aten   th e  r eliab ilit y   o f   ASV  s y s tem s   [ 1 3 ] .   Hen ce ,   r o b u s t  an ti - s p o o f in g   m ea s u r es  ar e  ess en tial  to   co u n ter   v ar io u s   f o r m s   o f   th is   th r ea t.  T h is   p a p er   in tr o d u ce s   a  co m p u tatio n a lly   ef f icien t  d esig n   o f   an   in tellig en t  v o ice  s p o o f in g   co u n ter m ea s u r e   s y s tem   f o r   ASV  th at  lev er ag es  a   s y s tem atic  d ata  p r o ce s s in g   p ip elin e,   m u lti - lev el   au d io   f ea t u r es  m o d ellin g   an d   th e  s tr en g t h s   o f   a  h y b r i d   s p ec tr al - tem p o r allea r n in g   m o d el  to   class if y   th e  g en u in e  a n d   s p o o f ed   v o ice  ef f ec tiv ely .   I n   a   r ec en t   s tate  o f   t h e  ar t,   s ig n if ican t  r esear ch   h as  b ee n   d o n e   to   ad d r ess   th e  ch allen g es  p o s e d   b y   v o ice  s p o o f in g   attac k s .   R esear ch er s   h av e  ex p lo r ed   m a n y   an ti - s p o o f in g   tech n iq u es,  in clu d i n g   f e atu r e - b ased ,   d ee p - lear n in g   ap p r o ac h es  a n d   s o p h is ticated   m o d els.  Ma g az i n e   et  a l.   [ 1 4 ]   h ig h lig h ted   th e  p o ten tial  th r ea t   o f   d ee p f ak es  t o   ASV  tech n o lo g i es.  T h ey   in tr o d u ce d   a  d etec tio n   a p p r o ac h   o n   m o d u latio n - s p ec tr o g r a m   f ea tu r es  th at  ch ar ac ter izes  s ess io n   id e n tity ,   g en d er ,   an d   th e   s o u r ce   o f   g en er atio n   v ar iatio n   to   d if f e r en t iate  b etwe en   th e m .   Z h an g   et  a l.   [ 1 5 ]   in tr o d u ce d   a  o n e - class   lear n in g   m eth o d   to   d etec t  T T S - g e n er ated   s p o o f ed   v o ices.  T h eir   ap p r o ac h   r e v o lv es  ar o u n d   c o m p ac tin g   g en u i n e  s p ee ch   r ep r esen tatio n s   an d   in tr o d u cin g   an   an g u lar   m ar g in ,   with o u t  d ata  au g m en tatio n ,   to   d is tin g u is h   b etwe en   g en u in e  a n d   s p o o f e d   v o ices  in   th e  em b e d d in g   s p ac e.   W h en   test ed   o n   th e  ASVs p o o f   2 0 1 9   d ataset,   th eir   m o d el  ac h iev e d   a n   eq u al  e r r o r   r ate  ( E E R )   o f   2 . 1 9 %.  An   ap p licatio n   o f   en s em b le  lear n in g   f o r   v o ic e  an ti - s p o o f in g   s y s tem   is   p r esen ted   b y   Du a  et  a l. ,   [ 1 6 ]   wh er e  r ec u r r en t  n e u r al   n etwo r k   ( R NN)   an d   co n v o lu ti o n al  n eu r al  n etwo r k   ( C NN)   wer e  tr ain ed   o n   Mel - f r eq u e n cy - ce p s tr al - co ef f icien ts   ( MFC C )   ex tr ac ted   f r o m   th e   A SVs p o o f   d ataset.   Z h an g   et  a l.  [ 1 7 ]   ex p lo r ed   a  v o ice  s p o o f in g   s ce n ar io   wh er e   f a k e  v o ice  s ig n als  g en er ated   u s in g   T T S  a r e  em b ed d e d   i n to   l eg itima te  u tter an ce s .   T h e   au th o r s   d e v elo p ed   a   co u n ter m ea s u r e   s ch em e  u tili zi n g   s elf - p r e - tr ain ed   m o d els  f o r   f ea tu r e  e x tr ac tio n .   A d d itio n al ly ,   th ey   aim e d   f o r   s im u ltan eo u s   u tter an ce -   an d   s e g m en t - lev el  d etec tio n .   E x p er i m en tally ,   th eir   ap p r o ac h   ac h ie v ed   E E R s   o f   0 . 7 7 %  o n   th e  Par tialSp o o f   d atab ase  a n d   0 . 9 0 % o n   ASVs p o o f   2 0 19.   I n   th e  s tu d y   o f   Xu e  et  a l.  [ 1 8 ] ,   an iter ativ e  k n o wled g e  d is till atio n   m eth o d   is   ad o p te d   f o r   f a k e  s p ee ch   d etec tio n   wh er e   a  d ee p   n et wo r k   as  th e  i n s tr u cto r   is   m o d elled   to   g u id e   m u ltip le  s h allo w  class if ier s   b y   m in im izin g   f ea tu r e  d if f e r en ce s .   L ei  et  a l.  [ 1 9 ]   d e v elo p ed   a  m eth o d   to   d etec t  k n o wn   an d   u n k n o wn   s p o o f in g   attac k s   u s in g   1 - D  C NN,   Siam ese  C NN,   an d   Gau s s ian   m ix tu r e  m o d el  ( GM M)   co m p o n e n ts   to   ca p tu r e  l o ca l  an d   g lo b al  s p ee ch   f ea tu r es.  W u   et   a l.  [ 2 0 ]   in tr o d u ce d   th e  f ea tu r e   en g in ee r in g   tech n iq u e,   w h ich   u s es  a  tr a n s f o r m er   tr ain ed   o n   a  g en u in e   s p ee ch   f r o m   th e   ASVs p o o f   2 0 1 9   lo g ic al  ac ce s s   co r p u s   to   id en tify   an d   r em o v e   s p o o f in g   ar tef ac ts .   J av ed   et  a l.  [ 2 1 ]   d ev elo p ed   a  f r am ewo r k   th at  u s es  co - o cc u r r en ce   p atter n s   an d   ce p s tr al  co ef f icien ts   to   d etec t  d is to r tio n s   a n d   a r tef ac t s   in d u ce d   b y   d if f er en t   s p o o f i n g   m et h o d s ,   p r o v id in g   co m p r eh en s iv e  p r o tectio n   ag ain s t  ev en   co m p lex   s p o o f in g   attac k s .   T h e  e f f ec tiv en ess   o f   h y b r id izin g   d if f er e n t  lear n i n g   m o d els,  n am el y   C NN  f o r   f ea tu r e  ex tr ac tio n   a n d   s u p p o r t  v ec to r   m ac h in e   ( SVM )   f o r   class if ica tio n   task s ,   is   s tu d ied   b y   [ 2 2 ] .     Kwa k   et  a l.  [ 2 3 ] ,  [ 2 4 ]   d ev el o p ed   n ew  m o d els  th at  ar e  m o r e  ef f icien t  a n d   r o b u s t  to   u n s ee n   s p o o f   attac k s .     Gu o   et  a l.  [ 2 5 ]   u s ed   in c r em en tal  lear n in g   to   im p r o v e  th e  g e n er aliza b ilit y   o f   s p o o f   d etec tio n   m o d els  to   u n s ee n   s p o o f   alg o r ith m s .   T h ey   d is cu s s   h o w  to   en h an ce   th ese  m o d els '   em b ed d in g   s p ac e  an d   d ec is io n   b o u n d a r ies  to   ad ap t  to   n ew  s p o o f i n g   th r ea ts .   Ma lik   et  a l.  [ 2 6 ]   ad d r ess ed   th e  v u ln e r ab ilit y   o f   v o ice - ac ti v ated   s er v ices  lik e   ch atb o ts   to   au d io   r e p lay   attac k s .   T h ey   in tr o d u ce d   a co u s tic  ter n ar y   p atter n s - g am m ato n e   ce p s tr al  co ef f icien t   an d   u s ed   a   m u lti - class   SVM  class i f ier   tr ain e d   th r o u g h   er r o r - co r r ec tin g   o u tp u t   co d es   o n   th e   o p t im al  f ea tu r e   s p ac e.   T h e  m o d el  p r esen ted   b y   Ad ib an   et  a l.  [ 2 7 ]   u tili ze s   o n e - clas s   lear n in g   f o r   d etec tin g   s y n th etic  v o ice  s p o o f in g .   An   E E R   o f   2 . 1 9   d ep icts   m o d e r ate  ef f icien cy   in   m in im izin g   f alse  ac ce p tan ce   an d   r ejec tio n   r ates.  Hen ce ,   it  ca n   b e  s ee n   th at  r esear ch er s   h av e  p r o p o s ed   v ar io u s   s tr ateg ies  to   co u n ter ac t  v o ice  s p o o f in g   attac k s ,   y et  m an y   ex is tin g   m eth o d s   i n v o lv e  c o m p lex   an d   s o p h is ticated   m o d els.   Mo s t  cu r r en t  ap p r o ac h es  p r ed o m in an tly   f o c u s   o n   ex tr ac tin g   m el - s p ec tr o g r am   f e atu r es a n d   o f ten   em p lo y   C NN  f o r   class if icatio n .   Ho wev er ,   e x p lo r in g   alter n ativ e   f ea tu r es  r ep r esen tin g   b o t h   tem p o r al  an d   s p ec tr al  s ig n al  ch a r a cter is tics   co u ld   p o ten tially   en h an ce   th e  ef f icie n cy   o f   d etec tin g   v o ice  s p o o f in g   attac k s   o n   ASV  s y s tem s .       2.   M E T H O D   T h is   s ec tio n   d etails  th e  p r o p o s ed   s y s tem   d esig n   an d   elab o r a tes  o n   th e  im p lem en tatio n   p r o ce d u r e  f o r   v o ice  s p o o f   co u n ter m ea s u r es  f o r   ASV  s y s tem s .   Firs t,  th e  a d o p ted   d ataset  is   b r ief ly   d escr ib ed ,   an d   f o llo win g   th is ,   th e   ex tr ac tio n   o f   t h e  ess en tial  f ea tu r es  th at  co n tr ib u te   to war d s   lev er ag in g   m o r e  wei g h tag e  in   th e  laten t   f ea tu r e  ex tr ac tio n   f o r   th e   p r o p o s ed   h y b r id   s p ec tr al - s p atial  le ar n in g   m o d el.   Fu r th er ,   an   im p l em en tatio n   s tr ateg y   was a d o p ted   f o r   f ea tu r e  m atr ix   p r ep ar atio n   an d   tr ain in g   th e  h y b r id   lear n in g   m o d el  is   d is cu s s ed .   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8 9 3 8   I n t J Ar tif   I n tell ,  Vo l .  1 4 ,   No .  1 ,  Feb r u ar y   2 0 2 5 :   130 - 1 4 1   132   2 . 1 .     P r o po s ed  s y s t em   T h e  r esear ch   wo r k   r ep o r ted   i n   th is   p ap er   is   p r im ar ily   f o cu s ed   o n   in tr o d u cin g   a   u n iq u e  an d   li g h tweig h t  ap p r o ac h   to   d ev elo p in g   a  s u s tain ab le  v o ice  s p o o f   co u n ter m ea s u r e  s y s tem   f o r   r ea l - wo r ld   ASV  s y s tem   ap p licatio n s .   T h e  p r o p o s ed   s y s tem   is   d esig n ed   to   d y n am ically   ad ap t  to   th e  s p ea k er ' s   v o ice  s ig n al  d ev iatio n s ,   r eg ar d less   o f   t h e  in ter - class   s im ilar ity   b etwe en   th e   s p o o f   a n d   th e   r ea l  au d io   s ig n al.   I n   t h is   ca s e,   th e  s tu d y   b eliev es th at  i f   an   attac k er   s p o o f s   o r   m im ics th e  au d io   o f   th e  r ea l sp ea k er ,   h e  also   h as so m e  laten t f ea tu r e  th at,   if   id en tifie d ,   ca n   h elp   h im   lear n   th e  p atter n   o f   th e   s p o o f e d   s ig n al.   C an   an d   b e   ab le  t o   cr ea t e  a  lear n in g   m o d el   f o r   e f f icien tly .   R ed u ce   o p p o s in g   s p ee ch .   T h er ef o r e,   t h e  p r o p o s ed   s tu d y   f o c u s es  o n   e x tr ac ti n g   m u ltip le  f ea tu r es  f r o m   th e  au d io   f iles ,   as  d if f er en t  f ea tu r es  p r o v i d e  d if f er e n t  v o ice  attr ib u tes,  o f ten   in   th e  f o r m   o f   s p ec tr al  an d   tem p o r al  r ep r esen tatio n s .   T h e  p r o p o s ed   s tu d y   im p lem en t s   a  h y b r id   s p ec tr al - tem p o r al   lear n in g   m o d el  b y   lev er ag in g   C NN  an d   l o n g   s h o r t - ter m   m em o r y   ( L STM )   d ee p   l ea r n in g   m o d els.  T h e  C NN  m o d el  is   u s ed   to   lear n   an d   ca p tu r e   th e   s p ec tr al   d ata,   wh ile  L STM   h as  b ee n   im p le m en ted   to   lear n   tem p o r al   f ea t u r es  an d   ca p t u r e  t h e  lo n g - ter m   d ep e n d en cies.  T h e   p r o p o s ed   s y s tem   d esig n   is   lig h tweig h t  b ec au s e  th e  s tu d y   p er f o r m s   d im en s io n ality   r ed u ctio n   o p e r atio n s   o n   s o m e   ex tr ac ted   f ea tu r es  an d   f o c u s es  o n   im p lem e n tin g   a   h ig h l y   o p tim ized   lear n i n g   m o d el  with   o p tim al  lear n a b le  p ar am eter s ,   with   lo n g er   tr ain i n g   ep o ch s   an d   o p tim al  h y p er p ar am eter s   s elec tio n .   T h e  s ch em atic  ar ch itectu r e  o f   th e  p r o p o s ed   s y s tem   is   s h o wn   in   Fig u r e  1 .           Fig u r e  1 .   A   p r o p o s ed   h y b r id   s p ec tr al - tem p o r al   m o d el  f o r   s p o o f   co u n ter m ea s u r e       Fig u r e  1   d ep icts   th e  b lo ck - b a s ed   wo r k f lo w  o f   th e  p r o p o s ed   h y b r id   s p ec tr al - tem p o r al  m o d el,   wh ich   co m p r is es  f o u r   c o r e  m o d u less u ch   as :  i)   e x p lo r at o r y   d ata   an aly s is ,   ii)  m eta - d ata   co n s tr u ctio n ,   iii)   f ea tu r e   ex tr ac tio n ,   iii)  f ea tu r e  co n ca te n atio n ,   a n d   iv )   lear n in g   s p ec tr al  an d   tem p o r al  f ea tu r es  f o r   s p o o f   c o u n te r m ea s u r e.   T h e  n o v elty   o f   th e   p r o p o s ed   s y s tem   is   th at  it  u s es  a  lig h tweig h t  ap p r o a ch   th at  is   n o t  co m p u t atio n ally   ex p e n s iv e.   T h is   f ea tu r e  m ak es  it  m o r e  p r a ctica l  f o r   r ea l - wo r ld   a p p licatio n s .   T h e  s y s tem   is   s u s tain ab le  b ec au s e  it  ca n   ad ap t  to   th e  s p ea k er ' s   v o ice  s ig n al  ch an g es  o v e r   tim e.   T h is   asp ec t  is   im p o r tan t  b ec au s e  th e  c h ar ac ter is tics   o f   a  s p ea k er ' s   v o ice  ca n   c h an g e   d u e  to   f ac to r s   s u c h   as  ag e ,   illn ess ,   o r   en v ir o n m e n tal  co n d iti o n s .   T h e   s y s tem   is   p r ac tical  f o r   r ea l - wo r ld   ASV  s y s tem   ap p licatio n s   b ec a u s e  it  c an   b e  im p lem en ted   o n   v ar i o u s   h ar d war e  p latf o r m s   an d   d o es n o t r eq u ir e  m u ch   tr ai n in g   d ata.     2 . 2 .     Da t a s et des cr iptio n    T h e  d ataset  co n s id er ed   in   th is   s tu d y   is   ASV Sp o o f   2 0 1 9   [ 2 8 ] ,   a  lar g e - s ca le  p u b lic  d atab ase  o f   s y n th esized ,   co n v er ted ,   an d   r ep lay ed   s p ee ch .   I t  was  cr ea t ed   f o r   th e  th ir d   au t o m atic  s p ea k er   v er if icatio n   s p o o f in g   a n d   c o u n ter m ea s u r es  ch allen g e  ( ASVSp o o f   2 0 1 9 ) ,   wh ich   was  h eld   in   2 0 1 9 .   T h e  d ataset  is   d esig n ed   to   h elp   r esear ch er s   d ev el o p   an d   ev alu ate  tech n iq u es  f o r   d ete ctin g   s p o o f in g   attac k s   ag ain s t  ASV  s y s tem s   [ 2 9 ] .   T h e  ASVs p o o f   2 0 1 9   d ataset  co n s is ts   o f   o v er   1 3 , 0 0 0   a u d io   r ec o r d in g s ,   d iv id e d   in to   two   s ce n a r io s   s u ch   a s   lo g ical   ac ce s s   attac k s   an d   p h y s ical  ac ce s s   attac k s .   T h e  p r o p o s ed   s tu d y   co n s id er s   a  lo g ical   ac ce s s   attac k s   d ataset  as  a  ca s e  s tu d y ,   in clu d in g   g en u in e  an d   s p o o f ed   r ec o r d in g s .   T h e  g en u in e  r ec o r d i n g s   wer e   cr ea te d   b y   r ec o r d in g   th e   tar g et  s p ea k er s   in   a  co n tr o lled   en v ir o n m en t  with   o v er   2 0 , 0 0 0   a u d io   r ec o r d in g s ,   cr ea ted   u s in g   v ar io u s   tech n iq u es,  s u ch   as v o ice  co n v er s io n   an d   s p ee ch   s y n th esis .           Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J Ar tif   I n tell     I SS N:   2252 - 8 9 3 8         Dis crim in a tive  d ee p   lea r n in g   b a s ed   h yb r id   s p ec tr o - temp o r a l fe a tu r es fo r   …  ( P r a n ita   N ir a j P a ls a p u r e )   133   2 . 3 .     M et a - da t a   c o ns t ruct io n    T h is   s ec tio n   d is cu s s es  th e  p r o ce s s   o f   m etad ata  p r e p ar ati o n ,   wh ich   i n v o lv es  ex tr ac tin g   ess en tial  in f o r m atio n   f r o m   p r o to c o l  f il es  an d   o r g an izin g   it  in t o   C SV  f iles   f o r   e f f icien t  d ata   m an ag em en t  an d   m o d el   tr ain in g .   Alg o r ith m   1   is   d esig n ed   th at  in itiates   with   th r ee   in p u ts :  p r o to co l  f ile  ( P),   r ep r esen tin g   th e  f ile   co n tain in g   th e   r eq u ir ed   p r o to c o l  d ata;  au d io   d ir ec to r y   ( A) ,   t h e  d ir ec to r y   co n tain i n g   au d io   d ata;  an d   C SV  f ile  ( C ) ,   s ig n if y in g   t h e  f ile  wh er e  th e  ex tr ac ted   m eta d ata  is   to   b e  s to r ed .   T h e  al g o r ith m ' s   o u tp u t  is   th e  s tr u ctu r ed   lis t,  m etad ata  ( M) ,   co n tain in g   th e  p r o ce s s ed   in f o r m atio n   ex tr ac ted   f r o m   th e  p r o to co l  f ile.     Alg o r ith m   1 .   Me tad ata  c o n s tr u ctio n   f o r   ASV   I n p u t: P   ( p r o t o co l f ile) ,   A ( au d i o   d ir ec to r y ) ,   C ( C SV f ile)   Ou tp u t:  M ( m etad ata)   Star t    1.   I n itialize M = {}   2.   Op en   p r o to co l f ile  P   f o r   r ea d i n g .     3.   Fo r   ea ch   lin e  p i   in   P :   4.      L et  Par ts   b e  th e  r esu lt o f   s p litt in g   th e  lin e  b y   wh ites p ac e   5.        Par ts   =  s p lit( p i,   ‘   ’ )           6.        //P ar ts   ϵ   [ S _ I d   ( s p ea k e r   id en tity ) ,   F _ I d   ( f ile  id en tity ) ,   …  La b el ]    7.      E x tr ac t th e  f o llo win g   in f o r m atio n   f r o m   Par ts :   8.        Fo r   ea ch   p i ,   e x tr ac t          S_ I D  → Par ts [ 0 ]          F_ I D  → Par ts [ 1 ]          L ab el  → Par ts [ 4 ]   9.      C o n s tr u ct  Au d io Path   Ap   as:          Ap   =  A +  ”f lac/”   +  F _ I D   10.      C r ea te  a  m etad ata  r ec o r d   with :   11.        Fo r   ea ch   p i,   let r i   b e  a  r ec o r d :     r i  =   {S _ I d ,   F _ I d ,   La b el,   Ap }   12.   Ap p en d   R ec o r d   to   Me tad ata   M   13.     M =  M  ∪   { r i }   14.   C lo s e  p r o to co l f ile   15.   Op en   csv   f ile  C  f o r   wr itin g   16.     W r ite  a  h ea d er   r o w:  S _ I D ,   F _ I D,   Ap   17.      Fo r   ea ch   r i   in   M :   18.   W r ite  a  r o w  with   v alu es   19.   wr iteR o w( C , r i [ S _ I d ], r i [ F _ I d ], r i [ La b el ], r i [ Ap ] )   20.   C lo s e  C   21.   R etu r n   M   E n d       An   em p ty   lis t,  M,   is   in itially   in itialized   to   s to r e  th e  ex tr a cted   m etad ata.   T h e  alg o r ith m   b eg in s   b y   o p en in g   th e  p r o to c o l f ile  P   f o r   r ea d in g .   T h e  alg o r ith m   p e r f o r m s   a  s er ies o f   ex tr ac tio n   an d   p r o ce s s in g   s tep s   f o r   ea ch   lin e  p i  p r esen t   in   th e   p r o to co l  f ile  P.  T h e  lin e   is   s p lit  b y   wh ites p ac e  in t o   co n s titu en t  p ar ts   ca lled   Par ts .   Sev er al  p iece s   o f   in f o r m atio n   ar e  ex tr ac ted   f r o m   th ese  p a r ts ,   s u ch   as  s p ea k er   id en tity   ( S_ I D)   d er iv ed   f r o m   th e   f ir s t  elem en t,  f ile  id e n tity   ( F _ I D )   f r o m   t h e  s ec o n d   elem e n t,  an d   lab el  f r o m   th e  f if th   e lem en t  o f   th e  p ar ts .   Fo llo win g   th e  ex tr ac tio n ,   th e  alg o r ith m   co n s tr u cts  th e  Au d i o Path .   I t  f o r m s   th is   b y   co n ca t en atin g   th e  A   with   a  s tr in g   "f lac/"   a n d   th e   F _ I D .   Su b s eq u en tly ,   a  m etad ata  r ec o r d ,   d en o ted   as   r i ,   is   cr ea te d   with   t h e  ex tr ac te d   S _ I D ,  F _ I D ,   lab el,   an d   th e  c o n s tr u c ted   Au d io Path ,   d en o ted   as  Ap .   Fu r th e r ,   ea ch   r ec o r d   is   th e n   ap p e n d ed   to   t h e   m etad ata  lis t,  wh ich   ac cu m u lates  all  th e  m eta d ata  r ec o r d s   p r o ce s s ed   f r o m   th e   P .   Af ter   p r o ce s s in g   all  lin es  in   th e  P ,   th e  f ile  is   clo s ed ,   an d   th e  C SV  f il e  is   o p en ed   f o r   wr itin g .   A  h ea d er   r o w  is   wr itten   f ir s t  in to   th e  csv   f ile,   co n tain in g   th e   co lu m n s :  ' S_ I D ' ,   ' F_ I D ' ,   Ap .   Su b s eq u en tly ,   f o r   ea ch   r ec o r d   r i   p r esen t  in   t h e  m etad ata  M ,   a  n ew  r o w  is   wr itten   to   th e   C SV  f ile,   with   v alu es  co r r esp o n d in g   to   th e  elem en ts   o f   th e   r ec o r d   ( lin e  1 9 )   an d   u p o n   wr itin g   all  th e  m etad ata  r ec o r d s   to   th e  C SV f ile,   it is   f in ally   clo s ed .     Fig u r e s   2   an d   3   o f f er   co m p r eh en s iv e  v is u al  an aly s es  o f   b o n a f id e   an d   s p o o f   v o ice  s ig n als,  r es p ec tiv ely .   Fig u r e  2   d is p lay s   th e  wa v ef o r m   an d   s p ec tr o g r am   o f   a   g en u i n e  o r   b o n af id e   v o ice   s ig n al,   ill u m in atin g   its   u n iq u e   tem p o r al  a n d   s p ec tr al   ch ar ac t er is tics ,   wh ich   ar e  cr u cial   f o r   ASV  s y s tem s .   I n   co n tr ast,  Fi g u r e  3   o u tlin es  t h e   ch ar ac ter is tics   o f   a  s p o o f   o r   a r tific ially   g en er ated   v o ice  s ig n al,   em p h asizin g   t h e  an o m alies  an d   d is cr ep an cies   in   its   s p ec tr al  r ep r esen tatio n   c o m p ar ed   to   b o n af id e   s ig n als.     Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8 9 3 8   I n t J Ar tif   I n tell ,  Vo l .  1 4 ,   No .  1 ,  Feb r u ar y   2 0 2 5 :   130 - 1 4 1   134       Fig u r e  2 .   I ll u s tr ativ e  d ep ictio n   o f   b o n af id e   s p ea k er   s ig n al  c h ar ac ter is tics           Fig u r e  3 .   A   g r ap h ic  r ep r esen ta tio n   o f   d is tin ctiv e  s p o o f   v o ice  s ig n al  attr ib u tes       2 .   4 .   F e a t ure  ex t r a ct io n    T h e  f ea tu r e  e x tr ac tio n   p r o ce s s   is   cr u cial  in   th e   ar ch itectu r e  o f   s p ee ch - s p o o f in g   c o u n ter m ea s u r es   s y s tem s .   As  a   tr an s f o r m atio n   s tep ,   it  co n v er ts   th e  o r ig in al  s p ea k er   au d io   d ata  in to   a  s tr u ct u r ed   f o r m ,   wh ich   is   ad v an tag e o u s   to   th e   d etailed   an aly s is   an d   ap p licatio n   o f   m ac h in e  lear n in g   alg o r ith m s .   G iv en   th e  in h er en tly   d is cr im in ativ e  n atu r e  o f   au d i o   s ig n als,  ca p tu r in g   th e  ess en ti al  f ea tu r es  th at  f ac ilit ate  ac cu r ate  d is cr im in atio n   b etwe en   r ea l  ( b o n a f id e)   an d   s p o o f ed   v o ices  is   im p o r tan t.  T h er ef o r e,   th e  s tu d y   f o c u s es  o n   ex tr ac tin g   th r ee   ess en tial  f ea tu r es,  s u ch   as  MFC C s ,   s p ec tr al  co n tr ast,  an d   t o n n etzp itch   f ea tu r es  th at   ar e  cr u c ial  f o r   d is tin g u is h in g   b o n af id e   an d   s y n th etic  s p o o f e d   s p ee ch   s ig n als.  Ho wev e r ,   th e  v ar iab ilit y   in   a u d io   s ig n al  d u r atio n   o f ten   led   to   in co n s is ten t  f ea tu r e  len g t h s .   T o   co r r ec t  t h is   in co n s is ten cy ,   th e  in tr o d u ce d   m eth o d   in co r p o r ates  p ad d in g ,   a   tech n iq u e  th at  alig n s   f ea tu r e  l en g t h s   b y   e x ten d in g   o r   tr u n c atin g   th em   to   a   p r ed ete r m in e d   len g th .   A  s am p le   v is u aliza tio n   an d   d escr ip ti o n   o f   th e  ex tr ac ted   f ea tu r es a r e  d e p icted   in   Fig u r e s   4   an d   5 .     Fig u r e  4   d is p lay s   th e  two   m o s t  p o p u lar   a u d io   f ea tu r es,  wit h   s u b f ig u r e  Fig u r e  4 ( a )   r e p r esen tin g   th e   s h o r t - ter m   p o wer   s p ec tr u m   o f   an   a u d io   s ig n al  th at  ca p tu r es  th e  s p ec tr al  ch a r ac ter is tics   o f   th e  s ig n al  in   a  way   th at  ap p r o x im ates  th e  h u m an   a u d ito r y   s y s tem ' s   r esp o n s e  to   s o u n d .   T h is   r ep r esen tatio n   s h o wca s es  th e  v ar iatio n   o f   MFC C s   o v er   tim e,   p r o v id i n g   in s ig h ts   in to   t h e  au d io   s ig n al ' s   s p ec tr al  co n ten t a n d   ac o u s tic  p r o p er ties ,   wh ich   ar e  v alu ab le  f o r   id e n tify in g   t r a n s ien t  ev en ts ,   s p ee ch   p atter n s ,   an d   ch a n g es  in   f r e q u en c y   co m p o n e n ts   with in   th e  au d io   s ig n al.   Fig u r e  4 ( b )   d em o n s tr ates  th e  s p ec tr al  co n tr ast  o f   th e  au d io   s ig n al,   a  r ep r esen tatio n   th at  q u a n tifie s   th e  d if f e r en ce   i n   am p litu d e  b e twee n   s p ec tr al  p ea k s   an d   v alle y s   in   an   au d io   s p ec tr u m .   T h is   ca n   b e   p ar ticu lar l y   us ef u l  f o r   d is tin g u is h in g   b etwe en   d if f er e n t  ty p es  o f   au d i o s ,   as  it  em p h asizes  v ar iatio n s   in   s p ec tr al  s tr u ctu r e,   s u ch   as th e  p r esen ce   o f   h a r m o n ics o r   f o r m an ts .     Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J Ar tif   I n tell     I SS N:   2252 - 8 9 3 8         Dis crim in a tive  d ee p   lea r n in g   b a s ed   h yb r id   s p ec tr o - temp o r a l fe a tu r es fo r   …  ( P r a n ita   N ir a j P a ls a p u r e )   135     ( a)       ( b )     Fig u r e  4 .   A n   an aly tical  v is u ali za tio n   o f   ( a)   MFC C   f ea tu r e  attr ib u tes  an d   ( b )   s p ec tr o g r am   r e p r esen tatio n   f ea tu r e  attr ib u tes       Fig u r e  5   d is p lay s   th e  two   cr iti ca l  au d ito r y   f ea tu r es;  F ig u r e  5 ( a)   d is p lay s   a   s p ec tr o g r am v is u aliza tio n   f o r   au d i o   an aly s is ,   a  2 D  r ep r es en tatio n   o f   an   a u d io   s ig n al  wh er e  tim e  is   p lo tted   o n   th e  x - a x i s ,   f r eq u en c y   o n   th e   y - ax is ,   an d   th e  co l o u r   i n ten s ity   r ep r esen ts   th e  m ag n itu d e  o r   p o wer   o f   d if f e r en t  f r eq u e n cy   co m p o n en ts   at  ea ch   p o in t  in   tim e.   T h is   v is u al  r ep r esen tatio n   en ab les  u s   to   o b s er v e  h o w  th e  s p ec tr al  co n ten t  o f   th e  au d io   ev o lv es   o v er   tim e.   I n   n ex t  Fig u r e  5 ( b ) ,   th e  to n n etz  f ea tu r e  o f   a n   au d io   s ig n al  is   d ep i cted .   T h is   f ea tu r e  ca p tu r es  th e  to n al   ch ar ac ter is tics   o f   an   au d io   s ig n al,   r ep r esen te d   as  a  s et  o f   v alu es  o r   co ef f icien ts   th at  d escr ib e  th e  en er g y   d is tr ib u tio n   in   d if f e r en t  to n al  r eg io n s .   Mo r e o v er ,   to n n etz  f ea t u r es  ar e  s en s itiv e  to   p itch   v ar ia tio n s   an d   h ar m o n ic   co n ten t,  m a k in g   th e m   v alu a b l e  f o r   id e n tify in g   to n al  p atter n s   an d   d if f e r en ce s   b etwe en   g e n u in e  an d   s p o o f ed   v o ices  in   ASV  s y s tem s .   T h e  ex tr ac ted   f ea tu r esar e  em p ir ically   r ev iewe d ,   an d   it  is   id en tifie d   th at  MFC C   f ea tu r es,   s p ec tr al  co n tr ast,  an d   T o n n etz   f ea tu r es  ar e  c r itical  f o r   d is tin g u is h in g   th e   d if f e r en ce   b etwe en   s p o o f e d   an d   r ea l   v o ices,  p r o v id in g   u n iq u e   in s ig h ts   in to   t h e  in h er en t  c h ar ac t er is tics   o f   a  s p ea k er ' s   v o ice.   I n   co n tr ast,  MFC C   f ea tu r es,  an d   Me l sp ec tr o g r am s   ex h ib it si m ilar   f ea tu r es d er iv ed   f r o m   t h e  in p u t a u d i o   d ata  b ec au s e  MFC C s   ar e  d er iv ed   f r o m   Me l sp ec tr o g r am s .     T h er ef o r e,   b ased   o n   e m p ir ical   r esear ch ,   th is   s tu d y   m ain ly   f o cu s es  o n   MFC C ,   s p ec tr al  co n tr ast  an d   T o n n etz  ch a r ac ter is tics .   Prin cip al  co m p o n en t  an aly s is   ( PC A)   wa s   d ep lo y ed   o n   s p ec tr al  co n tr ast  an d   T o n n etzf ea tu r es  to   o p tim ize  an aly s is   ef f icien cy ,   aim in g   to   r e d u ce   d im en s io n ality   wh ile  r e tain in g   9 9 %  o f   th e   ex p lain ed   v ar iatio n   f ac to r s .   T h e  r ea s o n   wh y   MFC C   is   e x em p ted   f r o m   PC A  is   b ased   o n   th e  em p ir ical   o b s er v atio n   th at  its   co n tr ib u tio n   to   y ield   im p r o v e m en t  is   m in im al.   T h e  en tire   co m p u tin g   p r o ce s s   in v o lv ed   i n   ex tr a ctin g   an d   s elec tin g   au d i o   f ea tu r es is   d is cu s s ed   in   Alg o r ith m   2 .     Alg o r ith m   2 .   Featu r e  ex tr ac tio n   an d   s elec tio n     I n p u t:  A ( Set o f   r aw  au d io   d ata ) ;  L max ( Ma x im u m   allo wab le  f e atu r e  len g th )   Ou tp u ts :  F ( T r an s f o r m ed   f ea t u r e  m atr ix ) ;  S ( Selecte d   f ea tu r e  s et)   Star t    1.   E x tr ac t in itial f ea tu r e  s et  F ={ MFC C S,   Sp ec tr o g r am ,   Sp ec tr a l Co n tr ast,  T o n n etz}   f r o m   A   2.   L et  F ’ =  ∅ : I n itialize  th e  tr an s f o r m ed   f ea tu r e   m atr ix   3.   Dim en s io n al  C o n s is ten cy :   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8 9 3 8   I n t J Ar tif   I n tell ,  Vo l .  1 4 ,   No .  1 ,  Feb r u ar y   2 0 2 5 :   130 - 1 4 1   136   4.   Fo r   ea ch   f ea tu r e  F i   in   F :   5.   C o m p u te  n u m _ tim e_ f r a m es =   len g th ( F i )   6.   I f   n u m _ tim e_ f r am es> L max :   7.   T r u n ca te:  F i ’   =   F i [ :,  :  L max ]   8.   E ls e  I f n u m _ tim e _ f r am es< L max :   9.   E x ten d : F i '= Pad ( F i , ( 0 , 0 ) , ( 0 , L ma x - n u m _ tim es_ f r am es)) , m o d e=   ‘ co n s tan t’   10.   E ls e:   11.   F i   =  F i   12.   Up d ate  F'   with   F i '   13.   Per f o r m   an al y s is   o n   F'   to   d er i v e  d is cr im in ativ e  ch a r ac ter is tics   an d   s im ilar ities .     14.   L et  S   =  {M FC C S,   Sp ec tr al  C o n tr ast,  T o n n etz}   b e  th e  s et  o f   s elec ted   f ea tu r es    15.   Ap p ly   PC A  o n   f ea tu r e   in   S e x c lu d in g   MFC C   to   r etain   9 9 % o f   th e  ex p lain e d   v a r ian ce   f ac to r .     16.   Up d ate  th e  s et  S   with   th e  f ea tu r es a f ter   d im en s io n ality   r ed u ct io n .     17.   R etu r n   th e  tr an s f o r m ed   f ea t u r e  m atr ix   F'   a n d   th e  s elec ted   f e atu r es set  S .    18.   C o n s tr u ct  a  f ea tu r e  m atr i x   b y   co n ca ten atin g   ea c h   f ea tu r e  in   Set   S   E n d           ( a)       ( b )     Fig u r e  5 .   D etailed   v is u al  e x a m in atio n   o f   ( a)   s p ec tr al  c o n tr a s t f ea tu r es   an d   ( b )   to n n etz  f ea t u r e       2 . 6 .   H y brid lea rning   m o del    T h e  p r o p o s ed   h y b r id   lear n in g   m o d el  p r esen ts   a  co m p r eh en s iv e   m o d el  b y   lev er a g in g   t h e  d is tin ct  s tr en g th s   o f   b o th   ar ch itectu r e s   C N N  an d   L STM   n etwo r k s   to   ad ep tly   ca p tu r e  an d   in ter p r et  th e  s p ec tr al  an d   tem p o r al  i n tr icac ies  with in   au d io   f ea t u r es.  T h e  p r o p o s ed   h y b r id   lear n in g   ar ch itectu r e  c o n s is ts   o f   an   in p u t   lay e r   d esig n ed   ef f ec tiv ely   to   h an d le  f ea tu r e  v ec to r s .   T h is   lay er   ac ce p ts   d im en s io n s   o f   s h ap e  ( 2 6 0 0 ,   1 ) ,   wh e r e  2 6 0 0   s y m b o lizes  th e  c u m u lativ e   len g th   o f   t h e  MFC C s ,   s p ec tr al  co n tr ast,  an d   to n n etz  f ea tu r es.  T h e  s in g u lar   ch a n n el   d en o tes  its   u n id im en s io n al   n atu r e,   u n d er s co r in g   th e  i m p o r tan ce   o f   ea ch   f ea tu r e' s   s eq u en tial  alig n m e n t.  Su cc ee d in g   th e   in p u t  is   a  co n v o lu tio n al  f r am ewo r k   co n s is tin g   o f   a  s eq u e n ce   o f   o n e - d im e n s io n al  co n v o lu tio n al  lay er s .     Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J Ar tif   I n tell     I SS N:   2252 - 8 9 3 8         Dis crim in a tive  d ee p   lea r n in g   b a s ed   h yb r id   s p ec tr o - temp o r a l fe a tu r es fo r   …  ( P r a n ita   N ir a j P a ls a p u r e )   137   W ith   th eir   weig h t - s h ar in g   m ec h an is m ,   th ese  lay er s   attem p t  to   d etec t  an d   ex t r ap o late  s p atial   r elatio n s h ip s   with in   th e  au d io   d ata.   I n   o r d er   to   en s u r e  co m p u tatio n al  ef f icien c y   with o u t  co m p r o m is in g   o n   ess en tial  f ea tu r e  in f o r m atio n ,   ea ch   c o n v o lu tio n al   lay er   is   f o llo wed   b y   a  m ax - p o o lin g   lay er ,   ef f ec tiv el y     d o wn - s am p lin g   th e  f ea t u r e  d i m en s io n s .   B u ild in g   o n   th e  s p a tial  p atter n s   ex tr ac ted   b y   th e  c o n v o lu ti o n al  lay er s ,   th e  ar ch itectu r e  in teg r ates  an   L STM   lay er   to   u n d er s tan d   s eq u en ce s .   T h e  L STM   lay er   o f f er s   th e  m o d el  a   s o p h is ticated   m em o r y   m ec h an is m ,   em p o wer in g   it   to   lea r n   a n d   r em em b er   tem p o r al  p atter n s   em b ed d e d   with i n   th e  au d io   f ea tu r es.  Po s t  th e  L STM   in teg r atio n ,   th e   m o d elli n g   p h ase  also   ad d s   two   f u lly   co n n ec ted   o r   d en s e  lay er s .   T h ese  lay er s ,   lad en   with   n eu r o n s   ca p a b l e  o f   co m p l ex   n o n - lin ea r   tr an s f o r m atio n s ,   f u r t h er   r e f in e  t h e  f ea tu r es,  p r e p ar in g   th em   f o r   th e  f in al  class if icatio n   task .   T h e  s tu d y   also   e n s u r es  th at  th e   p r o p o s ed   lear n in g   m o d el  is   r o b u s t  ag ain s t  o v er f itti n g   is s u es  in   th e  tr ain in g   p r o ce s s   b y   in co r p o r atin g   L 2   r e g u lar i za tio n   an d   d r o p o u t   tech n iq u es.    T h e  f in al  lay er   o f   th e  m o d el  is   th e  o u tp u t  lay e r ,   wh ich   ac ts   as  th e  f in al  d ec is io n - m a k in g   m o d u le  o f   th e   p r o p o s ed   s y s tem .   I t  co n s is ts   o f   a  s in g le  n eu r o n   with   a  s ig m o id   ac tiv atio n   f u n ctio n ,   an d   it  o u tp u ts   th e  p r o b ab ilit y   o f   th e   in p u t  au d io   b ein g   g en u i n e  o r   s p o o f ed .   T o   tr ain   th e  h y b r id   m o d el   ef f ec tiv ely ,   th e   s tu d y   u s ed   th e   Ad am   o p tim izer ,   k n o wn   f o r   its   ad ap t ab ilit y ,   with   a  lear n in g   r ate  in itialized   at  0 . 0 0 1 .   T h e  s tu d y   a ls o   u s ed   th e  b in ar y   cr o s s - en tr o p y   lo s s   f u n ctio n   to   q u an tify   th e  m o d el' s   er r o r s   an d   g u id e  its   lear n in g ,   as  it  is   we ll - s u ited   f o r   b in ar y   class if icatio n   task s .   T h e  s tu d y   u s ed   two   ca llb ac k s   to   en s u r e   c o n s is ten t a n d   ef f icien t   tr ain in g ,   i.e . ,   T en s o r B o ar d   f o r   p er f o r m an ce   m o n ito r in g   a n d   R ed u ce L R On Plateau   f o r   d y n am ic  lear n in g   r ate   ad ju s tm e n ts .   T h e   m o d el   w as  tr ain ed   o v er   1 0 0   ep o ch s ,   p r o c ess in g   b atch es o f   1 0 0   s am p les ea ch .   Fig u r e   6   p r esen ts   th e   en tire   f lo w  c h ar t w o r k   f o r   d etec tin g   b o n a f id e  a n d   v o i ce   s p o o f i n g   attac k s   u s in g   t h e  p r o p o s ed   h y b r id   s p ec tr al - tem p o r al  lear n in g   m o d el.             Fig u r e  6 .   F lo wch ar t  o f   th e   p r o p o s ed   s y s tem   f o r   b o n a f id e  an d   s p o o f   s ig n al  d etec tio n       3.   RE SU L T   AND  DI SCUS SI O N    T h e  d esig n   an d   d ev el o p m en t  o f   th e  p r o p o s ed   s y s tem   f o r   v o ic e  s p o o f in g   attac k   d etec tio n   is   d o n e  u s in g   Py th o n   ex ec u ted   in   An ac o n d a   d is tr ib u tio n .   T h is   s ec tio n   p r es en ts   th e  ex p er im e n tal  o u tc o m e  an d   d is cu s s es  th e   p er f o r m an ce   c o n ce r n in g   t r ain in g   ac cu r ac y ,   v alid atio n   ac cu r ac y ,   co n f u s io n   m atr ix ,   an d   o th er   class if icatio n   m etr ics  s u ch   as  ac cu r ac y ,   p r ec is io n ,   r ec all,   F1 - s co r e,   a n d   E E R .   Fig u r e  7   d is p lay s   th e   m o d el' s   tr ain in g   p er f o r m an ce   tr en d s ,   with   Fig u r e  7 ( a)   d ep ictin g   tr ai n in g   an d   v alid atio n   ac cu r ac y   an d   Fig u r e   7 ( b )   d etailin g   tr ain in g   an d   v alid atio n   lo s s .   An aly s is   o f   th e  g r a p h   t r en d s   r ev ea ls   a  s u s tain ed   h ig h   tr ain in g   ac cu r ac y   u p   to     1 0 0   ep o c h s ,   r ea ch in g   9 9 . 9 8 %   an d   9 9 . 9 6 %  f o r   tr ain in g   an d   v alid atio n ,   r esp ec tiv ely .   T h e  s tab le  tr ain in g   lo s s   im p lies   m in im al  er r o r s   i n   d is tin g u is h in g   b etwe en   g e n u in e   an d   s p o o f ed   s ig n als.  T h e   f r eq u e n t  in v o ca tio n   o f   th e   R ed u ce L R On Plateau   ca llb ac k ,   wh ich   ad ju s ts   th e  le ar n in g   r ate  wh en   v alid atio n   p er f o r m a n c e  p latea u s ,   in d icate s   th at  th e  m o d el   was  p r o g r ess iv ely   r e f in in g   to war d s   o p tim al   p er f o r m an ce .   I n   Fig u r e  8 ,   th e  co n f u s io n   m atr ix   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8 9 3 8   I n t J Ar tif   I n tell ,  Vo l .  1 4 ,   No .  1 ,  Feb r u ar y   2 0 2 5 :   130 - 1 4 1   138   p r esen ts   th e  clas s if icatio n   p er f o r m an ce   o f   th e  p r o p o s ed   s p ec tr al - tem p o r al  lear n in g   m o d el  f o r   b o n af id e   an d   s p o o f   class es.            ( a)   ( b)     Fig u r e  7 .   P er f o r m an c e  tr en d   o f   th e  m o d el' s   tr ain in g   an d   v ali d atio n   p er f o r m a n ce   o n   ( a)   ac c u r ac y   an d   ( b )   lo s s           Fig u r e  8 .   T h e  co n f u s io n   m atr ix   f o r   t h e  class if icatio n   m o d el       T h e  in ter p r etatio n   o f   th is   co n f u s io n   m atr ix   is   p r esen ted   in   T ab le  1 .   A  clo s er   an aly s is   o f   th e  o u tco m e   s tatis t ics  s h o ws  th at  th e  m o d e l  ac cu r ately   id en tifie d   2 , 4 4 3   in s tan ce s   as  b o n af id e  o u t  o f   2 , 5 4 8   in s tan ce s   in   t h e   test   d ataset,   s h o wca s in g   its   ab ilit y   to   d i s ce r n   g en u in e  in s t an ce s .   Ho wev er ,   th er e  wer e   1 0 5   i n s tan ce s   wh er e  b o n af id e  ( g en u in e)   was  m is tak en   as  s p o o f ed .   I n   th e  co n tex t  o f   s p o o f   in s tan ce s ,   th e  p r o p o s ed   class if icatio n   m o d el  co r r ec tly   p r ed icted   2 2 , 2 6 1   s am p les  as  s p o o f   s ig n als  o u t  o f   2 2 , 2 9 6   test   s am p les ,   it  also   f alsely   ca teg o r ized   3 5 s p o o f   in s tan ce s   as b o n af id e .         T ab le  1 .   Su m m a r y   o f   co n f u s io n   p lo t w ith   class if icatio n   s tatis tics   f o r   s p o o f   a n d   b o n af i d e   cla s s if icatio n     C l a s s l a b e l   To t a l   sam p l e s   Tr u e   p o si t i v e   F a l se   n e g a t i v e   B o n a f i d e   2 5 4 8   2 4 4 3   1 0 5   S p o o f   2 2 2 9 6   2 2 2 6 1   35       T h e  o u tco m e   s tatis tics   f r o m   T ab le  1   d em o n s tr ate  th e   co n s id er ab le  d is ce r n m en t   ca p ab ili ties   o f   th e   p r o p o s ed   class if icatio n   m o d el  in   d is tin g u is h in g   b etwe en   b o n af i d e  an d   s p o o f ed s p e ak er s .   T h e  m o d el   d em o n s tr ated   h ig h   p r ec is io n ,   ac cu r ac y ,   r ec all,   an d   F1   s co r e s   f o r   s p ee ch   i n s tan ce s   in   th e  te s t  d ataset,   as  s h o wn   in   T ab le  2 ,   co r r ec tly   id e n tify i n g   m o s t  in s tan ce s   o f   b o n af id e  an d   s p o o f .   I n   t h e  b o n af id e  cla s s ,   th e  m o d el  y ield s   im p r ess iv e  r esu lts ,   with   a   p r ec is io n   o f   0 . 9 9 ,   r ec all  o f   0 . 9 6   an d   F1 - s co r e   o f   0 . 9 7 .   T h is   s u g g est s   th at  th e  m o d el   h as  a  v er y   lo w   f alse  p o s itiv e  r ate,   an d   m o s t  o f   th e   s am p les  class if ied   as  b o n af i d e  ar e   tr u e  p o s itiv es.  W ith   a   lar g er   n u m b er   o f   s am p les,  th e  s p o o f   class   witn ess es  a  r em ar k ab le  p er f o r m an ce ,   with   n o   f alse  n eg ativ es  o r   p o s itiv es.  W h en   co n s id er in g   th e  o v e r all  o u tco m e,   th e   m o d el's  p r ec is io n   is   9 9 . 5 6 %,  an d   r ec all  is   h ig h er   at  9 9 . 8 4 %,  d en o tin g   th at  th e   m o d el  s u cc ess f u lly   id en tifie s   alm o s t  all  tr u e  in s tan ce s   o f   ea ch   c lass   in   th e  d ataset.   Su b s eq u en tly ,   th e  F1 - s co r e  is   also   h ig h   at  9 9 . 6 9 %,  s ig n if y in g   an   ex ce p tio n al  b alan ce   b et wee n   p r ec is io n   an d   r ec all.   Ad d itio n ally ,   E E R   is   0 . 0 1 4 ,   wh ic h   is   q u ite  lo w  v s   th e  ep o ch s   p r esen ted   in   Fig u r e   9 .       Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J Ar tif   I n tell     I SS N:   2252 - 8 9 3 8         Dis crim in a tive  d ee p   lea r n in g   b a s ed   h yb r id   s p ec tr o - temp o r a l fe a tu r es fo r   …  ( P r a n ita   N ir a j P a ls a p u r e )   139   T ab le  2 .   Pre s en ts   a  q u a n titativ e  ev alu atio n   o f   class if icatio n   m o d el  p er f o r m a n ce   m etr ics   To t a l   s a m p l e s   C l a s s   P r e c i s i o n   R e c a l l   F1 - sc o r e   2 5 4 8   B o n a f i d e   0 . 9 9   0 . 9 6   0 . 9 7   2 2 2 9 6   S p o o f   1 . 0 0   1 . 0 0   1 . 0 0   O v e r a l l   o u t c o m e   A c c u r a c y   P r e c i s i o n   R e c a l l   F1 - sc o r e   EER   9 9 . 4 4   9 9 . 5 6   9 9 . 8 4   9 9 . 6 9   0 . 0 1 4           Fig u r e  9 .   An al y s is   o f   E E R   v s   e p o ch s       Fro m   Fig u r e  9 ,   it c an   b e  o b s er v ed   th at  th e  E E R   s tar t s   h ig h   at   0 . 5 8 1   in   ep o c h   1 ,   m o d er ately   d ec r ea s es   to   0 . 5 7 4   in   ep o c h   2 ,   a n d   f u r t h er   to   0 . 5 5 5   in   e p o ch   3 .   T h is   in d icate s   th at  th e  m o d el  is   in   th e  ea r ly   s tag es  o f   lear n in g ,   m a k in g   s u b s tan tial  e r r o r s   in   d is tin g u is h in g   b etwe e n   class es.  Ho wev er ,   th er e  is   an   im p r o v em en t  in   ep o ch s   4   to   7 ,   with   E E R   v alu es  s h ar p ly   d ec lin i n g   f r o m   0 . 1 3 6   to   0 . 1 3 1 .   I t  s u g g ests   th at  t h e  m o d el  h as  m a d e  s ig n if ican t  lear n in g s   an d   o p ti m izatio n s ,   im p r o v in g   its   o v er all  clas s if icatio n   ac cu r ac y .   I n   th e  last   th r ee   ep o ch s ,   E E R   r ed u ce s   d r a m atica lly   to   0 . 0 2 4   in   e p o ch   8   an d   r em ain s   co n s tan t  in   ep o c h   9   b ef o r e  a ch iev in g   t h e  lo west   v alu e  o f   0 . 0 1 4   in   ep o c h   1 0 .   T h e  co n s is ten t  r ed u ctio n   in   E E R   v alu es  f r o m   ep o ch   1   to   ep o ch   1 0   d em o n s tr ates  th e  ef f ec tiv e n ess   o f   th e  tr ai n in g   p r o ce s s ,   in d icatin g   a   co n s is ten t  lear n in g   an d   ad ap tat io n   b y   t h e  m o d el,   o p tim izin g   its   class if icatio n   ca p ab ilit ies  o v er   tim e.   T ab le  3   p r o v id es  a  c o m p ar ativ e  a n aly s is   in   ter m s   o f   E E R   ag ain s t two   s im ilar   ex is tin g   m eth o d o lo g ies.        T ab le  3 .   Pre s en ts   co m p a r ativ e   an aly s is   in   ter m s   o f   E E R   Ex i s t i n g   1   [ 1 5 ]   Ex i s t i n g   2   [ 2 7 ]   P r o p o se d   2 . 1 9   0 . 2 3   0 . 0 1 4       T h e  co m p ar ativ e  a n aly s is   p r esen ted   in   T ab le  3 ,   in   ter m s   o f   E E R ,   clea r ly   d em o n s tr ates th e  s u p er io r ity   o f   th e  p r o p o s ed   m o d el  o v er   th e  ex is tin g   m o d els [ 1 5 ] ,   [ 2 7 ] .   Mittal  an d   Du a  [ 1 5 ]   d em o n s tr ated   an   E E R   o f   2 . 1 9 ,   wh ich   is   co n s id er ab ly   h ig h e r   th an   th e  ex is tin g   m o d el  [ 2 7 ]   a n d   p r o p o s ed   s y s tem .   I n   Mittal  an d   Du a  [ 1 5 ]   o n e - class   lear n in g   m eth o d   is   im p lem en ted   to   id en tif y   g en u in e  s p ee ch   r ep r esen tatio n s   an d   in tr o d u ce   an   a n g u lar   m ar g in   with o u t  d ata  au g m en tatio n .   Ho wev er ,   th is   ap p r o a ch   h as  lim itatio n s   in   ter m s   o f   s ca lab i lity   an d   ad ap tab ilit y   to   d iv er s e  s p o o f i n g   s ce n ar io s .   I n   c o n tr ast,  Ad i b an   et  a l.   [ 2 7 ]   a d o p te d   au to e n co d er   an d   Siam ese  n etwo r k s ,   wh ich   r esu lted   E E R   o f   0 . 2 3 %,  d e m o n s tr atin g   en h a n ce d   p er f o r m an ce   co m p ar ed   t o   [ 1 5 ]   in   d if f er en tiatin g   leg itima te  f r o m   s p o o f ed   v o ices.  I n   th e  ca s e  o f   th e  p r o p o s ed   s y s tem   h as  ac h iev ed   a  q u ite  lo w   E E R   o f   0 . 0 1 4 ,   in d icatin g   a  s u p er io r   lev el  o f   ac cu r ac y   an d   r eliab ilit y   in   p r ev en tin g   v o ic e  s p o o f in g   attac k s ,   s u g g esti n g   th e  m o d el   h as  ac h iev ed   a  h ig h ly   o p tim ized   an d   ac cu r ate  s tate,   m a k in g   it  r eli ab le  f o r   class if y in g   b o n af id e   an d   s p o o f   class es.  T h e  p r o p o s ed   s y s tem   ac h iev e s   g o o d   p er f o r m an ce   d u e  to   t h e  u s ag e  o f   h y b r i d   s p ec tr o - tem p o r al  f ea tu r es c o m b in ed   with   a  s o p h is ticated   lear n in g   m o d el.         4.   CO NCLU SI O N   T h is   s tu d y   p r o p o s es  a  n o v el  le ar n in g   m eth o d   m o d el  to   s o lv e   th e  p r o b lem   o f   lo g ical  s p ee ch   s p o o f in g   attac k s   o n   ASV  s y s tem s .   T h e  m o d el  c o m b in es  t h e  lear n in g   ca p ab ilit ies  o f   C NN  an d   L ST M  n etwo r k s ,   wh ich   ar e  g o o d   at  lear n in g   f r o m   s p e ctr al  an d   tem p o r al  d ata.   T h e   p r o p o s ed   m eth o d   s h o ws  r em ar k ab le  ad a p tab ilit y   in   Evaluation Warning : The document was created with Spire.PDF for Python.