T E L K O M N I K T elec o m m un ica t io n,  Co m pu t ing ,   E lect ro nics   a nd   Co ntr o l   Vo l.   1 9 ,   No .   2 A p r il   2 0 2 1 ,   p p .   51 5 ~ 52 2   I SS N:  1 6 9 3 - 6 9 3 0 ,   ac cr ed ited   First Gr ad b y   Kem en r is tek d i k ti,  Dec r ee   No : 2 1 /E/KPT /2 0 1 8   DOI : 1 0 . 1 2 9 2 8 /TE L KOM NI K A. v 1 9 i 2 . 1 6 7 9 3     515       J o ur na ho m ep a g e h ttp : //jo u r n a l.u a d . a c. id /in d ex . p h p /TELK OM N I K A   The co nv o lutiona l neural ne tworks  f o r Amazig h sp e ech  recog nition sy ste m       M er y a m   T elm em Yo us s ef   G ha no u   M o u la y   Ism a il   Un i v e rsity ,   M e k n e s,  M o r o c c o       Art icle  I nfo     AB S T RAC T   A r ticle  his to r y:   R ec eiv ed   Ma y   2 6 ,   2 0 2 0     R ev is ed   Sep   1 3 ,   2 0 2 0   Acc ep ted   Sep   2 4 ,   2 0 2 0       In   t h is p a p e r,   we   p re se n a n   a p p ro a c h   b a se d   o n   c o n v o lu ti o n a n e u ra n e two r k s   to   b u il d   a n   a u t o m a ti c   sp e e c h   re c o g n it io n   s y ste m   fo r   th e   Am a z ig h   lan g u a g e .   Th is  s y ste m   is  b u il wit h   Ten s o rF lo w   a n d   u se m e fre q u e n c y   c e p stra c o e fficie n ( M F CC )   to   e x trac f e a tu r e s.   In   o rd e to   tes th e   e ffe c o th e   sp e a k e r' g e n d e r   a n d   a g e   o n   t h e   a c c u ra c y   o f   th e   m o d e l ,   t h e   s y ste m   wa train e d   a n d   tes ted   o n   se v e ra d a tas e ts.  Th e   first  e x p e rime n th e   d a tas e c o n sists   o 9 2 4 0   a u d io   fi les .   Th e   se c o n d   e x p e rime n th e   d a tas e c o n sists   o 9 2 4 0   a u d io   fi les   d istri b u ted   b e twe e n   fe m a les   a n d   m a les ’  sp e a k e rs.  Th e   las e x p e ri m e n 3   th e   d a tas e c o n sists   o 1 3 8 6 0   a u d i o   fi les   d istri b u te d   b e twe e n   a g e   9 - 1 5 ,   a g e   1 6 - 3 0 ,   a n d   a g e   3 0 + .   Th e   re su l s h o ws   t h a t h e   m o d e trai n e d   o n   a   d a tas e o f   a d u l t   sp e a k e r’ s a g e   + 3 0   c a teg o r ies   g e n e ra tes   th e   b e st ac c u ra c y   with   9 3 . 9 % .     K ey w o r d s :   Am az ig h   lan g u ag e   C o n v o lu tio n al  n eu r al  n etwo r k   Dee p   lear n in g   Me l f r eq u en c y   ce p s tr al   co ef f icien   Sp ec tr o g r am   Sp ee ch   r ec o g n itio n   T h is i a n   o p e n   a c c e ss   a rticle   u n d e th e   CC B Y - SA   li c e n se .     C o r r e s p o nd ing   A uth o r :   Me r y am   T elm em   T ea m   T I M,   Hig h   Sch o o l o f   T e ch n o lo g y   Mo u lay   I s m ail  Un iv er s ity   Me k n es,  Mo r o cc o   E m ail:  m er y am telm em @ g m ai l.c o m       1.   I NT RO D UCT I O N   Dee p   lear n in g   is   b r an ch   o f   m ac h in lear n in g .   I co n s is ts   o f   lear n in g   h ig h - le v el  r ep r ese n tatio n s   o f   d ata  u s in g   d ee p   n eu r al  n etwo r k s .   W ith   tech n o lo g ical  an d   s cien tific   ad v an ce s ,   d ee p   lear n i n g   h as  m ad p lace   in   m an y   ar ea s   esp ec ially   in   th f ield   o f   au to m atic  s p ee ch   r ec o g n itio n .   Au t o m atic  s p ee ch   r ec o g n itio n   is   co m p u ter   tech n iq u in ten d ed   t o   tr an s cr ib a   s p ee ch   s ig n al  in to   tex [ 1 ] .   Sin ce   a   lo n g   tim e,   th h id d e n   m ar k o v   m o d els  [ 2 3 ]   it  was  p er f ec s o lu tio n   to   th p r o b lem s   o f   s p ee ch   r ec o g n itio n .   B u t,  in   2 0 1 2 ,   d ee p   lear n i n g   [ 4 ]   h as  r ev o lu tio n   with   th a p p e ar an ce   o f   co n v o lu ti o n al  n e u r a n etwo r k   ( C NN )   [ 5 ] .   I is   ar g u ab ly   th at   th m o s p o p u lar   ar c h itectu r e,   th ey   h a v e   ap p licatio n s   in   im ag an d   v id e o   r ec o g n itio n ,   r ec o m m e n d er   s y s tem s   [ 6 ] ,   m ed ical   im ag an d   a u d io   an aly s is   [ 7 ] ,   s u cc ess f u lly   ap p lied   in   s p ee c h   r ec o g n itio n .   I n   th is   w o r k ,   we   b u ilt  a n   Am az i g h   s p ea ch   r ec o g n itio n   s y s tem   b ased   o n   C NN   an d   GPU   co m p u tatio n   u s in g   T en s o r Flo w ,   wh ich   is   an   o p en   s o u r ce   lib r ar y   wr itten   in   p y th o n   an d   C ++   with   m o d el  an d   r o b u s t a r ch itectu r th at  ca n   b r u n   o n   m u ltip le  C PUs   an GPUs .   T h is   p ap er   is   o r g an ized   as  f o llo ws:   s ec tio n   2   we  p r esen th r elate d   wo r k ,   s ec tio n   3   we  d escr ib th e   p r in cip le  an d   th e   th eo r y   o f   s p ee ch   r ec o g n itio n ,   s ec tio n   4   we  d escr ib t h C NN,   s ec tio n   5   we  p r esen T en s o r Flo w .   Fin ally ,   th s ec tio n   6   illu s tr ates  th ex p e r im en t al  r esu lts   f o llo wed   b y   c o n clu s i o n .       2.   RE L AT E WO RK   In   o u r   p r ev io u s   wo r k   [ 3 ]   we  h av d ev elo p ed   a n   Am az ig h   s p ee ch   r ec o g n itio n   s y s tem   b ased   o n   h i d d en   Ma r k o v   m o d el  HM Ms  u s in g   an   o p en   s o u r ce   C MU   Sp h in x - 4 .   T h c o r p u s   co n s is ts   o f   1 1 2 2 0   a u d io   f iles .   T h Evaluation Warning : The document was created with Spire.PDF for Python.
                    I SS N :   1 6 9 3 - 6 9 3 0   T E L KOM NI KA   T elec o m m u n   C o m p u t E l Co n tr o l Vo l.  1 9 ,   No .   2 Ap r il   202 1 :    51 5   -   52 2   516   b est  o b tain ed   ac cu r ac y   was  9 0 wh en   we  h av tr ain ed   o u r   m o d el  b y   u s in g   1 2 8   Gau s s ian   m ix tu r m o d els,  an d   5   n u m b er   o f   HM Ms  s tates.  P alo   K,   an d   et  al .   [ 8 ]   h av e   d eter m in ed   th a g o f   s p ea k er   b ased   o n   em o tio n al   s p ee ch   p r o s o d y   a n d   clu s ter in g   th em   u s in g   f u zz y   c - m ea n s   alg o r ith m .   T h is   r ec o g n itio n   o f   s p ee ch   em o tio n   b ased   o n   s u itab le  f ea tu r es  p r o v i d es  a g in f o r m atio n   t h at  h elp ed   th e   s o ciety   in   d if f e r en way s .   T h e y   h av u s ed   m an y   f ea tu r ex tr ac tio n   tech n i q u es.  Am o n g   th ex tr ac ted   f ea tu r es,   th F0 ,   en er g y   o r   am p litu d e,   a n d   s p ee ch   r ate.   Z h an g   H . ,   a n d   et  al .   [ 9 ]   h a v s tu d ied   s er ies  o f   n eu r al  n et wo r k s   b ased   ac o u s tic  m o d els;   tim d elay   n eu r al  n etwo r k   ( T DNN ) ,   C NNs,  an d   th lo n g   s h o r t - ter m   m em o r y   ( L STM ) ,   ap p lied   t h e m   in   th Mo n g o lian   s p ee ch   r ec o g n itio n   s y s tem s ,   an d   co m p a r ed   th eir   p er f o r m an ce .   T h r esu lt  s h o ws  th at  th L STM   is   th m o s t   ac cu r ate  m o d el  with   8 ,   1 2 W E R .   Sa to r H . ,   an d   et   al .   [ 1 0 ]   h av d ev el o p ed   a n d   Am az ig h   ASR   b ased   o n   th e     C MU - Sp h in x .   T h s y s tem   g en er ated   9 2 . 8 9   o f   ac c u r ac y .   T h tr ain in g   was  p er f o r m ed   b y   u s in g   u s in g   1 6   Gau s s ian   m ix tu r m o d els.  Ku m ar   K . ,   an d   Ag g a r wal  R .   [ 1 1 ]   h av b u ilt a  Hin d i r ec o g n itio n   s y s tem   u s in g   HT K   b ased   o n   th h id d en   Ma r k o v   m o d els  HM Ms.  T h e   co r p u s   o f   tr ai n in g   co n s is ts   o f   1 0 2   wo r d s .   T h e   s y s tem   p r o d u ce d   8 7 . 0 1 % o f   ac cu r ac y .       3.   AUTOM AT I SP E E CH   R E CO G NIT I O SYS T E M   T h p r o b lem   o f   s p ee ch   r ec o g n itio n   aim s   to   co n v e r th s p ee c h   s ig n al  to   s eq u en c o f   o b s er v atio n s   X,   in   p r o ce s s   ca lled   f ea tu r e   e x tr ac tio n .   T h d ec o d er   lo o k s   f o r   th s eq u e n ce   o f   wo r d s   W *   m ax im izin g   th f o llo win g   eq u atio n     =   ( | )                   ( 1 )     Af ter   ap p ly in g   th B ay es th eo r em ,   th is   eq u atio n   b ec o m es:     =   ( | ) ( )   ( )               ( 2 )     P ( X)   is   co n s id er ed   co n s tan t a n d   r em o v ed   f r o m   ( 2 ) .     =   ( | ) ( )               ( 3 )     3 . 1 .        P re - pro ce s s ing     3 . 1 . 1 .   Audi o   t o   s pect rum   Sp ee ch ,   wh atev er   its   lan g u ag e ,   is   co n s titu te   o f   f in ite  n u m b er   o f   d is tin ctiv s o u n d   elem e n ts .   T h ese   elem en ts   f o r m   elem en tar y   lin g u is tic  u n its   an d   h av t h p r o p er ty   o f   ch an g in g   th m ea n in g   o f   a   wo r d .   T h ese   elem en tar y   u n its   ar ca lled   p h o n em es  [ 3 ] .   T h Ph o n em es  ca n   b s ee n   as  th b asic  elem en ts   f o r   c o d in g   lin g u is tic  in f o r m atio n .   T h Am az i g h   alp h ab et  co n tain s   3 3   p h o n em es   [ 1 0 ]   as sh o wn   i n   Fig u r e   1.           Fig u r 1 Of f icial  tab le  o f   th e   tifin ag h alp h ab et  as r ec o m m e n d ed b y   I R C AM   [ 1 1 ]   h as o f f ic ially   b ee n   th o n ly   wr itin g   s y s tem   f o r   tr a n s cr ib in g   th Am az ig h t la n g u a g in   M o r o cc o   s in ce   2 0 0 3   Evaluation Warning : The document was created with Spire.PDF for Python.
T E L KOM NI KA   T elec o m m u n   C o m p u t E l Co n tr o l         Th co n vo lu tio n a l n e u r a l n etw o r ks fo r   A ma z ig h   s p ee ch   r ec o g n itio n   s ystem   ( Mer ya Telm em )   517   T h g r a p h ic  s y s tem   o f   th e   s tan d ar d   Am az ig h p r o p o s ed   b y   t h I R C AM   co m p r is es [ 1 1 ]     -   2 7   co n s o n an ts   o f : la b els ( ) ,   d en tal  ( ).   -   T h alv eo lar   ( )   ( ⴽⵯ ⴽⵯ   .   -   2   s em i - co n s o n a n ts   an d     -     v o wels: th f u ll o n es ( ) ,   n eu tr al  ( ).   C NN  tak es   in p u an   im ag e,   s o   t o   b ab le  to   r ec o g n ize  p h o n em es  it  i s   n ec es s ar y   to   p ass   o n   s p e ctr u m   to   tr an s f o r m   au d io   in to   im ag e.   T h is   p r e - p r o ce s s in g   p h ase  is   th e   lo n g est  a n d   m o s im p o r tan t   p h ase  t o   b u ild   ASR   s y s tem .   I n   s p ee ch   r ec o g n itio n   s y s tem ,   th m o s co m m o n   f ea tu r e   ex tr a ctio n   tech n i q u es  ar e   b ased   o n   s p ec tr u m PLP,  t h e   s p ec tr o g r am ,   t h m el  s p ec tr o g r am   [1 2 ] m el   f r eq u e n cy   ce p s tr al  co ef f icien ( MFC C ) .   I n   th is   wo r k   we  h a v u s ed   MFC C   tech n iq u e.     3 . 1 . 2 .     T he  s pect ro g ra m   T h s p ec tr o g r am   is   a   r ep r esen tatio n   o f   an   a u d io   f ile  in   f r eq u en cy   d o m ain .   I n   o r d er   to   c o n v er r aw   d ata  to   s p ec tr o g r am   we  ap p l y   s h o r t - tim f o u r ier   t r an s f o r m   [1 3 ] .   T h p r o d u ce   m atr ice   is   th en   f ed   in t o   a     m u lti - lay er   C NN  f o llo wed   wi th   f u lly - co n n ec ted   with   s o f t m ax   ac tiv atio n   wh ich   g en e r ates  th class if icatio n   v ec to r .   T h f o llo win g   Fig u r 2   lis ts   th s p ec tr o g r am   o f   th a lp h ab et   y a,   y ab ,   an d   y ad :                   Fig u r 2 Sp ec tr o g r am   alp h ab et  y a,   y ab ,   an d   y ad       3 . 1 . 3 .     M F CC    I n tr o d u ce d   b y   Dav is   an d   Me r m elst r ein   in   1 9 8 0   [ 2 ] ,   MFC C s   ar ca lcu late  f o llo [ 1 4 ] :     Fra m th s ig n al  in to   s h o r t f r a m es;     Ma p   th p o we r s   o f   th s p ec tr u m   o b tain ed   ab o v o n t o   th m el  s ca le,   u s in g   tr ian g u lar   o v er la p p in g   win d o ws;     T ak th lo g s   o f   th p o wer s   at   ea ch   o f   t h m el  f r e q u en cies;     T ak th d is cr ete  co s in tr a n s f o r m   o f   th lis t o f   m el  lo g   p o wer s ,   as if   it we r s ig n al;     T h MFC C s   ar th am p litu d es o f   th r esu ltin g   s p ec tr u m .   T h im ag p r o d u ce d   b y   th ese  Pre - p r o ce s s in g   s tep s   is   th en   f e d   in to   m u lti - lay er   c o n v o lu tio n al  n eu r al  n etwo r k s ,   with   f u lly - co n n ec ted   la y er   f o llo wed   b y   s o f tm ax   at  t h en d       4.   CO NVO L U T I O NA L   NE UR AL   NE T WO RK S   4 . 1 .     T he  perc ept ro n   Per ce p tr o n   is   v e r y   s im p le  l ea r n in g   m ac h in e   alg o r ith m   b a s ed   o n   m o d el  o f   b io lo g ical  n eu r o n s ,   wh ich   tak es  an   in p u v ec to r ,   weig h   m atr ice,   an d   an   ac tiv ati o n   f u n ctio n   to   p r o d u ce   th d esire d   o u tp u t   [ 1 5 16] .   T h weig h ts   ar e   th p r o p er ty   o f   th c o n n ec tio n   wh i ch   r ep r esen th s tr en g th   o f   th e   co n n ec tio n .   E ac h   co n n ec tio n   h as a   d if f er e n t w eig h t v alu e   wh ile  b ias is   th p r o p e r ty   o f   th n eu r o n   as sh o wn   in   Fig u r e   3.     4 . 2 .     T he  m ultila y er   perc ept r o ns   M L P     W h en   we  co m b in m an y   p er c ep tr o n s ,   we  f o r m   m u ltil ay er   p er ce p tr o n   o r   m o r e   p r ec is ely   a n   ar tific ial  n eu r al  n etwo r k   [ 1 5 ] .   T h f ir s lay er   is   th in p u lay er ,   co r r esp o n d in g   to   th d ata  f ea t u r es.   T h last   lay er   is   th o u tp u t la y e r ,   wh ich   p r o v id es th o u tp u t p r o b ab ilit ies o f   class es o r   lab els  as sh o wn   in   Fig u r 4.     Evaluation Warning : The document was created with Spire.PDF for Python.
                    I SS N :   1 6 9 3 - 6 9 3 0   T E L KOM NI KA   T elec o m m u n   C o m p u t E l Co n tr o l Vo l.  1 9 ,   No .   2 Ap r il   202 1 :    51 5   -   52 2   518         Fig u r 3 p e rc e p tro n     Fig u r 4 T h e   m u lt il a y e p e rc e p t ro n s       4 . 3 .     CNN     T h C NNs  o r   C o n v Nets  th es ar p ar ticu lar   f o r m   o f   n e u r al  n etwo r k   [ 17 18 ]   th at  tak e s   an   in p u t   im ag in s p ir ed   b y   th wo r k   o f   Hu b el  a n d   W iesel  o n   th e   p r im ar y   v is u al  c o r tex   o f   th e   ca t   [ 1 9 ]   as  s h o wn   i n     Fig u r 5 .   T h C NN  ar ch itectu r h as  two   co m p o n en ts th co n v o lu ti v p ar o r   f ea tu r ex tr ac tio n   p ar t,  we  u s s p ec tr o g r am   tech n iq u to   ex tr ac th f ea t u r e.   A n d   t h class if icatio n   p ar t,   th e   v ec to r   o f   f ea t u r ex t r ac ted   b y   t h e   co n v o l u tiv p ar is   f ee d   to   th f u lly   co n n ec ted   lay er s   lead in g   in to   th o u t p u lay er   w h ich   r ep r esen ts   th class if ier .   T h co n v o l u tiv p ar t c o n s is ts   o f   [ 5 - 2 0 ] .   C o n v o lu tio n al   lay er c o n v o lu tio n   is   o n e   o f   th e   m ain   b u i ld in g   b lo ck s   o f   a   C NN.   b ased   o n   its   co n v o l u tio n al  m ath e m atica p r in cip le   [ 2 1 ] ,   is   co n s is ts   o f   s et  o f   lear n ab le   f ilter s ,   o r   k er n els.  E ac h   f ilter   is   ap p lied   b y   i n d ep e n d en tly   s tr id in g   o v er   th en tire   in p u t,  cr ea ti n g   an   o u tp u f ea t u r m ap   f o r   e ac h   f ilter .   At  ev er y   lo ca tio n ,   m atr i x   m u ltip licatio n   is   p er f o r m ed   an d   s u m s   th r esu lt o n to   th f ea tu r m a p   as  s h o wn   in   Fig u r e   6 .           Fig u r 5 I ll u s tr atio n   o f   t h ar c h itectu r u s ed   f o r   th C NN  with   m an y   la y er s           Fig u r 6 C o n v o lu tio n al  m ath e m atica l p r in cip le  [ 2 0 ]       Po o lin g   lay er :   r ed u ce s   th s ize  o f   th e   im ag e.   I is   an   ess en tial  lay er   o f ten   p lace d   b etwe en   two   lay er s   o f   co n v o lu tio n .   T h R eL co r r ec tio n   lay er   t h er ef o r r ep lac es  all  n eg ativ v alu es  r ec eiv e d .   T h clas s if icatio n   p ar co n s is ts   o f   f u lly   co n n ec te d   lay er s .   Fu lly - co n n ec te d   lay e r s   ar u s ed   af ter   th f in al  co n v o lu tio n al  lay er   in   o r d er   to   m atch   th e   o u tp u s ize  o f   th e   n e u r al  n etwo r k   to   th e   d e s ir ed   o u tp u s ize.   T h e   o u tp u is   th en   p ass ed   th r o u g h   s o f tm ax   f u n ctio n   i n   o r d er   t o   cr ea te   p r o b a b ilit y   r ep r esen tatio n   f o r   t h p r ed ictio n s   f o r   ea ch   class   in   th e   s u p er v is ed   lear n in g   s ettin g .   T o   u s th f u lly - c o n n ec te d   lay e r s ,   th o u tp u t f r o m   t h f in al  co n v o lu tio n al  lay er   is   co m m o n l y   f latten ed   o u t,  o r   th f ea tu r m a p s   ar s u b s am p led   to   s ize  o f   1 .   Evaluation Warning : The document was created with Spire.PDF for Python.
T E L KOM NI KA   T elec o m m u n   C o m p u t E l Co n tr o l         Th co n vo lu tio n a l n e u r a l n etw o r ks fo r   A ma z ig h   s p ee ch   r ec o g n itio n   s ystem   ( Mer ya Telm em )   519   C NN  Ar ch itectu r e:   I n   th is   p ap er   th C NN  u s es to co n v o lu ti o n al  lay er s :     C o n v o lu tio n al  lay e r   with   6 4 - 8   an d   2 0   f ilter s     R elu   lay er     Ma x   p o o lin g   lay er   %with   2 ×2   f ilter     C o n v o lu tio n al  lay e r   with   6 4 - 4   an d   1 0   f ilter s     Ma x   p o o lin g   lay er   %with   2 ×2   f ilter     R elu   lay er       5.   T E N SO RF L O W   T en s o r Flo is   an   o p e n   s o u r ce   lib r ar y   d e v elo p e d   b y   Go o g le s   AI   o r g a n izatio n ,   as  m i d d lew ea r   lib r ar y   th at  ca n   b u s ed   to   b u ild   d ee p   l ea r n in g   n eu r al   n etwo r k s ,   T en s o r Flo is   wr itten   in   p y th o n   a n d   c+ with   a   m o d el  an d   r o b u s ar c h etec tu r e   th at  c an   b e   r u n   o n   m u ltip le  C PUs   an d   GPUs   [ 2 2 ]   as  s h o wn   in   Fig u r e   7 .   Sp ea k e r s   an d   th test   h as  w ith   T en s o r   Flo w,   m ac h in lea r n in g   alg o r ith m s   ar b ased   o n   th e   co n ce p t o f   th d ata  f lo w   g r ap h   o r   co m p u tio n al  g r a p h   [ 2 3 ] .   T h n o d es  o f   th is   g r a p h   r ep r esen t   m ath em atica o p er atio n s .   T h e   e d g es  ar te n s o r s .   I n   ter m s   o f   T en s o r Flo w,   ten s o r   is   ju s m u lti - d im en s io n al  ar r a y .   E ac h   d ata  f lo g r a p h   co m p u tatio n   r u n s   with in   s ess io n   o n   o n o r   m o r C PUs   o r   o n o r   m o r GPUs .   co m p u tatio n al  g r ap h   in   T e n s o r Flo co n s is ts   o f   s ev er al  p ar ts :     T en s o r :   m u lti - d im e n s io n al  a r r ay .     Gr ap h :   ce n tr al  h u b   th at  co n n ec ts   all  th v ar iab les,  p lace h o l d er s ,   co n s tan ts   to   o p e r atio n s .     C o n s tan ts : a r f ix ed   v alu ten s o r s - n o t tr ain a b le.     Var iab les ar ten s o r s   in itialized   in   s ess io n - tr ain ab le.     Placeh o ld er s ar te n s o r s   o f   v alu es  th at  ar e   u n k n o wn   d u r in g   th e   g r ap h   c o n s tr u ctio n ,   b u p ass ed   as  in p u t   d u r in g   s ess io n .     Op er atio n s : a r f u n ctio n s   o n   ten s o r s .     Ses s io n : A   s e s s io n   cr ea tes a  r u n tim in   wh ich   o p er atio n s   ar e   ex ec u ted   an d   T en s o r s   ar e   ev al u ated .   W o p ted   f o r   T en s o r Flo f o r   th f o llo win g   r ea s o n s T en s o r Flo co m es  with   co m p lete  s et  o f   v is u aliza tio to o ls   th at  m ak it  ea s y   to   u n d er s tan d ,   d eb u g ,   an d   o p tim ize  ap p licatio n s .   T en s o r Flo also   h as  lar g co m m u n ity   o f   u s er s   an d   l o ts   o f   d o cu m en ta tio n .           Fig u r 7 T e n s o r Flo ar ch itec tu r r elea s ed   b y   Go o g le  f o r   im p lem en tin g   th e   m ac h in lea r n i n g   m o d els       6.   E XP E R I M E N T S AN RE S UL T S   6 . 1 .     E nv iro nm ent   W ch o o s to   in s tall  T en s o r Flo with   GPU,   u s v ir tu alen v   in s tallatio n   o n   wo r k s tatio n   h p   Z 6 4 0     I n tel  4   co r e ,   an d   we  u s L in u x   Ub u n tu   1 6 . 0 4 ,   to   av o id   t h p r o b lem   [ 2 3 ] .   T h f o llo win g   s o f twar n ee d s   to   b in s talled   p r o p er ly   [ 2 4 ] :     p ip   an d   Vir tu alen v ;     C UDA  T o o lk it 9 . 0 ;     GPU  ca r d   with   C o m p u te  C ap a b ilit y   ( C UDA )   3 . 0 ;     GPU  d r iv er s ;   Evaluation Warning : The document was created with Spire.PDF for Python.
                    I SS N :   1 6 9 3 - 6 9 3 0   T E L KOM NI KA   T elec o m m u n   C o m p u t E l Co n tr o l Vo l.  1 9 ,   No .   2 Ap r il   202 1 :    51 5   -   52 2   520     cu DNN  SDK  v 7 .     Prio r e   to   in s tallin g   T en s o r Flo with   GPU  s u p p o r t,  e n s u r th at  th s y s tem   s u p p o r all  N VI DI s o f twar e   r eq u ir em e n ts .     6 . 2 .     Co rpus   T o   tr ain   o u r   m o d el  we  u s th d ataset  co llected   b y   Sato r H,   an d   al   [ 1 0 ] .   T h s ig n als  wer r ec o r d ed   i n   n o n - n o is y   s p ac b y   th s am e   m icr o p h o n e;  th r ec o r d in g   f il es a r in   MS  W AV  f o r m at  with   s p ec if ic  s am p le  r ate 1 6   k Hz,   16   bi t   m o n o .   E ac h   s p ea k er   was  in v ited   t o   p r o n o n ce   3 3   Am az i g h   letter s   1 0   tim es.  Du r in g   tr ain in g ,   th co r p u s   is   s ep ar ated   in to :     T r ain in g   d ata:   8 0 % o f   th d ata ;     Vali d atio n   d ata:1 0 % o f   th d at is   r eser v ed   f o r   th ev al u atio n   o f   th e   p r ec is io n   d u r in g   th tr ain in g ;     Data   test s : 1 0 % o f   th d ata  is   u s ed   to   ev alu ate  ac c u r ac y   o n c th tr ain in g   is   co m p lete.   I n   th f o llo win g   T ab le  1 .   W d ef in h o m an y   au d io   f iles   u s ed   in   tr ain i n g ,   v alid atio n ,   an d   test   d ata  f o r   3   s ep ar ated   ex p er im e n ts   d escr ib ed   in   th is   p ap e r .       T ab le  1 .   T r ai n in g ,   v alid atio n ,   an d   test   d ata  f o r   th 3   E x p er i m en ts     Co   C o r p u ( a u d i o   f i l e )   Tr a i n i n g   V a l i d a t i o n   Te st     Ex p e r i me n t   1     9 2 4 0   7 3 9 2   9 2 4   9 2 4   Ex p e r i m e n t 2 :   F e ma l e s   9 2 4 0   7 3 9 2   9 2 4   9 2 4   Ex p e r i m e n t   2 :   M a l s   9 2 4 0   7 3 9 2   9 2 4   9 2 4   Ex p e r i m e n t   3 :   a g e   9 - 1 5     4 6 2 0   3 6 9 6   4 6 2   4 6 2   Ex p e r i m e n t   3 :   a g e   1 6 - 30    4 6 2 0   3 6 9 6   4 6 2   4 6 2   Ex p e r i m e n t   3 :   a g e   + 3 0     4 6 2 0   3 6 9 6   4 6 2   4 6 2       6 . 3 .     T ra in CNN   wit T ens o r F lo w   B asically ,   th er ar 3   s tep s   to   b u ild   C NN  m o d el  in   T en s o r f lo w:     Pre p r o ce s s in g   th d ata;     B u ild   th m o d el;   b u ild   th n o d es a n d   o p er atio n s   an d   h o th e y   ar co n n ec ted   to   ea ch   o t h er ;     T r ain   an d   esti m ate  th m o d el  o n   s o m d ata;   W f ee d   o u r   C NN  b y   s p ec to r g r am   r es u lts   f r o m   th p r e p r o ce s s in g   p h ase  to   tr ain   an d   p r ed ict  th lab els.   T h lab els  u s ed   i n   th is   p ap e r   ar « s ilen t",   "y a" ,   "y ab " ,   "y a d ". . .   E ac h   co lu m n   r e p r esen ts   s et  o f   s am p les  th at  was  p r ed icted   to   b ea ch ,   s o   th f ir s co lu m n   r ep r esen ts   all  th clip s   th at  we r in ten d ed   to   b e   s ilen ce .   T h s ec o n d   co lu m n   r e p r esen ts   all  th o s th at  wer p r ed icted   to   b y wo r d ,   an d   th th ir d   " y ab [ 1 4 ] .   At  th en d   o f   th e   tr ain in g .   f in al   co n f u s io n   m a tr ix   will  g en e r ate.   T h c o lu m n s   o f   th is   m atr ix   r ep r esen t   th p r ed ictio n   la b els  an d   th lin es r ep r esen t th ac tu al  l ab els.  So ,   s h g iv es a   g o o d   s u m m ar y   o f   tr ain in g   er r o r s .     6 . 3 . 1 .     E x perim ent   1   T h co r p u s   co n s is ts   o f   9 2 4 0   au d io   f iles ,   2 8   s p ea k er s   was  i n v ited   to   p r o n o u n ce   3 3   letter s   Am az ig h     1 0   tim es.  T h e   co r p u s   is   d iv id e d   in to   7 3 9 2   tr ain ,   9 2 4   test ,   an d   9 2 4   v alid atio n   au d io   f iles .   T h r esu lts   s h o th at   th s y s tem   p r o d u ce s   8 9 . 8 o f   ac cu r ac y   as sh o wn   i n   Fi g u r 8.           Fig u r 8 g r ap h   s h o win g   t h e   tr ain in g   C NN  m o d els p r o g r es s     Evaluation Warning : The document was created with Spire.PDF for Python.
T E L KOM NI KA   T elec o m m u n   C o m p u t E l Co n tr o l         Th co n vo lu tio n a l n e u r a l n etw o r ks fo r   A ma z ig h   s p ee ch   r ec o g n itio n   s ystem   ( Mer ya Telm em )   521   6 . 3 . 2 .     E x perim ent   2   I n   o r d er   to   test   th e   ef f ec t   o f   t h e   g en d er   o n   th q u ality   o f   t h ac o u s tic  m o d el,   th e   co r p u s   co n s is ts   o f   9 2 4 0   au d io   f iles 1 4   f em ales  a n d   1 4   fe m ales’   s p ea k e r s   wer in v ited   to   p r o n o u n ce   3 3   letter s   Am az ig h   1 0   tim es.  I n   th f o ll o win g   T ab le  2   we  d ef in ed   h o m an y   a u d io s   f iles   tr ain in g ,   v alid atio n ,   an d   test   d ata,   an d   r esu lt.  T h e   r esu lts   s h o th at  th b est r esu lts   wer r ec o r d ed   f o r   m ales w ith   9 3 . 8 % o f   ac cu r ac y .       T ab le  2 .   R ec o g n itio n   ac cu r ac y   f o r   ex p er im en t 2 : c o r p u s   co n s i s ts   o f   9 2 4 0   a u d io   f iles     C o r p u s   Tr a i n i n g   V a l i d a t i o n   Te st   A c c u r a c y %   F e mal e s ‘C o r p u s   4 6 2 0   3 6 9 6   4 6 2   4 6 2   9 3 . 3   M a l e s ‘ C o r p u s   4 6 2 0   3 6 9 6   4 6 2   4 6 2   9 3 . 8       6 . 3 . 3   E x perim ent   3   I n   th is   ex p er im en t,  we  ev alu ate  th p er f o r m an ce   o f   s y s tem ,   wh ich   was  tr ain ed   an d   test ed   f o r   d if f er e n t   ag e.   T h c o r p u s   c o n s is ts   o f   1 3 8 6 0   a u d io   f iles :   4 2   s p ea k er s   was  in v ited   to   p r o n o u n ce   3 3   l etter s   Am az ig h   1 0   tim es,  we  h av clas s if ied   th s p ea k er s   ag es  in to   th r ee   ca teg o r ies:   ag 9 - 15,   ag 1 6 - 3 0 ,   a n d   ag +3 0 .   I n   th f o llo win g   T a b le  3   we  d ef in ed   h o m an y   a u d io s   f iles   tr ain i n g ,   v alid atio n ,   a n d   test   d ata,   an d   r esu lt.  T h r esu lts   s h o th at  th b est  r esu lts   wer r ec o r d e d   f o r   +3 0   ag e   ca teg o r y .   T o   test   th ef f ec t o f   s ex   o r   ag v ar iatio n   o n   th e   q u ality   o f   th s y s tem ,   it  h as  b e en   tr ain ed   an d   test ed   with   d if f er en co r p u s es  o u r   r esu lts   ar alr ea d y   en c o u r ag e d th b est r esu lts   p r o d u ce   9 3 . 9 % o f   ac cu r ac y .       T ab le  3 .   R ec o g n itio n   ac cu r ac y   f o r   ex p er im en t 3 : c o r p u s   co n s i s ts   o f   1 3 8 6 0   au d i o   f iles   A g e   C o r p u s   Tr a i n i n g   V a l i d a t i o n   t e st   A c c u r a c y %   9 - 15   4 6 2 0   3 6 9 6   4 6 2   4 6 2   9 1 . 4   6 - 30   4 6 2 0   3 6 9 6   4 6 2   4 6 2   9 2 . 4   + 3 0   4 6 2 0   3 6 9 6   4 6 2   4 6 2   9 3 . 9       6 . 3 . 4 .     Co m pa ra t iv a na ly s is   T h p r esen ted   w o r k   h as  b ee n   co m p ar e d   with   th e x is tin g   s im ilar   task   r ec o g n itio n ,   esp e cially ,   th em o tio n   r ec o g n itio n   s y s tem   SER an d   s o u n d   ev en t   r ec o g n iti o n .   T h f o llo win g   T ab le   4   lis ts   n u m b er   o f   r esu lts   f r o m   o u r   p r e v io u s   wo r k   [ 3 ] ,   Z h en g   W .   Q . ,   et  al .   [ 2 5 ] ,   Z h an g   H . ,   et  al .   [ 2 6 ] ,   a n d   o u r   Pro p o s ed .   I n   o u r   p r e v io u s   wo r k   [ 3 ]   we   h av e   d ev el o p ed   t h Am az ig h   s p ee ch   r ec o g n itio n   s y s tem   b ased   o n   h id d e n   Ma r k o v   m o d el  HM Ms   u s in g   th o p en   s o u r ce   C MU   Sp h in x - 4 .   T h e   co r p u s   co n s is t s   o f   1 1 2 2 0   au d i o   f iles .   T h e   s y s tem   o b tain ed   b est   p er f o r m an ce   o f   9 0   wh en   t r ain ed   u s in g   1 2 8   Gau s s ian   m ix tu r m o d els,  an d   5   n u m b er   o f   HM Ms  s tates.     Z h en g   W .   Q . ,   et  a l.   [ 2 4 ] ,   h av d ev elo p e d   th em o tio n   r ec o g n i tio n   s y s tem   b ased   o n   co n v o lu ti o n   n eu r al  n etwo r k s   with   2   co n v o lu tio n s +2   p o o lin g   lay er s ,   an d   u s in g   lab elled   tr ain in g   au d i o   d ata  an d   u s ed   th e   lo g - s p ec tr o g r am   to   ex tr ac f ea tu r e,   co m p o n e n a n aly s is   P C to   r ed u ce   th d im en s io n ality .   T h s y s tem   ac h iev ed   ab o u 4 0 ac cu r ac y .   Z h a n g   H . ,   et  al .   [ 2 5 ] ,   h av p r o p o s ed   th s o u n d   ev e n d etec tio n   b ased   o n   co n v o l u tio n   n eu r al  n etwo r k s   with   2   co n v o lu tio n   +2   p o o lin g   lay er s ,   a n d   s p ec tr o g r am   to   ex tr ac f ea tu r e .   T h e   s y s tem   th s y s tem   ac h iev ed   ab o u 9 4 . 0 7 o f   ac cu r ac y .   I n   o u r   p r o p o s ed   wo r k th s y s tem   o b tain ed   t h b est  p er f o r m an ce   o f   9 3 . 9 o f   ac cu r ac y   wh e n   tr ain ed   u s in g   +3 0   ag ca te g o r y .   R esu lts   ar v er y   s atis f ac to r y   if   co m p ar e d   with   th e x is tin g   s im ilar   wo r k s .         T ab le  4 .   T a b u lar   co m p ar is o n   o f   th r ec o g n itio n   ac cu r ac y   o f   th p r o p o s ed   s y s tem s     A p p r o c h   C o r p u s   A c c u r a c y %     M F C C - H M M   1 1 2 2 0   90     S p e c t r + C N N   ( 2   C o n v + 2   p o o l )   5 2 8 8   33     S p e c t r + P C A + C N N   ( 2   C o n v + 2   p o o l )   5 2 8 8   40     M F C C   + C N N   ( 2   C o n v + 2   p o o l )   4 0 0 0   9 4 . 0 7   Ex p : 1   M F C C   + C N N   ( 2   C o n v + 2   p o o l )   9 2 4 0   8 9 . 8   Ex p : 2 F e m a l e s   M F C C   + C N N   ( 2   C o n v + 2   p o o l )   4 6 2 0   9 3 . 3   Ex p : 2 M a l s   M F C C   + C N N   ( 2   C o n v + 2   p o o l )   4 6 2 0   9 3 . 8   Ex p : 3 A g e 9 - 15   M F C C   + C N N   ( 2   C o n v + 2   p o o l )   4 6 2 0   9 1 . 4   Ex p : 3 A g e 1 6 - 30   M F C C   + C N N   ( 2   C o n v + 2   p o o l )   4 6 2 0   9 2 . 4   Ex p : 3 A g e + 3 0   M F C C   + C N N   ( 2   C o n v + 2   p o o l )   4 6 2 0   9 3 . 9           Evaluation Warning : The document was created with Spire.PDF for Python.
                    I SS N :   1 6 9 3 - 6 9 3 0   T E L KOM NI KA   T elec o m m u n   C o m p u t E l Co n tr o l Vo l.  1 9 ,   No .   2 Ap r il   202 1 :    51 5   -   52 2   522   7.   CO NCLU SI O N   I n   th is   w o r k ,   a   s im p le  m ac h i n lear n in g   m o d el   th at  r ec o g n i ze s   3 3   Am az ig h   letter s   u s in g   C NN  an d   GPU  co m p u tatio n   was  d ev elo p ed .   W f o llo wed   MFC C   T ec h n iq u to   ex t r ac th f ea tu r es.  T h s y s tem   was  b u ilt  with   o p en   s o u r ce   T en s o r Flo w .   T h s y s tem   o b tain ed   th b e s r esu lts   wh en   tr ain ed   u s in g   +3 0   ag ca teg o r y   p r o d u ce d   9 3 . 9 % o f   ac cu r ac y .   Ou r   wo r k   a n d   am o n g   t h f ir s co n tr ib u tio n s   ad d r ess   th Am a zig h   ASR   b ased   o n   co n v o l u tio n al  n eu r al  n etwo r k s   an d   GPU  co m p u tatio n .   I n   p er s p ec tiv e,   to   o v er co m th o v e r f itti n g   p r o b lem   an im p r o v th p e r f o r m an ce ,   w u s Dr o p wea k   R eg u lar izatio n   f o r   C NNs  in   Am az ig h   r ec o g n itio n   s y s tem   d r o p wea k   is   b ased   o n   th e   id ea   o f   d r o p p in g   th e   wea k   weig h ts   in   a   n e u r al  n etwo r k ,   we  m ea n   s ettin g   its   v alu e   to   ze r o   s o   h ca n n o t i n f lu en ce   o n   th o u tp u t o f   its   p r o ce s s in g   u n it.       RE F E R E NC E S     [1 ]   M .   Ha m id i,   e a l .,   Am a z ig h   d ig it t h ro u g h   in tera c ti v e   sp e e c h   re c o g n i ti o n   sy ste m   in   n o is y   e n v iro n m e n t,   In ter n a t io n a J o u rn a o S p e e c h   T e c h n o l o g y ,   v o l .   2 3 ,   n o .   1 ,   p p .   1 0 1 - 1 0 9 ,   De c e m b e 2 0 2 0 .   [2 ]     M.   Telm e m ,   e a l . ,   Am a z ig h   sp e e c h   re c o g n it io n   sy ste m   b a se d   o n   CM USp h in x ,   Pr o c e e d in g s   o f   t h e   M e d i ter ra n e a n   S y mp o si u m o n   S m a rt Ci ty A p p l ica ti o n s S p rin g e r p p .   3 9 7 - 4 1 0 ,   Ja n u a ry   2 0 1 7 .   [3 ]   O.   Zea lo u k ,   e a l .,   Vo c a p a ra m e ters   a n a ly sis o sm o k e u si n g   a m a z ig h   lan g u a g e , ”  I n ter n a ti o n a l   J o u rn a l   o f   S p e e c h   T e c h n o l o g y ,   v o l.   2 1 ,   n o .   1 ,   p p .   8 5 - 91 ,   2 0 1 8 .   [4 ]   M .   Telm e m ,   M . ,   e a l .,   Esti m a ti o n   o th e   o p t ima HMM   p a ra m e ters   fo a m a z ig h   s p e e c h   re c o g n it i o n   s y ste m   u si n g   CM U - sp h i n x ,   Pr o c e d ia   Co mp u t e r S c ien c e v o l .   1 2 7 ,   p p .   9 2 - 1 0 1 ,   2 0 1 8 .   [5 ]   A.   Bh a n d a re ,   e a l. ,   Ap p li c a ti o n s   o c o n v o lu t io n a n e u ra l   n e two r k s,   In ter n a ti o n a J o u rn a o C o mp u t e S c ien c e   a n d   In fo rm a t io n   T e c h n o l o g ies ,   v o l.   7 ,   n o ,   5 ,   p p .   2 2 0 6 - 2 2 1 5 ,   2 0 1 6 .   [ 6 ]   D.P a laz e a l. ,   " E n d - To - E n d   Ac o u stic  M o d e li n g   Us in g   C o n v o lu ti o n a Ne u ra l   Ne two rk s   F o r   HM M - B a se d   Au to m a ti c   S p e e c h   Re c o g n it i o n , "   S p e e c h   Co mm u n ica ti o n ,   v o l.   1 0 8 ,   p .   1 5 - 3 2 ,   2 0 1 9 .   [7 ]   S .   K.   M o h a p a tra,   e a l .,   Dia b e tes   d e tec ti o n   u si n g   d e e p   n e u ra l   n e tw o rk , ”  I n ter n a t io n a l   Co n fer e n c e   o n   S o ft   Co m p u t in g   S y ste ms ,   v o l.   4 ,   n o .   4 ,   De c e m b e 2 0 1 8 p p .   2 4 3 - 2 4 6 .     [8 ]   H.  K.  P a lo ,   e a l .,   Emo ti o n   a n a l y sis  fro m   sp e e c h   o d iffere n t   a g e   g ro u p s ,   Pro c e e d in g o th e   S e c o n d   In ter n a ti o n a l   Co n fer e n c e   o n   Res e a rc h   i n   In telli g e n a n d   Co m p u ti n g   in   En g in e e ri n g ,   v o l.   1 0 ,   Ju n e   2 0 1 7 p p .   2 8 3 - 2 8 7 .   [9 ]   H.  Zh a n g ,   e a l .,  Co m p a riso n   o n   n e u ra n e tw o rk   b a se d   a c o u st ic  m o d e in   m o n g o li a n   sp e e c h   re c o g n it i o n ,   Asia n   L a n g u a g e   Pr o c e ss in g   (IA L P) N o v e m b e 2 0 1 6 .   [1 0 ]   H.   S a to ri,   e a l . ,   Vo ix   c o m p a ra iso n   e n tre  f u m e u rs  e n o n - f u m e u rs  a   l' a id e   d e   la  re c o n n a issa n c e   v o c a le  HMM   S y stè m e ,”   In ter n a t io n a J o u rn a o S p e e c h   T e c h n o l o g y v o l .   20 ,   n o .   4 ,   p p .   7 7 1 - 7 7 7 ,   2 0 1 7 .   [1 1 ]   M . Am e u r,   e a l . ,   I n it iati o n   la  lan g u e   a m a z ig h ,   I n stit u Ro y a d e   l a   Cu l tu re   Ama zi g h e ,   2 0 0 4 .   [1 2 ]   X.  Li u ,   De e p   c o n v o lu t io n a a n d   LS TM   n e u ra n e tw o rk fo a c o u stic  m o d e ll in g   i n   a u t o m a ti c   sp e e c h   re c o g n i ti o n , ”  p p .   1 - 9 ,   2 0 1 8 .   [1 3 ]   K.   Ku m a r,   e t   a l .,   Hi n d i   sp e e c h   re c o g n it i o n   sy ste m   f o c o n n e c t e d   wo r d u si n g   HTK,   I n ter n a ti o n a l   J o u r n a l   o f   Co mp u t a ti o n a S y ste ms   En g i n e e rin g ,   v o l.   1 ,   n o   1 ,   p p .   2 5 - 3 2 ,   2 0 1 2 .   [1 4 ]   B. J.  M o h a n ,   e a l. ,   " S p e e c h   Re c o g n it i o n   Us in g   M F CC  a n d   DTW , "   2 0 1 4   In ter n a ti o n a C o n fer e n c e   o n   A d v a n c e i n   El e c trica En g in e e rin g   (ICAE E) ,   IEE E,   2 0 1 4 p p 1 - 4 .   [1 5 ]   S.   Vie ira,  S ,   e a l . ,   Us in g   d e e p   l e a rn in g   t o   i n v e stig a te  t h e   n e u r o i m a g in g   c o rre late o p sy c h iatric  a n d   n e u ro l o g ica l   d iso rd e rs:  m e th o d s   a n d   a p p li c a ti o n s,”   Ne u ro sc ien c e   Bi o b e h a v io ra l   Rev iews n o .   7 4 ,   p p .   58 - 75,   2 0 1 7 .   [1 6 ]   M.   Telm e m ,   e a l . ,   c o m p a ra ti v e   stu d y   o HMM a n d   CNN   a c o u stic  m o d e in   a m a z ig h   re c o g n it io n   sy ste m ,   Emb e d d e d   S y ste ms   a n d   Art if icia l   In telli g e n c e .   S p ri n g e r p p .   5 3 3 - 5 4 0 ,   Ap r il   2 0 2 0 .   [1 7 ]   O.   Ab d e l - Ha m id ,   e a l .,  Co n v o lu ti o n a n e u ra n e tw o rk fo sp e e c h   re c o g n it i o n ,   ACM   T ra n s a c t io n o n   a u d i o ,   sp e e c h ,   a n d   l a n g u a g e   p ro c e ss in g ,   v o l .   2 2 ,   n o   1 0 ,   p p .   1 5 3 3 - 1 5 4 5 ,   O c to b e 2 0 1 4 .   [1 8 ]   K.   Krish n a ,   e a l . ,   stu d y   o a ll - c o n v o lu ti o n a e n c o d e rs  fo r   c o n n e c ti o n ist  tem p o ra c las sifica ti o n , ”  2 0 1 8   IE EE   In ter n a t io n a C o n fer e n c e   o n   Ac o u stics ,   S p e e c h   a n d   S ig n a Pro c e ss in g   (IC AS S P) 2 0 1 8 .   [1 9 ]   D.  H.   Hu b e l e a l .,   Re c e p ti v e   fie ld s ,   b i n o c u lar  in tera c ti o n   a n d   fu n c ti o n a a rc h i tec tu re   in   t h e   c a t' v isu a c o rtex ,   T h e   J o u rn a o p h y sio l o g y ,   v o l.   1 6 0 ,   n o   1 ,   p p .   1 0 6 ,   Ja n u a ry   1 9 6 2 .   [2 0 ]   A.   Kh a n ,   e a l . ,   su rv e y   o t h e   re c e n a rc h it e c tu re o d e e p   c o n v o lu ti o n a l   n e u ra n e two r k s, ”  Arti fi c ia In tell ig e n c e   Rev iew ,   2 0 2 0 .   [ 2 1 ]   B r a n d o n   R o h r e r ,   H o w   c o n v o l u t i o n a l   n e u r a l   n e t w o r k s   w o r k ,   [ O n l i n e ] .   A v a i l a b l e :   h t t p s : / / b r o h r e r . g i t h u b . i o / h o w c o n v o l u t i o n a l n e u r a l n e t w o r k s w o r k :   h t m l .   [2 2 ]   [On li n e ].   A v a il a b le:  h tt p s:// ww w. ten so ro w. o rg / tu t o rials/se q u e n c e s/a u d io re c o g n i ti o n .   [2 3 ]   G o ld sb o ro u g h ,   P . ,   A t o u r   o Ten so ro w ,   a rX iv p re p rin a rX iv:1 6 1 0 . 0 1 1 7 8 ,   2 0 1 6 .   [2 4 ]   Ten so rF l o w,  In sta ll   Ten so rF lo 2 ,   [On li n e ].   Av a il a b le:  h tt p s:/ /www . ten so ro w. o rg / in sta ll/ .   [2 5 ]   W.   Q.  Z h e n g ,   e t   a l. ,   An   e x p e ri m e n tal  stu d y   o sp e e c h   e m o t io n   re c o g n it i o n   b a se d   o n   d e e p   c o n v o lu ti o n a n e u ra l   n e two rk s , ”  2 0 1 5   I n ter n a t io n a c o n fer e n c e   o n   a _ e c ti v e   c o mp u ti n g   a n d   i n telli g e n i n ter a c ti o n   (ACII ) ,   S e p tem b e 2 0 1 5 p p .   8 2 7 - 831 .   [2 6 ]   H.  Zh a n g ,   e a l .,   Ro b u st  s o u n d   e v e n re c o g n it i o n   u si n g   c o n v o lu t i o n a n e u ra n e two r k s,”   2 0 1 5   I EE in ter n a ti o n a c o n fer e n c e   o n   a c o u stics ,   sp e e c h   a n d   si g n a p ro c e ss in g   (IC AS S P) ,   2 0 1 5 p p .   5 5 9 - 5 6 3 .         Evaluation Warning : The document was created with Spire.PDF for Python.