I nte rna t io na l J o urna l o f   E lect rica l a nd   Co m p ute r  E ng in ee ring   ( I J E CE )   Vo l.   10 ,   No .   4 ,  A u g u s t   2020 ,   p p .   4 3 1 3 ~ 4 3 2 1   I SS N:  2 0 8 8 - 8708 ,  DOI : 1 0 . 1 1 5 9 1 / i j ec e . v 1 0 i 4 . pp 4 3 1 3 - 4 3 2 1          4313       J o ur na l ho m ep a g e :  h ttp : //ij ec e. ia esco r e. co m/in d ex . p h p /I JE C E   Co m pa riso n b etw een handw ritt en  w o rd and sp eech  record in  real - ti m e  using  C NN  a rchi tectures       J a v ier  O .   P inzó n - Are na s ,   Ro bin s o n J i m é nez - M o re no   F a c u lt y   o f   En g in e e rin g ,   Un iv e rsid a d   M i li tar   Nu e v a   G ra n a d a ,   Co lo m b ia       Art icle  I nfo     AB ST RAC T   A r ticle  his to r y:   R ec eiv ed   Oct  1 0 ,   2 0 1 9   R ev i s ed   Feb   5 ,   2 0 2 0   A cc ep ted   Feb   25 ,   2 0 2 0       T h is  p a p e r  p re se n ts  th e   d e v e lo p m e n t  o f   a   s y ste m   o f   c o m p a riso n   b e tw e e n   w o rd s  sp o k e n   a n d   w rit ten   b y   m e a n s  o f   d e e p   lea rn i n g   tec h n iq u e s.  T h e re     a re   u se d   1 0   w o rd s  a c q u ired   b y   m e a n s  o f   a n   a u d io   f u n c ti o n   a n d ,   th e se   sa m e   w o rd s,  a re   w rit ten   b y   h a n d   a n d   a c q u ired   b y   a   w e b c a m ,   in   su c h   a   w a y   a s     to   v e rify   if  th e   tw o   d a ta  m a tch   a n d   sh o w   w h e th e r  o r  n o t  it   is  t h e   re q u ired   w o rd .   F o r   t h is,  2   d if f e r e n t  CNN   a rc h it e c tu re s  w e re   u se d   f o r  e a c h   f u n c ti o n ,   w h e re   f o r  v o ice   re c o g n it io n ,   a   s u it a b le  CNN   w a s  u se d   t o   i d e n ti f y   c o m p lete   w o rd s  b y   m e a n s  o f   th e ir  f e a tu re s  o b tain e d   w it h   m e l  f re q u e n c y   c e p stra l  c o e ff icie n ts,  w h il e   f o r  h a n d w rit in g ,   a   f a ste r  R - CNN   w a s  u se d ,   so   t h a t  it     b o t h   l o c a tes   a n d   i d e n ti f ies   th e   c a p tu re d   w o rd .   T o   im p le m e n t  th e   sy st e m ,     a n   e a s y - to - u se   g ra p h ica l  in terf a c e   w a s  d e v e lo p e d ,   w h ich   u n it e s  th e   tw o   n e u ra l  n e tw o rk s  f o r  it s  o p e ra ti o n .   W it h   th is,  tes ts  we re   p e r fo rm e d   in     re a l - ti m e ,   o b tain i n g   a   g e n e ra l   a c c u ra c y   o f   9 5 . 2 4 % ,   a ll o w in g   sh o w in g     th e   g o o d   p e rf o rm a n c e   o f   th e   i m p le m e n ted   s y ste m ,   a d d in g   th e   re sp o n se   sp e e d   f a c to r,   b e in g   les s t h a n   2 0 0   m s in   m a k in g   th e   c o m p a riso n .   K ey w o r d s :   C NN   Fas ter   R - C NN   Han d w r iti n g   r ec o g n itio n   Sp ee ch   r ec o g n i tio n   Co p y rig h t  ©   2 0 2 0   In stit u te o f  A d v a n c e d   E n g i n e e rin g   a n d   S c ien c e .    Al l  rig h ts re se rv e d .   C o r r e s p o nd ing   A uth o r :   R o b in s o n   J i m én ez - Mo r en o ,   Me ch atr o n ic s   E n g in ee r i n g   P r o g r a m ,   Fac u lt y   o f   E n g i n ee r i n g ,   Un i v er s id ad   Militar   Nu e v a  Gr an ad a,   C ar r er a  1 1   #   1 0 1 - 8 0 ,   B o g o tá  D.   C . ,   C o lo m b ia.   E m ail:  r o b in s o n . j i m en ez @ u n i m ilit ar . ed u . co       1.   I NT RO D UCT I O N   T h e  i m p le m e n tatio n   o f   p atter n   r ec o g n itio n   ap p licatio n s   i n   d if f er e n t  t y p e s   o f   d ata,   s u c h   as  s i g n al s   f r o m   s e n s o r s   [ 1 ] ,   au d io   [ 2 ,   3 ] ,   o r   ev en   in   i m a g es  [ 4 ,   5 ] ,   h as  b ee n   g r o w i n g   ex p o n e n tia ll y ,   g i v i n g   w a y   to     th e  cr ea tio n   o f   a  g r ea t  v ar iet y   o f   tech n iq u e s   to   co v er   ea c h   t y p e   o f   p atter n .   W ith i n   t h e s e  tech n iq u es,  t h er e     is   an   ar ea   ca lled   d ee p   lear n in g   [ 6 ] ,   w h ich   co n tain s   r o b u s t  p atter n   r ec o g n itio n   m et h o d s   s u c h   as  r ec u r r en t   n eu r al  n e t w o r k s   [ 7 ,   8 ] .   T h at   a r e  m ai n l y   u s ed   f o r   s p ee ch   r ec o g n itio n   an d   w r i tin g ,   as  w ell  as  d e ep   b elief   n eu r al   n et w o r k s   [ 9 ] ,   u s ed   f o r   i m ag e  r ec o g n itio n   an d   n a tu r al  la n g u a g e.   An o th er   m et h o d   o f   d ee p   lear n in g   t h at  h a s   b ee n   e v o lv i n g ,   m ai n l y   s i n ce   ea r l y   2 0 1 2   [ 6 ] ,     is   th e  co n v o lu t io n al  n e u r o n al  n et w o r k   ( C NN)   [ 1 0 ] ,   w h ic h   w a s   o r ig in al l y   u s ed   to   r ec o g n ize  o n l y   p atter n s   i n   i m a g es.  Ho w e v er ,   d u e  to   t h e  d em o n s tr atio n   o f   its   ca p ab ilit y   to   r ec o g n ize  u p   to   1 0 0 0   d if f e r en t  ca te g o r ies  [ 1 1 ]   an d   to   s u p p o r t a   lar g e  n u m b er   o f   h id d en   la y er s ,   w h ich   e v e n   i m p r o v ed   its   p er f o r m an ce   [ 1 2 ,   1 3 ] ,   its   ap p licatio n   h as  b ee n   ex te n d ed   to   d if f er en t  f ield s ,   b ein g   u s ed   f o r   s p ee ch   r ec o g n itio n   [ 1 4 ,   1 5 ] ,   elec tr o m y o g r ap h i c     s ig n al s   [ 1 6 ,   1 7 ] ,   an d   ev en   as  a  m ea n s   o f   h u m a n - m ac h i n e  in ter ac tio n   [ 1 8 ,   1 9 ] .   W ith   r esp ec t  to   s p ee ch   r ec o g n itio n ,   C N Ns  h a v e  b ee n   ap p lied   s u cc es s f u ll y   i n   d i f f er en t  d ev e lo p m en ts ,   s u c h   a s   t h e  o n e  s h o w n   in   [ 2 0 ] ,   w h er e  d ee p   C NN  ar ch itectu r es  ar e  co m p ar ed   ag ain s t  a  d ee p   n eu r al  n et w o r k   f o r   lar g e - s ca le  s p ee c h   tas k s ,   h av i n g   a  r elati v e  i m p r o v e m e n t  o f   1 2 %  to   1 4 %.  I n   an o th er   d ev elo p m e n t,  th is   tec h n iq u e  is   u s ed   to   r ec o g n ize  6   d if f er e n t  la n g u a g es,  o b tai n in g   a  w o r d   er r o r   r ate  o f   1 1 . 8 %  [ 2 1 ] .   T h ese  w o r k s   u s u a ll y   u s e  p h o n e m e s     to   r ec o g n ize  t h e  w o r d s ,   h o w e v er ,   f o r   an   ap p licatio n   w h er e   n o t  th e  w h o le  o f   a  lan g u ag e   is   u s ed ,   b u t  s o m e     o f   th e  w o r d s ,   ex tr ac ti n g   th e  p h o n e m es  w o u ld   r esu lt  in   a  v e r y   co m p le x   tas k   f o r   th e  s i m p l icit y   o f   t h e  w o r k ,     Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 8 - 8708   I n t J   E lec  &   C o m p   E n g ,   Vo l.  10 ,   No .   4 ,  A u g u s t 2 0 2 0   :   4 3 1 3   -   4321   4314   f o r   th is   r ea s o n ,   as  p ar t  o f   t h e  co n tr ib u tio n ,   th i s   p ap er   p r o p o s es  u s in g   a  C NN  b ased   o n   co m p lete - w o r d   r ec o g n itio n ,   s o   t h at  t h e  i n p u t  to   th e  n et w o r k   i s   a  w h o le  p r o ce s s ed   au d io ,   m a k i n g   its   i m p le m en ta tio n   m u c h   ea s ier   f o r   th e  r ec o g n itio n   o f   th e  w o r d s   r eq u ir ed .   On   th e  o th er   h an d ,   r eg ar d in g   th e  lo ca tio n   o f   o b j ec ts   in   im ag es,  b ec au s e  C NN  r ec o g n iz es  a  s in g le   o b j ec t  in   a  to tal  i m a g e,   a  v ar ia n t  w a s   d ev elo p ed   to   allo w   it  t o   id en tify   s ev er al  o b j ec ts   w it h in   t h e  s a m e  i m a g e,   g en er ati n g   a  n e w   v ar iatio n   o f   th e  n e t w o r k   ca lled   r eg io n - b a s ed   C NN  ( R - C N N)   [ 2 2 ]   th at,   in   co m b i n atio n   w i th   a  tech n iq u e  o f   id en ti f y i n g   r eg i o n s   o f   in ter est  ( R o I ) ,   th e  n et wo r k   is   ab le  to   lo ca te  an d   id en tify   d i f f er e n t  o b j ec ts   b u t  w it h   a  p r o ce s s in g   ti m e  o f   m o r e  th an   1 0   s ec o n d s ,   m a k i n g   i t  v er y   s lo w   f o r   an y   ap p li ca tio n   in   r ea l - ti m e.     Fo r   th is   r ea s o n ,   o th er   v ar iati o n s   w er e  i m p le m e n ted ,   r ea ch in g   a  n et w o r k   ca lled   Fas ter   R - C NN  [ 2 3 ]   th at,   in s tead   o f   u s i n g   a   s ep ar ate  al g o r ith m   to   d etec t  R o I s ,   h a s   a   r eg io n   p r o p o s al  n et w o r k   ( R P N)   w it h   w h ich   it  s h ar es  t h e  w ei g h ts   a n d   lear n i n g ,   w h ic h   n o t  o n l y   in cr ea s e s   it s   r o b u s tn e s s   b u t  also   r ed u ce s   t h e  p r o ce s s in g   ti m e   th e  n et w o r k   tak es  to   lo ca te  all  th e  o b j ec ts   o f   in ter est  in   an   i m ag e.   Ho w ev er ,   alt h o u g h   t h er e  ar e  w o r k s   t h at   C NN  h a v e  u s ed   to   r ec o g n iz e  h an d w r itte n   w o r d s ,   s u c h   as  t h o s e  p r esen ted   in   [ 2 4 ,  2 5 ] ,   th e  v ar iatio n   to   lo ca te   th e m   w i th o u t  th e  n ee d   f o r   an   ad d itio n al  alg o r ith m   h a s   n o t   b ee n   u s ed ,   f o r   th at  r ea s o n ,   t h is   p ap er   ex p lo r es    th e  u s e  o f   a  Fas ter   R - C NN  to   l o ca te  1 0   d if f er e n t h a n d w r itte n   w o r d s ,   to   v er if y   t h eir   o p er atio n .   T h is   w o r k ,   in   ad d itio n   to   th e  af o r em e n tio n ed ,   s ee k s   to   i m p le m en t  a  v er s at ile  ap p licatio n   o f   tr u t h   ch ec k   b et w ee n   w h at  a  u s er   s a y s   a n d   w h at  t h e y   w r ite,   th er e f o r e,   it  is   p r o p o s ed   to   m ak e  th e  co m p ar is o n   o f   1 0   d if f er e n t  w o r d s ,   u s i n g   a  s p ee ch   r ec o g n it io n   s y s te m   a n d   o n e  o f   lo ca tio n   a n d   id en ti f icat io n   o f   h a n d w r iti n g ,   u n i ted   in   a  s i m p le  i n ter f ac e,   w h ic h   allo w s   d o in g   t h is   ta s k   i n   r ea l - ti m e.   T h is   p ap er   is   d iv i d ed   in to   4   s ec tio n s ,   w h er e  s ec tio n   2   d escr ib es  th e  ar ch itect u r es  i m p le m en te d   f o r   s p ee ch   r ec o g n itio n   an d   h an d w r itte n   w o r d   lo ca tio n   an d   id en ti f icatio n ,   an d   th e  in ter f ac e  d ev elo p ed   f o r   th e  tas k .   I n   s ec tio n   3 ,   th e  r esu lts   o f   t h e  r ea l - ti m e   test   p er f o r m ed   ar e  p r esen ted .   Fin all y ,   s ec t io n   4   s h o w s   th e  c o n clu s io n s   r ea ch ed .       2.   M E T H O DS A ND  M AT E RI AL S   T h e  d ev elo p m e n t  o f   t h is   w o r k   is   b ased   o n   th e  r ec o g n itio n   o f   1 0   d if f er e n t  w o r d s   i n   th e  Sp an is h   lan g u a g e  t h at  ca n   b e  w r it ten   b y   a  u s er   o n   a  p ap er ,   w h ic h   ar e:    “A b aj o ”  ( Do w n ) ,   “A b r a”   ( Op en ) ,   “A r r ib a”   ( Up ) ,   “ Av a n ce ”  ( A d v a n ce ) ,   “Ci er r e”   ( C lo s e) ,   “ Der e”   ( s h o r t e n in g   m o d if ica tio n   o f   R i g h t) ,   “ I zq u i”  ( s h o r ten in g   m o d i f icat io n   o f   L e f t) ,   “ No ”,   “ P ar e”   ( Sto p ) ,   “ Si”   ( Yes) ,   ad d itio n all y ,   th e   r ec o g n itio n   o f   th ese   is   s u b j ec t  to   w h at  t h e  u s er   s a y s   b y   m ea n s   o f   h is   v o ice.   T ak in g   i n t o   ac co u n t  th i s ,   th e  d ev e lo p m en t  d ep en d s   o n     th e  i m p le m e n tatio n   o f   t w o   m ai n   f u n ct io n s ,   w h ich   ar e:  o n e  r esp o n s ib le  f o r   r ec o g n izi n g   w h at  t h e  p er s o n     h as  w r itte n   a n d   an o th er   r esp o n s ib le  f o r   p r o ce s s in g   th e  i n p u t  au d io ,   in   s u ch   a  w a y   t h at  it  id en ti f ies  t h e  w o r d   th at  t h e  u s er   s a y s .   Fo r   th i s ,   t w o   d if f er e n t  C N N  ar ch itec tu r es  ar e  b u ilt  a n d   tr ain ed   i n   o r d er   to   ex ec u te     s aid   f u n ctio n s ,   a n d   th ese  ar e  i n teg r ated   i n to   a  g r ap h ic  i n ter f ac e  w h ich   i s   w h at  th e  u s er   u s es.  I ts   d ev elo p m e n t   is   ex p lai n ed   b elo w .     2 . 1 .     CNN  f o r  ha nd w rit ing   re co g nitio n   T h e  f u n c tio n   o r ien ted   to   r ec o g n ize  w h a t  th e  u s er   w r o te  h as  t w o   p ar ts   th at  ar e  th e  lo ca tio n   o f   th e  te x t   an d   its   s u b s eq u en t  cla s s i f icati o n .   T h e  o b j ec tiv e  w as  to   i m p l e m en t  a  s in g le  n e u r al  n et w o r k   th at  is   ca p ab le  o f   ca r r y i n g   o u t   b o th   p ar ts ,   f o r   t h is   r ea s o n ,   it   w as  p r o p o s ed   to   i m p le m e n t   a  n e u r al  n et w o r k   b ased   o n   r e g io n s ,     t y p e  Fas ter   R - C NN  th at,   th a n k s   to   its   h ig h   r esp o n s e  ca p ac ity ,   allo w s   t h e  d ev elo p m en t  o f   alg o r ith m s   ca p ab le   o f   lo ca tin g   a n d   r ec o g n izi n g   wo r d s   in   r ea l - ti m e.   B ased   o n   th i s ,   th e  ar ch itect u r e  s h o w n   in   T ab le  1   is   p r o p o s ed ,   w h ic h   co n s i s ts   o f   s m a ll  s q u ar e  f ilter s   o f   5 x 5 ,   3 x 3 ,   an d   2 x 2 ,   s in ce   in   ter m s   o f   r eso l u tio n ,   th e  w o r d s   d o   n o t   h av e  lar g e  s ize,   g i v i n g   t h e  p o s s ib ilit y   t h at  th e  n et w o r k   is   ab le  to   lear n   b o th   g en er alitie s   an d   m o r e  s p ec if ic   d etails  o f   ea c h   w o r d .   L i k e w i s e,   ze r o s   ar e  ad d ed   to   th e  ed g es  o f   t h e  i m a g es  t h at  p as s   t h r o u g h   t h e  n et w o r k   b y   m ea n s   o f   p ad d in g ,   s o   t h at  i f   a  tr ac e  is   v er y   clo s e  to   th e  ed g e,   th e  n et w o r k   i s   ab le  to   lear n   o r   tak e  in to   ac co u n t   its   ch ar ac ter is tic s .   A d d itio n al l y ,   co u p led   to   th e  C NN,   th er e  is   a   s ec o n d   p at h ,   w h ic h   i s   a  r eg io n   p r o p o s al  n et w o r k   ( R P N) ,   in   c h ar g e  o f   l ea r n in g   t h e  r eg io n s   o r   lo ca tio n   o f   th e  w o r d s .   T h ese  t w o   ar e  j o in ed   b y   m ea n s   o f   a  r eg io n   o f   in ter est  p o o lin g   ( R o I - Ma x p o o lin g ) ,   w h ic h   allo w s   to   h a v e  d y n a m ic  s izes  o f   t h e  i n co m in g   f ea t u r e   m ap s   to   th is   la y er ,   i.e .   d e p en d in g   o n   th e  b o x   lo ca ted   in   th e  R P N,   it  p er f o r m s   th e  co r r esp o n d in g   d o w n s a m p li n g   to   o b tain   t h e  r eq u ir ed   in p u t   s ize  in   th e   n e x t  la y er .   A   d atab ase  co n tai n i n g   a  to tal  o f   1 2 0 0   g r a y s ca le  i m a g es  i s   b u ilt,  o f   w h ic h   1 0 0 0   ar e  u s ed   to   ca r r y   o u t  t h e  tr ai n in g   o f   t h e  n et w o r k   a n d   2 0 0   to   v alid ate  it.  E ac h   i m a g e  w as  ta k en   d ir ec tl y   b y   a  w eb ca m   a n d   co n t ain s   t h e  1 0   w o r d s   to   b e  id en tif ied ,   w h ic h   w er e  m an u all y   lab eled ,   as s h o w n   i n   Fig u r e  1 .   W ith   th is ,   t h e  tr ain in g   o f   t h e  n eu r al  n et w o r k   i s   p er f o r m ed   an d   later   its   v alid atio n .   I n   th i s   last   s tep ,   th e  n et w o r k   o b tain s   9 8 . 9 %  o f   av er ag e  ac c u r ac y   in   ter m s   o f   th e  id e n ti f icatio n   o f   t h e  w o r d s   w it h i n   th e   i m ag e,   an d   a  m ea n   a v er ag e  p r ec is io n   ( m A P )   in   t h e  lo ca tio n   o f   t h e  b o u n d i n g   b o x e s   o f   9 9 . 2 3 %.  T h e  av er ag e  p r ec is io n   o f   ea ch   w o r d   is   s h o w n   i n   Fi g u r e  2 ,   w i th   t h e  w o r d   " Yes"   b e in g   th e  least  ac c u r ate,   w it h   9 8 %,  m ai n l y   b ec au s e   th e  esti m ated   b o x   te n d ed   to   b e   a  litt le  lar g er   th a n   t h e  g r o u n d   tr u th   s et.   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J   E lec  &   C o m p   E n g     I SS N:  2 0 8 8 - 8708       C o mp a r is o n   b etw ee n   h a n d w r itten   w o r d   a n d   s p ee ch   r ec o r d   in …   ( Ja vier O .   P in z ó n - A r en a s )   4315   T ab le  1 .   Fas ter   R - C NN  a r ch it ec tu r e   I n p u t   2 0 x 3 0   C o n v o l u t i o n   ( R e L U + B N )   5 x 5   F = 3 2   S = 1 / P = 2   C o n v o l u t i o n   ( R e L U + B N )   5 x 5   F = 3 2   S = 1 / P = 2   M a x P o o l i n g   2 x 2   S = 2   C o n v o l u t i o n   ( R e L U + B N )   2 x 2   F = 9 6   S = 1 / P = 2   C o n v o l u t i o n   ( R e L U + B N )   3 x 3   F = 9 6   S = 1 / P = 1   M a x P o o l i n g   2 x 3   S = 2   C o n v o l u t i o n   ( R e L U + B N )   2 x 2   F = 1 2 8   S = 1   P a t h   1   P a t h   2     R P N   R o I - C o n v o l u t i o n   ( R e L U )   3 x 3   F = 1 2 8   S = 1 / P = 2   F u l l y - C o n v o l u t i o n   1 x 1   F = 8   S = 1   S o f t max   R P N   R o I - M a x P o o l i n g   -   S   =   2   F C   ( R e L U + D r o p o u t )   5 1 2   F C   ( R e L U + D r o p o u t )   1 0 2 4   FC   11   S o f t max   C l a ssi f i c a t i o n   N o t e :   S = S t r i d e ,   P = P a d d i n g ,   F = F i l t e r s ,   B N = B a t c h   N o r mal i z a t i o n ,     F C = F u l l y   C o n n e c t e d           Fig u r e  1 .   Sa m p le  o f   d atab ase  w it h   a n d   w ith o u t la b els           Fig u r e  2 .   B eh av io r   o f   th e  R o I   d etec tio n   at  d if f er en t r ec all  le v els in   ea c h   ca teg o r y   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 8 - 8708   I n t J   E lec  &   C o m p   E n g ,   Vo l.  10 ,   No .   4 ,  A u g u s t 2 0 2 0   :   4 3 1 3   -   4321   4316   2 . 2 .     CNN  f o r  ha nd w rit ing   re co g nitio n   T o   im p le m en t  t h e  s p ee ch   r ec o g n itio n   f u n ct io n   o f   th e  u s er ,   f ir s t,  th e  d atab ase  f o r   th e  tr ain in g     is   p r ep ar ed ,   in   s u c h   a  w a y   t h at  th e  d i m e n s io n s   o f   t h e  n et w o r k   i n p u t  ar e  o b tain ed .   Fo r   th is ,   it  i s   o b tain ed     1 1 5   au d io s ,   o f   len g t h   f r o m   2   s ec o n d s   to   1 6   k Hz,   o f   e ac h   w o r d   o f   d i f f er e n t  p eo p le  in   v ar ied   en v ir o n m e n ts ,     i.e .   co n tr o lled   an d   n o t  co n tr o lled   o r   w it h   n o is e,   m ak i n g   a  to tal  o f   1 1 5 0   d ata  in   t h e  d atab ase.   Ho w e v er ,     as  it  is   w an ted   to   m a k e  au d io   ac q u is itio n   co n ti n u o u s l y ,   th er e  is   a  n ee d   to   ad d   an   ad d itio n al  ca te g o r y ,   w h ic h   i n   th is   ca s e  is   ca lled   “ O tr o s ”,   w h ich   co n ta in s   d if f er e n t  s o u n d s   o f   en v ir o n m e n t  ( p eo p le  s p e ak in g ,   b lo w s ,   etc. )     an d   o f   th e  s a m e  u s er s   ( s tr o n g   b r ea th in g ,   co u g h i n g ,   etc. )   to   av o id   th at  th e  n et w o r k   co n f u s e s   th ese  s o u n d s   w it h     th e  w o r d s .   Fro m   th i s   c ate g o r y ,   2 4 0   au d io s   ar e  r ec o r d ed .   I n   o r d er   f o r   th e  au d io s   to   b e  u s ed   in   a  C NN  f o cu s ed   o n   s p ee ch   r ec o g n i tio n ,   p r o ce s s in g   o f   ea ch   au d io   is   p er f o r m ed   b y   m ea n s   o f   th e   Me l Fr eq u e n c y   C ep s tr al   C o e f f icien t s   ( MF C C ) ,   i n   s u c h   a  w a y   t h at  a  f ea t u r e  m ap   is   o b tain ed   to   b e  en ter ed   in to   th e  C NN.   Fo r   th e  p r o ce s s in g ,   a  w in d o w   o f   2 0   m s   is   u s ed   w i th   a  s h i f t  o f   1 0   m s ,   o b tain in g   1 2   co ef f ic ien t s   p er   f r a m e  a n d   a  to tal  o f   1 9 9   f r a m es.  T o   h av e  a  clea r er   f ea t u r e  m ap ,   f lo o r   f ilter     is   ap p lied   to   th e  m ap ,   an d   th en   o b tain   th e  f ir s t  ( ∆)   an d   s ec o n d   ( ∆∆ )   d er iv ativ e  f r o m   t h e  MFC C   o b tain ed ,     to   ac q u ir e  b etter   ch ar ac ter is t ics  o f   t h e  s o u n d   a n d   th a t  t h e  n e t w o r k   h as  a  g r ea ter   p o s s ib ilit y   to   lear n     th e  te m p o r al  v ar iatio n s   o f   ea ch   w o r d .   An   ex a m p le  o f   t h ese  m ap s   i s   p r esen ted   in   Fig u r e  3 .   Fin all y ,   th e  d atab ase  o f   th e  f ea tu r e  m ap s   o b tain ed   is   d iv id ed ,   tak in g   1 0 0   m ap s   p er   w o r d   an d   2 0 0   f r o m   t h e  ca teg o r y   " Oth er "   f o r   tr ain in g ,   an d   1 5   p er   w o r d   an d   4 0   f r o m   " Otr o s "   f o r   v alid atio n .   On ce   th e  d atab ase  is   o b tai n ed ,   C NN  is   p r o p o s ed   f o r   th e  ap p licatio n   as s h o w n   i n   T a b le  2 .             Fig u r e  3 .   Featu r e  m ap s   o f   th e  w o r d   “A b aj o       T ab le  2 .   C NN  A r ch i tectu r e  p r o p o s ed   I n p u t   1 2 x 1 9 9 x 3   C o n v o l u t i o n   ( + B a t c h   N o r mal i z a t i o n )   5 x 5   F = 3 2   S = 1 / P = 2   C o n v o l u t i o n   5 x 5   F = 3 2   S = 1 / P = 2   M a x P o o l i n g   2 x 1   S = 2 x 1   C o n v o l u t i o n   3 x 3   F = 6 4   S= 1 / P = 1   C o n v o l u t i o n   3 x 3   F = 6 4   S = 1 / P = 1   M a x P o o l i n g   2 x 3   S = 2 x 2   C o n v o l u t i o n   2 x 2   F = 1 2 8   S = 1 / P = 1   C o n v o l u t i o n   3 x 3   F = 1 2 8   S = 1 / P = 1   M a x P o o l i n g   2 x 2   S = 2 x 2   F u l l y   C o n n e c t e d   5 1 2   D r o p o u t   2 0 %  D i sco n n e c t e d   F u l l y   C o n n e c t e d   2 0 4 8   D r o p o u t   2 0 %  D i sco n n e c t e d   F u l l y   C o n n e c t e d   11   S o f t M a x   C l a ssi f i c a t i o n   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J   E lec  &   C o m p   E n g     I SS N:  2 0 8 8 - 8708       C o mp a r is o n   b etw ee n   h a n d w r itten   w o r d   a n d   s p ee ch   r ec o r d   in …   ( Ja vier O .   P in z ó n - A r en a s )   4317   Sin ce   t h e  r ec o g n it io n   to   b e  m a d e  is   o f   t h e  co m p lete  w o r d s ,   s q u ar e  f ilter s   ar e  p r o p o s ed ,   in   s u ch   a  w a y   th at  t h e  n et w o r k   lear n s   t h e  ch ar ac ter is tic s   b o th   i n   ter m s   o f   t h e  co ef f icie n t s   a n d   th e   te m p o r al  v ar iatio n s .     T h e  n et w o r k   co n s i s ts   o f   3   p a ck ets  2   co n v o lu tio n s   p lu s   a  m ax p o o lin g ,   w ith   t h e  d if f er e n ce   th at  in   th e  f ir s t,     a  n o r m al izatio n   la y er   i s   ad d ed   in   th e   f ir s t  co n v o l u tio n   an d   d o w n s a m p lin g   is   m ad e  o n l y   in   th e  co e f f ic ien t s ,   s o   th at  i n   t h e  f o llo w i n g   co n v o l u tio n s ,   th e  te m p o r al  f e a t u r e s   a r e   m a i n t a i n e d .   L i k e w i s e ,   p a d d i n g   i s   a d d e d   t o     t h e   v o l u m e s ,   i n   s u c h   a   w ay   t h a t   t h e   c h a r a c t e r i s t i c s   f o u n d   i n   t h e   f i r s t   a n d   l a s t   c o e f f i c i e n t s   a r e   t a k e n   i n t o   a c c o u n t   a t  t h e   m o m e n t   t h a t   t h e   l e a r n i n g   f i l t e r s   p a s s   o v e r   t h e m .     Fin all y ,   t h e  tr ain i n g   o f   t h e  n et w o r k   i s   ca r r ie d   o u t,  w it h   w h ic h   an   ac c u r ac y   o f   1 0 0 %  an d   9 0 %  v alid atio n   i s   o b tain ed ,   as  s h o w n   in   T ab le  3 .   I n   th is   o n e,   it  ca n   b e  o b s er v ed   th at  th e  w o r d s   th at  g o t  t h e  m o s t  er r o n eo u s   class if ica tio n s   w er e  “A r r ib a” ,   “Av an ce ”,   “Ci er r e” ,   an d   “ I zq u i”,   m ain l y   w h e n   th er e  w a s   a  lo t  o f   a m b ien t   n o is e  w it h   p eo p le  talk in g ,   w h ic h   ca u s es  th e  c h ar ac ter is tics   m ap   to   ch a n g e  to   s o m e  e x ten t,  ca u s in g   it   to   b e  co n f u s ed   w it h   o th er   w o r d s .       T ab le  3 .   C lass if icatio n   o f   ea c h   w o r d   au d io   f o r   v alid atio n   W o r d   A b a j o   A b r a   A r r i b a   A v a n c e   C i e r r e   D e r e   I z q u i   No   P a r e   Si   O t r o s   O v e r a l l   a cc .   T r u e   p o si t i v e s   15   14   12   12   12   15   12   15   14   14   36   9 0 %       2 . 3 .     G ra ph ic  us er   inte rf a ce   T o   c o n ca ten ate  t h e  o p er atio n   o f   th e  t w o   tr ain ed   C NNs,  a   b asic  g r ap h ic  u s er   in ter f ac e  ( GU I )   is   m ad e,   s o   th at  it  i s   ea s y   to   u s e  f o r   an y   u s er .   T h is   i n ter f ac e  is   c o m p o s ed   o f   a  w i n d o w   th a t  allo w s   v i s u a lizi n g   i n     r ea l - ti m e  th e  w o r d   w r it ten   b y   m ea n s   o f   a  w eb ca m .   A d d itio n all y ,   t h er e  ar e  4   b u tto n s ,   a m o n g   w h ic h   2   ar e  to   ac tiv ate  a n d   d ea ctiv ate  t h e  web ca m ,   a n d   th e  o t h er   2 ,   to   ac tiv ate  o r   d ea ctiv ate  t h e  d ata  c o llectio n   b y   m ea n s     o f   a  m icr o p h o n e.   Fi n all y ,   th er e  is   a  b o x   t h at  s h o w s   th e  w o r d   s aid   b y   t h e  u s er ,   w h ic h   c h a n g e s   co lo r   d ep en d in g   o n   2   ca s es: g r ee n ,   if   t h e  w o r d   m en tio n ed   b y   t h e  u s er   is   t h e  s a m e  as t h e  o n e  h e  r ec o g n ized   i n   th e  i m a g e,   o r   r ed ,   if   th e  w o r d   d o es  n o t  m a tch   th e  o n e  r ec o g n ized   in   t h e  i m ag e.   Fo r   th e  i n ter f ac e  to   s tar t  w o r k i n g ,   b o th     th e  ca m er a  a n d   th e  au d io   i n p u t  m u s t b e  ac tiv a ted .   An   ex a m p le  o f   th e  i n ter f ac e  i s   s h o w n   i n   Fig u r e  4 .           Fig u r e  4 .   Gr ap h ic  u s er   i n ter f a ce       3.   RE SU L T S AN D  AN AL Y SI S   Var io u s   r ea l - ti m e  test s   o f   th e  GUI   ar e   p er f o r m ed   to   s ee   th e  p er f o r m a n ce   o f   b o th   th e  p r o p o s ed   n et w o r k   f o r   s p ee ch   r ec o g n iti o n   an d   t h e  n et w o r k   s p ec ializ ed   in   f in d i n g   t h e  w o r d s .   Fo r   th i s ,   a  co n t in u o u s   r ec o r d in g   alg o r ith m   is   ad d ed ,   in   s u c h   a  w a y   t h at  o n ce   t h e   a u d io   is   s tar ted ,   th e  d ata  is   tak en   co n tin u o u s l y ,   h o w ev er ,   i n   o r d er   to   p r ev en t  en v ir o n m e n tal  n o is e  f r o m   b ei n g   r ec o g n ized ,   an   a m p li tu d e  t h r esh o ld   o f   t h e  au d io   s ig n al  is   u s ed   w it h   r esp ec t  to   its   av er ag e  f o r   a  tim e  o f   2 0 0   m s .   I f   th e  av er ag e  o f   t h e   am p lit u d e  ex ce ed s     th e  v al u e  o f   0 . 1 ,   it  is   d eter m in ed   th at  th er e  is   p r esen ce   o f   v o ice,   w h er eb y   th e  d ata  is   tak en   f r o m   a  ti m e    ti=t - 7 0 0   m s   to   t f =ti+2 0 0 0   m s ,   w h e r e   t   i s   t h e   c u r r e n t   t im e ,   t i   i s   t h e   t i m e   o f   b e g i n n i n g   o f   d a t a   c o l l e c t i o n   a n d   t f   is   t h e   f i n a l   t i m e   o f   d a t a   c o l l e c t i o n ,   o b t a i n i n g   a n   a u d i o   o f   2   s e c o n d s .   I f   t h e   t h r e s h o l d   i s   n o t   s u r p a s s e d ,   t h e   a u d i o   d a t a     i s   n o t   s a v e d .   W it h   t h i s ,   it  i s   p r o ce ed ed   to   p e r f o r m   th e   test s ,   w h er e  u s er s   w r ite  th e  w o r d s   i n d iv id u all y ,   p lacin g   th e m   i n   a n y   p o s it io n   o f   t h e  i m ag e   an d   e v e n   w it h   a  ce r tai n   d eg r ee   o f   i n cli n atio n   to   in c r ea s e  th e  d i f f ic u lt y     o f   th eir   r ec o g n itio n .   A f ter   it  is   lo ca ted ,   th e  u s er s   s a y   s o m e  o f   t h e  w o r d s ,   eit h er   th e  o n e  t h e y   w r o te  o r   an o th er ,     i n   s u c h   a   w ay   t h a t   t h e   i n t e r f a c e   s h o w s   t h e m   i f   w h a t   t h e y   s a y   m a t c h   w i t h   w h a t   t h e y   w r o t e .   T h e s e   t e s t s   a r e   c a r r i e d   o u t   w i t h   6   u s e r s ,   e a c h   o n e   w i t h   7   t r i e s ,   i . e .   t h e r e   w e r e   d o n e   4 2   t e s t s ,   o b t a i n i n g   t h e   r e s u l t s   s h o w n   i n   T a b l e   4 .   I n   ea ch   o f   th e  test s ,   th e  s p e ec h   r ec o g n itio n   n et w o r k   w as   ab le  t o   c o r r ec tly   id en ti f y   e ac h   w o r d   m en tio n ed   b y   t h e  u s e r s .   R e g ar d in g   th e  id en ti f ica tio n   o f   th e  w o r d s   in   th e  i m a g es,  9 5 . 2 4 %  o f   g en er al  ac cu r ac y   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 8 - 8708   I n t J   E lec  &   C o m p   E n g ,   Vo l.  10 ,   No .   4 ,  A u g u s t 2 0 2 0   :   4 3 1 3   -   4321   4318   w a s   o b tain ed ,   b ein g   ab le  to   r ec o g n ize  2 0   w o r d s   co r r ec tly   an d   in d icate   an   er r o r   o f   m a tc h in g   w h en   t h e  u s er s   n a m ed   a n o th er   w o r d   2 0   ti m e s .   E ig h t  o f   th e s e  test s   ca n   b e  o b s er v ed   in   Fi g u r e  5 ,   w h e r e  w h en   th e  w o r d     w a s   co r r ec tl y   clas s i f ied ,   th e  i d en tific atio n   co n f id e n ce   w as  g r ea ter   th a n   9 0 %,  in   o t h er   w o r d s ,   th e  n et w o r k     w a s   " s u r e"   th at  i t  w as   t h e  w o r d .   On   t h e  o th er   h a n d ,   th e   id en t if icatio n   n et w o r k   o f   t h e  w o r d s   in   t h e  i m a g e  h ad   2   er r o n eo u s   class i f icat io n s ,   t h at   is ,   w h en   t h e  u s er   m en tio n ed   a  w o r d   an d   an o th er   w as  o n   th e  w eb ca m ,   th i s     w a s   r ec o g n ized   as  tr u e,   h o w e v er ,   as  s h o w n   i n   Fi g u r e  5 . g   a n d   Fi g u r e  5 . h ,   th e  co n f id en ce   is   e v en   lo w er   th a n   8 0 %,  w h ic h   is   s o l v ed   w it h   a   co n f id en ce   t h r es h o ld ,   s o   t h a t  w h e n   a   w o r d   i s   m is c lass if ie d ,   if   t h is   t h r esh o ld     is   n o t e x ce ed ed ,   it is   ta k en   a s   a  n eg ati v e.       T ab le  4 .   R esu lts   o b tain ed   f r o m   th e  te s ts   R i g h t   s p e e c h   r e c o g n i t i o n   T r u e   p o si t i v e s   T r u e   n e g a t i v e s   F a l s e   p o si t i v e s   F a l s e   n e g a t i v e s   O v e r a l l   a c c u r a c y   42   20   20   2   0   9 5 . 2 4 %           ( a)   ( b )           ( c)   ( d )           ( e)   ( f )         ( g )   ( h )     Fig u r e  5 .   Sa m p les o f   t h e  tes t p er f o r m ed ,  ( a,   b ,   c)   th e  w r itte n   w o r d   is   th e  o n e  to ld   b y   t h e  u s e r ,     ( d ,   e,   f )   th e  w r itte n   w o r d   d if f er s   f r o m   w h at  t h e  u s er   s aid ,   ( g ,   h )   th e   w r itte n   w o r d   is   w r o n g l y   id en tifie d ,     p ass in g   it a s   co r r ec t c o m p ar ed   w it h   w h at  w as  s aid   b y   th e  u s e r   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J   E lec  &   C o m p   E n g     I SS N:  2 0 8 8 - 8708       C o mp a r is o n   b etw ee n   h a n d w r itten   w o r d   a n d   s p ee ch   r ec o r d   in …   ( Ja vier O .   P in z ó n - A r en a s )   4319   I n   o r d er   to   b etter   u n d er s tan d   h o w   t h e  u s ed   Fas ter   R - C N N  is   b eh av i n g ,   th e  ac t iv at io n s   o b tai n ed   b y   al l   th e  w o r d s   i n   th e  la s t  la y er   o f   t h e  n et w o r k   ar e  s h o w n   F i g u r e  6 .   A s   ca n   b e  s ee n ,   t h e  n et w o r k   ac tiv a tes  th e  m o s t   r elev an t  r eg io n s   o f   ea ch   w o r d ,   ev en   in   th e  w o r d   “ C ier r e” ,   it  f o cu s e s   o n   th e  w h o le  o f   it,  w h er e  th e  r ed   co lo r   m ea n s   g r ea ter   ac tiv at io n .   On   t h e  o th er   h an d ,   in   ce r tain   ca te g o r ies  it  ac tiv ate s   th e  ed g es  o f   th e  s h ee t  w h er e  it   h as  b ee n   w r itte n ,   m ai n l y   i n   th e  w o r d   “ Si”,  w h er e  p o s s ib l y   co n f u s e  t h e  s h ad o w   w i th   t h e  s ec tio n   o f   th e  letter   " i " ,   h o w e v er ,   n o t  f i n d in g   m o r e  f ea t u r es,  t h e  n et w o r k   d o es n o t id en ti f y   it   as a   w o r d .   As  f o r   t h e  p r o ce s s i n g   ti m e   o f   th e  alg o r it h m ,   o n ce   y o u   h av e  f i n is h ed   tak i n g   t h e  au d io ,   th e  p r o ce s s   o f   o b tain in g   th e  MFC C s ,   u s i n g     th e  v o ice  r ec o g n itio n   n et w o r k ,   u s in g   t h e  Fas ter   R - C NN  a n d   d is p la y i n g   t h e  r es u lt  i n   th e  g r ap h ic  in ter f ac e,     it  tak es  a n   av er a g e  o f   1 5 1   m s ,   i.e .   o n ce   th e  u s er   f in is h es  s a y i n g   t h e  w o r d ,   th e  alg o r it h m   id en ti f ies  w h et h er     o r   n o t it  m atch e s   w it h   w h a t is  w r itte n   al m o s t i n s ta n tl y .                   Fig u r e  6 .   Fas ter   R - C N N  ac tiv atio n s   f o r   s o m e  w o r d s       4.   CO NCLU SI O N   T h is   p ap er   d escr ib ed   th e  i m p le m e n tatio n   o f   a   co m p ar is o n   s y s te m   ( ex ec u t ed   i n   r ea l - ti m e )   b et w ee n   h an d w r itte n   an d   s p o k e n   w o r d s   b y   a  u s er   s o   th at  ea c h   o f   th e  f u n c tio n s   d e v elo p ed   w as   i m p le m e n ted   w it h   d if f er e n t  C NN  ar ch i tectu r e s ,   w h ic h   p r esen ted   a  v alid atio n   ac cu r ac y   o f   9 8 . 9 %  an d   9 0 %  f o r   th e  r ec o g n itio n     o f   h an d w r iti n g   an d   s p ee ch ,   r esp ec tiv el y .   On   th e  o th er   h an d ,   w h e n   p er f o r m i n g   th e  test s   in   r ea l - ti m e,     th e  s p ee ch   r ec o g n it io n   f u n cti o n   d id   n o t  h av e  er r o r s   w h e n   r ec o g n izi n g   ea c h   w o r d   th at  t h e  u s er   s aid ,   th a t  is ,     it  id en ti f ied   1 0 0 %  o f   th e  4 2   t ests   p er f o r m ed .   A d d itio n all y ,   f o r   th e  s y s t e m   o f   r ec o g n itio n   an d   lo ca lizatio n   o f     th e  h a n d w r itte n   w o r d s ,   t h e  d if f ic u lt y   o f   th e  te s ts   w a s   in cr ea s ed ,   n o t  o n l y   b y   n o t  co n tr o lli n g   th e  a m b ien t  l ig h t,   b u t  also   b y   p laci n g   t h e m   w it h   a  ce r tai n   d e g r ee   o f   in cl in at i o n ,   in   o r d er   to   test   it s   p er f o r m an ce ,   o b tain i n g   an   ac cu r ac y   o f   9 5 . 2 4 %  o f   th e  g en er al  s y s te m   d e v elo p ed ,   w h er e  th er e  w er e  o n l y   2   ca s es  o f   f alse  p o s iti v es,   i.e .   w h e n   th e  u s er   s aid   an y   o f   th e  w o r d s ,   th e  s y s te m   er r o n eo u s l y   s aid   th a t   th e  w r itte n   o n e  m atc h ed ,   also ,   n o   f alse  n eg a tiv e s   w er e  o b tain ed   d u r in g   th e  tes ts   p er f o r m ed .   W ith   th is ,   it  ca n   b e  o b s er v ed   th e  v er y   g o o d   p er f o r m a n ce   o f   t h e  g e n er al  s y s te m   i m p le m en ted   an d   t h e  g r e at  ca p ac ity   t h at  t h e  C NN s   h a v e  to   b e   u s ed   b o th   in   s p ee ch   r ec o g n itio n   u s i n g   co m p lete  w o r d s   an d   in   lo ca tio n   an d   r ec o g n itio n   o f   h a n d w r itin g ,   in   ad d itio n   to   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 8 - 8708   I n t J   E lec  &   C o m p   E n g ,   Vo l.  10 ,   No .   4 ,  A u g u s t 2 0 2 0   :   4 3 1 3   -   4321   4320   th e  f ac t  th at  it  i s   ca p ab le  o f   m ak in g   t h e  co m p ar is o n   al m o s t  i m m ed iatel y   r e g ar d less   o f   w h e th er   2   r o b u s t  n eu r al   n et w o r k s   ar e  b ein g   u s ed ,   w i th   a  ti m e  o f   1 5 1   m s .   T ak in g   i n to   ac co u n t  t h e  ab o v e,   t h is   s y s te m   ca n   b e  i m p le m en ted   an d   co m p le m e n ted   f o r   its   ap p licatio n   in   d if f er en t  f u tu r e  w o r k s ,   f o r   ex a m p le,   b e  u s ed   in   co u n tr ies  w h er e  th e  t r a d i t i o n a l   s y s t e m   o f   v o t e   c o u n t i n g   i n   e l e c t o r a l   s y s t e m s   i s   s t i l l   u s e d ,   s o   t h a t   w h e n   t h e   p e r s o n   s a y s   t h e   n u m b e r   o f   v o t e s   f o r   a   c a n d i d a t e ,   t h e   n u m b e r   w r i t t e n   o n   t h e   f o r m   m u s t   b e   t h e   s a m e ,   m a i n l y   t o   h e l p   a v o i d   f r a u d   i n   e l e c t i o n s .       ACK NO WL E D G E M E NT S   T h e  au th o r s   ar e  g r atef u l  to   th e  Un iv er s id ad   Militar   Nu ev a  Gr an ad a,   w h ic h ,   th r o u g h   its   Vice - r ec to r y   f o r   r esear ch ,   f in a n ce s   th e  p r esen t  p r o j ec t   w it h   co d e  I MP - I NG - 2 2 9 0   ( 2 0 1 7 - 2 0 1 8 )   an d   ti tled   " Pro to tip o   d e   r o b o t a s is ten te  p ar a  cir u g ía, "   f r o m   w h ic h   th e  p r ese n t  w o r k   is   d er iv ed .       RE F E R E NC E S   [1 ]   A .   Ha a g ,   S .   G o ro n z y ,   P .   S c h a ich ,   a n d   J.   W il li a m s,   “ E m o ti o n   re c o g n it io n   u sin g   b io - se n s o rs:  F i rst  ste p s  t o w a rd s     a n   a u to m a ti c   s y ste m , ”   T u to ria l  a n d   Res e a rc h   W o rk sh o p   o n   A ff e c ti v e   Dia lo g u e   S y ste ms ,   p p .   3 6 - 4 8 ,   2 0 0 4 .   [ 2 ]   G .   D .   S r e e ,   P .   C h a n d r a s e k h a r ,   a n d   B .   V e n k a t e s h u l u ,   “ S V M   b a s e d   s p e e c h   e m o t i o n   r e c o g n i t i o n   c o m p a r e d   w i t h     G M M - U B M   a n d   N N , ”   I n t e r n a t i o n a l   J o u r n a l   o f   E n g i n e e r i n g   S c i e n c e   a n d   C o m p u t i n g ,   v o l .   6 ,   n o .   1 1 ,   p p .   3 2 9 3 - 3 2 9 8 ,   2 0 1 6 .   [ 3 ]   H .   F .   P a r d e d e ,   A .   R .   Y u l i a n i ,   a n d   R .   S u s t i k a ,   “ C o n v o l u t i o n a l   n e u r a l   n e t w o r k   a n d   f e a t u r e   t r a n s f o r m a t i o n   f o r   d i s t a n t   s p e e c h   r e c o g n i t i o n , ”   I n t e r n a t i o n a l   J o u r n a l   o f   E l e c t r i c a l   &   C o m p u t e r   E n g i n e e r i n g ,   v o l .   8 ,   n o .   6 ,   p p .   5 3 8 1 - 5 3 8 8 ,   2 0 1 8   [4 ]   D.  Cireş a n ,   U.  M e ier ,   a n d   J.  S c h m id h u b e r,   “ M u lt i - c o lu m n   d e e p   n e u ra l  n e tw o rk s  f o r  i m a g e   c las si f ica ti o n , ”   I E E E   C o n f e r e n c e   o n   C o m p u t e r   V i s i o n   a n d   P a t t e r n   R e c o g n i t i o n ,   p p .   1 - 8 ,   2 0 1 2   [5 ]   M .   S .   H.  A l - T a m i m i,   “ Co m b in in g   c o n v o l u ti o n a l  n e u ra l  n e tw o rk s  a n d   sla n tl e t  tran sf o rm   f o r  a n   e ffe c ti v e   i m a g e   re tri e v a l  sc h e m e , ”   In ter n a ti o n a l  J o u rn a l  o f  El e c trica l   &   Co mp u ter   En g i n e e rin g ,   v o l.   9 ,   n o .   5 ,   p p .   4 3 8 2 - 4 3 9 5 ,   2 0 1 9   [6 ]   Y.  L e Cu n ,   Y.  Be n g io ,   a n d   G .   Hin to n ,   “ De e p   lea rn in g , ”   Na t u re ,   v o l.   5 2 1 ,   n o .   7 5 5 3 ,   p p .   4 3 6 ,   2 0 1 5   [7 ]   R.   P a sc a n u ,   C.   G u lce h re ,   K.  C h o ,   a n d   Y .   Be n g io ,   “ Ho w   to   c o n stru c t   d e e p   re c u rre n t  n e u ra l  n e tw o rk s,”   2nd   In ter n a t io n a l  C o n fer e n c e   o n   L e a rn in g   Rep re se n ta ti o n s ( ICL R ) ,   p p .   1 - 1 3 ,   2 0 1 4.   [8 ]   M .   A .   Jish a n ,   K.   R.   M a h m u d ,   a n d   A .   K.  A l  A z a d ,   “ Na tu ra l  lan g u a g e   d e sc rip ti o n   o f   ima g e s  u sin g   h y b rid   re c u rre n t  n e u ra l  n e tw o rk , ”   In ter n a ti o n a l   J o u rn a l   o f   El e c trica l  a n d   Co m p u ter   En g i n e e rin g ,   v o l.   9 ,   n o   4 ,   p p .   2 9 3 2 - 2 9 4 0 ,   2 0 1 9   [9 ]   G .   E.   Hin to n ,   S .   Os i n d e ro ,   a n d   Y.  W .   T e h ,   “ A   f a st   l e a rn in g   a lg o rit h m   f o r  d e e p   b e li e f   n e ts,”  Ne u r a l  C o mp u ta ti o n ,  v o l.   1 8 ,   n o .   7 ,   p p .   1 5 2 7 - 1 5 5 4 ,   2 0 0 6   [1 0 ]   M .   D.  Zeiler  a n d   R.   F e rg u s,  “ Vi su a li z in g   a n d   u n d e rsta n d in g   c o n v o lu ti o n a l  n e tw o rk s,”   Eu ro p e a n   C o n fer e n c e   o n   Co mp u ter   V isio n ,   p p .   8 1 8 - 8 3 3 ,   2 0 1 4 .   [1 1 ]   A .   Kriz h e v sk y ,   I.   S u tsk e v e r ,   a n d   G .   E.   Hin to n ,   “ Im a g e n e t  c las si f ic a ti o n   w it h   d e e p   c o n v o l u ti o n a l  n e u ra l  n e tw o rk s,”   Ad v a n c e s i n   Ne u ra l   In f o rm a ti o n   Pro c e ss in g   S y ste ms ,   p p .   1 0 9 7 - 1 1 0 5 ,   2 0 1 2 .   [1 2 ]   K.  S im o n y a n   a n d   A .   Zi ss e rm a n ,   “ V e ry   d e e p   c o n v o l u ti o n a l   n e tw o rk s  f o r  larg e - sc a l e   ima g e   re c o g n it io n , ”   In ter n a t io n a l  C o n fer e n c e   o n   L e a rn in g   Rep re se n ta ti o n s ( ICL R ) ,   p p .   1 - 1 4 ,   2 0 1 5.   [1 3 ]   C.   S z e g e d y ,   V .   V a n h o u c h e ,   S .   L o ffe ,   J.  S h len s,  a n d   Z .   B.   W o jn a ,   “ Re th in k i n g   th e   in c e p t io n   a rc h it e c tu re   f o r   c o m p u ter v isio n , ”   IEE E   Co n fer e n c e   o n   Co m p u ter   Vi si o n   a nd   Pa tt e rn   Rec o g n it i o n ,   p p .   2 8 1 8 - 2 8 2 6 ,   2 0 1 6 .   [1 4 ]   O.  A b d e l - Ha m id ,   e t  a l ,   “ Co n v o lu ti o n a l  n e u ra l  n e tw o rk s  f o r  sp e e c h   re c o g n it io n , ”   IEE E/ AC M   T ra n sa c ti o n s     on  A u d io ,  S p e e c h ,   a n d   L a n g u a g e   Pro c e ss in g ,   v o l .   2 2 ,   n o .   1 0 ,   p p .   1 5 3 3 - 1 5 4 5 ,   2 0 1 4   [1 5 ]   S .   G a n a p a th y   a n d   V.  P e d d in ti ,   “3 - D   CNN   m o d e ls  f o r   f a r - f ield   m u lt i - c h a n n e l  s p e e c h   re c o g n it io n , ”   IEE E   In ter n a t io n a l  C o n fer e n c e   o n   Ac o u stics ,   S p e e c h   a n d   S ig n a l  Pro c e ss in g ,   p p .   5 4 9 9 - 5 5 0 3 ,   2 0 1 8 .   [1 6 ]   J.   O.  P .   A re n a s,  R.   J .   M o re n o ,   a n d   R.   D.  H .   Be leñ o ,   “ EM G   sig n a l  a c q u isit io n   a n d   p ro c e ss in g   a p p li c a ti o n   w it h   CNN   t e stin g   f o r  M AT LAB, ”   In ter n a ti o n a l  Rev iew o f  A u to m a ti c   Co n tro l,   v o l.   1 1 ,   n o .   1 ,   p p .   4 4 - 5 1 ,   2 0 1 8 .   [1 7 ]   L .   Ch e n ,   J.  F u ,   Y.  W u ,   H .   L i,   a n d   B.   Z h e n g ,   “ Ha n d   g e stu re   re c o g n it io n   u sin g   c o m p a c t  CNN   v ia  su rf a c e   e lec tro m y o g ra p h y   sig n a ls , ”   S e n so rs ,   v o l.   2 0 ,   n o .   3 ,   p p .   1 - 14 ,   2 0 2 0 .   [1 8 ]   C.   Nu z z i,   e t  a l. ,   “ De e p   lea rn i n g   b a se d   m a c h in e   v isio n :   F irst   ste p s  to w a rd s  a   h a n d   g e stu re   re c o g n it io n   se t  u p   f o r  c o ll a b o ra ti v e   ro b o ts,”  W o rk sh o p   o n   M e tro l o g y   f o r In d u stry   4 . 0   a n d   Io T ,   p p .   2 8 - 33 ,   2 0 1 8 .   [1 9 ]   S.   C.   Hs u ,   Y.   W .   W a n g ,   a n d   C.   L .   Hu a n g ,   “ Hu m a n   o b jec t  id e n ti f ica ti o n   f o r  h u m a n - ro b o t  in tera c ti o n   b y   u sin g   f a st   R - CNN , ”   2nd   IEE E  I n ter n a ti o n a l   Co n fer e n c e   o n   R o b o ti c   Co m p u t i n g ,   p p .   2 0 1 - 2 0 4 ,   2 0 1 8 .   [2 0 ]   T.   N.  S a in a th ,   e t  a l ,   “ De e p   c o n v o lu ti o n a l  n e u ra l  n e tw o rk s  f o r  lar g e - sc a le  sp e e c h   tas k s,”   Ne u ra l  Ne two rk s,   v o l.   6 4 ,   p p .   3 9 - 4 8 ,   2 0 1 5 .   [2 1 ]   T .   S e rc u ,   C.   P u h rsc h ,   B.   Kin g sb u ry ,   a n d   Y.   L e c u n ,   “ V e ry   d e e p   m u lt il in g u a l  c o n v o lu t io n a l  n e u ra l  n e tw o rk s  f o r  L V CS R, ”   IEE E  I n ter n a ti o n a l   Co n fer e n c e   o n   Ac o u stics ,   S p e e c h   a n d   S i g n a l  Pr o c e ss in g ,   p p .   4 9 5 5 - 4 9 5 9 ,   2 0 1 6 .   [2 2 ]   R.   G irsh ick ,   J.  Do n a h u e ,   T .   Da rre ll ,   a n d   J.  M a li k ,   “ Rich   f e a tu re   h iera rc h ies   f o r  a c c u ra te  o b jec t  d e tec ti o n     a n d   se m a n ti c   se g m e n tatio n , ”   IEE E  c o n fer e n c e   o n   c o mp u ter   v isio n   a n d   p a tt e rn   re c o g n it io n ,   p p .   5 8 0 - 587 ,   2 0 1 4 .   [2 3 ]   S .   Re n ,   K.   He ,   R.   G irsh ick ,   a n d   J.  S u n ,   “ F a ste r  R - CNN :  T o w a rd s   re a l - ti m e   o b jec t  d e tec ti o n   w it h   r e g io n   p r o p o sa l  n e tw o rk s,”   IEE E  T ra n sa c ti o n s   o n   Pa tt e rn   An a lys is a n d   M a c h in e   I n telli g e n c e ,   v o l.   3 9 ,   n o .   6 ,   p p .   1 1 3 7 - 1 1 4 9 ,   2 0 1 5 .   [2 4 ]   S .   S u d h o lt   a n d   G .   A .   F in k ,   “ P H OCN e t:   A   d e e p   c o n v o lu ti o n a l  n e u ra l  n e tw o rk   f o r  w o rd   sp o tt in g   in   h a n d w rit ten   d o c u m e n ts,”  1 5 t h   I n ter n a t io n a l   C o n fer e n c e   o n ,   Fr o n ti e rs   i n   Ha n d w riti n g   Rec o g n it i o n ,   p p .   2 7 7 - 2 8 2 ,   2 0 1 6 .   [ 2 5 ]   K.  Zag o ris,   I .   P ra ti k a k is ,   a n d   B.   G a to s,  “ Un su p e rv ise d   w o rd   s p o tt in g   i n   h isto rica l   h a n d w rit ten   d o c u m e n t  ima g e s  u s i n g   d o c u m e n t - o r i e n t e d   l o c a l   f e a t u r e s , ”   I E E E   T r a n s a c t i o n s   o n   I m a g e   P r o c e s s i n g ,   v o l .   2 6 ,   n o .   8 ,   p p .   4 0 3 2 - 4 0 4 1 ,   2 0 1 7 .   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J   E lec  &   C o m p   E n g     I SS N:  2 0 8 8 - 8708       C o mp a r is o n   b etw ee n   h a n d w r itten   w o r d   a n d   s p ee ch   r ec o r d   in …   ( Ja vier O .   P in z ó n - A r en a s )   4321   B I O G RAP H I E S   O F   AUTH O RS       J a v ier   O r la n d o   Pi n z ó n   Ar e n a s   w a s  b o rn   i n   S o c o rr o - S a n tan d e r,   C o lo m b ia,  i n   1 9 9 0 .     He   re c e iv e d   h is  d e g re e   in   M e c h a tro n ics   E n g in e e rin g   (C u m   L a u d e )  in   2 0 1 3 ,   S p e c ializa ti o n   i n   En g in e e rin g   P ro jec t  M a n a g e m e n t  in   2 0 1 6 ,   a n d   M . S c .   in   M e c h a tro n ics   En g i n e e rin g   in   2 0 1 9 ,     a t  th e   Un iv e rsid a d   M i li tar   Nu e v a   G ra n a d a - UMN G .   He   h a s  e x p e rien c e   in   th e   a re a s  o f  a u to m a ti o n ,   e lec tro n ic  c o n tr o l,   a n d   m a c h in e   lea rn in g .   C u rre n tl y ,   h e   is   stu d y in g   a   P h . D.     in   A p p li e d   S c ien c e s  a n d   w o rk in g   a s  a   G r a d u a te  As sista n t  a t  t h e   UMNG   w it h   e m p h a sis  o n   Ro b o ti c s a n d   M a c h in e   L e a rn i n g ,   E - m a il :  u 3 9 0 0 2 3 1 @ u n im il it a r. e d u . c o           Ro b i n s o n   J i m é n e z   M o r e n o   w a s   b o r n   i n   B o g o tá,  C o lo m b ia,  i n   1 9 7 8 .   He   re c e iv e d   th e   En g i n e e r  d e g re e   in   El e c tro n ics   a t  th e   F ra n c isc o   Jo sé   d e   Ca ld a s  District   Un iv e rsit y - UD - in   2 0 0 2 .   M . S c .     in   In d u strial  A u to m a ti o n   f ro m   th e   Un iv e rsid a d   Na c io n a l  d e   Co lo m b ia - 2 0 1 2   a n d   P h . D .     in   En g in e e ri n g   a t  th e   F ra n c isc o   Jo sé   d e   Ca ld a s  District  Un iv e rsit y - 2 0 1 8 .   He   is  c u rre n tl y   w o rk in g   a s  a   P ro f e ss o r  in   t h e   M e c h a tro n ics   En g in e e rin g   P r o g ra m   a t  th e   Un iv e rsid a d   M il it a r  N u e v a   G ra n a d a - UMN G .   H e   h a s  e x p e rien c e   in   th e   a re a s  o f   In stru m e n t a ti o n   a n d   El e c tro n ic  Co n tr o l,   a c ti n g   m a in ly   in   Ro b o t ics ,   c o n t ro l ,   p a tt e rn   re c o g n it io n ,   a n d   im a g e   p ro c e ss in g .   E - m a il :  ro b in so n . ji m e n e z @u n im il it a r. e d u . c o         Evaluation Warning : The document was created with Spire.PDF for Python.