I nte rna t io na l J o urna l o f   E lect rica l a nd   Co m p ute E ng in ee ring   ( I J E CE )   Vo l.   11 ,   No .   3 J u n e   202 1 ,   p p .   2 3 1 5 ~ 2 3 2 6   I SS N:  2 0 8 8 - 8708 DOI : 1 0 . 1 1 5 9 1 / i j ec e . v 1 1 i 3 . p p 2 3 1 5 - 2 3 2 6          2315       J o ur na l ho m ep a g e h ttp : //ij ec e. ia esco r e. co m   A sy ste m a tic  revi e w  on sequence - to - sequence  learni ng   w ith  neura l net w o rk  a nd it m o dels       H a na   Yo us uf 1 M icha el  L a h zi 2 Sa id A.   Sa llo u m 3 K ha le d Sha a la n 4   1 , 2, 3, 4 F a c u lt y   o f   En g in e e rin g   a n d   I T ,   th e   Brit ish   U n iv e rsity   in   Du b a i ,   Un it e d   A ra b   Em irate s     3 Re se a rc h   In stit u te o f   S c ien c e s a n d   En g i n e e rin g ,   Un iv e rsity   o f   S h a rjah ,   Un i ted   A ra b   Em irate s       Art icle  I nfo     AB ST RAC T   A r ticle  his to r y:   R ec eiv ed   Mar   24 ,   2 0 2 0   R ev i s ed   Sep   1 8 ,   2 0 2 0   A cc ep ted   Oct  5 ,   2 0 2 0       W e   d e v e lo p   a   p re c ise   w rit in g   su rv e y   o n   se q u e n c e - to - se q u e n c e   lea rn in g   w it h   n e u ra n e tw o rk   a n d   it m o d e ls.  Th e   p rim a r y   a i m   o f   th is  re p o rt  is  t o   e n h a n c e   th e   k n o w led g e   o f   th e   se q u e n c e - to - se q u e n c e   n e u ra n e tw o rk   a n d   t o   lo c a te  th e   b e st  w a y   to   d e a w it h   e x e c u ti n g   it .   T h re e   m o d e ls  a re   m o stly   u se d   in   se q u e n c e - to - se q u e n c e   n e u ra n e t w o rk   a p p li c a ti o n s,  n a m e l y re c u r re n n e u ra l   n e tw o rk (RNN ),   c o n n e c ti o n ist  t e m p o ra c las sif i c a ti o n   (CT C),   a n d   a tt e n ti o n   m o d e l.   T h e   e v id e n c e   we   a d o p ted   in   c o n d u c ti n g   th is  s u rv e y   in c lu d e d   u ti li z in g   th e   e x a m in a ti o n   i n q u iri e o re se a rc h   q u e stio n to   d e ter m in e   k e y w o rd s,   w h ich   w e r e   u se d   to   se a rc h   f o b i t o f   p e e r - re v ie we d   p a p e rs,  a rti c le s,  o b o o k s   a sc h o las ti c   d irec to ries .   T h ro u g h   in tro d u c t o ry   h u n ts,  7 9 0   p a p e rs,  a n d   sc h o larly   w o rk w e r e   f o u n d ,   a n d   w it h   th e   a ss i sta n c e   o c h o ice   c r it e ria  a n d   P RI S M A   m e th o d o l o g y ,   th e   n u m b e o f   p a p e rs  r e v ie we d   d e c re a se d   to   1 6 .   Ev e r y   o n e   o f   th e   1 6   a rti c les   w a c a te g o rize d   b y   th e ir  c o n tri b u t i o n   t o   e a c h   e x a m in a ti o n   q u e stio n ,   a n d   th e y   w e r e   b ro k e n   d o w n .   A las t,   th e   e x a m in a ti o n   p a p e rs  e x p e rien c e d   a   q u a li ty   a p p ra isa w h e re   th e   su b se q u e n ra n g e   w a s   f ro m   8 3 . 3 %   to   1 0 0 % .   T h e   p r o p o se d   sy ste m a ti c   re v ie w   e n a b led   u to   c o l lec t,   e v a lu a te,  a n a l y z e ,   a n d   e x p lo re   d iff e re n a p p ro a c h e o f   i m p lem e n ti n g   se q u e n c e - to - se q u e n c e   n e u ra n e tw o rk   m o d e ls  a n d   p o i n ted   o u t   th e   m o st  c o m m o n   u se   in   m a c h in e   lea rn in g .   We  f o ll o w e d   a   m e th o d o l o g y   t h a sh o w s   th e   p o ten ti a o f   a p p ly in g   th e se   m o d e ls t o   re a l - w o rld   a p p li c a ti o n s.   K ey w o r d s :   C o n n ec tio n i s t te m p o r al  class i f icatio n s     R ec u r r en t n e u r al  n et w o r k s   atten tio n   m o d els    Seq u en ce - to - s eq u e n ce   m o d el s   S y s te m a tic  r ev ie w   T h is i a n   o p e n   a c c e ss   a rticle   u n d e r th e   CC B Y - SA   li c e n se .     C o r r e s p o nd ing   A uth o r :   Said   A .   Sal lo u m   R esear ch   I n s ti tu te  o f   Scie n ce s   an d   E n g in ee r i n g   Un i v er s it y   o f   S h ar j ah   A ca d e m ic  cit y   R o ad ,   P .   O. B o x   2 7 2 7 2   Sh ar j ah ,   Un ited   A r ab   E m ir ates   T el:  +9 7 1   6   5 5 8 5 0 0 0 ,   Fax : + 9 7 1   6   5 5 8 5 0 9 9   E m ail:  s s allo u m @ s h ar j ah . ac . ae       1.   I NT RO D UCT I O N   Ma ch i n lear n i n g   ( M L )   is   lo g ical  in v esti g atio n   o f   ca lcu latio n s   an d   ac cu r ate  m o d e ls   w ith i n   co m p u tatio n al  f r a m e w o r k s   th at  ac w it h o u t   u tili zi n g   clea r   g u id elin e s ,   d ep en d i n g   o n   e x a m p les  an d   s u r m i s in g .   I is   v ie w ed   a s   s u b s et  o f   co m p u ter ized   r ea s o n in g   [ 1 - 4 ] .   P er f o r m i n g   M L   i n cl u d es  m ak in g   m o d el,   w h ich   is   p r ep ar e d   o n   s o m p r ep ar atio n   i n f o r m a t i o n   a n d   a f t e r w a r d   c a n   p r o c e s s   e x t r a   i n f o r m a t i o n   t o   m a k e   f o r e c a s t s   [5 - 7 ] .   Dif f er en t   k in d s   o f   m o d els  h a v b ee n   u t ilized   an d   in v est ig ated   f o r   M L   f r a m e w o r k s .   T h ese  m o d els   i n clu d e   n eu r al  n e t w o r k s ,   d ec is io n   tr ee s ,   r eg r ess io n   an a l y s is   an d   h a v m as s i v ap p licatio n   th at  in clu d e s   s p ee ch   an d   o b j ec r ec o g n itio n   [8 - 1 5 ] .   T h s co p o f   th is   p ap er   is   f o cu s ed   o n   n e u r al  n e t w o r k s   an d   th e ir   s u b s ets,   p ar ticu lar l y   n e u r al  n et w o r k a n d   s eq u en ce - to - s eq u e n ce   lear n in g .   Neu r al  s y s te m s   o r   co n n e ctio n is f r a m e w o r k s   ar r eg is ter in g   f r a m e w o r k s   d u b io u s l y   m o t iv ated   b y   t h e   o r g an ic  n eu r al   s y s te m s   t h a estab lis h   cr ea tu r e   ce r eb r u m s .   S u c h   f r a m e w o r k s   " lear n "   to   p er f o r m   as s i g n m e n ts   b y   t h in k i n g   ab o u m o d el s ,   f o r   th m o s p ar t,  Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 8 - 8708   I n t J   E lec  &   C o m p   E n g ,   Vo l.  11 ,   No .   3 J u n 2 0 2 1   :   2 3 1 5   -   2326   2316   w it h o u b ein g   m o d if ied   w it h   task - e x p licit  g u id eli n es.  T h e ir   ap p licatio n s   ar m as s i v e,   a n d   th e y   h a v b ee n   d ev elo p ed   to   p e r f o r m   m a n y   d i f f icu l t ta s k s ,   m ain l y   i n cl u d in g   p r ed ictio n   an d   class i f icatio n   [ 1 6 ] .   Seq u en ce - to - Seq u e n ce   lear n i n g   is   p ar o f   M L   a n d   m eth o d   o f   n e u r al  n et w o r k s   t h a is   m o s tl y   u tili ze d   i n   la n g u a g p r o ce s s i n g   m o d els  [ 1 7 - 2 3 ] .   I ca n   b i m p le m en ted   w it h   r ec u r r e n n e u r al  n e t w o r k ( R NNs)  u s i n g   en co d er - d ec o d er   b ased   m ac h i n i n ter p r etatio n   th at  m ap s   a n   i n p u s eq u e n ce   to   y ield   o f   a   s u cc e s s io n   o f   o u tp u s eq u e n ce   w i th   tag   a n d   co n s id er atio n   estee m .   T h id ea   is   to   ex p lo it  t w o   R NN  t h at  w i ll   co o p er ate  w i th   u n iq u to k en   a n d   atte m p t   to   an ticip ate   th f o llo w i n g   s tate   ar r an g e m en f r o m   t h p as t   s u cc e s s io n .   Seq u e n ce - to - Seq u en ce   m o d el s   ca n   al s o   b i m p l e m en ted   th r o u g h   w h at  is   k n o w n   a s   co n n ec tio n is t   te m p o r al  class i f icat io n   ( C T C )   an d   atten tio n - b ased   m o d els .   T h s eq u en ce - to - s eq u en ce   m o d el  w a s   i n itiall y   cr ea ted   b y   Go o g le  f o r   m ac h in tr an s latio n   an d   w as  in tr o d u c ed   to   tr ain   th e   m o d el  w it h   s i n g le   co m m a n d .   T h e   m o d el  w as  al s o   m ad to   b e asil y   r ep r o d u cib le  an d   ex ten d ab le  s u ch   t h at  th co d f iles   w er o r g an ized   in   m ea s u r ed   m a n n er   a n d   th at  s i m p le  to   ex p an d   u p o n   an d   r ec r ea te.   T h ex ten t   o f   t h i s   p ap er   in co r p o r ates  n eu r al  s y s te m s   a n d   t h eir   s u b s et s ,   esp ec iall y   r ec u r r en n eu r al   n et w o r k s   ( R NN) ,   co n n ec t io n is te m p o r al  class if ica tio n   ( C T C ) ,   an d   atten tio n - b ased   m o d els  to   d eter m i n e   w h ic h   i s   t h e   b est - s u ited   ap p r o ac h   to   i m p le m e n w it h   s eq u en ce - to - s eq u e n ce   lear n i n g .   T h is   p ap er   ai m s   to   ex p lo r th w o r k in g   o f   s eq u e n ce - to - s eq u en ce   lear n in g   an d   th eir   d if f er en ap p licatio n s ,   w h ich   i s   r ef lecte d   i n   th r esear ch   q u e s tio n s   o f   t h p ap er .   T h is   p ap er   w ill  co n d u ct   s y s te m atic   liter at u r r ev ie w   o n   s eq u e n ce - to - s eq u en ce   n e u r al  n et w o r k   th r o u g h   ex p lo r in g   d i f f er en t   a ca d em ic  r esear c h   d ir ec to r ies  to   lo o k   f o r   p ee r - r ev ie w ed   co n ten t.  Mo r o n   th e   m et h o d   o f   co n d u ctin g   t h is   s y s te m atic  liter at u r r ev ie w   is   d is cu s s ed   in   Sectio n   3 .   T h s tr u ct u r o f   th i s   p ap er   is   as : Sec t io n   2   w ill   tal k   ab o u t   a n d   d is s ec t t h ac ce s s ib le   w r iti n g   ab o u R NN s ,   C T C ,   an d   att en tio n - b ased   m o d els   lear n in g i w ill  e x p lai n   t h wo r k in g   o f   ea c h   n et w o r k   a n d   d is cu s s   t h eir   s tr en g th s   a n d   w ea k n e s s e s .   Sectio n   3   w il s t u d y   t h e x a m in a tio n   m e th o d o lo g y   u s ed   to   lead   th s y s te m atic  l iter atu r r ev ie w ,   w h i ch   i n co r p o r ates  th d etailin g   an d   f o r m u latio n   o f   t h r esear ch   q u es tio n s .   Sectio n   4   w i ll  u tili ze   th ac ad e m ic  wr itin g s   to   co n d u ct  a   q u alit y   a s s e s s m en t,  r esp o n d   to   th q u es tio n s   ad d r ess ed ,   an d   last l y ,   s ec tio n   5   w il h a v s h o r co n clu s io n   to   th p ap er .       2.   L I T E R AT U RE   R E VI E W   Neu r al  n et w o r k is   an   estab li s h ed   m o d el  o f   m ac h i n lear n i n g   a n d   h as  h ad   ex te n s i v r ese ar ch   d o n o n   it  o v er   th y ea r s Seq u e n c e - to - s eq u e n ce   n e u r al  n et w o r k   is   n e w   lear n i n g   tec h n iq u [ 9 ,   2 4 ,   2 5 ] .   Desp ite  th is ,   th er e   is   s til q u i te  s u b s tan tial   s o m o f   r esear ch   d o n e   o n   b o th   m o d els   an d   tech n iq u es,  w h ic h   w ill  b ex p an d ed   o n   in   t h is   s ec tio n .     2 . 1 .     B a ck g ro un d   Neu r al  n et w o r k s   ar in s p ir ed   b y   b io lo g ical  n e u r al  n e t w o r k s   s y s te m s   th a co m p r is an i m a ls '   b r ain s ;   th e y   ar d esig n ed   to   d ev el o p ,   p r o g r ess ,   an d   s o lv co m p lex   p r o b le m s   t h at  r eq u ir h i g h   lev el   o f   co m p r e h en s io n   to   p er f o r m .   T h er ar m an y   t y p es   o f   n e u r a n et w o r k s   th at   ar f o u n d   to   p er f o r m   ex tr e m el y   w ell  w i th   s u c h   d if f ic u lt  tas k s   s u c h   as  s p ee ch   r ec o g n itio n   a n d   m ac h i n tr an s la tio n o n o f   s u c h   n et w o r k s   ar th r ec u r r en n e u r al  n et w o r k s   ( R NN) .   T h w o r k i n g   p r in cip le  b eh in d   R NNs  is   es s en tiall y   co n s tr u cted   ar o u n d   n eu r al  n e t w o r k   m o d els  t h at  in co r p o r ate  an   en co d er - d ec o d er   f r a m e w o r k   th a ca n   b u s ed   an d   tr ain ed   en d - to - en d   to   m ap   in p u s eq u e n ce s   in to   o u tp u tar g e s eq u e n ce s   [ 2 6 ] .   A   w id e - r an g i n g   d ef in i ti o n   o f   s eq u en ce - to - s eq u en ce   m o d el s   ca n   b s aid   to   " r ef er s   to   t h b r o ad er   class   o f   m o d els   th a i n cl u d all   m o d els  th at   m ap   o n e   s eq u en ce   to   a n o th er "   [ 2 7 ] .   T h u s ,   b y   co m p ar i n g   it  to   t h d ef in i tio n   o f   [ 2 6 ] ,   it  is   clea r   to   s ee   th r elatio n   b et w ee n   th t w o   d ef in i tio n s .       C o n n ec tio n i s te m p o r al  clas s if icatio n s   ( C T C )   is   k i n d   o f   n eu r al  s y s te m   y ield   r elate d   to   s co r in g   ca p ac it y ,   f o r   p r e p ar in g   i n ter m itten t   n e u r al  s y s te m s   to   h a n d l g r o u p i n g   is s u e s   w h er t h t i m i n g   is   v ar iab le.   I m a y   b u ti lized   f o r   as s i g n m e n ts   lik e   o n li n p en m a n s h ip   r ec o g n itio n   o r   p er ce iv i n g   p h o n e m e s   i n   d is co u r s e   s o u n d .   C T C   w a s   p r esen ted   i n   2 0 0 6   an d   allu d ed   to   th y ie l d s   an d   s co r in g   an d   is   a u to n o m o u s   o f   t h h id d en   n eu r al  s y s te m   s tr u ct u r [ 2 8 ] .   His to r icall y ,   C T C   h a s   b ee n   u s ed   f o r   t h clas s i f icatio n   o f   u n s e g m en ted   s eq u en ce s   w it h   R NN s ,   s u ch   as  ca s es  o f   h an d w r iti n g   o r   s p ee ch   r ec o g n itio n .   R NN s   o n   th eir   o w n   w er n o t   s u f f icie n f o r   th ta s k   as  t h ei r   s tan d ar d   n e u r al  s y s te m   tar g et  ca p ac ities   ar c h ar ac ter ized   in d ep en d en tl y   f o r   ea ch   p o in i n   th p r ep ar atio n   ar r an g e m en t b asicall y ,   R N Ns  m u s b p r ep ar ed   t o   m a k p r o g r ess io n   o f   au to n o m o u s   m ar k   o r d er s .     I n   o r d er   to   r em o v th i s   d ep e n d en c y   a n d   en ab le  R NNs  to   p er f o r m   th i s   tas k ,   th n et wo r k   h ad   to   d ec o d th s y s te m   o u tp u t s   as   lik elih o o d   ap p r o p r iatio n   o v er   all  p o s s ib le  m ar k   s u cc ess io n s ,   ad ap ted   o n   a   g iv e n   i n p u g r o u p i n g .   Gi v e n   th is   d i s p er s io n ,   tar g et  ca p ac it y   ca n   b d eter m i n ed   th at  s tr ai g h t f o r w ar d l y   ex p an d s   t h p r o b ab ilit ies  o f   t h r ig h m ar k i n g .   S in ce   t h tar g et  w o r k   i s   d if f er e n tiab le,   th s y s te m   w o u ld   t h e n   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J   E lec  &   C o m p   E n g     I SS N:  2 0 8 8 - 8708       A   s ystema tic  r ev ie w   o n   s eq u en ce - to - s eq u en ce   le a r n in g   w ith   n eu r a l n etw o r a n d   its   mo d els   ( Ha n a   Yo u s u f )   2317   b ab le  to   b p r ep ar ed   w it h   s t an d ar d   b ac k p r o p ag atio n   t h r o u g h   ti m [ 2 9 ] .   T h u s ,   u s in g   th i s   co n ce p t,  t h er ef o r e,   u s o f   R NN s   in   t h is   w a y   w a s   k n o w n   as  C T C .   T h atten tio n   m ec h a n i s m   i s   t y p o f   n e u r al  n e t w o r k   th a al lo w s   t h d ec o d er   asp ec o f   th n et w o r k   to   f o cu s   o n   ce r tai n   p ar ts   o f   t h s eq u en ce   w h ile  t h o u tp u is   g en er ated .   A tte n tio n - b a s ed   m o d els  h elp   r e m o v e   an y   d ep en d en cie s   o n   v ar iab le - le n g t h   in p u ts   w it h o u t   co m p r ess i n g   t h e m   i n to   f i x ed   v ec to r s   b y   u s i n g   v ar iab le - len g th   m e m o r y   w h er t h e n ,   th m o d el  is   f r ee   to   u s t h i s   m e m o r y   i n   tr u l y   ad ap tab le  w a y   to   cr ea te  th o u tp u t   s u cc e s s io n .   I n   ad d itio n ,   v ar io u s   p iece s   o f   m e m o r y   ca n   b o b tain ed   at   m u lt ip le   y ield   ti m s t ep s .   T h ese  m o d el s   ar w ell - p er s u ad ed   in   lig h o f   t h f ac t h at  d ata  is   lo s b y   co m p ac ti n g   lo n g   f ac to r   len g th   g r o u p in g s   i n to   a   f i x ed - s ize  v ec to r ,   an d   ch o o s i n g   th p r ess u r is   a n   ex tr as s i g n m e n t to   co m p r eh e n d   [ 3 0 ] .     2 . 2 .     Sequ ence - to - s eque nce  m o del s     T h er ar s ev er al  ap p r o ac h es  u s ed   to   i m p le m e n s eq u e n ce - to - s eq u e n ce   al g o r ith m   m o d els.   T h m o s t   co m m o n   m o d els ar th co n n e ctio n is t te m p o r al  class i f icat io n   ( C T C ) ,   R NNs,  an d   atten t io n - b ased   m o d el.     2 . 2 . 1 .   Co nn ec t io nis t   t e m po ra l c la s s if ica t io n     Th C T C   alg o r ith m   p r o p o s ed   b y   [ 2 8 ] .   T h is   alg o r ith m   is   m eth o d   o f   p r ep ar in g   s tar t to   f in i s h   m o d els   w it h o u r eq u ir e m e n o f   ca s i n g   le v el  ar r an g e m e n o f   t h o b j ec tiv n a m es  f o r   p r ep ar ati o n   ar ticu latio n .   C T C   d ef in e s   t h p r o b ab ilit y   o f   t h o u tp u co n d itio n ,   e s ti m ated   to   u s e   r ec u r r en t   n eu r al  n et w o r k s ,   s i m p l y   k n o w n   as   en co d er s   [ 3 1 ] .   I n   ad d itio n ,   C T C   u s es  f o r   s eq u e n ce - to - s eq u en ce   m e th o d   to   h elp   to   ad d r ess   an y   is s u e s   r elate d   to   th le n g th   o f   t h o u tp u l ab els  w h e n   it   is   s h o r ter   th a n   th le n g t h   o f   t h i n p u s eq u en c e   s i n ce   " C T C   in tr o d u ce s   a   s p ec ial  b la n k   lab el  an d   allo w s   f o r   r ep etitio n   o f   lab els  to   f o r ce   th o u tp u a n d   in p u s eq u en ce s   to   h av th s a m len g t h .   C T C   o u tp u t s   ar u s u a ll y   d o m in a ted   b y   b la n k   s y m b o ls "   [ 3 2 ] .   T h is   g iv e s   C T C   m aj o r   ad v an ta g w h e n   u s i n g   s eq u e n c e - to - s eq u e n ce   m o d els i n   m an y   ap p licatio n s   s u c h   as tr an s lati o n .     2 . 2 . 2 .   Rec urre nt  neura l net wo rk s     T h id ea   b eh in d   s eq u e n ce - to - s eq u en ce   m o d els  u s in g   t h R NN  ap p r o ac h   u tili ze s   t w o   R N th at  w ill   co o p er ate  w i th   u n iq u to k en   a n d   atte m p t   to   an ticip ate   th f o ll o w i n g   s tate   ar r an g e m en f r o m   t h p as t   s u cc e s s io n .   T h R NN  tr an s d u ce r   d if f er s   o n   t h e n co d er   u s ag f r o m   t h C T C   alig n m e n m o d el   b y   d i f f er e n t   r ep ea lease  ex p ec tatio n   ar r an g e m e n o v er   th o u tp u s eq u e n ce s .   I n s ti n cti v el y ,   t h en co d e r   ca n   b th o u g h o f   as  an   a co u s t ic  m o d el,   w h ile   th ex p ec tatio n   ar r an g es  p r ac ticall y   eq u i v ale n to   lan g u a g m o d el.   T h ex p ec tatio n   ar r an g g et s   as i n f o   an d   p r o ce s s es a n   o u tp u v ec t o r ,   s u b j ec t to   th w h o le  s eq u e n ce   o f   lab els [ 3 1 ] .       2 . 2 . 3 .   At t ent io m o del     I is   a   co n s id er atio n - b as ed   m o d el  co n tain s   a n   e n co d er   o r g a n ize,   a s   i n   th e   R N tr a n s d u ce r   m o d el.   I n   an y   ca s e,   i n   co n tr as to   th e   R NN  tr an s d u ce r ,   in   w h ic h   t h e n co d er   an d   th e x p ec tatio n   ar r an g ar d is p la y ed   au to n o m o u s l y   a n d   co n s o lid at ed   in   th j o in s y s te m ,   co n s id er atio n   b ased   m o d el  u s es  s o litar y   d ec o d er   to   d eliv er   an   ap p r o p r iatio n   o v er   th m ar k s   m o ld ed   o n   th f u ll  g r o u p in g   o f   p ast  f o r ec asts   a n d   th ac o u s tic s   [ 3 1 ] .   T h d ec o d er   n et w o r k   co n s is t s   o f   s ev er al  r ec u r r e n la y er s .   T h atten tio n   asp ec o f   t h m o d el  p u ts   h i g h er   w ei g h t o n   ce r tai n   la y er s   to   p r o d u ce   an   o u tp u t u s in g   t h en d - to - en d   s eq u e n ce   m eth o d .         3.   M E T H O DO L O G Y   T h p r in cip le  o f   r esear ch   m e th o d o lo g y   i s   d ev elo p ed   b ased   o n   s y s te m atic  li ter atu r r e v ie w .   T h p ap er   f o llo w s   t h s y s te m a tic  r ev ie w   m eth o d o lo g y   ill u s tr ate d   b y   [ 3 3 ]   t o   d ir ec th d elib er ate  liter atu r a u d it.  T h r ea s o n   f o r   s elec tin g   t h s y s te m atic  r ev ie w   f o r   s eq u en ce - to - s eq u e n ce   n e u r al  n et w o r k   i s   th at  n o   s y s te m atic   r ev ie w   f o cu s e s   o n   s eq u e n ce - to - s eq u e n ce   n eu r al  n et w o r k   u s ag e,   li m itatio n s ,   a n d   ap p licati o n s .   Mo r eo v er ,   th i m et h o d o lo g y   e n ab led   u s   to   co llect,   ev al u ate,   a n al y ze ,   an d   ex p lo r d if f er en ap p r o ac h es  to   i m p le m e n ti n g   s eq u en ce - to - s eq u e n ce   n e u r al  n et w o r k   m o d els  a n d   f i n d   th m o s co m m o n   u s i n   m ac h i n e   lear n in g .   T h in itia l   s tep   to   th is   m et h o d   is   to   f ig u r e   o u t th r esea r ch   h y p o t h esi s   o f   o u r   p ap er .     3 . 1 .     Resea rc h hy po t hes i s   T h r esear ch   h y p o th e s is   d ev e l o p ed   f o r   th p ap er   w er as :   1.   W h at  ar th d if f er en t a p p licat io n s   o f   s eq u en ce - to - s eq u en ce   n eu r al  n et w o r k   m o d el s ?   2.   Ho w   h as t h is   m o d el  b ee n   i m p l e m en ted   an d   d ev elo p ed ?   3.   W h at  ar th ad v a n tag e s   an d   l i m itat io n s   o f   i m p le m e n ti n g   s e q u en ce - to - s eq u e n ce   m o d els?   4.   W h at  is   t h b est  m o d el  to   ap p r o ac h   s eq u e n ce - to - s eq u en ce   i m p le m en ta tio n ?   5.   W h at  ar th co u n tr ies t h at  co n tr ib u ted   to   th d ev e lo p m en t a n d   i m p le m en tatio n   o f   s eq u e n c e - to - s eq u e n ce ?   T ab le  1   s h o w s   t h r esear ch   h y p o th esis ,   i n clu d i n g   th eir   m o ti v atio n .     Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 8 - 8708   I n t J   E lec  &   C o m p   E n g ,   Vo l.  11 ,   No .   3 J u n 2 0 2 1   :   2 3 1 5   -   2326   2318   T ab le  1 .   R esear ch   m o ti v atio n   an d   h y p o t h esi s   R Q #   R e se a r c h   H y p o t h e si s   M o t i v a t i o n   R Q 1   W h a t   a r e   t h e   d i f f e r e n t   a p p l i c a t i o n s o f   se q u e n c e - to - se q u e n c e   mo d e l s?   T h i q u e st i o n   h e l p g a i n   a   b r o a d e r   u n d e r st a n d i n g   o f   a l l   t h e   a p p l i c a t i o n o f   se q u e n c e - to - se q u e n c e   mo d e l t o   r e l i e v e   a   l o t   o f   a mb i g u i t y   su r r o u n d i n g   t h e   d e f i n i t i o n .   T h i w i l l   l a t e r   h e l p   i d e n t i f y   t h e   b e st   p o ssi b l e   a p p r o a c h   t o   i m p l e me n t   t h e   mo d e l   b a se d   o n   t h e   b e st   a d v a n t a g e s i t   h a s   o n   e a c h   a p p l i c a t i o n .   R Q 2   H o w   h a t h i s mo d e l   b e e n   i mp l e me n t e d   a n d   d e v e l o p e d ?   T h i q u e st i o n   a l l o w a   d e e p e r   u n d e r st a n d i n g   o f   t h e   d e v e l o p me n t   o f   t h e   mo d e l .   M o r e o v e r ,   I t   w i l l   h i g h l i g h t   i t s sh o r t c o mi n g t o   i d e n t i f y   t h e   a d d i t i o n a l   w o r k   n e e d s t o   b e   d o n e   o n   t h e   f i e l d   a n d   w h a t   i t h e   b e st   a n d   l e a st   p r o b l e mat i c   a p p r o a c h   t o   b e   u se d   w i t h   c o mm o n   m a c h i n e   l e a r n i n g   a p p l i c a t i o n s l i k e   sp e e c h   r e c o g n i t i o n   a n d   t r a n sl a t i o n .   R Q 3   W h a t   a r e   t h e   a d v a n t a g e s a n d   l i mi t a t i o n of   i mp l e me n t i n g   se q u e n c e - to - se q u e n c e   mo d e l s?   T h i q u e st i o n   a d d r e sse t h e   si g n i f i c a n c e   o f   t h e   mo d e l   a n d   h o w   t h e   i n s t a l l a t i o n   h a s   h e l p e d   i n   r e l i e v i n g   so me   o f   t h e   p r o b l e ms  t h a t   w e r e   i n v o l v e d   i n   t h e   f i e l d   o f   mac h i n e   l e a r n i n g   p r i o r   t o   i t d e v e l o p me n t .   M o r e o v e r ,   t h i h e l p t o   h i g h l i g h t   so me   c h a l l e n g e s   t h a t   a r e   st i l l   n o t   so l v e d   a n d   n e w   c h a l l e n g e s t h a t   d e v e l o p e d   w i t h   t h e   n e w   mo d e l .   R Q 4   W h a t   i s   t h e   b e st   mo d e l   t o   a p p r o a c h   se q u e n c e - to - se q u e n c e   i mp l e me n t a t i o n ?   T h i q u e st i o n   w i l l   h i g h l i g h t   t h e   a d v a n t a g e a n d   d i sa d v a n t a g e o f   e v e r y   a p p r o a c h .   I t   w i l l   h e l p   c h o o se   t h e   b e st   a p p r o a c h   f o r   t h e   p u r p o se o f   su g g e st i n g   a   st a n d a r d   t o   u se   w h e n   i mp l e me n t i n g   t h i s mo d e l   i n   c o mm o n   ma c h i n e   l e a r n i n g   a p p l i c a t i o n s .   R Q 5   W h a t   a r e   t h e   c o u n t r i e t h a t   c o n t r i b u t e d   to   t h e   d e v e l o p me n t   a n d   i mp l e me n t a t i o n   o f   se q u e n c e - to - se q u e n c e ?   T h i q u e st i o n   w i l l   h i g h l i g h t   t h e   mo st   c o u n t r i e c o n t r i b u t e d   to   t h e   i mp l e me n t a t i o n   a n d   d e v e l o p me n t   S e q u e n c e - to - S e q u e n c e       3 . 2 .     Resea rc h str a t eg y   T h p r in cip le  o f   r esear ch   s tr a teg y   i n   t h is   p ap er   is   to   co n d u ct  ca r ef u c h ec k in g   o n   th e   s u b s eq u e n t   d atab ase,   p ee r - r ev ie w ed   j o u r n als,  an d   p er i o d icals.  Mo s o f   th p ap er s   u t ilized   f r o m   ar Xi v ,   Go o g le  Sc h o lar ,   Scien ce   Dir ec t,  I E E E   Xp lo r e,   an d   Sp r in g er   co m p le te  j o u r n als .   W h e n   t h m o s s i g n i f ica n r esear ch   r e g is tr ie s   w er c h o s e n ,   i m p o r tan k e y w o r d s   r etr iev ed   f r o m   th r e s ea r ch   h y p o th es is   w er u til ize d   in   s ea r c h   t h r o u g h   p er tin en t   titl e s   a n d   m o d if ied   w o r k s   o f   p ap er s   a n d   ar ticle s .   B o o lean   tec h n iq u ad ap ted   to   s tr in g   to g et h er   t h e   i m p o r tan s ea r ch   ter m s   to   l o ca te  th m o s t   s i g n i f ican t   p ee r - ev al u ated   ite m s   f o r   t h i s   p ap er .   Sp ec if ic   p er s p ec tiv es  w er v ie w ed   w h en   u t ilizi n g   t h s ea r ch   ter m s ,   s u c h   as  eq u iv ale n w o r d s   o r   p lu r als  o f   ter m s .     T ab le  2   s h o w s   th e   s ea r c h   ter m s   u s ed   in   v ar io u s   d atab ase s   an d   th e   o u tco m es  it  ac co m p li s h ed .   O v er all,   t h er w er 8 7 1   p a p er s   ap p ea r ed   t h r o u g h   th i n itial  s ea r c h i n g   s tag e.   Fro m   th o s e,   8 6   p ap er s   ap p ea r e d   to   b e   d u p licated ,   an d   f iv p ap er s   w er f o u n d   th r o u g h   citatio n s   o f   f o u n d   ac ad e m ic  p ap er s ,   w h ic h   b r o u g h th to tal  n u m b er   o f   p ap er s   to   7 9 0 .   T h ese  p ap er s   w er r e f in ed .   T h f i n al  p iece s   o f   liter at u r u s ed   in   th is   p ap er   w er s cr ee n i n g   ac co r d in g   to   th s e lectio n   cr iter ia  an d   th p r ef er r ed   r ep o r tin g   ite m s   f o r   s y s te m atic  r ev ie w s   a n d   m eta - an a l y s es ( P R I SM A )   Stat e m en t [ 3 4 ] .   Fig u r 1   s h o w s   t h P R I SMA   f lo w ch ar t .       T ab le  2 B o o lean   tech n iq u s e ar ch   r esu lt s   D a t a b a se   S e a r c h   S t r i n g   N u mb e r   o f   r e su l t s   G o o g l e   S c h o l a r   ( " C o n n e c t i o n i st   t e mp o r a l   c l a ss i f i c a t i o n s " )   a n d   ( " se q u e n c e - to - se q u e n c e " )   a n d   ( " R N N " )   a n d   ( " C T C " )   56   S c i e n c e   D i r e c t   (( " A t t e n t i o n   mo d e l "   o r   " a t t e n t i o n   me c h a n i sm " )   a n d   ( " se q u e n c e - to - S e q u e n c e " ))   68   I EEE  X p l o r e   " S e q u e n c e - to - se q u e n c e "   a n d   " n e u r a l   n e t w o r k "   a n d   " c h a l l e n g e s "   o r   " l i mi t a t i o n "   2 8 4   S p r i n g e r   C o mp l e t e   Jo u r n a l s   ( " S e q u e n c e - to - se q u e n c e " )   a n d   ( " r e c u r r e n t   n e u r a l   n e t w o r k s "   o r   " c o n n e c t i o n i st   t e mp o r a l   c l a ssi f i c a t i o n s "   o r   " a t t e n t i o n   mo d e l " )   4 6 3       3 . 3 .     I nclu s io n a nd   e x clu s io n c rit er ia   I n clu s io n   an d   ex cl u s io n   cr iter ia  w er ch o s en   cr iter ia  to   m ea s u r th m o s f o r m al  w r iti n g   f o r   th e   ex ten t o f   t h i s   p ap er .   I n   v ie w   o f   t h ese  cr iter ia,   t h p ap er s   w h i ch   f o llo w ed   t h r esear ch   p er s p ec tiv cr iter ia  w er e   in cl u d ed   f o r   th ex te n t o f   r ese ar ch .   T ab le  3   s h o w s   th i n cl u s io n   an d   ex cl u s io n   cr iter ia.       T ab le  3 I n clu s io n   a n d   ex cl u s i o n   cr iter ia   I n c l u si o n   c r i t e r i a   Ex c i si o n   c r i t e r i a   M u s t   b e   p e e r - r e v i e w e d   j o u r n a l   p a p e r s,  a r t i c l e s ,   o r   b o o k s   A r t i c l e a r e   w r i t t e n   i n   an o t h e r   l a n g u a g e   S h o u l d   i n c l u d e   t h e   d e v e l o p me n t   a n d   i mp l e me n t a t i o n   o f   t h e   se q u e n c e - to - se q u e n c e   mo d e l   a n d   n e u r a l   n e t w o r k s   P a p e r s fo c u s   o n   s p e c i a l i z e d   p a r t s o r   w o r k i n g   t h e   se q u e n c e - to - se q u e n c e   mo d e l   a n d   n e u r a l   n e t w o r k   M u s t   b e   w r i t t e n   i n   E n g l i sh   D i scu se s a a   s u b t o p i c   i n   S e q u e n c e - to - S e q u e n c e ,   R N N ,   C T C ,   a n d   a t t e n t i o n   mo d e l s.       A ca d e m ic  p ap er s   th at  f a iled   to   m ee t h m en t io n ed   cr iter ia  w er ex c lu d ed   f r o m   r esear c h .   T h in itia l   s cr ee n i n g   w as   d o n o n   all  t h e x tr ac ted   7 9 0   r ec o r d s   in   o r d er   to   n ar r o w   th e   r es u lt.  T h ese  r ec o r d s   w er e   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J   E lec  &   C o m p   E n g     I SS N:  2 0 8 8 - 8708       A   s ystema tic  r ev ie w   o n   s eq u en ce - to - s eq u en ce   le a r n in g   w ith   n eu r a l n etw o r a n d   its   mo d els   ( Ha n a   Yo u s u f )   2319   co m p ar ed   ag ai n s p r e - s elec tio n   cr iter ia  th a i n cl u d ed   r ef in i n g   th s ea r ch   f ield s   to   en g i n ee r in g   a n d   co m p u ter   s cien ce ,   li m it in g   t h r esu lts   to   th n o   o ld er   th a n   ten   y ea r s .   T h is   r es u lted   i n   t h ev al u ated   n u m b er s   to   d ec r ea s e   to   4 1 3   p a p er s ,   w h ich   w er a s s ess ed   b y   t h s elec tio n   cr iter i m e n tio n ed .   Fi g u r 1   r ep r esen ts   th p r o ce s s   f o r   b o th   th p r e - s elec tio n   a n d   th s elec tio n   cr iter ia.   T h is   p r o ce s s   r es u lted   i n   1 6   p ap er s   to   b in cl u d ed   in   t h e   s y s te m a tic  r ev ie w   i n   s eq u en ce - to - s eq u e n ce   n e u r al  n et w o r k .           Fig u r 1 .   P R I SMA   f lo w ch ar t       3 . 4 .     Q ua lity   a s s es s m e nt   I n clu s io n   q u alit y   as s ess m e n t   is   o n o f   th e   m o s es s en t i al  an d   cr itical  p ar ts   o f   an y   s y s te m a tic     r ev ie w   [ 3 5 - 3 9 ] .   T h ass es s m e n q u ali t y   a s s u r an ce   c h ec k lis f o r   o u r   s y s te m atic  r e v ie w   co n s is t s   o f   6   q u e s tio n s   f o r   th 1 6   ch o s en   p ap er s ,   as  s h o w n   i n   T ab le  4 .   T h s co r in g   o f   th is   p r o ce s s   is   d o n b ase d   o n   th w o r k   o f   [ 4 0 ]   as ' Ye s '   to   th q u e s tio n   o f   th q u alit y   as s es s m e n i s   in d i ca ted   b y   1 ,   ' No '   w as  i n d icate d   b y   0 ,   an d   a   ' P ar tiall y '   w a s   in d icate d   b y   0 . 5 .   A s   s ee n   b y   t h r esu lt s   in   T a b le  5 ,   all  th ch o s en   p a p er s   h av p ass ed   t h e   q u alit y   a s s e s s m en t.       T ab le  4 Qu alit y   as s u r a n ce   q u esti o n s   Q u e s.   Q u a l i t y   A ssu r a n c e   Q u e st i o n   1   A r e   t h e   r e se a r c h   a i ms s p e c i f i e d   c l e a r l y ?   2   I s t h e   i n f o r mat i o n   p r e se n t e d   c l e a r   a n d   c o n c i se ?   3   D o e s t h e   st u d y   p r o v i d e   e n o u g h   e x p l a n a t i o n   of   i t s   me t h o d o l o g y ?   4   D o   t h e   f i n d i n g s   o f   t h e   s t u d y   a d d   t o   t h e   u n d e r st a n d i n g   o f   se q u e n c e - to - se q u e n c e   mo d e l s?   5   A r e   t h e   c o n c l u si o n s   c l e a r l y   i d e n t i f i e d ?   6   A r e   t h e   c o n c l u si o n s   l o g i c a l   a n d   c o n c i se   w i t h   t h e   f l o w   o f   t h e   p a p e r ?     Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 8 - 8708   I n t J   E lec  &   C o m p   E n g ,   Vo l.  11 ,   No .   3 J u n 2 0 2 1   :   2 3 1 5   -   2326   2320   T ab le  5 Qu alit y   as s ess m e n t r e s u lt s   S t u d y   Q1   Q2   Q3   Q4   Q5   Q6   T o t a l   P e r c e n t a g e   S1   1   1   0 . 5   1   1   1   5 . 5   9 1 . 6 7 %   S2   1   1   1   1   0 . 5   1   5 . 5   9 1 . 6 7 %   S3   1   1   1   0   1   1   5   8 3 . 3 3 %   S4   1   1   1   0 . 5   1   0 . 5   5   8 3 . 3 3 %   S5   1   1   1   0 . 5   1   1   5 . 5   9 1 . 6 7 %   S6   1   1   0 . 5   0 . 5   1   1   5   8 3 . 3 3 %   S7   1   1   1   1   1   1   6   1 0 0 %   S8   1   1   0 . 5   1   1   0 . 5   5   8 3 . 3 3 %   S9   1   1   1   0   1   1   5   8 3 . 3 3 %   S 1 0   1   1   1   0   1   1   5   8 3 . 3 3 %   S 1 1   1   1   1   1   1   1   6   1 0 0 %   S 1 2   1   1   1   1   0 . 5   1   5 . 5   9 1 . 6 7 %   S 1 3   1   1   0 . 5   1   0 . 5   1   5 . 5   9 1 . 6 7 %   S 1 4   1   0 . 5   1   0 . 5   1   1   5 . 5   9 1 . 6 7 %   S 1 5   1   1   0   1   1   1   5   8 3 . 3 3 %   S 1 6   1   1   1   1   1   0 . 5   5 . 5   9 1 . 6 7 %       4.   RE SU L T A ND  D I SCU SS I O N   Utilizi n g   t h r esear ch   p r o ce d u r o u tli n ed   in   t h p r ev io u s   s ec tio n ,   th r esear c h   q u est io n s   th at  w er e   ten d ed   to   ea ch   p ap er   ar class if ied   an d   an al y ze d   b ased   o n   th eir   co n tr ib u tio n   to   ea ch   q u e s ti o n .     4 . 1 .     Cla s s if ica t io ns   a nd   a na ly s i s   o f   s t ud ies   B y   s t u d y in g   all  th 1 6   r esear c h   p ap er s   in clu d ed   in   th s y s te m atic  r ev ie w ,   class i f ica tio n   s y s te m   w a s   co m p r is ed   b ased   o n   t h eir   co n t r ib u tio n   to   a n s w er i n g   t h r ese ar ch   q u es tio n s .   Ma r k i n g s   w er m ad i f   t h m ai n   f o cu s   o f   th p ap er   w as  r elate d   to   p ar ticu lar   ca teg o r y .   M o s p ap er s ,   f o r   ex am p le,   tal k e d   in   b r ief   ab o u th e   d if f er e n ap p licatio n s   o f   s eq u en ce - to - s eq u en ce   ( s eq 2 s eq )   m o d el s .   Ho w e v er ,   o n l y   s tu d i es  t h at  w er m ai n l y   f o cu s ed   o n   ce r tai n   ap p licati o n   o r   d is cu s s ed   s e v er al  ap p licatio n s   i n   d ep th   w er ca teg o r iz ed   as  'A p p l icatio n s   o f   s eq 2 s eq ' .   T h clas s i f icatio n   r esu lt s   ca n   b s ee n   i n   T ab le  6 .   A d d itio n al l y ,   ea c h   s t u d y   w as   an al y ze d   in   d etail,   an d   th r es u lts   o f   th is   d etailed   s tu d y   ar o u tli n ed   in   T ab le  7   ( s ee   in   A p p en d i x ) .   Fig u r 2   s h o w s   t h p u b licatio n   d is tr ib u tio n s   co u n tr y   w i s e.   A s   th r e s u l ts   s h o w ,   th er h as   b ee n   a n   i n cr ea s i n   in ter e s i n   th is   to p ic  o v er   t h e   last   t w o   d ec ad es,  as  in d icate d   b y   t h i n cr ea s i n   n u m b er   o f   p u b licatio n s   s i n ce   1 9 9 0 .   Mo s o f   th i s   r esear ch   is   f o cu s ed   o n   th US,  as  m e n tio n ed .           Fig u r 2 P u b lic atio n   d is tr ib u ti o n   co u n tr y   w is e       4 . 2 .     Q ua lity   a s s es s m e nt  re s ults   Usi n g   t h q u esti o n s   o u tli n ed   in   T ab le  4 ,   s co r w as  g i v e n   to   ea ch   o f   t h 1 6   s t u d ies  u s ed   in   t h i s   p ap er .   T h m a x i m u m   s co r th at  p ap er   ca n   h av is   6 .   T h r esu lt s   o f   ea c h   p ap er   ar p r esen te d   in   T ab le  6 .   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J   E lec  &   C o m p   E n g     I SS N:  2 0 8 8 - 8708       A   s ystema tic  r ev ie w   o n   s eq u en ce - to - s eq u en ce   le a r n in g   w ith   n eu r a l n etw o r a n d   its   mo d els   ( Ha n a   Yo u s u f )   2321   T ab le  6 C lass if icatio n   o f   l iter atu r r ev ie w   S t u d y   S o u r c e   A p p l i c a t i o n s   o f   se q 2 se q   S e q 2 se q   v i a   R N N   S e q 2 se q   v i a   C T C   S e q 2 se q   v i a   a t t e n t i o n   mo d e l s   C h a l l e n g e s o f   se q 2 se q   S1   [ 4 1 ]   x   x         S2   [ 3 2 ]       x   x     S3   [ 2 8 ]     x   x     x   S4   [ 4 2 ]   x     x       S5   [ 4 3 ]   x   x         S6   [ 2 7 ]   x         x   S7   [ 1 6 ]   x   x       x   S8   [ 3 1 ]     x   x   x     S9   [ 2 6 ]     x   x       S 1 0   [ 4 4 ]       x       S 1 1   [ 4 5 ]   x       x     S 1 2   [ 8 ]   x   x         S 1 3   [ 4 6 ]   x   x         S 1 4   [ 2 9 ]   x         x   S 1 5   [ 4 7 ]   x   x         S 1 6   [ 4 8 ]   x   x             4 . 3   Ans w er s   t o   r esea rc q ues t io ns   a.   R Q1 .   W h at  ar th d if f er en t a p p licatio n s   o f   t h s eq u e n ce - to - s eq u en ce   n eu r al  n et w o r k   m o d el ?   As  s ee n   f r o m   E rr o r!   Ref er e nce  s o urce   no t   f o un d. ,   1 1 ,   o r   6 8 . 7 5 %,  o f   th s tu d ie s   w er e   r elev an to   th ap p licatio n s   o f   s eq u en ce - to - s eq u e n ce   n eu r al  n et w o r k   m o d el s ,   in d icati n g   n o o n l y   t h r elev a n ce   o f   t h i s   q u esti o n   b u t   also   it s   w id e s p r ea d   in ter est   in   t h f ield .   T h g en er al  co n s en s u s   w a s   t h at  s eq u en ce - to - s eq u e n c e   m o d el s   w er b est  u tili ze d   f o r   s p ee ch   r ec o g n itio n   an d   g e n e r al  lin g u i s tics ,   as  s u g g e s ted   b y   [ 1 6 ,   3 1 ,   4 8 ] .   I n   ad d itio n ,   s eq u e n ce - to - s eq u en c m o d els  ca n   b u s ed   f o r   v i d eo   to   tex co n v er s io n   [ 4 6 ]   an d   h a n d li n g   lar g e   v o ca b u lar ies,  o p ti m iz in g   tr an s latio n   p er f o r m a n ce ,   an d   m u lti - lin g u al  lear n i n g   [ 2 7 ] .   b.   R Q2 .   Ho w   h as t h is   m o d el  b ee n   i m p le m e n ted   an d   d ev elo p ed ?   A ll  1 6   o f   t h p ap er s   u s ed   i n   t h s y s te m atic  r e v ie w   m en tio n ed   d if f er en ap p r o ac h es  to   i m p le m en t in g   an d   d ev elo p in g   t h s eq u e n ce - to - s eq u e n ce   n e u r al  n et w o r k   m o d el s .   Fo r   ex a m p le:   R .   P r a b h av al k ar   et  a l [ 3 1 ]   s u m m ar is e s   th r ee   m et h o d s   o f   i m p le m en ta tio n ,   w h ich   i n cl u d e:  R NN s ,   C o n n ec tio n i s T em p o r al  C lass i f icatio n s   ( C T C ) ,   an d   A tte n tio n   m o d els.   c.   R Q3 .   W h at  ar th ad v a n tag e s   an d   li m ita tio n s   o f   i m p le m e n ti n g   s eq u e n ce - to - s eq u en ce   m o d els?   I .   Su ts k e v er   et  a l [8 ]   an d   Y.   H.   C h a n   et  a l.   [ 41]   talk ed   m o s tl y   ab o u i m p le m e n tatio n s   u s in g   R N N s   an d   d is c u s s ed   m a n y   ad v a n ta g es  an d   d i s ad v a n tag e s   o f   ap p ly in g   th i s   m o d el,   w h ile  i n   [ 2 8 ,   4 2 ]   d is cu s s ed   t h e   i m p le m en ta tio n   t h r o u g h   C T C   in   d etails  w i th   t h li m ita tio n s   i n   i m p le m e n tatio n .   Si m ilar l y ,   in   [ 3 2 ,   4 5 ]   d is cu s s ed   th li m ita tio n s   o f   th atten tio n   m o d el .   d.   R Q4 .   W h at  is   t h b est  m o d el  t o   ap p r o ac h   s eq u en ce - to - s eq u e n ce   i m p le m e n tatio n ?   T h m aj o r ity   o f   t h p ap er s   ( 6 2 . 5 %)  talk   ab o u R NNs  an d   th eir   im p le m e n tatio n ,   li m it atio n s ,   an d   en d o r s e m e n t.  No tab l y ,   t h w o r k   o f   [ 3 1 ]   co m p ar ed   th e   th r ee   d i f f er en t   ap p r o ac h es  an d   f o u n d   th e   m o s t   p r o m i s in g   ap p r o ac h   to   b " t h R N tr an s d u ce r ,   atte n tio n - b a s ed   m o d els,  an d   n o v e R NN  tr a n s d u ce r   au g m e n ted   w it h   atten tio n . "       5.   CO NCLU SI O N   I n   co n cl u s io n ,   th e   p ap er   ai m ed   to   co n d u ct  s y s te m a tic  r ev ie w   o n   th e   to p ic  o f   t h s e q u en ce - to - s eq u en ce   n eu r al  n e t w o r k   an d   its   m o d els.  T h m ai n   ai m   o f   th r ev ie w   to   g a in   i n s i g h in to   th s eq u en ce - to - s eq u en ce   n e u r al  n e t w o r k   m o d els  an d   to   f i n d   th b est   ap p r o ac h   to   i m p le m e n it.  T h r ee   s u ch   ap p r o ac h es  w er e   f o u n d th r o u g h   r ec u r r en n e u r al  n et w o r k s ,   co n n ec t io n is t   t e m p o r al  class if icatio n s   ( C T C ) ,   an d   atten tio n   m o d el s .   T h r esear c h   q u esti o n   d er iv ed   f o r   t h l iter atu r e   r ev ie w   w er e n co m p as s i n g   th ap p licatio n s   o f   s eq u en ce - to - s eq u e n ce   m o d els ,   th eir   ad v a n ta g es  a n d   d is ad v an ta g e s ,   as  w el as  t h b e s i m p le m e n tatio n   ap p r o ac h   f o r   th e m .   T h p r o ce d u r d o n to   co n d u ct   t h is   s y s te m atic  l iter atu r r e v ie in cl u d ed   u s in g   t h e   r esear ch   q u est io n s   to   d er iv k e y w o r d s   th at  w er t h e n   u s ed   t o   lo o k   at  th s u b s eq u e n d atab ase,   p ee r - r ev ie w ed   j o u r n als,  an d   p er io d icals.  Mo s o f   p ap er s   u tili ze d   f r o m   ar Xi v ,   Go o g le  Sc h o lar ,   Scien ce   D ir ec t,  I E E E   Xp lo r e   an d   Sp r in g er   co m p lete   j o u r n a ls .   T h r o u g h   i n itia s ea r c h es,  7 9 0   p ap er s   an d   ac ad e m ic  w o r k s   w er f o u n d ,   an d   w it h   th h elp   o f   s elec tio n   cr it er ia  an d   P R I SMA   p r o ce d u r e,   th n u m b er   o f   p ap er s   r ev ie w e d   in   th is   p ap e r   w a s   r ed u ce d   to   1 6 .   E ac h   o f   t h 1 6   p ap er s   w as   ca teg o r ized   b y   th eir   co n tr ib u tio n   to   ea ch   r es ea r ch   q u es tio n ,   a n d   th e y   w er an al y ze d .   Fin all y ,   t h r esear ch   p ap er s   u n d er w e n t   q u ality   as s es s m e n w h er th r esu lti n g   r an g e   w a s   f r o m   8 3 . 3 % to   1 0 0 %.       Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 8 - 8708   I n t J   E lec  &   C o m p   E n g ,   Vo l.  11 ,   No .   3 J u n 2 0 2 1   :   2 3 1 5   -   2326   2322   AP P E NDI X     Ta b le  7 A n al y s i s   o f   th l iter at u r r ev ie w   S t u d y   S o u r c e   P u r p o se   C o u n t r y   D a t a b a se   F i n d i n g s   S1   [ 4 1 ]   T h e   a u t h o r su g g e st e d   a n d   e x p e r i me n t e d   w i t h   a n   a l t e r n a t i v e   a p p r o a c h   t o   e mb e d d e d   e mo t i o n a l   i n f o r mat i o n   a t   t h e   e n c o d e r   st a g e   o f   se q u e n c e   t o   se q u e n c e   b a se d   e mo t i o n a l   g e n e r a t i o n .   H o n g   K o n g   I EEE  X p l o r e   D i f f e r e n t   me t h o d w e r e   t e st e d   o n   e mo t i o n a l   e n c o d i n g   i n f o r mat i o n   f o r   se q u e n c e   t o   se q u e n c e   g e n e r a t i o n   r e sp o n se   a n d   e v a l u a t e d   t h e   r e su l t ,   w h i c h   w a f o u n d   t o   h a v e   a   p o si t i v e   e f f e c t   o n   a   se n t e n c e   l e v e l .     S2   [ 3 2 ]   T h e   p a p e r   p r o p o se d   a   n e w   me t h o d   u se d   i n   n e u r a l   sp e e c h   r e c o g n i t i o n   b y   a l i g n i n g   t h e   a t t e n t i o n   mo d e l i n g   w i t h i n   t h e   C T C   f r a me w o r k   C a n a d a   I EEE  X p l o r e   T h e   p r o p o se d   me t h o d   b o o st e d   t h e   e n d - to - e n d   a c o u s t i c - to - w o r d   C T C   mo d e l   a n d   a c h i e v e d   b e t t e r   W ER   t h a n   t h e   t r a d i t i o n a l   c o n t e x t - d e p e n d e n t   p h o n e m e   C T C   m o d e l   d e c o d e d   w i t h   a   v e r y   l a r g e - si z e d   l a n g u a g e   mo d e l   S3   [ 2 8 ]   T h e   p a p e r   p r e se n t e d   a   n o v e l   me t h o d   f o r   t r a i n i n g   R N N t o   l a b e l   u n se g me n t e d   se q u e n c e s.   " A n   e x p e r i me n t   o n   t h e   TI M I T   sp e e c h   c o r p u d e mo n st r a t e i t s   a d v a n t a g e o v e r   b o t h   a   b a s e l i n e   H M M   a n d   a   h y b r i d   H M M - R N N " .   S w i t z e r l a n d   A C M   D i g i t a l   L i b r a r i e s   T h e   me t h o d   i s   d e r i v e d   f r o p r o b a b i l i st i c   p r i n c i p l e a n d   f i t t h e   f r a mew o r k   o f   t h e   n e u r a l   n e t w o r k   c l a ssi f i e r .   I t   a l l o w s   t h e   n e t w o r k   t o   b e   t r a i n e d   d i r e c t l y   f o r   se q u e n c e   l a b e l i n g   b y   r e mo v i n g   t h e   r e q u i r e me n t   o f   p r e - se g m e n t e d   d a t a .   S4   [ 4 2 ]   T h e   a u t h o r d e v e l o p e d   a   t e c h n i q u e   t o   b a se   t h e   R N N - sy st e t o w a r d s p e c i f i c   k e y w o r d .     U S A   I EEE  X p l o r e   T h e   p a p e r   d e v e l o p e d   a   st r e a mi n g   k e y w o r d   b y   u si n g   ( R N N - T )   mo d e l   t o   p r e d i c t   e i t h e r   p h o n e me o r   g r a p h e m e s   a s   s u b - w o r d ,   w h i c h   a l l o w s   d e t e c t i n g   r a n d o m   e x p r e ssi o n s.    S5   [ 4 3 ]   T h e   a u t h o r s p r o p o se d   a n   a r t i f i c i a l   B a n g l a   t e x t   g e n e r a t o r   w i t h   L S T M   a n d   mo d e l   i t   t o   v a l i d a t e   t h e   a c c u r a c y   o f   t h e   t e x t   g e n e r a t o r s.   B a n g l a d e sh   S c i e n c e   D i r e c t   T h e   p a p e r   w o r k e d   w i t h   R N N   s t r u c t u r e s   a n d   L T S M   n e t w o r k s   t o   b e   a b l e   t o   f u l f i l l   t h e i r   p u r p o s e .   T h e y   w e r e   a b l e   t o   " mo d e l   f o r   a c h i e v i n g   m u l t i - t a s k   s e q u e n c e   t o   s e q u e n c e   t e x t   g e n e r a t i o n   a n d   m u l t i - w a y   t r a n s l a t i o n   l i k e   B e n g a l i   a r t i c l e s,  c a p t i o n   g e n e r a t i o n "   S6   [ 2 7 ]   T h e   a u t h o r   i n t r o d u c e d   'n e u r a l   mac h i n e   t r a n sl a t i o n o r   'n e u r a l   se q u e n c e - to - se q u e n c e   mo d e l s'   U S A   a r X i v   T h e   p a p e r   c o v e r e d   t h e   b a si c o f   n e u r a l   mac h i n e   t r a n sl a t i o n   a n d   se q u e n c e   t o   se q u e n c e   mo d e l s.  I t   c o v e r e d   se v e r a l   a p p l i c a t i o n   s u c h   a H a n d l i n g   l a r g e   v o c a b u l a r i e s,  O p t i mi z i n g   t r a n sl a t i o n   p e r f o r ma n c e ,   a n d   M u l t i - l i n g u a l   l e a r n i n g .   S7   [ 1 6 ]   T h i p a p e r   c a r r i e o u t   a   c o mp r e h e n si v e   r e v i e w   o f   a r t i c l e t h a t   i n v o l v e   a   c o mp a r a t i v e   st u d y   o f   f e e d   f o r w a r d   n e u r a l   n e t w o r k a n d   s t a t i st i c a l   t e c h n i q u e s u se d   f o r   p r e d i c t i o n   a n d   c l a ss i f i c a t i o n   p r o b l e m s   i n   v a r i o u s   a r e a s   o f   a p p l i c a t i o n s .   T a b u l a r   p r e s e n t a t i o n s   h i g h l i g h t i n g   t h e   i m p o r t a n t   f e a t u r e s   o f   t h e s e   a r t i c l e s a r e   a l so   p r o v i d e d   I n d i a   S c i e n c e   D i r e c t   " N e u r a l   n e t w o r k a r e   b e i n g   u se d   i n   a r e a o f   p r e d i c t i o n   a n d   c l a ss i f i c a t i o n ,   t h e   a r e a w h e r e   st a t i s t i c a l   me t h o d h a v e   t r a d i t i o n a l l y   b e e n   u se d ".   " O n e   o f   t h e   i mp o r t a n t   a d v a n t a g e o f   n e u r a l   n e t w o r k c i t e d   i n   t h e   l i t e r a t u r e   i t h a t   i t   c a n   a u t o ma t i c a l l y   a p p r o x i m a t e   a n y   n o n l i n e a r   ma t h e ma t i c a l   f u n c t i o n ".   S8   [ 3 1 ]   T h e   a u t h o r s   c o n d u c t e d   a   d e t a i l e d   e v a l u a t i o n   o f   se q u e n c e   t o   se q u e n c e   mo d e l w h i c h   a r e   u s e d   i n   t h e   t a s k   o f   s p e e c h   r e c o g n i t i o n   s u c h   a s   c o n n e c t i o n i s t   t e m p o r a l   c l a s s i f i c a t i o n   ( C T C ) ,   t h e   r e c u r r e n t   n e u r a l   n e t w o r k   ( R N N )   t r a n s d u c e r ,   a n   a t t e n t i o n - b a se d   mo d e l ,   a n d   a   mo d e l   w h i c h   a u g me n t t h e   R N N   t r a n s d u c e r   w i t h   a n   a t t e n t i o n   me c h a n i s m.   U S A   G o o g l e   S c h o l a r   " [ t h e y ]   c o mp a r e d   a   n u m b e r   o f   s e q u e n c e - to - se q u e n c e   mo d e l i n g   a p p r o a c h e o n   a n   L V C S R   t a s k .   I n   e x p e r i men t a l   e v a l u a t i o n s ,   w e   f i n d   t h a t   t h e   R N N   t r a n s d u c e r ,   a t t e n t i o n - b a se d   mo d e l a n d   a   n o v e l   R N N   t r a n sd u c e r   a u g me n t e d   w i t h   a t t e n t i o n   a r e   c o m p a r a b l e   i n   p e r f o r man c e   t o   a   st r o n g   st a t e - of - t h e - a r t   b a s e l i n e   o n   a   d i c t a t i o n   t e s t   s e t ,   e v e n   w h e n   e v a l u a t e d   w i t h o u t   t h e   u s e   o f   a n   e x t e r n a l   p r o n u n c i a t i o n   o r   l a n g u a g e   mo d e l "   S9   [ 2 6 ]   " W e   i n t r o d u c e   a n   e n c o d e r - d e c o d e r   r e c u r r e n t   n e u r a l   n e t w o r k   mo d e l   c a l l e d   r e c u r r e n t   n e u r a a l i g n e r   ( R N A )   t h a t   c a n   b e   u s e d   f o r   t h e   s e q u e n c e   t o   s e q u e n c e   m a p p i n g   t a s k s .   L i k e   c o n n e c t i o n i s t   t e m p o r a l   c l a s s i f i c a t i o n   ( C T C )   m o d e l s ,   R N A   d e f i n e s   a   p r o b a b i l i t y   d i st r i b u t i o n   o v e r   t a r g e t   l a b e l   s e q u e n c e s,   i n c l u d i n g   b l a n k   l a b e l c o r r e sp o n d i n g   t o   e a c h   t i me   st e p   i n   t h e   i n p u t ".   U S A   R e se a r c h G a t e   " W e   p r e se n t e d   t h e   R N A   mo d e l ,   w h i c h   i s   a   r e c u r r e n t   n e u r a l   n e t w o r k   mo d e l   i n   t h e   e n c o d e r - d e c o d e r   f r a mew o r k .   W e   a p p l i e d   i t   t o   e n d - to - e n d   sp e e c h   r e c o g n i t i o n   a n d   sh o w e d   i n i t i a l   e x p e r i me n t a l   r e su l t o n   Y o u T u b e   t r a n s c r i p t i o n   a n d   m o b i l e   d i c t a t i o n   t a s k s .   W e   f o u n d   t h a t   t h e   R N A   g r a p h e m e   m o d e l   c a n   n o t   p e r f o r m   a w e l l   a C T C   C D   p h o n e   mo d e l f o r   mo b i l e   d i c t a t i o n   t a s k   w h e r e   t h e   v o c a b u l a r y   s i z e   i s   l a r g e r ,   a n d   t h e   t r a i n i n g   d a t a   i s   r e l a t i v e l y   smal l e r . "   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J   E lec  &   C o m p   E n g     I SS N:  2 0 8 8 - 8708       A   s ystema tic  r ev ie w   o n   s eq u en ce - to - s eq u en ce   le a r n in g   w ith   n eu r a l n etw o r a n d   its   mo d els   ( Ha n a   Yo u s u f )   2323   T ab le  7 A n al y s i s   o f   th l iter at u r r ev i ew   ( C o n tin u e )   S t u d y   S o u r c e   P u r p o se   C o u n t r y   D a t a b a se   F i n d i n g s   S 1 0   [ 4 4 ]   W e   p r o p o se  S A N - C T C ,   a   d e e p ,   f u l l y   s e l f - a t t e n t i o n a l   n e t w o r k   f o r   C T C ,   a n d   sh o w   i t   i t r a c t a b l e   a n d   c o mp e t i t i v e   f o r   e n d - to - e n d   s p e e c h   r e c o g n i t i o n .   W e   mo t i v a t e   t h e   a r c h i t e c t u r e   f o r   sp e e c h ,   e v a l u a t e   t h e   p o s i t i o n   a n d   d o w n - s a m p l i n g   a p p r o a c h e s ,   a n d   e x p l o r e   h o w   t o   l a b e l   a l p h a b e t s   ( c h a r a c t e r ,   p h o n e m e ,   s u b w o r d )   a f f e c t   a t t e n t i o n   h e a d s   a n d   p e r f o r man c e .   UK   I EEE  X p l o r e   " S A N - C T C   t r a i n q u i c k l y   a n d   o u t p e r f o r ms  e x i st i n g   C T C   mo d e l a n d   mo st   e n c o d e r - d e c o d e r   mo d e l s,  w i t h   c h a r a c t e r   e r r o r   r a t e ( C ER s)   o f   4 . 7 %   i n   1   d a y   o n   W S e v a l 9 2   a n d   2 . 8 i n   1   w e e k   o n   L i b r i S p e e c h   t e st - c l e a n ,   w i t h   a   f i x e d   a r c h i t e c t u r e   a n d   o n e   G P U .   S i mi l a r   i mp r o v e me n t h o l d   f o r   W ER a f t e r   L M   d e c o d i n g .   S 1 1   [ 4 5 ]   T h e   w o r k   i s   f o c u s e d   o n   u s i n g   se q u e n c e   t o   s e q u e n c e   t h e   a t t e n t i o n   m o d e l   b y   t h e   G o o g l e   b r a i n   t e a m   t o   g e n e r a t e   t h e   a b s t r a c t   o f   r e s e a r c h   p a p e r s .   M o r e o v e r ,   t e m p o r a l   a t t e n t i o n   m e c h a n i s m   h a s   b e e n   u s e d   i n   r e p l a c e m e n t   t o   t h e   g l o b a l   a t t e n t i o n   t o   c a t e r   t o   t h e   p r o b l e m   o f   r e p e t i t i v e   w o r d s.   P a k i st a n   I EEE  X p l o r e   T h e   r e su l t   i n d i c a t e t h a t   t h e   t e mp o r a l   a t t e n t i o n   mo d e l   i a   u se f u l   m e t h o d   f o r   g e n e r a t i n g   su mm a r i e s.  M o r e o v e r ,   r e s u l t s   i n d i c a t e   t h a t   w i t h   t h e   i n c r e a se   i n   d a t a se t   si z e ,   t h e   a c c u r a c y   o f   t h e   r e su l t a l so   i n c r e a se s.   S 1 2   [ 8 ]   T h e   p a p e r   u se a   mu l t i l a y e r e d   l o n g   sh o r t - t e r me mo r y   ( L S T M )   t o   map   t h e   i n p u t   se q u e n c e   t o   a   v e c t o r   o f   f i x e d   d i me n si o n a l i t y .   T h e n ,   a n o t h e r   d e e p   L S T M   t o   d e c o d e   t h e   t a r g e t   se q u e n c e   f r o t h e   v e c t o r . "   C a n a d a   G o o g l e   S c h o l a r   T h e   mai n   r e su l t   i t h a t   o n   a n   En g l i s h   t o   F r e n c h   t r a n sl a t i o n   t a s k   f r o t h e   W M T - 14  d a t a s e t ,   t h e   t r a n s l a t i o n s   p r o d u c e d   b y   t h e   L S T M   a c h i e v e   a   B L E U   s c o r e   o f   3 4 . 8   o n   t h e   e n t i r e   t e s t   s e t ,   w h e r e   t h e   L S T M ' s   B L E U   s c o r e   w a s   p e n a l i z e d   o n   o u t - of - v o c a b u l a r y   w o r d s .   A d d i t i o n a l l y ,   t h e   L S T M   d i d   n o t   h a v e   d i f f i c u l t y   i n   l o n g   se n t e n c e s.   S1 3   [ 4 6 ]   " W e   p r o p o se   a   n o v e l   e n d - to - e n d   se q u e n c e - to - se q u e n c e   mo d e l   t o   g e n e r a t e   c a p t i o n f o r   v i d e o s.  F o r   t h i s,  w e   e x p l o i t   r e c u r r e n t   n e u r a l   n e t -   w o r k s,  sp e c i f i c a l l y   L S T M s,   w h i c h   h a v e   d e mo n st r a t e d   st a t e - of - t h e - a r t   p e r f o r man c e   i n   i m a g e   c a p t i o n   g e n e r a t i o n . "   U S A   I EEE  X p l o r e   [ T h i p a p e r ]   c o n s t r u c t e d   d e scri p t i o n s   u si n g   a   se q u e n c e   t o   se q u e n c e   mo d e l ,   w h e r e   f r a me a r e   f i r st   t o   r e a d   se q u e n t i a l l y ,   a n d   t h e n   w o r d a r e   g e n e r a t e d   se q u e n t i a l l y .   T h i a l l o w u s   t o   h a n d l e   v a r i a b l e - l e n g t h   i n p u t   a n d   o u t p u t   w h i l e   si mu l t a n e o u sl y   mo d e l i n g   t e mp o r a l   st r u c t u r e .   O u r   m o d e l   a c h i e v e s   s t a t e - of - t h e - a r t   p e r f o r m a n c e   o n   t h e   M S V D   d a t a s e t ,   a n d   o u t p e r f o r m s   r e l a t e d   w o r k   o n   t w o   l a r g e   a n d   c h a l l e n g i n g   m o v i e - d e s c r i p t i o n   d a t a se t s."   S 1 4   [ 2 9 ]   " B a si c   b a c k p r o p a g a t i o n ,   w h i c h   i s   a   si mp l e   me t h o d   n o w   b e i n g   w i d e l y   u se d   i n   a r e a l i k e   p a t t e r n   r e c o g n i t i o n   a n d   f a u l t   d i a g n o si s,  i s   r e v i e w e d .   T h e   b a si c   e q u a t i o n f o r   b a c k p r o p a g a t i o n   t h r o u g h   t i me ,   a n d   a p p l i c a t i o n s   t o   a r e a s   l i k e   p a t t e r n   r e c o g n i t i o n   i n v o l v i n g   d y n a m i c   s y s t e m s ,   s y s t e m s   i d e n t i f i c a t i o n ,   a n d   c o n t r o l   a r e   d i scu sse d . "   U S A   I EEE  X p l o r e   T h i p a p e r   p r e se n t t h e   k e y   e q u a t i o n s   o f   b a c k p r o p a g a t i o n ,   a a p p l i e d   t o   n e u r a l   n e t w o r k o f   v a r y i n g   d e g r e e s   o f   c o mp l e x i t y .   I t   h a a l so   d i sc u sse d   o t h e r   p a p e r w h i c h   e l a b o r a t e   o n   t h e   e x t e n si o n o f   t h i me t h o d   t o   m o r e   g e n e r a l   a p p l i c a t i o n a n d   so me   o f   t h e   t r a d e o f f s i n v o l v e d     S 1 5   [ 4 7 ]   " T h i p a p e r   e x a mi n e t h e   mo st   p o p u l a r   D N N a p p r o a c h e s:   L S T M ,   E n c o d e r - D e c o d e r   n e t w o r k   a n d   M e mo r y   n e t w o r k   i n   se q u e n c e   p r e d i c t i o n   f i e l d   t o   h a n d l e   t h e   so f t w a r e   se q u e n c e   l e a r n i n g   a n d   p r e d i c t i o n   t a s k . "   C h i n a   I EEE  X p l o r e   " O u r   r e su l t d e mo n st r a t e   t h a t   a t t e n t i o n   me c h a n i sm   d o e n o t   f i t   a l l   se q 2 se q   p r o b l e ms,  e sp e c i a l l y   i n   a   w e a k   map p i n g   r e l a t i o n sh i p .   A n d   a d d i t i o n a l   i n f o r mat i o n   c a n   b e n e f i t   se q u e n c e   p r e d i c t i o n   i n   n e u r a l   n e t w o r k s."   S 1 6   [ 4 8 ]   T h e   p a p e r   p r e se n t e d   a   c h a r a c t e r   l e v e l   se q u e n c e   t o   se q u e n c e   t h e   l e a r n i n g   me t h o d .   T h e   a u t h o r   se t   i n   a n   R N N   i n t o   a n   e n c o d e r - d e c o d e r   f r a mew o r k   a n d   g e n e r a t e   t h e   c h a r a c t e r - l e v e l   s e q u e n c e   i n   r e p r e se n t a t i o n   a a n   i n p u t     C h i n a   I EEE  X p l o r e   Ex p e r i me n t a l   r e su l t b y   t h e   a u t h o r c o n f i r me d   t h a t   t h e   p r o p o se d   a p p r o a c h   a c h i e v e d   p e r f o r man c e   c l o se  t o   c o n v e n t i o n a l   w o r d   a n d   p h r a se - b a se d   t r a n sl a t i o n   sy st e ms.  T h e   p r o p o se d   me t h o d a l l o w t o   " r e a d q u a n t i z e d   c h a r a c t e r i n t o   t h e   t r a n sl a t i o n   sy st e m,   i n s t e a d   o f   u si n g   a   p r e d e f i n e d   v o c a b u l a r y   w i t h   a   l i mi t e d   n u m b e r   o f   w o r d s"             Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 8 - 8708   I n t J   E lec  &   C o m p   E n g ,   Vo l.  11 ,   No .   3 J u n 2 0 2 1   :   2 3 1 5   -   2326   2324   ACK NO WL E D G E M E NT S   T h is   w o r k   i s   p ar t o f   p r o j ec t u n d er ta k en   at  t h B r itis h   Un i v er s it y   in   Du b ai.       RE F E R E NC E S   [1 ]   S.   A .   S a ll o u m ,   M .   A lsh u ri d e h ,   A .   El n a g a r,   a n d   K .   S h a a lan ,   " M a c h i n e   L e a rn in g   a n d   De e p   L e a rn in g   T e c h n iq u e f o C y b e rse c u rit y A   Re v ie w , "   Pro c e e d in g o t h e   I n ter n a t io n a l   Co n fer e n c e   o n   Arti fi c ia l   In telli g e n c e   a n d   C o mp u ter   Vi sio n   ( AICV 2 0 2 0 ) v o l.   1 1 5 3 ,   2 0 2 0 ,   p p .   5 0 - 57 .   [2 ]   S.   A .   S a ll o u m ,   M .   A lsh u rid e h ,   A .   El n a g a r,   a n d   K.  S h a a lan ,   " M in in g   in   Ed u c a ti o n a Da ta:  Re v i e a n d   F u tu r e   Dire c ti o n s,"   Pro c e e d in g s   o th e   In ter n a ti o n a Co n fer e n c e   o n   Arti fi c ia In tell ig e n c e   a n d   C o mp u ter   Vi si o n   ( AICV 2 0 2 0 ) ,   v o l.   1 1 5 3 ,   2 0 2 0 ,   p p .   9 2 - 1 0 2 .   [3 ]   S.   A .   S a ll o u m ,   R.   Kh a n ,   a n d   K.  S h a a lan ,   " A   S u rv e y   o f   S e m a n ti c   A n a l y sis  A p p ro a c h e s,"   Pr o c e e d in g o th e   In ter n a t io n a C o n fer e n c e   o n   Arti f icia In telli g e n c e   a n d   Co m p u ter   V isio n   ( AICV 2 0 2 0 ) v o l .   1 1 5 3 ,   2 0 2 0 ,   p p .   6 1 - 70 .   [4 ]   A.   Y.  Zain a l,   H.  Yo u su f ,   a n d   S .   A .   S a ll o u m ,   " Di m e n sio n o f   A g il it y   C a p a b il it ies   Org a n iza ti o n a C o m p e ti ti v e n e ss   in   S u sta in i n g , "   Pro c e e d in g o th e   In ter n a ti o n a Co n fer e n c e   o n   Ar ti fi c i a I n telli g e n c e   a n d   C o mp u ter   V isio n   ( AICV 2 0 2 0 ) v o l.   1 1 5 3 ,   2 0 2 0 ,   p p .   7 6 2 - 7 7 2 .   [5 ]   H.  A l G h a n e m ,   M .   S h a n a a ,   S .   S a ll o u m ,   a n d   K.  S h a a lan ,   " T h e   Ro le  o f   KM  in   En h a n c in g   A A l g o rit h m a n d   S y st e m s,"   Ad v a n c e s is  S c ien c e ,   T e c h n o l o g y   a n d   En g i n e e rin g   S y ste m   J o u rn a l ,   v o l .   5 ,   n o .   4 ,   p p .   3 8 8 - 3 9 6 ,   2 0 2 0 .   [6 ]   H.  Yo u su f ,   A .   Y .   Zain a l,   M .   A lsh u rid e h ,   a n d   S .   A .   S a ll o u m ,   " A rti f icia In telli g e n c e   M o d e ls  in   P o w e S y ste m   A n a l y si s,"   in   Arti fi c ia In telli g e n c e   fo S u sta in a b le  De v e lo p me n t:  T h e o ry ,   Pr a c ti c e   a n d   F u tu r e   Ap p li c a t io n s   v o l.   9 1 2 ,   p p .   2 3 1 - 2 4 2 ,   2 0 2 0 .   [7 ]   M .   A lS h a m si,  S .   A .   S a ll o u m ,   M .   A lsh u rid e h ,   a n d   S .   A b d a ll a h ,   " A rti f i c ial  In telli g e n c e   a n d   Blo c k c h a in   f o T ra n sp a re n c y   in   G o v e rn a n c e , "   in   Arti fi c ia I n telli g e n c e   fo S u sta in a b le  De v e lo p me n t:  T h e o ry ,   Pr a c t ice   a n d   F u t u re   Ap p li c a ti o n s v o l .   9 1 2 ,   p p .   2 1 9 - 2 3 0 ,   2 0 2 0 .   [8 ]   I .   S u tsk e v e r,   O.   V in y a ls,  a n d   Q. V .   L e ,   " S e q u e n c e   to   se q u e n c e   l e a rn in g   w it h   n e u ra n e tw o rk s,"   i n   Ad v a n c e i n   n e u ra in f o rm a ti o n   p ro c e ss in g   sy ste ms ,   p p .   3 1 0 4 - 3 1 1 2 ,   2 0 1 4 .   [9 ]   T.   - S .   Ng u y e n ,   S .   S k e r,   J.   Nie h u e s,  a n d   A .   W a ib e l,   " I m p ro v in g   se q u e n c e - to - se q u e n c e   sp e e c h   re c o g n it io n   train i n g   w it h   o n - th e - f ly   d a ta  a u g m e n tatio n , "   ICAS S 2 0 2 0   -   2 0 2 0   IE EE   In ter n a ti o n a Co n fer e n c e   o n   Aco u st ics ,   S p e e c h   a n d   S ig n a l   Pro c e ss in g   ( ICAS S P) ,   Ba r c e lo n a ,   S p a in ,   2 0 2 0 ,   p p .   7 6 8 9 - 7 6 9 3 .   [1 0 ]   I.   A re l,   J.  B.   L o o k s,  A .   Z iae i,   a n d   M .   L e fk o w it z ,   " Re c o n c il iatio n   b e tw e e n   si m u lato a n d   sp e e c h   re c o g n it io n   o u tp u t   u si n g   se q u e n c e - to - se q u e n c e   m a p p in g , G o o g le P a ten ts 2 0 2 0 .   [1 1 ]   M .   Blaa u w   a n d   J.  Bo n a d a ,   " S e q u e n c e - to - S e q u e n c e   S in g in g   S y n th e sis  Us in g   th e   F e e d - F o rw a rd   Tran sf o r m e r, "   in   ICAS S 2 0 2 0 - 2 0 2 0   I EE I n ter n a ti o n a Co n fer e n c e   o n   Aco u st ics ,   S p e e c h   a n d   S ig n a Pro c e ss in g   ( ICAS S P ) ,   Ba rc e lo n a ,   S p a i n ,   2 0 2 0 ,   p p .   7 2 2 9 - 7 2 3 3 .   [1 2 ]   S.   A .   S a ll o u m ,   M .   A l - E m r a n ,   A .   A .   M o n e m ,   a n d   K.  S h a a lan ,   " A   su rv e y   o f   tex m in in g   in   so c ial  m e d ia:  f a c e b o o k   a n d   tw it ter  p e rsp e c ti v e s,"   Ad v a n c e is  S c ien c e ,   T e c h n o l o g y   a n d   En g in e e rin g   S y ste m   J o u rn a l ,   v o l.   2 ,   n o .   1 ,     p p .   1 2 7 - 1 3 3 ,   2 0 1 7 .   [1 3 ]   S.   A .   S a ll o u m ,   A .   Q.  A lHa m a d ,   M .   A l - E m ra n ,   a n d   K.  S h a a lan ,   A   su rv e y   o f   A r a b ic  tex m in in g ,   In telli g e n t   Na tu ra L a n g u a g e   Pr o c e ss in g T r e n d s a n d   Ap p li c a t io n s ,   v o l.   7 4 0 pp .   4 1 7 - 431 ,   2 0 1 7 .   [1 4 ]   S.   A .   S a ll o u m ,   M .   A l - E m ra n ,   A .   A .   M o n e m ,   a n d   K.  S h a a lan ,   Us in g   te x m in in g   tec h n iq u e f o e x trac ti n g   in f o rm a ti o n   f ro m   re se a rc h   a rti c le s,   In telli g e n N a tu r a L a n g u a g e   Pro c e ss in g T re n d a n d   Ap p li c a t io n s ,   v o l.   7 40 pp .   3 7 3 - 3 9 7 ,   2 0 1 7 .   [1 5 ]   S.   A .   S a ll o u m ,   M .   A l - E m ra n ,   S .   A b d a ll a h ,   a n d   K.  S h a a lan ,   " A n a l y z in g   th e   A ra b   G u lf   N e w sp a p e rs  Us in g   T e x t   M in i n g   T e c h n iq u e s,"   Pro c e e d in g o t h e   In ter n a ti o n a Co n f e re n c e   o n   Ad v a n c e d   I n telli g e n S y ste ms   a n d   In fo rm a t ics v o l.   6 3 9 ,   2 0 1 7 p p .   3 9 6 - 4 0 5 .   [1 6 ]   M .   P a li w a a n d   U.  A .   Ku m a r,   " Ne u ra n e tw o rk a n d   sta ti stica tec h n i q u e s:  A   re v iew   o f   a p p li c a ti o n s,"   Exp e r t   S y ste ms   wit h   Ap p li c a ti o n s ,   v o l .   3 6 ,   n o .   1 ,   p p .   2 - 1 7 ,   2 0 0 9 .   [1 7 ]   P .   S e ra i,   A .   S ti f f ,   a n d   E.   F o sle r - L u ss ier,  " En d   to   E n d   S p e e c h   Re c o g n it io n   Err o P re d icti o n   w it h   S e q u e n c e   t o   S e q u e n c e   L e a rn in g , "   ICAS S 2 0 2 0   -   2 0 2 0   IE EE   In ter n a ti o n a l   Co n fer e n c e   o n   Aco u stics ,   S p e e c h   a n d   S ig n a l   Pro c e ss in g   ( ICAS S P) ,   Ba rc e lo n a ,   S p a in ,   2 0 2 0 ,   p p .   6 3 3 9 - 6 3 4 3 .   [1 8 ]   K.  P a las u n d ra m ,   N.  M .   S h a re f ,   K.  A .   Ka s m iran ,   a n d   A .   Az m a n ,   " En h a n c e m e n ts  to   th e   S e q u e n c e - to - S e q u e n c e - Ba se d   Na tu ra A n s w e G e n e ra ti o n   M o d e ls,"   IEE Acc e ss ,   v o l.   8 ,   p p .   4 5 7 3 8 - 4 5 7 5 2 ,   2 0 2 0 .   [1 9 ]   I.   S a it o ,   K.   Nish id a ,   K.  Nis h id a ,   a n d   J.  T o m it a ,   " A b stra c ti v e   S u m m a ri z a ti o n   w it h   Co m b in a ti o n   o f   P re - train e d   S e q u e n c e - to - S e q u e n c e   a n d   S a li e n c y   M o d e ls,"   a rXiv P re p r.  a rXiv2 0 0 3 . 1 3 0 2 8 ,   2 0 2 0 .   [2 0 ]   M .   S u rd e a n u ,   " A   Ge n tl e   In tro d u c ti o n   t o   De e p   L e a rn in g   f o Na tu ra L a n g u a g e   P ro c e ss in g , "   g o o g le  S c h o l a r   p p .   1 - 6 3 ,   2 0 2 0 .     [2 1 ]   D.  Kin g ,   A .   D.  S ims ,   a n d   M .   El sn e r,   " In terp re ti n g   se q u e n c e - to - se q u e n c e   m o d e ls  f o Ru ss ian   in f lec ti o n a m o rp h o lo g y , "   Pro c e e d in g s o th e   S o c iety   fo r C o mp u ta ti o n   i n   L i n g u isti c s v o l.   3 ,   p p .   4 0 2 - 4 1 1 ,   2 0 2 0 .   [2 2 ]   Y.  Ya n   e a l. ,   " P ro p h e tNe t:   P r e d ictin g   F u t u re   N - g ra m   f o S e q u e n c e - to - S e q u e n c e   P re - train i n g , "   a rXiv  Pre p r.  a rXiv2 0 0 1 . 0 4 0 6 3 ,   2 0 2 0 .   [2 3 ]   A .   S u n ,   J.  Wan g ,   N.  Ch e n g ,   H.  P e n g ,   Z.   Zen g ,   a n d   J.  X iao ,   " G ra p h T T S g r a p h - to - se q u e n c e   m o d e ll in g   in   n e u ra l   tex t - to - sp e e c h , "   ICAS S P   2 0 2 0   -   2 0 2 0   IEE E   In ter n a ti o n a C o n fer e n c e   o n   Aco u stics ,   S p e e c h   a n d   S i g n a Pro c e ss in g   ( ICAS S P) ,   Ba rc e lo n a ,   S p a i n ,   2 0 2 0 ,   p p .   6 7 1 9 - 6 7 2 3 .   Evaluation Warning : The document was created with Spire.PDF for Python.