I nte rna t io na l J o urna l o f   E lect rica l a nd   Co m pu t er   E ng ineering   ( I J E CE )   Vo l.   15 ,   No .   1 Feb r u ar y   20 25 ,   p p .   949 ~ 957   I SS N:  2088 - 8 7 0 8 ,   DOI : 1 0 . 1 1 5 9 1 /ijece. v 15 i 1 . pp 9 4 9 - 9 5 7           949       J o ur na l ho m ep a g e h ttp : //ij ec e. ia esco r e. co m   Enha ncing  senti ment ana ly sis  t hr o ug h deep  la y er i ntegra tion  with  lo ng  sho rt - te rm memo ry   n e tw o rks       P a rul D ub ey 1 P us hk a Dub ey 2 ,   H it esh   G eha ni 3   1 D e p a r t me n t   o f   C o m p u t e r   S c i e n c e   a n d   E n g i n e e r i n g ,   S y mb i o s i s I n st i t u t e   o f   Te c h n o l o g y ,   N a g p u r   C a mp u s,   S y m b i o si s   I n t e r n a t i o n a l   ( D e e me d   t o   b e   U n i v e r si t y ) ,   P u n e ,   I n d i a   2 D e p a r t me n t   o f   M a n a g e me n t ,   P a n d i t   S u n d a r l a l   S h a r ma  ( O p e n )   U n i v e r si t y   C h h a t t i sg a r h ,   B i l a s p u r I n d i a   3 S c h o o l   o f   C o m p u t e r   S c i e n c e   a n d   E n g i n e e r i n g ,   S h r i   R a m d e o b a b a   C o l l e g e   o f   En g i n e e r i n g   a n d   M a n a g e m e n t ,   R a m d e o b a b a   U n i v e r s i t y ,   N a g p u r ,   I n d i a       Art icle  I nfo     AB S T RAC T      A r ticle  his to r y:   R ec eiv ed   J u l 1 2 ,   2 0 2 4   R ev is ed   Au g   2 7 ,   2 0 2 4   Acc ep ted   Sep   3 ,   2 0 2 4       T h i s   i n v o l v e s   s t u d y i n g   o n e   o f   t h e   m o s t   i m p o r t a n t   p a r t s   o f   n a t u r a l   l a n g u a g e   p r o c e s s i n g   ( N L P ) :   s e n t i m e n t ,   o r   w h e t h e r   a   t h i n g   t h a t   m a k e s   a   se n t e n c e   i n e u t r a l ,   p o s i t i v e ,   o r   n e g a t i v e .   T h i s   p a p e r   p r e s e n ts   a n   e n h a n c e d   l o n g   s h o r t - t e r m   m e m o r y   ( L S T M )   n e t w o r k   f o r   t h e   s e n t i m e n t   a n a l y s i s   ta s k   u s i n g   a n   a d d i t i o n a l   d e e p   l a y e r   t o   c a p t u r e   s u b l e v e l   p a t t e r n s   f r o m   t h e   w o r d   i n p u t .   S o ,   t h e   p r o c e s s   t h a t   w e   f o l l o w e d   i n   o u r   a p p r o a c h   i s   t h a t   w e   c l e a n e d   t h e   d a t a ,   p r e p r o c e s se d   i t ,   b u i l t   t h e   m o d e l ,   t r a i n e d   t h e   m o d e l ,   a n d   f i n a l l y   t e s t e d   i t .   T h e   n o v e l t y   h e r e   l i e s   i n   t h e   a d d i t i o n a l   l a y e r   i n   t h e   a r c h i t e c t u r e   o f   L S T M   m o d e l ,   w h i c h   imp r o v e s   t h e   m o d e l   p e r f o r m a n c e .   W e   a d d e d   a   d e e p   l a y e r   w i t h   t h e   i n t e n t i o n   o f   i m p r o v i n g   a c c u ra c y   a n d   g e n e r a l i z i n g   t h e   m o d e l .   T h e   r e s u l t s   o f   t h e   e x p e r i m e n t   a re   a n a l y z e d   u s i n g   r e c a l l ,   F 1 - s c o r e ,   a n d   a c c u ra c y ,   w h i c h   i n   t u r n   s h o w   t h a t   t h e   d e e p - l a y e re d   L S T M   m o d e l   g i v e u s   a   b e t te r   p r e d i c t i o n .   T h e   L S TM   m o d e l   o u t p e r f o r m e d   t h e   b a s e l i n e   i n   t e r m s   o f   a c c u r a c y ,   r e c a l l ,   a n d   f 1 - s c o r e .   T h e   d e e p   l a y e r ' s   f o r e c a s t   a c c u ra c y   i n c re a se d   d r a m a t ic a l l y   o n c e   i t   wa s   tr a i n e d   to   c a p t u r e   i n t r i c a t e   s e q u e n c e s .   H o we v e r ,   t h e   i m p r o v e d   m o d e l   o v e r f i t t e d ,   n e c e ss i t a t i n g   a d d i t i o n a l   r e g u l a r i z a t i o n   a n d   h y p e r p a r a m e te r   a d j u s t m e n t .   I n   t h i s   p a p e r ,   w e   h a v e   d i s c u s se d   t h e   a d v a n t a g e s   a n d   d i s a d v a n t a g e s   o f   u s i n g   d e e p   l a y e r s   i n   L S T M   n e t w o r k s   a n d   t h e i r   a p p l i c a t i o n   t o   d e v e l o p i n g   m o d e l s   f o r   d e e p   l e a r n i n g   w i t h   b e t t e r - p e r f o rm i n g   s e n t i m e n t   a n a l y s i s .   K ey w o r d s :   Dee p   lear n in g     L o n g   s h o r t - ter m   m e m o r y     Natu r al  lan g u ag e   p r o ce s s in g   Sen tim en t a n aly s is     T ex t c lass if icatio n     T h is i a n   o p e n   a c c e ss   a rticle   u n d e r th e   CC B Y - SA   li c e n se .     C o r r e s p o nd ing   A uth o r :   Par u l D u b ey   Dep ar tm en t o f   C o m p u ter   Scie n ce   an d   E n g in ee r in g ,   Sy m b io s is   I n s titu te  o f   T ec h n o l o g y ,   Nag p u r   C am p u s ,   Sy m b io s is   I n ter n atio n al  ( Dee m ed   to   b e   Un iv er s ity )   Pu n e,   I n d ia   E m ail: d u b ey p ar u l2 9 @ g m ail. co m       1.   I NT RO D UCT I O N   Sen tim en an aly s is   ( also   k n o wn   as  o p in io n   m i n in g   o r   em o tio n   ar tific ial  in tellig en ce   ( AI ) )   i s   p ar o f   n atu r al  lan g u ag e   p r o ce s s in g   ( NL P )   th at  f o cu s es  o n   an al y zin g   an d   d ete r m in in g   th s en ti m en ts   o f   tex t   d ata.   B ec au s o f   th in cr ea s in   u s er - g en er ated   in f o r m atio n   in   th d ig ital  s p ac e,   an d   s o cial  n etwo r k in g   s ites   in   p ar ticu lar ,   s en tim en t   an aly s is   h as  b ee n   a   v alu ab le   to o l   f o r   b o th   r esear ch er s   a n d   b u s in ess es.  I n   th is   in v esti g atio n ,   L STM   n etwo r k s   an d   o t h er   r ec u r r e n n e u r al  n etwo r k s   ( R NNs)  will  b an al y ze d   in   th ca s o f   s en tim en an aly s is .   Sen tim en an aly s is   is   ar g u ab ly   o n o f   th e   m o s ex citin g   ar ea s   o f   r esear c h   in   NL in   th at  it   allo ws  u s   to   au to m atica lly   d eter m in wh eth er   th te x is   n eu tr al,   p o s itiv e,   o r   n eg ativ e.   W h ile  tr ad itio n al   m eth o d s   u s ed   d if f e r en m ac h i n lear n in g   alg o r ith m s ,   d ee p   l ea r n in g   h as  im p r o v ed   s en tim e n an aly s is   m o d els  in   s u ch   way   th at  th ey   ar n o m u c h   m o r ac cu r ate  an d   r o b u s t.  T h lo n g   s h o r t - ter m   m em o r y   ( L STM )   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 8 - 8 7 0 8   I n t J E lec  &   C o m p   E n g ,   Vo l.   15 ,   No .   1 Feb r u ar y   20 25 :   9 4 9 - 957   950   n etwo r k ,   with   its   ab ilit y   to   h a n d le  lo n g - ter m   d ep e n d en cies in   tex tu al  d ata,   h as m ad s ig n if i ca n t im p r o v em en ts   in   lan g u ag m o d elin g   a n d   h a s   b ec o m e   o n e   o f   th e   b etter   d e ep   lear n in g   n etwo r k   ar ch itect u r es  f o r   p r o ce s s in g   s eq u en tial d ata  in s tead   o f   t r ad i tio n al  r ec u r r e n t n eu r al  n etwo r k s   ( R NNs).   On p o ten tial w ay   to   in cr ea s p er f o r m an ce   f u r th er   with   L ST n etwo r k s   is   to   h av d ee p e r   lay er .   I n   m an y   ca s es,  d ee p er   L STM   ar ch itectu r es  ar u s ed   to   im p r o v th m o d el' s   ab ilit y   to   g en er a lize  to   u n s ee n   d ata  an d   lear n   m o r c o m p lex   d im e n s io n al  p atter n s   an d   in ter ac tiv ities   in   th d ata.   T h ad d itio n al  lay er   co u ld   h elp   in cr ea s k ey   p er f o r m an ce   m e asu r es  s u ch   as  F1 - s co r e,   r ec all,   an d   ac cu r ac y ,   as  it  will  m a k th m o d el  b etter   eq u ip p e d   to   u n d er s tan d   c o m p l ex   co n n ec tio n s   b etwe en   co n ten in   th tex t.  W ar g o in g   to   m er g L STM   an d   d ee p   lay er s   to   in tr o d u ce   m o r r eliab le  p r ed ictio n s   ab o u th s en tim en o f   o u r   m o d el.   T a b le  1   s h o ws  th li s o f   p r ev io u s   wo r k   th at  h as b ee n   d o n e.       T ab le  1 .   C o m p a r is o n   o f   l iter atu r r ev iewe d   S t u d y   D a t a s e t   S o u r c e   Te c h n i q u e s   K e y   F i n d i n g s   C o m p a r i so n   w i t h   p r o p o se d   m o d e l   S r i n i v a s   e t   a l .   [ 1 ]   Tw i t t e r   ( K a g g l e )   C o n v o l u t i o n a l   n e u r a l   n e t w o r k   ( C N N ) ,   LST M ,   s i m p l e   n e u r a l   n e t w o r k   LSTM   h a d   t h e   h i g h e s t   a c c u r a c y   w i t h   8 7 a c c u r a c y   Tr a i n i n g   a c c u r a c y   b e t t e r   t h a n   p r e v i o u s   mo d e l s - 9 8 . 3 4 %   M u h a mm a d   e t   a l .   [ 2 ]   I n d o n e si a n   h o t e l   r e v i e w s   W o r d 2 V e c ,   LS TM   H i g h e s t   a c c u r a c y   w i t h   W o r d 2 V e c + LST M - 8 5 . 9 6 %   M a h a d e v a sw a my   a n d   S w a t h i   [ 3 ]   A maz o n   p r o d u c t   r e v i e w s   B i d i r e c t i o n a l   LSTM   B e t t e r   p r e d i c t i o n s   w i t h   b i d i r e c t i o n a l   LST M   G a n d h i   e t   a l .   [ 4 ]   Tw i t t e r   ( I M D B )   C N N ,   LST M   I mp r o v e d   d e t e c t i o n   o f   t w e e t   sen t i m e n t   a n d   r e v i e w s - 8 7 . 7 4 ( t w e e t s) ,   8 8 . 0 2 %   ( r e v i e w s)   B e h e r a   e t   a l .   [ 5 ]   S o c i a l   me d i a   r e v i e w s   C o n v o l u t i o n a l   LST M   ( C o - LSTM )   B e t t e r   o u t c o m e i n   so c i a l   b i g   d a t a   s e n t i me n t   Ji n   e t   a l .   [ 6 ]   S t o c k   mark e t   d a t a   S e n t i me n t   a n a l y si s ,   LST M ,   A t t e n t i o n   mec h a n i sm   En h a n c e d   st o c k   p r i c e   p r e d i c t i o n   a c c u r a c y       An   ar ch itectu r al  d e p ictio n   is   u s ed   to   f u r th e r   d is cu s s   th im p lem en ted   p r o ce d u r e .   T h e   f o llo win g   s ec tio n   ex p lain s   d ataset  d escr ip tio n   an d   d ata  g ath e r in g .   d etailed   ex p lan atio n   o f   th m o d el' s   co n s tr u ctio n ,   tr ain in g ,   an d   h y p er p a r am eter   t wea k in g   is   p r o v id ed   af ter   th f in d in g s .   Ultim ately ,   we  wr ap   u p   th p a p er   with   im p r o v e d   p er f o r m a n ce   wh en   c o m p ar ed   to   ea r lier   m o d els.       2.   M E T H O   Ou r   s en tim en an aly s is   m eth o d   in co r p o r ates  n u m b er   o f   c r itical  s tep s ,   in clu d in g   d ata  p r ed ictio n   an d   m o d el  ev alu atio n .   I is   an   i m p r o v ed   v er s io n   o f   L STM   n etw o r k s   with   an   e x tr d ee p   lay er .   As  s u ch ,   o u r   i n itial  task   will  b to   am ass   a   g ig an t ic  d atab ase  o f   r ev iews  m ad e   b y   u s er s   an d   an n o tated   with   t h eir   s en tim en t.   T h e   tex d ata  in   th is   d ataset  h as  b ee n   p r e - p r o ce s s ed   b y   clea n in g   t h in itial  tex t,  u s in g   s tem m in g   o r   lem m atiza tio n ,   an d   r em o v i n g   s to p   wo r d s h en ce ,   it  is   in   to k en ized   an d   s ta n d ar d ized   f o r m   [ 7 ] [ 9 ] .   Af ter   th is   p h ase,   th tex is   r ea d y   f o r   an al y s is   [ 1 0 ] .   T h n ex s tep   is   to   c o n v e r th is   p r e - p r o ce s s ed   tex in to   n u m e r ical  r ep r esen tatio n s   u s in g   tex v ec to r izatio n   m eth o d s ,   e. g . ,   w o r d   em b ed d i n g s   ( e . g . ,   Glo Ve) .   W h ad   t o   d o   th i s   to   en s u r th at  o u r   m o d el  wo r k s   well  with   tex d ata.   W ca n   s ee   th at  s o m o f   th s tr u ctu r e,   wh en   we  d o   o u r   o wn   m o d el,   is   m u lti - lay er   a r ch itectu r e.   T h e   em b ed d in g   lay e r   is   th e   f ir s lay er ,   wh ich   co n v er ts   th e   in p u tex t   in to   w o r d   em b ed d in g s .   T h e   n e x two   lay er s ,   n am ed   L STM ,   wh ich   h er s tan d s   f o r   l o n g   s h o r t - te r m   m em o r y   [ 1 1 ] ,   [ 1 2 ] a r s p ec ialized   to   d etec t   s eq u en tial  d ep en d en cies  p r esen i n   tex t   d ata   [ 1 3 ] ,   [ 1 4 ] .   Her e,   d ee p ,   w h ich   s its   ab o v d en s e,   r ec o g n izes  m o r e   co m p lex   p atter n s   an d   in ter ac t io n s .   b in ar y   class if icatio n   is   d o n in   th o u tp u t   lay er   v ia  s in g le  n eu r o n   with   s ig m o id   ac tiv atio n ,   a n d   ea c h   l ay er   is   d en s lay er .   T h m o d el  is   tr ain ed   o n   th tr ain in g   d ataset.   Fo r   th is ,   to   k ee p   f r o m   o v er f itti n g ,   we  tu n th weig h ts   in   th is   s tep   an d   m o n ito r   th e   lo s s   in   tr ain in g   an d   v alid atio n ,   a ll  th is   with   th ai d   o f   o u r   f r ien d   Ad am   o p tim izer .   I n   th en d ,   we  will  ev alu ate  th ef f icien cy   o f   th m o d el  b y   d er iv in g   t h F1 - s co r e,   ac c u r ac y ,   p r ec is io n ,   a n d   r ec all.   T h m o d el  is   th en   v alid ated   o n   s ep ar ate  v al id atio n   d ataset  to   en s u r e   it  is   f u n ctio n al  an d   g en er aliza b le.   T h a r ch itectu r o f   t h p r o p o s ed   m o d el  ca n   b s ee n   in   Fig u r 1 .   T o   th e   b est  o f   o u r   k n o wled g e ,   o u r   m o d el   is   th e   f ir s to   in co r p o r ate   d ee p   lay er   at  th e   L STM   lev el,   an d   it   o f f e r s   an   e f f icien s o lu tio n   to   s en tim en an aly s is   task s   wi th   th ab ilit y   to   g en er alize   a n d   p r ed ict  m o r ac c u r ately .   Fr o m   d ata  p r ep a r atio n   th r o u g h   m o d el  v alid atio n ,   th is   ex ten s iv ap p r o ac h   en s u r es  ea ch   s tep   is   tak en   with   th u tm o s r ig o r   to   o b tain   th b est r esu lts .   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J E lec  &   C o m p   E n g     I SS N:   2088 - 8 7 0 8         E n h a n cin g   s en timen t a n a lysi s   th r o u g h   d ee p   la ye r   in teg r a ti o n   w ith     ( P a r u l D u b ey )   951       Fig u r 1 .   Ar c h itectu r o f   p r o p o s ed   m o d el       As  u s er   r ev iews  with   ass o ci ated   s en tim en lab els  m ak u p   th d ataset  u s ed   f o r   th is   s en tim en t   an aly s is   p r o ject,   wh ich   is   d er i v ed   f r o m   Kag g le .   T h d ataset  is   p r esen ted   h er in   g r ea t d etai l:   a.   Stru ctu r o f   t h d ataset: M o s t o f ten ,   th d ataset  r eq u ir es th f o llo win g   co l u m n s :     R ev iew  tex t:  T h r e v iew  tex t   its elf   is   in   th is   co lu m n .   T h i s   co lu m n   c o n tain s   s tr in g s ,   i.e . ,   u s er   te x t,  ex p r ess in g   an   o p in io n   o r   c o m m en t a b o u t p r o d u cts,  s er v ices,   o r   ex p er ien ce s .     Sen tim en L ab el  -   E v er y   r e v iew  h as  its   s en tim en lab els  in   th is   co lu m n .   B asically ,   th m o o d   is   ju s y es/n o   with   tag s .   T h lab els  c an   also   b m ath em atica l.  I n   p n eu m atica ter m s ,   1   is   to   b r ewa r d ed   as   p o s itiv an d   0   is   to   b n e g ativ e.   b.   Sam p le  d ata:   Her e’ s   s m all  s am p le  to   illu s tr ate  th s tr u ctu r o f   th d ataset  in   T ab le  1 .         T ab le  1 .   Stru ctu r o f   d ataset   R e v i e w   t e x t   S e n t i me n t   l a b e l   I   l o v e   t h i p r o d u c t !   I t   w o r k s   g r e a t   a n d   i v e r y   e a sy   t o   u se .   1   Te r r i b l e   e x p e r i e n c e .   T h e   i t e m   a r r i v e d   b r o k e n   a n d   t h e   c u s t o mer  s e r v i c e   w a s u n h e l p f u l .   0   Ju s t   o k a y ,   n o t h i n g   sp e c i a l   b u t   n o t   b a d   e i t h e r .   0   F a n t a s t i c !   E x c e e d e d   m y   e x p e c t a t i o n s   i n   e v e r y   w a y .   1   N o t   w o r t h   t h e   mo n e y .   P o o r   q u a l i t y   a n d   b a d   p e r f o r ma n c e .   0       c.   Data   c h ar ac ter is tics     Div er s ity   o f   r ev iews:  b etwe e n   th e   r ev iews  o f   b r o a d   r a n g o f   item s   an d   s er v ices,  th er e   is   d iv e r s d ataset  th at  m ay   allo th m o d el  to   g en e r alize   ac r o s s   s ettin g s .     L en g th   v a r iab ilit y th er is   lo o f   v ar ia b ilit y   in   h o lo n g   t h r ev iews  ar e,   f r o m   s h o r co m m en ts   to   in - d ep th   an al y s is .   T h is   u n ce r tain t y   is   p ar tly   ad d r ess ed   d u r in g   p r ep r o ce s s in g   b y   u s in g   p a d d in g .     Sen tim en d is tr ib u tio n th u s er   n ee d s   to   v er if y   th s en tim en lab el  d is tr ib u tio n   to   m ak e   th d ataset  b alan ce d .   I f   th e r ar in d ee d   n o   b alan ce d   d ata,   o v er - s am p lin g ,   u n d er - s am p lin g ,   o r   b al an cin g   class   weig h ts   in   th m o d el  t r ain in g   will b r eq u ir ed .   d.   I m p o r ta n ce   o f   p r ep r o ce s s in g   T ex clea n in g   in v o lv es  r em o v in g   r ed u n d an p u n ctu atio n ,   HT ML   tag s ,   an d   s p ec ial  ch a r ac ter s   to   r etain   th co r e   co n ten t   [ 1 5 ] ,   [ 1 6 ] .   T o k en izatio n   s p lits   th tex in to   in d i v id u al  wo r d s   o r   t o k en s ,   f o ll o wed   b y   s to p   wo r d s   r em o v al  to   elim in ate  co m m o n   wo r d s   lik an d   an d   th e.   Stem m in g   o r   l em m atiza tio n   th en   s im p lifie s   wo r d s   to   th eir   r o o t   f o r m s ,   wh ile  p ad d in g   en s u r es  u n if o r m   s eq u en ce   len g t h s   b y   ad d in g   ze r o s   wh er e   n ec ess ar y   [ 1 7 ] [ 1 9 ] .   e.   Use in   m o d el  tr ain in g   T h p r e - p r o ce s s ed   d ata  s et  is   s ep ar ated   in to   tr ain in g   s et  an d   test in g   s et.   Fo r   tr ain in g   th L STM   m o d el,   we  u s th tr ain in g   s et  an d   ev alu ate  it  o n   th test in g   s et   [ 2 0 ] .   T h ese  lab els  ar th s en tim en lab els,  wh ich   ar th tar g et  v ar ia b les th at  th m o d el  lea r n s   to   u s to   ca teg o r ize  r ev iews in to   s en tim en t c lass es.       3.   M O DE L   DE VE L O P M E N T   T h ce n ter p iece   o f   o u r   m eth o d   is   d esig n in g   an   L STM - b a s ed   n eu r al  n etwo r k   m o d el  f o r   s en tim en an aly s is .   T o   tr an s f o r m   r aw  tex in p u in to   v alu ab le  p r ed ictio n s   as  d ef in ed   in   th task s ,   th is   m o d el  ar ch itectu r e   d ep en d s   o n   m a n y   k ey   p a r ts .   T h f o llo win g   s ec tio n   f u r t h er   ex p lain s   th ar ch itectu r o f   th m eth o d   in   d etail.   T h ey   g iv e   u s   clea r   p ictu r o f   th m o d el.     Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 8 - 8 7 0 8   I n t J E lec  &   C o m p   E n g ,   Vo l.   15 ,   No .   1 Feb r u ar y   20 25 :   9 4 9 - 957   952   3 . 1 .     E m bedd ing   l a y er   Firstl y ,   th em b ed d in g   lay er   o f   th m o d el  is   its   in p u lay e r   [ 2 1 ] .   I ts   jo b   is   to   g e n er ate  d en s wo r d   em b ed d in g s   f o r   t h tex in p u t.   T h is   cr ea tes  d en s v ec to r   o f   f ix ed   s ize  f o r   ea ch   wo r d   i n   t h in p u s eq u en ce ,   allo win g   th m o d el  to   en co d s em an tic  in f o r m atio n   ab o u t   th wo r d s   as  we ll  as   th eir   r elatio n s h ip s   to   o n an o th er .   T h u s ,   in s tead   o f   [ 1 ,   2 ,   3 ,   4 ] ,   f o r   ex am p le ,   we  g et  [ 0 . 1 ,   0 . 2 ] ,   [ - 0 . 2 5 ,   . . . ] ,   [ 0 . 0 5 ,   0 . 1 ,   . . . ] ,   [ 0 . 3 ,   0 . 4 ,   . . . ]   in s tead   o f   wo r d   in d ex es.  Mo r eo v er ,   g i v en   th at  we  u s p r e - tr ain ed   em b e d d in g s   lik Glo V e,   we  ca n   in cr ea s e   tex t u n d er s tan d in g   in   th m o d el  b y   lev er a g in g   p r e - ex is tin g   k n o wled g a b o u t w o r d   co n n ec t io n s .     3 . 2 .     L ST M   l a y er   T h co r o f   th m o d el  ar th e   L STM   lay er s ,   wh ich   ar d esig n ed   to   lear n   th tem p o r al  d e p en d en cies   in   th tex t   in p u t.   L STM   lay er s   wer d esig n e d   s p ec if ically   to   h an d le   th v an is h in g   g r ad ie n is s u th at  im p ac ts   co n v en tio n al  R NNs  ( as  well   as  m o d el  lo n g - r an g e   d ep e n d en cies)   b y   en a b lin g   th n et wo r k   to   r em e m b er   in f o r m atio n   f o r   lo n g   p e r io d s   o f   tim a n d   to   m o d er ate   th e   m o v em en t   o f   d ata   th r o u g h   th e   n etwo r k   [ 2 2 ] .   T h e r ar s u b - f u n ctio n s   with in   th em   th at  let  th em   s to r e   d ata,   ca lle d   m em o r y   ce lls ,   an d   cir cu late   d ata,   ca lled   g ates   [ 2 3 ] .   B y   s tack in g   L STM   la y er s ,   it  is   p o s s ib le  to   g r ea tly   en h an ce   th m o d el' s   ca p ab ilit y   to   lear n   in tr icate   p atter n s   [ 2 4 ] ,   [ 2 5 ] .     3 . 3 .     Dee l a y er   MA DE - L STM   with   d ee p   lay er we  ad d   th ick   d ee p   la y er ,   wh ich   en ab les  lear n in g   m o r co m p lex   p atter n s   an d   in ter ac tio n s .   I ts   p r im ar y   f u n ctio n   is   to   h elp   th m o d el   lear n   d if f ic u lt  p atter n s   an d   co r r elatio n s   th at  wer u n n o ticed   b y   t h L S T lay er s   o p er atin g   alo n e.   W ca n   h av e   th e   in tu itio n   th at  w ith   th is   ex tr a   lay er ,   th m o d el  is   m o r a b le  to   lear n   th s tr u ctu r o f   th in p u d at an d   to   g e n er alize .   T h is   p r o v i d es  th m o d el  with   an   u n s u r p ass ed   ab ilit y   to   s h ap th in co m in g   d ata  in   m o r c o m p licated   way s ,   allo win g   th m o d el  to   m in g le   an d   in ter p r et  in f o r m atio n   in   d ee p er   s en s e.   T h DHL   m o d el  is   n o n - lin ea r   h id d en   lay e r   m o d el  b ec au s o f   th R ec tifie d   L in ea r   U n it  ac tiv atio n   f u n ctio n ,   wh ich   h elp s   th DHL   m o d el  ac co m m o d at th n o n - lin ea r it y .   T h m o d el  is   ab le  t o   lear n   n o n - lin ea r   r elatio n s h ip s   am o n g s th d ata,   w h ich   h el p s   in   th ac cu r ate   r ep r esen tatio n   o f   h ig h - d eg r ee   r elatio n s h ip s   ex is tin g   in   t h d ata.   No we  ca n   d o   th is   u s in g   th r ec tifie d   lin ea r   u n it  ( R eL U)   ac tiv atio n   f u n ctio n   b ec au s th is   en ab les  o u r   m o d el  to   tr ain   with o u r u n n in g   in to   p r o b lem s   s u ch   as  th v an is h in g   g r a d ien p r o b lem .   T h is   ad d s   lev el  o f   d e p th ,   an d   n o th m o d el   b ased   o n   L STM   lear n s   f r o m   d ata  in   b etter   way ,   w h ich   is   wh y   it  p er f o r m s   b ette r   in   task s   lik s en tim en an al y s is .   B es id es  L STM   lay er s ,   th ad d itio n al  lay er   s u p p lem en ts   th L STM   lay e r s   b y   h elp in g   to   d is co v er   th e   co r r elatio n s   an d   p atter n s   th at  ar g en er ally   lef u n n o tic ed   an d ,   as  r esu lt,  a r ca p ab l o f   g en e r atin g   m o r s tab le  as  well  as  ac cu r ate   tab le - b ased   r ep r esen tatio n .     3 . 4 .     Dense  l a y er s   T h i s   is   f o l l o w e d   b y   d e n s e   l a y e r s   a p p l i e d   t o   t h e   o u t p u t   a f t e r   t h L S T M   l a y e r s .   O n e   o f   t h e   m a in   t a s k s   f o r   t h e s e   f u ll y   c o n n e c t e d   l a y e r s   i s   t o   t a k e   t h o u t p u t   o f   t h e   L S T M   a n d   p u t   i i n t o   f o r m a t   t h at  m a t c h e s   u p   w it h   t h e   f i n a l   c la s s i f i ca t i o n .   S i n c a ll   n e u r o n s   i n   g i v e n   l a y e r   a r e   c o n n e c t e d   t o   al l   t h e   n e u r o n s   i n   th e   p r e v i o u s   la y e r ,   d e n s e   l a y e r s   a r e   a b l e   t o   p r o c ess   v e r y   c o m p l e x   d a t a .   R e L U   a ct i v a t i o n   f u n c t i o n s   a r e   f r e q u e n t ly   u s e d   t o   i n t r o d u c e   non - l i n e a r i t y   i n   t h es e   m i d d l e   l ay e r s ,   a s   t h i s   h el p s   t h e   m o d el   l ea r n   m o r e   c o m p l e x   c o r r e l a t i o n s   i n   t h e   d a t a .     3 . 5 .     O utput   l a y er   Fin ally ,   th m o d el  in clu d es  an   o u tp u l ay er ,   th h ea r t   o f   th m o d el,   in   wh ich   with   b in ar y   class if icatio n   th m o d el  ca n   s ay   if   th o s f ee lin g s   ar p o s itiv o r   n e g ativ e.   T h is   lay er   co m p r is es  n eu r o n   with   th s ig m o id   ac tiv atio n   f u n ctio n   o u tp u ttin g   v al u b etwe en   0   an d   1 .   T h is   n u m b er   r ep r esen ts   th ch an ce   o f   th e   p o s itiv class ,   u s in g   co m m o n   th r esh o ld   o f   0 . 5   to   p r ed ict  th class   lab el.   An y th in g   g r ea t er   th an   h alf   m ea n s   th at  we  ar f ee lin g   p o s itiv em o tio n s   an d   an y th in g   less   th an   h alf   m ea n s   th at  we  a r f ee lin g   n eg ativ e   em o tio n s .       4.   RE SU L T   AND  CO M P A RIS O N   Pre cisi o n   lev el,   th p r o p o r tio n   o f   p o s itiv p r e d ictio n s   m ad b y   th m o d el  th at  wer ac tu all y   co r r ec t.   T h p r ec is io n   o f   th e   b asic  L STM   m o d el  is   0 . 8 ,   an d   th L STM   with   d ee p   lay e r   h as  h ig h er   p r ec is io n   o f   0 . 8 5   in   th is   co m p ar is o n   asp ec t.  T h is   m ea n s   th at  th im p r o v e d   m o d el  is   ca p ab le  o f   m o r ac c u r ately   d etec tin g   th e   p o s itiv es,  th u s   r ed u cin g   th n u m b er   o f   f alse p o s itiv es.   T h b ase  L STM   m o d el  h as  r ec all  o f   0 . 8 5 with   d ee p   lay er ed   L STM ,   it  r ea ch es  0 . 9 1 .   T h is   is   an   in d icatio n   th at  th d ee p   lay er   h elp s   th m o d el  b etter   d is cr im in ate  p o s itiv ca s es,  w h ich   r ed u ce s   f alse   n eg ativ es.   T h F1 - s co r e,   wh ich   b alan ce s   p r ec is io n   a n d   r ec all  in to   s in g le  m etr ic,   g iv es  an   av er ag e d   r ep r esen tatio n   o f   h o well  t h m o d el  p r e d icts   wh en   clas s if y in g   n o n - m ain   m ater ial.   T h F1 - s co r e   f o r   th Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J E lec  &   C o m p   E n g     I SS N:   2088 - 8 7 0 8         E n h a n cin g   s en timen t a n a lysi s   th r o u g h   d ee p   la ye r   in teg r a ti o n   w ith     ( P a r u l D u b ey )   953   B asic L STM   Mo d el  is   0 . 8 0 ,   an d   th F1 - s co r f o r   th L STM   with   d ee p   l ay er   is   0 . 8 6 .   T h is   m ea n s   th im p r o v ed   m o d el  k ee p s   v er y   g o o d   b alan ce   b etwe en   p r ec is io n   an d   r ec all,   wh ich   r esu lts   in   en h an ce d   g e n er al   p er f o r m an ce .   W ith   d ee p   la y er   o n   th L STM ,   ad d in g   it  to   th m o d el  b r i n g s   s u b s tan tial  in cr ea s in   p er f o r m an ce   f o r   all  m etr ics.  Sam f o r   b asic  L STM   o n l y its   d ee p   L STM   lay er   h as  b etter   p r ec is io n ,   r ec all,   an d   F1 - s co r e.   T h is   in   tu r n   m ea n s   th at  th ca p a b le  m o d el   is   p er f o r m in g   well;  it  will  r ep o r t f ewe r   tr u p o s itiv es  an d   h ig h er   p r e d ictio n s   f o r   n o n - a cc ep ted   s tu d e n ts .   So ,   f o r   ap p licatio n s   th at  n ee d   h ig h   p r ec is io n ,   r ec all,   a n d   b alan ce d   p er f o r m a n ce ,   L STM   with   d ee p   lay er   is   g o o d   o p t io n .   Fig u r 2   s h o ws  th co m p ar is o n   r esu lt  b ased   o n   p r ec is io n   r ec all  an d   t h F 1 - s co r e.           Fig u r 2 .   C o m p a r is o n   f o r   p r ec is io n ,   r ec all,   an d   F1 - s co r e       4 . 1 .     T ra ini ng   a nd   v a lid a t io n   lo s s   I n   th e   L STM   m o d el,   t h tr ain   lo s s   is   d ec r ea s in g   o v er   th e   e p o ch s ,   wh ic h   in d icate s   th at  th m o d el   is   lear n in g   f r o m   tr ain i n g   d ata  v er y   ef f ec tiv ely .   T h is   co n s is ten t d ec lin s h o ws th at  th m o d el  is   ab le  to   r ed u ce   t h e   tr ain in g   er r o r .   B u th v alid atio n   lo s s   d ec r ea s es  an d   th e n   s tay s   p u in   th ea r ly   m i d d le;  it  ev en   s tar ts   in cr ea s in g   to war d s   th e   en d ,   b u v er y   s lig h tly .   T h is   ca n   b a n   in d icatio n   th at   th e   m o d el   is   b eg in n in g   to   o v er f it   th tr ain in g   d ata  d u r in g   tr ain i n g .   I n   s im p le  wo r d s ,   o v e r f itti n g   ar is es  wh en   th m o d el  d et er m in es  th tr ain in g   d ata  s o   well  th at  it  ca tch es  th n o is an d   p atter n s   th at  ar p ec u liar   to   th tr ain i n g   d ata  a n d   will  n o tr ac k   th e   n ew,   u n s ee n   d ata.   O n   t h e   o t h e r   h a n d ,   t h e   t r a i n i n g   l o s s   f o r   t h e   L S T M   w i t h   d ee p   l a y e r   i s   w a y   s h o r t e r   t h a n   t h a t   o f   t h e   s i m p l is ti c   L S T M   m o d e l .   S u c h   a   l a r g e   d ec r e a s e   i n   t h e   t r ai n i n g   l o s s   i n d i c at e s   t h a t h e   d e e p   m o d e l   i n   f a c l e a r n s   t h e   t r a i n i n g   d a t a   e x t r e m e l y   w e l l ,   a ll o w i n g   i t   t o   g e n e r a l iz e   f u r t h e r   a n d   p i c k   u p   c o m p l e x   p a t t e r n s   a n d   r e l a t i o n s h i p s .   Se c o n d l y ,   w e   n o t i c e   t h a t   t h e   v a l i d at i o n   l o s s   is   r e l a t i v el y   h i g h   a n d   d o e s   n o t   s h o w   a   l a r g e   d e c r e as e.   T h e   m o d e l   w i t h   t h e   m o r e   c o m p l i c a t e d   d e e p   la y e r   i s   l e a r n i n g   p a t t e r n s   t h at   a r e   f o u n d   w i t h i n   th e   t r a i n i n g   d a t a ,   b u t h e s e   p a t t e r n s   a r e   n o t   g e n e r a l   ( t h e y ' r e   o n l y   p r e s e n t   i n   t h e   t r a i n i n g   d a t a ) .   S o ,   t h e   m o d e l   i s   o v e r f i t t i n g   t o   t h t r a i n i n g   d a t a n d   t h e r e f o r e   n o g e n e r a l i zi n g   as   we l t o   t h e   v a l i d a t i o n   d a t t h is   ti m e .   T h h i g h   v a l i d a ti o n   l o s s ,   e v e n   t h o u g h   i t   g i v e s   a   r e al l y   g o o d   p e r f o r m a n c e   o n   t h e   t r a i n i n g   s e t ,   i n d ic a t es   b a d   g e n e r a l i za t i o n .     4 . 2 .     T ra in v s   v a lid a t i o n a cc ura cy   T r ain in g   ac cu r ac y   f o r   th L S T m o d el  in cr ea s es  at  s tea d y   r ate  ac r o s s   th ep o c h s ,   wh ich   s u g g ests   th at  it  is   lear n in g   co n s is ten tly .   T h ac cu r ac y   in cr ea s in g   s lo w ly   s h o ws  th at  th m o d el  is   p r e d ictin g   th co r r ec t   s en tim en f r o m   th tr ain in g   d ata.   T h v alid atio n   ac cu r ac y   is   to u ch   lo wer   th an   o u r   tr a in in g   ac cu r ac y   b u t   f lu ctu ates  m u ch   less   o v er   th co u r s o f   th ep o ch s .   T h is   co n s is ten cy   m ea n s   th at  th m o d el  is   g en er alizin g   well  an d   co n tin u in g   to   p er f o r m   r eliab ly   o n   u n s ee n   d ata.   T h L STM   with   d ee p   lay er   q u ick ly   g ets  p er f ec t   tr ain in g   ac cu r ac y   an d   n ev e r   m o v es.  T h is   h ig h   s co r e   s u g g ests   th m o d el  is   o v er f it tin g ,   an d   it  is   v er y   g o o d   at  l ea r n in g   t h tr ain in g   d ata   an d   in f er r in g   co m p lex   p atter n s .   B u t it  d o es n o s ee   m ajo r   im p r o v e m en t in   th v alid atio n   ac cu r ac y ,   an d   it is   b it  wo r s th an   th b asic  m o d el,   as  s h o wn   b elo w.   T h f ac th at  tr ain in g   an d   v ali d atio n   ac cu r ac y   ar e   q u ite  d i s tan r ea f f ir m s   o u r   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 8 - 8 7 0 8   I n t J E lec  &   C o m p   E n g ,   Vo l.   15 ,   No .   1 Feb r u ar y   20 25 :   9 4 9 - 957   954   s u s p icio n   o f   o v e r f itti n g .   Su ch   m o d el  wo u ld   f it  th tr ain in g   d ata  v er y   well  b u wo u ld   f a il  to   r ea ch   th s am e   lev el  o f   p r ed ictio n   o n   th v alid atio n   s et,   wh ich   m ea n s   it h as p o o r   g en er aliza tio n   ca p ab ilit y .   T h L STM   m o d el  with   a n   ex t r a - d ee p   la y er   g iv es  q u an tita tiv ely   s tr o n g er   p er f o r m an ce   o n   tr ain in g   b u lack s   g en er alizin g   ab ilit y .   T h is   is   ev id en ce d   b y   th lar g v alid atio n   lo s s   an d   th u n u s u al  s tab ilit y   o f   th v alid atio n   ac cu r ac y .   T h is   o v e r f itti n g   s ee n   in   th im p r o v ed   m o d el  r ev ea ls   th at  th m o d el   is   ab le  to   ca p tu r e   d etailed   in f o r m atio n   f r o m   t h e   tr ain in g   d ata,   b u t   th is   ca n n o b g en er alize d   to   u n s ee n   d a ta.   R eg u lar izatio n Ad d itio n al  m ea s u r es   to   im p r o v th e   g en e r aliza tio n   p er f o r m a n ce   o f   th e   en h an ce d   m o d el  co u ld   b e   n ee d ed ,   m a y   it  b d r o p o u t,  ea r ly   s to p p in g ,   o r   m o r ag g r ess iv d ata  au g m en tatio n .   T h ese  tech n iq u es  ad d   co n s tr ain ts   th at   h elp   m o d el  b y   tr ain in g   to   p r ev en o v er f itti n g ,   wh ich   m ay   in   tu r n   m ak m o d el  m o r g en er aliza b le  to   n ew  d ata.   Fig u r 3 .   d ep icts   th tr ai n in g   an d   v alid atio n   lo s s /acc u r ac y   o f   b o th   m o d els.             Fig u r e   3 .   T r ain in g   a n d   v alid atio n   lo s s   an d   ac cu r ac y       4 . 3 .     Co rr el a t io plo t   a na l y s is   I n   n eu r al  n etwo r k   tr ain in g ,   it  is   ess en tial   to   an aly ze   th r elatio n s h ip   b etwe en   tr ain in g   an d   v alid atio n   m etr ics  to   ass ess   m o d el  p e r f o r m an ce   an d   g e n er aliza tio n   c ap ab ilit ies.  C o r r elatio n   p lo ts   h elp   v is u alize   h o w   tr ain in g   lo s s ,   v alid atio n   l o s s ,   an d   ac cu r ac y   m etr ics  ev o l v o v er   tim e,   p r o v id i n g   in s ig h ts   in to   m o d el  b eh av io r .   T h is   co m p ar is o n   is   p ar ticu la r ly   im p o r ta n wh en   ev al u atin g   d if f er en ar ch itectu r es,  s u ch   a s   s tan d ar d   L STM   m o d el  v er s u s   an   L STM   with   an   a d d itio n al   d ee p   lay er ,   to   d eter m in e   wh ich   m o d el  ac h i ev es  b etter   o v er all   p er f o r m an ce   an d   g e n er alize s   m o r ef f ec tiv el y   o n   u n s ee n   d a ta.   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J E lec  &   C o m p   E n g     I SS N:   2088 - 8 7 0 8         E n h a n cin g   s en timen t a n a lysi s   th r o u g h   d ee p   la ye r   in teg r a ti o n   w ith     ( P a r u l D u b ey )   955   a.   L STM   m o d el  co r r elatio n   m atr ix     T r ain in g   L o s s   v s .   Valid atio n   L o s s T h er is   p o s itiv co r r e latio n   b etwe en   tr ain in g   an d   v a lid atio n   lo s s ,   wh ich   m ea n s   th at  as  th tr ain in g   lo s s   d ec r ea s es,  th v alid a tio n   lo s s   d ec r ea s es  a s   wel l.  I t   m ea n s   th m o d el  is   g en er alizin g   well.     T r ain in g   a n d   v alid atio n   ac cu r ac y T r ain in g   ac cu r ac y   is   in   d ir ec p r o p o r tio n   to   v ali d atio n   ac cu r ac y .   R em in d   y o u r s elf   th at  wh ate v e r   is   d o n to   im p r o v tr ai n in g   a cc u r ac y   ( th h o r izo n tal  ax is )   a ls o   ten d s   to   im p r o v v alid atio n   ac c u r ac y   ( t h v er tical  ax is ) ,   wh ich   is   s ig n   o f   g o o d   g e n er aliza tio n .   b.   L STM   with   d ee p   lay er : c o r r el atio n   m atr ix     T r ain in g   lo s s   v s .   v ali d atio n   l o s s Sti ll  in d icate s   h ig h   p o s itiv r elatio n s h ip ,   b u t   p o s s ib l y   lo wer   th an   th b asic  L STM   m o d el.   W h il th tr ain in g   lo s s   d im in is h es  co n s id er ab ly ,   th v alid atio n   l o s s   g ets  lo w   ( v er y   h ig h   co m p ar ed   to   th tr ain in g   lo s s ) ,   w h ich   m a y   i n d ic ate  th at  th e   tr ain in g   lo s s   is   o v er f itti n g ,   b u t   th v alid atio n   lo s s   is   n o t.     T r ain in g   ac cu r ac y   v s .   v alid ati o n   ac cu r ac y th co r r elatio n   b etwe en   tr ain in g   an d   v alid atio n   ac cu r ac y   is   s tr o n g   an d   h as  s lig h tly   d if f er en b e h av io r   co m p ar ed   to   t h b asic  L STM   m o d el.   W h en   th tr ain i n g   ac cu r ac y   is   h ig h   an d   we  h av d if f er en ce s   m o r lik th is ,   it su g g ests   th at  th m o d el  is   o v er f itti n g .   Fro m   th e   co r r elatio n   p l o ts ,   th v ar iatio n   in   h o m u ch   th e   m o d els  g en e r alize   f r o m   t h tr ain in g   d ata  to   th u n s ee n   v alid atio n   d ata  c an   b s ee n .   T h s im p le  L STM   m o d el  s ee m s   to   h av r ea s o n ab le  g en er aliza tio n ,   with   s tab le  b eh av io r   ac r o s s   th tr ain in g   a n d   v alid atio n   m etr ics.  T h L STM   m o d el  with   a   d ee p   la y er   s u f f e r s   f r o m   o v er f itti n g ,   wh ich   is   wh en   th m o d el  p e r f o r m an ce   is   am az in g   o n   tr ain   d ata,   b u wh en   we  v alid ate  th is   m o d el,   it  is   s o   m y s tiq u b ec a u s th m o d el  j u s lear n s   ex is tin g   d ata  with o u lear n in g   t h p atter n   co r r elatio n   in   th d ata.   W ith   th ese  less o n s ,   m o r wo r k   ca n   b d o n e   to   im p r o v e   th d esig n   o f   m o d els  an d   th r e g u lar izatio n   tech n iq u es  to   f u r th er   im p r o v e   g en er aliza tio n   p e r f o r m an ce .   Fig u r 4   s h o ws  th c o r r elatio n   p lo t   an aly s is   f o r   b o th   m o d els.  T ab le  3   co m p a r e s   th p er f o r m an ce s   o f   L STM   with   th d ee p   lay e r   m o d el .           Fig u r 4 .   C o r r elatio n   p lo t a n al y s is - co m p ar is o n       Tab le 3 .   Co m p a riso n   o LS T M   a n d   LS T M   wit h   d e e p   lay e m o d e l   M e t r i c   LSTM   m o d e l   LSTM   w i t h   d e e p   l a y e r   Tr a i n i n g   l o ss   0 . 1 6 7 6   0 . 0 5 2 4   V a l i d a t i o n   l o ss   0 . 3 4 1 9   0 . 6 6 0 4   Tr a i n i n g   a c c u r a c y   0 . 9 3 6 7   0 . 9 8 3 4   V a l i d a t i o n   a c c u r a c y   0 . 8 7 6 4   0 . 8 6 7 5   P r e c i s i o n   0 . 8   0 . 8 5   R e c a l l   0 . 8 5   0 . 9 1   F1 - s c o r e   0 . 8   0 . 8 6       5.   CO NCLU SI O N   T h is   ar ticle  lo o k ed   at  th s en tim en an aly s is   o f   ad d in g   a   d ee p   lay er   to   an   L STM   n et wo r k .   Ou r   ex ten s iv ev alu atio n ,   wh ich   r an g ed   f r o m   d ata  p r ep r o ce s s in g   to   m o d el  ev al u atio n ,   p r o v ed   th at  th d ee p - lay er   L STM   m o d el  h a d   b etter   ac c u r ac y ,   r ec all,   a n d   F1 - s co r co m p ar ed   t o   th b asic  m o d el.   T h d ee p   lay er   was   tr ain ed   to   r ec o r d   co m p lex   s eq u en ce s   an d   s ig n if ican tly   i m p r o v e d   p r ed ictiv ac c u r ac y .   Nev er th eless ,   th e   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 8 - 8 7 0 8   I n t J E lec  &   C o m p   E n g ,   Vo l.   15 ,   No .   1 Feb r u ar y   20 25 :   9 4 9 - 957   956   u p g r a d ed   m o d el   o v er f itted ,   w h ich   ca lled   f o r   e v en   m o r e   r e g u lar izatio n   a n d   h y p er p ar a m eter   tu n i n g .   Ho wev er ,   co r lev el   o f   e n h an ce d   s en ti m en an aly s is .   I n   s u m m ar y ,   th m ain   co n tr ib u tio n   o f   th is   wo r k   is   u s in g   a   d ee p - lay er ed   L STM   n etwo r k   to   i n c r ea s th p er f o r m a n ce   o f   th m o d el.   I n   f u tu r wo r k ,   th ese  is s u es,  o v er f itti n g ,   an d   s o m e   ef f ec tiv e   m o d el  o p tim izatio n   will  b a p p lied   t o   t h h ig h - s co r e   g am e   f o r   b etter   g en er aliza tio n   an d   ac cu r ac y .   T h is   s tu d y   b e n ef its   d ee p   lear n in g   m o d els f o r   n atu r al  lan g u ag p r o ce s s in g .       RE F E R E NC E S   [ 1 ]   A .   C .   M .   V .   S r i n i v a s,   C .   S a t y a n a r a y a n a ,   C .   D i v a k a r ,   a n d   K .   P .   S i r i sh a ,   S e n t i me n t   a n a l y s i u si n g   n e u r a l   n e t w o r k   a n d   LST M ,   I O C o n f e re n c e   S e r i e s:   M a t e ri a l s   S c i e n c e   a n d   En g i n e e r i n g ,   v o l .   1 0 7 4 ,   n o .   1 ,   2 0 2 1 ,   d o i :   1 0 . 1 0 8 8 / 1 7 5 7 - 8 9 9 x / 1 0 7 4 / 1 / 0 1 2 0 0 7 .   [ 2 ]   P .   F .   M u h a m m a d ,   R .   K u s u m a n i n g r u m ,   a n d   A .   W i b o w o ,   S e n t i m e n t   a n a l y s i s   u s i n g   W o r d 2 V e c   a n d   l o n g   s h o r t - t e r m   m e m o r y   ( L S T M )   f o r   I n d o n e s i a n   h o t e l   r e v i e w s ,   P r o c e d i a   C o m p u t e r   S c i e n c e ,   v o l .   1 7 9 ,   p p .   7 2 8 7 3 5 ,   2 0 2 1 ,   d o i :   1 0 . 1 0 1 6 / j . p r o c s . 2 0 2 1 . 0 1 . 0 6 1 .   [ 3 ]   U .   B .   M a h a d e v a sw a m y   a n d   P .   S w a t h i ,   S e n t i me n t   a n a l y s i u s i n g   b i d i r e c t i o n a l   LST M   n e t w o r k ,   Pro c e d i a   C o m p u t e r   S c i e n c e   v o l .   2 1 8 ,   p p .   4 5 5 6 ,   2 0 2 2 ,   d o i :   1 0 . 1 0 1 6 / j . p r o c s. 2 0 2 2 . 1 2 . 4 0 0 .   [ 4 ]   U .   D .   G a n d h i ,   P .   M .   K u m a r ,   G .   C .   B a b u ,   a n d   G .   K a r t h i c k ,   S e n t i me n t   a n a l y si s   o n   t w i t t e r   d a t a   b y   u s i n g   c o n v o l u t i o n a l   n e u r a l   n e t w o r k   ( C N N )   a n d   l o n g   sh o r t - t e r m   mem o r y   ( LS TM ) ,   Wi r e l e s P e rso n a l   C o m m u n i c a t i o n s ,   2 0 2 1 ,   d o i :   1 0 . 1 0 0 7 / s1 1 2 7 7 - 021 - 0 8 5 8 0 - 3.   [ 5 ]   R .   K .   B e h e r a ,   M .   J e n a ,   S .   K .   R a t h ,   a n d   S .   M i sr a ,   Co - LST M :   c o n v o l u t i o n a l   LST M   mo d e l   f o r   se n t i me n t   a n a l y s i i n   s o c i a l   b i g   d a t a ,   I n f o rm a t i o n   Pr o c e ssi n g   a n d   M a n a g e m e n t ,   v o l .   5 8 ,   n o .   1 ,   2 0 2 1 ,   d o i :   1 0 . 1 0 1 6 / j . i p m. 2 0 2 0 . 1 0 2 4 3 5 .   [ 6 ]   Z.   J i n ,   Y .   Y a n g ,   a n d   Y .   Li u ,   S t o c k   c l o s i n g   p r i c e   p r e d i c t i o n   b a s e d   o n   se n t i me n t   a n a l y si s   a n d   LST M ,   N e u r a l   C o m p u t i n g   a n d   Ap p l i c a t i o n s ,   v o l .   3 2 ,   n o .   1 3 ,   p p .   9 7 1 3 9 7 2 9 ,   2 0 2 0 ,   d o i :   1 0 . 1 0 0 7 / s0 0 5 2 1 - 0 1 9 - 0 4 5 0 4 - 2.   [ 7 ]   B .   Li n d e ma n n ,   T.   M ü l l e r ,   H .   V i e t z ,   N .   Jaz d i ,   a n d   M .   W e y r i c h ,   A   s u r v e y   o n   l o n g   sh o r t - t e r mem o r y   n e t w o r k f o r   t i me   seri e s   p r e d i c t i o n ,   Pr o c e d i a   C I R P ,   v o l .   9 9 ,   p p .   6 5 0 6 5 5 ,   2 0 2 1 ,   d o i :   1 0 . 1 0 1 6 / j . p r o c i r . 2 0 2 1 . 0 3 . 0 8 8 .   [ 8 ]   A .   S h e r st i n s k y ,   F u n d a me n t a l o f   r e c u r r e n t   n e u r a l   n e t w o r k   ( R N N )   a n d   l o n g   sh o r t - t e r mem o r y   ( LST M )   n e t w o r k ,   Ph y si c a   D :   N o n l i n e a r P h e n o m e n a ,   v o l .   4 0 4 ,   M a r .   2 0 2 0 ,   d o i :   1 0 . 1 0 1 6 / j . p h y s d . 2 0 1 9 . 1 3 2 3 0 6 .   [ 9 ]   M .   A l i z a mi r   e t   a l . I mp r o v i n g   t h e   a c c u r a c y   o f   d a i l y   s o l a r   r a d i a t i o n   p r e d i c t i o n   b y   c l i ma t i c   d a t a   u si n g   a n   e f f i c i e n t   h y b r i d   d e e p   l e a r n i n g   m o d e l :   L o n g   s h o r t - t e r m e mo r y   ( LST M )   n e t w o r k   c o u p l e d   w i t h   w a v e l e t   t r a n sf o r m,   E n g i n e e r i n g   Ap p l i c a t i o n o f   Art i f i c i a l   I n t e l l i g e n c e v o l .   1 2 3 ,   2 0 2 3 ,   d o i :   1 0 . 1 0 1 6 / j . e n g a p p a i . 2 0 2 3 . 1 0 6 1 9 9 .   [ 1 0 ]   Z.   G a o   e t   a l . A   n o v e l   mu l t i v a r i a t e   t i me   seri e p r e d i c t i o n   o f   c r u c i a l   w a t e r   q u a l i t y   p a r a me t e r s   w i t h   l o n g   sh o r t - t e r mem o r y   ( LSTM )   n e t w o r k s,   J o u rn a l   o f   C o n t a m i n a n t   H y d r o l o g y ,   v o l .   2 5 9 ,   2 0 2 3 ,   d o i :   1 0 . 1 0 1 6 / j . j c o n h y d . 2 0 2 3 . 1 0 4 2 6 2 .   [ 1 1 ]   M .   W e n ,   M .   S .   I b r a h i m,   A .   H .   M e d a ,   G .   Zh a n g ,   a n d   J.   F a n ,   In - S i t u   e a r l y   a n o mal y   d e t e c t i o n   a n d   r e m a i n i n g   u sefu l   l i f e t i me   p r e d i c t i o n   f o r   h i g h - p o w e r   w h i t e   LE D w i t h   d i st a n c e   a n d   e n t r o p y - b a s e d   l o n g   sh o r t - t e r mem o r y   r e c u r r e n t   n e u r a l   n e t w o r k s,   Ex p e rt   S y st e m s w i t h   Ap p l i c a t i o n s ,   v o l .   2 3 8 ,   2 0 2 4 ,   d o i :   1 0 . 1 0 1 6 / j . e sw a . 2 0 2 3 . 1 2 1 8 3 2 .   [ 1 2 ]   S .   C h a e ,   W .   N .   S t r e e t ,   N .   R a mar a j u ,   a n d   S .   G i l b e r t so n - W h i t e ,   P r e d i c t i o n   o f   c a n c e r   sy mp t o t r a j e c t o r y   u si n g   l o n g i t u d i n a l   e l e c t r o n i c   h e a l t h   r e c o r d   d a t a   a n d   l o n g   sh o r t - t e r m e m o r y   n e u r a l   n e t w o r k ,   J C O   C l i n i c a l   C a n c e I n f o rm a t i c s ,   n o .   8 ,   2 0 2 4 ,     d o i :   1 0 . 1 2 0 0 / c c i . 2 3 . 0 0 0 3 9 .   [ 1 3 ]   M .   L i u ,   W .   Zh o u ,   a n d   Z .   X u ,   H e s i t a n t   f u z z y   l o n g   sh o r t - t e r m e mo r y   n e t w o r k   a n d   i t s   a p p l i c a t i o n   i n   t h e   i n t e l l i g e n t   b u i l d i n g   sel e c t i o n ,   I EE T r a n s a c t i o n o n   F u z zy  S y st e m s ,   v o l .   3 2 ,   n o .   5 ,   p p .   2 5 9 0 2 6 0 2 ,   2 0 2 4 ,   d o i :   1 0 . 1 1 0 9 / TFU ZZ. 2 0 2 4 . 3 3 5 5 0 0 0 .   [ 1 4 ]   J.  S h a n ,   X .   Z h a n g ,   Y .   Li u ,   C .   Z h a n g ,   a n d   J.   Z h o u ,   D e f o r m a t i o n   p r e d i c t i o n   o f   l a r g e - sc a l e   c i v i l   st r u c t u r e s   u si n g   s p a t i o t e m p o r a l   c l u st e r i n g   a n d   e mp i r i c a l   m o d e   d e c o mp o si t i o n - b a s e d   l o n g   s h o r t - t e r m   m e mo r y   n e t w o r k ,   A u t o m a t i o n   i n   C o n s t ru c t i o n ,   v o l .   1 5 8 ,   2 0 2 4 ,   d o i :   1 0 . 1 0 1 6 / j . a u t c o n . 2 0 2 3 . 1 0 5 2 2 2 .   [ 1 5 ]   A .   G o g i n e n i ,   M .   K .   D .   R o u t ,   a n d   K .   S h u b h a m,  E v a l u a t i n g   m a c h i n e   l e a r n i n g   a l g o r i t h ms  f o r   p r e d i c t i n g   c o m p r e ssi v e   st r e n g t h   o f   c o n c r e t e   w i t h   mi n e r a l   a d mi x t u r e   u s i n g   l o n g   s h o r t - t e r m   mem o r y   ( LST M )   T e c h n i q u e ,   Asi a n   J o u r n a l   o f   C i v i l   En g i n e e ri n g ,   v o l .   2 5 ,   n o .   2 ,   p p .   1 9 2 1 1 9 3 3 ,   2 0 2 4 ,   d o i :   1 0 . 1 0 0 7 / s4 2 1 0 7 - 023 - 0 0 8 8 5 - x.   [ 1 6 ]   B .   G h o j o g h   a n d   A .   G h o d s i ,   R e c u r r e n t   n e u r a l   n e t w o r k s   a n d   l o n g   s h o r t - t e r m   mem o r y   n e t w o r k s :   t u t o r i a l   a n d   s u r v e y ,   a rXi v : 2 3 0 4 . 1 1 4 6 1 ,   2 0 2 3 .   [ 1 7 ]   F .   Li u ,   J.  L i ,   a n d   L.   W a n g ,   PI - LSTM :   p h y s i c s - i n f o r m e d   l o n g   sh o r t - t e r m   memo r y   n e t w o r k   f o r   st r u c t u r a l   r e sp o n s e   mo d e l i n g ,   En g i n e e ri n g   S t r u c t u r e s ,   v o l .   2 9 2 ,   2 0 2 3 ,   d o i :   1 0 . 1 0 1 6 / j . e n g s t r u c t . 2 0 2 3 . 1 1 6 5 0 0 .   [ 1 8 ]   S .   H .   P a r k   e t   a l . D e v e l o p m e n t   o f   a   so i l   m o i st u r e   p r e d i c t i o n   m o d e l   b a se d   o n   r e c u r r e n t   n e u r a l   n e t w o r k   l o n g   sh o r t - t e r m e mo r y   ( R N N - LSTM )   i n   so y b e a n   c u l t i v a t i o n ,   S e n so rs ,   v o l .   2 3 ,   n o .   4 ,   2 0 2 3 ,   d o i :   1 0 . 3 3 9 0 / s 2 3 0 4 1 9 7 6 .   [ 1 9 ]   C .   A v c i ,   B .   T e k i n e r d o g a n ,   a n d   C .   C a t a l ,   A n a l y z i n g   t h e   p e r f o r ma n c e   o f   l o n g   sh o r t - t e r m   mem o r y   a r c h i t e c t u r e s   f o r   ma l w a r e   d e t e c t i o n   m o d e l s ,   C o n c u rr e n c y   a n d   C o m p u t a t i o n :   Pr a c t i c e   a n d   Ex p e ri e n c e ,   v o l .   3 5 ,   n o .   6 ,   2 0 2 3 ,   d o i :   1 0 . 1 0 0 2 / c p e . 7 5 8 1 .   [ 2 0 ]   S .   B a n i a s a d i ,   R .   S a l e h i ,   S .   S o l t a n i ,   D .   M a r t í n ,   P .   P o u r m a n d ,   a n d   E.   G h a f o u r i a n ,   O p t i m i z i n g   l o n g   s h o r t - t e r m me mo r y   n e t w o r k   f o r   a i r   p o l l u t i o n   p r e d i c t i o n   u si n g   a   n o v e l   b i n a r y   c h i m p   o p t i m i z a t i o n   a l g o r i t h m,   El e c t ro n i c s   ( S w i t zer l a n d ) ,   v o l .   1 2 ,   n o .   1 8 ,   2 0 2 3 ,     d o i :   1 0 . 3 3 9 0 / e l e c t r o n i c s1 2 1 8 3 9 8 5 .   [ 2 1 ]   L.   W .   Tsa i   a n d   A .   A l i p o u r ,   P h y s i c s - i n f o r m e d   l o n g   s h o r t - t e r m   m e mo r y   n e t w o r k s   f o r   r e s p o n se   p r e d i c t i o n   o f   a   w i n d - e x c i t e d   f l e x i b l e   st r u c t u r e ,   En g i n e e r i n g   S t r u c t u res ,   v o l .   2 7 5 ,   2 0 2 3 ,   d o i :   1 0 . 1 0 1 6 / j . e n g st r u c t . 2 0 2 2 . 1 1 4 9 6 8 .   [ 2 2 ]   R .   G h o sh ,   S .   P h a d i k a r ,   N .   D e b ,   N .   S i n h a ,   P .   D a s ,   a n d   E.   G h a d e r p o u r ,   A u t o ma t i c   e y e b l i n k   a n d   mu sc u l a r   a r t i f a c t   d e t e c t i o n   a n d   r e mo v a l   f r o E EG   si g n a l u s i n g   k - n e a r e s t   n e i g h b o r   c l a ss i f i e r   a n d   l o n g   s h o r t - t e r m e m o r y   n e t w o r k s,   I EEE  S e n so rs  J o u r n a l   v o l .   2 3 ,   n o .   5 ,   p p .   5 4 2 2 5 4 3 6 ,   2 0 2 3 ,   d o i :   1 0 . 1 1 0 9 / JS EN . 2 0 2 3 . 3 2 3 7 3 8 3 .   [ 2 3 ]   H .   H .   Z h a n g ,   H .   M .   Y a o ,   L.   J i a n g ,   a n d   M .   N g ,   D e e p   l o n g   s h o r t - t e r m e mo r y   n e t w o r k s - b a s e d   so l v i n g   m e t h o d   f o r   t h e   F D TD   met h o d :   2 - D   c a se ,   I E EE  Mi c r o w a v e   a n d   W i re l e ss   T e c h n o l o g y   L e t t e rs ,   v o l .   3 3 ,   n o .   5 ,   p p .   4 9 9 5 0 2 ,   2 0 2 3 ,     d o i :   1 0 . 1 1 0 9 / l mw t . 2 0 2 2 . 3 2 2 3 9 5 9 .   [ 2 4 ]   T .   L i   a n d   T .   W u ,   M o d e l i n g   n o n l i n e a r   f l u t t e r   b e h a v i o r   o f   l o n g - sp a n   b r i d g e s   u si n g   k n o w l e d g e - e n h a n c e d   l o n g   sh o r t - t e r m   m e mo r y   n e t w o r k ,   C o m p u t e r - Ai d e d   C i v i l   a n d   I n f r a s t r u c t u r e   En g i n e e r i n g ,   v o l .   3 8 ,   n o .   1 1 ,   p p .   1 5 0 4 1 5 1 9 ,   2 0 2 3 ,   d o i :   1 0 . 1 1 1 1 / mi c e . 1 3 0 0 0 .   [ 2 5 ]   A .   I .   Jo n y   a n d   A .   K .   B .   A r n o b ,   A   l o n g   s h o r t - t e r mem o r y   b a se d   a p p r o a c h   f o r   d e t e c t i n g   c y b e r   a t t a c k s i n   I o u s i n g   C I C - I o T2 0 2 3   d a t a se t ,   J o u rn a l   o f   Ed g e   C o m p u t i n g ,   v o l .   3 ,   n o .   1 ,   p p .   2 8 4 2 ,   2 0 2 4 ,   d o i :   1 0 . 5 5 0 5 6 / j e c . 6 4 8 .         Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J E lec  &   C o m p   E n g     I SS N:   2088 - 8 7 0 8         E n h a n cin g   s en timen t a n a lysi s   th r o u g h   d ee p   la ye r   in teg r a ti o n   w ith     ( P a r u l D u b ey )   957   B I O G RAP H I E S O F   AUTH O RS          Pa r u Dub e y           is  c u rre n t ly   w o rk i n g   a a n   a ss istan p r o fe ss o in   De p a rtme n o f   Co m p u ter  S c ie n c e   a n d   E n g i n e e rin g ,   S y m b io sis  I n stit u te  o Te c h n o l o g y ,   Na g p u r   Ca m p u s ,   S y m b i o sis  In tern a ti o n a (De e m e d   Un iv e rsit y ),   P u n e ,   I n d ia .   Au t h o rs  h i g h e st  d e g re e   is  th e   d e g re e   o m a ste r’s  in   c o m p u ter  e n g i n e e rin g .   S h e   is  a lso   a   P h . D.  R e se a rc h   sc h o lar  in   Co m p u te r   S c ien c e   a n d   En g in e e ri n g   a C. V .   Ra m a n   Un iv e rsity ,   Bil a sp u r ,   C h h a tt isg a r h ,   I n d ia.  S h e   h a s   g o o d   a c a d e m ic  a n d   re se a rc h   e x p e rien c e   in   v a rio u a re a o CS a n d   IT.   S h e   h a tea c h in g   e x p e rien c e   o f iv e   y e a rs.  S h e   is  i n d u lg e d   i n   re se a rc h   a c ti v it ies   wh ich   in c lu d e b o o k   c h a p ters ,   b o o k s,  c o n fe re n c e   p a p e rs  a n d   jo u rn a a rti c les   a we ll .   S h e   h a 1 7   I n d ian   p u b li s h e d   p a ten ts .   S h e   h o l d a ro u n d   1 5   p u b li c a ti o n wh i c h   a re   p a rt  o c o n fe re n c e s,  S c o p u s   a n d   o th e jo u rn a ls  a we ll .   S h e   c a n   b e   c o n tac t e d   o n   e m a il d u b e y p a ru l 2 9 @ g m a il . c o m .         Pu shk a r   Dub e y           is  c u rre n tl y   wo r k in g   a s   a ss istan p ro fe ss o a n d   h e a d   i n   De p a rtme n o f   M a n a g e m e n a t   P a n d it   S u n d a rlal   S h a rm a   (Op e n Un i v e rsity   Ch h a tt isg a r h   Bil a sp u r.   He   is   a   g o l d   m e d a li st  in   M a ste o f   B u sin e ss   Ad m i n istr a ti o n   (M BA)   a n d   P h . D.   i n   h u m a n   re so u rc e   m a n a g e m e n t .   He   h a p u b li s h e d   m o re   t h a n   7 0   re se a rc h   p a p e rs  i n   re p u ted   jo u r n a ls  su c h   a Eme ra ld ,   Ta y lo r   a n d   F ra n c is,  S p r in g e r.   His  1 2   a rt icle a re   in d e x e d   i n   S c o p u s.   He   h a s a lso   a tt e n d e d   se v e ra in ter n a ti o n a c o n fe re n c e s in c lu d i n g   II M   lev e c o n fe re n c e s.  Ha v i n g   su c c e ss fu ll y   g u id e d   6   P h . D.  sc h o lars ,   Dr.  Du b e y   is  a lso   a c c re d it e d   with   0 7   p u b li sh e d   p a ten ts.   He   h a a lso   a c c o m p li sh e d   0 5   re s e a rc h   p ro jec ts  in c lu d in g   0 3   sp o n so re d   b y   I n d ian   Co u n c il   o f   S o c ial  S c ie n c e   Re se a rc h   (ICS S R Ne De lh i.   Ha v i n g   sp e c ialize d   in   sta ti stica s o ftwa re fo r   d a ta  a n a ly sis,   h e   h a s   d e li v e re d   se v e ra lec tu re o n   S P S S ,   AM OS  a n d   o th e rs.   He   is   a ls o   p u rsu i n g   th e   h ig h e st  a c a d e m ic  d e g re e   fo re se a rc h   i. e . ,   d o c to r   o letters   in   t h e   a re a   o f   a p p li c a ti o n   o f   S h r ima d   Bh a g wa d   G e e ta  in to   m a n a g e m e n p ra c ti c e s .   He   c a n   b e   c o n tac ted   o n   e m a il d rd u b e y p k a g @ g m a il . c o m .         H ites h   G e h a n i           (P h . D . e lec tro n ics   e n g in e e rin g ),   a ss istan p r o f e ss o a S c h o o o Co m p u ter  S c ien c e   a n d   En g in e e rin g ,   S h ri  Ra m d e o b a b a   C o l leg e   o En g in e e rin g   a n d   M a n a g e m e n t,   Ra m d e o b a b a   U n iv e rsity ,   Na g p u r ,   In d ia  is  a   re n o wn e d   a c a d e m ic  p e rso n a li t y   a n d   h a a c h iev e d   c o n ti n u e d   s u c c e ss   in   h is  r o le  a a   sc h o las ti c   i n tell e c tu a lea d e in   d iv e rsifie d   a re a s.  He   h o ld a   p a ten tab le   p ro fil e   with   b ril li a n a c a d e m ic   a c h iev e m e n ts.  His  tu to rial   e x c e ll e n c e ,   e sp e c ially   th e   v a rio u s   in n o v a ti v e   tea c h in g /l e a rn in g   p ra c ti c e a d o p ted   b y   h im   m a rk h im   a a   d isti n g u ish e d   lu m i n a ry   in   a c a d e m ic  c ircle s.  Re c ip ien o Be st   Tea c h e Aw a rd ,   NPT EL   S tar  a n d   P h. D .   P e rsu i n g .   Hites h   G e h a n h a 2   p a ten ts  (P u b li sh e d ),   1   c o p y ri g h t,   3   b o o k   c h a p ters ,   6   re se a rc h   p a p e rs  (p u b l ish e d   i n   i n tern a ti o n a j o u r n a ls,  c o n fe re n c e s).  He   h a wo r k e d   a a   re v iew e r   on   m a n y   in tern a ti o n a jo u r n a ls  a n d   c o n fe re n c e s.   He   c a n   b e   c o n tac ted   a e m a il g e h a n i h s @rk n e c . e d u .       Evaluation Warning : The document was created with Spire.PDF for Python.