I A E S  I n t e r n at io n al  Jou r n al  of  A r t if ic ia l  I n t e ll ig e n c e  ( I J - AI )   V ol .   13 , N o.   4 ,  D e c e m be r   2024 , pp.  4747 ~ 4756   I S S N :  2252 - 8938 ,   D O I :  10.11591/ ij a i. v 13 .i 4 .pp 4747 - 4756          4747     Jou r n al  h om e page :  ht tp : // ij ai . ia e s c or e .c om   S e n t i m e n t   an al ys i s   of   st u d e n t ’ s   c om m e n t s   u si n g   l on g s h or t - t e r m   m e m or y  w i t h   m u l t i - h e ad   at t e n t i on       B h avan a   P .   B h agat 1 ,   S h e e t al   S.   D h an d e - D an d ge 2 ,   S an d e e p   R .   R au t 3   1 D e pa r t m e nt   of   C om put e r   E ngi ne e r i ng ,   G ove r nm e nt   P ol yt e c hni c ,   Y a va t m a l ,   I n di a   2 D e pa r t m e nt   of   C om put e r   S c i e nc e   a nd   E ngi ne e r i ng ,   S i pna   C ol l e ge   of   E ngi ne e r i ng   a nd   T e c hnol ogy,   A m r a va t i ,   I ndi a   3 IB   C om put e r   S c i e nc e ,  S ha ngha i   Q i ba o   D w i ght   H i gh   S c hool ,   S ha ngha i ,   C hi na       A r t ic le   I n f o     A B S T R A C T   A r ti c le   h is to r y :   R e c e iv e d   F e b 11,  2024   R e vi s e d   A pr  9, 2024   A c c e pt e d   J un 14, 2024       Classroom   teaching   is   a   viable   and   effective   approach   for   enhancing   s tudent   learning   and   promoting   engagement   in   the   education al   process.   The   o pinions   of   students   play   a   vital   role   in   the   evaluatio n   of   teacher s.   This   paper   p resents   a   comprehens ive   overview   of   sentiment   analysis   techniques   based   on   recent   research   and   subsequently   explores   machine   learning,   i.e.,   e n semble   classifi ers ,   deep   learning ,   long   short - term   memory   (LSTM) ,   convol utional   neural   network   (CNN),   LSTM   with   single   a ttention,   LSTM   with   mult i - head   attenti on ,   and   feature   extractio n   techniques   (TFidfVector   and   Word2V ec),   in   the   context   of   sentiment   analysis   over   student   opinion   datasets,   i. e.,   the   Vietnamese   student   feedback   co rpus,   as   well   as   data   collected   from   a   final - year   student' s   comment   in   2023.   Further ,   the   Vietnamese   student   fe edback   corpus   is   translated   to   English   and   pre - processed   with   the   pr oposed   framework,   which   yields   interesting   facts   about   the   capabilit ie s   and   deficiencies   of   different   methods.   In   this   paper,   we   conducted   exper iments   with   ensemble  classifi ers,   LSTM   and   CNN,   LSTM   with   single   a ttenti on ,   and   LSTM   with   multi - head  attention .   We   conclude   that   LSTM   with   mult i - head   attenti on   produces   an   accuracy   result   of   95.57%,   which   outperfo rm   as   compare   to   other   three   baseline   methods   and   earlier   studies.     K e y w o r d s :   C on vol ut i on a l   ne ur a l   ne two r k   D e e p   l e a r ni ng   L e a r n in g   l ong   s hor t - t e r m   m e m or y   O pi ni on   m in in g   S e nt im e nt   a na ly s is   This   is   an   open   access   article   under   the   CC   BY - SA   license.     C or r e s pon di n g   A u th or :   B ha va na   P .   B ha g a t     D e pa r tm e nt   of   C om put e r   E ngi ne e r in g ,   G ove r nm e nt   P ol yt e c hni c   Y a va tm a l   D ha m a nga on R oa d, P im pa lg a on, Y a va tm a l,  M a h a r a s ht r a  4450 01, I ndi a   E m a il :   bha va na .bha ga t3 0475@ gm a il .c om       1.   I N T R O D U C T I O N   C la s s r oom   te a c hi ng   is   a   vi a bl e   a nd   e f f ic ie nt   a ppr oa c h   f or   e nha nc in g   s tu de nt   le a r ni ng   a nd   pr om ot in g   e nga ge m e nt   in   th e   e duc a ti ona l   pr oc e s s .   T he   m a in   obj e c ti ve   of   te a c hi ng   is   to   im pr ove   s tu de nt s   le a r ni ng   a bi li ti e s   a nd   pr om ot e   e f f e c ti ve   knowle dge   in   th e m .   T e a c hi ng   e f f e c ti ve ne s s   a lwa y s   de pe nds   on   te a c h e r s ’   s ubj e c t   knowle dge   a nd   p e da gogi c a l   a ppr oa c h   to   te a c hi ng.   S a nge e th a   a n d   P r a bha   [ 1]   s ta te d   th a t   t he   qua li ty   of   te a c hi ng   r e li e s   on   pe da gogi c a l   s ki ll s ,   de f in e d   obj e c ti ve s ,   c la r it y,   a nd   s ubj e c t   e xpe r ti s e .   E va lu a ti ng   te a c hi ng   e f f e c ti ve n e s s   can   be   m e a s ur e d   by   c ol le c ti ng   s tu de nt   f e e dba c k,   a id in g   in   th e   r e f in e m e nt   of   s tr a te gi e s   f or   im pr ovi ng   te a c hi ng   e xc e ll e nc e .   S tu de nt ’ s   opi ni ons   a r e   a lwa y s   de e p   a nd   uni que .   T h e y   gi ve   an   in - de pt h   vi e w   of   how   th e ir   te a c he r s   e nc our a ge   a nd   e duc a te .   T h e   te a c h e r s   ge t   oppor tu ni ti e s   to   f e e l   a nd   va lu e   th e   im por ta nc e   of   te a c hi ng   f r om   s tu de nt ’ s   opi ni ons .   S tu de nt   f e e dba c k   he lp s   th e   te a c he r s   f or m ul a te   be tt e r   de c is io ns   on   how   to   im pr ove   th e   qua li ty   of   te a c hi ng.   T hus ,   s tu de nt s   a r e   one   of   th e   m o s t   im por ta nt   pa r ti c ip a nt s   in   e ve r y   e duc a ti ona l   in s ti tu te .   R e s e a r c h e r s   ha v e   de v e lo pe d   a   num be r   of   m e th od s   a nd   to ol s   to   m e a s ur e   s tu de nt   opi ni ons .   In   th is   e r a ,   s e nt im e nt   a na ly s is   is   one   of   an   e m e r gi ng   a r e a   in   th e   f ie ld s   of   na tu r a l   la ngua ge   pr oc e s s in g   ( N L P )   a nd   a r ti f ic ia l   in te ll ig e nc e .   It   in vol ve s   th e   us e   of   c om put a ti ona l   m e th ods   to   de te r m in e   a nd   id e nt if y   th e   s e nt im e nt s   or   e m ot io na l   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I S S N :   2252 - 8938   I nt  J  A r ti f   I nt e ll ,  V ol .   13 , N o.   4 ,  D e c e m be r   2024 :  4747 - 4756   4748   a tt it ude s   e xpr e s s e d   in   te xt ,   e it he r   in   s tu de nt ’ s   f e e dba c k,   ne w s   a r ti c le s ,   s oc ia l   m e di a   pos t s ,   c us to m e r   r e vi e w s ,   a nd   ot he r   f or m s   of   w r it te n   c om m e nt s .   It   is   us e d   as   a   to ol   to   a na ly z e   a nd   e va lu a te   us e r s ’   c om m e nt s   a ut om a ti c a ll y.   A c c or di ng  to   Z hou  a nd  Y e   [ 2] ,   s e nt im e nt   a n a ly s i s   ha s   be c om e   on e   of   th e   m o s t   s ig ni f ic a nt   to pi c s   in   e duc a ti on   r e s e a r c h,   a nd   th e r e   a r e   s e ve r a l   im pl ic a ti ons   a nd   r e s e a r c h   is s u e s   di s c u s s e d   in   th e   r e s e a r c h   r e la te d   to   th e   us e   of   s e nt im e nt   a na ly s is   in   e duc a ti on.   T hi s   s tu dy   a dd r e s s e s   th e   us e   of   m a c hi ne   le a r ni ng   a nd   de e p   le a r ni ng   te c hnol ogi e s   in   e duc a ti on   to   c la s s if y   s e nt im e nt s   f r om   s tu de nt   c om m e nt s   us in g   f our   di f f e r e nt   c la s s if ic a ti on   m ode l s   a nd   c om pa r e s   th e ir   pe r f or m a nc e   w it h   e xi s ti ng   s tu di e s .   F ur th e r m or e ,   th is   s tu dy   a im s   to   e nc our a ge   r e s e a r c he r s   to   f oc us   on   de e p   le a r ni ng   a ppr oa c he s   to   im pr ove   th e   pe r f or m a nc e   of   c la s s if ie r   m ode l s   f or   s e nt im e nt   c la s s if ic a ti on.   S e c ti on   2   w il l   br ie f ly   e xpl a in   r e la te d   w or k.   S e c ti on   3   be g in s   w it h   an   out li ne   of   th e   de ta il e d   m e th odol ogy   of   th e   f our   a ppr oa c he s   us e d   in   our   pr opos e d   w or k.   S e c ti on   4   pr e s e nt s   e xp e r im e nt a l   r e s ul ts   a nd   pe r f or m a nc e   e va lu a ti ons   a nd   c om pa r is on s   w it h   c om pe ti ng   m e t hods .   S e c ti on   5   w il l   di s c us s   th e   c onc lu s io n   a nd   f ut ur e   s c ope .         2.   R E L A T E D   WO R K   In   th is   w or k,   we   f oc us   on   s e nt im e nt   a n a ly s is   of   s tu d e nt   c om m e nt s   in   th e   e duc a ti on   dom a in .   S om e   s tu di e s   [ 3 ] ,  [ 5] - [ 8 ]   us e d   a   le xi c on - ba s e d   a ppr oa c h;   s om e   s tu di e s   [ 5] ,   [ 6] ,   [ 8] – [ 10 ]   di d   not   e va lu a te   r e s ul ts   us in g   e va lu a ti on   m e tr ic s .   A ls o,   th e r e   is   a   tr e nd   to   u s e   hybr id   m ode l s   to   a c hi e ve   be tt e r   r e s ul ts   in   th e   s e nt im e nt   a n a ly s is   pr oc e s s .   S om e   m ode ls   do   not   pr ovi de   gr a phi c a l   r e s ul ts   f or   s e nt i m e nt   a na ly s i s ,   nor   do   th e y   pr ovi de   a ny   f a c t s   or   s tu di e s   to   e va lu a te   th e ir   vi s ua l   us a bi li ty .   M a ny   r e s e a r c he r s   in   [ 11] – [ 15]   f oc us   on   e - le a r ni ng.   L im i te d   s tu di e s   us e   th e   pr im a r y   c or pus ,   m a c hi ne   le a r ni ng   a nd   de e p   le a r ni ng   m e th ods ,   a lo ng   w it h   e va lu a ti on   m e tr ic s   [ 16] .   S e ve r a l   r e s e a r c he r s   in   [4 ],   [ 9] ,   [ 10] ,   [ 17 ] – [ 25]   e m pl oye d   m a c hi ne   le a r ni ng - ba s e d   m e th odol ogi e s .   T he   m ode l   is   in it ia ll y   tr a in e d   w it h   known   in put s   a nd   out put s ,   in   or de r   to   f unc ti on   w it h   la te r   unknown   da ta .   As   s ta te d   in   B ha ga t   a nd  D a ndge   [ 16] ,   s om e   a lg or it hm s ,   pe r f or m   m or e   a c c ur a te ly   th a n   ot he r s   w he n   u s e d   w it h   la r ge   c or por a .   In   s om e   s tu di e s   [ 21] ,   [ 26 ] – [ 29]   hybr id   m e th ods   w e r e   us e d   to   im pr ove   th e   a c c ur a c y   of   th e ir   w or k.   L a s tl y,   it   is   s e e n   th a t   s e v e r a l   r e c e nt   s tu di e s   [ 1] ,   [ 12] ,   [ 30] – [ 34]   us e d   de e p   le a r ni ng   m ode ls   as   one   of   th e   dom in a nt   m ode ls   in   th e   e duc a ti on   dom a in   w it h   hi ghe r   pe r f or m a nc e .   M a ny   s tu di e s   u s e d   th e   s tu de nt   f e e dba c k   da ta ,   w hi c h   is   a va il a bl e   onl in e   to   e xpl or e   a nd   is   hum a n - a nnot a t e d   in   V ie tn a m e s e ,   as   in   N guye n   et   al .   [ 30] .   T he   pr opos e d   s y s te m   im pl e m e nt s   m a c hi ne   l e a r ni ng   a nd   d e e p   le a r ni ng   m ode ls   a nd   c om pa r e s   th e ir   r e s ul ts ,   to   r e s ol ve   th e   pr obl e m   of   te xt   c la s s if ic a ti on   a nd   c om pa r e   th e ir   a c c ur a c y.   A ls o   us e d   to   id e nt if y   th e   be s t   m ode l   ba s e d   on   e va lu a ti on   m e tr ic s   f or   s tu de nt ’ s   c om m e nt s .   T he   c om pa r a ti ve   a na ly s i s   s ta te s   th a t   th e   de e p   le a r ni ng   m e th ods   a c hi e ve   be tt e r   th a n   th e   r e s t   of   th e   th r e e   ba s e li ne   m ode ls .   T he   pr opos e d   s ys te m   u s e s   two   da ta s e ts   f or   tr a in in g   a nd   te s ti ng,   i. e .,   th e   V ie tn a m e s e   s tu d e nt   f e e dba c k   c or pus   a nd   pr im a r y   da ta s e t   c ol le c te d   f r om   a   f in a l - ye a r   s tu de nt ' s   c om m e nt .   T he   e duc a ti on   f ie ld   is   e x pe r ie nc in g   a   s ig ni f ic a nt   a nd   pr of ound   c ha nge .   W it hi n   th is   s e c to r ,   s e nt im e nt   a na ly s is   hol ds   gr e a t   s ig ni f ic a nc e   f or   ke y   s ta ke hol de r s ,   s uc h   as   s tu de nt s   a nd   e duc a ti ona l   in s ti tu ti ons .   A   v a r ie ty   of   m a c hi ne   le a r ni ng   a nd   d e e p   le a r ni ng   te c hni que s   w il l   be   e m pl oye d   to   e va lu a te   s tu de nt ’ s   f e e db a c k.   A c c or di ng  to   S a nge e th a   a nd  P r a bha   [ 1] ,   de e p   le a r ni ng   is   popula r   c ur r e nt ly   due   to   its   a ut om a ti c   le a r ni ng   c a pa bi li ti e s   a nd   a ls o   it   de a ls   w it h   lo ng   s e que nc e s   r a th e r   th a n   s hor t   s e que nc e s   of   s e nt e nc e s .   It   is   obs e r ve d   th a t   in   pr e vi ous   w or k,   a   V ie tn a m e s e   s tu de nt   f e e dba c k   c or pus   c ons is ti ng   of   16,175   f e e dba c k   s e nt e nc e s   w a s   us e d   w it h   th e   lo ng s hor t - te r m  m e m or y ( L S T M )   w it h   m ul ti - he a d a tt e nt io n  m ode l   w he r e a s   in   our   pr opos e d   m ode ls ,   bot h   m a c hi ne   le a r ni ng   a nd   de e p   le a r ni ng   m ode ls   w e r e   im pl e m e nt e d,   a nd   te s ti ng   w a s   pe r f or m e d   on   bot h   th e   V ie tn a m e s e   s tu de nt   f e e dba c k   da ta s e t   as   w e ll   as   un s e e n   da ta   c ol le c te d   f r om   f in a l   ye a r   s tu de nt   f e e dba c k.   A ls o,   c om pa r a ti ve   a na ly s i s   of   d e e p   le a r ni ng   a nd   m a c hi ne   le a r ni ng   m e th ods   is   c ondu c te d   in   our   e xpe r im e nt s   to   id e nt if y   th e   be s t   m e th od s   in   te r m s   of   a c c ur a c y   pe r f or m a nc e .   In   th is   w or k,   we   f ir s t   c onve r te d   th e   V ie tn a m e s e   da ta s e t   to   E ngl is h,   c ont a in in g   21,561   s e nt e nc e s   a nd   tr a in e d   it   us in g   a   m a c hi ne   le a r ni ng   a nd   de e p   le a r ni ng   m ode l.   We   ut il iz e   bot h   th e   V ie tn a m e s e   a nd   th e   pr i m a r y   da ta s e t,   w hi c h   c ont a in   520   c om m e nt s   f r om   f in a l - ye a r   s tu de nt s   ga th e r e d   in   2023   f or   m ode l   te s ti ng.       3.   M E T H O D O L O G Y   T he   m o de l s   pr opo s e d   in   th i s   s t udy   in c lu de   s e v e r a l   s te p s   f or   s e nt i m e nt   a n a ly s is .   F ir s t,   pr e pr o c e s s in g   a n d   va r io u s   w or d   e m be d di ng   te c hni qu e s   w e r e   us e d   to   g e ne r a te   a   ve c to r   r e pr e s e nt a ti on.   T h e n,   th e s e   v e c to r s   a r e   us e d   f or   tr a in i ng   di f f e r e nt   c la s s if ie r   m od e ls   f or   s e nt im e nt   a n a ly s is .   F in a ll y,   th e   r e s ul ts   obt a in e d   w it h   th e   pr opo s e d   m ode l   a r e   c om p a r e d   w it h   th o s e   o bt a in e d   w it h   th e   ot h e r   th r e e   ba s e li ne   m o de l s   in   th i s   s tu dy   a n d   pr e vi o us   s tu di e s .   F ig ur e   1   il lu s tr a te s   th e   ov e r a ll   m e th odo lo gy   of   th e   pr op os e d   s e nt i m e nt   c la s s if ic a ti on   m od e l s ,   w hi c h   us e   d if f e r e nt   w or d   e m be ddi ng   t e c hn iq ue s   a nd   e va l ua ti o n   m e tr i c s   to   m e a s ur e   t he   pe r f or m a n c e   of   th e   s y s te m .   Evaluation Warning : The document was created with Spire.PDF for Python.
I nt  J  A r ti f   I nt e ll     I S S N :   2252 - 8938       Se nt ime nt  analy s is  of  s tu d e nt ’ s  c om m e nt s  us in g l ong s ho r t - te r m  m e m or y  w it h  …   ( B hav ana P . B hagat )   4749       F ig ur e   1.   T he   m e th odol ogy   us e d   f or   p r opos e d   m ode ls       3.1.      D at as e t   E va lu a te d   m ode l' s   pe r f or m a nc e   on   two   da ta   c or pus e s ,   t he   V ie tn a m e s e   s tu d e nt   f e e dba c k   c or pus   by   [ 30]   a nd   pr i m a r y   da ta   c ol le c te d   on   our   ow n   f r om   a   f in a l - ye a r   s tu de nt ' s   c om m e nt .   In   our   m ode l,   21,561   r ow s   of   c om m e nt s   w e r e   us e d   f or   s e nt im e nt   a na ly s is   a nd   520   s tu de nt ’ s   c om m e nt s   f or   th e   pr e di c ti on   of   uns e e n   da ta .   We   a ll oc a te   75%   of   each   da ta s e t   c la s s   f or   tr a in in g   a nd   25%   f or   te s ti ng.     3.2.      P r e p r oc e s s in g   an d   w or d   e m b e d d in gs   On   th is   w or k,   th e   s tu de nt   f e e dba c k   da ta s e t   is   us e d.   It   ha s   s om e   pr im a l   da ta ,   s uc h   as   a bbr e vi a ti on s ,   s pe ll in g   m is ta ke s ,   e m ot io ns ,   s ig n s ,   r e pe a te d   a nd   unw a nt e d   c ha r a c te r s ,   num be r s ,   a nd   s ym bol s .   To   c le a n   th e   te xt   da ta ,   a   te xt   pr e pr oc e s s in g   m e th od   is   u s e d.   S te m m in g   is   us e d   f or   r e duc in g   a   w or d   to   its   s te m ,   w hi c h   a f f ix e s   to   pr e f ix e s   a nd   s uf f ix e s   or   to   th e   r oot s   of   w o r ds   c a ll e d   " le m m a s " .   It   is   us e d   to   nor m a li z e   th e   te xt   a nd   m a ke   it   e a s ie r   to   pr oc e s s .   L e m m a ti z a ti on   a n a ly z e s   th e   c ont e xt   a nd   c onv e r ts   th e   w or d   to   its   m e a ni ngf ul   f or m ,   w hi c h   is   c a ll e d   a   le m m a .   T he   ba g   of   w or ds   m ode l,   w hi c h   is   c a ll e d   B oW ,   is   us e d   f or   e xt r a c ti ng   f e a tu r e s   f r om   th e   te xt   to   be   us e d   in   m ode li ng.   A   to ke ni z e r   is   us e d   to   di vi de   pa r a gr a phs   a n d   s e nt e nc e s   in to   s m a ll e r   pa r ts   th a t   can   be   e a s il y   a s s ig ne d   m e a ni ng.   D e e p  le a r ni ng  a lg or it hm s   a c c e pt   a   ve c to r   r e pr e s e nt a ti on  of   num be r s   a s   in put .  W or d  e m be ddi ng  is   a   te c hni que   f or   pe r f or m in g  th e   r e pr e s e nt a ti on  of   w or ds   in   a   v e c to r   s pa c e .  I t  is   a   te c hni que   f or   tr a ns la ti ng  w or ds   in to   a   m a th e m a ti c a l  dom a in   w he r e   num be r s   c a pt ur e   th e   s e m a nt ic s   of   th e   w or ds .  A c c or di ng  to     P a c ol  a nd P a la oa g   [ 4] , t he  pr oc e s s  i s  done  u s in g m il li ons  of  l e a r ni ng a nd ma c hi ne  phr a s e s . W or d2ve c  i s  b a s e d   on  a n  un s upe r vi s e d   m a c hi ne   le a r ni ng  m e th od   ba s e d   on  a   la r ge   a m ount   of   te xt   to   a c hi e ve   s ynt a c ti c   a nd   s e m a nt ic   r e pr e s e nt a ti on  in   [ 35] .  I t  is   us e d  w it h   th e   L S T M   a nd  c onvolut io n a l  ne ur a l  ne twor k  ( C N N )   m ode ls ,  a nd  th e   m os t   c om m on  e nc odi ng  m e th od  s uc h  a s   T F I D F ve c to r iz e r ,  ha s   be e n  u s e d  w it h  th e   r e s t  of   our   th r e e   pr opos e d  m ode ls .     3.3.    C la s s if i c at io n   t e c h n iq u e s   In   th is   pr opos e d   w or k,   f our   di f f e r e nt   s e nt im e nt   c la s s if ic a ti on   a ppr oa c he s   w e r e   us e d   to   c la s s if y   th e   s e nt im e nt s   of   s tu de nt s   f r om   s tu de nt ’ s   c om m e nt s .   V a r io us   w or d   e m be ddi ngs   te c hni que s   w e r e   us e d  f or   f e a tu r e   e xt r a c ti on.  T he s e   m ode ls   w e r e   bui lt ,  in c lu di ng  m a c hi ne   le a r ni ng  s uc h  a s   e ns e m bl e   c la s s if ie r   a nd  de e p  le a r ni ng   s uc h a s   C N N  a nd L S T M , L S T M  w it h a tt e nt io n l a ye r ,   a nd L S T M  w it h  m ul ti - he a d a tt e nt io n l a ye r .     3.3.1 .    E n s e m b le   c la s s i f ie r   T he   f ir s t   a ppr oa c h   us e s   an   e n s e m bl e   c la s s if ie r .   It   is   a   de c i s io n   tr e e   e ns e m bl e   m a de   out   of   a   r a ndom   s e le c ti on   of   de c is io n   tr e e s .   It   is   a   tr e e   pr e di c to r   c om bi na ti on   in   w hi c h   each   tr e e   is   d e pe nde nt   on   th e   va lu e s   of   a   r a ndom   ve c to r   s a m pl e d   in de pe nd e nt ly   a nd   w it h   th e   s a m e   di s tr ib ut io n   f or   a ll   tr e e s   in   th e   f or e s t.   In   th is ,   a   d e c is io n   tr e e   ha s   be e n   u s e d   as   a   ba s ic   l e a r ne r .   E a c h   tr e e   w a s   c on s tr uc te d   us in g   boot s tr a p   s a m pl e s   f r om   th e   tr a in in g   da ta .   A   r a ndom   f e a tu r e   s e le c ti on   pr ovi de s   va r ia ti on   a m ong   th e   ba s e   le a r ne r s .   B a ggi ng   is   u s e d   to   r e duc e   th e   v a r ia ti on   of   a lg or it hm s   w it h   a   hi gh   va r ia nc e .   A   noi s e   or   an   out li e r   in   a   s i ngl e   tr e e   c la s s if ie r   can   a f f e c t   th e   c la s s if ic a ti on   m ode l' s   pe r f or m a nc e ;   how e ve r ,   r a ndom   f o r e s t   m e r ge d   va r io us   w e a k   le a r ne r s   to   bui ld   a   s tr ong   le a r ne r   th a t   can   ha ndl e   noi s e   or   out li e r s   due   to   th e   r a ndomne s s   it   can   gi v e .   It   is   a ls o   c a pa bl e   of   ha ndl in g   la r ge   da ta s e ts   w it h   a   la r ge   num be r   of   a tt r ib ut e s .   M or e   c r uc ia ll y,   it   r e ta in s   a c c ur a c y   e ve n   w he n   da ta   is   un a va il a bl e   [ 36] .     Evaluation Warning : The document was created with Spire.PDF for Python.
                      I S S N :   2252 - 8938   I nt  J  A r ti f   I nt e ll ,  V ol .   13 , N o.   4 ,  D e c e m be r   2024 :  4747 - 4756   4750   3.3.2 .    C on vol u t io n al   n e u r al  n e t w or k   an d   lo n g s h or t - t e r m  m e m or y   T he   s e c ond   a ppr oa c h   us e s   C N N   a nd   L S T M .   C N N s   a r e   a   s pe c ia l   ty pe   of   m ul ti la ye r   ne ur a l   ne twor k   th a t   le a r ns   f r om   da ta .   C N N s   a r e   th e   s a m e   as   n e ur a l   ne twor ks ,   ha vi ng   w e ig ht s ,   bi a s e s ,   a nd   in put   w it h   w hi c h   th e y   m a ke   a   s c a la r   pr oduc t   a nd   a ppl y   an   a c ti va ti on   f unc ti on.   D ue   to   th e   in c r e a s e d   num be r   of   hi dde n   la ye r s ,   th e r e   is   a   ne e d   f or   m or e   c om put a ti ona l   r e s our c e s ;   he nc e ,   ove r f it ti ng   a r is e s .   T hus ,   C N N s   he lp   to   ove r c om e   pr obl e m s   by   di vi di ng   m ode ls   in to   s m a ll   pa r ts   of   in f or m a ti on   a nd   c om bi ni ng   th is   in f or m a ti on   in   th e   de e pe s t   la ye r s   of   th e   ne ur a l   ne twor k.   T he y   a r e   ve r y   us e f ul   f or   id e nt if y in g   c la s s e s ,   obj e c ts ,   a nd   gr oups   in   im a ge s   by   lo oki ng   f or   s ha pe s   in   th e m .   T hi s   f r a m e w or k   ha s   c onvolut io na l,   pool in g,   a nd   c om pl e te ly   c onne c te d   la ye r s .   A   de e p   le a r ni ng   m ode l   ne e d s   a   lo t   of   c om put a ti ona l   po w e r   a nd   da ta   to   tr a in .   As   a   r e s ul t,   C N N s   w e r e   s tr ic tl y   c ons tr a in e d   to   li m it e d   s e c to r s   a nd   w e r e   una bl e   to   e nt e r   th e   m a c hi ne   le a r ni ng   s pa c e   [ 37] .   L S T M   is   one   of   th e   m os t   c om m on ly   us e d   r e c ur r e nt   ne ur a l   ne twor k  ( R N N )   ne twor ks   c a pa bl e   of   le a r ni ng   lo ng - te r m   de pe nde nc ie s   in   c la s s if ic a ti on   m ode ls .   T he   c or r e c t   r e s ul t   is   a c hi e ve d   w h e n   L S T M   is   e xt e nde d   w it h   ot he r   m ode ls ,   a nd   it   m a y   s e r ve   as   th e   ne w   ba s e   f or   a ddi ti ona l   m ode ls .   T he   va ni s hi ng   gr a di e nt   pr obl e m ,   w hi c h   a f f e c ts   ne ur a l   ne twor ks ,   m a ke s   it   c ha ll e ngi ng   to   c om pr e he nd   th e   pa r a m e te r s   of   th e   pr e vi ous   la ye r .   A   L S T M   in   c om bi na ti on   w it h   o th e r   m ode ls   he lp s   to   s ol ve   th is   is s ue .   In   th e   L S T M   a r c hi te c tu r e ,   as   s ta te d   in   [ 1] ,   [ 30 ] ,   [ 38 ]   th e   m e m or y   c e ll s   s to r e   a nd   ge t   in f or m a ti on   ove r   lo ng   de pe nde nc ie s ,   c on s is t   of   th r e e   ga te s   c a ll e d   th e   in put ,   f or ge t,   a nd   out put   ga te s .   T he   in put   ga te   i t   s ig ni f ie s   th e   ne w   in f or m a ti on   in   th e   c e ll   us in g   in put   x t,   th e   pr e vi ous   hi dde n   la ye r ,   r e c ur r e nt   w e ig ht ,   a nd   bi a s .   A   f o r ge t   ga te   f t   de te r m in e s   th e   e xt e nt   to   w hi c h   th e   pr e vi ous   m e m or y   c e ll   is   f or got te n.   T he   in f or m a ti on   obt a in e d   f r om   th e   c ur r e nt   in put   x t ,   is   gi ve n   by   th e   out pu t   ga te   u t.   T he   in put   ga te   i t ,   c hoos e s   w hi c h   in f or m a ti on   f r om   out put   ga te   u t   to   s to r e   in   m e m or y   c e ll   c t   w it h   a   c ondi ti on   f or ge t   ga te   f t   a nd   f in a ll y   th e   out put   o t   of   th e   L S T M   de pe nds   on   o t   a nd   h t .     = ( ( ) + ( ) ℎ − 1 + ( ) )   ( 1)     = ( ( ) + ( ) ℎ − 1 + ( ) )   ( 2)     = ℎ ( ( ) + ( ) ℎ − 1 + ( ) )   ( 3)     = . + . − 1   ( 4)     = ( ( ) + ( ) ℎ − 1 + ( ) )   ( 5)     3. 3.3 .    L on g s h or t - t e r m  m e m o r y   w it h   at t e n t io n   la ye r   A not he r   a ppr oa c h   u s e d   is   L S T M   w it h   a   s in gl e   a tt e nt io n   la ye r .   It   c om bi ne s   th e   s in gl e   a tt e nt io n   la y e r   w it h   th e   L S T M .   It   is   e m pl oye d   to   br in g   a tt e nt io n   to   th e   lo ng   s e que nc e ' s   r e f e r r a l   w or d.   By   f oc us in g   on   im por ta nt   in f or m a ti on   th a t   r e la te s   to   th e   ta r ge t   va lu e ,   th e   a tt e nt io n   la ye r   ha s   us e f ul   in f or m a ti on   a nd   e nha nc e s   m ode l   pe r f or m a nc e .   A lt hough   it   c onc e nt r a te s   on   th e   de s ir e d   va lu e ,   it   doe s n' t   e xc lu de   a ny   e s s e nt ia l   in f or m a ti on.   In   c ont r a s t   to   th e   ot he r   a ppr oa c he s ,   it   can   ha ndl e   w or d   s e que n c e s   of   di f f e r e nt   le ngt hs .   T he   a tt e nt io n   m ode l   e m pha s iz e s   s e m a nt ic   e l e m e nt s   w hi le   a ls o   c a pt ur in g   th e   s ig ni f ic a nc e   of   e a c h   c ont e xt   w or d.   T h e y   s ugge s te d   an   a tt e nt io n - ba s e d   L S T M   th a t   out pe r f or m s   th e   pr io r   m ode l   in   te r m s   of   out put .       3. 3.4 .    L on g s h or t - t e r m  m e m o r y   w it h   m u lt i - h e ad   at t e n t io n   l aye r   F in a ll y,   our   s ta te - of - a r t - a ppr oa c h   to   s e nt im e nt   a na ly s is   is   L S T M   w it h   m ul ti - he a d   a tt e nt io n   la ye r .   As   s ta te d   by   [ 1] ,   a tt e nt io n   m e c ha ni s m s   ha ve   r e c e nt ly   pr ove n   to   be   be ne f ic ia l   in   a   va r ie ty   of   N L P   a ppl ic a ti ons .   V a s w a ni   et   al .   [ 39]   s t a te d   th a t   th e   a tt e nt io n   m e c ha ni s m   s u c c e s s f ul ly   ha ndl e s   s e que n c e   d a ta .   In   th is   w or k,   to   in c r e a s e   pe r f or m a nc e   a nd   a c c ur a c y ,   we   u s e d   L S T M   w it h   a   m ul ti - he a d   a tt e nt io n   m e c ha ni s m ,   w hi c h   in te gr a te s   m ul ti pl e   he a ds .   It   le a r ns   a   va r ie ty   of   uni que   f e a tu r e s .   A   m ode r n   a r c hi te c tu r e   f or   ne ur a l   m a c hi ne   tr a ns la ti on   is   m ul ti   he a d   s e lf - a tt e nt io n.   K e ys ,   va lu e s ,   a nd   qu e r ie s   w it h   n   d im e ns io ns   a r e   m a n a ge d   by   m a ny   he a ds .   An   a tt e nt io n   f unc ti on   ta ke s   a   qu e r y   Q,   a   s e t   of   ke ys   a nd   va lu e s   < K,   V>   to   obt a in   an   out put   O.   T hi s   te c hni que   is   of te n   c a ll e d   s c a le d   dot - pr oduc t   a tt e nt io n .   It   is   a   s e t   of   m ul ti pl e   he a ds   th a t   to ge th e r   le a r n   va r io us   de pi c ti ons   at   e ve r y   pos it io n   in   th e   s e que nc e ,   as   m e nt io ne d   in   [ 40] .   F ig ur e   2   il l us tr a te s   a r c hi te c tu r e   of   pr opos e d   s ys te m   u s in g   m ul ti - he a d   a tt e nt io n   w it h   L S T M   f or   s e nt im e nt   a na ly s is .       3.4.     C om p ar at iv e  an al ys is   T he   c om pa r a ti ve   a n a ly s is  s ta te s   th a t  de e p  le a r ni ng  m ode ls   out p e r f or m s   a s   c om pa r e   to   r e s t  of   s tu di e s   in   e a r li e r   w or ks .  T he   m ode l   w a s   tr a in e d   a nd   te s t e d   w it h   f our   di f f e r e nt   m a c hi ne   le a r ni ng   a nd   de e p   le a r ni ng   a lg or it hm s   a lo ng   w it h   w or d   e m be ddi ng   te c hni que s .   T h e   r e s ul ts   of   two   da ta s e ts   w e r e   r e por te d   u s in g   th e   c onf us io n   m a tr ix :   a c c ur a c y,   pr e c is io n,   r e c a ll ,   a nd   F1   s c or e .   Evaluation Warning : The document was created with Spire.PDF for Python.
I nt  J  A r ti f   I nt e ll     I S S N :   2252 - 8938       Se nt ime nt  analy s is  of  s tu d e nt ’ s  c om m e nt s  us in g l ong s ho r t - te r m  m e m or y  w it h  …   ( B hav ana P . B hagat )   4751       F ig ur e   2.   A r c hi te c tu r e   of   p r opos e d   s ys te m   us in g   m ul ti - he a d   a tt e nt io n   w it h   L S T M   f or   s e nt im e nt   a na ly s is       4.   E X P E R I M E N T A L   R E S U L T S   AND   P E R F O R M A N C E   E V A L U A T I O N   In   or de r   to   f in d   th e   be s t   m ode l,   it   is   im po r ta nt   to   e s ta bl is h   a   s e r ie s   of   s te ps   th a t   a ll ow   us   to   e xpl or e   di f f e r e nt   m ode l   c on f ig ur a ti ons ,   s uc h   as   e ns e m bl e   te c hni que s ,   f ul ly   c onne c te d   ne twor ks ,   de ns e   a nd   dr opout   la ye r s ,   w e ig ht   in it ia li z a ti on   a nd   us e   of   a c ti va ti on   f unc ti ons ,   l e a r ni ng   r a te   w it h   opt im iz e r s ,   as   w e ll   as   ot he r   hype r - pa r a m e te r s .   It   is   a l s o   im por ta nt   to   de c id e   ba t c h   s i z e ,   th e   num be r   of   e poc hs ,   a nd   th e   e va lu a ti on   m e tr ic s   us e d.   F ir s t,   we   pr e - pr oc e s s e d   a nd   to ke ni z e d   th e   s tu de nt ’ s   da ta s e t ,   w hi c h   c ont a in s   pos it iv e ,   ne g a ti ve ,   a nd   ne ut r a l   s e nt im e nt s ,   u s in g   f e a tu r e   e xt r a c ti on   te c hni que s   ( i. e .,   T F I D F V e c to r   a nd   W or d2V e c )   to   pr ovi de   th e   to ke ni z e d   f or m   of   th e   c om m e nt s   f or   ou r   pr opos e d   a ppr oa c he s ,   w hi c h   a r e   gi ve n   in   T a bl e   1.   W or d2V e c   a nd   T F I D F V e c to r iz e r   w e r e   u s e d   to   tr a n s f or m   th e   to ka ni z e d   c om m e n ts   in to   ve c to r s .   F in a ll y,   th e   m ode l s   w e r e   tr a in e d   us in g   m e th ods   s uc h   as   e n s e m bl e   c la s s if ie r s ,   L S T M   a nd   C N N ,   L S T M   w it h   s in gl e - he a d   a tt e nt io n   a nd   L S T M   w it h   m ul ti - he a d   a tt e nt io n.   O nc e   th e   tr a in in g   a nd   te s ti ng   of   s tu d e nt   c om m e nt s   a r e   c om pl e te d,   we   c om pa r e   our   th r e e   ba s s li ne   m ode ls   to   our   pr opos e d   m ode l,   L S T M   w it h   m ul ti - he a d   a tt e nt io n   a nd   e va lu a t e   pe r f or m a nc e   u s in g   a c c ur a c y,   pr e c is io n, r e c a ll ,   a nd   F1 - s c or e .       T a bl e   1.   N um be r   of   s e nt im e nt   la be l s   in   da ta s e t   S r .   no   S e nt i m e nt   l a be l s   0   l i ve l y   2   1   A l t hough   my   t e s t   s c or e   is   not   hi gh   be c a u s e   I   d...   1   2   G r e a t   w or k!   2   3   T e a c he r s   a r e   ve r y   e nt hus i a s t i c   in   t e a c hi ng.   2   4   T o   s pe nd   time   gr ow i ng   up   to   l e c t ur e   f or   s t ude nt   0       4 .1.    E n s e m b le   c la s s i f ie r   In   th is   a ppr oa c h,   a   hybr id   c la s s if ie r ,   w hi c h   is   a   c om bi na ti on   of   m ul ti pl e   ba s e   c l a s s if ie r s   us in g   vot in g   e ns e m bl e s ,   is   us e d.   F iv e   di f f e r e nt   ba s e   c la s s if ie r s ,   each   w it h   a   s pe c if ic   a lg or it hm ,   w e r e   u s e d.   F ir s tl y,   two   r a ndom f or e s t  c la s s if ie r s   w it h   de c is io n   tr e e s   w e r e   us e d.   L a te r ,   t w o   A da B oos t   c la s s if ie r s   w it h   de c is io n   tr e e s   as   w e a k   le a r ne r s   w e r e   us e d,   a nd   f in a ll y,   one   gr a di e nt   boos ti ng   c la s s if ie r   w it h   de c is io n   tr e e s   w a s   us e d.   F or     m ul ti - c la s s   c la s s if ic a ti on   pr obl e m s ,   th e   ' O ne V s R e s tC la s s if ie r '   is   us e d   to   pe r f or m   m ul ti - la be l   c la s s if ic a ti on,   w he r e   each   c la s s if ie r   is   tr a in e d   to   ha ndl e   a   s pe c if ic   c la s s ,   tr e a ti ng   a ll   ot he r   c la s s e s   as   a   s in gl e   " r e s t"   c la s s .   T h e   ` V ot in gC la s s if ie r `   is   an   e ns e m bl e   m e th od   th a t   c om bi ne s   th e   pr e di c ti ons   of   th e   ba s e   c la s s if ie r s   us in g   m a jo r it y   vot in g   ( ' s of t'   vot in g) .   T he   c la s s   la be ls   w it h   th e   hi ghe s t   c om bi ne d   pr oba bi li ti e s   a m ong   a ll   ba s e   c la s s if ie r s   a r e   s e le c te d   as   th e   f in a l   pr e di c ti on.     4.2 .    L on g s h or t - t e r m  m e m o r y + co n vol u t io n al  n e u r al  n e t w or k   In   th is   a ppr oa c h,   th e   m ode l   is   e va lu a te d   us in g   w or d   e m be ddi ng ,   pr e - tr a in e d   f in e - gr a in e d   W or d2ve c ,   L S T M   a nd   1 - D   C N N .   T w o   L S T M   la y e r s   w it h   100   uni ts   each   w e r e   a dde d   w it h   a   dr opout   of   0.3   in   or de r   to   pr e ve nt   ove r f it ti ng.   A   1D   c onvolut io na l   la ye r   ( ` C onv1D` )   w it h   100   f il te r s   a nd   a   f il te r   s iz e   of   5   w a s   a dde d   ne xt ,   w hi c h   pe r f or m e d   1D   c onvolut io n   ope r a ti ons   on   th e   in pu t   s e que nc e .   T he   a c ti va ti on   f unc ti on   r e lu   is   us e d   a f te r   th e   c onvolut io n   la ye r .   A   ' G lo ba lM a xP ool 1D '   la ye r   ta k e s   th e   m a xi m um   va lu e   ove r   th e   te m por a l   di m e n s io n   a nd   r e duc e s   th e   di m e ns io na li ty   of   th e   da ta ,   ke e pi ng   th e   m os t   i m por ta nt   f e a tu r e s .   A   de ns e   la ye r   w it h   16   un it s   a ppl ie s   m a tr ix   m ul ti pl ic a ti on   to   th e   in put   da ta   a nd   a ppl ie s   th e   r e lu   a c ti va ti on   f unc ti on   e le m e nt - w is e .   A   f in a l   de ns e   la ye r   a nd   a   S of tM a x   f unc ti on   a r e   r e s pons ib le   f or   pr e di c ti ng   th e   s e nt i m e nt   c la s s   pr oba bi li ti e s .     4.3 .     L on g s h or t - t e r m  m e m o r y + s in gl e  h e ad  at t e n t io n   In   th is   a ppr oa c h,   th e   m ode l   is   e va lu a te d   us in g   L S T M   w it h   a   s i ngl e   he a d   a tt e nt io n   la ye r .   An   L S T M   la ye r   w it h   64   uni ts   a nd   r e tu r n   s e que n c e s   w il l   r e tu r n   th e   f ul l   s e que nc e   out put   r a th e r   th a n   ju s t   th e   f in a l   out put .   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I S S N :   2252 - 8938   I nt  J  A r ti f   I nt e ll ,  V ol .   13 , N o.   4 ,  D e c e m be r   2024 :  4747 - 4756   4752   T he   a tt e nt io n   la ye r   he lp s   th e   m ode l   f oc us   on   im por ta nt   pa r ts   of   th e   in put   s e que nc e   dur in g   t r a in in g.   N e xt ,   a   dr opout   la ye r   w it h   a   dr opout   r a te   of   0.5   is   a dde d,   w hi c h   he lp s   to   pr e ve nt   ove r f it ti ng.   F in a ll y,   a   de ns e   la ye r ,   i. e .,   an   out put   la ye r   w it h   3   un it s   a nd   a   s of tm a x   a c ti va ti on   f unc ti on,   is   a dde d,   w hi c h   is   r e s pons ib le   f or   pr e di c ti ng   th e   s e nt im e nt   c la s s   pr oba bi li ti e s .   A ls o,   th e   c a te gor ic a l   c r os s e nt r opy - ba s e d   lo s s   f unc ti on,   A da m   as   an   opt im iz e r ,   a nd   an   a c c ur a c y   m e tr ic   f or   e va lu a ti on   a r e   us e d   in   th e   m ode l.     4.4.    L on g s h or t - t e r m  m e m o r y + m u lt i - h e ad   a t t e n t io n   In   th is   pr opos e d   a ppr oa c h,   th e   m ode l   is   e va lu a te d   us in g   L S T M   w it h   a   m ul ti - he a d  a tt e nt io n  la ye r .   F i g ur e   3   s h o w s   o ur   e x p e r i m e n t a l   s e t u p   to   c l a s s i f y   s e n ti m e n t s   of   s t u de n t ’ s   f e e d b a c k   i n to   p o s it i v e ,   n e u tr a l   a n d   n e g a t iv e   u s i n g   m u lt i h e a d   a t t e n ti o n   w it h   L S T M .   An   e m b e d di n g   l a y e r   is   u s e d   to   c o n v e r t   i n t e g e r - e n c o d e d   in p u t   d a t a   i n to   d e n s e   v e c t o r s   of   a   f i x e d   s i z e .   It   h a s   1 00   i n p ut   d i m e n s i o n s   ( vo c a b   s i z e )   a nd   p r o d u c e s   20 - d im e n s i o n a l   e m b e d di n g s .   N e x t   is   a   m u l t i - h e a d   a tt e n t io n   l a y e r   w i th   h e a d s   e q u a l   to   3   a n d   an   e m b e d d in g   d i m e n s i on   e q u a l   to   128.   A   f e e d   f o r w a r d   n e ur a l   n e t w o r k   ( F F N )   is   i m p l e m e nt e d   as   a   s e q u e n ti a l   m o d e l   c o n s i s ti n g   of   t w o   d e n s e   l a y e r s .   T h e   f i r s t   l a y e r   u s e s   t h e   Re L u   a c t i v a t io n   f u n c ti o n ,   a n d   t h e   s e c o n d   l a y e r   o u t p ut s   a   t e n s or   w i t h   d i m e n s i o n s   e q u a l   to   128.   T h i s   FFN   is   u s e d   f o r   f u r th e r   p r o c e s s i n g   a f t e r   m u lt i - h e a d   a t t e nt i o n.   N e xt ,   l a y e r   no r m a l i z a ti o n   is   a p p l i e d   to   t h e   ou t p ut s   of   t h e   m u lt i - h e a d   a t t e n ti on   a n d   f e e d f or w a r d   l a y e r s .   It   h e l p s   to   s t a bi l i z e   tr a i ni n g   by   n or m a li z i ng   t h e   a c t i v a t io n s   w i t hi n   each   l a y e r .   D r o p ou t   is   a   r e g u l a r i z a ti o n   m e t h o d   u s e d   d ur i n g   t r a i n i ng   to   p r e v e n t   ov e r f i t ti n g ,   w i t h   a   dr o po u t   r a t e   of   0. 5 .       4.5.   E val u at io n   m e t r ic s   A c c or di n g  t o   L iu   [ 4 1] ,   t h e   t e s t   i n di c a t or s   s e le c t e d   f o r   o ur   pr op os e d   m od e l s   w e r e   a c c ur a c y ,  pr e c i s io n,  r e c a l l,  a nd   F1 - s c o r e .   We   pe r f or m e d   e x p e r im e nt s   a nd   c om p a r e d   t he   pr o p o s e d   L S T M   w i th   t he   m ul ti - h e a d   a tt e nt io n   m o d e l   w it h   o th e r   b a s e li n e   m o d e l s .   T h e   pr o po s e d   L S T M   w it h   th e   m u lt i - h e a d   a tt e nt io n   c l a s s if i c a t io n   m o d e l   is   c o m pa r e d   w i th   o th e r   b a s e l in e   m o d e l s   as   g iv e n:   i)   a n   e n s e m b le   c l a s s i f i e r   is   a   d e c i s i o n   t r e e   e n s e m bl e   m a d e   ou t   of   a   r a nd om   s e l e c t io n   of   d e c i s io n   t r e e s ;   ii)   L S T M   +   C N N   w it h   m or e   g a t e s   to   c on tr ol   l on g   s e q u e nc e s   of   i nf or m a ti on ,   a l o ng   w it h   w or d   e m b e d di n g   in   W or d2 v e c ;   i ii )   L S T M + a tt e nt io n  is   a   c om bi n a t io n   of   L S T M   a n d   s in gl e   a tt e nt io n   l a y e r   u s e d   to   f o c u s   t h e   r e f e r r a l   w or d   in   l on g   s e qu e n c e s ;   a n d   iv )   L S T M   w it h   m ul ti - h e a d   a tt e nt io n   is   a   c o n c a t e n a ti on   of   e m be d di ng   +   m ul ti - h e a d   a tt e nt io n   +   L S T M .   It   c o m b in e s   m u lt i p le   h e a d s   to   i n c r e a s e   a c c u r a c y   p e r f o r m a n c e .   It   c o n ta in s   m or e   l a y e r s   t h a n   o th e r   b a s e   m o d e l s .   T w o   dr op o ut   a n d   f l a t t e n   la y e r s   w e r e   u s e d   to   a vo id   ov e r f i tt in g.     4.6.    E xp e r im e n t al   r e s u lt s   In   th is   s e c ti on,   T a bl e s   2   to   5   di s pl a y   a   c onf us io n   m a tr ix   a nd   c la s s if ic a ti on   r e por t   f or   a ll   f our   m ode ls .   T a bl e   6   s ho w s   th e   e v a lu a ti on   m e tr ic s ,   i. e .,   te s ti ng   a c c ur a c y   w it h   r e a s ona bl e   pe r f or m a nc e   a c c ur a c y,  pr e c is io n,   r e c a ll ,   a nd   F1 - s c or e   f or   a ll   m ode ls .   It   is   s e e n   th a t   L S T M   w it h   m ul ti - he a d   a tt e nt io n   pe r f or m s   be tt e r   th a n   th e   r e s t   of   th e   th r e e   m ode ls   in   te r m s   of   a c c ur a c y,   F1 - s c or e ,   pr e c is io n ,   a nd   r e c a ll   of   95 . 56% ,   95.57% ,   95.44%   a nd   95.57%   r e s pe c ti ve ly ,   f ol lo w e d   by   L S T M + a tt e nt io n ,   e n s e m bl e  c la s s if ie r ,   a nd   L S T M + C N N .         T a bl e  2. E ns e m bl e  c l a s s if ie r  c onf us io n m a tr ix   A c t ua l   P r e di c t e d   N e ut r a l   N e ga t i ve   P os i t i ve   N e ut r a l   1,523   26   38   N e ga t i ve   0   1,761   337   P os i t i ve   4   51   1,651     T a bl e  3. L S T M + C N N  m ode l  c onf us io n m a tr ix   A c t ua l   P r e di c t e d   N e ut r a l   N e ga t i ve   P os i t i ve   N e ut r a l   1,788   75   145   N e ga t i ve   228   1,621   207   P os i t i ve   205   125   2,075         T a bl e  4. L S T M + s in gl e - he a d  a tt e nt io n   m ode l  c onf us io n m a tr ix   A c t ua l   P r e di c t e d   N e ut r a l   N e ga t i ve   P os i t i ve   N e ut r a l   1,694   8   156   N e ga t i ve   91   1,431   71   P os i t i ve   85   18   1,837         T a bl e   5.   L S T M +   m ul ti - he a d   a tt e nt io n   m ode l   c onf us io n   m a tr ix   A c t ua l   P r e di c t e d   N e ut r a l   N e ga t i ve   P os i t i ve   N e ut r a l   5,218   5   83   N e ga t i ve   224   4,589   245   P os i t i ve   127   33   5,646         T a bl e   6.   E va lu a ti on   m e tr ic s   f or   a ll   m ode ls   M e t r i c e s / m ode l s   L S T M   +   C N N   L S T M   +   A T T   E ns e m bl e   c l a s s i f i e r   L S T M   +   m ul t i - he a d   a t t e nt i on   A c c ur a c y   (%)   84.778   92.04   87.18   95.56   F1 - S c or e   0.8477   0.9204   0.9156   0.9557   P r e c i s i on   0.8472   0.9190   0.94   0.9544   R e c a l l   0.8477   0.9204   0.87   0.9557       A l s o,   pr e c i s i on,  r e c a l l,  a nd  t he  F 1 - s c o r e  c om put e d  f o r   a ll  m od e l s   w e r e  s ho w n  i n   T a bl e s  7  t o  9 .   I t  i s   s e e n  th a t  th e   pe r f or m a n c e   on   te s t  d a t a   u s i ng  pr e c i s i on  f or   p o s it i ve   s e n ti m e n ts   p e r f or m   b e tt e r   i n  e n s e m bl e   c l a s s if i e r   a nd   Evaluation Warning : The document was created with Spire.PDF for Python.
I nt  J  A r ti f   I nt e ll     I S S N :   2252 - 8938       Se nt ime nt  analy s is  of  s tu d e nt ’ s  c om m e nt s  us in g l ong s ho r t - te r m  m e m or y  w it h  …   ( B hav ana P . B hagat )   4753   th e   p e r f or m a nc e   on   t e s t  da ta   u s i ng   r e c a ll   a nd   F 1 - s c or e   f or   ne ut r a l   s e nt im e nt s   p e r f or m s   b e tt e r   in   e n s e m bl e   c l a s s if i e r   a s   c o m p a r e d   to   t he   r e s t   of   t hr e e   pr opo s e d   m od e l s .   W e   te s t e d   t h e   m o de l   on   u ns e e n   d a t a   c ol l e c te d   f r o m   th e   52 0  c om m e nt s   of  f i na l - y e a r   s t ud e nt s   e nr ol le d i n  202 3  w hi c h  a l s o  pe r f or m e d  w e ll   a s   s h ow n i n  T a b le  10 .       T a bl e   7.   P e r f or m a nc e   on   te s t   da ta   u s in g   P r e c is io n   M ode l   P r e c i s i on   N e ut r a l   N e ga t i ve   P os i t i ve   L S T M +C N N   0.79   0.89   0.86   L S T M +A T T   0.91   0.90   0.95   E ns e m bl e  c l a s s i f i e r   0.96   0.84   0.97     T a bl e   8.   P e r f or m a nc e   on   te s t   da ta   u s in g   R e c a ll   M ode l   R e c a l l   N e ut r a l   N e ga t i ve   P os i t i ve   L S T M +C N N   0.84   0.85   0.86   L S T M +A T T   0.91   0.94   0.92   E ns e m bl e  c l a s s i f i e r   0.98   0.89   0.88         T a bl e   9.   P e r f or m a nc e   on   te s t   da ta   u s in g   F1 - S c or e   M ode l   F1 - s c or e   N e ut r a l   N e ga t i ve   P os i t i ve   L S T M +C N N   0.89   0.81   0.85   L S T M +A T T   0.91   0.98   0.89   E ns e m bl e   c l a s s i f i e r   f or e s t   1   0.96   0.81       T a bl e   10.   F e w   s a m pl e   pr e di c ti ons   a nd   a c tu a l   va lu e s   on   uns e e n   da ta   I nput   t e xt   A c t ua l   s e nt i m e nt s   P r e di c t e d   s e nt i m e nt s   L e c t ur e r s   a r e   e a s y   to   unde r s t a nd   a nd   e nt hu s i a s t i c   P os i t i ve   P os i t i ve   I   f e e l   pr e s s ur e d   a nd   unc om f or t a bl e   to   t a l k   to   you   a s k   you   but   you   don   t   a ns w e r   N e ga t i ve   N e ga t i ve   T he   t e a c he r   f oc us e s   on   t he   r i ght   f oc us   P os i t i ve   N e ut r a l   A s   f or   vi s ua l   ba s i c   i   don   t   t hi nk   it   s   ne c e s s a r y   so   i   s hor t e n   t he   t e a c hi ng   time   i ns t e a d   of   s pe ndi ng   ne a r l y   ha l f   a   s e m e s t e r   to   gi ve   an   ove r vi e w   of   vi s u a l   ba s i c   N e ga t i ve   N e ga t i ve   A ppl y   i m a ge s   vi de o   c l i ps   in   t he   t e a c hi ng   pr oc e s s   P os i t i ve   N e ga t i ve   S om e t i m e s   a   bi t   f a s t   N e ga t i ve   N e ga t i ve       F ig ur e   3 ( a )   to   3 ( d )   s how s   th e   r e c e iv e r   ope r a ti ng  c h a r a c te r is ti c  c ur ve   ( R O C )   c ur ve s   f or   each   c la s s   f or   a ll   m ode ls ,   a nd   th e   a r e a   unde r   each   c ur ve   ( A U C )   in di c a te s   th e   c la s s if ie r ' s   pe r f or m a nc e   f or   th a t   c la s s .   It   s how s   th e   c om put a ti on   of   th e   f a ls e   po s it iv e   r a te ,   tr ue   pos it iv e   r a te ,   a nd   t hr e s hol d   f or   each   c la s s .   T he   f unc ti on   is   a ppl ie d   to   th e   tr ue   la be ls   a nd   pr e di c te d   pr oba bi li ti e s   f or   each   c la s s   a nd   f in a ll y   c om put e s   th e   a r e a   unde r   th e   R O C   c ur ve   f or   each   c la s s .   A   hi gh e r   AUC   va lu e   in di c a t e s   th a t   m ode ls   a r e   p e r f or m in g   be tt e r   c om pa r e d   to   e a r li e r   w or ks .             ( a )     ( b)       ( c )   ( d)     F ig ur e   3.   R O C   c ur ve   f or   ( a)   e ns e m bl e   c la s s if ie r ,   ( b)   L S T M   a nd   C N N ,   ( c )   L S T M   w it h   s in gl e - he a d   a tt e nt io n,   a nd   ( d)   L S T M   w it h   m ul ti - he a d   a tt e nt io n   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I S S N :   2252 - 8938   I nt  J  A r ti f   I nt e ll ,  V ol .   13 , N o.   4 ,  D e c e m be r   2024 :  4747 - 4756   4754   4.7.    D is c u s s io n   an d   c om p ar i s on   m od e ls   P r e vi ous   r e s e a r c he r s   us e d   va r io us   le xi c on - ba s e d ,   m a c hi n e   le a r ni ng ,   a nd   de e p   le a r ni ng   te c hni que s   to   id e nt if y   s tu de nt ’ s   s e nt im e nt s   ba s e d   on   th e ir   r e s pons e s .   A ls o,   s om e   of   th e   e a r li e r   s tu di e s   di d   not   pr ovi de   e va lu a ti on   m e tr ic s   f or   pe r f or m a nc e   m e a s ur e m e nt .   T he s e   e a r li e r   w or ks   s e r ve d   as   b e nc hm a r ks   a g a in s t   w hi c h   we   c om pa r e d   th e   r e s ul ts   of   our   pr o pos e d   m ode ls .   In   pr e vi ous   w or k   by   [ 1] ,   [ 30]   us e d   th e   U I T - V S F C   c or pus   a nd   c la s s if ic a ti on   m e th ods   L S T M   a nd   DT - L S T M   w it h   S V M   m ode ls   w it h   a c c ur a c y   of   90.74%   a nd   F U S I O N   m ode ls   w it h   a c c ur a c y   of   91.96% ,   r e s p e c ti ve ly ,   w he r e a s   our   pr opos e d   m ode l   us e d   L S T M   w it h   m ul ti - he a d   a tt e nt io n   m ode ls   w it h   an   a c c ur a c y   of   95.75% .   A ls o,   our   pr opos e d   m ode l   w a s   te s te d   on   520   uns e e n   c om m e nt s   c ol le c te d   f r om   th e   f e e dba c k   of   f in a l - ye a r   s tu de nt s   in   2023,   w hi c h   p e r f or m e d   w e ll   on   uns e e n   d a ta .   T a bl e   11   s ho w s   a   c om pa r is on   of   our   pr opos e d   m ode l   to   th e   m ode ls   f r om   pr e v io us   s tu di e s   in   w hi c h   va r io us   de e p   le a r ni ng   a ppr oa c he s   w e r e   us e d   on   s tu de nt   da ta s e ts   as   one   of   th e   dom in a nt   m ode ls   us e d   in   th e   e duc a ti on   dom a in   f o r   be tt e r   pe r f or m a nc e .   It   de m ons tr a te s   th a t   our   m ode l   L S T M   w it h   m ul ti - he a d   a tt e nt io n   out pe r f or m s   e xi s ti ng   c la s s if ie r s   in   e a r li e r   w or ks   as   w e ll   as   our   pr opos e d   r e s t   of   th e   th r e e   be nc hm a r k   m e th ods .         T a bl e   11.   C om pa r i s on   of   our   m ode l s   to   e a r l i e r   s t udi e s   us i ng   de e p   l e a r ni ng   a ppr oa c he s   S t udy/ ye a r   M e t hod/ a l gor i t hm   D a t a  c or pus   P e r f or m a nc e   A c c ur a c y  (%)   P r e c i s i on  (%)   R e c a l l   (%)   F1 - S c or e   (%)   S i ndhu  e t  al .  [ 32] / 2016   L S T M   m ode l   f or   l a ye r   1  a nd   l a ye r  2   5,000 c om m e nt s   93.0   88.0   85.0   86.0   N guye n  e t  al .   [ 30] /  2018   L S T M   a nd  D T - L S T M   ( w i t h   S V M )   M ode l s   U I T - V S F C   c or pus   16,175  s e nt e nc e s   90.74   NA   NA   90.2   C a ba da   e t  al .   [ 31] / 2018   C N N +L S T M   ye l p  - 147672,  S e nt i T e xt   - 10834,  E duS e r e - 4300   s t ude nt ’ s  c om m e nt s   S e nt i T e xt -   88.26 a nd  E duE R A S   -   90.30   NA   NA   NA   S a nge e t ha   a nd  P r a bha   [ 1] /   2020   L S T M ,  L S T M +A T T ,  m ui t i he a d  A T T   a nd   F U S I O N   ( m ul t i - he a d  A T T   +   E m be ddi ng   +   L S T M )   16,175  s t ude nt s   f e e dba c k   s e nt e nc e s   91.96   75.60   87.51   76.90   M a bunda     e t  al .   [ 27] / 2021   S uppor t   ve c t or   m a c hi ne s ,   m ul t i nom i a l   m a i ve   B a ye s ,   r a ndom   f or e s t s ,  k - ne a r e s t   ne i ghbour s  a nd ne ur a l  ne t w or ks   S t ude nt s   f e e dba c k  f r om   K a ggl e  da t a s e t  185 r e c or ds   84   NA   NA   NA   O ur  pr opos e d  m ode l s   E ns e m bl e  c l a s s i f i e r s   T he   V i e t na m e s e   21,561   s t ude nt   f e e dba c k   c or pus , a s   w e l l   a s   520  s t ude nt   da t a   c ol l e c t e d  f r om   a   f i na l - ye a r   s t ude nt ' s  c om m e nt  i n 2023   87.18   94.0   87.0   91.0   L S T M  a nd C N N   84.77   84.0   84.0   84.0   L S T M  w i t h a t t e nt i on   92.04   91.0   92.0   92.0   L S T M  w i t h m ul t i - he a d a t t e nt i on   95.57   95.44   95.57   95.56   *N A   –   N ot   a va i l a bl e       5.   C O N C L U S I O N   We   in tr oduc e d   th e   U I T - V S F C   c or pus   a nd   uns e e n   f in a l - ye a r   s tu de nt ’ s   c om m e nt s   f or   th e   a na ly s is   of   e duc a ti ona l   s e nt im e nt .   We   pr opos e d   th e   m e th ods   us in g   a   m a c hi ne   le a r ni ng   hybr id   m ode l ,   i. e .,   e ns e m bl e   c la s s if ie r ,   a nd   de e p   l e a r ni ng   m ode ls ,   i. e . ,   L S T M   a nd   C N N   m o de ls ,   a lo ng   w it h   w or d2ve c   e m be ddi ng,   L S T M   w it h   s in gl e   a tt e nt io n,   a nd   L S T M   w it h   m ul ti - he a d   a tt e nt io n.   A c c or di ng   to   th e   f in di ngs   of   our   e xpe r im e nt s ,   it   w a s   s e e n   th a t   our   pr opos e d   m ode l ,   L S T M   w it h   m ul ti - he a d   a tt e nt io n   w it h   e m be ddi ng   la ye r ,   a c hi e ve s   be tt e r   r e s ul ts   as   pe r   th e   e xpe r im e nt a l   r e s ul ts   c onduc te d   us in g   ot he r   ba s e li ne   m e th ods   as   w e ll   as   e a r li e r   m ode ls .   O ur   m ode l   pe r f or m s   be tt e r   f or   lo ng   s e que nc e s   of   s e nt e nc e s   a nd   a l s o   y ie ld s   a tt e nt io n   to   th e   r e f e r r a l   w or ds .   M or e ove r ,   by   e m pl oyi ng   L S T M   w it h   a   M ul ti - he a d   a tt e nt io n   la ye r ,   we   a c hi e ve   th e   m os t   opt im a l   r e s ul ts   w it h   te s ti ng   a c c ur a c y,   F1 - s c or e ,   pr e c i s io n   a nd   r e c a ll   p e r f or m a nc e   of   95.57% ,   95.56% ,   95.44% ,   a nd   95.57%   r e s pe c ti ve ly ,   w hi c h   out pe r f or m   th e   r e s t   of   th e   th r e e   ba s e li ne   m od e ls   a nd   a l s o   pr oduc e   be tt e r   r e s ul ts   in   te r m s   of   a c c ur a c y ,   pr e c is io n ,   r e c a ll ,   a nd   F1 - s c or e   as   pr opos e d   by   e a r li e r   s tu di e s .   We   a ls o   te s te d   th e   m od e l   on   uns e e n   da t a   c ol le c te d   f r om   th e   520   c om m e nt s   of   f in a l - ye a r   s tu de nt s .   T he   m ode l   pe r f or m s   w e ll   on   un s e e n   da ta .   In   th e   f ut ur e ,   we   a r e   goi ng   to   pe r f or m   e xpe r im e nt s   u s in g   va r ia nt s   of   th e   L S T M ,   L S T M   w it h   bi di r e c ti ona l  e n c ode r   r e pr e s e nt a ti ons   f r om   tr a ns f or m e r s   ( B E R T ) ,   a nd   ot he r   de e p   le a r ni ng   m ode ls .   A ls o,   c ol le c t   m or e   da ta   to   pe r f or m   s e nt im e nt   a na ly s is   on   th e   r e a l - w or ld   pr obl e m .         R E F E R E N C E S   [ 1]   K.   S a nge e t ha   a nd   D.   P r a bha ,   “ S e nt i m e nt   a na l ys i s   of   s t ude nt   f e e dba c k   us i ng   m u l t i - he a d   a t t e nt i on   f us i on   m ode l   of   w o r d   a nd   c ont e xt   e m be ddi ng   f or   L S T M ,”   J ou r nal   of   A m bi e nt   I nt e l l i ge nc e   and   H um ani z e d   C o m put i ng ,   vol .   12,   no.   3,   pp.   4117 – 4126,   2021,   doi :   10.1007/ s 12652 - 020 - 01791 - 9.   Evaluation Warning : The document was created with Spire.PDF for Python.
I nt  J  A r ti f   I nt e ll     I S S N :   2252 - 8938       Se nt ime nt  analy s is  of  s tu d e nt ’ s  c om m e nt s  us in g l ong s ho r t - te r m  m e m or y  w it h  …   ( B hav ana P . B hagat )   4755   [ 2]   J.   Z hou   a nd   J.   Y e ,   “ S e nt i m e nt   a na l ys i s   in   e du c a t i on   r e s e a r c h:   a   r e vi e w   of   j our na l   publ i c a t i ons ,”   I nt e r ac t i v e   L e ar ni ng   E nv i r onm e nt s ,   vol .   31,   no.   3,   pp.   1252 – 1264,   A pr .   2023,   doi :   10.1080/ 10494820.2020.182698 5.   [ 3]   M.   A t i f ,   “ A n   e nha nc e d   f r a m e w or k   f or   s e nt i m e nt   a na l ys i s   of   s t ude nt s ’   s ur ve y s :   A r a b   O pe n   U ni ve r s i t y   bus i n e s s   pr ogr a m   c our s e s   c a s e   s t udy,”   B us i ne s s   and   E c onom i c s   J ou r nal ,   vol .   9,   no.   1,   2018,   doi :   10.4172/ 2151 - 6219.1000337.   [ 4]   C . A . P a c ol  a nd  T . D . P a l a oa g,  “ E nha nc i ng  s e nt i m e nt  a n a l ys i s  of  t e xt ua l  f e e db a c k i n t he  s t ude nt - f a c ul t y e v a l ua t i on us i ng  m a c hi n e   l e a r ni ng  t e c hni que s ,”   E ur ope an  J ou r nal   of   E ngi ne e r i ng  Sc i e nc e   and  T e c hnol ogy ,  vol .  4,  no.  1,  pp.  27 – 34,  2021,     doi :  10.33422/ e j e s t .v4i 1.604.   [ 5]   K.   Z.   A ung   a nd   N.   N.   M yo,   “ S e nt i m e nt   a n a l ys i s   of   s t ude nt s ’   c om m e nt   us i ng   l e xi c on - ba s e d   a ppr oa c h, ”   P r oc e e di ngs   -   16t h   I E E E / A C I S   I nt e r nat i onal   C onf e r e nc e   on   C om put e r   and   I nf or m at i on   Sc i e nc e ,   I C I S   2017 ,   pp.   149 – 154,   2017,     doi :   10.1109/ I C I S .2017.7959985.   [ 6]   H.   N e w m a n   a nd   D.   J oyne r ,   “ S e nt i m e nt   a na l ys i s   of   s t ude nt   e va l ua t i ons   of   t e a c hi ng,”   A r t i f i c i al   I nt e l l i ge nc e   in   E duc at i on:   19t h   I nt e r nat i onal   C onf e r e nc e ,   A I E D   2018 ,   pp.   246 – 250,   2018,   doi :   10.1007/ 978 - 3 - 319 - 93846 - 2_45.   [ 7]   Q.   R a j put ,   S.   H a i de r ,   a nd   S.   G ha ni ,   “ L e xi c on - ba s e d   s e nt i m e nt   a na l ys i s   of   t e a c he r s ’   e va l ua t i on,”   A ppl i e d   C om put at i onal   I nt e l l i ge nc e   and   Sof t   C om put i ng ,   pp.   1 – 12,   2016,   doi :   10.1155/ 2016/ 2385429.   [ 8]   S.   R a ni   a nd   P.   K um a r ,   “A   s e nt i m e nt   a na l ys i s   s ys t e m   to   i m pr ove   t e a c hi ng   a nd   l e a r ni ng,”   C om put e r ,   vol .   50,   no.   5,   pp.   36 – 43,   2017,   doi :   10.1109/ M C .2017.133.   [ 9]   F.   F.   B a l a ha di a ,   M.   C.   G.   F e r na ndo,   a nd   I.   C.   J ua na t a s ,   “ T e a c he r ’ s   pe r f or m a nc e   e va l ua t i on   t ool   us i ng   opi ni on   m i ni ng   w i t h   s e nt i m e nt   a na l ys i s ,”   in   P r oc e e di ngs   -   2016   I E E E   R e gi on   10   Sy m pos i um ,   T E N SY M P   2016 ,   2016,   pp.   95 – 98,   doi :   10.1109/ T E N C O N S pr i ng.2016.7519384.   [ 10]   M.   S i va kum a r   a nd   U.   S.   R e ddy,   “ A s pe c t   ba s e d   s e nt i m e nt   a na l y s i s   of   s t ude n t s   opi ni on   us i ng   m a c hi ne   l e a r ni ng   t e c hni que s , ”   in   P r oc e e di ngs   of   t he   I nt e r nat i onal   C onf e r e nc e   on   I nv e nt i v e   C om put i ng   and   I nf or m at i c s ,   I C I C I   2017 ,   2018,   pp.   726 – 731,   doi :   10.1109/ I C I C I .2017.8365231.   [ 11]   N.   C a pua no,   S.   C a b a l l é ,   J.   C one s a ,   a nd   A.   G r e c o,   “ A t t e nt i on - ba s e d   hi e r a r c hi c a l   r e c ur r e nt   ne ur a l   ne t w or ks   f or   M O O C   f or um   pos t s   a na l ys i s ,”   J ou r nal   of   A m bi e nt   I nt e l l i ge nc e   and   H um ani z e d   C om put i ng ,   vol .   12,   no.   11,   pp.   9977 – 9989,   2021,   doi :   10.1007/ s 12652 - 020 - 02747 - 9.   [ 12]   Z.   K a s t r a t i ,   A.   S.   I m r a n,   a nd   A.   K ur t i ,   “ W e a kl y   s up e r vi s e d   f r a m e w or k   f or   a s pe c t - ba s e d   s e nt i m e nt   a na l ys i s   on   s t ude nt s ’   r e vi e w s   of   M O O C s , ”   I E E E   A c c e s s ,   vol .   8,   pp.   106799 – 106810,   2020,   doi :   10.1109/ A C C E S S .2020.3000739.   [ 13]   A.   O na n,   “ S e nt i m e nt   a na l ys i s   on   m a s s i ve   op e n   onl i ne   c our s e   e v a l ua t i ons :   a   t e xt   m i ni ng   a nd   de e p   l e a r ni ng   a ppr oa c h,”   C om put e r   A ppl i c at i ons   in   E ngi ne e r i ng   E duc at i on ,   vol .   29,   no.   3,   pp.   572 – 589,   2021,   doi :   10.1002/ c a e .22253.   [ 14]   M.   E l ba w a b   a nd   R.   H e nr i que s ,   “ M a c hi ne   l e a r ni ng   a ppl i e d   to   s t ude nt   a t t e nt i ve ne s s   de t e c t i on:   us i ng   e m ot i ona l   a nd   non - e m ot i ona l   m e a s ur e s ,”   E duc at i on   and   I nf or m at i on   T e c hnol ogi e s ,   vol .   28,   no.   12,   pp.   15717 – 15737,   2023,   doi :   10.1007/ s 10639 - 023 - 11814 - 5.   [ 15]   A.   B a qa c h   a nd   A.   B a t t ou,   “A   ne w   s e nt i m e nt   a na l ys i s   m ode l   to   c l a s s i f y   s t ude nt s ’   r e vi e w s   on   M O O C s ,”   E duc at i on   and   I nf or m at i on   T e c hnol ogi e s ,   pp.   1 – 28,   2024,   doi :   10.1007/ s 10639 - 024 - 12526 - 0.   [ 16]   B.   P.   B ha ga t   a nd   S.   S.   D .  - D a ndg e ,   “A   c om pa r i s on   of   di f f e r e nt   m a c hi ne   l e a r n i ng   t e c hni que s   f or   s e nt i m e nt   a na l y s i s   in   e duc a t i on   dom a i n,”   C ogni t i v e   Sc i e nc e   and   T e c hnol ogy ,   pp.   441 – 450,   2023,   doi :   10.1007/ 978 - 981 - 19 - 8086 - 2_43.   [ 17]   N.   A l t r a bs he h,   M.   C oc e a ,   a nd   S.   F a l l a hkha i r ,   “ S e nt i m e nt   a na l ys i s :   t ow a r ds   a   t ool   f or   a na l ys i ng   r e a l - time   s t ude nt s   f e e dba c k,”   P r oc e e di ngs   -   I nt e r nat i onal   C onf e r e nc e   on   T ool s   w i t h   A r t i f i c i al   I nt e l l i ge nc e ,   I C T A I ,   vol .   2014 - D e c e m ,   pp.   419 – 423,   2014,   doi :   10.1109/ I C T A I .2014.70.   [ 1 8]   G.   S.   C ha u ha n ,   P.   A gr a w a l ,   a n d   Y.   K.   M e e na ,   “ A s pe c t - ba s e d   s e n t i m e n t   a na l ys i s   of   s t u de n t s ’   f e e dba c k   to   i m p r ov e   t e a c hi ng – l e a r ni n g   pr oc e s s ,”   S m ar t   I nn ov a t i on ,   S y s t e m s   a nd   T e c hn ol ogi e s ,   vo l .   10 7,   pp .   259 – 2 66,   2 0 19,   do i :   1 0.1 00 7/ 978 - 9 81 - 13 - 17 47 - 7 _2 5.   [ 19]   G.   G.   E s pa r z a   et   al . ,   “A   s e nt i m e nt   a n a l ys i s   m ode l   to   a na l yz e   s t ude nt s ’   r e vi e w s   of   t e a c he r   pe r f or m a nc e   us i ng   s uppor t   ve c t or   m a c hi ne s ,”   A dv anc e s   in   I nt e l l i ge nt   Sy s t e m s   and   C om put i ng ,   vol .   620,   pp.   157 – 164,   2018,   doi :   10.1007/ 978 - 3 - 319 - 62410 - 5_19.   [ 20]   G.   G ut i é r r e z ,   J.   P onc e ,   A.   O c hoa ,   a nd   M.   Á l va r e z ,   “ A na l yz i ng   s t ude nt s   r e vi e w s   of   t e a c he r   pe r f or m a nc e   us i ng   s uppor t   ve c t or   m a c hi ne s   by   a   pr opos e d   m ode l ,”   C om m uni c at i ons   in   C om put e r   and   I nf or m at i on   Sc i e nc e ,   vol .   820,   pp.   113 – 122,   2018,   doi :   10.1007/ 978 - 3 - 319 - 76261 - 6_9.   [ 21]   J.   A.   P.   L a l a t a ,   B.   G e r a r do,   a nd   R.   M e di na ,   “A   s e nt i m e nt   a na l ys i s   m ode l   f or   f a c ul t y   c om m e nt   e va l ua t i on   us i ng   e ns e m bl e   m a c hi ne   l e a r ni ng   a l gor i t hm s ,”   in   A C M   I nt e r nat i onal   C onf e r e nc e   P r oc e e di ng   Se r i e s ,   201 9,   pp.   68 – 73,   doi :   10.1145/ 3341620.3341638.   [ 22]   C.   P .  - I nw ong   a nd   W.   S.   R ungw or a w ut ,   “ T e a c hi ng   s e nt i - l e xi c on   f or   a ut om a t e d   s e nt i m e nt   pol a r i t y   de f i ni t i on   in   t e a c hi ng   e va l ua t i on,”   in   P r oc e e di ngs   -   2014   10t h   I nt e r nat i onal   C onf e r e nc e   on   Se m ant i c s ,   K now l e dge   and   G r i ds ,   SK G   2014 ,   2014,   pp.   84 – 91,   doi :   10.1109/ S K G .2014.25.   [ 23]   W.   K a ur ,   V.   B a l a kr i s hna n,   a nd   B.   S i ngh,   “ I m p r ovi ng   t e a c hi ng   a nd   l e a r ni ng   e xpe r i e nc e   in   e ngi ne e r i ng   e duc a t i on   us i ng   s e nt i m e nt   a na l ys i s   t e c hni que s ,”   I O P   C onf e r e nc e   Se r i e s :   M at e r i al s   Sc i e nc e   and   E ngi ne e r i ng ,   vol .   834,   no.   1,   2020,   doi :   10.1088/ 1757 - 899X / 834/ 1/ 012026.   [ 24]   N.   K.   S i ngh,   D.   S.   T om a r ,   a nd   A.   K.   S a nga i a h,   “ S e nt i m e nt   a na l y s i s :   a   r e vi e w   a n d   c om pa r a t i ve   a na l y s i s   ov e r   s oc i a l   m e di a ,”   J our na l   of   A m bi e nt   I nt e l l i ge nc e   and   H um ani z e d   C om put i ng ,   vol .   11,   no.   1,   pp.   97 – 117,   2020,   doi :   10.1007/ s 12652 - 018 - 0862 - 8.   [ 25]   P.   P.   K um a r ,   P.   G ur una dh,   a nd   B.   M a r a m ,   “A   s t udy   on   s e nt i m e nt a l   a na l ys i s   us i ng   m a c hi ne   l e a r ni ng   a ppr oa c h,”   J our nal   of   A dv anc e d   R e s e ar c h   in   A ppl i e d   A r t i f i c i al   I nt e l l i ge nc e   and   N e ur al   N e t w or k ,   vol .   5,   no.   1,   p p.   1 – 4,   2021.   [ 26]   Y.   C ha ndr a   a nd   A.   J a na ,   “ S e nt i m e nt   a na l y s i s   u s i ng   m a c hi n e   l e a r ni ng   a nd   de e p   l e a r ni ng,”   in   P r oc e e di ngs   of   t he   7t h   I nt e r nat i onal   C onf e r e nc e   on   C om put i ng   f or   Sus t ai nabl e   G l obal   D e v e l opm e nt ,   I N D I A C om   2020 ,   2020,   pp.   1 – 4,   doi :   10.23919/ I N D I A C om 49435.2020.9083703.   [ 27]   J.   G.   K.   M a bunda ,   A.   J a dha v,   a nd   R.   A j oodha ,   “ S e nt i m e nt   a na l ys i s   of   s t ude nt   t e xt ua l   f e e dba c k   to   i m pr ove   t e a c hi ng, ”   I nt e r di s c i pl i nar y   R e s e a r c h   in   T e c hnol ogy   and   M anage m e nt ,   pp.   643 – 651,   2021,   doi :   10.1201/ 9781003202240 - 100.   [ 28]   Z.   N a s i m ,   Q.   R a j put ,   a nd   S.   H a i de r ,   “ S e nt i m e nt   a na l ys i s   of   s t ude nt   f e e dba c k   us i ng   m a c hi ne   l e a r ni ng   a nd   l e xi c on   ba s e d   a ppr oa c he s , ”   in   I nt e r nat i onal   C onf e r e nc e   on   R e s e ar c h   and   I nnov at i on   in   I nf or m at i on   Sy s t e m s ,   I C R I I S ,   2017,   pp.   1 – 6,   doi :   10.1109/ I C R I I S .2017.8002475.   [ 29]   S.   Q a i s e r ,   N.   Y us of f ,   M.   R e m l i ,   a nd   H.   K.   A dl i ,   “A   c om pa r i s on   of   m a c hi ne   l e a r ni ng   t e c hni que s   f or   s e nt i m e nt   a na l ys i s ,”   T ur k i s h   J our nal   of   C om put e r   and   M at he m at i c s   E duc at i on   ( T U R C O M A T ) ,   vol .   12,   no.   3,   pp.   1738 – 1744,   2021,   doi :   10.17762/ t ur c om a t .v12i 3.999.   [ 30]   V.   D.   N guye n,   K.   V .   N guye n,   a nd   N.   L.   T.   N guye n,   “ V a r i a nt s   of   l ong   s hor t - t e r m   m e m or y   f or   s e nt i m e nt   a na l ys i s   on   V i e t na m e s e   s t ude nt s ’   f e e dba c k   c or pus ,”   P r oc e e di ngs   of   2018   10t h   I nt e r nat i onal   C onf e r e nc e   on   K now l e dge   and   Sy s t e m s   E ngi ne e r i ng,   K SE   2018 ,   pp.   306 – 311,   2018,   doi :   10.1109/ K S E .2018.8573351.   [ 31]   R.   Z.   C a ba da ,   M.   L.   B.   E s t r a da ,   a nd   R.   O.   B u s t i l l os ,   “ M i ni ng   of   e duc a t i ona l   opi ni ons   w i t h   de e p   l e a r ni ng,”   J our nal   of   U ni v e r s al   C om put e r   Sc i e n c e ,   vol .   24,   no.   11,   pp.   1604 – 1626,   2018.   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I S S N :   2252 - 8938   I nt  J  A r ti f   I nt e ll ,  V ol .   13 , N o.   4 ,  D e c e m be r   2024 :  4747 - 4756   4756   [ 32]   I.   S i ndhu,   S.   M .   D a udpot a ,   K.   B a da r ,   M.   B a kht ya r ,   J.   B a be r ,   a nd   M.   N ur un na bi ,   “ A s pe c t - ba s e d   opi ni on   m i ni ng   on   s t ude nt ’ s   f e e dba c k   f or   f a c ul t y   t e a c hi ng   pe r f or m a nc e   e va l ua t i on,”   I E E E   A c c e s s ,   vol .   7,   pp.   108729 – 108741,   2019,   doi :   10.1109/ A C C E S S .2019.2928872.   [ 33]   A.   A bdi ,   G.   S e dr a kya n,   B.   V e l dka m p,   J.   V.   H i l l e ge r s be r g,   a nd   S.   M.   V.   D.   B e r g,   “ S t ude nt s   f e e dba c k   a na l ys i s   m ode l   u s i ng   de e p   l e a r ni ng - ba s e d   m e t hod   a nd   l i ngui s t i c   know l e dge   f or   i n t e l l i ge nt   e duc a t i ona l   s ys t e m s ,”   Sof t   C om put i ng ,   vol .   27,   no.   19,   pp.   14073 – 14094,   2023,   doi :   10.1007/ s 00500 - 023 - 07926 - 2.   [ 34]   I.   A.   K a ndhr o,   S.   W a s i ,   K.   K um a r ,   M.   R i nd,   a nd   M.   A m e e n,   “ S e nt i m e nt   a n a l ys i s   of   s t ude nt s ’   c om m e nt   us i ng   l ong - s hor t   t e r m   m ode l ,”   I ndi an   J our nal   of   Sc i e nc e   and   T e c hnol ogy ,   vol .   12,   no.   8,   pp.   1 – 16,   20 19,   doi :   10.17485/ i j s t / 2019/ v12i 8/ 141741.   [ 35]   T.   M i kol ov,   K.   C he n,   G.   C or r a do,   a nd   J.   D e a n,   “ E f f i c i e nt   e s t i m a t i on   of   w or d   r e pr e s e nt a t i ons   in   ve c t or   s pa c e ,”   ar X i v - C om put e r   Sc i e nc e ,   pp. 1 - 12,  2013 ,  doi :  10.48550/ a r X i v.1301.3781 .   [ 36]   L.   B r e i m a n,   “ R a ndom   f or e s t s ,”   in   M ac hi ne   l e ar ni ng ,   vol .   45,   pp.   5 – 32,   2001 , d oi :   10.1023/ A : 1010933404324 .   [ 37]   K.   O ’ s he a   a nd   R.   N a s h,   “ A n   i nt r oduc t i on   to   c onvol ut i ona l   ne ur a l   ne t w or ks ,”   ar X i v - C om put e r   S c i e nc e ,   pp.   1 - 11,  2015 ,  doi :  10.48550/ a r X i v.1511.08458 .   [ 38]   S.   H oc hr e i t e r   a nd   J.   S c hm i dhube r ,   “ L ong   s hor t - t e r m   m e m o r y,”   N e ur al   c om put at i on ,   vol .   9,   no.   8,   pp.   1735 – 1780,   1997 ,  doi :   10.1162/ ne c o.1997.9.8.1735 .   [ 39]   A.   V a s w a ni   et   al . ,   “ A t t e nt i on   is   a l l   you   ne e d,”   31s t   C onf e r e nc e   on  N e ur al   I n f or m at i on  P r oc e s s i ng  Sy s t e m s   ( N I P S  2017) ,  L ong   B e a c h, C A ,  U S A ,   vol .   30,   pp. 1 - 11,  2017.   [ 40]   H.   A bba s i m e hr   a nd   R.   P a ki ,   “ I m pr ovi ng   time   s e r i e s   f or e c a s t i ng   us i ng   L S T M   a nd   a t t e nt i on   m ode l s ,”   J our nal   of   A m bi e nt   I nt e l l i ge nc e   and   H um ani z e d   C om put i ng ,   vol .   13,   no.   1,   pp.   673 – 691,   2022,   doi :   10.1007/ s 1 2652 - 020 - 02761 - x.   [ 41]   B.   L i u,   “ T e xt   s e nt i m e nt   a na l ys i s   ba s e d   on   C B O W   m ode l   a nd   de e p   l e a r ni ng   in   bi g   da t a   e nvi r onm e nt ,”   J our nal   of   A m bi e nt   I nt e l l i ge nc e   and   H um ani z e d   C om put i ng ,   vol .   11,   no.   2,   pp.   451 – 458,   2020,   doi :   10.1007/ s 12652 - 018 - 1095 - 6.       B I O G R A P H I E S   OF   A U T H O R S       Bhavana   P.   Bhagat           working   as   Sr.   Lecturer   in   Department   of   Computer   Engineering   Government   Polytec hnic   Yavatmal   (M.S . ) ,   India.   She   is   Resear ch   Scholar   in   Department   of   Computer   Scienc e   and   Engineering   Sipna   Colle ge   of   Engineering   and   Technology,   Amravati ,   India   and   affiliated   to   Sant   Gadge   Baba   Amra vati   University   Amravati   (M.S . ),   India.   She   has   26   years   of   teaching   experi ence.   Her   area   of   s pecialization   is   artificial   intelligence ,   machine   learning ,   and   natural   languge   processing .   She   h as   presented   papers   in   4   internationa l  and  2  national  conferences.   She   can   be   contacted   at   email:   bhavana.bhagat30475@gmail.com .         Sheeta l   S.   Dhande - Dandge           working   as   Profes sor   at   Departmen t   of   Computer   Scienc e   Engineering   and   Technology   Amravati.   She   has   Completed   P h. D .   from   Profes sor   Ram   Meghe   Institut e   of   Resear ch   and   Technology   Amravati   (M.S . ),   India   affiliated   to   Sant   Gadge   Baba   Amravati   Univ ersity   Amravati.   (M.S . ),   India.   She   has   24   years   of   teaching   and   experience.   Her   area   of   specialization   is   artificial   intelligence .   She   has   publis hed   over   63   papers   in   internationa l   journals   and   conferences .   She   can   be   contacted   at   email:   sheetaldhande dandge@gmail.com .         Sandeep   R.  Raut             working  as   IB   Computer   Scienc e   teacher   in   S hanghai   Qibao   Dwight   High   Scho ol,   Shangha i,   China.   He   has   14   years   of   t eaching   ex perience.   He   participated   recently   in   “ Going   deeper   with  technology   in  education   and  social   media "   (EARCOS) ” ,   and   “ Teaching   ESL   students  in   mainstream  classrooms   (TESMC) ” ,   which   f ocuses   on   how   to   engage   and   support   students,   by   taking   into   considerat ion   their   social,   devel opmental,   and   language   needs.   He   can   be   contacted   at   email:   sraut@ qibaodwight.org .     Evaluation Warning : The document was created with Spire.PDF for Python.