I nd o ne s ia n J o urna l o f   E lect rica l En g ineering   a nd   Co m pu t er   Science   Vo l.   42 ,   No .   3 J u n e   2 0 2 6 ,   p p .   818 ~ 82 6   I SS N:  2 5 0 2 - 4 7 5 2 ,   DOI : 1 0 . 1 1 5 9 1 /ijeecs.v 42 .i 3 . pp 818 - 82 6           818       J o ur na l ho m ep a g e h ttp : //ij ee cs.ia esco r e. co m   Statistica l com pa riso n of ML a nd  LSTM  f o r   mo bil e health  sentimen a na ly sis       G ha nim   K a nu g ra ha n 1 ,   Win Ce 2 ,   Vit o   H a f izh C a ha y a   P ut ra 1 ,   Yudi   Ra m dh a ni 3 F ebri y a nti  P a nja it a n 4   1 D e p a r t me n t   o f   C o m p u t e r   S c i e n c e ,   F a c u l t y   o f   C r e a t i v e   Te c h n o l o g y ,   S a t u   U n i v e r s i t y ,   B a n d u n g ,   I n d o n e s i a     2 I n f o r mat i o n   S y st e ms D e p a r t me n t ,   S c h o o l   o f   I n f o r mat i o n   S y s t e ms ,   B i n a   N u san t a r a   U n i v e r si t y ,   Ja k a r t a ,   I n d o n e si a   3 D e p a r t me n t   o f   I n f o r mat i o n   S y s t e ms ,   F a c u l t y   o f   C r e a t i v e   Te c h n o l o g y ,   S a t u   U n i v e r si t y ,   B a n d u n g ,   I n d o n e s i a   4 D e p a r t me n t   o f   C o m p u t e r   S c i e n c e ,   F a c u l t y   o f   C r e a t i v e   Te c h n o l o g y ,   S a t u   U n i v e r s i t y ,   P a l e mb a n g ,   I n d o n e si a       Art icle  I nfo     AB S T RAC T   A r ticle  his to r y:   R ec eiv ed   J u n   3 0 ,   2 0 2 5   R ev is ed   Ma r   7 ,   2 0 2 6   Acc ep ted   Ma y   2 6 ,   2 0 2 6       Th is  stu d y   i n v e stig a tes   u se se n ti m e n to wa rd t h e   M o b il e   JK p u b li c   h e a lt h   a p p li c a ti o n   b y   a p p ly i n g   tex c las sifica ti o n   m o d e ls  b a se d   o n   d e e p   lea rn in g .   Two   a p p r o a c h e we re   c o m p a re d m u lt i - lay e p e rc e p tro n   (M LP )   with   TF - IDF  fe a tu re a nd  lo n g   sh o rt - t e rm   m e m o ry   (LS TM )   with   Wo rd 2 Ve c   e m b e d d in g s.  Th e   d a tas e c o n si sts  o f   1 1 4 , 3 6 4   In d o n e sia n - lan g u a g e   u se re v iew c o ll e c ted   fr o m   t h e   G o o g le  P lay   S t o re .   To   a d d re ss   c las i m b a lan c e ,   we   a p p li e d   ra n d o m   o v e rsa m p li n g .   Eac h   m o d e wa e v a lu a ted   u sin g   5 - f o ld   stra ti fied   sh u ffle  sp l it   c ro ss - v a li d a ti o n .   T h e   re su lt sh o we d   t h a M LP   m o d e ls   a c h iev e d   h i g h e a c c u ra c y   (u p   t o   8 3 . 9 0 % ) ,   wh il e   LS T M   m o d e ls d e m o n stra ted   b e tt e re c a ll   a n d   p re c isio n   o n   m in o rit y   c las se su c h   a n e u tral  s e n ti m e n t.   Ho we v e r,   sta ti stica v a li d a ti o n   u s in g   t h e   Wi lco x o n   si g n e d - ra n k   tes re v e a led   th a th e   p e rfo rm a n c e   d iffere n c e b e twe e n   m o d e ls  we re   n o st a ti stica ll y   sig n ifi c a n t   (p   >   0 . 0 5 ).   Th e se   fi n d i n g s u g g e st  th a t   b o t h   m o d e ls  a re   v iab le  f o r   se n ti m e n a n a ly sis,   with   trad e - o f fs  d e p e n d in g   o n   t h e   e v a lu a t io n   m e tri c   o in tere st.  F u tu re   wo rk   m a y   e x p l o r e   h y b rid   a rc h it e c tu re   a n d   larg e d a tas e ts  fo r   imp ro v e d   p e rf o rm a n c e   a n d   sta ti st ica c o n fid e n c e .   K ey w o r d s :   L o n g   s h o r t - ter m   m e m o r y   Mo b ile  ap p   Mu lti - lay er   p er ce p tr o n   Sen tim en t a n aly s is   W ilco x o n   test   T h is i a n   o p e n   a c c e ss   a rticle   u n d e r th e   CC B Y - SA   li c e n se .     C o r r e s p o nd ing   A uth o r :   W in   C e   I n f o r m atio n   Sy s tem s   Dep ar tm en t,  Sch o o o f   I n f o r m atio n   Sy s tem s   B in Nu s an tar Un iv er s ity   1 1 4 8 0   W est J ak ar ta,   DKI   J ak ar ta,   I n d o n esia   E m ail:  wn . @ b in u s . ed u       1.   I NT RO D UCT I O N   T h r ap id   g r o wth   o f   m o b ile  a p p licatio n s   h as  s ig n if ican tly   ch an g ed   h o p eo p le  in ter ac with   d ig ital  s er v ices.  W ith   s m ar tp h o n es  a n d   th e   in ter n et   b ec o m in g   m o r af f o r d ab le,   m o b ile  ap p s   h av b ec o m e   ess en tial   to o ls   in   m o d er n   life   [ 1 ] .   T h is   tr en d   h as  g r o wn   r a p id ly   o v er   th p ast  d ec a d ar o u n d   th e   w o r ld   [ 2 ] [ 3 ] .   Peo p le   n o u s th ese  m o b ile  ap p lic atio n s   f o r   m a n y   ac tiv ities ,   f r o m   s o cial  n etwo r k in g   to   m a n ag in g   d aily   task s .   Mo b ile  ap p licatio n s   h a v ex p an d ed   ac r o s s   v ar io u s   s ec to r s ,   in clu d in g   ed u ca tio n ,   f i n an ce ,   an d   tr a n s p o r tatio n   [ 4 ] [ 6 ] .   O n o f   th s ec to r s   th at  h as  b ee n   g r ea tly   af f ec ted   b y   m o b ile  a p p   d ev elo p m en is   h ea lth ca r e   [ 7 ] [ 8 ] Hea lth - r elate d   m o b ile  ap p licatio n s   n o p r o v id s er v ices  s u ch   as  telem ed icin e,   ap p o i n tm en s ch ed u lin g ,   a n d   m ed ical  r ec o r d   m an a g em en t   [ 9 ] [ 1 0 ] .   I n   I n d o n esia,  th Mo b ile  J KN  ap p   d ev elo p ed   b y   B PJ Kes eh atan   s er v es  as  a   g o o d   e x am p le  o f   th is   h ea lth ca r tr an s f o r m atio n   [ 1 1 ] .   T h ap p   is   d esig n ed   to   h e lp   p ar ticip an ts   o f   th n atio n a h ea lth   in s u r an ce   ( J KN - KI S)  p r o g r am   a n d   o f f er s   v ar io u s   d ig ital  s er v ices,  in clu d in g   r eg is tr atio n ,   f ac ilit y   s ea r ch ,   p r e m iu m   p ay m en t,   an d   m ed ical  h is to r y   tr ac k in g   [ 1 2 ] .   Desp ite  b ein g   u s ef u an d   wid ely   u s ed ,   Mo b i le  J KN  h as  m ix ed   Evaluation Warning : The document was created with Spire.PDF for Python.
I n d o n esian   J   E lec  E n g   &   C o m p   Sci     I SS N:   2502 - 4 7 5 2       S ta tis tica l c o mp a r is o n   o f MLP  a n d   LS TM   fo r   mo b ile   h e a lth   s en timen t a n a lysi s   ( Gh a n im  K a n u g r a h a n )   819   u s er   s atis f ac tio n   lev els.  T h is   ca n   b s ee n   in   th e   m an y   r ev iew s   p o s ted   o n   th G o o g le  Play   St o r e,   wh ich   p r o v id v alu ab le  f ee d b ac k   a b o u u s er   ex p er ien ce s ,   co m p lain ts ,   an d   e x p ec tatio n s .   Ho wev er ,   th is   f ee d b ac k   is   ty p ically   u n s tr u ctu r e d   an d   d if f ic u lt  to   in ter p r et  m an u ally   d u t o   its   lar g v o lu m a n d   v ar ied   n atu r e   [ 1 3 ] .   W ith   s o   m an y   u s er   r ev iews  av ailab le,   B PJ Keseh atan ,   as  th o wn er   o f   t h e   Mo b ile  J KN  ap p licatio n ,   ca n   tak ad v an tag e   o f   th is   d ata  to   u n d er s tan d   wh at  u s er s   ex p er i en ce   an d   im p r o v e   th q u ality   o f   th ap p licatio n   [ 9 ] .   Sev er al  s tu d ies  h a v ex p lo r ed   th u s o f   s en tim en a n a ly s is   an d   m ac h in e   lear n in g   to   u n d er s tan d   u s er   o p in io n s   f r o m   a p p   r e v iews  [ 1 4 ] [ 1 6 ] .   T h ese  r ev iews  p r o v id e   u s ef u in s ig h ts   in to   th m eth o d s   an d   m o d els th at  c an   b ap p lied   to   a n aly ze   u n s tr u ctu r ed   tex d ata  f r o m   m o b ile  ap p licatio n s   [ 1 7 ] .   Nu r f ik r [ 1 8 ]   co n d u cted   s tu d y   o n   th e   Halo d o c   telem ed i cin ap p .   T h aim   o f   th s tu d y   was  to   an aly ze   u s er   s en tim en t   to war d s   Halo d o c   in   I n d o n esia  a f ter   th C OVI D - 1 9   p a n d em ic   b eg an   to   d ec r ea s e.   T h e   d ataset  co n s is ted   o f   1 , 1 2 9   u s er   r ev iews  co llected   f r o m   th G o o g le  Play   Sto r b etwe en   J u n an d   Au g u s 2 0 2 2 .   He  u s ed   q u a n titativ an aly s is   to   ca teg o r ize  u s er   r atin g s   in t o   f iv s en tim en t   lev els.  Af ter   th at,   h also   u s ed   q u alitativ an aly s is   u s in g   NVI VO  s o f twar to   id en tify   th m o s co m m o n   w o r d s   in   p o s itiv an d   n eg ativ e   r ev iews.  T h s tu d y   f o u n d   th at   7 4 . 8 o f   t h r ev iews  wer p o s itiv e,   wh ile  1 5 . 5 wer n e g ativ e.   T h r esu lts   s u g g est  th at  alth o u g h   u s er   s en tim en was  m o s tly   p o s itiv e,   th er is   s til r o o m   f o r   im p r o v em en t,  esp ec ially   in   s y s tem   p er f o r m a n ce   an d   s er v i ce   q u ality .   Ho u   an d   Z h u   [ 1 9 ]   co n d u cte d   s tu d y   to   id en tify   th u s ef u ln ess   o f   o n lin p r o d u ct  r ev iews  b y   co m b in in g   g r o u n d e d   th eo r y   a n d   m u lti - lay er   p e r ce p tr o n   ( ML P)  n eu r al  n etwo r k .   T h r esear ch   u s ed   6 , 2 1 5   u s er   r ev iews  co llected   f r o m   J D. co m ,   f o cu s in g   o n   m o b ile  p h o n p r o d u cts.  T h e   au th o r s   f i r s co n d u cte d   s em i - s tr u ctu r ed   in ter v iews  with   3 5   co n s u m er s   to   ex tr ac f ea tu r es  r elate d   to   d if f er en s tag es  o f   th p u r c h asin g   p r o ce s s .   T h p r o ce s s es  ar d em an d   g en e r atio n ,   in f o r m atio n   co llectio n ,   p r o d u ct  ev alu atio n ,   p u r ch ase  d ec is io n ,   an d   p o s t - p u r ch ase  b e h a v io r .   T h ese  f ea tu r es   wer th e n   u s ed   to   tr ain   an   ML m o d el.   T h r esu lts   s h o wed   th at   th ML m o d el  tr ain e d   with   f ea tu r es  b ased   o n   co n s u m e r   d ec is io n - m ak in g   ac h iev e d   an   F 1 - s co r o f   8 9 . 3 %,   s ig n if ican tly   o u tp er f o r m in g   m o d els  u s in g   o n l y   T F - I DF   f ea tu r es  ( F1 - s co r e   o f   5 9 . 2 %)  an d   tr ad itio n al   class if ier s   lik SVM   an d   Naï v B ay es.  T h is   r esear ch   s u g g ests   th at   in clu d in g   b eh av i o r al   co n tex in   f ea tu r e   d esig n   ca n   im p r o v e   th p er f o r m an ce   o f   m ac h in lear n in g   m o d els in   id en tify i n g   u s ef u l o n li n r ev iews.   W h ile  th ese  s t u d ies  s h o g r ea r esu lts ,   d eter m in i n g   th tr u ef f ec tiv en ess   o f   d if f er e n m o d els  r eq u ir es  m o r th a n   ju s co m p ar in g   p e r f o r m an ce   m etr ic s .   W h en   ev alu atin g   m ac h in lear n in g   m o d els,   r esear ch er s   m u s en s u r th at  o b s er v ed   p er f o r m a n ce   d if f e r en ce s   ar s tatis tically   s ig n i f ican r ath er   th an   o cc u r r in g   b y   c h an ce .   R ec o g n izin g   th is   c r itical  n ee d   f o r   s tatis tical  v alid atio n ,   Sh ar m an d   Kau r   [ 2 0 ]   co n d u cte d   a   b en c h m ar k in g   s tu d y   in v o l v in g   3 5   d ee p   lear n in g   m o d els  f o r   asp ec t - le v el  s en t im en class if icatio n   ( AL SC ) .   T h ey   u s ed   eig h b en ch m ar k   d atasets   an d   ev alu ate d   m o d el  p er f o r m a n ce   b ased   o n   ac cu r ac y ,   m ac r o - F1   s co r e,   an d   tr ain in g   tim e.   T o   ch ec k   t h s tatis tical  v alid ity   o f   th p er f o r m an ce   d if f er e n c es,  th ey   ap p lied   th Frie d m an   test ,   f o llo wed   b y   p o s t - h o c   test s   s u ch   as  th e   Nem en y a n d   W ilco x o n   s ig n ed - r a n k   test s .   T h e   W ilco x o n   test   was  u s ed   to   p er f o r m   p air wis co m p a r is o n s   b etwe en   to p - p er f o r m i n g   m o d els.  T h eir   r esu lts   s h o wed   th at  m o d els  lik GAT - B E R T   an d   ASGC ac h iev ed   th b est  p er f o r m an ce ,   alth o u g h   s o m tr ad e - o f f s   ex is ted   b etwe en   ac cu r ac y   an d   ef f icien cy .   I n   s en tim en an aly s is   r esear ch ,   th s elec tio n   o f   f ea tu r ex tr ac tio n   m eth o d   a n d   m o d el  ar ch itectu r e   p lay s   an   im p o r ta n r o le   in   d e ter m in in g   class if icatio n   p er f o r m an ce .   O n co m m o n l y   u s ed   tech n iq u is   T er m   Fre q u en cy - I n v e r s Do cu m e n Fre q u en c y   ( T F - I DF) ,   wh ich   co n v e r ts   tex in to   n u m e r ical  v ec to r s   b y   g i v in g   weig h to   ter m s   b ased   o n   th ei r   f r eq u en cy   in   a   d o cu m en t   an d   th eir   r ar ity   ac r o s s   th d atase [ 2 1 ] .   T h is   m et h o d   h as  b ee n   p r o v en   e f f ec tiv in   tr ad itio n al  m ac h i n lear n i n g   t ask s ,   as  it  h elp s   ca p tu r e   im p o r tan ter m s   wh ile   m in im izin g   th in f lu en ce   o f   c o m m o n l y   u s ed   wo r d s   [ 2 2 ] [ 2 3 ] .   MLP   is   a   b asic  d ee p   lear n in g   m o d el  co n s is tin g   o f   s ev er a f u lly   co n n ec ted   lay er s   th at  ca n   lear n   co m p lex   p atter n s   in   d ata  u s in g   b ac k p r o p ag atio n   [ 2 4 ] .   W h en   co m b in ed   with   TF - I DF  f ea tu r es,  ML m o d els  ca n   ef f ec tiv ely   r ec o g n ize  r elat io n s h ip s   b etwe en   wo r d s   in   tex class if icat io n   task s ,   esp ec iall y   b ec au s th ey   ar e   ca p ab le  o f   m o d elin g   n o n - lin ea r   d ep en d en cies b etwe en   f ea t u r es  [ 2 5 ] [ 2 6 ] .   On   th e   o th er   h a n d ,   W o r d 2 Ve is   f ea tu r e   ex tr ac tio n   tech n iq u t h at  tr a n s f o r m s   w o r d s   i n to   d e n s e   v ec to r   r ep r esen tatio n s   b ased   o n   th eir   co n tex in   s en ten ce s   [ 2 7 ] .   Un lik th s p ar s v ec to r s   g en er ated   b y     TF - I DF,  W o r d 2 Vec   p r eser v e   th s em an tic  m ea n in g   o f   wo r d s ,   allo win g   th m o d el  to   u n d er s tan d   s i m ilar ity   b ased   o n   u s ag [ 2 8 ] .   T h ese  d en s em b ed d in g s   ar p ar tic u lar ly   well - s u ited   f o r   lo n g   s h o r t - ter m   m e m o r y   ( L STM )   n etwo r k s ,   wh ich   ar e   ty p e   o f   r ec u r r en t   n eu r al  n etwo r k   d esig n e d   to   h a n d le  s eq u en ce   d ata  [ 2 9 ] L STM s   h av s p ec ial  g atin g   m ec h an is m s   th at  allo th em   to   r etain   o r   f o r g et   in f o r m atio n   as  n ee d e d ,   m ak in g   th em   ef f ec tiv f o r   u n d er s tan d in g   th f l o an d   c o n tex o f   n at u r al  lan g u a g tex [ 3 0 ] [ 3 1 ] .   Sev er al  p r ev i o u s   s tu d ies  h av e   ap p lied   m ac h in e   lear n in g   an d   d ee p   lea r n in g   tech n i q u es  f o r   s en tim en an aly s is   o n   m o b ile  ap p licati o n s ,   in clu d i n g   h ea lth ca r p l atf o r m s   s u ch   as  Mo b ile  J KN.   E x is tin g   wo r k s   g en er ally   r e p o r th at  m o d els  s u ch   as  L STM   an d   tr ad itio n al  class if ier s   ca n   ef f ec tiv ely   clas s if y   u s er   s en tim en t,  with   p er f o r m an ce   ev alu atio n   p r im ar ily   b ased   o n   a cc u r ac y - b ased   m etr ics   [ 1 1 ] ,   [ 1 2 ] Ho wev er ,   th ese  s tu d ies   r ely   o n   d ir ec m etr ic  co m p ar is o n s   with o u s tati s tical  v alid atio n ,   m ak in g   it  u n clea r   wh eth er   o b s er v e d   p er f o r m an ce   d if f e r en ce s   b etwe en   m o d els  ar s ig n if ican t.  I n   ad d itio n ,   co m p ar ativ an aly s e s   b etwe en   d if f er en Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 5 0 2 - 4 7 5 2   I n d o n esian   J   E lec  E n g   &   C o m p   Sci Vo l.  42 ,   No .   3 ,   J u n e   20 2 6 :   8 1 8 - 82 6   820   d ee p   lear n in g   ar ch itectu r es  an d   f ea tu r ex tr ac tio n   m eth o d s ,   p ar ticu lar ly   ML with   T F - I DF  an d   L STM   with   W o r d 2 Vec ,   r em ain   lim ited   f o r   lar g e - s ca le  I n d o n esian   m o b ile  h ea lth   r ev iew  d ata.   T h er ef o r e,   th is   s tu d y   aim s   to   s y s tem atica lly   co m p ar th e s two   m o d elin g   ap p r o ac h es  with in   u n if ie d   e x p er im e n tal  f r am ewo r k   an d   t o   em p lo y   th e   W ilco x o n   s ig n ed - r an k   test   to   s tatis tically   ev alu ate  th s ig n if ican ce   o f   p er f o r m a n ce   d if f er e n ce s .       2.   M E T H O D   T h is   s t u d y   a p p li es  m ac h i n l ea r n in g   a p p r o a ch   t o   an al y z u s er   s e n ti m e n t   f r o m   M o b ile   J K r ev iews .   T h e   p r o c e s s   c o n s is ts   o f   f o u r   m ai n   s t ag es.   T h e   s t ag es   a r e   d ata   co lle cti o n ,   d a ta   p r e p r o c ess in g ,   m o d el   b u il d i n g ,   an d   m o d el   e v a lu ati o n .   Fi g u r e   1   ill u s t r at es  th c o m p l ete   e x p e r i m e n ta l s et u p   a n d   wo r k f l o u s ed   i n   th is   s t u d y .           Fig u r 1 R esear ch   f r am ewo r k       2 .1 .   Da t a   c o llect io n   User   r ev iew  d ata  was  co llected   f r o m   th Go o g le  Play   Sto r e   u s in g   th g o o g le_ p lay _ s cr ap er   Py th o n   lib r ar y .   Data   s cr ap in g   was  co n d u cted   o n   Ap r il  3 0 ,   2 0 2 5 ,   an d   it  in clu d es  r ev iews  f r o m   v er s io n   1 . 1 8   ( J u ly   2 1 ,   2 0 2 1 )   u p   to   v e r s io n   4 . 1 2   ( Ap r il  2 9 ,   2 0 2 5 ) .   W f o cu s ed   o n ly   o n   r ev iews  wr itten   in   I n d o n e s ian   lan g ag e.   E ac h   r ev iew  was  ex tr ac ted   alo n g   with   o th er   d ata  s u ch   as  r ev ie co n ten t,  r atin g   s co r e ,   an d   t im estam p .   Fro m   th e   to tal  n u m b e r   o f   Mo b ile  J KN  r ev iews  ( m o r t h an   2   m illi o n   r ev iews),   we  o n ly   s elec ted   2 0 0 , 0 0 0   r ev iews  as  a   s am p le  o r   ar o u n d   1 0 %   to tal  r e v iews ,   f o r   th is   s tu d y .   T h ex tr ac ted   d ata  ca n   b d escr ib ed   in   T ab le  1 .         T ab le  1 .   Sam p le  o f   co llected   u s er   r ev iews   R e v i e w   Id   U ser   n a me   C o n t e n t   S c o r e   A p p V e r s i o n   b e 7 7 e 4 d 3   Ju n a e d i   S e t e l a h   d i   u p d a t e   b a ru . . .   m a n t a a p . . .   b i sa   p a k e   5   3 . 4 . 0   7 6 e 0 c b e 7   Ek o t r i   J a g a   k e se h a t a n   t e t a p   sema n g a t   t e r a p k a n   h i d u p   5   3 . 4 . 0   6 d 6 e 3 f e d   A n d r i   L u k ma n a   t i d a k   b i s a   m a su k   1   1 . 1 8       2 . 2 .   Da t a   p re pro ce s s ing   Af ter   th r ev iews  wer co lle cted ,   we  ad d ed   n ew   co lu m n   ca lled   s en tim en t.   I n   th is   c o lu m n ,   we   tr an s f o r m ed   th r atin g   s co r es  in to   s en tim en lab els:   r ev iews   with   s co r o f   1   o r   2   wer l ab eled   as  n eg ativ e   ( lab el  0 ) s co r es   o f   3   as  n eu tr al   ( lab el  1 ) ,   an d   s co r es  o f   4   o r   5   as  p o s itiv e   ( lab el   2 ) .   T h e   tex p r ep r o ce s s in g   p ip eli n co n s is ted   o f   t h f o llo win g   s tep s   -   E m o ji   c o n v e r s i o n e m o j is   w er c o n v e r te d   i n t o   te x t u a r e p r es en t ati o n   u s i n g   t h e   e m o ji   li b r ar y .   -   T e x t   n o r m ali za t io n t ex t w as  c o n v er te d   to   l o w er ca s e.   -   No is r e m o v al p u n ct u at io n ,   el o n g ate d   c h a r a cte r s ,   an d   UR L s   wer r e m o v e d .   -   Sto p w o r d   r em o v a a n d   s te m m i n g w u s ed   t h e   I n d o n esia n   s t o p w o r d   lis t   f r o m   N L T a n d   a p p li ed   s t em m i n g   u s i n g   t h S astr awi   s t em m e r .   T h r ev iew   tex was  av ailab le   in   th e   co n te n t   co lu m n .   T h c lean ed   tex was  s to r e d   in   n e co lu m n   ca lled   clea n ed _ c o n ten t.   Du r in g   p r e p r o ce s s in g ,   we   f o u n d   th at  m an y   u s er   r e v iews  wer ex tr em ely   s h o r t,   s u ch   as  ok   o r   to p ,   wh ich   ca u s ed   th clea n e d _ co n ten to   b ec o m em p ty   a f ter   f ilter in g .   T o   a d d r ess   th is   is s u e,   we  r etain ed   th ese   s h o r t   tex ts   b y   c o p y in g   th em   d i r ec tly   in t o   th e   cle an ed _ co n ten c o lu m n   wh en   th clea n ed   r esu lt   was e m p ty .   T h is   en s u r ed   th at  all  r ev iews st ill r ef lecte d   th eir   o r ig in al  m ea n i n g   an d   s en tim e n t.   Evaluation Warning : The document was created with Spire.PDF for Python.
I n d o n esian   J   E lec  E n g   &   C o m p   Sci     I SS N:   2502 - 4 7 5 2       S ta tis tica l c o mp a r is o n   o f MLP  a n d   LS TM   fo r   mo b ile   h e a lth   s en timen t a n a lysi s   ( Gh a n im  K a n u g r a h a n )   821   Nex t,  d u p licate  r ev iews  wer e   r em o v ed   to   av o i d   b iased   lear n in g   f r o m   r e p ea ted   s am p les.  Af ter   th at,   o n ly   two   co lu m n s   wer r etain ed   f o r   m o d el  tr ain in g   an d   e v alu atio n ,   wh ich   ar clea n ed _ co n ten an d   s en tim en t.   T h f in al  d ata  t h at  will b u s e d   ca n   b e   d escr ib ed   i n   T ab le  2 .           T ab le  2 .   Sam p le  o f   ex tr ac te d   d ata  f r o m   d ata  p r ep r o ce s s in g   c l e a n e d _ c o n t e n t   sen t i m e n t   U p d a t e   m a n t a a p   p a k e   n i k   2   J a g a   se h a t   s e m a n g a t   t e r a p   h i d u p   s e h a t   2   M a s u k   0       2 . 3 .   M o del  b uilding   B ef o r tr ain in g   th e   m o d els,  r a n d o m   o v e r s am p lin g   was  ap p li ed   to   h an d le  th e   class   im b ala n ce   in   th e   d ataset.   Af ter   p r ep r o ce s s in g ,   th n eg ativ s en tim en class   h ad   th lar g est  n u m b er   o f   s am p les,  wh ile  th e   n eu tr al  an d   p o s itiv class e s   w er m u ch   s m aller .   T o   r ed u ce   t h is   im b alan ce ,   th R an d o m Ov er Sam p ler   f r o m   th e   im b lear n   lib r ar y   was u s ed   to   o v er s am p le  th n eu tr al  an d   p o s i tiv class e s   b y   d u p licatin g   ex is tin g   s am p les u n til   th eir   n u m b e r s   wer eq u al  to   t h n eg ativ class .   T h is   o v er s a m p lin g   p r o ce s s   was  ap p lied   o n ly   to   t h tr ain in g   d ata  in   ea ch   f o ld   o f   th cr o s s - v alid atio n ,   wh ile  th test   d ata  was  k ep u n ch an g e d .   T h is   s tep   was  in ten d ed   to   h elp   th m o d els lea r n   m o r ev en ly   f r o m   all  s en tim en t c lass es.   W u s d ee p   lear n in g   ap p r o ac h   to   co m p ar th p e r f o r m an ce   o f   two   ty p es  o f   m o d els:   ML with   TF - I DF  f ea tu r es,  a n d   L STM   with   W o r d 2 Vec   em b ed d i n g s .   W ap p lied   th e   TF - I DF  v ec t o r izer   with   u n ig r a m   ( n g r am _ r an g e= ( 1 , 1 ) )   an d   m ax im u m   o f   5 , 0 0 0   f ea tu r es  t o   c o n v er t   th clea n ed   te x in to   n u m er ical  v ec to r s .   O th o th er   h an d ,   we  tr ain ed   W o r d 2 Vec   m o d el  o n   th to k e n ized   r ev iews  u s in g   v ec to r _ s i ze =1 0 0 ,   win d o w= 5 ,   an d   m in _ co u n t=1 .   T h em b e d d in g   f o r   ea ch   r ev iew  was  o b tain ed   b y   av e r ag in g   th v ec to r s   o f   th e   wo r d s   it  co n tain ed .   W also   u s e   th e   Ad am   o p tim izer   with   le ar n in g   r ate  o f   0 . 0 0 1   an d   wer tr ai n ed   u s in g   C r o s s E n tr o p y L o s s .   T h e   m o d el s   wer tr ain e d   f o r   2 0   ep o ch s   with   b atc h   s ize  o f   6 4 .   Fo u r   m o d el  a r ch itectu r es   wer b u ilt:   -   ML A o n e   h i d d e n   la y e r   wit h   1 2 8   u n its   a n d   d r o p o u t .   -   ML P B t wo   h i d d e n   l a y e r s   wit h   1 2 8   an d   6 4   u n i ts   r es p ec t iv el y ,   b o th   wi t h   d r o p o u t.   -   L STM   A o n e   L S T M   la y e r   wit h   hi dd e n_ di m =1 28   wit h   d r o p o u t   a n d   d en s la y e r .   -   L STM   B t w o   s ta ck e d   L STM   l ay er s   wi th   d i m e n s i o n s   1 2 8   a n d   6 4   wit h   d r o p o u t   a n d   a   d en s l ay er .   All  ex p er im en ts   wer co n d u cted   in   Py th o n   u s in g   Py T o r ch ,   with   T F - I DF  an d   W o r d 2 Vec   im p le m en ted   v ia  Scik it - lear n   an d   Gen s im .   T r ain i n g   was a cc eler ated   u s in g   an   NVI DI 3 0 5 0 T i L ap to p   GPU .     2 . 4 .   M o del  e v a lua t i o n   T h e   d ataset  was  s p lit  u s in g   Stra tifie d Sh u f f leSp lit  with   5   s p lits   with   8 0 tr ain in g   an d   2 0 test in g   s et .   T h is   m eth o d   en s u r ed   th at   th p r o p o r tio n   o f   s en tim en lab els  r em ain ed   co n s is ten ac r o s s   th tr ain in g   an d   test   s et s .   I n   ea ch   f o ld   o f   th e   cr o s s - v alid atio n ,   b o t h   ML m o d els  wer tr ain ed   u s in g   t h T F - I DF  f ea tu r e   ex tr ac tio n ,   wh ile  b o th   L STM   m o d els  wer tr ain ed   u s in g   W o r d 2 V ec  f ea tu r ex tr ac tio n .   Af ter   tr ain in g ,   ea ch   m o d el  was  ev alu ate d   o n   th e   test   s et,   an d   th class if icatio n   ac cu r ac y   alo n g   with   th e   co n f u s io n   m atr i x   was  r ec o r d e d .   On ce   all  f o ld s   wer e   co m p leted ,   th av er ag ac cu r ac y   o f   ea ch   m o d el  was  ca lcu lated   an d   co m p ar ed   to   ass ess   o v er all  p er f o r m a n ce   ac r o s s   th d ataset.   Af ter   all  f o ld s   wer e   co m p leted ,   t h a v er ag e   ac cu r ac y   o f   ea c h   m o d el  was  co m p a r ed .   T h is   ev alu atio n   aim ed   to   d eter m in e   wh eth er   o n m o d el  ty p s ig n if ican tly   o u tp er f o r m ed   th o th er s   in   ter m s   o f   class if icatio n   ac cu r ac y .   T h W ilco x o n   Sig n ed - R an k   T est wa s   th en   u s ed   to   ex am in th s tatis tical  s ig n if ican ce   b etwe en :   -   ML v s   ML P   B   -   L STM   A   v s   L ST B   -   T h b es ML P   v s   t h e   b est   L ST M       3.   RE SU L T S AN D I SCU SS I O N   T h is   s ec tio n   p r esen ts   an d   d is cu s s es  th r esu lt s   o f   s en tim en class if ica tio n   ex p er im en ts   u s in g   ML P   an d   L STM   m o d els.  T h ev a lu atio n   f o cu s es  o n   class if icatio n   p er f o r m an ce   b ased   o n   a cc u r ac y ,   co n f u s io n   m atr ix ,   an d   a d d itio n al  m etr ics  s u ch   as  p r ec is io n ,   r ec all,   an d   F1 - s co r e.   I n   ad d itio n ,   we  c o n d u cted   a   s tatis tical   test   to   d eter m in wh eth er   p er f o r m an ce   d if f er en ce s   b etwe en   m o d els  ar s ig n if ican t.  T h o b jectiv is   to   ass e s s   h o well  ea ch   m o d el  class if ies u s er   s en tim en t in   th Mo b ile   J KN  ap p   r ev iews.     3 . 1 .   Da t a   prepro ce s s ing   re s ult   I n itially ,   th d ataset  co n tain ed   2 0 0 , 0 0 0   u s er   r ev iews.  Af ter   r em o v in g   d u p licate  en tr ies an d   r o ws with   m is s in g   v alu es ( NaN ) ,   th n u m b er   o f   u s ab le  d ata  p o in ts   d ec r ea s ed   to   1 1 4 , 3 6 4 .   T h is   d ata  r ed u ctio n   r ef lects th Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 5 0 2 - 4 7 5 2   I n d o n esian   J   E lec  E n g   &   C o m p   Sci Vo l.  42 ,   No .   3 ,   J u n e   20 2 6 :   8 1 8 - 82 6   822   im p o r tan ce   o f   th e   clea n in g   p r o ce s s   in   im p r o v i n g   d ata   q u alit y   an d   e n s u r in g   th at  o n ly   v alid   r ev iews  wer u s ed   in   th a n aly s is .   T h d ata  clea n in g   p r o ce s s   also   af f ec te d   th e   d is tr ib u tio n   o f   s en tim en cla s s es  in   th d ataset.   Sev er al  r ev iews  wer r em o v ed   u n ev e n ly   ac r o s s   s en tim en ca teg o r ies,  wh ich   alter ed   th o r ig in al  b alan ce   b etwe en   p o s itiv e,   n eg ati v e ,   a n d   n eu tr al  r ev iews.  As  r esu lt,  th clea n ed   d ataset  ex h i b ited   s h if i n   class   p r o p o r tio n s   co m p ar ed   to   th o r ig in al  d ata.   As  illu s tr ated   in   Fig u r 2 ,   p o s itiv r ev iews  ex p er ien ce d   th lar g est  r ed u ctio n ,   d ec r ea s in g   f r o m   1 2 1 , 8 1 3   t o   4 2 , 8 0 0   s am p les.  Neg at iv r ev iews  wer r ed u c ed   f r o m   7 0 , 9 0 2   to   6 5 , 4 1 1   s a m p les,  wh ile  n eu tr al  r ev iews  s h o wed   th e   s m allest  ch an g e,   d ec r ea s in g   f r o m   7 , 2 1 5   to   6 , 1 5 3   s am p les.  T h is   u n ev en   r ed u ctio n   ac r o s s   s en tim en t c lass es c au s ed   n eg ativ r ev iews to   b ec o m e   th d o m in an t c lass   in   th cle an ed   d ataset.   T h r esu ltin g   class   im b alan ce   was  ad d r ess ed   d u r in g   th m o d el  tr ain in g   s tag b y   ap p ly in g   r an d o m   o v er s am p lin g   tech n i q u e.   I n   th is   p r o ce s s ,   th n eu tr al  a n d   p o s itiv s en tim en class es  wer tr ea ted   as  m in o r ity   class es  an d   wer o v er s am p led   b y   d u p l icatin g   ex is tin g   s am p les  u n til  th eir   s izes  m at ch ed   th n e g ativ e   s en tim en class .   T h is   s tr ateg y   was  ad o p ted   to   r ed u ce   b ias  to war d   th m ajo r ity   class   an d   t o   allo th m o d els  to   lear n   s en tim en t p atter n s   m o r ev en ly .           Fig u r 2 Data   d is tr ib u tio n   b e f o r an d   af ter       3. 2 .   M o del  t ra ini ng   a nd   ev a l ua t io n set up   Af ter   b alan cin g   th d ataset,   we  tr ain ed   f o u r   d if f er e n m o d els:   ML P   A,   ML P   B ,   L STM   A,   an d     L STM   B .   E ac h   m o d el  was  e v alu ated   u s in g   5 - f o ld   cr o s s - v ali d atio n   to   en s u r e   r o b u s an d   g e n er ali za b le  r esu lts .     T h 5 - f o ld   cr o s s - v alid atio n   a p p r o ac h   d i v id es  th e   d ata   in to   f iv eq u al  p a r ts ,   wh er e   ea ch   f o ld   s er v es  as   test   s et  wh ile  th r em ai n in g   f o u r   f o ld s   ar u s ed   f o r   tr ai n in g .   T h av er ag e   co n f u s io n   m atr ix   r e s u lts   ac r o s s   all  f iv e   f o ld s ,   s h o win g   h o ea ch   m o d el  class if ied   s am p les in   ea ch   s en tim en t c ateg o r y   ca n   b d esc r ib ed   in   T a b le  3 .   T ab le  3   s h o ws  th e   class if icat io n   p e r f o r m an ce   o f   ea ch   m o d el  ac r o s s   th e   th r ee   s en tim en class es:  n eg ativ e,   n eu tr al,   an d   p o s itiv e .   W h en   lo o k in g   at  n eg ativ e   s en tim en t,  ML m o d els  wo r k ed   b etter   th a n   L STM   m o d els.  ML P   B   co r r ec tly   id en tifie d   1 1 , 9 7 0   n eg ativ r e v i ew s ,   wh ich   was   th b est  r es u lt,  wh ile  ML P   id en tifie d   1 1 , 7 5 4   n eg ativ e   r ev iews.  T h L STM   m o d els  d id   n o p er f o r m   as  well,   esp ec ially   L STM   A,   wh ich   in co r r ec tly   la b eled   m a n y   n eg a tiv r ev iews  as  n eu tr al  ( 3 , 2 9 6   r ev iews ) .   T h is   s h o ws  th at  ML m o d els  ar b etter   at  r ec o g n izin g   n eg ati v s en tim en ts .   Fo r   n eu tr al   s en tim en t,  all  m o d els  h ad   d if f icu lty ,   wh ich   m ak es  s en s b ec au s n e u tr al  f e elin g s   ar h ar d er   to   d etec t.   Ho wev er ,   L STM   m o d els  p er f o r m e d   s lig h tly   b etter   h e r e.   L STM   c o r r ec tly   id en tifie d   6 2 2   n eu tr al  r e v iews,  wh ich   w as  m u ch   b etter   th a n   ML P   ( 8 1 )   a n d   ML P   B   ( 7 1 ) .   T h is   s u g g ests   th at  L STM   m o d els   m ig h t b b etter   at  u n d er s tan d i n g   s u b tle  n e u tr al  s en tim en ts   b ec au s th ey   ca n   p r o ce s s   tex t i n   s eq u en ce .       T ab le  3 .   Av e r ag co n f u s s io n   m atr ix   P r e d i c t e d   l a b e l     N e g a t i v e   N e u t r a l   P o si t i v e   Tr u e   l a b e l :   n e g a t i v e   M LP A   1 1 7 5 4   4 0 3   9 2 3   M LP  B   1 1 9 7 0   3 5 9   7 5 2   LSTM   A   9 1 9 3   3 2 9 6   5 9 2   LSTM   B   9 3 6 0   2 9 5 8   7 6 3   Tr u e   l a b e l :   n e u t r a l   M LP A   8 7 7   81   2 7 2   M LP  B   9 1 6   71   2 4 2   LSTM   A   4 5 1   6 2 2   1 5 7   LSTM   B   5 6 4   4 5 2   2 1 4   Tr u e   l a b e l :   p o s i t i v e   M LP A   1 1 1 7   1 5 0   7 2 9 2   M LP  B   1 2 7 0   1 4 0   7 1 4 8   LSTM   A   5 6 8   1 0 5 1   6 9 4 0   LSTM   B   7 8 6   7 7 9   6 9 9 4   Evaluation Warning : The document was created with Spire.PDF for Python.
I n d o n esian   J   E lec  E n g   &   C o m p   Sci     I SS N:   2502 - 4 7 5 2       S ta tis tica l c o mp a r is o n   o f MLP  a n d   LS TM   fo r   mo b ile   h e a lth   s en timen t a n a lysi s   ( Gh a n im  K a n u g r a h a n )   823   W h en   class if y in g   p o s itiv s e n tim en t,  ML m o d els  ag ain   p er f o r m ed   b etter   th a n   L ST m o d els.    MLP   h ad   th h ig h est  n u m b er   o f   c o r r ec p r ed ictio n s   ( 7 , 2 9 2 ) ,   f o llo wed   b y   ML P   B   ( 7 , 1 4 8 ) .   L STM   o f ten   co n f u s ed   p o s itiv r ev iews  with   n eu tr al  o n es  ( 1 , 0 5 1   tim es),   wh ich   m ad e   its   o v er all  p e r f o r m an ce   lo we r   f o r   p o s itiv s en tim en t c lass if icati o n .   To   b etter   u n d e r s tan d   th e   p er f o r m an ce   o f   ea ch   m o d el,   f o u r   ev alu atio n   m etr ics  wer e   c alcu lated ,   n am ely   ac c u r ac y ,   p r ec is io n ,   r ec all,   an d   F1 - s co r e   u s in g   m ac r o   av e r ag in g .   Ma cr o   a v er a g in g   ass ig n s   eq u al  im p o r tan ce   to   ea c h   class   an d   is   th er ef o r s u itab le  f o r   im b al an c ed   d atasets .   T h av er ag p er f o r m a n ce   r esu lts   ac r o s s   f iv e - f o ld   cr o s s - v alid atio n ,   alo n g   with   th s tan d ar d   d ev iatio n   o f   ac c u r ac y   to   r e f lect  p er f o r m a n ce   s tab ilit y   ac r o s s   f o ld s ,   ar p r es en ted   in   T ab le  4 .   B ased   o n   th ac cu r ac y   r esu lts ,   th ML P - b ased   m o d els  ac h iev ed   h ig h e r   o v er all  ac cu r ac y   th an   b o th   L STM   m o d els,  with   ML B   s lig h tly   o u tp er f o r m i n g   M L A.   T h ac cu r ac y   d if f er en ce   b etwe en   th   b est - p er f o r m in g   ML m o d el  ( ML B )   an d   th b est - p er f o r m in g   L STM   m o d el  ( L STM   B )   was  ap p r o x im ately   1 0 %.  Ho wev er ,   a   d if f e r en t p at ter n   ca n   b e   o b s er v e d   wh en   ex am in in g   p r ec is io n ,   r ec all,   a n d   F1 - s co r e.   L STM   ac h iev ed   th h ig h est  r ec all  v alu o f   6 7 . 3 1 an d   th h ig h est  p r ec is io n   o f   6 4 . 2 7 % ,   in d icatin g   th at  th is   m o d el  w as  m o r ef f ec tiv at   co r r ec tl y   id en tify in g   r elev a n s am p l es  ac r o s s   s en tim en t   class es.  Desp ite  h av in g   lo wer   o v er all  ac cu r ac y ,   th is   r esu lt  s u g g ests   th at  th L STM - b ase d   m o d el  m ay   b etter   ca p tu r p atter n s   f r o m   m in o r ity   class es,  p ar ticu lar ly   th n eu tr al  s en tim en t c ateg o r y .   T h o b s er v e d   p e r f o r m an ce   d if f er en ce s   b etwe en   th ML an d   L STM   m o d els  ca n   b f u r t h er   ex p lain ed   b y   th n atu r o f   th e   r ev iew  tex ts   in   th d ataset.   Mo s u s er   r ev iews  in   th Mo b ile  J KN  ap p licatio n   ar r elativ ely   s h o r an d   co n tain   lim ited   co n tex tu al  in f o r m a tio n .   I n   s u ch   ca s es,  T F - I DF  r ep r esen tatio n s   ar ef f ec tiv in   h ig h lig h tin g   d is cr im in ativ k e y wo r d s   ass o ciat ed   with   s en tim en t,   wh ich   b e n ef its   ML P - b ased   class if ier s   d e s p ite  th eir   s im p le r   ar ch itectu r e.   On   th o th er   h a n d ,   L STM   m o d els  r ely   o n   s eq u en tial  in f o r m atio n   an d   d is tr ib u ted   wo r d   r ep r esen tatio n s .   Alth o u g h   th is   ap p r o a ch   m ay   n o m ax im ize  o v er all   ac cu r ac y   o n   s h o r tex ts ,   it  en ab les  th e   m o d el  to   b etter   ca p tu r s u b tle   s em an tic  p atter n s ,   p ar ticu lar ly   f o r   m in o r ity   class es  s u ch   as   n eu tr al  s en tim en t.   T h is   ex p lain s   wh y   L STM   A   ac h iev e d   h ig h er   r ec all  an d   p r ec is io n   v al u es,  ev en   t h o u g h   its   ac cu r ac y   was lo wer   th a n   th at  o f   th ML P m o d els.   T h ese  f in d in g s   h ig h lig h t r ad e - o f f   b etwe en   ac h iev i n g   h ig h   o v e r all  ac cu r ac y   a n d   e f f ec tiv ely   id en tify in g   u n d er r ep r esen ted   s en tim en class e s .   T h er e f o r e,   th ch o ice  o f   m o d el  s h o u l d   b alig n ed   with   th e   ap p licatio n   o b jectiv e.   Fo r   lar g e - s ca le  s en tim en m o n ito r in g   wh er ac c u r ac y   is   p r io r itize d ,   ML m o d els  ar e   m o r s u itab le.   Ho wev er ,   f o r   a p p licatio n s   th at  r eq u ir d ee p er   an aly s is   o f   n eu tr al  o r   am b ig u o u s   u s e r   f ee d b ac k ,   L STM - b ased   m o d els m ay   o f f e r   ad d itio n al  a d v an tag es.       T ab le  4 .   Av e r ag s co r e     M LP A   M LP  B   LSTM   A   LSTM   B   A c c u r a c y   83 . 6 3   ±   0 . 2 8 %   83 . 9 0   ±   0 . 1 8 %   73 . 26   ±   0 . 6 9 %   73 . 4 8   ±   0 . 9 0 %   P r e c i s i o n   61 . 4 0 %   61 . 6 0 %   64 . 2 7 %   61 . 9 8 %   R e c a l l   60 . 5 5 %   60 . 2 7 %   67 . 3 1 %   63 . 3 4 %   F1   60 . 6 2 %   60 . 4 6 %   61 . 4 8 %   60 . 0 0 %       3. 3 .   St a t is t ica s ig nifica nce  t esting   T o   d eter m in wh et h er   t h o b s er v ed   p er f o r m an ce   d if f e r e n ce s   wer s tatis tically   m ea n in g f u l,   we   co n d u cte d   W ilco x o n   s ig n ed - r an k   test s   co m p ar i n g   th e   m o d els.  T h is   test   is   s u itab le  f o r   co m p ar i n g   p air ed   s am p les,  s u ch   as e v alu atio n   s co r es f r o m   c r o s s - v alid atio n   r esu l ts .   T h f ir s t set o f   test s   was  co n d u cte d   u s in g   th e   ac cu r ac y   s co r es  o b tain e d   f r o m   ea ch   o f   t h f iv e   f o l d s .   T h e   ev alu atio n   was  co n d u cted   i n   th r ee   s tag es.  First,    we  co m p ar ed   th two   ML m o d els  ( ML P   v s   ML P   B )   to   ass es s   wh eth er   th ad d itio n al  h id d en   lay er   in   ML P_ B   led   to   s ig n if ican t   p er f o r m a n ce   g ain .   Seco n d ,   we   co m p a r ed   th two   L STM   m o d els  ( L STM   A   v s   L STM   B )   to   ev alu ate  wh eth er   th d ee p er   L STM   B   o u tp er f o r m ed   th s im p ler   L STM   A .   Fin ally ,   th b est - p er f o r m in g   m o d el  f r o m   ea ch   g r o u p MLP   B   an d   L STM   B was  co m p ar e d   to   d eter m in in g   wh ich   ar ch itectu r e   o f f er ed   b etter   o v er all  p er f o r m an ce   in   s en tim en t c lass if icatio n .   T h r esu lts   ar p r esen ted   in   T ab le  5 .   As  s h o wn   in   T ab le  5 ,   th d if f er en ce s   b etwe en   m o d el  an d   m o d el  B   with in   th s am a r ch itectu r f am ily   wer n o s tatis tically   s ig n if ican t,  as  b o th   p - v alu es   ( 0 . 4 3 7 5   a n d   0 . 8 1 2 5 )   wer ab o v th s tan d a r d   th r esh o ld   o f   0 . 0 5 .   T h is   in d ic ates  th at  ad d in g   ad d itio n al  lay er s   o r   co m p lex ity   in   th B   v ar ian ts   d id   n o co n s is ten tly   im p r o v m o d el  p er f o r m a n ce   ac r o s s   th f o ld s .   T h co m p ar is o n   b etwe en   t h e   b est  ML m o d el  ( ML P   B )   an d   th e   b est  L STM   m o d el   ( L STM   B )   r es u lted   in   p - v alu e   o f   0 . 0 6 2 5 ,   w h ich   is   s lig h tly   ab o v e   th 0 . 0 5   th r esh o ld .   Alth o u g h   th is   r esu lt  is   n o t   s tatis t ically   s ig n if ican t,  it  i s   cl o s to   th b o u n d a r y ,   s u g g esti n g   th at  ML P   B   m ay   h av b etter   p er f o r m a n ce   th an   L STM   B .   W ith   a   lar g er   d atase o r   m o r v alid atio n   f o ld s ,   th is   d if f er en ce   m ig h r ea ch   s tatis ti ca s ig n if ican ce   in   f u tu r r esear c h .     Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 5 0 2 - 4 7 5 2   I n d o n esian   J   E lec  E n g   &   C o m p   Sci Vo l.  42 ,   No .   3 ,   J u n e   20 2 6 :   8 1 8 - 82 6   824   T ab le  5 .   T h r esu lt u s in g   w ilc o x o n   si g n ed - r a n k   t est   C o m p a r i so n   p - v a l u e   S i g n i f i c a n t   M LP A   v M LP   B   0 . 4 3 7 5   No   LSTM   A   v s   LST M   B   0 . 8 1 2 5   No   M LP  B   v s L S TM   B   0 . 0 6 2 5   No         4.   CO NCLU SI O N   T h is   s tu d y   co m p a r ed   th e   p er f o r m an ce   o f   ML an d   L STM   m o d els  f o r   s en tim en class if icatio n   o n   u s er   r ev iews  o f   th Mo b ile  J KN  ap p .   T h r esu lts   s h o wed   t h at  ML m o d els  u s in g   T F - I DF  f ea tu r es  ac h iev ed   h ig h er   o v e r all  class if icatio n   a cc u r ac y ,   wh ile  L STM   m o d els  with   W o r d 2 Vec   e m b ed d in g s   d em o n s tr ated   b etter   p r ec is io n   an d   r ec all,   p ar ticu l ar ly   f o r   n eu tr al  s en tim en t.   Ho wev er ,   s tatis tical  test in g   u s in g   th e   W ilco x o n   s ig n ed - r an k   test   in d icate d   th at  th o b s er v ed   p er f o r m a n ce   d if f er en ce s   wer n o s tatis t ically   s ig n if ican t.    T h ese  f in d in g s   s u g g est th at  b o th   ML P a n d   L STM   ap p r o ac h e s   ar co m p ar ab ly   v iab le  f o r   s e n tim en t a n aly s is   o f   s h o r t u s er - g e n er ated   tex t i n   th i s   ap p licatio n   co n tex t.   F o r   f u tu r wo r k ,   m o r e   ad v a n ce d   f ea t u r r ep r esen tatio n s   s u ch   as  co n tex tu al  w o r d   e m b ed d in g s     ( e. g . ,   I n d o B E R T )   ca n   b e x p l o r ed   t o   b etter   ca p tu r s em an t ic  in f o r m atio n   i n   s h o r an d   a m b ig u o u s   r ev iews.     I n   ad d itio n ,   alter n ativ tech n i q u es  f o r   h a n d lin g   class   im b a la n ce ,   s u ch   as  s y n th etic  o v er s am p lin g   m eth o d s ,   m ay   b in v esti g ated   to   im p r o v m in o r ity   class   r ec o g n itio n .   Fin ally ,   ex p an d i n g   th d ataset  o r   in co r p o r atin g   m o d el  in ter p r etab ilit y   an aly s is   co u ld   p r o v id d ee p er   i n s ig h ts   an d   p o ten tially   lead   to   m o r s tatis tically   s ig n if ican t p er f o r m an ce   d if f er en ce s .       F UNDING   I NF O R M A T I O N   T h is   r esear ch   was  s u p p o r ted   b y   Satu   Un iv er s ity   an d   B in u s   Un iv er s ity ,   b o th   o f   wh ich   ar p a r o f   B in u s   Hig h er   E d u ca tio n .   T h au th o r s   ac k n o wled g t h in s titu tio n al  s u p p o r t p r o v id e d   d u r in g   th is   s tu d y .       AUTHO CO NT RI B UT I O NS ST A T E M E N T   T h is   jo u r n al  u s es  th C o n tr ib u to r   R o les  T ax o n o m y   ( C R ed iT)   to   r ec o g n ize  in d iv id u al  au th o r   co n tr ib u tio n s ,   r ed u ce   au th o r s h ip   d is p u tes,  an d   f ac ilit ate  co llab o r atio n .     Na m o f   Aut ho r   C   M   So   Va   Fo   I   R   D   O   E   Vi   Su   P   Fu   Gh an im   Kan u g r ah an                               W in   C e                               Vito   Haf izh   C ah ay Pu tr a                               Yu d i Ram d h an i                               Feb r iy an ti Pan jaitan                                 C     C o n c e p t u a l i z a t i o n   M     M e t h o d o l o g y   So     So f t w a r e   Va     Va l i d a t i o n   Fo     Fo r mal   a n a l y s i s   I     I n v e s t i g a t i o n   R     R e so u r c e s   D   :   D a t a   C u r a t i o n   O   :   W r i t i n g   -   O r i g i n a l   D r a f t   E   :   W r i t i n g   -   R e v i e w   &   E d i t i n g   Vi     Vi su a l i z a t i o n   Su     Su p e r v i s i o n   P     P r o j e c t   a d mi n i st r a t i o n   Fu     Fu n d i n g   a c q u i si t i o n         CO NF L I C T   O F   I N T E R E S T   ST A T E M E NT   T h au th o r s   s tate  n o   co n f lict o f   in ter est.       DATA AV AI L AB I L I T Y   T h d ata   th at  s u p p o r t   th f in d i n g s   o f   th is   s tu d y   ar e   av ailab le  f r o m   t h c o r r esp o n d in g   au th o r ,   W in   C e,   u p o n   r ea s o n ab le  r eq u est.       RE F E R E NC E S   [ 1 ]   S .   G u n a t h i l a k a   a n d   N .   D e   S i l v a ,   A sp e c t - b a se d   se n t i m e n t   a n a l y si s   o n   m o b i l e   a p p l i c a t i o n   r e v i e w s,   i n   2 0 2 2   2 2 n d     I n t e r n a t i o n a l   C o n f e r e n c e   o n   Ad v a n c e s   i n   I C T   f o Em e r g i n g   Re g i o n ( I C T e r) ,   I EEE,   N o v .   2 0 2 2 ,   p p .   1 8 3 - 1 8 8 .     d o i :   1 0 . 1 1 0 9 / I C Te r 5 8 0 6 3 . 2 0 2 2 . 1 0 0 2 4 0 7 0 .   [ 2 ]   A .   S u b b a r a o ,   A .   S i d d i k a ,   M .   A .   F a t h u l l a h ,   a n d   M .   A .   B i n   S a n w a n i ,   Th e   r o l e   o f   mo b i l e   a p p l i c a t i o n i n   sh a p i n g   d i g i t a l   t r a n sf o r ma t i o n   i n   h i g h e r   e d u c a t i o n   a mo n g   g e n e r a t i o n   i :   a   b i b l i o g r a p h i c   st u d y ,   I n f o rm a t i o n ,   v o l .   1 6 ,   n o .   1 2 ,   p .   1 0 2 6 ,   N o v .   2 0 2 5 ,   d o i :   1 0 . 3 3 9 0 / i n f o 1 6 1 2 1 0 2 6 .   Evaluation Warning : The document was created with Spire.PDF for Python.
I n d o n esian   J   E lec  E n g   &   C o m p   Sci     I SS N:   2502 - 4 7 5 2       S ta tis tica l c o mp a r is o n   o f MLP  a n d   LS TM   fo r   mo b ile   h e a lth   s en timen t a n a lysi s   ( Gh a n im  K a n u g r a h a n )   825   [ 3 ]   J.  Jo s e p h ,   S .   V i n e e t h a ,   a n d   N .   V .   S o b h a n a ,   A   su r v e y   o n   d e e p   l e a r n i n g   b a s e d   s e n t i m e n t   a n a l y si s,   M a t e ri a l T o d a y :   Pr o c e e d i n g s v o l .   5 8 ,   p p .   4 5 6 4 6 0 ,   2 0 2 2 ,   d o i :   1 0 . 1 0 1 6 / j . ma t p r . 2 0 2 2 . 0 2 . 4 8 3 .   [ 4 ]   K .   T .   S h a n d a n a ,   A .   A m i n u d d i n ,   E .   H .   S a p u t r a ,   F .   F .   A b d u l l o h ,   M .   R a h a r d i ,   a n d   B .   P .   A s a d d u l l o h ,   S e n t i m e n t   a n a l y s i s   o f   g o o g l e   c l a s s r o o m   a p p l i c a t i o n   u s i n g   m a c h i n e   l e a r n i n g   t e c h n i q u e s ,   i n   2 0 2 3   I n t e r n a t i o n a l   C o n f e r e n c e   o n   A d v a n c e d   M e c h a t r o n i c s ,   I n t e l l i g e n t   M a n u f a c t u r e   a n d   I n d u s t r i a l   A u t o m a t i o n   ( I C A M I M I A ) ,   I E E E ,   N o v .   2 0 2 3 ,   p p .   9 5 4 - 9 5 9 .   d o i :   1 0 . 1 1 0 9 / I C A M I M I A 6 0 8 8 1 . 2 0 2 3 . 1 0 4 2 7 7 0 6 .   [ 5 ]   N .   I .   Le st a r i ,   S .   M .   T a i b ,   W .   W i b o w o ,   I .   A .   A z i z ,   a n d   M .   R .   H a b i b i ,   A s p e c t - b a se d   se n t i m e n t   a n a l y s i f o r   m o b i l e   a p p   r e v i e w   u si n g   c o n v o l u t i o n a l   n e u r a l   n e t w o r k   ( C N N )   a n d   W o r d 2 V e c ,   i n   2 0 2 4   I EEE  7 t h   I n t e r n a t i o n a l   C o n f e re n c e   o n   El e c t ri c a l ,   El e c t r o n i c s   a n d   S y s t e m   E n g i n e e ri n g   ( I C EE S E) ,   I EEE,   N o v .   2 0 2 4 ,   p p .   1 6 .   d o i :   1 0 . 1 1 0 9 / I C EESE 6 2 3 1 5 . 2 0 2 4 . 1 0 8 2 8 5 4 1 .   [ 6 ]   A .   A ma l i a ,   D .   G u n a w a n ,   a n d   K .   N a su t i o n ,   S e n t i m e n t   a n a l y si o f   G O - J EK   ser v i c e q u a l i t y   u s i n g   mu l t i - l a b e l   c l a ss i f i c a t i o n ,   J o u rn a l   o f   Ph y si c s:   C o n f e re n c e   S e ri e s ,   v o l .   1 8 3 0 ,   n o .   1 ,   p .   0 1 2 0 0 3 ,   A p r .   2 0 2 1 ,   d o i :   1 0 . 1 0 8 8 / 1 7 4 2 - 6 5 9 6 / 1 8 3 0 / 1 / 0 1 2 0 0 3 .   [ 7 ]   T.   M e s c h e r ,   R .   L.   H a c k e r ,   L .   A .   M a r t i n e z ,   C .   D .   M o r r i s ,   M .   C .   M i s h k i n d ,   a n d   C .   E .   G a r v e r - A p g a r ,   M o b i l e   h e a l t h   a p p s:   g u i d a n c e   f o r   e v a l u a t i o n   a n d   i mp l e m e n t a t i o n   b y   h e a l t h c a r e   w o r k e r s ,   J o u r n a l   o f   T e c h n o l o g y   i n   B e h a v i o ra l   S c i e n c e ,   v o l .   1 0 ,   n o .   2 ,     p p .   2 2 4 - 2 3 5 ,   S e p .   2 0 2 5 ,   d o i :   1 0 . 1 0 0 7 / s4 1 3 4 7 - 0 2 4 - 0 0 4 4 1 - 7.   [ 8 ]   K a r t i n i ,   A .   K .   D a r maw a n ,   R .   I .   S y a h ,   a n d   M .   M a k r u f ,   S e n t i me n t   a n a l y si s   o f   so c i a l   m e d i a   f o r   i n d o n e si a n   m - he a l t h   P e d u l i Li n d u n g i   mo b i l e - a p p s( P L M A )   w i t h   l e x i c o n - b a s e d   a n d   su p p o r t   v e c t o r   ma c h i n e   a p p r o a c h ,   i n   2 0 2 3   I EE E   9 t h   I n f o rm a t i o n   T e c h n o l o g y   I n t e rn a t i o n a l   S e m i n a r (I T I S ) ,   I EEE,   O c t .   2 0 2 3 ,   p p .   1 - 7 .   d o i :   1 0 . 1 1 0 9 / I TI S 5 9 6 5 1 . 2 0 2 3 . 1 0 4 1 9 9 9 4 .   [ 9 ]   M .   H a o u e s,   R .   M o k n i ,   a n d   A .   S e l l a mi ,   M a c h i n e   l e a r n i n g   f o r   mH e a l t h   a p p s   q u a l i t y   e v a l u a t i o n :   a a p p r o a c h   b a se d   o n   u s e r   f e e d b a c k   a n a l y s i s,   S o f t w a re  Q u a l i t y   J o u rn a l ,   v o l .   3 1 ,   n o .   4 ,   p p .   1 1 7 9 1 2 0 9 ,   D e c .   2 0 2 3 ,   d o i :   1 0 . 1 0 0 7 / s 1 1 2 1 9 - 023 - 0 9 6 3 0 - 8.   [ 1 0 ]   F .   A l k h u z a i mi ,   D .   R a i n e y ,   C .   B r o w n   W i l so n ,   a n d   J.   B l o o mf i e l d ,   T h e   i m p a c t   o f   m o b i l e   h e a l t h   i n t e r v e n t i o n s   o n   s e r v i c e   u sers   h e a l t h   o u t c o m e a n d   t h e   r o l e   o f   h e a l t h   p r o f e ss i o n s :   a   sy s t e m a t i c   r e v i e w   o f   sy s t e mat i c   r e v i e w s ,   B MC   D i g i t a l   H e a l t h ,   v o l .   3 ,     n o .   1 ,   p .   3 ,   F e b .   2 0 2 5 ,   d o i :   1 0 . 1 1 8 6 / s 4 4 2 4 7 - 0 2 4 - 0 0 1 4 3 - 3.   [ 1 1 ]   G .   Ta mam i ,   W .   A .   Tr i y a n t o ,   a n d   S .   M u z i d ,   S e n t i me n t   a n a l y si s   m o b i l e   J K N   r e v i e w u si n g   S M O TE   ba s e d   LST M ,   I J C C S   ( I n d o n e si a n   J o u rn a l   o f   C o m p u t i n g   a n d   C y b e r n e t i c S y st e m s) ,   v o l .   1 9 ,   n o .   1 ,   p .   1 3 ,   Ja n .   2 0 2 5 ,   d o i :   1 0 . 2 2 1 4 6 / i j c c s. 1 0 1 9 1 0 .   [ 1 2 ]   E.   S e p t i a n i ,   T.   M .   A k h r i z a ,   a n d   M .   H u s n i ,   C o m p a r i so n   o f   t h e   a c c u r a c y   b e t w e e n   n a i v e   b a y e s   c l a ss i f i e r   a n d   s u p p o r t   v e c t o r   mac h i n e   a l g o r i t h m f o r   se n t i m e n t   a n a l y s i s   i n   mo b i l e   J K N   a p p l i c a t i o n   r e v i e w s,   T ra n s a c t i o n s   o n   I n f o rm a t i c s   a n d   D a t a   S c i e n c e v o l .   1 ,   n o .   1 ,   p p .   2 1 3 2 ,   A p r .   2 0 2 4 ,   d o i :   1 0 . 2 4 0 9 0 / t i d s . v 1 i 1 . 1 2 2 3 2 .   [ 1 3 ]   A .   A .   Q u r e s h i ,   M .   A h m a d ,   S .   U l l a h ,   M .   N .   Y a si r ,   F .   R u st a m,  a n d   I .   A sh r a f ,   P e r f o r ma n c e   e v a l u a t i o n   o f   ma c h i n e   l e a r n i n g   mo d e l s   o n   l a r g e   d a t a se t   o f   a n d r o i d   a p p l i c a t i o n r e v i e w s,   Mu l t i m e d i a   T o o l s   a n d   A p p l i c a t i o n s ,   v o l .   8 2 ,   n o .   2 4 ,   p p .   3 7 1 9 7 3 7 2 1 9 ,     O c t .   2 0 2 3 ,   d o i :   1 0 . 1 0 0 7 / s 1 1 0 4 2 - 0 2 3 - 1 4 7 1 3 - 6.   [ 1 4 ]   M .   I r sad   a n d   A .   K h a r e ,   S e n t i me n t   c l a ssi f i c a t i o n   o n   m o b i l e   r e v i e w   u si n g   e x t r a c t i o n   o f   se n t i m e n t   c o n v e y i n g   se n t e n c e s ,   J o u rn a l   o f   I n f o rm a t i c s E l e c t ri c a l   a n d   El e c t ro n i c s E n g i n e e ri n g   ( J I E EE) ,   v o l .   5 ,   n o .   2 ,   p p .   1 8 ,   2 0 2 4 ,   d o i :   1 0 . 5 4 0 6 0 / a 2 z j o u r n a l s. j i e e e . 1 1 6 .   [ 1 5 ]   S .   A h a m ma d ,   S .   A .   S i n t h i a ,   M .   A h m e d ,   M .   H o ss a i n ,   N .   A .   A .   A s i f ,   a n d   N .   A .   I k r a m,  D e e p   l e a r n i n g - b a s e d   se n t i me n t   a n a l y si o f   u ser  g e n e r a t e d   r e v i e w o f   v a r i o u A I   p o w e r e d   mo b i l e   a p p l i c a t i o n s ,   i n   2 0 2 4   I n t e r n a t i o n a l   C o n f e re n c e   o n   I n v e n t i v e   C o m p u t a t i o n   T e c h n o l o g i e s   ( I C I C T ) ,   I EEE,   A p r .   2 0 2 4 ,   p p .   5 0 5 5 1 2 .   d o i :   1 0 . 1 1 0 9 / I C I C T6 0 1 5 5 . 2 0 2 4 . 1 0 5 4 4 6 9 9 .   [ 1 6 ]   P .   R .   H e n a o ,   J.  F i s c h b a c h ,   D .   S p i e s,  J .   F r a t t i n i ,   a n d   A .   V o g e l sa n g ,   Tr a n sf e r   l e a r n i n g   f o r   mi n i n g   f e a t u r e   r e q u e st s   a n d   b u g   r e p o r t s   f r o t w e e t s   a n d   a p p   st o r e   r e v i e w s ,   i n   2 0 2 1   I EEE   2 9 t h   I n t e r n a t i o n a l   R e q u i reme n t s   E n g i n e e r i n g   C o n f e r e n c e   Wo rksh o p ( RE W) I EEE,   S e p .   2 0 2 1 ,   p p .   8 0 8 6 .   d o i :   1 0 . 1 1 0 9 / R EW 5 3 9 5 5 . 2 0 2 1 . 0 0 0 1 9 .   [ 1 7 ]   K .   S .   N u g r o h o ,   A .   Y .   S u k ma d e w a ,   H .   W u sw i l a h a k e n   D w ,   F .   A .   B a c h t i a r ,   a n d   N .   Y u d i s t i r a ,   B E R f i n e - t u n i n g   f o r   s e n t i m e n t   a n a l y si o n   I n d o n e s i a n   m o b i l e   a p p r e v i e w s ,   i n   Pr o c e e d i n g o f   t h e   6 t h   i n t e r n a t i o n a l   c o n f e re n c e   o n   su st a i n a b l e   i n f o rm a t i o n   e n g i n e e ri n g   a n d   t e c h n o l o g y ,   N e w   Y o r k ,   N Y ,   U S A :   A C M ,   S e p .   2 0 2 1 ,   p p .   2 5 8 2 6 4 .   d o i :   1 0 . 1 1 4 5 / 3 4 7 9 6 4 5 . 3 4 7 9 6 7 9 .   [ 1 8 ]   A .   N u r f i k r i ,   S e n t i m e n t   a n a l y s i t e l e me d i c i n e   a p p r e v i e w u s i n g   N V I V O ,   i n   T h e   5 t h   I n t e r n a t i o n a l   C o n f e r e n c e   o n   V o c a t i o n a l   E d u c a t i o n   A p p l i e d   S c i e n c e   a n d   T e c h n o l o g y   2 0 2 2 ,   B a s e l   S w i t z e r l a n d :   M D P I ,   D e c .   2 0 2 2 ,   p .   4 .   d o i :   1 0 . 3 3 9 0 / p r o c e e d i n g s 2 0 2 2 0 8 3 0 0 4 .   [ 1 9 ]   J.  H o u   a n d   A .   Zh u ,   I d e n t i f i c a t i o n   o f   u s e f u l n e ss  f o r   o n l i n e   r e v i e w s   b a se d   o n   g r o u n d e d   t h e o r y   a n d   m u l t i l a y e r   p e r c e p t r o n   n e u r a l   n e t w o r k ,   A p p l i e d   S c i e n c e s ,   v o l .   1 3 ,   n o .   9 ,   p .   5 3 2 1 ,   A p r .   2 0 2 3 ,   d o i :   1 0 . 3 3 9 0 / a p p 1 3 0 9 5 3 2 1 .   [ 2 0 ]   T.   S h a r ma  a n d   K .   K a u r ,   B e n c h mar k i n g   d e e p   l e a r n i n g   m e t h o d f o r   a s p e c t   l e v e l   se n t i me n t   c l a ssi f i c a t i o n ,   A p p l i e d   S c i e n c e s   v o l .   1 1 ,   n o .   2 2 ,   p .   1 0 5 4 2 ,   N o v .   2 0 2 1 ,   d o i :   1 0 . 3 3 9 0 / a p p 1 1 2 2 1 0 5 4 2 .   [ 2 1 ]   M .   Q .   H .   O c t a v a ,   D .   G .   P r a se t y o   P u t r i ,   F .   M .   H i l m y ,   U .   F a r o o q ,   R .   A .   N u r h a l i z a ,   a n d   A .   G a n j a r ,   W e b - b a se d   s e n t i me n t   a n a l y s i s   sy st e U si n g   S V M   a n d   TF - I D F   w i t h   st a t i st i c a l   f e a t u r e ,   i n   2 0 2 3   I n t e r n a t i o n a l   C o n f e r e n c e   o n   I n n o v a t i o n   a n d   I n t e l l i g e n c e   f o r   I n f o rm a t i c s,  C o m p u t i n g ,   a n d   T e c h n o l o g i e s ,   3 I C T   2 0 2 3 ,   I EEE,   N o v .   2 0 2 3 ,   p p .   9 1 4 .   d o i :   1 0 . 1 1 0 9 / 3 I C T6 0 1 0 4 . 2 0 2 3 . 1 0 3 9 1 7 3 4 .   [ 2 2 ]   M .   B i r j a l i ,   M .   K a sr i ,   a n d   A .   B e n i - H s san e ,   A   c o m p r e h e n si v e   s u r v e y   o n   s e n t i m e n t   a n a l y si s :   a p p r o a c h e s ,   c h a l l e n g e a n d   t r e n d s,   K n o w l e d g e - B a se d   S y s t e m s ,   v o l .   2 2 6 ,   p .   1 0 7 1 3 4 ,   A u g .   2 0 2 1 ,   d o i :   1 0 . 1 0 1 6 / j . k n o s y s. 2 0 2 1 . 1 0 7 1 3 4 .   [ 2 3 ]   S .   S i n g h ,   K .   K u mar ,   a n d   B .   K u m a r ,   S e n t i me n t   a n a l y si s   o f   Tw i t t e r   d a t a   u si n g   TF - I D F   a n d   m a c h i n e   l e a r n i n g   t e c h n i q u e s,     i n   2 0 2 2   I n t e r n a t i o n a l   C o n f e re n c e   o n   M a c h i n e   L e a rn i n g ,   Bi g   D a t a ,   C l o u d   a n d   P a r a l l e l   C o m p u t i n g   ( C O M - IT - C O N ) ,   I EEE,     M a y   2 0 2 2 ,   p p .   2 5 2 2 5 5 .   d o i :   1 0 . 1 1 0 9 / C O M - IT - C O N 5 4 6 0 1 . 2 0 2 2 . 9 8 5 0 4 7 7 .   [ 2 4 ]   A .   A l   R y a n ,   H .   D .   A r p i t a ,   A .   T a b a s s u m ,   M .   S .   A h a m m a d ,   a n d   M .   A .   A k r a m ,   c o m p a r a t i v e   a n a l y s i s   b e t w e e n   d e e p   l e a r n i n g   a n d   m a c h i n e   l e a r n i n g   a l g o r i t h m s   b a s e d   o n   u s e r   r e v i e w   s e n t i m e n t   a n a l y s i s   f r o m   v a r i o u s   O T T   ap p l i c a t i o n s ,   i n   2 0 2 4   I n t e r n a t i o n a l   C o n f e r e n c e   o n   C o m p u t e r ,   E l e c t r i c a l   &   C o m m u n i c a t i o n   E n g i n e e r i n g   ( I C C E C E ) ,   I E E E ,   F e b .   2 0 2 4 ,   p p .   1 7 .   d o i :   1 0 . 1 1 0 9 / I C C E C E 5 8 6 4 5 . 2 0 2 4 . 1 0 4 9 7 2 2 9 .   [ 2 5 ]   G .   M .   R a z a ,   Z.   S .   B u t t ,   S .   La t i f ,   a n d   A .   W a h i d ,   S e n t i me n t   an a l y si s   o n   C O V I D   t w e e t s:   a n   e x p e r i m e n t a l   a n a l y s i o n   t h e   i m p a c t   o f   c o u n t   v e c t o r i z e r   a n d   TF - I D F   o n   se n t i men t   p r e d i c t i o n u si n g   d e e p   l e a r n i n g   m o d e l s,   i n   2 0 2 1   I n t e rn a t i o n a l   c o n f e re n c e   o n   d i g i t a l   f u t u r e a n d   t r a n s f o rm a t i v e   t e c h n o l o g i e s (I C o D T 2 ) ,   I EEE,   M a y   2 0 2 1 ,   p p .   1 - 6 .   d o i :   1 0 . 1 1 0 9 / I C o D T 2 5 2 2 8 8 . 2 0 2 1 . 9 4 4 1 5 0 8 .   [ 2 6 ]   K .   L.   Ta n ,   C .   P .   L e e ,   a n d   K .   M .   Li m ,   su r v e y   o f   se n t i me n t   a n a l y si s :   a p p r o a c h e s,   d a t a set s,  a n d   f u t u r e   r e sea r c h ,     Ap p l i e d   S c i e n c e s ,   v o l .   1 3 ,   n o .   7 ,   p .   4 5 5 0 ,   A p r .   2 0 2 3 ,   d o i :   1 0 . 3 3 9 0 / a p p 1 3 0 7 4 5 5 0 .   [ 2 7 ]   R .   A .   M a n g n g a l l e ,   M .   D .   P u r b o l a k so n o ,   a n d   W .   A st u t i ,   S e n t i m e n t   a n a l y s i o f   L a z a d a   a p p   r e v i e w   u si n g   W o r d 2 V e c   a n d   s u p p o r t   v e c t o r   ma c h i n e ,   i n   2 0 2 3   3 r d   I n t e r n a t i o n a l   C o n f e re n c e   o n   I n t e l l i g e n t   C y b e rn e t i c T e c h n o l o g y   A p p l i c a t i o n s   ( I C I C y T A) ,   I EEE ,   D e c .   2 0 2 3 ,   p p .   1 8 2 1 8 7 .   d o i :   1 0 . 1 1 0 9 / I C I C y TA 6 0 1 7 3 . 2 0 2 3 . 1 0 4 2 8 7 7 1 .   [ 2 8 ]   H .   J i a n g ,   C .   H u ,   a n d   F .   J i a n g ,   T e x t   s e n t i m e n t   a n a l y s i s   o f   m o v i e   r e v i e w s   b a s e d   o n   W o r d 2 V e c - L S T M ,   i n   2 0 2 2   1 4 t h   I n t e r n a t i o n a l   c o n f e r e n c e   o n   a d v a n c e d   c o m p u t a t i o n a l   i n t e l l i g e n c e   ( I C A C I ) ,   I E E E ,   J u l .   2 0 2 2 ,   p p .   1 2 9 1 3 4 .   d o i :   1 0 . 1 1 0 9 / I C A C I 5 5 5 2 9 . 2 0 2 2 . 9 8 3 7 5 0 5 .   [ 2 9 ]   P .   F .   M u h a mm a d ,   R .   K u s u m a n i n g r u m ,   a n d   A .   W i b o w o ,   S e n t i me n t   a n a l y s i s   u s i ng  W o r d 2 v e c   a n d   l o n g   s h o r t - t e r m me m o r y   ( LS T M )   f o r   I n d o n e s i a n   H o t e l   r e v i e w s ,   Pr o c e d i a   C o m p u t e r   S c i e n c e ,   v o l .   1 7 9 ,   p p .   7 2 8 7 3 5 ,   2 0 2 1 ,   d o i :   1 0 . 1 0 1 6 / j . p r o c s . 2 0 2 1 . 0 1 . 0 6 1 .   [ 3 0 ]   J.  S h i n   e t   a l . E x p l o r i n g   t h e   e f f e c t i v e n e ss  o f   ma c h i n e   l e a r n i n g   a n d   d e e p   l e a r n i n g   a l g o r i t h ms   f o r   s e n t i m e n t   a n a l y si s :   a   s y st e ma t i c   l i t e r a t u r e   r e v i e w ,   C o m p u t e rs,  M a t e r i a l s   a n d   C o n t i n u a ,   v o l .   8 4 ,   n o .   3 ,   p p .   4 1 0 5 4 1 5 3 ,   2 0 2 5 ,   d o i :   1 0 . 3 2 6 0 4 / c mc . 2 0 2 5 . 0 6 6 9 1 0 .   [ 3 1 ]   A .   Li g t h a r t ,   C .   C a t a l ,   a n d   B .   Te k i n e r d o g a n ,   S y s t e ma t i c   r e v i e w i n   s e n t i me n t   a n a l y si s :   a   t e r t i a r y   st u d y ,     Art i f i c i a l   I n t e l l i g e n c e   Re v i e w ,   v o l .   5 4 ,   n o .   7 ,   p p .   4 9 9 7 5 0 5 3 ,   O c t .   2 0 2 1 ,   d o i :   1 0 . 1 0 0 7 / s 1 0 4 6 2 - 0 2 1 - 0 9 9 7 3 - 3.     Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 5 0 2 - 4 7 5 2   I n d o n esian   J   E lec  E n g   &   C o m p   Sci Vo l.  42 ,   No .   3 ,   J u n e   20 2 6 :   8 1 8 - 82 6   826   B I O G RAP H I E S O F   AUTH O RS       G h a n im   K a n u g r a h a n           G h a n im  Ka n u g ra h a n   re c e iv e d   h is  b a c h e lo r   d e g re e   in   c o m p u ter  sc ien c e   fr o m   Un iv e rsitas   Dia n   Nu sw a n t o ro   in   2 0 1 9 ,   a n d   h is  m a ste r d e g re e   in   i n fo rm a ti o n   tec h n o l o g y   fro m   Un iv e rsitas   In d o n e sia   in   2 0 2 1 .   His  m a in   a re a o f   e x p e rti se   i n c lu d e   d a ta   sc ien c e ,   s e n ti m e n a n a l y sis,  a n d   m a c h in e   lea rn in g .   He   is  c u rre n tl y   a   l e c tu re in   th e   in f o rm a ti c p ro g ra m   a S a tu   Un iv e rsity   Ba n d u n g ,   wh e re   h e   is  a c ti v e ly     in v o lv e d   in   tea c h in g ,   re se a rc h ,   a n d   c o m m u n it y   se rv ice .   He   c a n   b e   c o n tac ted   a e m a il :   g h a n im. k a n u g ra h a n @ u n i v . sa tu . a c . id .       Win   Ce           is  a n   a c a d e m ic  a n d   p ro fe ss io n a t h a h a v e   b e e n   a c ti v e   a a   lec tu re a BINU S   Un iv e rsity   a n d   S ATU  U n iv e rsit y ,   sp e c ifi c a ll y   with in   t h e   In fo rm a ti o n   S y ste m stu d y   p ro g ra m .   His  e x p e rien c e   is  n o t   l imited   to   a c a d e m ia;  h e   fre q u e n t l y   se rv e a a   sp e a k e a n d   e x p e rt  f o v a rio u c o m p a n i e s,  f u lfi ll i n g   a n   e x p e rt   ro le  in   t h e   i n d u str y .   Wi n   Ce ,   S .   Ko m . ,   M.M. s res e a rc h   in tere sts sp a n   se v e ra k e y   a re a s in   in f o rm a ti o n   tec h n o lo g y ,   in c lu d i n g   so f twa re   d e v e lo p m e n t,   m a c h in e   lea rn in g ,   d e c isio n   su p p o rt  sy ste m (DSS ),   a n d   in fo rm a ti o n   sy ste m s .     H e   c a n   b e   c o n tac ted   a e m a il w n @b in u s.e d u   a n d   win . c e @u n iv . sa tu . a c . id .       Vito   H a fizh  C a h a y a   Pu tr a           d e v e l o p e d   a n   i n tere st  in   I n fo rm a ti c th ro u g h     th e   Co m p u ter  a n d   Ro b o ti c e x tr a c u rricu lar  a c ti v it y   i n   2 0 1 1 .   He   th e n   p u rs u e d   a   b a c h e lo r d e g re e   in   in f o rm a ti c e n g i n e e rin g   a Un i v e rsitas   Wi d y a tam a   a n d   late c o m p lete d   h is   p o stg ra d u a te  st u d ies   a t   Un i v e rsitas   La n g lan g b u a n a .   He   is   c u rre n tl y   tea c h i n g   a Un i v e rsitas   S a tu   i n   t h e   I n fo rm a ti c p r o g ra m ,   c o v e rin g   s u b jec ts  s u c h   a o b jec t - o rien te d   p r o g ra m m in g ,   a lg o rit h m s,  Io T,   a n d   we b   p ro g ra m m in g .   His  re se a rc h   i n tere sts  a re   fo c u se d   o n   a rti ficia l   in telli g e n c e   (AI) ,   m a c h in e   l e a rn in g ,   n a t u ra lan g u a g e   p ro c e ss in g ,   a n d   th e   I o T .   H e   c a n   b e   c o n tac ted   a e m a il v i to . p u tra@u n iv . sa tu . a c . i d .       Yud Ra m d h a n i           is  a   lec tu re a n d   re se a rc h e a S a t u   Un iv e rsity   i n   t h e   In f o rm a ti o n   S y ste m S tu d y   P r o g ra m .   He   h o ld a   m a ste r d e g re e   in   c o m p u ter  sc ien c e   a n d   h a fo c u se d   h is   re se a rc h   o n   d a ta  m in i n g ,   d a ta  sc ien c e ,   a n d   d e c isio n   su p p o rt   sy st e m s .   Wi th   se v e ra y e a rs  o f   e x p e rien c e   in   b o th   tea c h i n g   a n d   re se a rc h ,   h e   h a b e e n   a c ti v e ly   i n v o lv e d   in   d e v e l o p i n g     d a ta - d riv e n   a c a d e m ic  p r o jec ts   a n d   i n n o v a ti v e   c u rricu l u m   d e si g n .   He   h a p u b li sh e d   re se a rc h   p a p e rs  in   re p u tab le  j o u r n a ls  a n d   re g u larl y   c o n tri b u tes   to   a c a d e m ic  fo ru m a n d   se m in a rs .     H e   c a n   b e   c o n tac ted   a e m a il y u d i. ra m d h a n i@ u n i v . sa tu . a c . i d .       Febriy a n t Pa n ja it a n           e a rn e d   h e d o c t o ra d e g re e   fro m   th e   F a c u lt y   o En g i n e e rin g ,   Un i v e rsitas   S riwij a y a ,   with   a   c o n c e n trati o n   in   I n fo r m a ti c En g in e e rin g ,   i n   2 0 2 3 .   He m a in   a re a o e x p e rti se   in c l u d e   d a ta  sc ien c e ,   m a c h in e   lea rn i n g ,   a n d   d e e p   lea rn in g ,   with   a   re se a rc h   fo c u o n   d e v e l o p i n g   AI   m o d e ls  f o c o m p le x   d a ta  a n a ly s is.  S h e   is  a   lec tu re i n   t h e   In fo rm a ti c En g in e e rin g   P r o g ra m   F a c u lt y   o Cre a ti v e   Tec h n o lo g y   a S a tu   Un i v e rsity ,   a n d   sh e   is  a c ti v e ly   in v o lv e d   in   tea c h in g ,   re se a r c h ,   a n d   c o m m u n it y   se rv ic e .   Sh e   c a n   b e   c o n tac ted   a e m a il p e b rian ti . p a n jaita n @u n iv . s a tu . a c . id .     Evaluation Warning : The document was created with Spire.PDF for Python.