I AE S In t er na t io na l J o urna l o f   Art if icia l In t ellig ence   ( I J - AI )   Vo l.   15 ,   No .   5 ,  Octo b er   2 0 2 6 ,   p p .   4 3 8 1 ~ 4 3 9 1   I SS N:  2 2 5 2 - 8 9 3 8 ,   DOI : 1 0 . 1 1 5 9 1 /ijai.v 15 .i 5 . p p 4 3 8 1 - 4 3 9 1           4381       J o ur na l ho m ep a g e :  h ttp : //ij a i . ia esco r e. co m   Stacking  ensembl e f o r mul tilingua l  as pect - ba sed  sent iment  a na ly sis  of t o urism  reviews       B a s wo ro   Ardi  P ra m o no 1, 2 ,   R a hm a t   G er no w o 2 ,   Ag hu s   So f wa n 3   1 D e p a r t me n t   o f   I n f o r mat i c s   E n g i n e e r i n g ,   F a c u l t y   o f   I n f o r ma t i o n   a n d   C o m m u n i c a t i o n   Te c h n o l o g y ,   U n i v e r si t a s Se maran g ,     S e mara n g ,   I n d o n e si a   2 D o c t o r   o f   I n f o r ma t i o n   S y st e ms,  G r a d u a t e   S c h o o l ,   U n i v e r si t a s D i p o n e g o r o ,   S e mara n g ,   I n d o n e si a   3 D e p a r t me n t   o f   El e c t r i c a l   En g i n e e r i n g ,   F a c u l t y   o f   E n g i n e e r i n g ,   U n i v e r si t a s  D i p o n e g o r o ,   S e mara n g ,   I n d o n e s i a       Art icle  I nfo     AB S T RAC T   A r ticle  his to r y:   R ec eiv ed   J u n   7 ,  2025   R ev is ed   Au g   4 ,  2 0 2 6   Acc ep ted   Au g   12 ,  2 0 2 6       M u lt il in g u a l  t o u r ism   re v iew s  o ften   e x p re ss   o p in i o n s  a b o u t   m u lt ip le   d e stin a ti o n   a tt rib u tes   wit h i n   a   s in g le   tex t ,   m a k i n g   a sp e c t - lev e l   se n ti m e n t  c las sifica ti o n   c h a ll e n g in g .   T h is  s tu d y   c o m p a re s  c las sic a l  m a c h in e   lea rn in g   a n d   e n se m b le  m e th o d s   fo r   m u lt il a b e l  a sp e c t - b a se d   se n t ime n t  a n a ly sis  o f   a m e n it ies ,   a tt ra c ti o n s,   a n d   a c c e ss ib il it y .   T h e   d a tas e t  c o m p ris e s  1 3 , 0 8 5   In d o n e sia n -   a n d   E n g li sh - lan g u a g e   G o o g le  Re v iew s  lab e led   th r o u g h   a   ru le - b a se d   p r o c e d u re .   Re v iew s  we re   re p re se n ted   u si n g   term   fre q u e n c y - in v e rs e   d o c u m e n t   f re q u e n c y   fe a tu re s  a n d   c las sified   u sin g   lo g isti c   r e g re ss io n ,   m u lt in o m ial  n a i v e   Ba y e s,   ra n d o m   fo re st ,   so ft   v o ti n g ,   a d a p ti v e   b o o stin g   ( Ad a Bo o st ) ,   a n d   sta c k in g   u n d e r  a   one - vs - re st  fra m e wo rk .   Th e   sta c k in g   c las sifier  c o m b in e d   lo g isti c   re g r e ss io n   a n d   ra n d o m   fo re st  a s  b a s e   lea rn e rs   with   lo g isti c   re g re ss io n   a s  th e   m e ta - lea rn e r.   It  a c h iev e d   t h e   b e st  p e rfo rm a n c e   a m o n g   th e   e v a l u a ted   m o d e ls,  with   a   m icro - F 1   o f  0 . 8 6 2 6 ,   m a c ro - F 1   o f   0 . 7 2 8 5 ,   Ha m m in g   l o ss   o f  0 . 0 6 3 3 ,   a n d   su b se t  a c c u ra c y   o f  0 . 6 8 2 5 .   Th e se   fin d i n g s   i n d ica te  t h a t  sta c k i n g   e ff e c ti v e ly   i n teg ra tes   c o m p lem e n tary   d e c isio n   p a tt e rn s  a n d   p ro v id e s  a   re p ro d u c ib le  fra m e wo rk   f o r  m u lt il i n g u a l  m u lt il a b e l   a n a ly sis o f  to u rism   re v iew s.   K ey w o r d s :   A m e n i t i e s ,   a t t r a c t i o n s ,   a c c e s s i b i l i t y   Asp ec t - b ased   s en tim en t a n aly s is   Mu ltil ab el  class if icatio n   Mu ltil in g u al  to u r is m   r e v iews    Stack in g   en s em b le    T h is i s  a n   o p e n   a c c e ss   a rticle   u n d e r th e   CC B Y - SA   li c e n se .     C o r r e s p o nd ing   A uth o r :   B aswo r o   Ar d i Pr am o n o   Dep ar tm en t o f   I n f o r m atics E n g in ee r in g ,   Facu lty   o f   I n f o r m at io n   an d   C o m m u n icatio n   T ec h n o lo g y   Un iv er s itas   Sem ar an g   St.  So ek ar n o - Hatta,   Sem ar a n g   5 0 1 9 6 ,   C en tr al  J av a,   I n d o n esia   E m ail:  b aswo r o @ u s m . ac . id       1.   I NT RO D UCT I O N   Un d er s tan d in g   tr a v eler s '   s en ti m en ts   th r o u g h   o n lin e  r e v iews  is   in cr ea s in g ly   v ital  f o r   s u s tain in g   an d   en h an cin g   th e  co m p etitiv en es s   o f   to u r is m   d esti n atio n s   g lo b ally .   User - g en er ated   co n ten t  s ig n if ican tly   s h ap es  c o n s u m e r   d e c i s i o n s ,   i m p a ct i n g   t o u r i s m   b u s i n es s e s   d i r e ct l y   b y   i n f l u e n c i n g   s e r v i c e   r e p u t at i o n   a n d   q u a l i t y   [ 1 ] ,   [ 2 ] .   T h u s ,   ex tr ac tin g   p r ec is e  in s ig h ts   f r o m   m u ltil in g u al  t o u r is m   r ev iews b ec o m es c r u cial  in   th e  h ig h ly   co m p etitiv e   in ter n atio n al  to u r is m   m ar k et.   Asp ec t - b ased   s en tim en t  an a ly s is   ( AB SA) ,   f o cu s in g   ex p licitly   o n   am en ities ,   attr ac tio n s ,   an d   ac ce s s ib ilit y ,   en ab les  a  n u a n c ed   u n d er s tan d in g   o f   to u r is t  e x p er ien ce s .   Desp ite  th ei r   p o ten tial,  m u ltil in g u al   r ev iews  p o s e  d is tin ct  cla s s if i ca tio n   ch allen g es  d u e  to   lan g u ag e  h eter o g en eity ,   g r am m a tical  v ar iatio n ,   an d   cu ltu r al  co n tex t,  n ec ess itatin g   r o b u s t  an aly s is   tech n iq u es  [ 3 ] ,   [ 4 ] .   Ho wev er ,   th e  s y s tem atic  ev alu atio n   o f   class ical  m ac h in e  lear n in g   a n d   ad v an ce d   en s em b le   m eth o d s ,   esp ec ially   s tack in g ,   f o r   m u ltil in g u al  AB SA  r em ain s   lim ited ,   cr ea tin g   s ig n if ican t  k n o wled g e  g ap s .   Sp ec if ically ,   co m p r e h en s iv e  co m p a r ativ e  ass es s m en ts   ac r o s s   lan g u ag es a n d   cu ltu r es,   as we ll a s   th e  less   ex p lo r ed   ac ce s s ib ilit y   asp ec t,  ar e  s ca r ce   [ 5 ] – [ 7 ] .   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8 9 3 8   I n t J Ar tif   I n tell ,  Vo l.  15 ,   No .   5 ,  Octo b er   2 0 2 6 :   4 3 8 1 - 4 3 9 1   4382   Prio r   r esear ch   p r ed o m in an tly   u s es  class ica l  m ac h in e  lear n i n g   m eth o d s ,   s u ch   as  lo g is tic  r eg r ess io n ,   n aiv e  B ay es,  an d   r an d o m   f o r ests ,   f o r   AB S A  in   to u r is m   co n tex ts ,   y ield in g   r eliab le  y e t  o f ten   s u b o p tim al   p er f o r m an ce .   T h ese  ap p r o ac h es  h av e  b ee n   r ep o r ted   f o r   h o tel  r ev iew  AB SA  an d   o th er   ev alu ativ e  to u r is m   co n ten t  [ 8 ] .   Ho wev er ,   m u ltil in g u al  s ettin g s   in tr o d u ce   ad d itio n al  lin g u is tic  v ar iab ilit y   an d   la b el  am b ig u ity   th at   r em ain   in s u f f icien tly   ad d r ess ed   in   m an y   ex is tin g   s tu d ies  [ 9 ] ,   [ 1 0 ] .   T h e  liter atu r e  f u r th e r   in d ica tes  an   u n d e r r ep r esen tatio n   o f   en s em b le  m eth o d s ,   s u ch   as  v o tin g ,  ad ap tiv e  b o o s tin g   ( Ad aBo o s t ) ,   an d   s tack in g ,   in   AB SA  s t u d ies,  d esp ite  th eir   r ec o g n iz ed   ad v an ta g es  f o r   im p r o v in g   p r ed ictiv e  ac cu r ac y   b y   co m b in in g   th e  s tr en g th s   o f   m u ltip le  class if ier s   [ 1 1 ] .   R ec en t stu d ies co n f ir m   th at  en s em b le  ap p r o ac h es  ca n   s ig n if ican tly   im p r o v e  class if icatio n   r o b u s tn ess ,   es p ec ially   cr u cial  in   m u ltil in g u al  an d   cu ltu r ally   d iv er s e  d ata  [ 1 2 ] ,   [ 1 3 ] .   M o r e o v er ,   e x is tin g   r esear ch   in ad e q u ately   ad d r ess es  ac ce s s ib ilit y   with in   th e  am en ities ,   attr ac tio n s ,   an d   ac ce s s ib i lity   f r am ewo r k ,   t h er eb y   lim itin g   co m p r eh en s iv e   s en tim en t  an aly s is   in   to u r is m   r ev iews.  Acc ess ib ilit y   s ig n if ican tly   im p ac ts   tr av eler   s atis f ac tio n ,   p ar ticu lar ly   f o r   t h o s e   w i t h   d is a b il i ti e s ,   y et   th i s   c r u c i al   c o m p o n e n t   i s   f r e q u en t l y   n e g l e c t e d   o r   s u p e r f ic i a ll y   e x a m i n e d   [ 6 ] ,   [ 1 4 ] .   T h is   s tu d y   h y p o th esizes  th at  a  s tack in g   en s em b le  ap p r o ac h   ca n   s ig n if ican tly   en h an ce   m u ltil in g u al  AB SA  ac cu r ac y   co m p ar ed   to   class ical  m o d els  an d   s im p ler   en s em b le  m eth o d s .   T h u s ,   th i s   r esear ch   aim s   to   co m p ar ativ ely   ev alu ate  t h ese  m eth o d s   u s in g   a  d ataset  o f   I n d o n esian   an d   E n g lis h   r ev iews   f r o m   C en tr al  J av a,   f o cu s in g   s p ec if ically   o n   t h e  t h r ee   asp ec ts   ( am en ities ,   attr ac tio n s ,   an d   ac ce s s ib ilit y ) .   B y   a d d r ess in g   id en tifie d   k n o wled g e  g ap s ,   th e  r esear c h   co n tr ib u tes  m eth o d o l o g ical   clar ity   an d   im p r o v ed   p r ed i ctiv e  f r am ewo r k s ,   u ltima tely   aid in g   d esti n atio n   m an ag er s   an d   d ev el o p er s   in   r e f in in g   to u r is m   r ec o m m en d atio n   s y s tem s .       2.   M E T H O D   T h is   s tu d y   a d o p ts   a   s tr u ctu r e d   an d   th o r o u g h   co m p u tatio n a l  an d   ex p e r im en tal  d esig n   to   co n d u ct   a   co m p ar ativ e  e v alu atio n   an d   a n aly ze   th e  p er f o r m an ce   o f   a  s et  o f   m ac h in e  lear n in g   m o d els .   T h e  m o d els  test ed   in clu d e  class ical  ca teg o r y   an d   en s em b le  ap p r o ac h es  ap p lied   to   th e  AB SA  ta s k   in   a  m u ltil i n g u al  co n te x t.  T h is   in v esti g atio n   f o cu s es  o n   an al y zin g   d ig ital  to u r is m   r ev iews,  with   an   em p h asis   o n   th r ee   cr u cial  asp ec ts   in   th e  to u r is m   d o m ain :  am en ity ,   attr ac tio n ,   an d   ac ce s s ib ilit y .   T h e  s et  o f   m eth o d o lo g ies im p lem e n ted   in   th is   r esear ch   in clu d es  s ev er al  f u n d am en tal   s tag es  th at  ar e  in ter co n n ec te d ,   s tar tin g   f r o m   th e   ac q u is itio n   an d   lab elin g   o f   r ev iew  d ata,   f o llo wed   b y   te x t  p r e p r o ce s s in g   f o r   n o r m ali za tio n   an d   clea n i n g ,   ex tr ac ti o n   o f   i n f o r m ativ e  f ea tu r es  f r o m   tex t,  tr an s f o r m a tio n   o f   lab el  f o r m at  f o r   co m p atib ilit y   with   m u ltil ab el  clas s i f icatio n   alg o r ith m s ,   s e g m e n t a ti o n   o f   d a t a s et s   i n t o   tr a i n i n g   a n d   t e s t   d a t as e ts ,   i m p l em e n t a t i o n   o f   m u l t il a b e l   cl a s s i f ic a t i o n   a r c h i te c t u r e ,   m o d e l   t r a i n i n g   p r o c e s s ,   e v a l u at i o n   o f   m o d e l   p e r f o r m a n c e   u s i n g   s t a n d a r d   m e t r i c s ,   t o   t h e   f i n a l   s tag e  o f   m o d el   s elec tio n   with   o p tim al  p er f o r m an ce .   T h e  o v er all  m et h o d o lo g ical  wo r k f lo w  is   p r esen te d   in   Fig u r e  1 .           Fig u r e  1 .   Ov e r all  wo r k f l o w  o f   th e  p r o p o s ed   r esear c h   m eth o d       2 . 1 .     Da t a   c o llect io n a nd   f ilte ring   T h e  p r im a r y   d ata  s o u r ce   f o r   th is   s tu d y   is   u s er   r ev iews  co lle cted   f r o m   th e  Go o g le  R ev iew s   p latf o r m .   T h is   p latf o r m   was  ch o s en   b ec au s e  it  p r o v id es  a  lar g e,   d iv e r s e  v o lu m e  o f   r e v iew  d ata  co v er in g   a  wid e  r an g e  o f   to u r is m   d esti n atio n s   an d   is   wr itten   in   m u ltip le  lan g u ag es  b y   tr av eler s   with   d if f er en t  b ac k g r o u n d s .   Sp ec if ically ,   th e   d ataset  co m p r is es  1 3 , 0 8 5   r ev iews  f r o m   t en   p o p u lar   to u r is m   d esti n atio n s   in   C en tr al   J av a,   I n d o n esia.  T h e  s elec tio n   o f   th ese  d esti n atio n s   aim s   to   o b tain   a  r ep r esen tativ e  v ar iet y   o f   r ev iews  f r o m   d if f er en t ty p es o f   to u r is t a ttra ctio n s .   I n clu s io n   cr iter ia   wer e  s tr ictly   ap p lied   d u r i n g   th e   d ata  c o llectio n   p r o ce s s   to   en s u r e   th e  r ele v an ce   an d   q u ality   o f   t h e  d ata  to   b e  an al y ze d :   i)   R ev iew  lan g u ag e:  o n l y   r ev i ews  wr itten   in   I n d o n esian   an d   E n g lis h   lan g u ag e   wer e  i n clu d ed .   T h is   d ec is io n   was b ased   o n   th e  r ese ar ch ' s   m u ltil in g u al  f o cu s   an d   t h e  d o m in a n ce   o f   th ese  two   lan g u ag es in   th e   co n tex t o f   d ig ital to u r is m   in   I n d o n esia.   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J Ar tif   I n tell     I SS N:   2252 - 8 9 3 8       S ta ck in g   e n s emb le  fo r   mu ltil in g u a l a s p ec t - b a s ed   s en timen t a n a lysi s   o f to u r is m  …   ( B a s w o r o   A r d i P r a mo n o )   4383   ii)   R ev iew  len g th :  ea ch   r ev iew  m u s t  b e  at  least  5 0   w o r d s   lo n g .   T h ese  r estrictio n s   ar e  ap p lied   to   en s u r e  th a t   th e  r ev iew   co n tain s   s u f f icien t  co n tex tu al  i n f o r m atio n   f o r   in - d ep th   a n aly s is   o f   asp ec ts   an d   s en tim en t  an d   to   av o id   r ev iews th at  ar e  to o   s h o r t a n d   u n i n f o r m ativ e.   iii)   R elev an ce   o f   asp ec ts :  th e  r e v iew  m u s t  ex p licitly   m en tio n   at   least  o n e  o f   th e  th r ee   m ain   as p ec ts   th at  th e   r esear ch   f o cu s es  o n :  am en it ies  ( f ac ilit ies   an d   s er v ices) ,   attr ac tio n s   ( th e  m ain   attr ac tio n   o f   th e   d esti n atio n ) ,   o r   ac ce s s ib ilit y   ( ea s e  o f   r ea ch in g   an d   m o v i n g   ar o u n d   t h e  d esti n atio n ) .   Af ter   an   in itial  co llectio n   a n d   s cr ee n in g   p r o ce s s   b ased   o n   t h e  ab o v e  cr iter ia,   r ev iews  th a t  m ee t  th e  cr iter ia  ar e  th en   an aly ze d   at  th e  clau s e  lev el  u s in g   a   r u le - b ased   lab elin g   a p p r o ac h ,   with   th e  h elp   o f   a   s tr u ctu r ed   k ey w o r d   d ictio n ar y   to   id en tify   a p p r o p r iate  asp ec ts   an d   s en tim en t  p o lar ities   ( p o s itiv e,   n eg ativ e,   n eu tr al)   [ 3 ] .   T h e  d ataset  u s ed   in   th is   s tu d y   is   p u b licly   av ailab le  o n   Z en o d o   an d   co n tain s   lab eled     to u r is m   r e v iews  f r o m   C en tr a l  J av a,   I n d o n esia,  an n o tated   u s in g   a   r u le - b ased   ap p r o ac h   [ 1 5 ] .   T h e   d ataset  in clu d es  m u ltil in g u al  r ev iew   tex ts   an d   th e  co r r esp o n d i n g   asp ec t  s en tim en t  lab els   u s e d   in   th e  m u ltil ab el  class if icatio n   ex p er im en ts .     2 . 2 .     T ex t   prepro ce s s ing   B ef o r e  f ea tu r e  ex tr ac tio n ,   th e  m u ltil in g u al  r ev iew  tex t  ( s to r ed   in   th e  r ev iew_ clea n   co lu m n   af ter   th e  in itial  clea n u p   d u r in g   d ata  c o llectio n )   u n d er g o es  s ev er al  s tan d ar d   p r ep r o ce s s in g   s tep s   to   n o r m alize   f u r th e r   an d   clea n   it.   T h e  m u ltil in g u al  r ev iew  tex t  p r ep r o ce s s in g   p r o ce s s   in clu d es  s ev er al   im p o r tan t   s tag es:   n o r m aliza tio n ,   t o k en izatio n ,   an d   n o is e  r em o v al.   No r m aliz atio n   en s u r es  co n s is ten cy   in   tex t  p r o ce s s in g   b y   co n v er tin g   en tire   ch ar ac ter s   to   lo wer ca s e  an d   h an d lin g   s p ellin g   v ar iatio n s .   T o k en izatio n   b r ea k s   d o wn   tex t   in to   s m aller   u n its   ( to k en s ) ,   w h ich   is   esp ec ially   im p o r tan t  f o r   lan g u ag es   lik e  I n d o n esian   an d   E n g lis h   b ec au s e  o f   th ei r   d i f f er en t   s y n tactic  s tr u ctu r es.  No is e  r em o v al   elim in ates  ir r elev an t  elem e n ts ,   s u ch   as  p u n ctu atio n   a n d   s to p   wo r d s ,   th at  ca n   o b s cu r e   t h e   s en tim en t   in   u s er - g en e r ate d   co n ten t  [ 1 6 ] .   T h is   s tag e  is   c r u cial  f o r   r ed u cin g   n o is e  an d   im p r o v i n g   th e  q u alit y   o f   th e   f ea tu r es to   b e  ex tr ac te d   f o r   m o d elin g .     2 . 3 .     L a belin g   s chem e  a nd   la bel t ra ns f o rm a t io n   L ab elin g   s ch em e  a n d   la b el  tr an s f o r m atio n .   T h e  d ataset  was  an n o tated   u s in g   a  r u le - b ase d   s ch em e  s u p p o r ted   b y   a   s tr u ctu r ed   b ili n g u al  k ey wo r d   d ictio n ar y   f o r   th e  th r ee   to u r is m   asp ec ts   ( am en ities ,   attr ac tio n s ,   an d   ac ce s s ib ilit y )   an d   th r ee   s e n tim en t  p o lar ities   ( p o s itiv e,   n e g ativ e,   an d   n eu tr al) .   E ac h   r ev i ew  was  s eg m en ted   in to   clau s es  to   r ed u ce   s en tim en t  m ix in g   ac r o s s   asp ec ts ,   an d   ea ch   clau s e  was  m atch ed   ag ain s t  th e  asp ec t   d ictio n ar y   t o   id en tif y   th e  r elev an t  asp ec t  ca teg o r y .   Sen ti m en t  p o lar ity   was  th en   ass ig n ed   u s in g   p o lar ity   k ey wo r d s   an d   co n tex tu al  r u les ( e. g . ,   n eg atio n   h an d lin g ) ,   p r o d u cin g   cla u s e - lev el  asp ec t sen tim en t p air s .   T o   s u p p o r t m u ltil ab el  lear n in g   at  th e  r ev iew  lev el,   all  c lau s e - lev el  p air s   with in   th e  s am e  r ev iew  wer e   ag g r eg ated   in to   a  s et  o f   co m p o s ite  lab els  in   th e  f o r m at   " a s p ec t_ p o lar ity ".   T h er ef o r e,   o n e  r ev iew  ca n   h av e   m u ltip le  lab els  s im u ltan eo u s ly   ( e. g . ,   am e n ity _ p o s itiv e  an d   ac ce s s ib ilit y _ n eg ativ e ) .   T h e   f in a l  lab el  s et  co n s is ts   o f   3   asp ec ts   ×  3   p o lar ities ,   f o r   a  to tal  o f   9   p o s s ib le  lab el s .   T h e  ag g r eg ated   la b el  s ets  wer e  co n v e r ted   to   a  m u lti - h o t  r e p r esen tatio n   u s in g   a  Mu ltiLab elB in ar izer   to   c o n s tr u ct  th e  b i n ar y   ta r g et  m a tr ix   f o r   one - vs - r est   ( Ov R )   tr ain in g   a n d   ev al u atio n .     2 . 4 .     F e a t ures e x t ra c t io n   Fo r   f ea tu r e   ex tr ac tio n ,   a   ter m   f r eq u e n cy - in v er s e  d o cu m en t   f r eq u en c y   ( TF - I DF )   v ec to r izer   is   u s ed ,   a   co m m o n   tec h n iq u e  i n   m u ltil in g u al  s en tim en t  an aly s is   [ 3 ] .   TF - I DF  h ig h lig h ts   th e  im p o r ta n ce   o f   ea ch   wo r d   in   th e  co n tex t  o f   th e  e n tire   co r p u s   an d   ad ap ts   it  to   th e  f r eq u en c y   o f   co m m o n   wo r d s ,   en s u r in g   th at  m o r e  r elev an t   f ea tu r es  ar e  g iv en   a p p r o p r iate   weig h t  in   th e  class if icatio n .   T f id f Vec to r izer   f r o m   th e  s cik it - lear n   lib r ar y   was  u s ed   to   im p lem en t  th is   r esear ch   co d e.   T h e  m ax _ f ea tu r e s   =   5 0 0 0   p a r am eter   is   ap p l ied ,   m ea n in g   o n l y     5 0 0 0   w o r d s   with   th e  h i g h es t  T F - I DF  s co r e  f r o m   th e   e n tire   co r p u s   will  b e  co n s id e r ed   f ea tu r es.  T h is   m ax _ f ea tu r es   also   s er v es  as   a   d im en s io n ality   r ed u ctio n   m e th o d ,   h elp in g   r ed u ce   m o d el  c o m p lex ity   an d   th e   r is k   o f   o v er f itti n g .   T h e   r esu lt   o f   th is   f ea tu r e   ex tr ac tio n   s tag e  is   a  n u m e r ical  f ea tu r e  m at r ix ,   d e n o ted   X.   E ac h   r o w  o f   X  c o r r esp o n d s   to   a  r ev i ew,   an d   ea ch   co lu m n   co r r esp o n d s   to   a  wo r d   f ea tu r e   with   its   T F - I DF w eig h t.     2 . 5 .     L a bel t ra ns f o r m a t io n  a nd   da t a   s pli t t ing   T h e  s en tim en t - asp ec t  lab els  r esu ltin g   f r o m   th e  lab elin g   p r o ce s s   ( as   a  lis t  o f   tu p les)  ar e  tr an s f o r m ed   in to   a  m u ltil ab el  b i n ar y   f o r m a t  u s in g   t h e  Mu ltiLab elB in ar iz er   f r o m   s cik it - lear n .   E ac h   u n i q u e  c o m b in atio n   o f   s en tim en t  asp ec ts   ( e. g . ,   ' am en itas _ p o s itiv e' )   b ec o m es  a  s i n g le  b i n ar y   tar g et  c o lu m n .   T h e  d atasets ,   wh ich   a l r e a d y   i n c l u d e d   n u m e r i c a l   f e at u r e s   ( X )   a n d   b i n a r y   l a b e l s   ( y ) ,   w e r e   t h e n   s p l i t   a t   a n   8 0 : 2 0   r a t i o   f o r   t r a i n i n g   a n d   t e s t   d at a .   T h is   r a t i o   w a s   c h o s e n   t o   b a l a n c e   s u f f ic i e n t   le a r n i n g   an d   r e p r e s e n t a t i v e   e v a l u a t i o n   o f   u n s e e n   d a t a   [ 9 ] .     2 . 6 .     M ultila bel c la s s if ica t io n f ra m ewo r k   a nd   t este d m o de ls   T h is   s tu d y   f o r m u lates  m u ltil in g u al  AB SA  as  a  m u lti lab el  te x t  class if icatio n   p r o b lem ,   wh e r e  a  s in g le  r ev iew  m ay   co n tain   m u ltip le  asp ec t  s en tim en t  p air s .   E ac h   r ev iew  is   r ep r esen ted   b y   a  s et  o f   co m p o s ite  lab els  f o r m ed   b y   co m b in in g   th e  a s p ec t  ca teg o r y   an d   s en tim en t  p o lar ity   ( e. g . ,   " asp ec t_ p o la r ity ") ,   r esu ltin g   in     Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8 9 3 8   I n t J Ar tif   I n tell ,  Vo l.  15 ,   No .   5 ,  Octo b er   2 0 2 6 :   4 3 8 1 - 4 3 9 1   4384   3   asp ec ts   ×  3   p o lar ities   =  9   p o s s ib le  lab els.  T h e  lab el  s ets  ar e  b in ar ized   u s in g   Mu ltiLab el B in ar izer ,   p r o d u cin g   a  m u lti - h o t ta r g et  v ec to r   f o r   ea ch   r ev iew.   Fo r   tex tu al  r e p r esen tatio n ,   T F - I DF  v ec to r izatio n   is   u s ed   o n   th e  clea n ed   r ev iew  tex t  ( r ev i ew_ clea n )   with   m ax _ f ea tu r es   =   5 0 0 0   ( d ef au lt  u n ig r a m   s ettin g ) .   T h e   d ataset  is   s p lit  in to   tr ain in g   an d   test   s ets  u s in g   an   8 0 /2 0   r atio   with   a  f ix ed   r an d o m   s ee d   ( r an d o m _ s tate   =   4 2 ) .   B ec au s e  m u ltil ab el  lear n in g   r eq u ir es  m o d elin g   ea ch   lab el  as  a  b in ar y   d ec is io n ,   we  em p lo y   a  O v R   s tr ateg y   a s   a  wr ap p er   f o r   all  class if ier s ,   en ab lin g   c o n s is ten t  co m p ar is o n   ac r o s s   b aselin e  an d   en s em b le  ap p r o ac h es.   i)   B aselin e  m o d els :   ‒   L o g is tic  r eg r ess io n   ( Ov R ) : L o g is ticR eg r ess io n ( m ax _ iter   =   1 0 0 0 ,   r an d o m _ s tate   =   4 2 ) .   ‒   Mu ltin o m ial  n aiv e   B ay es  ( Ov R ) :  Mu ltin o m ialNB ( )   as  a  p r o b ab ilis tic  b aselin e  s u itab le  f o r   T F - I DF  f ea tu r es.   ‒   R an d o m   f o r est  ( Ov R ) : Ran d o m Fo r estC las s if ier ( n _ esti m ato r s   =   1 0 0 ,   r a n d o m _ s tate   =   4 2 ) .   ii)   E n s em b le  m o d els :   ‒   Vo tin g   ( O v R ,   s o f t  V o tin g ) :   Vo tin g C lass if ier ( v o tin g   =   ' s o f t' )   with   co m p o n en t  lear n e r s   lo g is tic   r eg r ess io n ,   m u ltin o m ial  n aiv e  B ay es,  an d   r an d o m   f o r es t .   So f t  v o tin g   ag g r eg ates  p r ed icted   p r o b a b ilit ies to   im p r o v e  r o b u s tn ess .   ‒   Ad aBo o s t  ( Ov R ) :  Ad aBo o s tC las s if ier   ( esti m ato r   =   L o g is ticR eg r ess io n   ( m ax _ iter   =   1 0 0 0 ,   r an d o m _ s tate   =   4 2 ) ,   n _ esti m a to r s   =   5 0 ,   r an d o m _ s tate   =   4 2 )   to   iter ativ ely   em p h asize  m is class if ied   s am p les.   ‒   Stack in g   ( Ov R ) :  Stack in g C la s s if ier   with   b ase  lear n er s   lo g i s tic  r eg r ess io n   an d   r an d o m   f o r est ,   an d   lo g is tic  r eg r ess io n   as  th e  m eta - lear n er   ( f in al_ esti m ato r   =   L o g is ticR eg r ess io n ( ) ) .   W e  s et   p ass th r o u g h   =   t r u e  s o   m eta - le ar n er   ca n   ac ce s s   b o th   th e  o r ig in al  T F - I DF  f ea tu r es  an d   b ase - m o d el   p r ed ictio n s .   Fig u r e  2   illu s tr a tes  en d - to - en d   e x p er im e n tal  s etu p   u s ed   in   th is   s tu d y ,   in clu d in g   p r ep r o ce s s in g ,   lab el  co n s tr u cti o n ,   f ea tu r e  ex tr ac tio n ,   m o d el  t r ain in g ,   a n d   m u ltil ab el  ev alu at io n .   T h e  wo r k f lo w  s tar ts   f r o m   th e  Z en o d o   d ataset  an d   p r o ce e d s   with   tex t  p r ep r o ce s s in g   to   p r o d u ce   clea n ed   r e v iew  tex ts .   Fro m   t h e  p r e p r o ce s s ed   d ata,   two   p ar allel  p r o ce s s es  ar e  p er f o r m ed :  i )   a   r u le - b ased   lab elin g   p r o ce d u r e  g e n er ates  r ev iew - lev el  m u ltil ab el  tar g ets,  wh ich   ar e  tr an s f o r m ed   in to   a  m u lti - h o t   r ep r esen tatio n   u s in g   Mu ltiLab elB in ar izer ,   an d   ii)  T F – I DF  v ec to r izatio n   ( m ax _ f ea tu r es   =   5 0 0 0 )   co n s tr u cts  th e   f ea tu r e  m atr ix .   T h e  d ata  ar e  th en   s p lit  in to   tr ain in g   an d   test in g   s ets  ( 8 0 /2 0 ,   r an d o m _ s tate   =   4 2 )   an d   tr ain ed   u n d er   a  Ov R   m u ltil ab el  wr a p p er   to   e n ab le  a   f air   c o m p ar is o n   b etwe en   b aselin e  m o d els  ( lo g is tic  r eg r ess io n ,   m u ltin o m ial  n aiv e  B ay es,  r a n d o m   f o r est)  an d   en s em b le   ap p r o ac h es  ( v o tin g ,   Ad aBo o s t,  an d   s tack in g ) .   Fin ally ,   m o d el   p er f o r m a n ce   i s   ev alu ated   u s in g   m icr o -   an d   m ac r o - F1 ,   p r ec is io n ,   r ec all,   Ham m in g   lo s s ,   a n d   s u b s et  ac cu r ac y ,   an d   th e  r esu ltin g   m etr ics ar e  co m p iled   in   t h e  r ep o r te d   r esu lts   tab les.           Fig u r e  2 .   E x p er im e n tal  s etu p   o f   th e  m u ltil in g u al  m u ltil ab el  AB SA p ip elin e       2 . 7 .     E v a lua t i o n  m et rics   T h e  ev alu atio n   u s ed   f iv e  m etr ics:   F1 - s co r e  ( m icr o   an d   m ac r o ) ,   p r ec is io n ,   r ec all,   H am m in g   lo s s ,   an d   s u b s et  ac cu r ac y .   T h is   m etr ic   p r o v id es  a  co m p r eh e n s iv e  o v er v iew  o f   t h e  class if icatio n   p er f o r m an ce   in   m u ltil ab el  task s .   T h e  F1 - s co r e  co m b in es p r ec is io n   an d   r ec all ,   wh ile  Ham m in g   lo s s   m ea s u r es p r ed ictio n   er r o r s   p er   lab el,   a n d   s u b s et  ac cu r a cy   ass ess e s   o v er all  lab el  s u i tab ilit y   [ 1 7 ] .   Mic r o   a n d   m a cr o   av er a g es  y ield   d if f er en t  in ter p r etatio n s :  m icr o   av er ag es  d escr ib e  o v er all   p er f o r m a n ce ,   wh ile  m ac r o   av er ag es  eq u alize   p er f o r m an ce   ac r o s s   class es,  r e v ea lin g   p o ten tial im b alan ce s   [ 7 ] .   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J Ar tif   I n tell     I SS N:   2252 - 8 9 3 8       S ta ck in g   e n s emb le  fo r   mu ltil in g u a l a s p ec t - b a s ed   s en timen t a n a lysi s   o f to u r is m  …   ( B a s w o r o   A r d i P r a mo n o )   4385   I n   th e   co n tex t  o f   m u ltil ab el  class if icatio n   f o r   AB SA  in   m u ltil in g u al  to u r is m   r e v iews,  ev alu atio n   m etr ics  s u ch   as  p r ec is io n ,   r ec all,   F1 - s co r e  ( m icr o   an d   m ac r o ) ,   Ham m in g   lo s s ,   an d   s u b s et  ac cu r ac y   ar e   ess en tial  f o r   ac cu r atel y   ass e s s in g   th e  m o d el' s   p er f o r m an ce .   Pre cisi o n   m ea s u r es  th e  ac cu r ac y   o f   th e  m o d el' s   p o s itiv e  p r ed ictio n s   [ 1 8 ] .   On   th e  o th er   h an d ,   r ec all  m ea s u r es  th e  m o d el' s   ab ilit y   to   ca p tu r e  all  r elev a n t  in s tan ce s   [ 1 9 ] .   F1 - s co r es  th at  co m b in e  p r ec is io n   an d   r ec all   ar e  p ar ticu lar l y   u s ef u l  in   m u ltil ab el  task s   [ 2 0 ] .  Ham m in g   lo s s   is   th e  p r o p o r t io n   o f   lab els   p r ed icted   to   b e   in co r r ec t  [ 2 1 ] .   Su b s et  ac cu r ac y   m ea s u r es  th e  p r o p o r tio n   o f   lab el   p r ed ictio n s   th at  m atch   th e  ac tu al  lab el.   T h ese  m etr ics  h a v e  b e en   wid ely   u s ed   in   AB SA  s ettin g s   an d   h av e  p r o v en   r el ev an t  f o r   m ea s u r in g   th e  p er f o r m an ce   o f   s en tim en t  a n aly s is   m o d els  an d   th eir   r esil ien ce   in   h an d lin g   m u ltil ab el  d ata,   esp ec ially   in   u n b alan c ed   class if icatio n   [ 2 2 ] .   Pre cisi o n   m ea s u r es  h o w  ac cu r ately   th e  m o d el' s   p o s itiv e  p r ed ictio n s   ar e.   T h is   ex p lain s   t h e  co r r ec t   p r o p o r tio n   o f   th e  p r ed ictio n   o f   th e  o v er all  p o s itiv e  p r ed ictio n ,   as sh o wn   in   ( 1 ) .       =         +       ( 1 )     R ec all  m ea s u r es  th e  ex ten t  t o   wh ich   th e  m o d el  ca n   ca p t u r e  all  o f   th e  ac tu al  p o s itiv e  in s tan ce s .   T h is   is   im p o r tan t to   a v o id   m is tak es in   s k ip p in g   lab els th at  s h o u ld   h a v e  b ee n   p r ed icted ,   as sh o wn   in   ( 2 ) .       =           +       ( 2 )     F1 - s co r e  is   a  h ar m o n ic  m ea n   o f   p r ec is io n   an d   r ec all,   p r o v id in g   a  b alan ce d   ass ess m en t,  esp ec ially   wh en   lab el  d is tr ib u tio n s   ar e  i m b alan ce d .   T h er e  ar e   two   ty p es:   F1 - m icr o   an d   F1 - m ac r o .   F1 - m icr o   ca lcu lates  th e  to tal  tr u e   p o s itiv es,  f alse   p o s itiv es,  an d   f alse  n eg ativ es  in   ag g r e g ate  ac r o s s   all  lab els.  T h e  F1 - m ac r o   ca lcu lates  th e  F1   f o r   ea ch   lab el  in d iv id u ally   an d   th en   a v er ag es  it.  T h is   g iv es  eq u al  atten tio n   to   ea ch   class ,   in clu d in g   t h e  r ar e  o n es ,   as sh o wn   in   ( 3 ) .     1 −  = 2   ×       ×     +    ( 3 )     Ham m in g   l o s s   is   a  m etr ic  th at  m ea s u r es  th e  av er ag e  n u m b er   o f   m is class if icatio n s   p er   lab el.   I n   th e  co n tex t  o f   m u ltil ab el  class if icatio n ,   th e   Ham m in g   lo s s   is   th e  p r o p o r tio n   o f   in co r r ec tl y   p r e d icted   lab els    ( b o th   f alse  p o s itiv es  an d   f alse   n eg ativ es)  r elativ e  t o   th e  t o tal  n u m b e r   o f   lab els.  T h e  l o wer   th e  Ham m in g   lo s s ,   th e  b etter   th e  m o d el' s   p er f o r m an ce .   A  v alu e  o f   0   m ea n s   th at  all  lab els ar e  co r r ec tly   class if ied ,   as sh o wn   in   ( 4 ) .       l  = 1   ×   ∑ ∑ 1 [    ≠   ŷ  ] = 1 = 1   ( 4 )     W h er e     is   n u m b er   o f   s am p les ,    is   n u m b er   o f   lab els p er   s am p l e ,   an d      ≠   ŷ    is   a ctu al  an d   p r ed icted   lab els  f o r   th e  J - lab el  i n   th e  I - I   s am p l e .   T h e  ac cu r ac y   s u b s et  is   a  m etr i c  th at  s h o ws  th e   p e r ce n tag e   o f   a  s am p le   in   wh ic h   th e   p r ed ict ed   lab el  is   ex ac tly   th e  s am e  as  th e  ac tu al  lab el.   T h is   m etr ic  is   v er y   s tr ict.   I f   th er e  is   o n ly   o n e  wr o n g   l ab el  in   a  m u ltil ab el   p r ed ictio n ,   th en   all  p r ed ictio n s   ar e  co n s id er ed   f alse  f o r   t h at  s am p le.   T h e  h ig h er   th e   s u b s et  ac cu r ac y ,   t h e  m o r e  p r ec is e  th e  m o d el' s   p r ed ictio n s   ar e  in   h an d lin g   lab el  c o m b in atio n s ,   as sh o wn   in   ( 5 ) .     Sub s e t   a c c ura c y = 1 ∑ 1 =   Ŷ = 1   ( 5 )     W h er e  Yᵢ   d an   Ŷᵢ   is   a ctu al  an d   p r ed icted   lab el  s ets f o r   t h e  i th   s am p le .     2 . 8 .     E ns em ble  t ra ini ng   a nd   re - ev a lua t io n   On ce   th e  b aselin e  m o d els  ar e  ev alu ated ,   th e  f o cu s   s h if ts   to   tr ain in g   an d   ev alu atin g   t h e  ass em b ly   m o d els:   v o tin g ,   Ad aBo o s t ,   a n d   s tack in g .   T h e  e n s em b le  a p p r o ac h ,   p a r ticu lar ly   s tack in g ,   aim s   to   co m b in e   p r ed ictio n s   f r o m   b asic  m o d el s   to   im p r o v e  g en er aliza tio n   ca p ab ilit ies  an d   th e  ac cu r ac y   o f   f in al  p r ed ictio n s .   E v alu atin g   th e  p er f o r m an ce   o f   en s em b le  s tack in g   m eth o d s ,   s u ch   as   v o tin g ,   Ad aBo o s t,  an d   s tack in g ,   f o r   m u ltil in g u al  AB SA  in   to u r is m   r ev iews  is   cr itical  g iv en   th e  co m p le x   n atu r e  o f   s en tim en t  ex p r ess ed   ac r o s s   d if f er en t  lan g u ag es  an d   cu ltu r al  co n tex ts .   E n s em b le  m et h o d s   h av e  b ee n   s h o wn   t o   im p r o v e  class if icatio n   ac cu r ac y   b y   lev er ag i n g   th e  c o llectiv e  s tr en g th   o f   m u ltip le  m o d els,  th er eb y   r ed u ci n g   th e  li m itatio n s   ass o ciate d   with   in d iv id u al  class if ier s   [ 2 3 ] .   T h ese  m eth o d s   ar e  p ar ticu l ar ly   b en e f icial  in   to u r is m ,   wh er e  s en tim en t  ab o u t   v ar io u s   asp ec ts   s u ch   as  f ac ilit ies,  attr ac tio n s ,   an d   ac ce s s ib ilit y   ca n   v ar y   s ig n i f ican tly   ac r o s s   lan g u ag es,   m ak in g   th e  c h allen g es  m o r e  p r o n o u n ce d   [ 2 4 ] ,   [ 2 5 ] .   B y   in te g r atin g   v a r io u s   alg o r ith m s ,   th e  en s em b le  s tack in g   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8 9 3 8   I n t J Ar tif   I n tell ,  Vo l.  15 ,   No .   5 ,  Octo b er   2 0 2 6 :   4 3 8 1 - 4 3 9 1   4386   m eth o d   o f f er s   in cr ea s ed   r esis tan ce   to   n o is e  an d   b etter   g e n er aliza tio n   to   u n s ee n   d ata,   wh ich   is   esp ec ially   im p o r tan t  wh en   d ea lin g   wit h   th e  u n b alan c ed   d atasets   o f ten   en c o u n ter e d   in   s en tim en t  an aly s is   [ 2 6 ] .   I n   ad d itio n ,   th e  ab ilit y   o f   th e  s tack ed   en s em b le  to   co m b i n e  p r ed ictio n s   f r o m   d if f er e n t c lass if ie r s   p r o v id es a   m o r e   n u an ce d   u n d e r s tan d in g   o f   th e  s en tim en ts   ex p r ess ed   in   m u ltil in g u al  r ev iews,  lead in g   to   m o r e  r eliab le  in s ig h ts   f o r   s tak eh o l d er s   in   th e  to u r is m   in d u s tr y   [ 2 7 ] ,   [ 2 8 ] .   T h is ,   in   tu r n ,   ca n   d r iv e  p r o g r ess   in   au to m ated   o p in io n   m in in g   an d   im p r o v e  cu s to m e r   s atis f ac tio n   th r o u g h   tailo r ed   r ec o m m en d atio n s   b ased   o n   ac cu r ate  s en tim en t   ass es s m en ts   [ 2 9 ] .   T h e  e n s em b le  m o d el  was  th en   r e - e v alu ated   u s in g   th e  s am e   m et r ic  to   c o m p ar e   its   p er f o r m an ce   im p r o v e m en ts   r e lativ e  to   th e  b aselin e  m o d el  an d   b etwe en   f ello w  e n s em b le  m o d els  [ 3 0 ] .     2 . 9 .     B est  mo del selec t io n   T h e  b est  m o d els  ar e   s elec ted   b ased   o n   th e  h ig h est  ag g r eg ate  p er f o r m a n ce   ac r o s s   all  ev alu atio n   m etr ics.  I n   th is   s tu d y ,   th e  s ta ck in g   en s em b le  s h o wed   th e  b est  p er f o r m a n ce   an d   was  p r o p o s ed   as  th e  m o s t  ac cu r ate  an d   r eliab le  m o d el   f o r   AB SA  o n   m u ltil in g u al   to u r   r ev iews  [ 1 4 ] ,   [ 2 9 ] .   T h e  s ec o n d ar y   o b jectiv e   is   to   id en tify   th e  b est - p er f o r m in g   m o d els  f o r   to u r is m   r ec o m m e n d atio n   s y s tem s   o r   au to m ated   o p in io n   p o llin g   to   s u p p o r t  u s er   an d   s er v ice  p r o v id er   d ec is io n - m a k in g .   T h is   r e s ea r ch   also   h elp s   b r id g e   th e  g ap   in   m u ltil in g u a l   AB SA  b y   em p h asizin g   k ey   a s p ec ts   o f   to u r is m ,   s u ch   as  am en ities ,   attr ac tio n s ,   an d   ac ce s s ib ilit y   [ 1 ] .   E th ical  co n s id er atio n s   ar e  also   tak en   in to   ac co u n t,  as  th e  d ata  is   p u b lic,   an o n y m o u s ,   an d   d o es  n o t c o n tain   p er s o n al  o r   s en s itiv e  in f o r m atio n .     2 . 1 0 .     T ec hn ica l  im plem ent a t io n a nd   v is ua liza t io n   T h e  en tire   ex p er im en tal  s tag e ,   f r o m   d ata  p r ep r o ce s s in g   to   m o d el  ev alu atio n ,   is   im p lem e n ted   u s in g   Py th o n   ( v e r s io n   3 . 1 2 . 1 2 ) .   T h is   s tu d y ' s   m ain   Py th o n   lib r ar ies  in clu d e  Pan d as  f o r   d ata  m an ip u latio n ,     s cik it - lear n   f o r   im p lem en tin g   m ac h in e  lear n i n g   m o d els  an d   ev alu atio n   m etr ics,  an d   a st   f o r   ea r ly - s tag e  lab el  d ata  tr an s f o r m atio n .   All  ex p e r im en ts   wer e  r u n   u s in g   Py th o n   with   th e  s cik it - lear n   lib r ar y   f o r   m o d el  tr ain in g   an d   ev alu atio n ,   as  well  as  f o r   th e  ap p licatio n   o f   class if icatio n   m etr ics.  Descr ip tiv e  s t atis tics   ar e  u s ed   to   s u m m ar ize  th e  m o d el' s   p er f o r m an ce .   Fo r   g r ap h ical  v is u aliza tio n   o f   m o d el  r esu lts   in   co m p ar is o n ,   wh ich   s u p p o r ts   m o r e  ef f ec tiv e  in ter p r etatio n   an d   d eliv e r y   o f   d at a - b ased   in f o r m atio n ,   th e  Ma tp lo tlib   an d   Seab o r n   lib r ar ies ar e  u s ed .   C o m p u te  ex p er im en ts   r u n   in   a  Go o g le  C o l ab o r ato r y   en v ir o n m e n t.       3.   RE SU L T S AN D  D I SCU SS I O N   3 . 1 .     Resul t s   o f   ba s eline  a nd   ens em ble m o del e v a lua t io n   T h is   s tu d y   p r esen ts   th e   r esu lt s   o f   e v alu atio n s   o f   th r ee   b as elin e  m ac h in e   lear n in g   m o d els,  n am ely   lo g is tic  r eg r ess io n ,  n aiv e  B ay es,  an d   r an d o m   f o r est ,   as  well  as  th r ee   as s em b ly   m o d e ls :  v o tin g   class if ier ,  Ad aBo o s t  class if ier ,   an d   s tack in g   class if ier .   T h e  o p tim al  co n f ig u r atio n   f o r   th e  s tack in g   clas s if ier   u s es  lo g is ti c   r eg r ess io n   an d   r a n d o m   f o r es t  as  th e  b ase  m o d el  ( b ase  lear n er s )   lev el  0 ,   a n d   lo g is tic   r eg r ess io n   as  th e    m eta - lear n er   ( lev el  1 ) ,   with   t h e  p ass th r o u g h   =   tr u e  o p tio n .   T h e  e n tire   m o d el  is   im p lem e n ted   u s in g   th e   Ov R   c lass if ier   wr ap p er   to   h a n d le  th e  m u ltil ab el  class if icatio n   p r o p er ties   o f   th is   task .   Mo d el  p er f o r m an ce   was  ev alu ated   u s in g   a  s et  o f   s tan d ar d   m etr ics  f o r   m u ltil ab el  clas s if icatio n ,   in clu d in g   F1 - s co r e   ( m icr o   a n d   m ac r o   av er ag e d ) ,   p r ec is i o n   ( m icr o   av er a g ed ) ,   r ec all   ( m icr o   av e r ag ed ) ,   Ham m in g   lo s s ,   an d   s u b s et  ac cu r ac y .   T h ese  m etr ics  p r o v id e   a  co m p r eh e n s iv e  v iew  o f   th e   m o d el' s   p r ed ictio n   ac cu r ac y ,   g en er aliza tio n   ca p a b ilit ies,  an d   er r o r   r ate.   T ab le  1   p r esen ts   th e  co m p ar ativ e   r esu lts   o f   all  th e  m o d els  test ed   o n   th e  test   d ataset.   T h e  v alu es p r esen ted   ar e   th e  av er a g e  p er f o r m an ce   o b tain e d .       T ab le  1 .   AB SA m o d el  ev alu at io n   r esu lts   b ased   o n   m u ltil ab el   m etr ics   M o d e l   F1 - mi c r o   F1 - mac r o   P r e c i s i o n   R e c a l l   H a mm i n g   l o ss   S u b s e t   a c c u r a c y   Lo g i s t i c   r e g r e ssi o n   0 . 7 9 6   0 . 5 7 1   0 . 8 8 1   0 . 7 2 5   0 . 0 8 8   0 . 5 8 8   N a i v e   B a y e s   0 . 6 9 4   0 . 4 2 3   0 . 8 1 2   0 . 6 0 6   0 . 1 2 6   0 . 4 5 9   R a n d o m f o r e s t   0 . 8 3 1   0 . 5 9 0   0 . 8 7 8   0 . 7 8 9   0 . 0 7 6   0 . 6 4 0   V o t i n g   0 . 8 00   0 . 5 2 4   0 . 8 8 5   0 . 7 2 9   0 . 0 8 6   0 . 6 0 1   A d a B o o st   0 . 7 9 9   0 . 6 6 6   0 . 8 0 6   0 . 7 9 3   0 . 0 9 4   0 . 5 6 4   S t a c k i n g   0 . 8 6 3   0 . 7 2 9   0 . 8 8 5   0 . 8 4 1   0 . 0 6 3   0 . 6 8 2       3 . 2 .     M o del c o m pa riso n v is ua liza t io n   Fig u r e  3   co m p ar es  th e   F1 - m icr o   a n d   F1 - m ac r o   s co r es  o f   all  e v alu ated   b aselin e  a n d   en s em b le   m o d els.  T h is   g r ap h   v is u ally   co m p ar es  th e  F1 - s co r e  v alu es  ( m icr o   an d   m ac r o )   f o r   all  m o d els  tes ted .   Fro m   th is   v is u aliza tio n ,   th e  s u p e r io r ity   o f   th e  s tack in g   en s em b le  in   b o t h   F1 - s co r e  m etr ics  b ec o m es  v is ib le  co m p ar ed   to   th e  o th er   m o d els.   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J Ar tif   I n tell     I SS N:   2252 - 8 9 3 8       S ta ck in g   e n s emb le  fo r   mu ltil in g u a l a s p ec t - b a s ed   s en timen t a n a lysi s   o f to u r is m  …   ( B a s w o r o   A r d i P r a mo n o )   4387       Fig u r e  3 .   C o m p a r is o n   o f   F1 - m icr o   an d   F1 - m ac r o   ac r o s s   th e  ev alu ated   m o d els       3 . 3 .     Descript io n o f   re s ults per   m o del   A  m o r e  d etailed   a n aly s is   o f   th e  r esu lts   in   T ab le  1   f o r   ea ch   m o d el  is   as f o llo ws.     3 . 3 . 1 .   L o g is t ic  re g re s s io n   L o g is tic  r eg r ess io n   s h o ws  s ta b le  b aselin e  p er f o r m an ce   f o r   m u ltil in g u al  m u ltil ab el  AB SA ,   p r o v i d in g   a  s tr o n g   lin ea r   r ef e r en ce   u n d e r   T F - I DF  f ea t u r es.  T h e  m o d el   ac h iev es  a n   F1 - m icr o   o f   0 . 7 9 6   an d   a n   F1 - m ac r o   o f   0 . 5 7 1 ,   with   p r ec is io n   0 . 8 8 1   an d   r ec all   0 . 7 2 5 .   W h ile  th ese  r esu lts   in d icate   r eliab le   o v er all  d etec tio n   o f   co m m o n   lab els,  th e  m o d er ate  m ac r o - F1   s u g g ests   th at  p er f o r m an ce   is   less   u n if o r m   ac r o s s   all  asp ec t  s en tim en t  lab els,  wh ich   is   ty p ical  in   m u ltil ab el  d atasets   with   lab el  im b alan ce .   T h e   Ham m in g   l o s s   o f   0 . 0 8 8   a n d   s u b s et  ac cu r ac y   o f   0 . 5 8 8   f u r th e r   s h o w  th at  ex ac t - m atch   p r ed ictio n s   r em ain   c h allen g in g   wh e n   m u ltip le  lab els  m u s t  b e  jo in tly   p r ed icted .     3 . 3 . 2 .   Na iv e  B a y es   Mu ltin o m ial  n aiv e  B ay es  p er f o r m s   wo r s t  am o n g   th e  e v al u ated   m o d els,  r ef lectin g   its   s im p lify in g   in d ep en d en ce   ass u m p tio n s   in   co m p lex   m u ltil in g u al  r ev iew  p atter n s .   I t  r ec o r d s   an   F1 - m ic r o   o f   0 . 6 9 4   a n d   a n   F1 - m ac r o   o f   0 . 4 2 3 ,   with   p r ec i s io n   0 . 8 1 2   a n d   r ec all  0 . 6 0 6 .   T h e  r elativ ely   l o w  m ac r o - F1   in d icate s   th at  s ev er al  lab els,  p ar ticu lar ly   less   f r eq u en t  asp ec t - s en tim en t  co m b in ati o n s ,   ar e  n o t  co n s is ten tly   ca p tu r ed .   T h is   lim itatio n   is   also   r ef lecte d   in   th e  h ig h er   Ham m in g   l o s s   ( 0 . 1 2 6 )   an d   th e  lo west  s u b s et   ac cu r ac y   ( 0 . 4 5 9 ) ,   s h o win g   d if f icu lty   in   p r o d u cin g   f u lly   c o r r ec t m u ltil ab el  o u tp u ts .     3 . 3 . 3 .   Ra nd o m   f o re s t   R an d o m   f o r est  p r o v id es  a  s tr o n g   n o n - lin ea r   b aselin e  an d   p er f o r m s   co m p etitiv ely   ac r o s s   th e  ev alu ated   m etr ics.  T h e  m o d el  ac h iev es  an   F1 - m icr o   o f   0 . 8 3 1   an d   a n   F1 - m ac r o   o f   0 . 5 9 0 ,   with   p r ec is io n   0 . 8 7 8   an d   r ec all  0 . 7 8 9 .   C o m p ar ed   t o   lin ea r   b aselin es,  r an d o m   f o r ests   b en ef it  f r o m   m o d elin g   f ea tu r e  in ter ac tio n s ,   wh ich   ca n   b etter   ca p tu r e   h ete r o g en e o u s   wo r d i n g   in   t o u r is m   r ev iews.  I ts   Ham m in g   lo s s   d ec r ea s es  to   0 . 0 7 6   an d   s u b s e t  ac cu r a c y   i n cr ea s es   to   0 . 6 4 0 ,   in d i ca t in g   i m p r o v e d   m u ltil a b el   c o n s is t en c y   an d   f ew er   p e r - l a b el   e r r o r s .     3 . 3 . 4 .   Vo t ing   cla s s if ier   T h e  v o tin g   e n s em b le  p r o d u ce s   in ter m ed iate  p er f o r m a n c e  b y   co m b in i n g   co m p lem en tar y   b ase  lear n er s   th r o u g h   p r o b a b ilit y   a g g r eg atio n .   I t  ac h ie v es  an   F1 - m icr o   o f   0 . 8 0 0   a n d   an   F1 - m a cr o   o f   0 . 5 2 4 ,   with   p r ec is io n   0 . 8 8 5   an d   r ec all   0 . 7 2 9 .   Alth o u g h   th e   en s em b le  s t ab ilizes  p r ed ictio n s   r elativ e   to   s in g le  lear n e r s ,   th e   m ac r o - F1   r e m ain s   lo wer   th an   s tr o n g er   e n s em b les,  in d icatin g   th at  m in o r ity   lab els  s till   r ec eiv e  lim ited   g ain s .   T h is   p atter n   is   co n s is ten t  w i th   its   Ham m in g   l o s s   ( 0 . 0 8 6 )   an d   s u b s et  ac cu r ac y   ( 0 . 6 0 1 ) ,   wh ich   im p r o v e   m o d estl y   b u t  d o   n o t m atch   th e   b est - p er f o r m in g   m o d el.     3 . 3 . 5 .   Ada B o o s t   cla s s if ier   Ad aBo o s t  im p r o v es  p er f o r m a n ce   b y   s eq u en tially   f o cu s in g   o n   m is class if ied   in s tan ce s ,   wh ich   ca n   b e  b en ef icial  wh en   s o m e  asp ec ts   o f   s en tim en t  lab els  ar e  h ar d e r   to   d etec t.  T h e  m o d el  ac h ie v es  an   F1 - m icr o   o f   0 . 7 9 9   an d   a  n o tab ly   h ig h er   F1 - m ac r o   o f   0 . 6 6 6 ,   with   p r ec is io n   0 . 8 0 6   an d   r ec all  0 . 7 9 3 .   T h e  h ig h er   m ac r o - F1   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8 9 3 8   I n t J Ar tif   I n tell ,  Vo l.  15 ,   No .   5 ,  Octo b er   2 0 2 6 :   4 3 8 1 - 4 3 9 1   4388   s u g g ests   th at  Ad aBo o s t  y iel d s   m o r e  b alan ce d   lab el - wis e  p er f o r m an ce   th an   s ev e r al  b aselin es,  p o ten tially   im p r o v in g   wea k e r   lab els.  Ho wev er ,   its   Ham m in g   lo s s   ( 0 . 0 9 4 )   a n d   s u b s et  ac cu r ac y   ( 0 . 5 6 4 )   in d icate   th at  e x ac t   m u ltil ab el  m atch es r em ain   d i f f icu lt a n d   th at  g ain s   ar e  n o t u n if o r m   ac r o s s   all  ev alu atio n   cr it er ia.     3 . 3 . 6 .   Sta c k ing   cla s s if ier   T h e  s tack in g   class if ier   co n s i s ten tly   d em o n s tr ates  th e   b est   o v er all   p er f o r m a n ce   ac r o s s   th e  m ajo r   ev alu atio n   m etr ics.  I t  ac h iev e s   th e  h ig h est  F1 - m icr o   ( 0 . 8 6 2 6 )   an d   F1 - m ac r o   ( 0 . 7 2 8 5 ) ,   in d icatin g   b o th   s tr o n g   o v er all  ac cu r ac y   an d   b alan ce d   lab el - wis e  p er f o r m an ce .   I n   ad d itio n ,   it  p r o d u ce s   th e  lo west  Ham m in g   lo s s   ( 0 . 0 6 3 3 )   a n d   th e  h ig h est  s u b s et  ac cu r ac y   ( 0 . 6 8 2 5 ) ,   s h o win g   f ewe r   lab el  er r o r s   an d   b etter   ex ac t - m atc h   p er f o r m an ce .   T h ese  r esu lts   s u g g est  th at  m eta - lear n in g   ef f ec tiv ely   co m b in es  co m p lem e n tar y   s tr en g th s   o f   th e   b ase  lear n er s   ( lo g is tic  r eg r ess io n   an d   r an d o m   f o r est)  th r o u g h   a  lo g is tic  r eg r ess io n   m eta - lear n er .     3. 4 .    Dis cus s io n   T h e  r esu lts   s h o wed   th at  th e   s tack in g   en s em b le  m o d el  c o n s is ten tly   o u tp er f o r m ed   class ica l  m ac h in e   lear n in g   m o d els  an d   o th e r   en s em b le  m eth o d s   in   m u ltil ab el  class if icatio n   o f   m u ltil in g u al  to u r   r ev iews.  T h is   is   r ef lecte d   in   th e   F1 - s co r e   m ic r o   v alu e  o f   0 . 8 6 2 6   an d   t h e  h ig h er   F1 - s co r e  m ac r o   o f   0 . 7 2 8 5 ,   as   well  as  th e   lo west  Ham m in g   lo s s   o f   0 . 0 6 3 3   an d   th e  h ig h est  s u b s et  o f   ac cu r ac y   r ea ch i n g   0 . 6 8 2 5 .   I n   co m p ar is o n ,   th e   s tr o n g est  b aselin e  m o d el,   r an d o m   f o r est ,   ac h iev e d   a  m icr o   F1 - s co r e  o f   0 . 8 3 1 3   an d   a  m ac r o - F1 - s co r e  o f   0 . 5 8 9 8 ,   with   a  H am m in g   lo s s   o f   0 . 0 7 5 6   an d   a  s u b s et  ac cu r ac y   o f   0 . 6 4 0 4 .   Oth er   en s em b l e  m o d els,  s u ch   as  Ad aBo o s t,  ac h iev e  m icr o   F1 - s co r es  o f   0 . 7 9 9 1   an d   m ac r o   F 1 - s co r es  o f   0 . 6 6 5 5 ,   w h ile  v o ti n g   ac h iev es  m icr o   F1 - s co r es  o f   0 . 7 9 9 9   a n d   m ac r o   F1 - s co r es  o f   0 . 5 2 4 1 .   T h ese  f in d in g s   r ei n f o r ce   th e  p r em is e  th at  th e  in teg r atio n   o f   m u ltip le  b asic  m o d els  ( in   th is   ca s e,   lo g is tic  r eg r ess io n   an d   r an d o m   f o r est  as  b ase  le ar n er s ,   with   lo g is tic  r eg r ess io n   as  th e  m eta - lear n er )   t h r o u g h   a  s tack in g   ap p r o ac h   ca n   im p r o v e  th e  g e n er aliza tio n   an d   ac cu r ac y   o f   p r ed ictio n s ,   esp ec ially   in   t h e  c o n tex t o f   co m p le x   an d   d iv er s e   d ata  s u ch   as tr av el  r e v iews.   I n   th is   s tu d y ,   th e  r esu lts   s h o wed   th at  th e  s tack in g   en s em b le  m eth o d   s ig n if ican tly   o u t p er f o r m ed   class ical  m ac h in e  lear n in g   m o d els  s u ch   as   lo g is tic  r eg r ess io n   ( F1 - m icr o :   0 . 7 9 5 8 ) ,   n aiv e   B ay es  ( F1 - m icr o :  0 . 6 9 4 2 ) ,   an d   r an d o m   f o r est  ( F1 - m icr o :  0 . 8 3 1 3 ) ,   as  well  as  o t h er   en s em b le  m eth o d s   s u ch   as  v o tin g   ( F1 - m icr o :   0 . 7 9 9 9 ;  Ham m in g   l o s s :  0 . 0 8 6 1 ;  s u b s et  ac cu r ac y :  0 . 6 0 0 7 )   a n d   Ad aBo o s t  ( F1 - m icr o :  0 . 7 9 9 1 ;  Ham m in g   l o s s :   0 . 0 9 4 1 ;  s u b s et  ac cu r ac y :  0 . 5 6 4 0 )   in   v ar io u s   k ey   ev al u atio n   m etr ics.  Sp ec if ically ,   th e  s tack in g   en s em b le  n o t   o n ly   ac h ie v es  th e  h ig h est  F 1 - s co r e  ( m icr o :  0 . 8 6 2 6 ,   m ac r o :  0 . 7 2 8 5 )   b u t  also   t h e  lo west  Ham m in g   l o s s   ( 0 . 0 6 3 3 )   an d   th e   h i g h est  s u b s et  ac cu r ac y   ( 0 . 6 8 2 5 ) .   T h is   s u p er io r   p er f o r m an ce   o f   t h e  s tack in g   en s em b l e   d em o n s tr ates  its   ab ilit y   to   co m b in e  p r e d ictio n s   f r o m   m u ltip le  class if ier s ,   wh ich   is   p ar tic u lar ly   b en ef icial  in   th e  m u ltil in g u al  lan d s ca p e  o f   to u r is m   r ev iews,  wh er e  s en t im en t  ex p r ess io n s   ca n   v ar y   wid ely   [ 1 6 ] .   T h ese  f in d in g s   ar e  in   lin e  with   p r ev io u s   liter atu r e  [ 1 1 ] ,   [ 1 2 ] ,   wh ich   h ig h lig h t  th e  e f f ec tiv en ess   o f   en s em b le  tech n iq u es  in   s en tim e n t  class if icatio n   task s ,   an d   s u p p o r t  t h e  f in d i n g s   o f   [ 3 ] ,   [ 8 ]   r e g ar d in g   th e  b en ef its   o f   s tack in g   f o r   a n aly zin g   d ata  ac r o s s   d ialec ts   an d   lan g u ag es.   B y   ex ten d in g   th ese  r esu lts   in to   th e  co n tex t  o f   m u ltil in g u al  AB SA,  th e  im p licatio n s   o f   u s i n g   s tack in g   en s em b l e  b ec o m e  s ig n if ican t.   I ts   ab ilit y   to   ac h iev e   h ig h er   ac cu r ac y   o f   asp ec t   an d   s en t im en t  p r e d ictio n s   ( ev id en ce d   b y   a  m icr o   F1 - s co r e  o f   0 . 8 6 2 6 )   ca n   im p r o v e  th e   ac cu r ac y   an d   r eliab ilit y   o f   s en tim en t  an aly s is   o n   to u r is m - r elate d   u s er - g en er ate d   co n ten t.  T h is ,   in   tu r n ,   s u p p o r ts   b etter   d ec is io n - m a k in g   f o r   in d u s tr y   s tak eh o ld er s   [ 3 1 ] ,   [ 3 2 ] .   T h is ,   i n   tu r n ,   s u p p o r ts   b etter   d ec is io n - m ak in g   f o r   in d u s tr y   s tak eh o ld er s .   Fo r   ex am p le,   it  ca n   h elp   id en tif y   a  d esti n atio n ' s   s p ec if ic  s tr en g th s   an d   wea k n ess es  b y   an aly zi n g   t h e  asp ec ts   m o s t  f r eq u e n tly   d is cu s s ed ,   alo n g   with   th eir   s en tim en t p o lar ities .   Ho wev er ,   it  s h o u ld   b e  n o ted   t h at  wh ile  th e  s tack in g   m o d el  p er f o r m s   well  with   th e  T F - I D F  f ea tu r e,   r u le - b ased   lab ellin g   ap p r o ac h es  u s ed   in   th e  ea r ly   s tag es  o f   d ata  c o llectio n   o r   as  a  c o m p ar ato r   s till   f ac e   ch allen g es,  in clu d in g   p o ten tia l  in ac cu r ac ies  in   s en tim en t  class if icatio n   d u e  to   co n tex tu al   lan g u ag e  n u an ce s .   Fu tu r e  r esear ch   m a y   ex p lo r e  in teg r atin g   tr an s f o r m er - b ased   m o d els  s u ch   as  b id i r ec tio n al  en co d er   r ep r esen tatio n s   f r o m   tr a n s f o r m er s   ( B E R T )   o r   cr o s s - lin g u al  lan g u ag e  m o d el  b ased   R o B E R T a   ( XL M - R )   with   th is   p r o v en   s tack in g   ar ch itect u r e.   T r a n s f o r m er   m o d els,  wh ich   h av e  d e m o n s tr ated   h i g h er   ac cu r ac y   th r o u g h   co n tex tu al  u n d er s tan d in g   in   s en tim en t  an aly s is   task s   [ 2 9 ] ,   [ 3 3 ] ,   p o ten tially   f u r th er   im p r o v e  p er f o r m an ce ,   esp ec ially   wh en   co m b i n ed   w ith   th e  g en er aliza tio n   ca p ab il ities   o f   s tack in g .   I n   ad d itio n ,   th e  im p o r ta n ce   o f   m u ltil ab el  ev alu atio n   m et r ics  s u ch   as  F1 - s co r e  p er   lab el  ( wh ich   ca n   also   b e  ca lc u lated   f r o m   y o u r   m o d el,     e. g . ,   f o r   F1 _ ac ce s s ib ilit y _ p o s itiv e,   F1 _ am en ities _ n eg ativ e) ,   Ham m in g   l o s s ,   an d   s u b s et  ac cu r ac y   is   b ec o m in g   in cr ea s in g ly   clea r .   T h e   m etr i c  is   im p o r tan t  f o r   co m p r eh en s iv ely   an aly zin g   u s er   o p in io n s   in   a  m u ltil in g u al  AB SA   s y s tem ,   n o t  o n ly   s u p p o r tin g   an   in - d ep th   u n d er s ta n d in g   o f   s en tim en t  r elate d   to   v ar io u s   asp ec ts   o f   to u r is m   b u t a ls o   p r o v i d in g   im p o r tan t in s ig h ts   in to   u s er   p r e f e r en ce s   an d   e x p er ien ce   [ 3 0 ] ,   [ 3 4 ] .   T h u s ,   th is   s tu d y   n o t  o n ly   f i lls   a  m eth o d o lo g ical  g ap   in   th e  m u ltil in g u al  AB SA  lite r atu r e  b y   d em o n s tr atin g   th e  s u p er i o r ity   o f   th e  s tack in g   en s em b le   o n   th e  m u ltil in g u al  to u r is m   r ev iew  d ataset  in   I n d o n esia,  b u t  also   p r o v id es  a n   im p o r tan t  f o o th o l d   f o r   f u r th er   ex p lo r atio n .   T h e  s u cc ess   o f   s tack in g   en s em b le  Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J Ar tif   I n tell     I SS N:   2252 - 8 9 3 8       S ta ck in g   e n s emb le  fo r   mu ltil in g u a l a s p ec t - b a s ed   s en timen t a n a lysi s   o f to u r is m  …   ( B a s w o r o   A r d i P r a mo n o )   4389   with   s p ec if ic  co n f ig u r atio n s   ( l o g is tic  r eg r ess io n   an d   r an d o m   f o r est   as  b ase  lear n er s ,   a n d   lo g is tic  r eg r ess io n   as   m eta - lear n er s )   in   ac h iev i n g   s u b s et  ac cu r ac y   o f   0 . 6 8 2 5   ( m ea n in g   th at  6 8 . 2 5 %   o f   r ev iews  ar e  p er f ec tl y   class if ied   f o r   all  s en tim en t  lab els)  an d   Ham m in g   l o s s   0 . 0 6 3 3   ( av e r ag e  er r o r   p e r   lab el  is   v er y   lo w)   b ec am e  b en ch m ar k s   f o r   t h e  d ev elo p m en t  o f   a n   o p in io n   an al y s is   an d   d esti n atio n   r ec o m m en d at io n   s y s tem   b ased   o n   u s er   r ev iew  d ata  m o r e  ad v an c ed   an d   ac c u r ate.       4.   CO NCLU SI O N   T h is   s tu d y   b en c h m ar k e d   b a s elin e  an d   en s em b le  m ac h in e  lear n in g   m eth o d s   f o r   m u ltil in g u al  m u ltil ab el  AB SA  o n   to u r is m   r ev iews  co v er in g   am en iti es,  attr ac tio n s ,   an d   ac ce s s ib ilit y .   Usi n g   T F - I DF  f ea tu r es  an d   a n   Ov R   m u ltil ab el  f r am ewo r k ,   th e  r esu lts   s h o w  th at  s tack in g   p r o v id es  th e  s tr o n g est  an d   m o s t  co n s is ten t  p er f o r m an ce   ac r o s s   F1 - m icr o ,   F1 - m ac r o ,   Ham m in g   lo s s ,   an d   s u b s et  ac cu r ac y ,   o u tp er f o r m i n g   lo g is tic  r eg r ess io n ,   n aiv e  B ay es,  r an d o m   f o r est,  v o tin g ,   an d   Ad aBo o s t.  T h e  f in d i n g s   in d icate   th at     m eta - lear n in g   e f f ec tiv ely   co m b in es  co m p lem e n tar y   m o d e l  s tr en g th s   an d   y ield s   b etter   lab el - wis e  b alan ce ,   wh ich   is   cr u cial  f o r   e x tr ac tin g   r eliab le  asp ec t - s en tim en t  s ig n als  f r o m   b ilin g u al  to u r is m   d at a.   I n   p r ac tice,   th ese  s ig n als  ca n   h elp   to u r is m   s tak eh o ld er s   p r io r itize   s er v ice  im p r o v em en ts   alig n ed   with   u s er   f e ed b ac k   ac r o s s   th e  th r ee   asp ec t  ca teg o r ies.  Fu tu r e  wo r k   s h o u l d   v alid ate  th e   ap p r o ac h   u n d e r   ad d itio n al  r o b u s tn ess   s ettin g s     ( e. g . ,   cr o s s - v alid atio n   an d   e x ter n al  test   d atasets )   an d   co m p ar e  it  ag ain s t  m u ltil in g u a l  tr an s f o r m er - b ased   en co d er s   to   ass ess   g en er aliza tio n   b ey o n d   T F - I DF r ep r esen tat io n s .       ACK NO WL E DG M E N T S   T h e  au th o r s   th an k   Un iv er s i tas  Sem ar an g   an d   Un iv er s i tas  Dip o n eg o r o   f o r   th e  in s titu tio n al,   co m p u tatio n al,   an d   ac a d em ic  s u p p o r t p r o v i d ed   d u r in g   th is   r esear ch .         F UNDING   I NF O R M A T I O N   T h is   r esear ch   r ec eiv ed   in s titu tio n al  f u n d in g   f r o m   Un iv er s ita s   Sem ar an g .   T h e   f u n d in g   was  p r o v id ed   with o u t a   s p ec if ic  g r a n t o r   c o n tr ac t n u m b e r .         AUTHO R  CO NT RI B UT I O NS ST A T E M E N T   T h is   jo u r n al  u s es  th e  C o n tr ib u to r   R o les  T ax o n o m y   ( C R ed iT)   to   r ec o g n ize  in d iv id u al  au th o r   co n tr ib u tio n s ,   r ed u ce   au th o r s h ip   d is p u tes,  an d   f ac ilit ate  co llab o r atio n .       Na m e  o f   Aut ho r   C   M   So   Va   Fo   I   R   D   O   E   Vi   Su   P   Fu   B aswo r o   Ar d i Pr am o n o   ✓   ✓   ✓   ✓   ✓   ✓   ✓   ✓   ✓   ✓   ✓     ✓     R ah m at  Ger n o wo   ✓   ✓     ✓   ✓     ✓       ✓     ✓       Ag h u s   So f wan   ✓   ✓     ✓       ✓       ✓     ✓         C   :    C o n c e p t u a l i z a t i o n   M   :    M e t h o d o l o g y   So   :    So f t w a r e   Va   :    Va l i d a t i o n   Fo   :    Fo r mal   a n a l y s i s   I   :    I n v e s t i g a t i o n   R   :    R e so u r c e s   D   :   D a t a   C u r a t i o n   O   :   W r i t i n g   -   O r i g i n a l   D r a f t   E   :   W r i t i n g   -   R e v i e w   &   E d i t i n g   Vi   :    Vi su a l i z a t i o n   Su   :    Su p e r v i s i o n   P   :    P r o j e c t   a d mi n i st r a t i o n   Fu   :    Fu n d i n g   a c q u i si t i o n         CO NF L I C T   O F   I N T E R E S T   ST A T E M E NT   T h e  au th o r s   d ec lar e  n o   co n f lict o f   in ter est.        I NF O RM E D  CO NS E N T   T h is   s ec tio n   n o t   ap p licab le.   T h is   s tu d y   an aly s es  p u b licly   av ailab le  o n lin e   r ev iews.  No   h u m a n   s u b jects we r e  r ec r u ited ,   an d   n o   p er s o n ally   id en tifia b le  in f o r m atio n   was c o llected ,   s to r ed ,   o r   r ep o r ted .         E T H I CAL AP P RO V AL   T h is   s ec tio n   n o t  ap p licab le.   T h e  s tu d y   is   b ased   o n   p u b li cly   av ailab le   o n lin e   r ev iews.   All  u s er   id en tifie r s   ( e. g . ,   u s er n am es  an d   p r o f ile  lin k s )   wer e  r em o v e d   d u r in g   p r e p r o ce s s in g ,   an d   o n ly   an o n y m ize d   tex t  d ata  wer e  an aly ze d .   T h er ef o r e ,   in s titu tio n al  eth ical  ap p r o v al  was n o t r eq u ir e d .       Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8 9 3 8   I n t J Ar tif   I n tell ,  Vo l.  15 ,   No .   5 ,  Octo b er   2 0 2 6 :   4 3 8 1 - 4 3 9 1   4390   DATA AV AI L AB I L I T Y   T h e  d ataset  an aly ze d   in   th is   s tu d y   is   p u b licly   av ailab le  o n   Z e n o d o   at  h ttp s ://d o i.o r g /1 0 . 5 2 8 1 /zen o d o . 1 5 5 1 7 7 2 7 .         RE F E R E NC E S   [ 1 ]   Z.   A .   - M o u d ,   H .   V .   - N e j a d ,   a n d   J.  S a d r i ,   “ T o u r i sm   r e c o mm e n d a t i o n   s y st e m  b a se d   o n   se ma n t i c   c l u st e r i n g   a n d   s e n t i m e n t   a n a l y si s , ”   Ex p e rt   S y st e m s w i t h   Ap p l i c a t i o n s ,   v o l .   1 6 7 ,   A p r .   2 0 2 1 ,   d o i :   1 0 . 1 0 1 6 / j . e sw a . 2 0 2 0 . 1 1 4 3 2 4 .   [ 2 ]   S .   G h o sa l   a n d   A .   Ja i n ,   “ W e i g h t e d   a s p e c t   b a se d   se n t i m e n t   a n a l y si s   u si n g   e x t e n d e d   O W A   o p e r a t o r s  a n d   W o r d 2 V e c   f o r   t o u r i sm, ”   Mu l t i m e d i a   T o o l s  a n d   Ap p l i c a t i o n s ,   v o l .   8 2 ,   n o .   1 2 ,   p p .   1 8 3 5 3 – 1 8 3 8 0 ,   M a y   2 0 2 3 ,   d o i :   1 0 . 1 0 0 7 / s 1 1 0 4 2 - 0 2 2 - 1 3 8 0 0 - 4.   [ 3 ]   D .   A r i y u s ,   D .   M a n o n g g a ,   a n d   I .   S e m b i r i n g ,   “ E n h a n c i n g   se n t i me n t   a n a l y si s  o f   I n d o n e si a n   t o u r i sm   v i d e o   c o n t e n t   c o m me n t a r y   o n   Ti k To k :   a   f a st t e x t   a n d   B i - LS TM   a p p r o a c h , ”   E n g i n e e r i n g ,   T e c h n o l o g y   &   A p p l i e d   S c i e n c e   R e se a rc h ,   v o l .   1 4 ,   n o .   6 ,     p p .   1 8 0 2 0 – 1 8 0 2 8 ,   D e c .   2 0 2 4 ,   d o i :   1 0 . 4 8 0 8 4 / e t a sr . 8 8 5 9 .   [ 4 ]   A .   M .   - O r t i z ,   S .   S .   - B e r n a l ,   a n d   A .   O .   - B a r e a ,   “ D e s i g n   a n d   v a l i d a t i o n   o f   a n n o t a t i o n   s c h e ma s   f o r   a s p e c t - b a s e d   s e n t i m e n t   a n a l y s i s   i n   t h e   t o u r i s m  s e c t o r , ”   I n f o rm a t i o n   T e c h n o l o g y   &   T o u r i s m ,   v o l .   2 1 ,   n o .   4 ,   p p .   5 3 5 – 5 5 7 ,   D e c .   2 0 1 9 ,   d o i :   1 0 . 1 0 0 7 / s 4 0 5 5 8 - 019 - 00155 - 0.   [ 5 ]   P .   K .   Ja i n ,   R .   P a mu l a ,   a n d   G .   S r i v a st a v a ,   “ A   s y s t e m a t i c   l i t e r a t u r e   r e v i e w   o n   m a c h i n e   l e a r n i n g   a p p l i c a t i o n s  f o r   c o n su m e r   sen t i m e n t   a n a l y si s   u s i n g   o n l i n e   r e v i e w s,”   C o m p u t e r   S c i e n c e   Re v i e w ,   v o l .   4 1 ,   A u g .   2 0 2 1 ,   d o i :   1 0 . 1 0 1 6 / j . c o sr e v . 2 0 2 1 . 1 0 0 4 1 3 .   [ 6 ]   C. - H .   K u ,   Y . - C .   C h a n g ,   a n d   Y .   W a n g ,   “ H o w   t o   s t r a t e g i c a l l y   r e sp o n d   t o   o n l i n e   h o t e l   r e v i e w s :   a   st r a t e g y - a w a r e   d e e p   l e a r n i n g   a p p r o a c h , ”   I n f o rm a t i o n   & M a n a g e m e n t ,   v o l .   6 1 ,   n o .   5 ,   Ju l .   2 0 2 4 ,   d o i :   1 0 . 1 0 1 6 / j . i m . 2 0 2 4 . 1 0 3 9 7 0 .   [ 7 ]   N .   H a b b a t   a n d   H .   N o u r i ,   “ U n l o c k i n g   t r a v e l   n a r r a t i v e s:   a   f u si o n   o f   st a c k i n g   e n s e mb l e   d e e p   l e a r n i n g   a n d   n e u r a l   t o p i c   m o d e l i n g   f o r   e n h a n c e d   t o u r i sm   c o mm e n t   a n a l y si s , ”   S o c i a l   N e t w o rk  An a l y si s  a n d   M i n i n g ,   v o l .   1 4 ,   n o .   1 ,   A p r .   2 0 2 4 ,   d o i :   1 0 . 1 0 0 7 / s1 3 2 7 8 - 024 - 0 1 2 5 6 - 3.   [ 8 ]   A .   O n a n ,   “ M i n i n g   o p i n i o n s  f r o m   i n st r u c t o r   e v a l u a t i o n   r e v i e w s:   a   d e e p   l e a r n i n g   a p p r o a c h , ”   C o m p u t e r   A p p l i c a t i o n s  i n   E n g i n e e ri n g   Ed u c a t i o n ,   v o l .   2 8 ,   n o .   1 ,   p p .   1 1 7 – 1 3 8 ,   J a n .   2 0 2 0 ,   d o i :   1 0 . 1 0 0 2 / c a e . 2 2 1 7 9 .   [ 9 ]   A .   G h o r b a n a l i ,   M .   K .   S o h r a b i ,   a n d   F .   Y a g h mae e ,   “ E n sem b l e   t r a n sf e r   l e a r n i n g - b a s e d   m u l t i m o d a l   se n t i me n t   a n a l y s i s  u si n g   w e i g h t e d   c o n v o l u t i o n a l   n e u r a l   n e t w o r k s, ”   I n f o rm a t i o n   Pr o c e ssi n g   &  Ma n a g e m e n t ,   v o l .   5 9 ,   n o .   3 ,   M a y   2 0 2 2 ,     d o i :   1 0 . 1 0 1 6 / j . i p m . 2 0 2 2 . 1 0 2 9 2 9 .   [ 1 0 ]   C .   Y u ,   X .   Z h u ,   B .   F e n g ,   L .   C a i ,   a n d   L .   A n ,   “ S e n t i m e n t   a n a l y si s   o f   J a p a n e se  t o u r i sm   o n l i n e   r e v i e w s, ”   J o u r n a l   o f   D a t a   a n d   I n f o rm a t i o n   S c i e n c e ,   v o l .   4 ,   n o .   1 ,   p p .   8 9 – 1 1 3 ,   F e b .   2 0 1 9 ,   d o i :   1 0 . 2 4 7 8 / j d i s - 2 0 1 9 - 0 0 0 5 .   [ 1 1 ]   D .   Ti w a r i ,   B .   N a g p a l ,   B .   S .   B h a t i ,   A .   M i s h r a ,   a n d   M .   K u mar,   “ A   sy s t e m a t i c   r e v i e w   o f   s o c i a l   n e t w o r k   se n t i m e n t   a n a l y si s   w i t h   c o m p a r a t i v e   s t u d y   o f   e n se mb l e - b a se d   t e c h n i q u e s,”   A rt i f i c i a l   I n t e l l i g e n c e   R e v i e w ,   v o l .   5 6 ,   n o .   1 1 ,   p p .   1 3 4 0 7 – 1 3 4 6 1 ,   N o v .   2 0 2 3 ,   d o i :   1 0 . 1 0 0 7 / s 1 0 4 6 2 - 023 - 1 0 4 7 2 - w.   [ 1 2 ]   A .   A .   A l   S h a msi   a n d   S .   A b d a l l a h ,   “ E n sem b l e   st a c k i n g   m o d e l   f o r   se n t i m e n t   a n a l y si s   o f   E mi r a t i   a n d   A r a b i c   d i a l e c t s , ”   J o u rn a l   o f   K i n g   S a u d   U n i v e rsi t y   -   C o m p u t e r  a n d   I n f o rm a t i o n   S c i e n c e s ,   v o l .   3 5 ,   n o .   8 ,   S e p .   2 0 2 3 ,   d o i :   1 0 . 1 0 1 6 / j . j k s u c i . 2 0 2 3 . 1 0 1 6 9 1 .   [ 1 3 ]   A .   M o h a mm e d   a n d   R .   K o r a ,   “ A   c o mp r e h e n si v e   r e v i e w   o n   e n s e m b l e   d e e p   l e a r n i n g :   o p p o r t u n i t i e s  a n d   c h a l l e n g e s, ”   J o u rn a l   o f   K i n g   S a u d   U n i v e rs i t y   -   C o m p u t e r  a n d   I n f o rm a t i o n   S c i e n c e s ,   v o l .   3 5 ,   n o .   2 ,   p p .   7 5 7 – 7 7 4 ,   F e b .   2 0 2 3 ,     d o i :   1 0 . 1 0 1 6 / j . j k s u c i . 2 0 2 3 . 0 1 . 0 1 4 .   [ 1 4 ]   M .   P a o l a n t i   e t   a l . ,   “ T o u r i s m  d e s t i n a t i o n   ma n a g e me n t   u s i n g   se n t i me n t   a n a l y si s   a n d   g e o - l o c a t i o n   i n f o r ma t i o n :   a   d e e p   l e a r n i n g   a p p r o a c h , ”   I n f o rm a t i o n   T e c h n o l o g y   &   T o u ri sm ,   v o l .   2 3 ,   n o .   2 ,   p p .   2 4 1 – 2 6 4 ,   Ju n .   2 0 2 1 ,   d o i :   1 0 . 1 0 0 7 / s 4 0 5 5 8 - 0 2 1 - 0 0 1 9 6 - 4.   [ 1 5 ]   B .   A .   P r a m o n o ,   “ M u l t i l i n g u a l   a sp e c t - b a se d   s e n t i me n t   a n a l y s i s  d a t a se t   o f   t o u r i sm   r e v i e w s   i n   I n d o n e s i a   ( l a b e l e d   w i t h   G e m i n i   2   LLM ) , ”   Z e n o d o ,   2 0 2 5 ,   d o i :   1 0 . 5 2 8 1 / z e n o d o . 1 5 5 1 7 7 2 7 .   [ 1 6 ]   A .   T a n r ı se v d i ,   G .   Ö z t ü r k ,   a n d   A .   C .   Ö z t ü r k ,   “ A   su p e r v i s e d   d a t a   m i n i n g   a p p r o a c h   f o r   p r e d i c t i n g   c o mm e n t   c a r d   r a t i n g s, ”   I n t e r n a t i o n a l   J o u rn a l   o f   C o n t e m p o r a ry  H o sp i t a l i t y   M a n a g e m e n t ,   v o l .   3 4 ,   n o .   5 ,   p p .   1 8 2 3 – 1 8 5 3 ,   A p r .   2 0 2 2 ,   d o i :   1 0 . 1 1 0 8 / I JC H M - 05 - 2 0 2 1 - 0 6 7 5 .   [ 1 7 ]   S .   H u a n g ,   L.   J .   L i a n g ,   a n d   H .   C .   C h o i ,   “ H o w   w e   f a i l e d   i n   c o n t e x t :   a   t e x t - m i n i n g   a p p r o a c h   t o   u n d e r st a n d i n g   h o t e l   serv i c e   f a i l u r e s , ”   S u s t a i n a b i l i t y ,   v o l .   1 4 ,   n o .   5 ,   F e b .   2 0 2 2 ,   d o i :   1 0 . 3 3 9 0 / su 1 4 0 5 2 6 7 5 .   [ 1 8 ]   S .   R i y a n t o ,   I .   S .   S i t a n g g a n g ,   T.   D j a t n a ,   a n d   T.   D .   A t i k a h ,   “ C o mp a r a t i v e   a n a l y si s  u si n g   v a r i o u s p e r f o r ma n c e   m e t r i c s  i n   i m b a l a n c e d   d a t a   f o r   mu l t i - c l a ss   t e x t   c l a ssi f i c a t i o n , ”   I n t e rn a t i o n a l   J o u rn a l   o f   A d v a n c e d   C o m p u t e r  S c i e n c e   a n d   Ap p l i c a t i o n s ,   v o l .   1 4 ,   n o .   6 ,   2 0 2 3 ,   d o i :   1 0 . 1 4 5 6 9 / I JA C S A . 2 0 2 3 . 0 1 4 0 6 1 1 6 .   [ 1 9 ]   B .   H a r j o ,   M u l j o n o ,   a n d   R .   A b d u l l a h ,   “ A t t e n t i o n - b a se d   s e n t e n c e   e x t r a c t i o n   f o r   a s p e c t - b a se d   s e n t i m e n t   a n a l y si s  w i t h   i m p l i c i t   a sp e c t   c a s e s  i n   h o t e l   r e v i e w   u si n g   mac h i n e   l e a r n i n g   a l g o r i t h m,   s e ma n t i c   si m i l a r i t y ,   a n d   B ER T , ”   I n t e r n a t i o n a l   J o u r n a l   o f   I n t e l l i g e n t   En g i n e e ri n g   a n d   S y st e m s ,   v o l .   1 6 ,   n o .   3 ,   p p .   1 8 9 – 2 0 0 ,   J u n .   2 0 2 3 ,   d o i :   1 0 . 2 2 2 6 6 / i j i e s2 0 2 3 . 0 6 3 0 . 1 5 .   [ 2 0 ]   C. - C .   W u ,   C . - W .   Ts a i ,   F . - E.   W u ,   C . - H .   C h i a n g ,   a n d   J. - C .   C h i o u ,   “ P l a n t a r   p r e ss u r e - b a se d   g a i t   r e c o g n i t i o n   w i t h   a n d   w i t h o u t   c a r r i e d   o b j e c t   b y   c o n v o l u t i o n a l   n e u r a l   n e t w o r k - a u t o e n c o d e r   a r c h i t e c t u r e , ”   Bi o m i m e t i c s ,   v o l .   1 0 ,   n o .   2 ,   J a n .   2 0 2 5 ,     d o i :   1 0 . 3 3 9 0 / b i o m i me t i c s1 0 0 2 0 0 7 9 .   [ 2 1 ]   M .   Z h a o   e t   a l . ,   “ Est a b l i s h me n t   o f   a   D a q u   g r a d e   c l a ssi f i c a t i o n   m o d e l   b a s e d   o n   c o mp u t e r   v i si o n   a n d   mac h i n e   l e a r n i n g , ”   Fo o d s ,    v o l .   1 4 ,   n o .   4 ,   F e b .   2 0 2 5 ,   d o i :   1 0 . 3 3 9 0 / f o o d s 1 4 0 4 0 6 6 8 .   [ 2 2 ]   L.   Y a o   e t   a l . ,   “ R i b   f r a c t u r e   d e t e c t i o n   s y st e m   b a se d   o n   d e e p   l e a r n i n g , ”   S c i e n t i f i c   Re p o rt s ,   v o l .   1 1 ,   n o .   1 ,   D e c .   2 0 2 1 ,     d o i :   1 0 . 1 0 3 8 / s 4 1 5 9 8 - 021 - 0 3 0 0 2 - 7.   [ 2 3 ]   S .   A n i s,   S .   S a a d ,   a n d   M .   A r e f ,   “ S e n t i me n t   a n a l y s i s  o f   h o t e l   r e v i e w s   u s i n g   mac h i n e   l e a r n i n g   t e c h n i q u e s, ”   i n   Pr o c e e d i n g s   o f   t h e   I n t e r n a t i o n a l   C o n f e r e n c e   o n   A d v a n c e d   I n t e l l i g e n t   S y s t e m s a n d   I n f o rm a t i c s   2 0 2 0   ( AI S I   2 0 2 0 ) ,   C h a m ,   S w i t z e r l a n d :   S p r i n g e r ,   2 0 2 1 ,   p p .   2 2 7 – 234 ,   d o i :   1 0 . 1 0 0 7 / 9 7 8 - 3 - 0 3 0 - 5 8 6 6 9 - 0 _ 2 1 .   [ 2 4 ]   M .   B .   A n l e y ,   G .   S .   N e g a sh e ,   a n d   A .   Y .   A y a l e w ,   “ O p i n i o n   m i n i n g   o f   t o u r i st s’   sen t i m e n t s :   t o w a r d s  a   c o m p r e h e n si v e   s e r v i c e   i mp r o v e me n t   o f   t o u r i sm  i n d u st r y , ”   i n   2 0 2 3   I EEE  I n t e r n a t i o n a l   C o n f e re n c e   o n   C o m p u t a t i o n a l   I n t e l l i g e n c e   a n d   Vi r t u a l   En v i r o n m e n t s  f o r  Me a s u reme n t   S y st e m s   a n d   A p p l i c a t i o n s  ( C I V EM S A) ,   Ju n .   2 0 2 3 ,   p p .   1 – 6 ,    d o i :   1 0 . 1 1 0 9 / C I V EM S A 5 7 7 8 1 . 2 0 2 3 . 1 0 2 3 1 0 1 3 .   [ 2 5 ]   S .   S a g n i k a ,   A .   P a t t a n a i k ,   B .   S .   P .   M i sh r a ,   a n d   S .   K .   M e h e r ,   “ A   r e v i e w   o n   mu l t i l i n g u a l   se n t i me n t   a n a l y si s  b y   mac h i n e   l e a r n i n g   met h o d s, ”   J o u r n a l   o f   E n g i n e e ri n g   S c i e n c e   a n d   T e c h n o l o g y   R e v i e w ,   v o l .   1 3 ,   n o .   2 ,   p p .   1 5 4 – 1 6 6 ,   A p r .   2 0 2 0 ,     d o i :   1 0 . 2 5 1 0 3 / j e st r . 1 3 2 . 1 9 .   [ 2 6 ]   M .   K .   A n a m,   M .   B .   F i r d a u s,   F .   S u a n d i ,   L a t h i f a h ,   T.   N a s u t i o n ,   a n d   S .   F a d l y ,   “ P e r f o r m a n c e   i mp r o v e me n t   o f   mac h i n e   l e a r n i n g   a l g o r i t h m  u si n g   e n sem b l e   m e t h o d   o n   t e x t   m i n i n g , ”   i n   2 0 2 4   I n t e rn a t i o n a l   C o n f e re n c e   o n   Fu t u r e   T e c h n o l o g i e s   f o r  S m a r t   S o c i e t y   ( I C FTS S ) ,   A u g .   2 0 2 4 ,   p p .   9 0 – 95 ,   d o i :   1 0 . 1 1 0 9 / I C F TSS 6 1 1 0 9 . 2 0 2 4 . 1 0 6 9 1 3 6 3 .   Evaluation Warning : The document was created with Spire.PDF for Python.