I AE S  I nte rna t io na l J o urna l o f   Art if icia l In t ellig ence   ( I J - AI )   Vo l.   9 ,   No .   2 ,  J u n e   2020 ,   p p .   2 12 ~ 2 2 0   I SS N:  2252 - 8938 ,   DOI : 1 0 . 1 1 5 9 1 /i j ai. v 9 .i 2 . p p 2 12 - 2 2 0           212       J o ur na l ho m ep a g e :  h ttp : //ij a i . ia esco r e. co m   Senti m en t  a na ly sis  of inf o r m a l Ma l a y  t w eets w ith  deep learning       O ng   J un   Ying 1 ,  M uh a mm a d   M un ’ i m   Ah m a d  Z a bid i 2 ,  No rha f iza h Ra m li 3 ,   Us m a n Ul la h Shei kh 4   1 De p a rtme n t  o f   De v ice   D e v e lo p m e n t  G ro u p ,   I n tel  P e n a n g ,   M a lay si a   2, 3, 4 S c h o o l  o f   El e c tri c a l  En g in e e ri n g ,   F a c u lt y   o f   En g in e e rin g ,   Un iv e rsiti   T e k n o lo g i  M a lay sia ,   M a la y sia       Art icle  I nfo     AB ST RAC T   A r ticle  his to r y:   R ec eiv ed   J an   1 6 ,   2 0 20   R ev i s ed   Mar   6 ,   2 0 20   A cc ep ted   A pr   17 ,   2 0 20       Tw it ter  is  a n   o n l in e   m icro b lo g g in g   a n d   s o c ial - n e tw o rk in g   p latf o rm   w h ich   a ll o w s  u se rs  to   w rit e   sh o rt  m e ss a g e s  c a ll e d   t w e e ts.  It  h a s  o v e r  3 3 0   m il li o n   re g istere d   u se rs  g e n e ra ti n g   n e a rl y   2 5 0   m il li o n   tw e e ts  p e r  d a y .   As   M a la y   is   th e   n a ti o n a l   lan g u a g e   in   M a lay s ia ,   th e re   is  a   sig n if ica n t  n u m b e r  o f   u se rs  tw e e ti n g   in   M a lay .   Tw e e ts  h a v e   a   m a x i m u m   len g th   o f   1 4 0   c h a ra c ters   w h ich   f o rc e s  u se rs  to   sta y   f o c u se d   o n   th e   m e ss a g e   th e y   w ish   to   d i ss e m in a te.     T h is  c h a ra c teristic  m a k e s  twe e ts  a n   in tere sti n g   su b jec t  f o r  se n ti m e n t  a n a ly sis.  S e n ti m e n t  a n a l y sis  is   a   n a tu ra l  la n g u a g e   p ro c e ss in g   (N L P )  tas k   o f   c las si fy in g   w h e th e r  a   t we e t  h a s  a   p o siti v e   o r  n e g a ti v e   se n ti m e n t.   Tw e e ts  in   M a la y   a r e   c h o se n   in   t h is  stu d y   a s   li m it e d   re se a rc h   h a s  b e e n   d o n e   o n   t h is   lan g u a g e .     In   th is  w o rk ,   se n ti m e n t  a n a l y sis   a p p li e d   t o   M a lay   t w e e ts  u sin g   th e   d e e p   lea rn in g   m o d e l.   W e   a c h iev e d   7 7 . 5 9 %   a c c u ra c y   w h ich   e x c e e d s  si m il a r   w o rk   d o n e   o n   Ba h a sa   In d o n e sia .   K ey w o r d s :   B ah asa  I n d o n es ia   C o n v o lu tio n al  n e u r al  n e t w o r k   Ma la y   Natu r al  la n g u a g e  p r o ce s s in g   Sen ti m e n t a n a l y s is   T h is i s  a n   o p e n   a c c e ss   a rticle   u n d e r th e   CC B Y - SA   li c e n se .     C o r r e s p o nd ing   A uth o r :   Mu h a m m ad   Mu n ’ i m   A h m ad   Z ab id i,   Dep ar t m en t o f   E lectr o n ics a n d   C o m p u ter   E n g i n ee r i n g ,   Sch o o l o f   E lectr ical  E n g i n ee r i n g ,   Facu lt y   o f   E n g i n ee r i n g ,   U n i v e r s iti T ek n o lo g i M ala y s ia ,   8 1 3 1 0   U T M  J o h o r ,   Ma lay s ia.   E m ail:  m u n i m @ u t m . m y       1.   I NT RO D UCT I O N   T h e  ad v an ce m e n t  o f   th e  I n ter n et  ca u s e s   th e  w o r ld   t o   f ac e   ev er - g r o w i n g   v o lu m e s   o f   d ata    in   v ar io u s   f o r m s .  A p p licatio n s   s u ch   as   s o cial  m ed ia,   r e v ie w   s ite s ,   f o r u m s ,   b lo g s ,   an d   o th er s   g en er at e   en o r m o u s   h ea p s   o f   d ata  in   t h e  f o r m   o f   s e n ti m en t,   o p in io n ,   u s er ' s   v ie w s ,   ar g u m e n t s   a b o u t  d if f er en t   s o cial   ev en t s ,   p o liti cs,  p r o d u cts  an d   m o r e.   T h e  s en ti m en t s   ex p r es s ed   b y   u s er s   h a v e   a  v er y   g r e a t  in f l u e n ce   o n   th e   r ea d er s ,   p r o d u ct  v en d o r s ,   an d   ev en   p o liti cian s .   As  a  r esu lt,  m a n y   co m p a n ie s   d ep en d   o n   I n ter n et   u s er s '  f ee d b ac k   a n d   o p in io n s   to   m a r k et  t h eir   p r o d u cts  a n d   s er v i ce s   o n   s o cial  m ed ia  s u c h   as   T w it ter ,   Face b o o k ,   Sn ap ch at,   an d   I n s ta g r a m .   C o m p a n i e s   ar e   i n ter es t ed   in   k n o w i n g   w h at  u s er s   t h i n k   ab o u t  t h eir   s er v ice s   o r   p r o d u cts.  T h e  ch an g e s   in   t h es e  b u s in e s s   m o d els  h ad   cr ea ted   a  h u g e  b u s i n es s   o p p o r tu n ity   f o r   th e  s en t i m e n t   a n al y s is   o f   t h e  d ata   [ 1 ] .   Ma la y   is   Ma la y s ia 's  n atio n a l  la n g u a g e.   I n   Ma la y s ia ,   t h e r e  ar e  a  s i g n i f ica n t  n u m b er   o f   u s er s   w h o   ar e  u s i n g   Ma la y   to   ex p r ess   t h eir   o p in io n s   an d   ar g u m e n t s   o n   s o cial  m ed ia.   T h er e  is   a  h u g e  b u s in e s s   o p p o r tu n it y   f o r   b u ild in g   a  Ma la y   s e n ti m e n t  an al y s is   m o d el.   Ho w e v er ,   v er y   l i m ited   r esear ch   h as  b ee n   attr ib u ted   to   Ma la y  s e n ti m en t a n al y s is   [ 2 ] .   Data   o n   s o cial  m ed ia  ar e  m o s tl y   u n s tr u ct u r ed .   T h e  lar g e  am o u n ts   o f   u n s tr u ct u r ed   d ata   m ak e  it  v er y   d if f ic u lt   f o r   a  h u m a n   to   ex tr ac t   an d   s u m m ar i ze   th e   o p in io n   c o n tain ed   th er ei n .   O f te n ,   h u m a n   er r o r s   w il l  o cc u r   th u s   r ed u c i n g   t h e  ac c u r ac y   o f   th e  d ata  an a l y s is .  A u to m ated   s en ti m e n t  an al y s is   w i ll   g r ea tl y   r ed u ce   t h e   w o r k lo ad   f o r   a  h u m a n   to   an al y ze   t h e  d ata   [3 - 4] .  T o   e x p lo it  th i s   o p p o r tu n it y ,   m an y   s tar t - u p s   ar e  n o w   p r o v id in g   s e n ti m e n t  an a l y s is   s er v ices  f o r   th e  p u b lic.   L i k e wis e,   m a n y   b i g   co r p o r atio n s   ar e  also   b u ild in g   th e ir   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J   A r ti f   I n tell   I SS N:  2252 - 8938       S en timen t a n a lysi s   o f in fo r ma l Ma la y  tw ee ts   w i th   d ee p   lea r n in g   ( On g   Ju n   Yin g )   213   in - h o u s e  ca p ab ilit ies   in   s e n ti m en t  an al y s is .   T h ese  p r ac tical  ap p licatio n s   an d   i n d u s tr ial  in ter ests   h av e  p r o v id ed   a  s tr o n g   m o tiv a tio n   f o r   r esear ch   in   s en t i m e n t a n al y s i s .         2.   L I T E R AT U RE   R E VI E W   2 . 1 .     Na t ura l la ng ua g e  pro ce s s ing   Natu r al  L a n g u a g e  P r o ce s s in g   is   a  f ield   th at  in ter s ec t s   o f   ar tific ial  in telli g e n ce ,   co m p u ter   s c ien ce ,   an d   lin g u i s tic s .   I t  r ef er s   to   an   i n t er ac tio n   b et w ee n   m ac h i n es  a n d   h u m an s   i n   n at u r al  la n g u a g e  [ 5 ] .   T h e  u lti m ate   g o al  o f   N L P   is   to   en ab le  co m p u ter s   to   u n d er s ta n d   lan g u ag e   as  w ell  a s   h u m a n s   d o .   NL P   is   d iv id ed   in to   th r ee   ca teg o r ies,  w h ic h   ar e:     Natu r al  L an g u ag e  U n d er s ta n d in g : Co m p u ter s '   ab ilit y   to   u n d er s tan d   w h at  w e  s a y .     Natu r al  L an g u ag e  Ge n er atio n :   T h e  g en er atio n   o f   n at u r al  lan g u a g e  b y   a  co m p u ter .     Sp ee ch   R ec o g n it io n : T h e  tr an s latio n   o f   s p o k en   la n g u a g e  i n t o   tex t.   NL P   h ad   b ee n   w id el y   ap p lied   to   d if f er en t  ap p licatio n s ,  s u c h   as   p r ed ictiv e  t y p in g ,   s en ti m en t  an al y s is ,   s p ell   ch ec k in g ,   s p a m   d etec t io n ,   an d   o th er s .     2 . 2 .     Senti m ent   a na ly s is   Sen ti m e n t  an al y s is   ( S A )   is   als o   k n o w n   as  o p in io n   m in i n g   [ 6 ] .   I t   r ef er s   to   b u ild   a  s y s te m   to   id en tif y   an d   ex tr ac t o p in io n s   f r o m   th e  tex t.  I t o f te n   ab le  to   ex tr ac t th e  attr ib u te  o f   th e  e x p r ess io n ,   w h ic h   in cl u d es:      Su b j ec t: T o p ic  th at  is   talk ed   a b o u t.     P o lar ity : P o s itiv e  o r   n e g ati v e  o p in io n .     Op in io n   h o ld er : E n tit y   th at  e x p r ess es a n   o p in io n .   Sen ti m e n t  a n al y s is   g e n er ates   g r ea t  in ter e s t  m ain l y   d u e  t o   h av i n g   m a n y   p r ac tical  ap p licatio n s .    T h e  co n s tan t  e x p an s io n   o f   th e  I n ter n et  p r o d u ce s   lar g e   v o lu m es   o f   te x t u al  d ata   ex p r ess i n g   o p i n io n s .     Wi th   s en ti m en t  a n al y s i s ,   th i s   m ess y   an d   u n s tr u ct u r ed   in f o r m atio n   w il l  b e  au to m atica l l y   tr an s f o r m ed   i n to   s tr u ct u r ed   d ata.   T h ese  d ata  c o n tain   th e   p u b lic  o p i n io n   ab o u t  s er v ice s ,   p r o d u cts,  b r an d s   an d   d if f er en t  to p ics   th at  p eo p le  co u ld   ex p r ess   o p in io n s   ab o u t.  T h e   d ata  is   v er y   v alu ab le  f o r   co m m er ci al  ap p licatio n s   li k e   m ar k et in g   a n al y s i s ,   p r o d u ct  f ee d b ac k ,   cu s to m er   s er v ices,  p u b lic  r elatio n s h ip ,   a n d   o th er s .   I n   s h o r t,  t h e  S A  s y s te m   h e lp s   co m p a n ies   to   m ak e  s e n s e   o f   th i s   s ea   o f   u n s tr u ctu r ed   te x t  b y   a u to m at in g   b u s i n es s   p r o ce s s es,   g etti n g   ac t io n ab le  in s i g h t s ,   an d   s av in g   ti m e  o n   m an u al  d ata   p r o ce s s in g .   T h is   r esear ch   f o c u s e s   s o lel y   o n   th e   p o lar ity   e x tr ac tio n   a s p ec t o f   S A .   T h er e  ar e  s ev er al  w a y s   o r   ap p r o ac h es  to   i m p le m en t  th e  s en ti m en t  an al y s is   s y s te m .   As   s h o w n   i n   Fig u r e  1 ,   t h ese  ap p r o ac h es  ar e  o f ten   b e  ca teg o r ized   in to   t w o   m aj o r   ca teg o r ies,  w h ic h   a r e  m ac h i n e  lear n i n g   ap p r o ac h es a n d   lex ico n - b ased   ap p r o ac h es [ 7 ] .     Ma ch i n e  L ea r n in g   A p p r o ac h es:  L ea r n   t h e  f ea t u r es  f r o m   lab elled   d ata,   th en   ap p ly   it   to   a  s et  o f   u n k n o w n   d ata.     L e x ico n   B ased   A p p r o ac h es:   W o r k   o n   th e   d ictio n ar y   w it h   a  li s t  o f   w o r d s /s e n te n ce s   w it h   d i f f er en t   p o lar ity ,   o u tp u t p o lar it y   w ill b e  s o m e   o f   t h e  p o lar ities   o n   d if f er en t  w o r d s / s en ten ce s   [ 8 ] .           Fig u r e  1 .   Sen t i m e n t c las s if icat io n   tech n iq u e s       Ma ch i n e  lear n in g   ap p r o ac h es   r el y   o n   u s i n g   alg o r it h m s   to   a u to m at ic all y   e x tr ac t  t h e  f ea t u r e s   f r o m   a   d ata  s et.   Af ter   t h e  m o d els  h a v e   b ee n   s u f f icie n t ly   tr ai n ed ,   it  w i ll  b e  f ed   w it h   u n k n o w n   tex t  an d   t h en   r etu r n s   w it h   t h e   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8938     I n t J   A r ti f   I n tell ,   Vo l.  9 ,   No .   2 ,  J u n e   20 20 :   2 12   –   2 20   214   co r r esp o n d in g   p o lar it y   ( p o s itiv e,   n eg a tiv e,   o r   n eu tr al) .   T h e   s en ti m e n t  an al y s is   tas k   is   u s u all y   ca teg o r ize d   in   NL P   u n d er   th e  tex t c la s s i f ica ti o n   s eg m e n t a n d   t h er ef o r e  is   a  t y p e  o f   class if ier .     2 . 3 .     Da t a   p re - pro ce s s ing   Data   p r e - p r o ce s s i n g   r ef er s   to   th e  s tep s   th at   n ee d   to   b e  e m p lo y ed   b ef o r e  it   ca n   b e  tr an s f o r m ed   i n to   th e  n u m er ical  f ea tu r e  t h at  ca n   w o r k   w it h   t h e  m ac h i n e  lea r n in g   al g o r ith m   [ 9 ] .   T h e  r a w   tex t  co m es   w it h   a  v ar iet y   o f   f o r m s ,   f o r   ex a m p le,   in d i v id u al   w o r d s ,   to   s e n t en ce s ,   m u ltip le  p ar a g r ap h s ,   ev en   w it h   s p ec ial   ch ar ac ter s   an d   co n tai n s   a  lo t o f   r ed u n d a n t in f o r m a tio n .   A ll  t h e s e  r a w   te x t s   n ee d   to   b e  clea n ed   u p   an d   tr i m   d o w n   to   th e  r o o t  f o r m at  t h at  ca n   w o r k   w ell   w it h   th e  m ac h i n e  lear n in g   al g o r it h m .   G o o d   tex t  p r e - p r o ce s s i n g   e n h a n ce s   t h e  cla s s i f icatio n   ac c u r ac y   a n d   a s   w ell   as   tr ain i n g   e f f icie n c y   [ 1 0 ] .  T h e  d if f er en t te x t p r e - p r o ce s s i n g   tec h n iq u es t h at  ar e  o f te n   u s ed   ar e  s tated   b elo w :     T o k en izer : T o   cr ea te  a  to k en   f o r   ea ch   w o r d   in   th e  s en te n ce s / d o cu m en t.     C ap italizatio n : C h an g i n g   all  t h e  w o r d s   to   lo w er   ca s e  o r   u p p er   ca s e.     A b b r ev iatio n   R ep lace m en t: E x p an d   th e  ab b r ev iatio n   to   th e  o r ig in al  w o r d s .     Sto p   w o r d   r em o v al : Re m o v e  t h e  m ea n i n g less   w o r d s .   Fo r   ex a m p le:  ’ is ’ ,   ’ t h e ’ ,   ’ ar e ’ .     Ste m m i n g :  P r o ce s s   o f   r e m o v in g   t h e  e n d in g s   o f   t h e  w o r d .   Fo r   ex a m p le:  c h a n g i n g   ' s tu d ies '   to   'st u d y ',   ch an g i n g   'st u d y i n g '   to   ' s tu d y ' .     L e m m atiza t io n :  P r o ce s s   o f   g r o u p in g   t h e  d if f er e n t  i n f lecte d   f o r m s   o f   a  w o r d .   Fo r   ex a m p le:  ch a n g i n g   ' s tu d ie s '   an d   ' s t u d y i n g '   to   'st u d y '.     Sp ellin g   C o r r ec tio n :  R ec o v er   t h e  w o r d s   f r o m   t y p o s .     P ar t o f   s p ee ch   tag g in g : ta g   to k en   f o r   th e  t y p e  o f   t h e  w o r d .   Fo r   ex a m p le  No u n s ,   V er b s ,   A d j ec tiv es.     R e m o v e  n u m b er s : Re m o v e  t h e  n u m er ical  e x p r ess io n .     Na m ed   en ti t y   r ec o g n itio n :  lab el  th e  w o r d s   w i th   r esp ec ti v e  e n tit ie s .   Fo r   ex a m p le,   n a m e,   lo ca tio n ,   d ates,  ad d r ess .   No t  all  p r e - p r o ce s s in g   tech n i q u es   ar e  s u i tab le  f o r   ev er y   s ce n ar io .   T h e  tech n iq u e s   ar e  ch o s en   o n   a  ca s e     b y   ca s e  b asi s.     2 . 4 .    T ex t   t o   nu m er ica l r epre s ent a t io n   T h e  co m p u ter   o n l y   u n d er s ta n d s   th e  d ata  w h ic h   i s   a  n u m er ical  f o r m at,   s o   d o   th e  m ac h in e  lear n in g   alg o r ith m s .   B e f o r e  in p u tt in g   t h e  d ata  f o r   th e  m ac h i n e  lear n i n g   al g o r it h m   to   p r o ce s s ,   w e  n ee d   to   co n v er t  th e   d ata  f r o m   te x t u al  f o r m at  to   n u m er ical  f o r m at.   T h is   p r o ce s s   i s   also   k n o w n   as  te x t  v ec to r iza tio n .   T h e  co m m o n   tech n iq u es  f o r   tex t  v ec to r izati o n   ar e:     B ag   Of   W o r d s   ( B o W ) :  B o W   is   a  b asic  an d   s tr aig h t f o r w ar d   tech n iq u e.   W ith   th i s   m e th o d ,   th e  o r d er   an d   g r a m m ar   o f   t h e  w o r d s   ar e  d is ca r d ed .   I t  o n l y   tell s   w h e th er   a   w o r d   is   p r esen t i n   t h e  d o cu m e n t o r   n o t.  E ac h   w o r d   o f   t h e  e n tire   d ata  s et  i s   co r r esp o n d in g   to   a  co l u m n ,   if   th e  p ar tic u lar   ex is t  in   th e   in p u t  s e n te n ce s ,   v ec to r   r ep r esen tatio n   o f   t h i s   s e n ten ce   h as a   1   in   t h e  co r r esp o n d in g   co lu m n   f o r   th i s   w o r d   [ 1 1 ] .     T er m   Fre q u e n c y   –   I n v er s e  Do cu m e n t  Fre q u e n c y   ( TF - I DF ) :  E ac h   w o r d   w i th i n   a n   i n p u t  s en te n ce   is   r ep lace d   w it h   its   T F - ID F   s co r e  an d   cr ea ted   a  v ec to r   o u t  o f   th e s e  s co r es  f o r   ea ch   in p u t  s en te n ce .   T h e   w h o le  id ea   o f   th i s   m ea s u r e  is   to   g iv e  m o r e  i m p o r tan ce   to   t h e  ter m s   th at  ar e  m o r e  s p ec if i c  to   a  ce r tain   class   ( T F)  an d   r ed u ce   th e  i m p o r tan ce   o f   th e  ter m   th at  i s   v er y   f r eq u en t i n   t h e  en t ir e  co r p u s   ( I DF)   [ 1 2 ] .     W o r d   E m b ed d in g s :  A   w a y   o f   s tatis t icall y   e x tr ac ti n g   t h e  m ea n i n g   o f   a  w o r d   f r o m   th e  tex t  an d   r ep r esen tin g   it  w it h   a  s et   o f   n u m b er s .   T o   b e  ab le  to   u n d er s tan d   th e  m ea n i n g   o f   a  w o r d ,   th e s e  m o d els  u s e   co n tex t u al   s i m ilar itie s .   W it h   th i s   te c h n iq u e,   w o r d s   w it h   s i m ilar   m ea n i n g s   te n d   to   h av e  a  s i m ilar   r ep r esen tatio n .   T h e  w o r d 2 v ec   m et h o d   is   co m m o n l y   u s ed   f o r   w o r d   e m b ed d in g s   [ 1 3 ] .     2 . 5 .     Cla s s if ica t io n  a lg o rit h m s   Ma n y   cla s s i f icatio n   alg o r it h m s   ex is t   i n   m ac h i n e  lear n i n g .   F o r   s en ti m e n t  an a l y s is ,   s tat is tic al  m o d el s   lik e  S u p p o r t V ec to r   Ma ch in e  ( SVM) ,  Na ï v e  B a y e s   ( NB )   o r   n eu r al  n et w o r k s   ar e  co m m o n l y   u s ed .     Naïv e  B a y es  ( NB ) :  Use  B ay e s ’ s   T h eo r em   ( p r o b ab ilis tic  alg o r it h m s )   to   p r ed ict   th e  ca teg o r y     o f   a  tex t   [ 1 4 ] .     Su p p o r t  Vec to r   Ma ch i n e  ( SV M ) :  T ex t  is   r ep r esen ted   a s   a  p o in t  i n   a  m u ltid i m en s io n al   s p a ce .   T h e  p o in ts   w il l  b e  m ap p ed   to   d if f er en t  ca teg o r ies.  Ne w   te x t  is   m ap p ed   o n to   th e  s a m e  s p ac e  an d   p r ed icted   to   b elo n g   to   ca teg o r ies b ased   o n   th e  r eg i o n   th at  lie s   [ 1 5 ] .     A r ti f icial  Neu r al  Net w o r k s   ( ANN)   an d   Dee p   L ea r n in g   ( D L ) :   Usi n g   a  d iv er s e  s et  o f   al g o r it h m s   to   i m itate  h o w   th e  ac t u al  h u m a n   b r ain   wo r k s   b y   e m p lo y in g   ar ti f icial  n eu r al  n et w o r k s   to   p r o ce s s   d ata   [ 1 6 ] .   C o n v o lu tio n al  Ne u r al  Ne t w o r k   ( C NN)   s u ch   as  s h o w n   i n   F ig u r e  2   i s   a  t y p e  o f   ANN  t h at  i s   co m m o n l y   u s e d   in   i m a g e  r ec o g n itio n .   I n it iall y ,   it  w a s   d esi g n ed   to   p r o ce s s   t h e  p ix e l  d ata,   b u t  r ec en tl y   C NN   also   h as b ee n   ap p lied   to   tex t c l ass i f icatio n   tas k s   a n d   ac h ie v e   v er y   g o o d   p er f o r m a n ce   [ 1 7 - 1 9 ] .   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J   A r ti f   I n tell   I SS N:  2252 - 8938       S en timen t a n a lysi s   o f in fo r ma l Ma la y  tw ee ts   w i th   d ee p   lea r n in g   ( On g   Ju n   Yin g )   215   T h e  ar ch itectu r e  o f   C N N  p r ett y   m u c h   li k e  a  m u lti - la y er   p er ce p tr o n   th at  h a s   b ee n   d esig n ed   f o r   r ed u ce d   p r o ce s s in g   r eq u ir e m e n ts .   I n   g e n er al,   C N N  w i ll  co n s is t   o f   a n   in p u t  la y er ,   a  h id d en   la y er ,   an d   o u tp u t   la y er s .   T h e  h id d en   la y er   in cl u d es  m u ltip le  co n v o lu tio n al  la y er s ,   n o r m a lizatio n   la y er ,   p o o lin g   la y er   a n d   f u ll y   co n n ec ted   l a y er   [ 16 ] .   C NN  h as  f o r w ar d   an d   r ev er s e  tr an s m is s io n .   I n   f o r w ar d   tr an s m i s s io n ,   th e  d ata  in p u t  s tr u ct u r es  u n d er g o   m u ltip le  l a y er s   o f   p r o ce s s es  an d   o u tp u t  s tr u c tu r es  i n   th e  o u tp u t  la y er ,   an   ac tiv atio n   f u n ctio n   is   n ee d ed   in   e v er y   la y er .   I n   r ev er s e  tr a n s m i s s io n ,   t h e  p r o b ab ilit y   o f   er r o r   is   ca lcu lated   u s i n g   a  g i v e n   m o d el  r es u lt  an d   th e  f o r w ar d   tr an s m is s io n   r es u lt,  an d   its   tr an s f er   to   th e  er r o r   f u n ctio n   b ac k   to   ea ch   r esp ec tiv e  la y er ,   last l y   th e   g r ad ie n t  d es ce n t  tec h n iq u e  is   ap p lied   to   t u n e   th e   b ias  p ar a m eter   a n d   n et w o r k   w ei g h ts   to   o b tain   b etter   ac cu r ac y .           Fig u r e  2 .   C o n v o l u tio n al  Neu r a l N et w o r k   [ 1 6 ] .       T r ain in g   o f   C NN  is   d o n e  i n   t w o   s tag e s   w h ic h   ar e  th e   tr ain in g   s ta g e  a n d   test i n g   s tag e.   D u r in g   t h e   tr ain i n g   s tag e,   a  s et  o f   lab elle d   d ata  n ee d s   to   b e  p r o v id ed .   T h is   s tag e  w il l  in v o lv e  t h e  co n v o l u tio n   p r o ce s s ,   s u b s a m p li n g   a n d   m u ltip l y i n g   th e  en d   o u tco m e  o f   t h e  s u b s a m p li n g   w i th   ce r tai n   ar tifi cial  n eu r al  w e ig h ts   d u r in g   th e  tr ai n i n g   p r o ce s s .   W h ile  t h e  test i n g   s ta g e  is   to   ap p ly   in p u t d ata  an d   test   o n   t h e  tr a in ed   m o d el  [ 1 0 ] .         3.   M E T H O DO L O G Y   Fig u r e  3   s h o w s   t h e  m e th o d o lo g y   u s ed   f o r   th i s   w o r k .   Firs t,  th e  d ataset  is   p r e p ar ed .   I t  th en   g o e s   th r o u g h   p r e - p r o ce s s i n g ,   lab ellin g   an d   co n v er s io n   to   n u m er ical  r ep r esen ta tio n .   Af ter   th e s e  s tep s     ar e  d o n e  th e  d ata  is   r ea d y   u s e   to   tr ain   an d   test   o n   th e  C NN  m o d el.   L ast l y ,   t h e  p er f o r m an c e  o f   th e  s e n ti m en t   an al y s is   ta s k   is   an a l y ze d .           Fig u r e  3 .   Data   p r o ce s s in g       3 . 1 .     P r o po s ed  CNN  a rc hite ct ure   T h e  p r o p o s ed   ar ch itectu r e   s h o w n   i n   Fi g u r e  4   an d   T ab le  1   is   th e  C NN  ar ch itectu r e  ad o p ted   f r o m   [ 2 0 ]   w it h   t h e  ad d itio n   o f   a  d r o p o u t la y er   to   r ed u ce   th e  o v er f itti n g   p r o b lem .   1.   E ac h   w o r d   is   m ap p ed   to   a   w o r d   v ec to r   r ep r esen tatio n   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8938     I n t J   A r ti f   I n tell ,   Vo l.  9 ,   No .   2 ,  J u n e   20 20 :   2 12   –   2 20   216     T h e  en tire   t w ee t  ca n   b e  m ap p ed   to   a  m atr ix   o f   s ize  s  ×   d ,   w h er e  s   =  n u m b er   o f   w o r d s   an d   d   =  d i m en s io n   o f   t h e  e m b ed d i n g   s p ac e   2.   Z er o   p ad d in g     T o   m a k e  s u r e  all  t w ee ts   h a v e  t h e  s a m e  m a tr ix   d i m en s io n .   3.   Ma x   p o o lin g   la y er     E x tr ac ts   t h e  m o s t i m p o r tan t  f e atu r e  f o r   ea ch   co n v o lu tio n .     C o m b i n e  all  th e  c m a x   o f   ea ch   f ilter   i n to   o n e  v ec to r .   4.   Dr o p   o u t la y er     E x p licitl y   alter in g   t h e  n et w o r k   ar ch itectu r e  at  tr ai n in g   ti m e   5.   So f t m ax   la y er     G iv e  o u t  f i n al  clas s i f icatio n   p r o b ab ilit ies           Fig u r e  4 .   P r o p o s ed   C NN  ar ch itectu r e       T ab le  1 .   B aselin e  C N N  co n f ig u r atio n .   P a r a me t e r   V a l u e   F i l t e r   R e g i o n   2 , 3 , 4   F e a t u r e   M a p   1 0 0   P o o l i n g   L a y e r   M a x   P o o l i n g   A c t i v a t i o n   F u n c t i o n   R e L u   D r o p   O u t   L a y e r   R a t e   0 . 5       3 . 2 .     Da t a   p re - pro ce s s ing     T h e  r a w   tex t  co m e s   in   a  v ar iet y   o f   f o r m s ,   f o r   ex a m p le,   i n d iv id u al  w o r d s ,   to   s en ten ce s ,   m u ltip l e   p ar ag r ap h s ,   ev en   w i th   s p ec ial  ch ar ac ter s   an d   co n tai n s   a  lo t  o f   r ed u n d an t  i n f o r m atio n .   I n   o u r   ca s e,   th e  d ata  is   r ef er r ed   to   as  r a w   t w ee ts .   All  t h ese  r a w   te x ts   n ee d   to   b e  clea n ed   u p   to   f it  w i th   t h e   m ac h in e   lear n in g   al g o r ith m   w ell.   T h e  d ata  p r e - p r o ce s s in g   s tep s   p r o p o s ed   ar e   as f o llo w s :   1.   Sp l it  h as h ta g   to   w o r d s   2.   C ap italizatio n   3.   R e m o v e  n u m b er ,   h t m l ta g ,   u r l   4.   Ste m m i n g ,   l e m m atiz in g   ( n o r m aliza tio n )   5.   Sto p   w o r d   r em o v al   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J   A r ti f   I n tell   I SS N:  2252 - 8938       S en timen t a n a lysi s   o f in fo r ma l Ma la y  tw ee ts   w i th   d ee p   lea r n in g   ( On g   Ju n   Yin g )   217   6.   T o k en izatio n   7.   Data   a n n o tat io n /lab elli n g   ( p o s i tiv e ,   n e g ati v e ,   n e u tr al )     3 . 3 .     T ex t   t o   nu m er ica l r epre s ent a t io n   B ef o r e  in p u t,   t h e  d ata  f o r   t h e  m ac h in e   lear n i n g   al g o r ith m   to   p r o ce s s ,   th e   d ata  i n   th e   tex tu a l  f o r m at  i s   co n v er ted   to   n u m er ical  f o r m at  u s i n g   W o r d 2 Vec .   W o r d 2 V e c   is   a  t w o - la y er   n eu r al  n et  t h at  p r o ce s s es  te x t.    I ts   in p u t  is   a  tex t  co r p u s   an d   its   o u tp u t  is   a  s et  o f   v ec t o r s :  f ea tu r e  v ec to r s   f o r   w o r d s   in   th at  co r p u s .     W h ile  W o r d 2 v e c   is   n o t  a  d ee p   n eu r al  n et w o r k ,   it  t u r n s   te x t  i n to   a  n u m er ical  f o r m   th at  d ee p   n et s     ca n   u n d er s ta n d .   T h e  p u r p o s e  an d   u s ef u l n e s s   o f   W o r d 2 v e c   a r e  to   g r o u p   t h e  v ec to r s   o f   s i m ilar   w o r d s   i n   v ec to r   s p ac e.   T h at  is ,   it  d etec ts   s i m i l ar ities   m at h e m atica ll y .   W o r d 2 v e c   cr ea tes  v ec to r s   th at  ar e  d is tr ib u ted   n u m er ical   r ep r esen tatio n s   o f   w o r d   f ea tu r es,  f ea t u r es s u ch   a s   th e  co n tex t o f   in d i v id u al   w o r d s .     3 . 4 .     T ra ini ng   s t ra t eg y   Af ter   t h e  d ata  p r e - p r o ce s s in g   s tep   an d   m o d el  ar e  d ef in ed ,   t h e  n e x t  s tep   to   d eter m i n e  is   t h e  tr ain i n g   s tr ateg ie s   to   tr ain   t h e  m o d el.   A   Gr ap h ics  P r o ce s s in g   U n it  ( GP U)   is   ch o s en   to   tr ain   t h e  m o d el.   Usi n g   a  GP U  s av e s   s u b s ta n tial   a m o u n ts   o f   t i m e  s i n ce   a   GP U  ca n   s u p p o r t  a  h i g h er   n u m b er   o f   p ar allel  ta s k s   co m p ar e  to   th e   C en tr al  P r o ce s s i n g   U n it  ( C P U)   d u e  to   th e   h i g h er   n u m b er   o f   co r es.  A t  t h e  s o f t w ar e  le v el,   Ker as  p ac k ag e   i m p le m en t s   t h e  tr ain i n g   p r o ce d u r e  [ 2 1 ]   Nex t,  an o t h er   i m p o r tan t  ite m   o n   d ee p   lear n in g   is   t h e  d ata  s et  u s ed   to   tr ain   t h e  m o d el.   I n   th is   s t u d y ,   t w o   d if f er en t  d ata  s ets  w er e   u s ed   s ep ar atel y   to   tr ain   th e  E n g li s h   S A   m o d el  an d   Ma la y ' s   S A   m o d el.     Fo r   th e  E n g l is h   S A   m o d el,   th e  s en ti m e n t1 4 0   d ata   s et  w as  u s ed   [ 22 ] .   T h is   d ata  s et  co n tai n s   ab o u t  1 6   m illi o n   E n g l is h   t w ee t s   w i th   p o s iti v e  an d   n e g ati v e  lab el s .   I t  i s   w id el y   u s ed   i n   r e s ea r ch   p u r p o s es .   Fo r   th e  Ma la y   S A  m o d el,   t h e  M AL A Y A  d ata  s et  w a s   u s ed   [ 23 ] .   I t  co n tain s   ab o u t  6   m i llio n   Ma la y   T w ee t s   w it h   p o s itiv e  a n d   n eg at iv e  lab el s .   Fo r   ea ch   o f   th e  d ata  s et,   th e  tr ain i n g   i s   co n f i g u r ed   to   s et  8 0 %  o f   th e  d ata  to   b ec o m e  th e  tr ain i n g   d ata   w h ile  t h e  2 0 %  th at  lef t  w ill  b e   s ep ar ate  h alf   b ec o m e  v ali d ate  d ata  an d   an o th er   h alf   b ec o m e  te s ti n g   d ata.   B esid es,  th e  tr ain i n g   is   co n f i g u r ed   to   u s e  1 0 0   ep o ch s .       4.   RE SU L T S  A ND  AN AL Y SI S   4 . 1 .     T ex t   t o   nu m er ica l r epre s ent a t io n r esu lt   T h is   s ec tio n   r ep o r ts   t h e  r es u lt s   f r o m   t h e  W o r d 2 Vec   n u m er ic  co n v er s io n .   A f ter   th e   W o r d 2 Vec   m o d e l   is   tr ai n ed ,   th e   w ei g h t  o f   t h e  w o r d s   ( n u m er ic  f o r m at)   w ill   b e  f i x ed   an d   w o u ld   n o t  b e  c h an g ed .   T h e   tr ai n ed   W o r d 2 Vec   m o d el  b ec o m es  o n e  o f   t h e  la y er s   i n   t h e  f i n al  C NN   s en t i m e n t  a n al y s i s   m o d el .   T h e  m ai n   p u r p o s e   an d   u s e f u ln e s s   o f   W o r d 2 v e c   a r e  to   g r o u p   th e  v ec to r s   o f   s im i lar   w o r d s   in   v ec to r   s p ac e.   A s   s h o w n   i n   Fi g u r e  5 ,   W o r d 2 Vec   s h o w s   th e  m at h e m atica l si m ilar itie s   f o r   th e  to p   2 0   m o s t si m ilar   ter m s   f o r   d if f er en t in p u t   w o r d s .           Fig u r e  5 .   W o r d 2 Vec   s i m ilar iti es r esu lt s           Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8938     I n t J   A r ti f   I n tell ,   Vo l.  9 ,   No .   2 ,  J u n e   20 20 :   2 12   –   2 20   218   4 . 2 .     CNN  m o del hy per - pa ra m et er   t un ing   T h e  h y p er - p ar a m eter s   ar e  t h e  s etti n g s   ca n   b e  tu n ed   t o   o p tim ize  t h e  d ee p   lear n in g   m o d el.     I n   th i s   p r o j ec t  th er e  ar e  f e w   h y p er - p ar a m eter   h ad   b ee n   d eter m i n ed   an d   tu n ed .   T h ese  ar e  th e  f ilter   r eg io n   s ize,   f ea t u r e  m ap s   a n d   d r o p   o u t  lay er   r ate.   T ab les  2 - 6   r ep o r ts   th e  v ar io u s   ad j u s t m e n ts   m ad e   to   th e  ar ch itec tu r e   d u r in g   tr ain i n g .       T ab le  2 .   R esu lts   o f   d if f er en ce   s in g le    f ilter   r eg io n   s ize s   I t e r a t i o n   R e g i o n   S i z e   A c c u r a c y   T1   1   76. 00 %   T2   3   77. 30 %   T3   5   76. 93 %   T4   7   76. 52 %   T5   10   76. 42 %   T6   15   76. 68 %   T7   20   76. 91 %   T8   30   76. 58 %     T ab le  3 .   R esu lts   o f   d if f er en t   m u lti - f ilter     r eg io n   s ize s   I t e r a t i o n   M u l t i - R e g i o n   S i z e   A c c u r a c y   T1   2 , 3 , 4   76. 56 %   T2   3 , 4 , 5   76. 85 %   T3   4 , 5 , 6   76. 74 %   T4   5 , 6 , 7   76. 09 %   T5   7 , 8 , 9   76. 59 %   T6   3 , 4 , 5 , 6   76. 85 %   T7   6 , 7 , 8 , 9   76. 80 %   T8   3 , 3 , 3   77. 37 %   T9   3 , 3 , 3 , 3   76. 48 %         T ab le  4 .   R esu lts     o f   d i f f er en ce   f ea tu r e  m ap s   I t e r a t i o n   F e a t u r e   M a p s   A c c u r a c y   T1   10   7 6 . 3 5 %   T2   50   7 7 . 1 2 %   T3   1 0 0   7 7 . 3 7 %   T4   2 0 0   7 7 . 5 9 %   T5   4 0 0   7 7 . 1 5 %   T6   6 0 0   7 7 . 5 6 %   T7   1 0 0 0   7 7 . 2 6 %   T8   2 0 0 0   7 7 . 3 7 %         T ab le  5 .   R esu lt o f   d i f f er e n t d r o p   o u t r ate   I t e r a t i o n   R e g i o n   S i z e   A c c u r a c y   T1   0 . 1   7 6 . 1 7 %   T2   0 . 2   7 7 . 3 7 %   T3   0 . 3   7 7 . 1 7 %   T4   0 . 4   7 7 . 3 4 %   T5   0 . 5   7 7 . 5 9 %   T6   0 . 6   7 7 . 4 0 %   T7   0 . 7   7 6 . 9 9 %   T8   0 . 8   7 6 . 9 1 %   T8   0 . 9   7 7 . 4 4 %         Af ter   g o in g   t h r o u g h   m an y   ite r atio n s   o f   t h e  h y p er - p ar a m ete r   tu n i n g .   T h e  b est  C NN  m o d e l  co n f i g u r atio n   t h at   o b tain ed   ar e  s h o w n   i n   T ab le  6 .       T ab le  6 .   B est co n f i g u r at io n   af t er   h y p er - p ar a m eter   t u n in g   F e a t u r e   P a r a me t e r   F i l t e r   R e g i o n   3 , 3 , 3   F e a t u r e   M a p   2 0 0   P o o l i n g   L a y e r   M a x   P o o l i n g   A c t i v a t i o n   F u n c t i o n   R e L u   D r o p   O u t   L a y e r   R a t e   0 . 5       4 . 3 .     M o del per f o r m a nce  a nd   a cc ura cy   Af ter   t u n i n g   all  t h e  p ar a m ete r s ,   th e   E n g li s h   an d   Ma la y   Se n ti m en t  An al y s i s   C NN  m o d el s   w er e   b e  tr ain ed   an d   t h e  f in al  ac c u r ac y   r es u lts   w er e  o b tai n ed .   T h e  r esu lt s   o f   o u r   m o d els  a g ain s t   o th er   m et h o d s   ar e  lis ted   in   T ab le  7 .         T ab le  7 .  A cc u r ac y   co m p ar is o n   w it h   p u b li s h ed   w o r k s .   M o d e l   A c c u r a c y   S V M   [ 2 5 ]   7 5 . 8 6 %   N a i v e   B a y e s   [ 2 5 ]   7 7 . 4 5 %   I n d o n e si a n   C N N   w i t h o u t     N o r mal i z e r   [ 2 5 ]   6 9 . 9 2 %   I n d o n e si a n   C N N   w i t h     N o r mal i z e r   [ 2 5 ]   6 5 . 4 5 %   I n d o n e si a n   L S T M   w i t h     N o r mal i z e r   [ 2 5 ]   7 3 . 2 2 %   T h i s w o r k     En g l i s h   SA   C N N   8 1 . 8 7 %   T h i s w o r k   M a l a y   SA   C N N   7 7 . 5 9 %       V er y   li m i ted   w o r k   o n   Ma la y   s en ti m e n t   a n al y s is   h a s   b ee n   d o n e  u s i n g   d ee p   lear n i n g   ap p r o ac h es.  T h er ef o r e,   th e  co m p ar is o n   ca n   o n l y   b e  d o n e  ag ai n s t  a  s i m ilar   w o r k   in   B ah asa  I n d o n es ia  b y   [ 24 ] .   T h er e  is   an o th er   w o r k   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J   A r ti f   I n tell   I SS N:  2252 - 8938       S en timen t a n a lysi s   o f in fo r ma l Ma la y  tw ee ts   w i th   d ee p   lea r n in g   ( On g   Ju n   Yin g )   219   d o n e  in   B ah a s a  I n d o n es ia  w h i ch   ac h iev ed   1 0 0 %  b u t  t h e  d at aset  w as  to o   s m all  ( le s s   t h a n   3 0 0   s am p le s )   [ 2 5 ] .   A lt h o u g h   t h er e  ar e  s o m e   li m i tatio n s   w er e  d eter m i n ed   in   th i s   co m p ar is o n ,   b u t  it  ca n   s er v e   as  an   in d icato r   to   p r o v id e  a  g en er al  v ie w   o n   t h e  cu r r en t sta n d i n g   o f   t h i s   p r o j ec t .   T h e  ac cu r ac y   o b tain ed   f r o m   o u r   m o d el s   i s   co m p ar ab le  a n d   s lig h tl y   b et ter   t h an   [ 2 4 ] .   Fro m   th e   tab le ,   SVM  a n d   Naï v e   B a y e s   ar e  t h e  m ac h i n e  lear n in g   ap p r o ac h es  w it h   ac c u r ac ies   clo s e   to   th e   r esu l ts   o b tai n ed   i n   th is   w o r k .   Ho w ev er ,   d ee p   lear n in g   ap p r o ac h es  ha v e   a   s ig n i f ica n t  ad v a n ta g e  d u e  to   its   d ata - d r i v en   ch ar ac ter is tic  m ea n in g   t h at  t h e  m o r e  d ata  is   f ed   t h e  h ig h er   its   ac cu r ac y .   O n   th e  o t h er   h an d ,   o th er   m ac h i n e   lear n in g   al g o r ith m s   w i ll h ar d l y   i m p r o v e  t h eir   ac cu r ac y   af ter   r ea ch in g   a  ce r tain   v alu e .       5.   CO NCLU SI O N   I n   co n cl u s io n ,   t h e  d ee p   lear n in g   ap p r o ac h   h a s   b ee n   s u c ce s s f u l l y   ap p lied   in   t h e  ta s k   o f   Ma la y   s en ti m e n t  a n al y s i s .   T h e  d ev elo p ed   s en ti m e n t  a n al y s i s   m o d el  w as   ab le  to   class i f y   t h e  t w ee t   tex t  in to   t w o   s en ti m e n t  ca teg o r ies   w h ich   ar e  p o s itiv e   an d   n e g ati v e.   T h e  d ee p   lear n in g   ar c h itect u r e  t h a t  w as   u s ed   to   b u i ld   th e  Ma la y   Se n ti m en t  A n a l y s i s   m o d el  w as  b ased   o n   t h e  C o n v o l u tio n a l  Neu r al  Ne t w o r k   ( C NN) .   T o   f ee d   th e   tex t  d ata  to   t h e  C o n v o lu t io n   Neu r al  Net w o r k ,   th e   W o r d 2 V ec   w o r d   e m b ed d in g   m o d el  w a s   b u ilt   f r o m   s cr atc h   to   co n v er t  th e   tex t   i n p u t  to   n u m er ical   r ep r esen tatio n .   T h e  m o d el  h as  a ls o   b ee n   g o i n g   th r o u g h   t h e  h y p er - p ar am eter   t u n in g   to   ac h iev e  i ts   o p ti m al  p er f o r m an c e.   T h e  Ma la y   s e n ti m e n t  a n al y s is   C N N  m o d el  h a s   b ee n   s u cc e s s f u ll y   b u ilt an d   b ee n   v al id ated   to   ac h iev ed   ac cu r ac y   u p   to   7 7 . 5 9 %.   T h er e  ar e  s o m e  p o ten tial  e n h an ce m e n t  a n d   m o d i f icatio n   ca n   b e  d o n e  o n   th e  c u r r en t  d esi g n .   F ir s tl y ,   th e   c u r r en t  d esi g n   u s es   s tatic  w o r d   e m b ed d in g ,   w h ich   m ea n s   a f ter   t h e  w o r d   e m b ed d in g   m o d el  w as   tr ai n ed ,   th e  w ei g h t  f o r   th e  w o r d s   ( n u m er ical  r ep r esen ta tio n )   w o u ld   b e  f i x ed .   D y n a m ic  w o r d   e m b ed d in g   i s   a  p o s s ib l e   en h a n ce m en t .  Usi n g   d y n a m ic  w o r d   e m b ed d in g ,   th e  w ei g h t  o f   th e  w o r d   em b ed d in g   m o d el  ca n   b e  tu n ed   w h il e   o n   th e  C NN  tr ain in g   s tate.   L astl y ,   t h e  d if f er e n t  tex t  p r e - p r o ce s s in g   tech n iq u es  ca n   ex p l o r e  to   en h an ce   t h e   m o d el.   Fo r   tex t  clas s if icatio n ,   tex t - p r o ce s s i n g   is   eq u al ly   i m p o r ta n t  w it h   th e  d ee p   lear n in g   m o d el  b u ild in g .    A   lit tle  m o d i f icatio n   d o n e  o n   t h is   s tag e  w i ll h i g h l y   in f l u e n ce   th e  o u tco m e.       ACK NO WL E D G E M E NT S   T h is   w o r k   i s   s u p p o r ted   b y   Un i v er s iti T ek n o lo g i M ala y s ia  ( U T M) .   T h is   w o r k   is   f i n a n ciall y   s u p p o r ted   b y   t h e  Ger an   U n i v er s iti  P en y e lid ik an   ( GUP )   1 5 J 3 5 .   T h e  au th o r s   w o u ld   lik e  to   ex p r ess   t h e ir   d ee p est  g r atitu d e  to   th e  R esear c h   Ma n a g e m en t Cen ter   ( R M C ) ,   UT M  f o r   m a k i n g   t h i s   r esear ch   a  s u cc es s .       RE F E R E NC E S   [1 ]   G a o ,   S h a n sh a n ,   Jin x in g   Ha o ,   a n d   Yu   F u .   " T h e   a p p li c a ti o n   a n d   c o m p a riso n   o f   w e b   se r v ice s  f o r  se n ti m e n t  a n a l y sis in   to u ri sm . "   1 2 th   In ter n a ti o n a l  Co n f e re n c e   o n   S e rv ice   S y ste ms   a n d   S e rv ice   M a n a g e me n t  ( ICS S S M ) .   IE EE ,   2 0 1 5 .   [2 ]   Ha n d a y a n i,   D.,   Ba k a r,   N.  S .   A .   A .   a n d   Ya a c o b ,   H.  S e n ti me n t   An a lys is  fo r  M a l a y   L a n g u a g e :  S y ste ma ti c   L it e ra t u re   Rev iew .   2 0 1 8   In tern a ti o n a l  Co n f e re n c e   o n   In f o rm a ti o n   a n d   C o m m u n ica ti o n   T e c h n o lo g y   f o r  th e   M u slim   W o rld   (ICT 4 M ).   IEE E.   2 0 1 8 .   3 0 5 - 3 1 0 .   [3 ]   E.   Ca m b ria,  B.   S c h u ll e r,   Y.  X i a ,   a n d   C.   Ha v a si,  “ Ne w   a v e n u e s  in   o p i n i o n   m in in g   a n d   se n ti m e n t  a n a ly sis.”   In telli g e n t  sy ste ms ,  IEE E ,   v o l.   2 8 ,   n o .   2 ,   p p .   1 5 - 2 1 ,   M a rc h   2 0 1 3 .   [4 ]   B.   P a n g ,   L il li a n   L e e ,   a n d   S .   V a it h y a n a th a n .   " T h u m b s  u p ? :  s e n ti m e n t  c las si f ic a ti o n   u sin g   m a c h in e   lea rn in g   tec h n iq u e s."   Pro c .   ACL - 0 2   c o n f e re n c e   o n   Emp irica l   me th o d s  in   n a t u ra l  la n g u a g e   p ro c e ss in g ,   Asso c ia ti o n   f o r   Co mp u t a ti o n a l  L in g u isti c s,  v o l  1 0 .   2 0 0 2 .   [5 ]   J.  - Y.  Nie ,   D.  Z h a o   a n d   Y.   F e n g .   Na tu ra l  L a n g u a g e   Pr o c e ss in g   a n d   Ch i n e se   Co mp u ti n g .   S p ri n g e r.   2 0 1 4 .     [6 ]   B.   P a n g   a n d   L .   L e e .   " Op in io n   m in in g   a n d   se n ti m e n t  a n a l y sis."   Fo u n d a ti o n s  a n d   T re n d s®  in   I n fo rm a ti o n   Retrie v a l,   v o l.   2 :   No .   1 - 2 ,   p p .   1 - 1 3 5 ,   2 0 0 8 .   [7 ]   V .   K o rd e   a n d   C . N.  M a h e n d e r,   “ T e x t  c las si f ica ti o n   a n d   c las sif ier s:  A   su rv e y . ”   In ter n a ti o n a l  J o u r n a l   o f   Arti fi c i a l   In telli g e n c e   &   Ap p li c a ti o n s ,   v o l.   3 ,   n o .   2 ,   p . 8 5 ,   2 0 1 2 .   [8 ]   M .   T a b o a d a ,   J.  Bro o k e ,   M .   T o f il o sk i,   K.   V o ll ,   a n d   M .   S ted e .   L e x i c o n - b a se d   m e th o d s  f o r  se n ti m e n t   a n a ly sis.   Co mp u t a ti o n a l  li n g u isti c s ,   v o l.   3 2 ,   n o 2 ,   p p .   2 6 7 - 3 0 7 ,   2 0 1 1 .   [9 ]   J.  Ya o .   “ A u to m a ted   S e n ti m e n t  A n a l y si s  o f   T e x t  Da ta  w it h   NL TK. ”   J o u rn a l  o f  P h y sic s:  Co n fer e n c e   S e rie s,   IOP   Pu b li s h in g ,   v o l.   1 1 8 7 ,   n o .   5 ,   2 0 1 9 .   [1 0 ]   A .   Ku lk a rn i  a n d   A .   S h iv a n a n d a .   Na tu ra l  L a n g u a g e   Pro c e ss in g   Rec ip e s:  Un lo c k in g   T e x t  Da ta   wit h   M a c h in e   L e a rn in g   a n d   De e p   L e a r n in g   Us i n g   Pyt h o n .   A p re ss ;  2 0 1 9 .   [1 1 ]   ZS   Ha rris,   “ Distrib u ti o n a l  str u c tu re ” ,   W o rd ,   v o l.   1 0 ,   n o .   2 - 3 ,   p p .   1 4 6 - 1 6 2 ,   1 9 5 4 .   [1 2 ]   J.  Ra m o s.  “ Us in g   tf - id f   to   d e ter m in e   w o rd   re le v a n c e   in   d o c u m e n t  q u e ries , ”   Pro c . Fi rs t  in str u c ti o n a l  c o n fer e n c e   o n   ma c h in e   le a rn in g ,   v o l.   2 4 2 ,   p p .   1 3 3 - 1 4 2 ,   2 0 0 3 .   [1 3 ]   T .   M ik o lo v ,   K.   Ch e n ,   G .   Co rra d o   a n d   J.  De a n ,   “ Ef f i c ien t  e stim a ti o n   o f   w o rd   re p re se n tatio n s   in   v e c to r  sp a c e , ”   a rXiv   p re p rin t  a rXiv:1 3 0 1 . 3 7 8 1 ,   2 0 1 3 ,     Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8938     I n t J   A r ti f   I n tell ,   Vo l.  9 ,   No .   2 ,  J u n e   20 20 :   2 12   –   2 20   220   [1 4 ]   G . I.   W e b b ,   J.R.   B o u g h t o n ,   a n d   Z .   W a n g .   “ No t  so   n a iv e   Ba y e s:  a g g re g a ti n g   o n e - d e p e n d e n c e   e stim a to rs,”   M a c h i n e   lea rn in g ,   v o l .   5 8 ,   n o .   1 ,   p p . 5 - 2 4 ,   2 0 0 5 .   [1 5 ]   V .   V a p n ik ,   T h e   n a tu re   o f  st a ti stic a l  lea r n in g   t h e o ry .   S p rin g e r  sc ien c e   &   b u sin e ss   m e d ia,  2 0 1 3 .   [1 6 ]   M . M .   L o p e z   a n d   J.  Ka li ta.   “ De e p   L e a rn in g   a p p li e d   t o   NL P , ”   a rXiv  p re p rin t  a rXiv:1 7 0 3 . 0 3 0 9 1 .   2 0 1 7 .   [1 7 ]   Y.  Kim .   “ Co n v o lu ti o n a l  n e u ra l  n e tw o rk s  f o r  se n ten c e   c las si f ica ti o n , ”   a rXiv p re p ri n t  a rX iv: 1 4 0 8 . 5 8 8 2 , 2 0 1 4 .   [1 8 ]   N .   Ka lch b re n n e r,   E.   G re fe n ste tt e   a n d   P .   B lu n so m .   “ A   c o n v o lu ti o n a l  n e u r a l  n e tw o rk   f o r  m o d e ll in g   se n ten c e s,”   a rXiv   p re p rin t  a rXiv:  1 4 0 4 . 2 1 8 8 , 2 0 1 4 .   [1 9 ]   S .   L iao ,   J.  W a n g ,   R.   Yu ,   K.  S a t o   a n d   Z.   C h e n g .   “ CNN   f o r  situ a ti o n s  u n d e rsta n d i n g   b a se d   o n   se n ti m e n t  a n a ly si s  o f   tw it ter d a ta,”  Pro c e d ia   c o m p u ter   sc ien c e ,   v o l.   1 1 1 ,   p p .   3 7 6 - 3 8 1 ,   2 0 1 7 .   [2 0 ]   Y.  Zh a n g   a n d   B.   W a ll a c e .   “ A  se n siti v it y   a n a l y sis  o f   (a n d   p ra c ti ti o n e rs  g u id e   to )  c o n v o lu t io n a l  n e u r a l  n e tw o rk s   f o r  se n ten c e   c las si f ica ti o n , ”   a rXiv  p re p rin t  a rXiv: 1 5 1 0 . 0 3 8 2 0 , 2 0 1 5 .   [2 1 ]   F .   Ch o ll e t,   Ke ra s ,   G it Hu b   re p o sit o ry ,   h tt p s:// g it h u b . c o m /fch o ll e t/ k e ra s,  2 0 1 5 .   [2 2 ]   P .   Ch ik e rsa l,   S .   P o ria  a n d   E.   Ca m b ria.  “ S e N T U:  se n ti m e n t  a n a l y sis  o f   twe e ts  b y   c o m b in in g   a   ru le - b a se d   c las si f ier   w it h   su p e rv ise d   lea rn in g , ”   Pr o c .   9 th   In ter n a ti o n a l  W o rk sh o p   o n   S e ma n ti c   Eva l u a ti o n   ( S e mEv a l  2 0 1 5 )  p p .   6 4 7 - 6 5 1 ,   2 0 1 5 .   [2 3 ]   H.  Zo lk e p li .   M a la y a ,   Na tu ra l - L a n g u a g e - T o o lkit  li b ra ry   fo r  b a h a s a   M a la y sia ,   p o we re d   b y   De e p   L e a rn in g   T e n so rflo w .   G it Hu b   re p o sito ry ,   h tt p s:// g it h u b . c o m /h u se in z o l 0 5 /m a la y a ,   2 0 1 8 .   [2 4 ]   T .   A .   L e ,   D.  M o e lj a d i,   Y.  M iu ra   a n d   T .   Oh k u m a .   “ S e n ti m e n t  A n a ly sis  f o r  L o w   Re so u rc e   L a n g u a g e s:  A   S tu d y   o n   In f o rm a l  In d o n e sia n   T we e ts,”  Pr o c .   o f  th e   1 2 th   W o rk sh o p   o n   Asi a n   L a n g u a g e   Res o u rc e s  ( AL R1 2 ) ,   p p .   1 2 3 - 1 3 1 ,   2 0 1 6 .   [2 5 ]   W . C. F .   M a riel,   S .   M a riy a h ,   a n d   S .   P ra m a n a .   “ S e n ti m e n t  a n a ly sis:   a   c o m p a riso n   o f   d e e p   lea rn i n g   n e u ra l  n e tw o rk   a lg o rit h m   w it h   S VM  a n d   n a ïv e   B a y e s  f o r  In d o n e sia n   tex t, ”   J o u r n a l  o f  P h y sic s:  Co n fer e n c e   S e rie s.  IOP  Pu b l ish i n g .   v o l.   9 7 1 ,   2 0 1 8 .       B I O G RAP H I E S   O F   AUTH O RS       On g   Ju n   Yin g   re c e i v e d   h is  M . En g   (2 0 1 9 )  in   Co m p u ter  a n d   M icro e lec tro n ics   S y ste m   f ro m   Un iv e rsiti   T e k n o lo g i   M a la y sia .   His  re se a rc h   w o rk   is  m a in l y   o n   m a c h in e   lea rn in g ,   a rti f icia l   in telli g e n c e   a n d   Na tu ra l  L a n g u a g e   P ro c e ss in g .   He   jo in e d   In tel  Co rp   i n   2 0 1 7   a n d   c u rre n tl y   a   S y st e m   On   Ch ip   De sig n   E n g in e e r.         M u h a m m a d   M u n ’im   A h m a d   Zab id i  re c e c iv e d   h is  M S   i n   Co m p u te r  En g in e e rin g   (1 9 8 8 )  f ro m   th e   Un iv e rsit y   o f   Brid g e p o rt,   USA .   His  re se a r c h   w o rk   is  m a in l y   o n   a rti f icia l  in telli g e n c e ,   d ig it a l   sig n a l  p ro c e ss in g   a n d   e m b e d d e d   s y ste m s  d e sig n .   He   is  c u rre n tl y   a   S e n i o r  L e c tu re r  a t  Un iv e rsiti   T e k n o lo g i  M a lay sia         No rh a f iza h   Ra m li   re c e i v e d   h e r  M EE   d e g re e   in   El e c tri c a l - El e c tro n ics   En g in e e rin g   f ro m   Un iv e rsiti   T e k n o lo g i  M a lay sia   in   1 9 9 2 .   He r  re se a rc h   in tere st i s  m a i n ly   in   Bio m e d ica l  a n d   Dig it a l  El e c tro n ics .   S h e   is cu rre n tl y   a   S e n io r  L e c tu re r  a t  Un iv e rsiti   T e k n o l o g i  M a lay si a         Us m a n   Ullah   S h e ik h   re c e iv e d   h i s  P h D  d e g re e   (2 0 0 9 )   in   im a g e   p ro c e ss in g   a n d   c o m p u ter  v isio n   f ro m   Un iv e r siti   Tek n o lo g i  M a la y sia .   His  re s e a rc h   w o rk   is  m a in ly   o n   c o m p u ter  v isio n ,   m a c h in e   lea rn in g   a n d   e m b e d d e d   sy ste m s   d e sig n .   He   is   c u rre n tl y   a   S e n io r  L e c tu re r  a t  Un iv e rsiti   T e k n o lo g i  M a la y sia .     Evaluation Warning : The document was created with Spire.PDF for Python.