I nd o ne s ia n J o urna l o f   E lect rica l En g ineering   a nd   Co m p u t er   Science   Vo l. 11 ,   No . 1 ,  J u l y  201 8 ,   p p .   2 48 ~ 2 55   I SS N:  2502 - 4752 ,  DOI : 1 0 . 1 1 5 9 1 / i j ee cs . v 1 1 . i1 . p p 248 - 2 55     248       J o ur na l ho m ep a g e :  h ttp : //ia e s co r e. co m/jo u r n a ls /in d ex . p h p / ijeec s   Predic tion  O utco m e  f o r Ma ss iv e  M ultiplay er Onli ne G a m es   Using  Data  Minin g       Sh a zw a ni   Sa m s uri m ,   No r  As hi k in M o ha m a d K a m a l,  M a rina   I s m a il,  No riza n M a t   Di a h   De p a rtme n t  o f   Co m p u ter S c ien c e ,  F a c u lt y   o f   Co m p u ter an d   M a th e m a ti c a l  S c ien c e s   Un iv e rsiti   T e k n o lo g i  M A R A   S h a h   A lam ,   S e lan g o r,   M a la y sia       Art icle  I nfo     AB ST RAC T   A r ticle  his to r y:   R ec eiv ed   J an   8 ,   2 0 1 8   R ev i s ed   Ma r   1 5 ,   2 0 1 8   A cc ep ted   A p r   2 1 ,   2 0 1 8       M a ss iv e   M u lt ip lay e r  On li n e   (M M O)  g a m e   i s  o n e   o f   th e   fa m o u s  g a m e   g e n re s   a m o n g   tee n a g e r s  n o w a d a y s.  M M O  g a m e s  a ll o w   g a m e rs  to   in tera c t  a n d   p lay   w it h   u p   to   t h o u sa n d   p lay e rs.  Ra in b o w   S ix   S ieg e   (RS S )  b e lo n g s to   M M O t y p e   o f   g a m e .   Ho w e v e r,   d u e   t o   m a n y   o p e ra to rs  t h a t  a re   a v a il a b le  in   th i s  g a m e ,   th e   p lay e r   n e e d s  to   c h o o se   t h e   rig h t  o p e ra to r  t o   c o u n ter  th e   e n e m y   o p e ra t o r.   T h e re f o re ,   b a se d   o n   th e   c h a ra c teristic  o f   th e   se le c ted   o p e ra to r,   th is  p a p e r   a tt e m p ted   to   p r e d ict  th e   o u tco m e s  o f   th e   g a m e .   In   o u r  p re d icti o n   m o d e l,   c h a ra c teristics   f o r  th e se   o p e ra to rs  we re   e x trac t e d   f ro m   1 2 0   li v e   stre a m   re p lay s.  T h re e   c las si f ic a ti o n   a lg o rit h m s  w e r e   u ti li z e d   to   p re d ict  t h e   o u tco m e   o f   th e   g a m e .   Am o n g   th e se   a l g o rit h m s,  IBK  h a d   o b tai n e d   o u tstan d i n g   p e rf o r m a n c e   in   th e   d a tas e t.   T h e   a c c u ra c y   o f   th e   m o d e l  is 9 3 . 7 5 % ,   a p p ly in g   5 - f o ld   c ro ss - v a li d a ti o n   tes t.   T h e   su c c e ss   ra te  re v e a ls  th a t  o u r  p r o p o se d   m o d e l  is   su it a b le t o   p re d ict  t h e   o u tco m e   o f  th e   g a m e .   K ey w o r d s :   C las s i f icatio n   Ga m es   I B K   J 4 8   MM OG   Naïv e  B a y es   Co p y rig h t  ©   2 0 1 8 I n stit u te o f   Ad v a n c e d   E n g i n e e rin g   a n d   S c ien c e .    Al l  rig h ts   re se rv e d .   C o r r e s p o nd ing   A uth o r :   Sh az w a n i   Sa m s u r i m ,    Dep ar t m en t o f   C o m p u ter   Scie n ce ,  Facu l t y   o f   C o m p u ter   an d   Ma th e m atica l Scie n ce s   Un i v er s iti   T ek n o lo g i M A R A   Sh a h   A la m ,   Selan g o r ,   Ma la y s i a .   E m ail:  s h az w a n i s a m s u r i m @ g m ail. co m       1.   I NT RO D UCT I O N   T h e  g a m e   i n d u s tr y   is   f ac i n g   a  s u r g e  o f   d ata  w h ic h   r es u lt s   f r o m   i n cr ea s i n g l y   a v ailab le  h i g h l y   d etaile d   in f o r m atio n   ab o u t  th e  b e h av i o r   o f   s o f t w ar e  an d   u s er s .   T ee n ag er s   e n j o y   p la y i n g   o n li n e   g a m e s   w h ich   ar e   ch alle n g i n g   b u t  f air   to   all   p la y er s .   B ef o r e  o n lin e   g a m e s   b ec o m e   p o p u lar ,   g a m er s   u s u a ll y   p lay   a  s in g le   p la y er   g a m e  s u ch   a s   Ma r io   an d   Hu g o .   A f ter   s o m e  ti m e  t h e  g a m e s   ev o lv e  a n d   b ec o m e  m a s s i v e  m u ltip la y er   o n lin e.   Ma s s i v e  M u ltip la y er   O n li n e  ( MM O)   allo w s   g a m er s   to   i n te r ac t  an d   p la y   w it h   o th er   p la y er s   u p   to   t h o u s a n d   p lay er s .   Ga m er s   ca n   s ta y   at  h o m e  a n d   p la y   w it h   th e ir   f r ien d s   as  lo n g   t h e y   h a v e  an   i n ter n et  co n n ec tio n .   T h e   r is e  o f   o n lin e  g a m e s   b ec o m e  m o r e  p o p u lar   w h en   m a n y   p lat f o r m s   w h ic h   p r o v id es  v ar io u s   co llectio n   o f   o n lin e   g a m e s   a n d   allo w s   g a m er s   to   co m m u n icate   w i t h   ea ch   o th er   an d   cr ea te  a   co m m u n it y   t o   d is cu s s   b a s ed   th e   s elec ted   g a m es s u c h   as ST E AM ,   GAREN A   a n d   OR I GI N.   G a m e ’ s   g en r e  li k e  s tr ate g y   a n d   f ir s t - p er s o n   s h o o ter   ar e  th e  m o s t  w el l - k n o w n   g en r es a m o n g   g a m er s .     Data   m i n in g   h a s   b ee n   u s ed   to   i m p r o v e  th e  s tr ate g y   o f   t h e  g a m e  [ 1 ] .   On e  o f   th e  m ai n   ch al len g e s   f o r   g a m e  d ata  m in i n g   is   to   p r ed ic t  s tr ateg ie s   to   m ak e  t h e  g a m e   b ec o m e  m o r e  ch alle n g i n g   a n d   f air   to   all  p lay er .   Fo r m ass iv e   m u lt ip la y er   g a m e  s u c h   a s   R ain b o w   Six   Sie g e  ( R SS ) ,   d ata  m i n in g   tech n iq u e s ca n   b e  u s e   to   p r ed i ct  th e  ch o s e n   o p er ato r   f o r   th e  u s er   to   co u n ter   en e m y   o p er ato r   ab ilit y .   R S S  co m es  w i th   m u lti p le  o p er at o r s   w h ic h   h av e  a n   in d i v id u a l  ab ilit y   to   c o u n ter   i n   th e  g a m es  t h u s ,   it  is   b est  to   p r ed ict  w h ich   o p er ato r   is   s u itab le  to   u s e   f o r   a  u s er   to   ch a llen g e  th e  o p p o n en t  o p er ato r ’ s   ab ilit y .   A  l ar g e  n u m b er   o f   r ep la y s   w er e  co llected   f r o m   l iv e   s tr ea m s   f r o m   a n   in ter n atio n al   to u r n a m en t.  E ac h   r ep lay   i s   d iv id ed   in to   m a n y   r o u n d s   an d   i s   lab elled   b ased   o n   p lay er   c h o s en   o p er ato r   an d   class .     Evaluation Warning : The document was created with Spire.PDF for Python.
I n d o n esia n   J   E lec  E n g &   C o m p   Sci   I SS N:  2502 - 4752     P r ed ictio n   Ou tco me  fo r   Ma s s i ve   Mu ltip la ye r   On lin e  Ga mes U s in g   Da ta   Min in g   ( S h a z w a n i   S a msu r im )   249   T h is   p ap er   test s   th e  ac cu r ac y   o f   th r ee   class if icatio n   al g o r ith m s   to   p r ed ict  th e  o u tp u t  o f   m as s iv e   m u ltip la y er   o n lin e  g a m e.   T h e  r e m ain d er   o f   t h is   p ap er   is   o r g a n ized   as f o llo w s .   Sectio n   2   d is cu s s es p ast s tu d ies   o f   MM O  a n d   d ata  m i n i n g   i n   g a m e s .   Sectio n   3   ex p r es s es  th e   m et h o d s   i n v o lv ed   i n   th i s   r es ea r ch .   T h e  p er f o r m a n ce   m ea s u r e m e n ts   u s ed   ar e  d is cu s s ed   i n   Sectio n   4 .   Sectio n   5   p r esen ts   t h e  r esu lt s ,   an d   th e  co n cl u s io n   an d   f u tu r e  w o r k s   ar e  p r o v id ed   in   Sectio n   6 .       2.   B ACK G RO UND  O F   T H E   S T UDY   T h is   r esear ch   f o cu s e s   o n   th e  o p er ato r   p r ed ictio n   b ased   o n   th e  o p p o n en t  o p er ato r   th at  w i ll  b e  u s ed   b y   th e  u s er   in   R SS .   T h er e  ar e  s ev er al  ap p r o ac h es  in   r ec o g n izi n g   t h e  p atter n   i n   o p er ato r   s elec tio n .   T h is   s ec tio n   d is cu s s es t h eo v er v ie w   o f   m as s iv e  m u lt ip la y er   o n li n e  g a m ea n d   p r ev io u s   s t u d y   o n   g a m e s .     2 . 1 .   M a s s iv e  M ultipla y er   O nli ne   G a m e  ( M M O G )   An   o n lin e   g a m e  is   a   g a m e  c o n tr o lled   b y   t h e  co m p u ter   wh er e  t h e  p la y er   i n ter ac t s   u s i n g   co m p u ter   n et w o r k   [ 2 ] .   Ma s s i v e  m u ltip la y er   o n li n e  g a m e s   ( MM OG)   h av e  ca p tu r ed   atte n tio n   i n   t h e  g a m e  i n d u s tr y   s in ce   m illi o n s   o f   p eo p le  p ar ticip ate  in   t h e  b attle   u s i n g   th e  s a m e   s er v er   [ 3 ] .   T ab le  1   s h o w s   th e  v ar io u s   MM OG s   av ailab le  o n   t h e  i n ter n e t.   M MO G  r ep r esen t   co m p le x   d at a  th at   ca n   b e  d iv id ed   i n to   s u b   p r o b lem   t h u s   it  i s   n ec es s ar y   to   d o   d ata  m i n i n g   in   th i s   g a m e  to   s tu d y   t h e  p atter n   o r   s tr ateg y   o f   t h e  g a m e   to   in c r e ase  w in n i n g   r atio   o f   t h e  g a m e  p la y .   T h er e  ar e  s e v er al  p ap er s   r eg ar d in g   g a m e  d ata  m i n i n g .   An al y zin g   b eh av io r   d ata  f r o m   m as s i v e  m u lt ip la y er   g a m e  d ata  ca n   b e  ch a llen g i n g   s i n ce   i t i n v o l v es  h u g e   n u m b er s   o f   ac ti v e  p la y er s   ac r o s s   t h e   w o r ld .   T h is   r esear ch   p ap er   s u g g es ted   d ata  m i n i n g   to   ex p lo r e  d ata  an d   d is co v er   p atter n s   t h at  ca n   r ed u ce   o v er all  co m p lex it y   o f   t h e  d ata  [ 4 ] .     Data   m i n in g   alg o r it h m   w a s   u s ed   to   i d en tify   t h e  d if f er en ce   b et w ee n   h u m an   a n d   A I   b o ts in   [ 9 ] .   I n   th e  s tu d y ,   1 4 2   r ep lay s   w er e  co lle cted   an d   tr ain ed   u s in g   m ac h i n e  lear n in g .   T h e  r esu lt  s h o w s   t h at  it  is   p o s s ib le  to   in cr ea s e  t h e  w i n   r atio   o f   t h e  g a m e  i f   t h e  b o ts   ab le  to   r ec o g n ize  th e  o p p o n en t ’ s   s tr ate g y   a n d   s u cc es s f u l  b u ild   th e  o r d er .   Sev er al  ap p r o ac h es  h a v e  b ee n   u s ed   to   m o d el  t h e  o p p o n en t  [ 1 0 ,   1 1 ,   18 ].   Th e  ap p r o ac h es  w er e  ap p lied   o n   th e  R ea l  T im e  S tr ateg y   g a m e  to   p r ed ict  th e  s tr ateg y   o f   th e  o p p o n en t s   s o   th at  p lay er   ca n   r esp o n d   ac co r d in g l y   to   th e  g a m e.   T h e  p r ed ictio n s   h ad   ap p lied   KNN,   d ec is io n   tr ee   an d   lo g is tic  r eg r ess io n   cla s s i f ier s   to   p r ed ict  th e  ac cu r ac y   o f   t h e  s t r ateg y   [ 1 0 ] .   A   B a y e s ia n   m o d el  w a s   u s ed   to   p r ed ict  th e  r es u lt  o r   o u tco m e s   o f   is o lates  b attle  an d   also   p r ed ic t  w h at  u n it  w ill  b e  u s ed   to   d ef ea t  a  g i v en   ar m y   [ 1 1 ] .   T h e  g o al  o f   th e  o p p o n en t  m o d el  ap p r o ac h   is   to   lear n   a n d   s elec t  w h ic h   co m b i n atio n   o f   u n it i s   m o r e  e f f ec t iv e  a g ai n s t  o th er s .         T ab le  1 .   Ma s s iv e  Mu l tip la y er   On li n e  Ga m e   T i t l e   G r a p h i c s   S e t t i n g   S u b s c r i p t i o n   M o d e l   R e l e a se   D a t e   S t a r   W a r s G a l a x i e s   3D   S c i e n c e   F i c t i o n   P a y   t o   P l a y   2 0 0 3   W o r l d   o f   W a r c r a f t   3D   F a n t a sy   P a y   t o   P l a y   2 0 0 4   R a i n b o w   S i x   S i e g e   ( R S S )   3D   S c i e n c e   F i c t i o n   B u y   t o   P l a y   2 0 1 5   T i b i a   2D   F a n t a sy   F r e e   t o   P l a y   1 9 9 7   X y s o n   3D   A p o c a l y p t i c   F a n t a sy   B u y   t o   P l a y   2 0 1 1       R ain b o w   Si x   Sie g e  ( R SS )   h a s   b ee n   o n e  o f   t h e  s u cc ess f u l  M MO G  w it h   h u g e  n u m b er   o f   p l a y er s   o v er   th e  w o r ld .   Ma n y   w eb s i tes  p r o v id e  th e   g a m ep la y   t h at  s to r es  all  th e  g a m i n g   ev e n ts   an d   to   r ep lay   th e   g a m e  o f   g o o d   p lay er s   f r o m   t h at.   A s   a   r esu lt,  th e  R SS   co m m u n i t y   h as  ac cu m u lated   th eir   ex p er i en ce   in   t h e  f o r m   o f   r ep lay s   f o r   s e v er al  y ea r s .   R e ce n tl y ,   R SS   g a m e   h a s   g ai n ed   a  lo t  o f   i n ter e s t  i n   th e   g a m i n g   i n d u s tr y .   B esid e   Do ta2   an d   C o u n ter   Strik e,   R S S  p lace d   th ir d   f o r   th e  m o s t  p o p u lar   g a m e  in   th e  w o r ld .   Fig u r e  1   s h o w s   th e  m o s t   p o p u lar   MM OG  in   th e  w o r ld   i n   Dec e m b er   2 0 1 7 .     Evaluation Warning : The document was created with Spire.PDF for Python.
      I SS N :  2502 - 4752   I n d o n esia n   J   E lec  E n g   &   C o m p   Sci,   Vo l.  11 ,   No .   1 ,  J u ly   2 0 1 8 :   2 4 8 – 2 5 5   250       Fig u r e  1 .   E x a m p le  o f   Ma s s i v e   Mu ltip la y er   Ga m e  O n li n e       2 . 2 .   O v er v ie w   o f   R a inb o w   Six   Sieg e   R ain b o w   Si x   Sie g e  ( R SS )   is   o n e  o f   th e  p o p u lar   First - P er s o n   S h o o ter   w it h   r ea l - t i m e  s tr at eg y   w h ic h   u s e s   c u r r en t  tech n o lo g y   a n d   i s   d iv id ed   in to   t w o   tea m s   w h i ch   i s   at tack   an d   d e f e n d .   P la y er s   ca n   ch o o s e   3 8   o p er ato r   w h ic h   is   1 8   p er   team   w it h   d i f f er en t  ab ilit ie s   to   w in   th e  g a m e s .   T h e  o p e r ato r   w ill  b e  class if ied   in to   4   d if f er e n t  class e s   in   attac k   an d   d ef en d .   T h er e  a r e  1 0   p lay er s   co n n ec ted   eith er   r an d o m   o r   in   a  p a r ty   w h ic h   is   5   p er s o n s   p er   team .   B o th   tea m s   h av e  d if f er e n t  tas k   at  th e  ea r l y   s ta g e  o f   th e  g a m e  ( f ir s t  3 0   s ec o n d s )   w h ic h   o n   attac k   th e y   n ee d   to   f i n d   t h e  l o ca tio n   o f   th e   o b j ec tiv e  an d   id en ti f y   th e   o p er ato r   tak e n   b y   t h e  d e f en d   u s i n g   d r o n e.   On   th e  d ef e n d   s id e  th e y   n ee d   to   p r o tect  th e  o b j ec ti v e  f r o m   at tack er   t h u s   th e y   n ee d   to   b ar r icad e  o r   r ein f o r ce   t h e  w all  i n   o r d er   to   s lo w d o w n   o r   p r ev en t  t h e  att ac k er   to   s ec u r e  t h e  o b j ec tiv e.   T h er e  ar e  s ev er al   g a m ep la y   m o d es  w h ic h   is   p la n t  th e  b o m b ,   r escu e  h o s ta g e  a n d   s ec u r e  t h e  ar ea   w it h   s e v e n t ee n   d if f er en t  m ap s .   R SS   m a k es  t h e  tea m   w i n   b y   k illi n g   all  e n e m y   a n d   s ec u r e  t h e  o b j ec tiv e  f o r   attac k er s   w h i le  o n   d ef e n d   eith er   k ill  al l  en e m y   o r   d ef e n d   t h e  o b j ec tiv e  w it h i n   a  ti m e  l i m it.  A   s t u d y   h as  b ee n   co n d u cted   t o   p r ed ict  o p p o n en t  p o s itio n in g   u s i n g   o p p o n en t  m o d elin g   i n   f ir s t  p er s o n   s h o o ter   [ 5 ,   6 ] .     T h is   r esear ch   f o cu s es   o n   o n e  m ap   w h ic h   is   p r esid en tial p la n e  s i n ce   th e  m ap   is   p o p u lar   an d   h a v e  m a n y   r ep lay s   o n   th e  w eb .         3.   M E T H O DO L O G Y     Me th o d o lo g y   i s   t h e  s p ec i fi c  s tep s   tak e n   d u r i n g   t h e  p r o j ec t  in v e s ti g atio n   Fi g u r e  2   s h o w s   th e  p h a s e s   in v o l v ed   in   th i s   r esear ch .   I t  s tar ts   w it h   d ataset  d ev elo p m en t,  ex tr ac tio n   o f   f ea t u r es,  cla s s if icatio n s   b y   th r ee   class i f ier s   Naï v e  b a y e s ,   I B K  an d   J 4 8 .   I t is th en   f o llo w ed   b y   r esu lt s   an d   ev a lu at io n .             Fig u r e  2 .   R esear ch   F lo w c h ar t   Data s et  De v el op m en t   S tart   F ea ture E x tr ac ti o n   Cl as s i f i c ati on   Naïv e B a y es   J 48   I B K   Res ul ts   E v al u ati on   E nd   Evaluation Warning : The document was created with Spire.PDF for Python.
I n d o n esia n   J   E lec  E n g &   C o m p   Sci   I SS N:  2502 - 4752     P r ed ictio n   Ou tco me  fo r   Ma s s i ve   Mu ltip la ye r   On lin e  Ga mes U s in g   Da ta   Min in g   ( S h a z w a n i   S a msu r im )   251     3 . 1 .   Da t a s et   Dev elo p m ent   I n   th e  g a m i n g   i n d u s tr y ,   s ev er al  w eb s ite s   ar e  d ed icate d   to   co llect  an d   s h ar in g   R S S  r ep la y s .   T h ese  w eb s i tes  allo w   s h ar i n g   a  lar g e  p o r tio n   o f   r ep la y s   o f   g a m e  p lay   f r o m   p r o f ess io n al  a n d   h i g h - r a n k ed   a m ate u r   m atc h es.  T h er ef o r e,   u s in g   all  t h ese  d ata  co llected   f r o m   th o s e   w eb s ite s ,   it  is   p o s s ib le  to   m i n e  th ese  w eb s ite s   in   o r d er   to   b u ild   a  co llectio n   o f   a ll  p o s s ib ilit ies  o f   s tr ateg ie s   t h a t  u s er   ca n   u s e  to   w i n   t h e  g a m e   p la y   i n   R S S.  D u e   to   a  lar g e  n u m b er   o f   r ep la y s   av ailab le,   it  is   p o s s ib le  to   lear n   a  v ar iet y   o f   o p er at o r   a b ilit y   an d   also   th e   s tr ateg ie s   o n   s ev er al  m ap s   ag ain s t  d i f f er e n t  p la y   s t y les  to   h elp   im p r o v e  u s er   s k ills   i n   o r d er   to   w i n   th e  g a m e .   T h e  d ata  ca n   h elp   i m p r o v e  o n lin e  m atc h m ak in g ,   m o d elli n g   p lay er   b eh a v io r   an d   p r ed icti n g   s tr ateg y   [ 1 0 - 1 2 ] .   T h e  d ata  o f   th e   r ep la y s   w er e  co llected   f r o m   www . r ed d it.c o m   a n d   h t tp ://s tea m co m m u n it y . co m ,   t w o   p o p u lar   R SS w eb s ite.   T h e  co llectio n s   o f   t h e  r ep la y s   f r o m   th e   p r o f e s s io n a l  to u r n a m en t   w er e  d o wn lo ad ed   f r o m   th e s e  w eb s i tes.  T h e  s co p e  o f   t h is   r e s ea r ch   i s   li m ited   to   o n e  m ap   o n l y .   Ta b le  2   s h o w s   th e  lis t  o f   o p er ato r s   b ased   o n   class   i n   th e  R SS .       T ab le  2 .   L is t o f   R SS   Op er ato r s   b ased   o n   C las s   A t t a c k   D e f e n d e r   C l a ss   O p e r a t o r   C l a ss   O p e r a t o r   B r e a c h e r   A sh ,   T h e r mi t e ,   H i b a n a ,   S l e d g e ,   Z o f i a   T r a p   F r o st ,   K a p k a n ,   El a ,   L e si o n   S h i e l d   M o n t a g e ,   B l i t z   C o r e   D e f e n se   C a st l e ,   M u t e ,   R o o k ,   D o c ,   B a n d i t ,   Jae g e r   D a mag e   G l a z ,   F u z e ,   B l a c k   b e a r d ,   C a p i t a o ,   B u c k   D a mag e   V i g i l ,   T a c h a n k a n ,   C a v e i r a ,   S mo k e   U t i l i t y   Tw i t c h ,   Y i n g ,   T h a t c h e r ,   I Q ,   D o k k a e b i ,   Jac k a l   I n f o r mat i o n   V a l k y r i e ,   M i r a ,   Ec h o ,   P u l se       T h e  r em a in d er   o f   t h is   s ec tio n   w ill  d escr ib e  d ata  m i n i n g   ap p r o ac h   to   au to m atica ll y   lear n   s tr ateg ies  f r o m   co llectio n   o f   r ep la y s   a n d   s u b s eq u e n tl y   w ill p r ed ict  w i n   o r   lo s e  o f   th e  R SS   g a m e.     3 . 2 .   F ea t ure  E x t ra ct io n     R SS   r ep la y s   ar e  co llected   b ased   o n   s ec u r e  ar ea   g a m e  m o d es  an d   p r esid en tial  p lan e  m ap .   A   d atase t   co n tain i n g   3 2   g a m e s   ar e  cr ea t ed   b ased   o n   th e   o p er ato r ’ s   cla s s   ta k e n   a n d   r esu l t  o f   th e   o p er ato r   ab ilit y   co u n ter .   T ab le  3   r ep r esen ts   t h e  ch ar ac t er is tic  o f   o p er ato r ’ s   class   f o r   th e  attac k er   a n d   th e  d ef e n d er   tea m   in   R S S  w h er e   t h e  in f o   is   e x tr ac ted   f r o m   r a in b o w s ixsi eg e. fa n d o m.       T ab le  3 .   C h ar ac ter is tic  o f   Op e r ato r   C lass         T h e  g o al  o f   th is   r esear c h   is   t o   b u ild   a  g en er al  m o d el  o f   R SS   t h at  ca n   p r ed ict  t h e  o u tco m e  o f   t h e   g a m e  p la y   b ased   o n   th e  o p er ato r   s elec tio n .   T h is   d if f er s   f r o m   t h e  p r ev io u s   s tu d y   w h ic h   f o cu s ed   o n   p lay er ’ s   ac tio n .   B y   ap p l y i n g   d ata  m i n i n g   o n   g a m e   r ep la y s ,   th e   al g o r ith m   ca n   d e v elo p   a  s e t o f   r u les  th at  ca n   p r ed ict  th e   r esu lt  o f   t h e  g a m e  p la y   h en ce   th e  u s er   ca n   lear n   th e  o p er ato r ’ s   ab ilit y   t h r o u g h   t h e  alg o r i th m   s u g g ested   t h e n   th e y   w ill  i m p r o v e  th e  s tr ate g y   to   w in   t h e  g a m e.   T ab le  4   s h o w s   t h e  d ata  u s ed   in   t h i s   s tu d y   b ased   o n   t h e  m atc h m a k i n g   th at  h ad   b ee n   r ec o r d ed   f r o m   t h e  r ep lay .   E v er y   attac k   o p er ato r   w i ll  b e  m atc h ed   o n   ev er y   d ef e n d   o p er ato r   an d   th e  r e s u lt o f   w i n   an d   lo s s   w ill b ased   o n   t h e  r ep la y .               C l a ss   A r m o r   ( L o w ,   M e d i u m ,   H i g h )   M o v e me n t   ( S p e e d   1 , 2 , 3 )   F l e x i b i l i t y   ( L o w ,   M e d i u m ,   H i g h )   B r e a c h e r   L o w   2   M e d i u m   S h i e l d   H i g h   1   M e d i u m   D a mag e   ( A t t a c k )   L o w   3   M e d i u m   U t i l i t y   H i g h   2   H i g h   T r a p   M e d i u m   2   H i g h   C o r e   H i g h   1   L o w   D a mag e   ( D e f e n d )   L o w   3   H i g h   I n f o r mat i o n   M e d i u m   3   H i g h   Evaluation Warning : The document was created with Spire.PDF for Python.
      I SS N :  2502 - 4752   I n d o n esia n   J   E lec  E n g   &   C o m p   Sci,   Vo l.  11 ,   No .   1 ,  J u ly   2 0 1 8 :   2 4 8 – 2 5 5   252   T ab le  4 .   C h ar ac ter is tics   o f   s el ec ted   R SS   clas s   o p er ato r   C l a ss    1   C l a ss     2   A r m o r   M o v e me n t   F l e x i b i l i t y   R e su l t   C l a ss  1   C l a ss  2   C l a ss  1   C l a ss  2   C l a ss  1     C l a ss  2   B r e a c h e r   T r a p   L o w   M e d i u m   S p e e d   2   S p e e d   2   M e d i u m   H i g h   L o s e   D a mag e   T r a p   L o w   M e d i u m   S p e e d   3   S p e e d   2   M e d i u m   H i g h   L o s e   …   …   …   …   …   …   …   …   …   …   …   …   …   …   …   …   …   …   T r a p   U t i l i t y   M e d i u m   H i g h   S p e e d   2   S p e e d   3   H i g h   H i g h   L o s e   C o r e   D e f e n se   B r e a c h e r   H i g h   L o w   S p e e d   1   S p e e d   2   L o w     M e d i u m   L o s e       3 . 3 .   Cla s s if ica t io n  Alg o rit h m s   T h r ee   class if ier s   ar e  u s ed   i n   th is   s t u d y .   T h er e  ar e  Naïv e  B ay e s ,   ( K - Nea r e s t  Nei g h b o r ) ,   I B K  an d   d ec is io n   tr ee   ( J 4 8 ) .     3 . 3 . 1 .   Na ïv e  B a y es    Naïv e  B a y es  i s   u s ed   to   p r ed ic t  th e  class   d ep en d in g   o n   th e  p r o b ab ilit y   o f   b elo n g in g   to   th e  class   [ 1 3 ] .   T h e  p r o b ab ilit y   i s   ca lcu lated   b ased   o n   E q u atio n   1 .     ( | ) = ( | ) ( ) ( )   ( 1 )     w h er e  P   ( c| x )   i s   th e  p o s ter i o r   p r o b ab ilit y   o f   clas s   ( tar g et)   g iv e n   p r ed icto r   ( attr ib u te) ,   P ( c)   i s   th e  p r io r   p r o b a b ilit y   o f   clas s .   P   ( x| c)   is   th e  l ik el ih o o d   w h ich   is   th e  p r o b ab ilit y   o f   p r ed icto r   g i v en   cl ass   a n d   P ( x )   is   t h e   p r io r   p r o b a b ilit y   o f   p r ed icto r .     3 . 3 . 2 .   I B K   ( k - Nea re s t   Neig hb o r)   L az y   lear n i n g   is   a  lear n i n g   m eth o d   in   w h ic h   th e  s y s te m   tr i es  to   g en er alize   th e  tr ai n in g   d ata  b ef o r e  r ec eiv in g   q u er ie s   is   d ela y ed   u n til  a  q u er y   i s   m ad e  to   th e  s y s te m   [ 1 4 ] .   L az y   ca n   d ea l  w i th   ch an g es  o f   p r o b le m   ar ea   an d   s o lv e  m u ltip le  p r o b le m   [ 1 5 ] .   I B k   class i f ier   is   l ik e  k - Nea r est  Nei g h b o r   ( KNN)   class i f ier   w h er e   b y   k   is   a  u s ed   d ef i n ed   co n s ta n t  [ 1 9 ] .   T h e  s i m ilar it ies  o f   d i f f er e n t  in s ta n ce s   ar e  ca lc u lated   u s i n g   E u clid ea n   d is ta n ce   as in   E q u atio n   2.     2 1 , ) ( s j W s s i j i V V d   ( 2 )     w h er e i V   is   th e  v ec to r   o f   th e  i - t h   in s ta n ce ,   w h ile  j V is   th e  s - th   ele m en ts   o f   v ec to r   i V ,   an d   ij d is   th e  d is tan ce   b et w ee n   i V an d   j V .     3 . 3 . 3 .   J 4 8   ( Dec is io n T re e)   T h e  J 4 8   class if ier   ( W ek a  [ 1 7 ]   im p le m e n tatio n   o f   th e  w ell - k n o w n   C 4 . 5   d ec is io n   tr ee   alg o r ith m )   w i ll   g en er ate  s o m e  r u les  i n   o r d er   to   p r ed ict  th e  o u tp u t  v a r iab le  an d   also   h elp   in   d escr ib in g   t h e  cr itical  co n tr ib u tio n s   to   b ec o m e   ea s i l y   u n d er s ta n d ab le  [ 1 6 ] .   T h e  ad d itio n al  f ea t u r es  o f   J 4 8   w er eu s ed   to   f in d   m i s s i n g   v alu e s ,   d ec is io n   tr ee s   p r u n i n g ,   co n tin u o u s   attr ib u te  v alu e  r a n g es   a n d   d er iv atio n   o f   r u les.        4.   P E RF O RM ANCE  M E ASURE M E NT   T h e  r esu lts   o f   t h e  clas s if ier s   ar e  ev alu ated   b y   u s in g   ac c u r a c y ,   tr u e  p o s iti v e  ( T P )   r ate,   p r ec is io n ,   F - m ea s u r e  an d   m ea n   ab s o lu te  e r r o r   ( MA E ) .   A cc u r ac y   ass e s s es  th e  o v er all  ef f ec ti v e n ess   o f   th e  alg o r ith m .   I t  is   g iv e n   b y   E q u a tio n   3 .     100 * TN FN FP TP TN TP A c c u r a c y   ( 3 )     w h er e   T P   ( tr u e  p o s itiv e)   an d   T N  ( tr u e  n eg ati v e)   ar e  t h e  n u m b er s   o f   co r r ec tl y   p r ed icted   p o s itiv e  a n d   n eg at iv e  s a m p le s   r esp ec ti v el y .   FP   ( f alse  p o s itiv e)   a n d   FN  ( f alse  n eg a tiv e)   ar e  t h e  n u m b er s   o f   in co r r ec tl y   p r ed icted   p o s itiv e  an d   n e g ati v e  s a m p les,  r esp ec ti v el y .   Evaluation Warning : The document was created with Spire.PDF for Python.
I n d o n esia n   J   E lec  E n g &   C o m p   Sci   I SS N:  2502 - 4752     P r ed ictio n   Ou tco me  fo r   Ma s s i ve   Mu ltip la ye r   On lin e  Ga mes U s in g   Da ta   Min in g   ( S h a z w a n i   S a msu r im )   253   T h e  T P   R ate  d eter m i n es  t h e  p lay   ca s e  r atio   f o r   p r ed icted   co r r ec tly   ca s es  to   th e   to tal  o f   p o s iti v e   ca s es.  I t  is   a  p r o b a b ilit y   co r r e cted   m ea s u r e  o f   a g r ee m e n t  b et w ee n   t h e  class i f icat io n s   a n d   th e  tr u e  clas s es.  I n   th is   T P   ev alu atio n ,   T P   r ate  w ill  d eter m i n e  n u m b er   o f   ex a m p les  p r ed icted   p o s itiv e  t h at  ar e  ac tu all y   p o s it iv e   f o r   th e  r es u lt o f   t h e  g a m e.     P r ec is io n   d ef in e  as  p o s iti v e  p r ed ictiv e  v alu e  t h at  w ill  ca lc u late  h o w   m an y   p o s iti v e  p r ed ictio n s   ar e   co r r ec t f o r   th e  r esu lt o f   t h e  g a m e.   E q u atio n   4   s h o w s   t h e  f o r m u la  to   ca lcu late  p r ec is io n .     P r ec is io n   =       TP  / ( TP+F P )   ( 4 )     w h er e   TP   r e f er   to   tr u e  p o s iti v e  an d   FP  r e f er   to   f al s e  p o s itiv e.   F - Me a s u r e  i s   a  co m b i n atio n   o f   r ec all  a n d   p r ec is io n   w h ic h   is   i n   a  s i n g le  p er f o r m a n ce .   E q u atio n   5   s h o ws th e  f o r m u la  to   ca lcu late  F - m ea s u r e.     F - Mea s u r e=  2   *   P r ec is io n   *   R ec a ll /  ( P r ec is io n   +R ec a ll)   ( 5 )     T h e  m ea n   ab s o lu te  er r o r   ( MA E )   is   u s ed   to   m ea s u r e  h o w   f ar   th e  p r ed ictio n s   d if f er   f r o m   t h e   ac tu al  v al u es  [ 2 0 ] .   T h e  f o r m u la  f o r   MA E   i s   g i v e n   in   E q u atio n   6 .     n i i i y f n M A E 1 1   ( 6 )     w h er e  n =t h e  n u m b er   o f   er r o r s   an d   | − |   =  th e  ab s o lu te  er r o r s .       5.   RE SU L T S AN D  E VA L UA T I O N    T h is   s ec tio n   f o c u s e s   o n   th e  e v alu a tio n   o f   t h e  s elec ted   clas s if ica tio n   al g o r ith m .   T ab le  5   s h o w s   t h e   ac cu r ac y   f o r   e v er y   cla s s i f ica ti o n   alg o r it h m s ,   Naïv e   B a y es,   I B K  an d   J 4 8 .   T h e  r esu lts   ar e  o b tain ed   b y   u s in g   5 - f o ld   cr o s s   v alid atio n .   T h ese  m ea s u r e m en t s   ar e   o b tain ed   b y   u s in g   W ek a  [ 1 7 ]   to o lk it.       T ab le  5 .   C lass if icatio n   al g o r it h m   a n d   o v er all  ac cu r ac y   C l a ssi f i e r   A c c u r a c y   ( %)   N a ï v e   B a y e s   0 . 7 5   I B K   0 . 9 4   J4 8   0 . 6 6       A ll  t h e  class if ier   p r ed icts   th e  o u tco m e  o f   th e  g a m e  ac co r d in g   to   th e  o p er ato r   class   s elec ted .   Fro m   T ab le  5 ,   it  ca n   b e  co n cl u d ed   th at  I B K  alg o r it h m   h a s   t h e  h ig h est  ac c u r ac y   co m p ar ed   to   Naïv e  B a y e s   an d   J 4 8   w h ic h   r ea ch es  ac c u r ac y   o f   9 3 . 7 5 %.  W h ile  Naïv e  B a y es  r ea ch es  7 5 %  o f   ac c u r ac y   an d   J 4 8   h av e  t h e  lo w e s t   ac cu r ac y   v al u e  6 5 %.  Fi g u r e  3   s h o w s   th e   p er f o r m a n ce   ev a lu atio n   o f   Naïv e  B a y es,  I B K  an d   J 4 8   class if icatio n   alg o r ith m s .   I t  co m p ar es  th r ee   ty p es  o f   p er f o r m a n ce   ev al u at io n   w h ic h   ar e  T r u e  Po s itiv e  ( T P )   r ate,   p r ec is io n   an d   F - Me a s u r e.             Fig u r e  3 .   P er f o r m a n ce   m ea s u r en t f o r   clas s i f icatio n   al g o r ith m   Evaluation Warning : The document was created with Spire.PDF for Python.
      I SS N :  2502 - 4752   I n d o n esia n   J   E lec  E n g   &   C o m p   Sci,   Vo l.  11 ,   No .   1 ,  J u ly   2 0 1 8 :   2 4 8 – 2 5 5   254   Fro m   Fi g u r e  4 ,   it  is   o b s er v ed   th at  J 4 8   alg o r ith m   o b tai n   th e   h ig h es t  er r o r   r ate  w h ile  I B K  o b tain   th e   lo w es t e r r o r   r ate.   T h er ef o r e,   I B K  class i f icatio n   al g o r ith m   p e r f o r m   w el l si n ce   it  h as t h e  h ig h est ac c u r ac y   r ate.           Fig u r e  4 .   E r r o r   r ate  f o r   class if i ca tio n   alg o r it h m       6.   CO NCLU SI O N  AND  F U T U RE   WO RK S    T h is   p ap er   d eter m i n es   t h e  b es t  alg o r it h m   b y   co m p ar in g   t h r e e  class i f icat io n   tec h n iq u e s   to   p r ed ict  th e  o u tp u t  o f   t h e  R SS .   T h is   s t u d y   m ai n l y   f o cu s   o n   t h r ee   clas s if icatio n   tech n iq u e s ,   Naï v e  B a y es,  J 4 8   an d   I B K .   E x p er i m e n ts h a v e  b ee n   co n d u cted   to   d eter m i n e  t h e  p e r f o r m ac e  f o r   ea ch   o f   t h e  al g o r ith m .   Am o n g   t h e  th r ee   class i f icatio n   alg o r it h m s ,   it  ca n   b e  co n clu d ed   th a t  I B K  is   th e  b est  alg o r ith m   to   p r ed ict  th e  o u tco m e  o f   R S S   g a m e  co m p ar ed   to   Naïv e  B ay es  an d   J 4 8 .   T h er ef o r e,   I B K  m o d el  is   s u itab le  to   b e  ap p lie d   f o r   p r ed ict io n   o f   MM O  g a m e s   s i n ce   I B K  al g o r ith m   p er f o r m   b etter   t h an   Naïv e  B a y es  a n d   J 4 8 .   A s   f o r   f u tu r e  w o r k s ,   t h e  a u t h o r   p lan s   to   i n v e s ti g ate  t h e  ef f ec t  o f   f ea t u r e  s elec t io n   to   t h e  g a m e  o u tco m e  p r ed ictio n .   Fu r t h er m o r e,   u s i n g   o t h er   class i f ier s   s h o u ld   also   b e  u s ed   in   f u t u r e  ex p er i m e n t s .       ACK NO WL E D G M E NT S   T h is   w o r k   is   s u p p o r ted   b y   Ui T M  I n ter n al  R e s ea r ch   Gr a n ts   Sch e m e  ( L E ST AR I )   ( 6 0 0 - I R MI /DAN A  5 /3 /L E ST A R I   ( 1 1 8 /2 0 1 6 ) )   f r o m   th e  r esear c h   Ma n a g e m en t  C en tr e  ( R MC),   U n iv er s itiT ek n o lo g i  M A R A ,   S h a h   A la m ,   Selan g o r .   T h e  ap p r ec iatio n   also   g o es  to   Fac u lt y   o f   C o m p u ter   a n d   Ma th e m atica l   Scien ce s   ( F SKM) ,   Un i v er s iti   T ek n o lo g i  M A R A ,   Sh ah   Ala m ,   Se lan g o r   f o r   g i v in g   a  m o r al  s u p p o r t  in   th e  p r o d u ctio n   o f   th i s   p ap er .       RE F E R E NC E S   [1 ]   M il jk o v ic  D,  Ga ji c   L ,   Ko v a c e v ic  A ,   Ko n jo v ic  Z.   T h e   u se   o f  d a t a   min i n g   f  o r  b a sk e tb a ll   ma tch e s  o u tco me s   p re d ictio n .   IE EE   8 th   I n tern a ti o n a l  S y m p o siu m   o n   in telli g e n t   a n d   in f o r m a ti c s.  S u b o ti c a ,   S e rb ia.  2 0 1 0 :   3 0 9 - 3 1 2 .   [2 ]   Hla d k y   S ,   Bu li tk o   V .   A n   e v a l u a ti o n   o f  mo d e ls  fo r  p re d ictin g   o p p o n e n t  p o si ti o n s  in   fi rs t - p e rs o n   sh o o ter   v id e o   gam es .   P r o c e e d in g s  o f   th e   IE EE   S y m p o siu m   o n   Co m p u tatio n a l  In telli g e n c e   in   G a m e s,  P e rth ,   A u str a li a .   2 0 0 8 :   3 9 - 46.   [3 ]   Da n e v a ,   M .   Ho w   p ra c ti ti o n e rs   a p p r o a c h   g a me p l a y   re q u ire me n ts?   An   e x p o lo ra t io n   i n to   t h e   c o n tex t  o f  m a ss ive   mu lt ip l a y e r o n li n e   r o le - p l a y in g   g a me s .   2 2 n d   IEE E  I n t.   Re q u ir .   E n g .   Co n f .   2 0 1 4 :  3 - 1 2 .   [4 ]   Ba u c k h a g e   C,   Dra c h e n   A   a n d   S if a   R.   Clu ste rin g   g a me   b e h a v i o r  d a ta .   IEE E  T ra n s.  Co m p u t.   In t e ll .   A I  Ga m e s .   2 0 1 5 ;  7 (3 ) :  2 6 6 - 2 7 8 .   [5 ]   Ja n sz   J  a n d   T a n is M .   A p p e a l  o f  P la y in g   On li n e   F irst  P e rso n   S h o o te r  Ga m e s.  Cy b e r   Ps y c h o lo gy   Beh a v .   2 0 0 7 ;  1 0 ( 1 ):   133 – 1 3 6 .   [6 ]   W e b e r  B G ,   M a tea s  M .   A  d a t a   mi n in g   a p p r o a c h   to   stra teg y   p re d ic ti o n .   IEE E  S y m p .   Co m p u t.   In tell.   G a m e s.  2 0 0 9 :   140 - 1 4 7 .   [7 ]   De re sz y n s k i  E,   Ho ste tl e r  J,  F e rn   A ,   Die tt e rich   T ,   Ho a n g   T ,   Ud a rb e   M .   L e a rn i n g   p r o b a b i li stic  b e h a v io r  mo d e ls  in   re a l - ti me   stra teg y   g a me s . 7 th   A rti fi c ial  In telli g e n c e   a n d   In tera c ti v e   Dig it a l  En terta in m e n t  Co n f e re n c e .   2 0 1 1 :  2 0 - 2 5 .   [8 ]   P a rk   HS,   Ch o   HC,  L e e   KY ,   Ki m   KJ .   Pre d ictio n   o f  e a rly   sta g e   o p p o n e n ts  stra teg y   f o r  S t a rCr a ft   AI   u sin g   sc o u ti n g   a n d   ma c h i n e   lea r n in g .   I n   P r o c e e d in g s o f   th e   W o rk sh o p   a t  S IGG R AP H A sia   (W A S A   2 0 1 2 ).   2 0 1 2 :  7 - 12.   [9 ]   Ch iu   KSY,   Ch a n   KCC.  Ga me   e n g i n e   d e sig n   u si n g   d a ta   min in g .   P ro c e e d i n g s  o f   th e   2 6 th   I A S T E D  In tern a ti o n a l   Co n f e re n c e   o n   A rti f icia l  In telli g e n c e   a n d   A p p li c a ti o n s.  2 0 0 8 :   3 5 2 - 3 5 7 .   27,62 15,27 35,49 0 10 20 30 40 N aï v e  B a ye s IB K J48 MAE Cl ass f ie r Mean   Ab so lut e  Err or   ( MAE) Evaluation Warning : The document was created with Spire.PDF for Python.
I n d o n esia n   J   E lec  E n g &   C o m p   Sci   I SS N:  2502 - 4752     P r ed ictio n   Ou tco me  fo r   Ma s s i ve   Mu ltip la ye r   On lin e  Ga mes U s in g   Da ta   Min in g   ( S h a z w a n i   S a msu r im )   255   [1 0 ]   Ho ste tl e r  J,   De re sz y n sk i  E,   Die tt re rich   T .   F e rn   A .   In fer rin g   str a teg ies   fro m  li mi ted   re c o n n a issa n c e   in   re a l - ti me   stra teg y   g a me s .   P ro c e e d i n g s o f   th e   2 8 th   Co n f e re n c e   o n   Un c e rtain ty   in   A rti f icia l  In telli g e n c e .   2 0 1 2 :   3 6 7 - 3 7 6 .     [1 1 ]   Hs ieh   JL   a n d   S u n   CT .   Bu il d i n g   a   p l a y e r  stra te g y   m o d e l  b y   a n a lyz in g   re p la y s  o f  re a l  ti me   stra teg y   g a me s.  In ter n a t io n a l  J o in t  C o n fer e n c e   o n   Ne u r a l  Ne two rk s .   p a rt  o f   th e   IEE E  W o rl d   Co n g re ss   o n   Co m p u tatio n a l   In telli g e n c e ,   Ho n g   Ko n g ,   Ch in a .   2 0 0 8 :  3 1 0 6 - 3 1 1 1 .   [1 2 ]   S y n n a e v e   G ,   Be ss i ` e r e   P .   A  d a t a se t  fo r  S ta rc ra f t   AI  &   a n   e x a mp l e   o f  a rm ies   c lu ste rin g .   A rti f ici a l  In telli g e n c e   in   A d v e r sa rial  Re a l - T i m e   Ga m e s.  2 0 1 2 :  2 5 - 3 0 .   [1 3 ]   T v e it   A .   Ga me   u sa g e   min in g :  In fo rm a t io n   g a th e rin g   f o r  k n o w led g e   d isc o v e ry   in   ma ss ive mu lt i p la y e r  g a me s.   P r o c e e d in g s o f   th e   I n tern a ti o n a l  Co n f e re n c e   o n   In tern e t  Co m p u ti n g ,   2 0 0 2 :  6 3 6 - 6 4 2 .   [1 4 ]   Esm it a   A P ,   G u p ta M E.   P ro c e ss   M in i n g :  A   Co m p a ra ti v e   S tu d y .   In t.   J .   A d v .   2 0 1 4 ;   3 (1 1 ):   17 - 23 .   [1 5 ]   Oth m a n   M F ,   Ya u   T M S .   Co mp a ri so n   o f  Di ff e re n t  Cla ss if ic a ti o n   T e c h n iq u e s  Us in g   W EKA   f o r        Bre a st  Ca n c e r .   3 rd   Ku a la L u m p u r  In ter n a ti o n a l  Co n f e re n c e   o n   Bio m e d ica l  En g in e e rin g .   2 0 0 6 :  5 2 0 - 5 2 3 .   [1 6 ]   Ka u r  G ,   Ch h a b ra   A .   Im p ro v e d   J 4 8   Clas sif ica ti o n   A lg o rit h m   f o r  th e   P re d icti o n   o f   Dia b e tes .   In t.   J .   Co mp u t.   A p p l.   2 0 1 4 ;  9 8 ( 2 2 ) :   13 – 1 7 .   [1 7 ]   W it ten   IH  a n d   F ra n k   E.   Da ta  M in in g :  P ra c ti c a l  m a c h in e   lea rn in g   to o ls  a n d   tec h n i q u e s.S a n   F ra n c isc o ,   Ca li f o rn ia:  M o rg a n   Ka u fm a n .   2 0 0 5 .   [1 8 ]   Jia ji a   Z,   Xu a n   W ,   L in   Y,  S o n g   W .   Bu il d i n g   Op p o n e n t  M o d e l  in   Im p e r f e c t  In f o r m a ti o n   Bo a rd   G a m e s.   T EL KOM NIKA  In d o n e si a n   J o u rn a l  o f  E lec trica l  En g in e e rin g .   2 0 1 4 ;  1 2 (3 ) :   1 9 7 5 - 1 9 8 6 .   [1 9 ]   Ra sh e d   M ,   Din g ju   Z.   A n   Eff ici e n t  L ip - re a d in g   M e th o d   Us in g   K - n e a re st  Ne i g h b o r  A lg o rit h m .   T EL KOM NIKA  In d o n e sia n   J o u rn a l  o f  El e c trica l  En g i n e e rin g .   2 0 1 5 ;  1 3 ( 1 ):  1 8 0 - 1 8 6 .   [2 0 ]   S a d iq   H,  Ne a m a   A D,  F a d l  M B - A ,   Na jo u a   R.   Ed u c a ti o n a l  Da t a   M in in g   a n d   A n a ly sis  o f   S tu d e n ts’  A c a d e m ic   P e rf o rm a n c e   u sin g   W EK A .   T EL KOM NIKA  In d o n e sia n   J o u r n a l   o f   El e c trica l  En g i n e e rin g .   2 0 1 5 ;  1 3 (1 ):  1 8 0 - 1 8 6 .   Evaluation Warning : The document was created with Spire.PDF for Python.