TELK O M N I K A   Te l e c ommu n i c at i on ,   C omp u ti n g ,   El e c t r on i c s   an d   C on tr o l   V ol .   18 ,   N o .   2 ,  A pri l   2020 ,   p p.   8 1 5 ~ 8 2 1   IS S N :   1693 - 6930 ,   a c c r e di t e d   F i rs t   G r a de   by   K e m e n ri s t e kdi k t i ,   D e c r e e   N o:   21 / E / K P T / 2 018   D O I:   10 . 129 28/ T E L K O M N IK A . v1 8i 2 . 1478 5     815       Jou r n al   h o m e pa ge :  ht t p: / / j our nal . uad . a c . i d/ i nd e x . php / T E L K O MNIKA   C o mp a r i n g   r a n d o m  f o r e st   a n d   su p p o r t   v e c t o r   m a c h i n e s   f o r   b r e a st   c a n c e r   c l a ssi f i c a t i o n       C h e l vi an   A r o e f ,   Y u d a   R i van ,   Zu h e r m an   R u s tam   D e pa r t m e n t   of   M a t he m a t i c s ,   U ni ve r s i t y   o f   I nd one s i a ,   I ndon e s i a       A r ti c l e   I n fo     A BS TR A C T   Ar t i c l e   h i s t or y :   Re c e i v e d   A ug  31 ,   201 9   Re vi s e d  J a n  15 ,   202 0   A c c e pt e d  F e b  14 ,   202 0     T he r e   a r e   m or e   t h a n   10 0  t y pe s   o f   c a nc e r   a r ou nd   t he   w or l d   w i t h   d i f f e r e n t   s ym pt om s   a n d   d i f f i c ul t y   i n   p r e d i c t i ng   i t s   a pp e a r a n c e   i n   a   p e r s on   due   t o   i t s   r a nd om   a nd   s udd e n   a t t a c k   m e t hod .   H ow e v e r ,   t he   a ppe a r a nc e   of   c a nc e r     i s   ge ne r a l l y   m a r k e d   by   t he   g r ow t h   o f   s o m e   a bno r m a l   c e l l .   S o m e one   m i ght   be   di a g nos e d   e a r l y  a nd   qu i c k l y   t r e a t e d ,   b ut   t he   c a nc e r ou s   c e l l   m os t   t i m e s   hi d e s   i n  t he   bo dy   of   i t s   v i c t i m   a nd   r e a pp e a r ,   on l y   t o  k i l l   i t s   s uf f e r e r .   O ne   o f   t he   m o s t   c om m on  c a nc e r s   i s   b r e a s t   c a nc e r .   A c c or d i ng   t o  M i n i s t r y  o f   H e a l t h ,   i n  20 18 ,   br e a s t   c a n c e r   a t t a c ke d   42   o ut   o f   e ve r y   10 0. 000   pe opl e   i n   I ndo n e s i a   w i t h  a ppr oxi m a t e l y   1 7  d e a t hs .   I n  a dd i t i on ,   t h e   M i ni s t r y   r e c o r de d  a   y e a r l y  i nc r e a s e   i n   c a nc e r   pa t i e n t s .   T he r e f o r e ,   t h e r e   i s   a de q ua t e   ne e d   t o   be   a bl e   t o   de t e r m i ne   t hos e   a f f e c t e d   by   t hi s   di s e a s e .   T hi s   s t udy   a ppl i e d  t h e   B or u t a   f e a t u r e   s e l e c t i on   t o  de t e r m i n e   t he   m os t   i m p or t a n t   f e a t ur e s   i n   m a k i ng   a   m a c hi ne   l e a r ni ng  m od e l .   F ur t he r m or e ,   t h e   R a ndo m   F or e s t   ( R F )   a n d  S u ppo r t   V e c t o r   M a c hi n e s   ( S V M )   w e r e   t he   m a c h i ne   l e a r n i ng   m ode l   us e d ,   w i t h   h i gh e s t   a c c ur a c i e s   o f   90 %     a nd  9 5%   r e s p e c t i v e l y .   F r o m   t h e   r e s u l t s   o bt a i n e d ,   t he   S V M   i s   a   b e t t e r   m ode l   t ha n   r a nd o m   f or e s t   i n   t e r m s   o f   a c c ur a c y .   Ke y w or d s :   Bre a s t   c a n c e r   Ra ndo m   fore s t     S upport   ve c t o r  m a c hi ne s   T hi s   i s   an   op e n   ac c e s s   ar t i c l e   u nde r   t he   C C   B Y - SA   l i c e n s e .     Cor r e s pon di n g   Au t h or :   Z uhe rm a n  Rus t a m ,    D e pa r t m e nt   of   M a t he m a t i c s ,    U ni ve rs i t y   of   Indon e s i a ,  J l .   M a rgond a   Ra y a ,   P ond ok  Ci n a ,     K e c a m a t a n  B e j i ,   K ot a   D e po k,   J a w a   B a ra t   16424 ,   Indon e s i a .   E m a i l :   rus t a m @ ui . a c . i d       1.   I N TR O D U C TI O N   Ca nc e r  i s   one   of  t he   d e a dl i e s t   di s e a s e s   i n  t h e   w or l d.   A c c ordi n g  t o  W orl d  H e a l t h  O rg a ni z a t i on   (W H O ) ,   i n   2018 ,   i t   i s   t he   s e c ond   l e a di ng   c a us e   o f   de a t h   gl ob a l l y   a n d   r e s pons i b l e   f or   a p proxi m a t e l y   9 . 6   b i l l i on   d e a t hs   i n  2018 .   T h e re   a r e   ove r   1 00   di f fe r e nt   t ype   o f  c a nc e r   t h a t   a ff e c t   h um a n .   H ow e v e r,   t hi s   s t ud y,   a i m s   t o   a n a l yz e   t he   br e a s t   c a n c e r ,   a   di s e a s e   i n  w h i c h   c e l l s   grow   out   of   c ont r ol   t o  for m   a   t u m or  w hi c h   t e n ds   t o  a ff e c t   a not he r   pa rt   of   t he   b ody.   T h e re   a re   t hre e   c o m m on   pa r t s   of   bre a s t   w ho s e   c e l l s   ha s   t he   a bi l i t y   t o   t u rn   i n t o   c a nc e r   na m e l y   l obul e s ,   duc t s ,   a nd   t h e   c onn e c t i v e   t i s s ue .   L obu l e s   a re   gl a nds   w hi c h   produ c e s   m i l k  w hi l e   t he   du c t s   a re   t h i n  t ube s   t ha t   c a r ry   m i l k   a w a y   fro m   t h e   l ob ul e .   T he   c onne c t i ve   t i s s ue   c ons i s t s   of   f i brous   a n d  fa t t y   t i s s ue s   w hi c h   hol ds   t he   bre a s t   a n d  g i v e s   i t   s h a pe   a nd  s i z e .   H ow e ve r ,   i n   m os t   c a s e s ,   i t   be g i ns   i n  t he   l obul e s   o r  d uc t s .   T he   e xa c t   c a us e s   of  bre a s t   c a nc e r   a r e   s t i l l   not   know n ,   but   e xp e rt s   a r e   o f  t he   op i ni o n  t ha t   a n   i n t e r a c t i o n  be t w e e n   g e n e s   w i t h   l i f e s t y l e ,   e n vi ron m e nt ,   a n d   hor m o ne ,   t e n ds   t o   pro voke   a bno rm a l   c e l l   grow t h .     T he r e   a r e   s e v e r a l   f a c t ors   t h a t   i nc r e a s e   t h e   ri s k   of   ge t t i n g   bre a s t   c a nc e r   s uc h   a s   a g e .   A c c o rdi ng   t o   r e s e a rc h ,   m os t   c a s e s   p e opl e   a r e   di a gnos e d   a f t e r   t he   a ge   of   50 .   M e n   s t i l l   h a ve   a   r i s k   of   ge t t i ng   br e a s t   c a n c e r  e v e n  t hou gh    i t   i s   a   l o t   l ow e r   t ha n   w o m e n.   S o m e one   w h o   ha d   e a rl y   m e n s t rua l   pe r i ods   b e for e   t h e   a g e   of   12   a n d   s t a rt i ng  m e no pa us e   a f t e r   55 ,   s t a nd   a   h i ghe r  r i s k   of   b e i ng   a ff e c t e d .   Ra d i a t i on   t he r a py   i s   a l s o   a n ot h e r   fa c t o r  w h i c h  m a ke s   Evaluation Warning : The document was created with Spire.PDF for Python.
                              IS S N :   1693 - 6930   T E L K O M N IK A   T e l e c om m un   Co m put   E l   Con t rol ,  V ol .   18 ,   N o.   2 ,  A pri l   2 020:    8 1 5   -   8 2 1   816   c e l l   grow s   a bnor m a l l y .   F urt he r m or e ,   w o m e n   ha v e   a   hi gh e r   r i s k   of   g e t t i ng   br e a s t   c a nc e r   a s s um i n g   he r   fi rs t   re l a t i ve   (m o t he r,   da u ght e r,   or  s i s t e r )  w a s   di a gnos e d  w i t h  i t ,   w hi c h  i n  m os t   c a s e s   i s   unc ha ng e a bl e .     T he r e   a re   a l s o   s om e   f a c t ors   for  i ns t a nc e   ov e rw e i gh t   w o m e n   a ft e r  m e n opa us e   s t a nd  a   h i ghe r  ri s k   t h a n  t hos e   w i t h  no rm a l   b ody  w e i gh t .   Ca r e   s hou l d  t he r e for e   b e   t a ke n  by  t hos e   w i t h  i nc re a s e d  h orm o ne s   a ft e r  m e no pa us e ,   a s   i t   r a i s e s   t h e   ri s k  of  g e t t i ng   a ffe c t e d  by  b re a s t   c a n c e r.   W h e n  s o m e o ne   ha s   a l l   t h e   a bov e   m e n t i o ne d   fa c t o rs ,   doe s n’t   m e a n  t he y  a re   s uff e re rs ,   a nd   vi c e   v e rs a .     S ym pt o m s   of   bre a s t   c a nc e r  d i ff e r  fro m   pe rs ons .   H ow e ve r ,   s om e   c o m m o n  s ym pt o m s   i nc l ude   s ki n   c ha n ge s ,   s uc h  a s   s w e l l i ng,   re d ne s s ,   vi s i b l e   di ff e r e nc e s   i n   o ne   or  bot h   bre a s t s ,   a p pe a ra n c e   of  a   l u m p  w hi c h  doe s n’t   go  a w a y   a f t e r   s om e   pe ri od ,   f e e l i n g  of  pa i n  or  bur ni ng  s e ns a t i on  a rou nd  t he   b re a s t   a re a   e ve n   w i t h    no  pre s s ur e ,   a   c h a ng e   i n   t he   ni pp l e ,   i t c h e s ,   e t c .   O n c e   yo u   c o m e   a c r os s   a ny   of   t he s e   s ym p t o m s ,     c ons ul t   a   doc t or  i m m e di a t e l y .   T he   t re a t m e nt   for   bre a s t   c a n c e r   i s   di ff e re nt   a nd   d e pe n de n t   o n  t he   t yp e ,   t he   t um or   s i z e ,   a nd   how   fa r     i t   ha s   s pre a d   i n   t h e   body   (s t a ge   of   t he   c a nc e r) .   T h e   m os t   c o m m o n  t re a t m e n t   m e t ho d  i s   s urg e ry ,   w h i c h   i s   us e d  t o  r e m ove   t h e   t u m or  a nd   t i s s ue s   k now n  a s   l um pe c t o m y  or  t he   w ho l e   br e a s t   c a l l e d  m a s t e c t o m y.   In   a d di t i on ,   onc e   t he   c a nc e r   ha s   a l re a dy   s pr e a d   i n  t he   bod y,   t h e   c o m m on   t re a t m e n t   i s   r a di a t i on   t h e r a py,   t he   i nt e nt i on  i s   t o  ki l l   i t s   c e l l s   us i ng   hi gh  e n e rgy   w a v e s .   T h e   ot h e r  w a y   t o   ki l l   c a nc e r   c e l l s   i s   Che m o t he r a py ,   w hi c h  i s   t he   us e     of  dru gs ,   how e v e r ,   t hi s   t r e a t m e nt   a l s o  h a s   i t s   s i de   e ffe c t   s uc h  a s   h a i r  l os s ,   e a rl y   m e nop a us e ,   a nd   f a t i gue .     T he   us e   of  m e di c i n e   t o   pre ve n t   hor m on e s ,   e s pe c i a l l y  e s t roge n,   a l s o  w o rks   a s   a   t re a t m e nt .   But   s a d l y,   c urr e nt l y   t he r e   i s   no   c ure   for   c a n c e r   c om p l e t e l y.   T he r e for e ,   t h e   s oone r  t h e   be t t e r  t o  k now   s o m e one   i s   s uffe r i ng   c a nc e r     or  no t ,   s o  i t   c a n   be   t r e a t e d  e a r l y.     M a ny  m a c hi n e   l e a r ni ng  m e t ho ds   ha v e   b e e n  a pp l i e d  for  b re a s t   c a n c e r  c l a s s i f i c a t i on ,   s uc h  a s   S uppor t   V e c t or  M a c h i ne s   [1]  a nd   N e t w ork - b a s e d  [2] .   H ow e ve r ,   t hi s   re s e a rc h  c om p a r e s   bo t h  i n  t e r m s   of   a c c u ra c y.   S V M   i s   a l r e a d y   a   w i de l y   know n   m e t hod   us e d   for   c l a s s i fi c a t i on   s uc h   a c ut e   s i nus i t i s   [3 ],   f a c e   i d e n t i f i c a t i on   [4] ,   pre di c t i ng  b a nk   fa i l ur e   [ 5],   Int r us i on  D e t e c t i on   S ys t e m   [6,   7,   8] ,   Cl a s s i fi c a t i on   of  S c hi z ophr e ni a   [9 ],     D e t e c t i on   of  T r a ffi c   Inc i de nt   [10] ,   a nd   F a c e   Re c ogn i t i on   [11 ,   12].   S om e   p re v i ous   s t udi e s   u t i l i z e d   r a ndo m   f o re s t   for  ge n e   s e l e c t i on  a nd  c l a s s i fi c a t i on   [13] ,   c l a s s i f i c a t i on  of  a ndro i d  m a l w a r e   [14] ,   pr e di c t   ba n k    fa i l ure   [ 15],   pre d i c t   pros t a t e   c a nc e r   [16 ],   a nd   os t e oa rt hr i t i s   c l a s s i fi c a t i on   [17] .   T hi s   re s e a r c h   i s   e xpe c t e d   t o  he l p    t he   he a l t h  s e c t or   t o   c l a s s i f y  br e a s t   c a n c e r  s uff e re rs .       2.   R ES EA R C H   M ET H O D   2. 1 .       D at a   T he   d a t a   i n   t h i s   s t udy   w a s   t a ke n  f rom   U CI   m a c hi ne   l e a r ni ng   r e pos i t ory   [18] .   T h e   da t a   c ons i s t s   of   n i ne   fe a t ure s ,   a s   f ol l ow s :   −   A ge   (Y e a rs )   −   BM I  (kg / m ² )   −   G l uc os e   ( m g/ dL )   −   Ins ul i n   (µ U / m L )   −   HOMA   −   L e p t i n   (ng / m L )   −   A di pon e c t i n     (µ g / m L )   −   Re s i s t i n  ( ng/ m L )   −   M CP   1  ( pg/ m L )   T he r e   a re   t w o   c l a s s i f i c a t i on   c l a s s ,   w i t h   116   obs e rv a t i ons   c ons i s t i ng   of   52   h e a l t hy   ( 1)   a n d   64     pa t i e n t s   (2) .       T a b l e   1 .   D a t a   of   br e a s t   c a n c e r   fro m   U CI  m a c h i ne   l e a r ni ng   r e pos i t ory   A g e   BM I   G l u c o s e   In s u l i n   H O M A   L e p t i n   A d i p o n e c t i n   Re s i s t i n   M CP   1   Cl a s s   76   2 7 . 1   110   2 6 . 2   7 . 1 1   2 1 . 7 8   4 . 9 3   8 . 4 9   4 5 . 8 4   1   77   2 5 . 9   85   4 . 5 8   0 . 9 6   1 3 . 7 4   9 . 7 5   1 1 . 7 7   4 8 8 . 8 2   1   45   2 1 . 3   102   1 3 . 8 5 2   3 . 4 8   7 . 6 4   2 1 . 0 5   2 3 . 0 3   5 5 2 . 4 4   2   45   2 0 . 8 3   74   4 . 5 6   0 . 8 3   7 . 7 5   8 . 2 3   2 8 . 0 3   3 8 2 . 9 5   2       2. 2 .       S u p e r vi s e d   l e a r n i n g   S upe rvi s e d   l e a r ni ng   i s   a   m e t hod   t ha t   prov i d e s   d i s c r e t e   pr e di c t i on,   c a l l e d   c l a s s i fi c a t i on .   It   s p l i t   t h e   da t a   i nt o   t ra i ni ng ,   w hi c h   i s   us e d  t o   pr e di c t   m ode l   t o   ob t a i n   t h e   be s t   p a ra m e t e r  a nd   t he   t e s t   d a t a   w he r e   t h e   obt a i n e d   Evaluation Warning : The document was created with Spire.PDF for Python.
T E L K O M N IK A   T e l e c om m un   Co m put   E l   Con t rol         Com par i ng   r andom   f or e s t   and   s uppor t   v e c t or   m a c hi ne s   …   ( Che v i an   A r o e f )   817   re s ul t s   a re   a p pl i e d .   S u pe rv i s e d   l e a r ni n g  k e e ps   up da t i ng   i t s e l f  t o  m a ke   t h e   be s t   m od e l   pos s i b l e ,   a nd   by   us i ng   i t ,   a   n e w   d a t a   ha s   t h e   a bi l i t y  of  b e i ng  i npu t t e d  a nd   c l a s s i f i e d .     2. 3 .       D e c i s i on   tr e e   D e c i s i on   t r e e   i s   a   m od e l   d i a g ra m   t h a t   c ons i s t s   o f   nod e   a n d   e d ge .   T h e re   a re   s e ve r a l   t yp e s   of   nod e s   s uc h   a s ,   r oot ,   p a r e nt   (i n t e r na l ),   a n d  c hi l d  no de s   (l e a f) .   R oot   nod e   i s   t h e   b e gi nni n g  of   a   nod e   t ha t   m a k e s   a not he r   bra nc h,   know n   a s   t h e   pa r e nt   no de .     T hi s   m a ke s   a no t he r  br a n c h  k now n  a s   c hi l d   nod e ,   w hi c h   c ons i s t s   of   r i ght   a nd  l e ft   nod e s .   F ur t he r m or e ,   w he n  t he   c h i l d  n ode   doe s n’ t   ha ve   a n y  br a nc h ,   i t ’s   c a l l e d   t e rm i na l   nod e .   F i gur e   1   s how s   a   s i m p l e   d e c i s i on   t r e e   c ons i s t s   of  root   nod e ,   i nt e rna l   n ode   a nd   l e a f   no de .           F i gure   1 .   D i a gr a m   of   d e c i s i on   t r e e   c o ns i s t s   of  r oot   nod e ,   i nt e rna l   nod e ,   a nd  l e a f   nod e       D e c i s i on   t r e e   i s   one   of   t he   e x a m p l e s   of   m a c hi n e   l e a r ni ng   m o de l ,   w hi c h   i s   e a s y   t o   un de rs t a nd   b e c a us e   i t   i s   v i s ua l i z e d .   It   fol l ow s   t h e   rul e   of   B ool e a n   a l ge br a .   T r e e   i s   m a d e   of   b i na r y   re c urs i v e   pro c e s s   of   t h e   w hol e   da t a   s o  t h e   va r i a b l e   f rom   e a c h   d a t a   w i l l   be   h o m og e nou s   [19] .   M a k i ng   a   de c i s i on   t r e e   m od e l   i nvol ve     t he s e   pro c e s s e s   [19 ]:   −   S pl i t   t h e   pa r e nt   no de   i n t o  c h i l d   nod e   w i t h   goo dne s s   of  s p l i t   c ri t e ri on   −   S t a t e   t he   t e r m i n a l   nod e   w h i c h  i s   t he   l a s t   node   of   t h e   de c i s i on  t hre e   −   Cl a s s   a s s i gn m e n t   A l gori t hm   for  m a ki ng   t h e   d e c i s i on  t re e   m od e l   i s   us i n g   di vi de   a nd  c onq ue r   re c urs i v e l y   [20] .     T he   a l gor i t h m   fol l ow s   t he   s t e ps   b e l ow :   −   Choos e   a   fe a t u re   t o   b e   n a m e d   a s   root   no de   a nd   m a k e   bra n c h   for  a l l   pos s i b l e   f e a t ure .   −   D i vi d e   t he   t r a i ni ng   s e t   w i t h   on e   s e t   for  a   bra nc h .   −   Re c u rs i ve l y   re p e a t   t h e   pr oc e s s   for   e v e ry   br a nc h  us i ng  i t s   da t a .   −   S t op  w h e n   al l   t h e  d at a  h as  sam e  c l ass.     2. 4 .       B or u ta   f e atu r e   s e l e c t i on   Borut a   f e a t ur e   s e l e c t i on   i s   bu i l t   a round   t he   r a ndo m   f ore s t   c l a s s i fi c a t i on   a l gor i t h m ,   w h i c h   i s   c a rr i e d   out   w i t hout   t un i ng   of   p a r a m e t e rs   a nd   num e ri c a l   e s t i m a t e   of   t h e   i m por t a n t   f e a t ure .   R a ndo m   for e s t     i s   a   c l a s s i fi c a t i on  m e t hod   w hi c h  i s   p e rfo rm e d  by  vot i ng  o f   m ul t i pl e   unb i a s e d  de c i s i on  t re e s   bui l t   f rom   s a m pl e s   of  t he   t r a i ni ng   s e t   [21] .   T h e   i m port a n c e   of   t he   fe a t ure   i s   ob t a i n e d   fro m   t he   l os s   of   a c c ur a c y   of   c l a s s i fi c a t i on .     In  a ddi t i o n,   t he   de c i s i on   of   a   t re e   i s n’t   i nfl ue n c e d   b y   a n ot h e r   i n   t he   for e s t .   T h e   Boru t a   F e a t ur e     S e l e c t i on   a l gori t h m   [2 2]:   −   Bui l d   e xt e nde d  s ys t e m   i nfor m a t i on   by   a ddi n g  c opi e s   o f  a l l   f e a t ur e   r a ndo m l y  p e r m ut e d   a c ros s   ob j e c t s .   −   S huffl e   t he   s ys t e m   t o   m i ni m i z e   t he   c or re l a t i ons   w i t h   t he   re s p ons e   −   P e rform   r a ndo m   fore s t   t o  o bt a i n   t h e   Z   s c or e s   c om put e d.   −   D e t e r m i ne   t h e   m a xi m u m   Z   s c o re   f or  t he   e xt e nd e d  f e a t ur e   a nd  a s s i gn   t h e   f e a t ure   a s s u m i ng   i t   ha s   a   b e t t e r   s c ore   t h a n   t h e   e xt e nd e d.   F ur t he r m or e ,   run   t w o - s i d e d  t e s t   of   e qu a l i t y   us i ng  t he   Z   s c ore   for   t h e   e x t e n de d   fe a t ure   of   e a c h  a t t ri bu t e   w i t h  unde t e r m i ne d   i m por t a nc e .   −   L a b e l   t h e   f e a t ure   w i t h  l ow e r  Z   s c ore   for  t he   e x t e nde d   ‘un i m p ort a n t ’  f e a t ur e   a nd  r e m ove   i t   fro m   t he   s ys t e m .   Evaluation Warning : The document was created with Spire.PDF for Python.
                              IS S N :   1693 - 6930   T E L K O M N IK A   T e l e c om m un   Co m put   E l   Con t rol ,  V ol .   18 ,   N o.   2 ,  A pri l   2 020:    8 1 5   -   8 2 1   818   −   L a b e l   t h e   fe a t ur e   w i t h   h i ghe r   Z   s c ore   for   t he   e x t e n de d   ‘i m por t a n t ’  f e a t ur e .   −   Re m o ve   a l l   c o pi e d  f e a t ur e   a nd   re p e a t   t h e   pr oc e dur e   t i l l   non e   i s   re m ov e d     2. 5 .       R an d om   fo r e s t   Ra ndo m   fore s t   w a s   f i rs t   i n t rodu c e d   by   H o   i n   199 5  t o  s p l i t   n o de s .   It   i s   t h e   e ns e m b l e   of   m a ny   de c i s i on  t re e s   us i ng   boo t s t r a ppi ng  a nd  r a ndo m   fe a t ur e   s e l e c t i on .   R a ndo m   f or e s t   i s   s ui t a bl e   for   t h i s   s t ud y  b e c a us e     i t   p e rfor m s   w e l l   on   l a rge   d a t a s e t s .   F i g ure   2  s how s   a   di a gra m   o f  r a ndo m   fo re s t   w hi c h  b ui l t   of  m a n y    de c i s i on   t r e e .           F i gure   2 .   D i a gr a m   of   r a ndo m   fo re s t   w hi c h   c o ns i s t s   of  m a ny  de c i s i on   t r e e s       Ra ndo m   f ore s t   i s   a   c l a s s i fi e r  c ons i s t i ng   of   c l a s s i f i c a t i on  t re e     w he r e     i s   a   v e c t or  w i t h   i nd e pe nde nt l y  a n d  i d e n t i c a l l y  d i s t r i but e d  w i t h  e a c h  t re e   v ot e   a t   t h e   i npu t   .   T h e   a c c ura c y  f rom   de c i s i on   t r e e   i s   m or e   s t a b l e   a nd  a c c ur a t e .   H ow e v e r ,   t he   ra nd om   f ore s t   p e rfor m s   b e t t e r   a c c ura c y  w h i c h  m a k e s   t he   c orr e l a t i on   of   t re e   s i gn i fi c a n t .   By   for m i ng   a   l ot   of   t re e   i nt o   ra ndo m   fore s t   t h e   ri s k   o f   ge t t i ng   ov e r   fi t t i ng     i s   re du c e d,   w i t h   t h e   e rror  a nd  c onv e rg e   i n t o  s o m e   va l u e   g e ne ra l i z e d .   G i v e n  e ns e m bl e   c l a s s i fi e r    w i t h  ra nd om   t r a i n i ng  d a t a   ob t a i ne d  fro m   v e c t or   X   a nd  Y ,   t he   func t i on     of  t h e   m a rgi n  i s   w ri t t e n   a s :       (1)     W he r e     i s   t he   i ndi c a t or   fu nc t i on   a nd     t he   a ve r a g e ,   w i t h     t he   r e s ul t   o f   c l a s s i f i c a t i on,   w h e r e   Y     i s   t he   c l a s s   pre di c t i on   a nd     i s   t h e   re s u l t   of   c l a s s i fi c a t i on   w i t h   j .   M a rg i n   i s   us e d   t o  de t e r m i n e     t he   a v e r a ge   va l u e   of   vo t e s   X ,   Y .   A   gre a t e r  m a rgi n   v a l u e   m e a ns   a   m o re   a c c ur a t e   c l a s s i fi c a t i on.       (2)       de n ot e s   t he   ge n e r a l i z a t i o n  e rror ,   w hi l e     i ndi c a t e   t h a t   t he   pro ba bi l i t y  i s   m or e   t ha n   X ,   Y   di m e ns i on   [23] .     2. 6 .       S u p p or t   v e c to r   ma c h i n e s   S upport   V e c t or   M a c h i ne s   i s   on e   of  t h e   s up e rv i s e d   l e a r ni ng   m e t hods   w i d e l y   i n t rod uc e d  by  V a pn i k   i n   t he   l a t e   9 0s .   D uri ng   i t s   e a r l y   da ys ,   i t   w a s   us e d   on l y   for   c l a s s i fi c a t i on,   how e ve r,   i t   h a s   d e v e l op e d ,   a nd   c a pa bl e   of  s ol v i ng  re gr e s s i on   prob l e m s .   S V M   t ry   t o   s ol v e   t he   c l a s s i f i c a t i o n  pr obl e m   by  form i ng   a   hyp e rpl a ne   w hi c h   m a x i m i z e s   t h e   m a rg i n  by   di v i di ng  t h e   d a t a   i nt o  c l a s s e s .   T h e   ne a r e s t   d i s t a nc e   fro m   t he   h ype r pl a ne   t o  t he   poi n t   of  e a c h  c l a s s   i s   know n   a s   m a rgi n.   F i gu re   3  i s   a n  i l l us t r a t i on  o f  S V M   m ode l .   G i ve n   a   da t a s e t     S V M   t r y  t o   s ol v e     t he   fol l ow i ng  e qu a t i on:       (3)   Evaluation Warning : The document was created with Spire.PDF for Python.
T E L K O M N IK A   T e l e c om m un   Co m put   E l   Con t rol         Com par i ng   r andom   f or e s t   and   s uppor t   v e c t or   m a c hi ne s   …   ( Che v i an   A r o e f )   819         F or  s om e   e rror   c a s e s ,   p a r a m e t e r    a nd  s l a c k  va r i a b l e   w a s   a dd e d  t o   t he   e qu a t i on :       (4)           K e rne l   f unc t i o n  i s   us e d  for   s om e   p robl e m   w h i c h   c a n’ t   b e   s o l ve d   us i ng   l i ne a r  hype rpl a ne .   It s   fun c t i on    i s   de fi n e d  a s :       (5)     T he s e   a re   t h e   m os t   c om m on   k e rne l   func t i o n  [2 4,   25] :   -   L i n e a r       :     -   Ra di a l   B a s i s   F un c t i on   :     -   P ol yno m i a l       :             F i gure   3 .   S V M   s o l v e   c l a s s i fi c a t i on   pro bl e m   by   pe rf orm i ng   a   hype rp l a n e   w hi c h  m a xi m i z e     t he   m a rg i n  o f  t he   d a t a       2. 7 .       M od e l   p e r f or m an c e   va l i d at i on   T hi s   s t udy   a ppl i e d   H ol d - O ut   V a l i d a t i on   t o   v a l i da t e   t h e   p e rfor m a n c e   of   t he   m o de l .   It   fun c t i ons     by  s p l i t t i ng   t h e   da t a   i nt o   t ra i ni ng   a n d  t e s t i ng   d a t a   w i t h   t h e   m ode l   bu i l t   f rom   t he   t ra i ni ng   da t a   a nd   t e s t e d   w i t h    t he   t e s t i ng   da t a .   A   di f fe r e nt   pe r c e nt a ge   of  t ra i ni ng  d a t a   w a s   a ppl i e d ,   t o  ove r c o m e   t h e   w e a kn e s s   of  H o l d - O u t   V a l i d a t i on ,   w hi c h   w a s   p e rfor m e d   ni ne   t i m e s   w i t h   di ffe re nt   p e r c e n t a g e   of   t he   t ra i n i ng   d a t a   ut i l i z e d.     T he   pe rfor m a n c e   of   t h e   m od e l   i s   ob t a i ne d   fro m   t h e   a c c ur a c y   w i t h   t h e   f orm u l a   w ri t t e n   a s   be l ow :       (6)     F or  T P ,   T N ,   F P ,   F N   r e pr e s e nt s   T r ue   P os i t i ve ,   T ru e   N e g a t i ve ,   F a l s e   P os i t i v e ,   a nd   F a l s e   N e ga t i v e .       3.   R ES U LTS   A N D   A N A LY S I S   T hi s   s t udy   us e d  s of t w a r e   Rs t udi o  v e rs i o n  1 . 1 . 463   for   bo t h  r a n dom   f ore s t   a nd   s uppor t   ve c t or   m a c hi n e s .     3. 1 .       R e s u l t   of  b o r u ta   fe atu r e   s e l e c ti on   T he   re s u l t   o f  Bor ut a   F e a t ur e   S e l e c t i on  de t e r m i n e s   w h e t h e r  t he   f e a t ure   i s   i m p ort a nt   or  no t   a s   s how n     i n   T a bl e   2 .  A c c ord i ng   t o   t h e   r e s ul t   s h ow n   on   t he   t a b l e ,   t he   i m port a nt   f e a t ure s   a re   A ge ,   BM I ,   G l u c os e ,   H O M A ,   a nd  R e s i s t i n.   H ow e v e r ,   t he   fe a t ur e s   w hi c h  a r e   l a be l e d  i m port a n t   t o   m a k e   t h e   m a c h i ne   l e a rn i ng  m od e l     a re   r a ndom   f or e s t   a n d  s up port   v e c t or  m a c h i ne s .     Evaluation Warning : The document was created with Spire.PDF for Python.
                              IS S N :   1693 - 6930   T E L K O M N IK A   T e l e c om m un   Co m put   E l   Con t rol ,  V ol .   18 ,   N o.   2 ,  A pri l   2 020:    8 1 5   -   8 2 1   820   T a b l e   2 .   R e s ul t   o f  bo rut a   f e a t ur e   s e l e c t i on   F e a t u re   Re s u l t   A g e   Im p o rt a n t   BM I   Im p o rt a n t   G l u c o s e   Im p o rt a n t   In s u l i n   U n i m p o rt a n t   H O M A   Im p o rt a n t   L e p t i n   U n i m p o rt a n t   A d i p o n e c t i n   U n i m p o rt a n t   Re s i s t i n   Im p o rt a n t   M CP .   1   U n i m p o rt a n t       3. 2 .       B r e as t  c an c e r   c l as s i fi c at i on   u s i n g   r an d om  f or e s t   A c c ord i ng   t o   t h e   r e s ul t   s how n  on  t he   F i gur e   4 ,   t h e   m ode l   p e rform e d  b e s t   w i t h   80%   of   t r a i n i ng  da t a ,   re s ul t i ng   i n  a n  a c c ur a c y   of  9 0. 9 0%.   Conv e rs e l y ,   t he   w o rs t   a c c u ra c y  w a s   re c ord e d  a t   74. 7 5%  w i t h   10%     t ra i ni ng   d a t a .           F i gure   4 .   R e s ul t s   of   a c c ura c y   of  bre a s t   c a nc e r  c l a s s i fi c a t i o n  p e rfor m e d   by   ra ndo m   fo re s t       3. 3 .       B r e as t  c an c e r   c l as s i fi c at i on   u s i n g   s u p p or t   ve c to r   m a c h i n e s   A c c ord i ng   t o   t he   re s u l t   s how n   on   t h e   F i gur e   5 ,   t h e   m od e l   p e rform e d  be s t   us i ng  80%   of   t h e   t ra i ni ng  da t a   w h i c h   r e s ul t e d   i n   a n  a c c ura c y   of   95. 45% .   Conv e rs e l y,   t h e   w ors t   a c c ura c y   i s   re c ord e d  a t   72 . 81%   w i t h   10%   t ra i ni ng   d a t a .           F i gure   5 .   R e s ul t s   of   a c c ura c y   of  bre a s t   c a nc e r  c l a s s i fi c a t i o n  p e rfor m e d   by   s uppor t   ve c t or   m a c hi n e s   w i t h   RBF   ke rne l ,   p a ra m e t e r    a n d        4.   C O N C LU S I O N     T hi s   s t u dy   us e d   Ra n dom   F or e s t   ( RF )   a nd   S uppor t   V e c t or   M a c h i ne s   (S V M )   a s   t h e   m a c h i n e   l e a rn i ng   m e t hods   t o   c l a s s i fy   br e a s t   c a n c e r .   F urt h e r m ore ,   t h e   H o l d - O ut   V a l i da t i on   w a s   us e d   t o  v a l i da t e   a nd  e va l u a t e     t he   p e rfor m a nc e   of  t he   m od e l ,   fro m   t he   s i m u l a t i o n  for  S V M   w i t h  R a di a l   Ba s i s   F u nc t i on  ( RBF )  k e rne l ,   w i t h  Evaluation Warning : The document was created with Spire.PDF for Python.
T E L K O M N IK A   T e l e c om m un   Co m put   E l   Con t rol         Com par i ng   r andom   f or e s t   and   s uppor t   v e c t or   m a c hi ne s   …   ( Che v i an   A r o e f )   821     a nd     a s   t h e   be s t   p a ra m e t e r  of   t h e   m od e l .   A c c ord i ng   t o   t he   e xpe r i m e n t   re s ul t ,   RF   s c ore d     t he   b e s t   a c c ur a c y   a t   90 . 90%   us i ng   80%   t ra i ni ng   d a t a ,   w h i l e   S V M   ha d   b e t t e r   a c c ura c y   a t   9 5. 4 5%   us i ng   80 %.     T he s e   r e s ul t s   s how   t h a t   t h e   pe rfo rm a nc e   of  S V M   i s   be t t e r  t ha n  RF   i n   t e rm s   of  a c c ur a c y .       A C K N O WL ED G E M EN TS   T hi s   re s e a r c h   s uppor t e d   f i na nc i a l l y   by   t he   M i n i s t ry   of   R e s e a rc h  a nd   H i ghe r   E duc a t i on   R e pub l i c     of  In done s i a   (K E M E N RIS T E K D IK T I)   w i t h   a   P T U P T   202 0  r e s e a rc h  gra n t   s c h e m e ,   ID   nu m b e r  1621/ U N 2 . R3 . 1/ H K P . 05. 00/ 2 019       R EF ER EN C ES   [ 1]   M .   F .   A k a y,   “ S uppo r t   v e c t or   m a c hi ne s   c o m b i n e d  w i t h  f e a t u r e   s e l e c t i o n  f or   b r e a s t   c a nc e r   di a gn os i s , ”   E x p e r t   s y s t e m s   w i t h   a ppl i c at i on s ,   vo l .   36 ,   n o.   2,   pp.   3 240 - 324 7 ,   20 09.     [ 2]   H - Y .   C h ua n g,   E .   L e e ,   Y - T .   L i u ,   D .   L e e ,   a nd  T .   I de ke r ,   “ N e t w or k - ba s e d  c l a s s i f i c a t i on  o f   b r e a s t   c a nc e r   m e t a s t a s i s , ”   M o l .  Sy s t .   B i ol . ,   v ol .   3 ,   no .   140 ,   pp .   1 - 10,   2 007 .     [ 3]   A r f i a n i ,   Z .   R u s t a m ,   J .   P a nde l a ki ,   a nd   A .   S i a ha a n ,   “ K e r n e l   s p he r i c a l   K - m e a ns   a nd   s uppo r t   ve c t or   m a c h i n e   f or   a c ut e   s i nu s i t i s   c l a s s i f i c a t i on ,”   I O P   C on f e r e nc e   Se r i e s :   M a t e r i a l s   Sc i e nc e   and  E ng i ne e r i ng ,  vol .   546 ,   pp .   1 - 9 ,   201 9.   [ 4]   T z ot s os ,   A nge l os   &   A r g i a l a s ,   D e m e t r e ,   “ S up por t   V e c t or   M a c hi n e   C l a s s i f i c a t i on  f o r   O b j e c t - B a s e d  I m a g e ,”   O b j e c t - B a s e d  I m ag e   A n al y s i s ,  pp .   663 - 677 ,   J a nua r y   20 08 .   [ 5]   Z .   R us t a m ,   F .   N a d hi f a   a nd   M .   A c a r ,   “ C o m pa r i s on   of   S V M   a nd   F S V M   f o r   p r e d i t c i ng   b a nk   f a i l ur e s   u s i ng   c h i - s qu a r e   f e a t u r e   s e l e c t i on , ”   I O P   C o nf e r e nc e   Se r i e s :   J ou r na l   of   P h y s i c s ,   vo l .   1108 ,   no.   1 ,   pp .   1 - 7 ,   201 8.   [ 6]   J .   M a h a r a ni   a nd   Z .   R us t a m ,   “ T h e   a pp l i c a t i on   o f   m ul t i - c l a s s   s uppo r t   ve c t o r   m a c hi n e s   o n  i n t r us i on   d e t e c t i o n   s y s t e m   w i t h   t h e   f e a t ur e   s e l e c t i on   u s i ng   i nf or m a t i on   g a i n , ”   1s t   A nnu al   I n t e r nat i o nal   C onf e r e nc e   on   M a t he m a t i c s ,   S c i e nc e ,   and  E duc at i on   ( I C o M SE ) ,  v ol .   218 ,   pp .   1 - 2 ,   2017 .   [ 7]   Z .   R us t a m   a nd   N.   O l i e v r a ,   “ C o m p a r i s o n  o f   f u z z y   r obus t   ke r ne l   C - m e a ns   a n d  s upp or t   ve c t o r   m a c h i ne   f o r   i n t r us i on   de t e c t i o n   s y s t e m s   u s i n g   m od i f i e d   ke r ne l   ne a r e s t   ne i gh bor   f e a t ur e   s e l e c t i on , ”   A I P   C on f e r e nc e   P r oc e e d i ngs :     3r d   I n t e r na t i ona l   Sy m po s s i um   on   C ur r e n t   P r o gr e s s   i n  M a t he m at i c s   and   S c i e nc e s   ( I SC P M S) ,   pp .   0202 15 - 1 - 6,   20 17 .   [ 8]   Z .   R us t a m   a n d  N .   P .   A .   A .   A r i a nt a r i .   C o m p a r i s o n  B e t w e e n   S u ppo r t   V e c t o r   M a c h i ne   a nd   F u z z y   K e r ne l   C - M e a ns   a s   C l a s s i f i e r   f o r   I nt r us i on   D e t e c t i on  S y s t e m   us i ng   C hi - S q ua r e   F e a t u r e   S e l e c t i o n,   A I P   C onf e r e nc e   P r o c e e di ngs :     3 r d   I n t e r na t i ona l   Sy m po s s i um   on   C ur r e n t   P r o gr e s s   i n  M a t he m at i c s   and   S c i e nc e s   ( I SC P M S) ,  vo l .   2 023 ,   2018 .   [ 9]   T .   V .   R a m p i s e l a   a n d  Z .   R us t a m ,   “ C l a s s i f i c a t i o n  o f   s c hi z oph r e n i a   d a t a   u s i n g  s upp or t   ve c t o r   m a c h i ne   ( S V M ) , ”   I O P   C onf e r e n c e   Se r i e s :   J ou r na l   of   P hy s i c s ,   vo l .   11 08 ,   p p.   1 - 7,   2 018 .   [ 10]   J .   X i a o ,   “ S V M   a n d   K N N   e ns e m bl e   l e a r ni ng   f or   t r a f f i c   i n c i de n t   de t e c t i on , ”   P h y s i c a   A :   S t a t i s t i c a l   M e c han i c s   and   i t s   A ppl i c a t i ons ,   E l s e v i e r ,   v ol .   517 ,   p p.   29 - 35,   2 019 .   [ 11]   Z .   R us t a m   a nd   A .   A .   R uv i t a ,   “ A pp l i c a t i on   s uppo r t   ve c t o r   m a c hi n e   on   f a c e   r e c o gni t i on   f or   ge n de r   c l a s s i f i c a t i on .  C onf e r e n c e   Se r i e s :   J ou r na l   of   P hy s i c s ,   vo l .   11 08,   p p.   1 - 5 ,  2 018 .   [ 12]   R us t a m ,   Z u he r m a n   &   F a r a di n a ,   R i d ha n i .   ( 20 18) .   F a c e   R e c o gni t i on   t o   I d e nt i f y   L oo k - A l i k e   F a c e s   us i ng   S upp or t   V e c t o r   M a c h i ne .   J o ur n a l   o f   P hys i c s :   C on f e r e n c e   S e r i e s .   1108 .   012 0 71.   10 . 10 88/ 1742 - 6 596 / 110 8/ 1 / 0 1207 1.   [ 13]   R .   D i a z - U r i a r t e   a nd   S .   A .   de   A nd r e s ,   “ G e ne   s e l e c t i on   a nd   c l a s s i f i c a t i on   o f   m i c r oa r r a y   da t a   us i n g  r a n do m   f o r e s t ,”   B M C   B i o i n f or m at i c s ,   vo l .   7 ,   no .   3,   pp .   1 - 13 ,   2006 .   [ 14]   M .   A l a m   a n d  S .   T .   V uo ng ,   “ R a ndo m   f o r e s t   c l a s s i f i c a t i o n  f or   d e t e c t i ng  a n dr o i d   m a l w a r e , ”   I E E E   I nt .  C onf .   on  G r e e n   C om p .   and   C om m .   and   I E E E   I n t e r ne t   o f   T h i ng s   a nd   I E E E   C y be r ,   P hy s i c a l   and   So c .   C om p . ,   p p.   66 3 - 669 ,   2013 .   [ 15]   Z .   R us t a m   a nd   G .   S a r a g i h,   “ P r e d i c t i n g   B a nk   F i n a nc i a l   F a i l ur e s   u s i ng  R a n d om   F or e s t , ”   I n t e r na t i ona l   W or k s ho p   on   B i g   D at a  a nd   I n f o r m at i on   S e c u r i t y   ( I W B I S) ,   pp.   81 - 8 6,   20 1 8.     [ 16]   M .   H u l j a na h,   Z .   R us t a m ,   S .   U t a m a ,   a n d  T .   S i s w a nt i n i ng ,   “ F e a t u r e   s e l e c t i on   us i ng   r a nd om   f or e s t   c l a s s i f i e r   f or   pr e d i c t i ng   pr os t a t e   c a nc e r , ”   I O P   C on f e r e nc e   Se r i e s :   M at e r i a l s   Sc i e nc e   and   E n gi n e e r i n g ,   vo l .   5 46 ,   p p.   1 - 8,   2019 .     [ 17]   U .   A p r i l l i a ni   a n d  Z .   R us t a m ,   “ O s t e oa r t hr i t i s   d i s e a s e   pr e di c t i on   ba s e d  o n  r a n do m   f o r e s t , ”   I n t e r na t i o na l   C o nf e r e nc e   on  A d v an c e d   C om p ut e r   Sc i e n c e   and   I nf or m a t i on   Sy s t e m s   ( I C A C SI S ) ,   pp .   237 - 24 0,   20 18.     [ 18]   U C I   M a c h i ne   L e a r n i ng   R e po s i t o r y ,   A c c e s s e d   10  A ugus t   201 9,   A v a i l a b l e   a t   h t t p s : / / a r c h i ve . i c s . u c i . e d u/ m l /   da t a s e t s / B r e a s t + C a nc e r + C oi m br a .   [ 19]   B .   S .   E ve r i t t ,   “ C l a s s i f i c a t i on   a n d  r e g r e s s i on   t r e e s ,”   J oh n  W i l e y  &   S ons ,   I nc . ,   2 005 .   [ 20]   C .   B i s h op ,   “ P a t t e r n   re c ogn i t i on   a nd  m a c h i ne   l e a r n i ng , ”   S p r i nge r ,   N e w   Y o r k,   2 006 .   [ 21]   M .   B .   K u r s a   a nd   W .   R .   R u dn i c k i ,   “ F e a t u r e   s e l e c t i o n   w i t h   B or ut a   p a c ka ge ,”   J o ur n al   o f   S t at i s t i c a l   So f t w a r e ,   vo l .   36,   no.   11 ,   pp .   1 - 1 3,   20 10.   [ 22]   M .   B .   K ur s a ,   A.   J a nkow s k i ,   a nd   W .   R udn i c ki ,   “ B o r u t a - a   s y s t e m   f o r   f e a t u r e   s e l e c t i on ,”   F und am .   I nf or m . ,   v ol .   101 ,   no.   4 ,   pp.   2 71 - 285 ,  2010 .   [ 23]   L .   B r e i m a n ,   “ R a n do m   f o r e s t , ”   M ac h i ne   L e ar ni n g ,   vo l .   4 5,   pp .   5 - 32 ,   200 1.   [ 24]   N .   C r i s t i a n i n i   a nd   J .   S .   T a yl o r ,   “ A n  i n t r o duc t i on   t o   s uppo r t   v e c t o r   m a c h i ne s   a nd   o t he r   ke r ne l - b a s e d  l e a r n i ng   m e t ho ds , ”   C am br i dg e   U ni v e r s i t y   P r e s s ,   20 00.   [ 25]   A .   B e n - H u r   a nd  J .   W e s t on ,   “ A  u s e r ’ s   gu i de   t o  s uppo r t   ve c t or   m a c h i ne s , ”   M e t hod s   i n  M o l e c u l ar   B i ol o gy   ( N .   J .   C l i f t on ) ,   vo l .   60 9,   pp .   223 - 2 3 9,   20 10 .   Evaluation Warning : The document was created with Spire.PDF for Python.