I nd o ne s ia n J o urna l o f   E lect rica l En g ineering   a nd   Co m p u t er   Science   Vo l.   21 ,   No .   2 ,  Feb r u ar y   2 0 2 1 ,   p p .   1 1 5 1 ~1 1 59   I SS N:  2 5 02 - 4 7 5 2 ,   DOI : 1 0 . 1 1 5 9 1 /i j ee cs.  v 2 1 . i2 . p p 1 1 5 1 - 11 59          1151       J o ur na l ho m ep a g e :  h ttp : //ij ee cs.ia esco r e. co m   K no w ledg e  d iscovery  f ro m   g ene  e x press io n  d a tas et   u sing   ba g g ing   la ss o  deci sio n t ree       U m u Sa ’ a da h ,  M a s it ho h Ye s s i R o cha y a ni ,   Ani B ud i A s t u t i   F a c u lt y   o f   M a th e m a ti c s an d   Na tu ra l  S c ien c e s,  Un iv e rsitas   Bra w ij a y a ,   In d o n e sia       Art icle  I nfo     AB ST RAC T     A r ticle  his to r y:   R ec eiv ed   J u n   1 8 ,   2 0 2 0   R ev i s ed   A u g   1 1 ,   2 0 2 0   A cc ep ted   Sep   7 ,   2 0 2 0       Clas sify in g   h ig h - d im e n sio n a l  d a ta  a re   a   c h a ll e n g in g   tas k   in   d a t a   m in in g .   G e n e   e x p re ss io n   d a ta i s a t y p e   o f   h ig h - d im e n sio n a l  d a ta t h a t  h a s th o u sa n d s o f   f e a tu re s.  T h e   stu d y   w a s  p ro p o sin g   a   m e th o d   to   e x trac t  k n o w led g e   f ro m   h ig h - d im e n sio n a l  g e n e   e x p re ss io n   d a t a   b y   s e lec ti n g   f e a tu re s  a n d   c las sify in g .   L a ss o   w a s  u se d   f o r  s e lec ti n g   f e a tu re s   a n d   th e   c las sif ica ti o n   a n d   re g r e ss io n   tree   (CA R T )  a l g o rit h m   w a s  u se d   to   c o n str u c t  th e   d e c isio n   tree   m o d e l.   T o   e x a m in e   th e   sta b il it y   o f   th e   las so   d e c isio n   tree ,   w e   p e rf o r m e d   b o o t stra p   a g g r e g a ti n g   (B a g g in g )  w it h   5 0   re p li c a ti o n s.  T h e   g e n e   e x p re ss io n   d a ta  u se d   w a s  a n   o v a rian   t u m o r  d a tas e t  t h a t  h a s  1 , 5 4 5   o b se rv a ti o n s,   1 0 , 9 3 5   g e n e   f e a tu re s,  a n d   b in a ry   c las s.  T h e   f in d in g s  o f   th is  re se a rc h   sh o w e d   th a t  th e   las so   d e c isio n   tree   c o u ld   p r o d u c e  a n   in terp re tab le  m o d e l  th a t  th e o re ti c a ll y   c o rre c t   a n d   h a d   a n   a c c u ra c y   o f   8 9 . 3 2 % .   M e a n w h il e ,   th e   m o d e l  o b tain e d   f ro m   th e   m a jo rit y   v o te  g a v e   a n   a c c u ra c y   o f   9 0 . 2 9 %   w h ich   sh o w e d   a n   i n c re a se   in   a c c u ra c y   o f   1 %   f ro m   th e   sin g le  las so   d e c isio n   tree   m o d e l.   T h e   sli g h tl y   in c re a sin g   a c c u ra c y   sh o w s th a t  th e   las so   d e c isio n   tree   c las sif ier  is  s tab le.   K ey w o r d s :   B ag g i n g   Dec is io n   t r ee   Featu r e  s elec t io n   Gen e  ex p r es s io n   Hig h - d i m e n s io n al   T h is  is  a n   o p e n   a c c e ss   a rticle   u n d e r th e   CC B Y - SA   li c e n se .     C o r r e s p o nd ing   A uth o r :   U m u   Sa ‟ ad ah     Dep ar t m en t o f   Stati s tics   Un i v er s ita s   B r a w ij a y a   J alan   Vete r an ,   Ma lan g ,   I n d o n esia   E m ail:  u . s aa d ah @ u b . ac . id       1.   I NT RO D UCT I O N     Gen e  ex p r es s io n   d ata  h a v e  b ee n   u s ed   to   s tu d y   th e  d i f f e r en ce s   in   g en e  c h ar ac ter is tic s   b et w ee n   p atien ts   w it h   ce r tai n   d i s ea s es   an d   n o r m al  p eo p le.   T h e  m aj o r   ch alle n g e   to   a n al y ze   g en e   e x p r ess io n   d ata  i s   it   h as  m a n y   p r ed icto r s   ( g e n e s) ,   b u t  th e  s a m p le  is   m u ch   les s .   Gen e  e x p r ess io n   d ata  is   a  t y p e   o f   h i g h - d i m e n s io n al  d ata  th at  co n s is t   o f   t h o u s an d s ,   ev en   ten s   o f   t h o u s a n d s   o f   g e n e  f ea tu r es,  b u t  t h e  s a m p le  s iz e  is   o n l y   h u n d r ed s .   T h er ef o r e,   a  ce r tain   s tr ateg y   i s   n ee d ed   to   d ea l w it h   d i m en s io n al  p r o b lem s   in   g e n e  ex p r ess i o n   d ata.   On e  o f   t h e  s tr ateg ie s   i n   th e   c lass i f icatio n   o f   h ig h - d i m e n s io n al  d ata  i s   b y   r ed u ci n g   t h e  d i m e n s io n .   T h er e  ar e  tw o   ap p r o ac h es  in   d i m e n s io n   r ed u ctio n   n a m e l y   f ea tu r e  e x tr ac tio n   a n d   f ea tu r e  s elec tio n .   T h e  co m m o n   d i m e n s io n   r ed u ctio n   ap p r o ac h   in   g en e  ex p r es s i o n   d ata  is   f ea tu r e  s elec tio n .   Featu r e  s elec tio n   eli m i n ate s   ir r elev a n t  a n d   r ed u n d an t  f ea t u r es.  R e s ea r ch   [ 1 ]   i n v e s ti g ated   th e  in f l u e n ce   o f   f ea tu r e  s elec tio n   o n   th e  ac cu r ac y   o f   th e  clas s i f icat io n   o f   g e n e  ex p r ess io n   d ata.   T h e  r esu lt  o f   th e  s t u d y   w a s   f ea tu r e  s elec tio n   ca n   in cr ea s e  ac cu r ac y   u p   to   9 %.   Sev er al  m et h o d s   t h at   co m b i n e  f ea t u r e  s elec tio n   a n d   clas s i f icatio n   h av e   b ee n   i m p le m e n ted   in   th e   class i f icatio n   o f   g e n e  e x p r ess io n   d ata.   A s s a w a m ak i n   et. al.   [ 2 ]   u s ed   re cu r s iv e   f e at u re   e li m in at ion   ( R FE)   to   s elec t  g e n es  a n d   s u p p o r t  v ec to r   m ac h in e   ( SVM)   to   clas s i f y   s e v er al  g e n e  e x p r ess io n   d ata.   Kan g   e t.a l.  [ 3 ]   p r o p o s ed   a  h y b r id   m eth o d   o f   R elax ed   L a s s o   a n d   Gen er aliz ed   SVM  f o r   t h e  m u lticla s s   cl ass i f icatio n   o f   g e n e   ex p r ess io n   d ata.   I n   th e  p ap er ,   Kan g   et. al.   m e n tio n ed   th e   s e lecte d   g e n es,  b u t  t h ese  r e s u l t s   ar e  n o t   v al id ated   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 5 0 2 - 4752   I n d o n esia n   J   E lec  E n g   &   C o m p   Sci,   Vo l.  21 ,   No .   2 ,  Feb r u ar y   2 0 2 1 :   1 1 51   -   11 59   1152   b ased   o n   th eo r y .   Gao   et. al.   [ 4 ]   u s ed   in f o r m atio n   g ain ,   g ain   r atio ,   r elief ,   an d   co r r elatio n   to   s elec t  g en es  a n d   SVM  f o r   class if y i n g   ca n ce r .   H o w e v er ,   th o s e  s t u d ies o n l y   f o cu s ed   o n   t h e  ac cu r ac y   o f   th e  m o d el  o b tain ed .   A cc u r ac y ,   in ter p r etab ilit y ,   a n d   m o d el  s ize   ar e  t h r ee   i m p o r t an t  a s p ec ts   o f   m ac h in e   lear n i n g   [ 5 ] ,   an d   m an y   a u t h o r s   a g r ee   t h at  m o d el  in ter p r etab ilit y   is   th e   m ain   co n ce r n   [ 6 ] .   I n   t h e  cla s s if ica tio n   o f   g en e   ex p r ess io n   d ata,   i n ter p r etatio n   is   v er y   i m p o r ta n t  b esid es  t h e   m o d el  ac cu r ac y .   C las s i f icati o n   an d   R e g r es s io n   T r ee   ( C A R T ) ,   p r o p o s ed   b y   B r ei m a n   et. al.   [ 7 ] ,  is   a  Dec i s io n   T r ee   alg o r ith m   t h at  i s   p r o m o t ed   to   b e  ea s il y   u s ed   in   i n ter p r etatio n   to   ex p lo r e  k n o w led g e  f r o m   th e   d ata  [ 8 ] .   T h e  C A R T   alg o r it h m   is   o f te n   u s ed   i n   d ec is io n   an al y s is   to   v is u alize   d ec is io n   m a k in g .   B esid e s   t h at,   t h e   C AR T   alg o r ith m   a ls o   ca n   b e  u s ed   f o r   f ea tu r e   s elec tio n .   B u t  C AR T   r eq u ir es  h i g h   co m p u tat io n al  co s t s   to   w o r k   o n   v er y   lar g e  d ata  s u ch   as  g e n e  e x p r ess io n   d ata.   T h er ef o r e,   ap p ly i n g   t h e  f ea tu r e  s elec tio n   b ef o r e  ap p ly i n g   C AR T   is   v er y   u s ef u l.    R o ch a y an i,   et. al.   [ 9 ]   co m b in e d   L as s o   r eg u lar izatio n   a n d   D ec is io n   T r ee   to   s elec t   g e n es   a n d   clas s i f y   g en e   ex p r es s io n   d ata.   T h e  L ass o   r eg u lar izatio n   h as   a  lo w  co m p u ta tio n al   co s t.  Mo d els   o b tain ed   f r o m   t h e   L as s o   Dec is io n   T r ee   ar e   also   ea s y   to   in ter p r et  an d   th eo r etic all y   co r r ec t.  I n   th is   s tu d y ,   w e  ar e  in ter ested   in   ex a m in i n g   t h e  s tab ilit y   o f   t h e  L as s o   Dec i s io n   T r ee .   A   s tab le  class if ier   is   a  cla s s i f ier   f o r   wh ich   t h e  p r ed ictio n   d o es n o t c h an g e  m u c h   w h en   t h e  s li g h t  m o d i f icatio n   o cc u r s   i n   th e  tr ai n i n g   s et.   B ag g i n g ,   i n tr o d u ce d   b y   B r eim an   [ 1 0 ] ,   is   o n e  o f   th e  en s e m b le  m et h o d s   th a t  h as  b ee n   w i d ely   u s ed   t o   in cr ea s e  th e  ac cu r ac y   o f   p r ed ictio n   m o d els  [ 1 1 ] ,   im p r o v e  th e  r o b u s tn ess   a n d   s tab ilit y   o f   t h e  m o d el  [ 1 2 ,   1 3 ]   an d   h a n d le  u n b alan ce d   clas s   p r o b lem s   [ 1 4 ] .   A cc o r d in g   to   B r eim a n   [ 1 0 ] ,   im p r o v i n g   th e  ac cu r ac y   o f   B ag g i n g   d ep en d s   o n   th e  s tab ilit y   o f   t h e   class i f ier .   B ag g in g   u s u all y   co u ld   i m p r o v e  ac c u r ac y   o n   u n s t ab le  class i f ier s   b u t   ca n n o t  o n   s tab le  class i f ier s .   As  an   en s e m b le  m et h o d ,   B ag g i n g   co m b i n es  s ev er al  s i n g le  m o d els  in to   o n e  f i n al  m o d el  b ased   o n   th e  m aj o r ity   v o tes.  C o m m o n l y ,   t h e  s i n g le  class i f ier   f o r   B ag g i n g   is   t h e  D ec is io n   T r ee .   B u t  r ec en tl y   B ag g i n g   h a s   b ee n   u s ed   in   o th er   m ac h i n e  lear n i n g   alg o r ith m s   s u c h   as  B ag g i n g   C o n v o l u tio n al  Ne u r al   Net w o r k   [ 1 5 ]   an d   B ag g in g   Ne ar est Ne ig h b o r   Su p p o r t V ec to r   Ma ch in e  [ 1 6 ] .   W e  p er f o r m ed   th e  B a g g i n g   L ass o   Dec is io n   T r ee   to   ex a m in e  th e  s tab ili t y   o f   th e  L a s s o   De cisi o n   T r ee   in   m o d elin g   t h e  g en e  e x p r ess i o n   d ataset.   T h e  d ataset  u s ed   w a s   t h e  o v ar ia n   t u m o r   d atase t .   I t  is   i n ter esti n g   to   u s e  t h is   d atase t  s i n ce   o v ar ian   ca n ce r   is   o n e  o f   t h e  m o s t  f ata l  d is ea s es  i n   w o m e n   w h ich   i s   f r eq u en t l y   s tr ik e s   p o s t - m e n o p au s al  w o m e n   [ 1 7 ,   18] .   T h e  s u cc ess   o f   th e  t w o   m et h o d s   w i ll  b e  v er y   u s ef u l  i n   m ed ical  r esear ch ,   esp ec iall y   to   d is co v er   n e w   k n o w led g e  f r o m   a  d is ea s e.       2.   T H E O R E T I CA L   B ACK G R O UND   2 . 1 .   L o g is t ic  re g re s s io n   B in ar y   lo g is tic  r e g r ess io n   is   u s ed   to   m o d el  d ataset  w it h   a  b in ar y   r esp o n s e  v ar iab le.   T h e  s tan d ar d   b in o m ial  lo g is t ic  r eg r ess io n   m o d el  is   s tated   as a   lo g   o f   o d d s :          (   (     )       (     ) )         ∑                    ( 1 )     w h er e    (     )             (       ∑                  ) ,                      is   th e  o b s er v atio n   in d ex ,                      is   th e  i n d ex     o f   p r ed icto r   v ar iab le,         is   th e  in ter ce p t,  an d         is   th e  r eg r ess i o n   co ef f icie n t  o f     th   p r e d icto r   v ar iab le.   T h e  esti m atio n   i n   lo g i s tic  r eg r es s io n   p ar a m eter s   w as c o n d u cted   b y   m a x i m izi n g   th e  lo g - l ik el ih o o d   f u n ct io n :       (                     )       ∑ *       (       ∑                  )      .             ∑                  / +           ( 2 )     No te  th at  th e  f ir s t  ter m   o f   ( 2 ) ,         ∑                  ,   is   a  f o r m   o f   a f f in e  f u n ctio n ,   th er ef o r e  it  is   co n ca v e .   An d   th e  s ec o n d   ter m ,      .             ∑                  / ,   is   al s o   co n ca v e.   Si n ce   t h e  s u m   o f   co n ca v e  f u n ctio n s   i s   also   co n ca v e,   h en ce     (                     )   is   a  co n ca v e  f u n ct io n   a n d   it  i m p lies   th a t  th e  n e g ati v e  lo g - li k eli h o o d ,   i.e .       (                     ) ,   is   a  c o n v ex   f u n ctio n .   T h e  n eg ati v e  lo g - l ik el ih o o d   is   also   ca lled   th e  o b j ec tiv e  f u n c tio n   o f   lo g is tic   r eg r es s io n .   T h e  ad v a n tag e  o f   co n v ex it y   o f   n e g ati v e  lo g - l ik el ih o o d   f u n ctio n   g u ar an tees  th at   t h e  lo ca l   o p tim u m   i s   al s o   a  g lo b al  o p ti m u m .   A n   o p ti m izat io n   al g o r ith m   f o r   a  co n v ex   f u n ctio n   s u ch   as  t h e  Ne w to n   Evaluation Warning : The document was created with Spire.PDF for Python.
I n d o n esia n   J   E lec  E n g   &   C o m p   Sci     I SS N:  2502 - 4752       K n o w led g e  d is co ve r y  fr o m  g en e  ex p r ess io n   d a ta s et  u s in g   b a g g in g   l a s s o   d ec is io n   tr ee   ( Um u   S a ’ a d a h )   1153   m et h o d   or   th e  g r ad ien t   d esce n t  ca n   b e  i m p le m en ted   to   s o l v e  t h e  lo g is t ic  r eg r e s s io n   p r o b le m .   T h e  esti m ated   p ar am eter s   o f   lo g i s tic  r eg r es s i o n   ar e  s tated   in   ( 3 ) .         ̂             [     (                     ) ]     ( 3 )     2 . 2 .   Reg ula riza t io n   R eg u lar izatio n   is   a  m et h o d   to   av o id   o v er f itti n g   b y   ad d in g   co n s tr ai n ts   w h ile  s o l v i n g   t h e  o p ti m izatio n   p r o b lem .   L et  t h e  r eg u lar izati o n   f u n ctio n   is   d en o ted   b y     (   ) ,   w h er e      (               ) .  I n   th e  r eg u lar ized   lo g is tic   r eg r es s io n ,   th e   co n s t r ain t   w a s   ad d ed   to   t h e  lo g is t ic  r eg r es s io n   lo s s   f u n ctio n .   T h e  s o lu tio n   to   t h e   o p tim izatio n   p r o b le m s   s tated   in   ( 4 ) .       ̂               [     (                     ) ] ,   s u ch   t h at    (   )     .   ( 4 )     T h e  L ag r an g e  f o r m   o f   t h e  o p tim izatio n   p r o b lem   i n   ( 4 )   is   s tat ed   in   ( 5 ) .       ̂               [     (                     )      (   ) ]   ( 5 )     W h er e      is   a   r eg u lar izatio n   p ar a m eter   an d   is   a  p o s itiv e  r e al  n u m b er .   C o n s id er   th e  o p tim izatio n   p r o b lem   in   ( 5 ) .   W h en       is   s et  t o   ze r o ,   th en   th e  s o l u tio n s     ̂     ar e  th e  s a m e  as  t h e  s o l u tio n   o f   t h e   u n co n s tr ai n ed   p r o b lem   ( f u ll  m o d el)   s tated   in   ( 3 ) .   Ho w e v er ,   f o r   h i g h - d i m en s io n al  p r o b lem s   ( p >n ) ,   th e      ca n n o t b e  s et  to   ze r o   b ec au s e  th e  s atu r ated   lo g is tic  r eg r ess io n   f it is   u n d e f in ed   [ 1 9 ] .   L ea s t  A b s o lu te  Sh r i n k ag e  Sel ec tio n   Op er ato r   ( L ass o )   is   a  p o p u lar   r eg u lar izatio n   m e th o d   in tr o d u ce d   b y   T ib s h ir an i  [ 2 0 ] .   L ass o   w o r k s   b y   ad d in g   t h e  L 1   p en alt y   ter m ,   d ef i n ed   as  ‖   ‖     ∑ |     |         ,   to   s h r in k   t h e  co ef f icie n t s   o f   p ar ticu lar   v ar ia b les   to   be   ze r o .   T h er ef o r e,   L ass o   ca n   b e  u s ed   f o r   v ar iab le  s elec ti o n .   T h e  v ec to r   o f   esti m ated   co ef f icie n ts   o f   t h e  L as s o   is   s tated   as:       ̂                     [     (                     )     ‖   ‖   ]   ( 6 )     Sin ce   t h e  co ef f icie n ts   o f   th e  r eg u lar izatio n   p r o b lem   ar e  co n tr o lled   b y   t h e  r eg u lar izatio n   p ar am eter   (   ) ,   th en   th e  o p ti m u m       s h o u ld   b e   esti m ated .   K - f o ld   cr o s s - v al id atio n   is   u s ed   to   e s ti m ate  t h e  o p ti m u m     .   T h e   o p tim u m   λ   i s   th e  o n e  w i th   t h e  s m al lest   a v er ag e  b in o m ial  d ev ian ce   f r o m   th e  cr o s s - v alid atio n   r esu lts ,   i.e .       ̂                *               +    (   )   ( 7 )     w h er e        (   )       ∑        (   )           ( 8 )     2 . 3 .   Dec is io n t re e   On e  o f   t h e  D ec i s io n   T r ee   alg o r ith m s   i s   t h e  C las s i f icatio n   a n d   R e g r es s io n   T r ee   ( C A R T )   t h at  ca n   b e   u s ed   w h en   t h e   p r ed icto r   v ar iab les  ar e   ca teg o r ical  v al u e  o r   co n tin u o u s   v al u e .   T h e  C AR T   a lg o r ith m   u tili ze d   t h e   Gin i i m p u r it y   as t h e  s p lit tin g   c r ite r ia.   T h e  Gin i i m p u r it y   m ea s u r e  at  n o d e  t  w as d ef i n ed   as:       (   )       ∑     (       )     ( 9 )     W h er e    (   )   w as   th e   Gi n i  i m p u r it y   a n d     (       )   w a s   t h e  p r o p o r tio n   o f   cla s s       i n   t h e  n o d e    .   T h e   Dec is io n   T r ee   co n s tr u ctio n   b eg in s   w i th   s p litt i n g   b i n ar y   t h e  r o o t  n o d e  w h ich   co n tai n s   all  o b s er v atio n s   o f   t h e   tr ain i n g   s et.   T h e  cr iter ia  u s ed   to   d eter m in e  t h e  s p litt in g   o f   th e  r o o t  n o d e   is   th e  g o o d n ess   o f   s p lit,  d en o ted   b y       (       ) ,   an d   d ef in ed   as:          (       )     (   )       ,   (     ) -       ,   (     ) -   ( 10 )   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 5 0 2 - 4752   I n d o n esia n   J   E lec  E n g   &   C o m p   Sci,   Vo l.  21 ,   No .   2 ,  Feb r u ar y   2 0 2 1 :   1 1 51   -   11 59   1154   w h er e:       : a   s p lit,         : p r o p o r tio n   o f   o b s er v atio n s   at   n o d e  t  th at  g o   in to   th e  le f t c h i ld   n o d e              : p r o p o r tio n   o f   o b s er v atio n s   at   n o d e  t  th at  g o   in to   th e  r ig h t c h ild   n o d e      ,     (     )   :  i m p u r it y   o f   t h e  le f t c h i ld   n o d e,   an d     (     )   : i m p u r it y   o f   t h e  r ig h t c h ild   n o d e.   T o   o b tain   th e  p o s s ib le  s p lit - p o in t   f o r   co n t in u o u s - v al u ed   f e atu r es ,  t h e  o b s er v atio n   v a lu e s   o f   th e          p r ed icto r ,   i.e .   {                            } ,  ar e  s o r te d   in   in cr ea s i n g   o r d er   an d   o r d e r ed   o b s er v atio n   v al u es  {   (   )   }   ar e   o b tain ed .   T h en ,   th e  m id p o in t  o f   t w o   ad j ac en t  v al u es  is   co n s id er ed   as  a  p o s s ib le  s p lit - p o i n t  [ 2 1 ] .   T h e  p o in t   th at  h ad   m a x i m u m   g o o d n ess   o f   s p lit,  i.e .            {             (      ) }   is   s elec ted   as  th e  s p lit - p o in t  o f   th e  n o d e   [ 2 2 ] .   T h e  s ize  o f   th e  tr ee   is   n o t  li m ited .   T h er ef o r e,   s p litt i n g   ca n   b e  ca r r ied   o u t  to   o b tain   m o r e  lea f   n o d es.  Ho w e v er ,   lar g e  tr ee s   ten d   to   o v er f it.  T h e  w a y   to   s i m p lify   t h e  tr ee   is   to   p r u n e.   T h e  p ar a m eter   to   m ea s u r e  t h e  co m p le x it y   o f   a  tr ee   is   ca lled   th e  co m p le x it y   p ar a m ete r   ( C P ) .   T o   g et  th e  C P   v alu e,   f ir s t ,   ca lc u late   r esu b s tit u ti o n   est i m a te  an d   r el ativ e  er r o r .   R es u b s tit u tio n   e s ti m ate  i s   t h e  p r o p o r tio n   o f   m is c lass i f icatio n   i n   th e   tr ain i n g   s e t   [ 7 ] .   Su p p o s e         r ep r esen ts   t h e  s u b tr ee   o f   th e   m ax i m u m   tr ee           (               ) .   T h en   th e  r esu b s tit u tio n   esti m ate  o f         d en o ted   b y     (     )   is   ca lc u lated   u s in g   t h e  f o r m u la  in   ( 11 ).       (     )       ∑   (     (     )               )   ( 1 1 )     W h er e,       is   an   in d icato r   f u n c tio n   th at  h a s   v alu e  1   if       (     )         an d   v alu e  0   if       (     )       ,   an d       is   th e  n u m b er   o f   o b s er v atio n s .   Nex t,  th e  r elativ e  er r o r   is   o b tain ed   f r o m   t h e  r atio   o f   th e  r esu b s titu tio n   esti m ate  o f   th e  s u b tr ee         an d   th e  r es u b s tit u tio n   e s ti m ate  at  t h e  r o o t  n o d e  o r       .   T h e  r elativ e  er r o r   v alu e   is   d ef i n ed   b y   ( 1 2 ) .        (     )     (     )   (     )   ( 1 2 )     w h er e      (     )     :   r elativ e  er r o r   o f   th e  s u b tr ee           (     )     :   r esu b s tit u tio n   esti m ate  o f   th e  s u b tr ee           (     )     :   r esu b s tit u tio n   esti m ate  o f   th e  f ir s t su b tr ee   ( s u b tr ee   th at  o n l y   co n s is ts   o f   a  r o o t n o d e)   t he   co m p le x it y   p ar a m eter   is   d ef i n ed   b y   ( 13 ).               (     )      (         )            (         )              (     )   ( 1 3 )     w h er e :          :   t h e  co m p le x it y   p ar a m eter s   o f   s u b tr ee            (     )   :   th e  r elati v e  er r o r   of   s u b tr ee                    (     )   :   th e  n u m b er   o f   t h e  s p li tti n g   o f   s u b tr ee         A   v al u e  o f   C P :   0   in d icate s   n o   p r u n in g   w h ich   m ea n s   t h e  s u b tr ee   is   a  m a x i m u m   tr ee .   A cc o r d in g   to   [ 7 ] ,   to   o b tain   th e  o p ti m u m   Dec is io n   T r ee ,   th e  o n e  s tan d ar d   er r o r   r u le  ( 1   S E   r u le)   i s   u s ed .   T h e  1   SE  r u le  s elec ts   a   m o d el  w i th   a  r elati v e  er r o r   o f   th e  cr o s s - v alid atio n   r esu lt  (    (     ) )   s m aller   o r   eq u al  to      (     )   m i n i m u m   p l u s   o n e  s tan d ar d   d ev iatio n   (    (     ) ) .   T h e  r elativ e  er r o r   o f   th e  cr o s s - v alid ati o n   r esu lt  is   ca lc u lated   u s i n g   th e  f o r m u la  in   ( 14 ) .   Me an w h ile ,   th e  s tan d ar d   d ev iatio n   an d   s tan d ar d   er r o r   in   th e        s u b tr ee   ar e  ca lcu lated   u s i n g   ( 15 )   an d   ( 16 ).        (     )       ∑    (     (   ) )           ( 1 4 )          (     )   √     (    (     (   ) ) )      (     (   ) ) )   ( 1 5 )   Evaluation Warning : The document was created with Spire.PDF for Python.
I n d o n esia n   J   E lec  E n g   &   C o m p   Sci     I SS N:  2502 - 4752       K n o w led g e  d is co ve r y  fr o m  g en e  ex p r ess io n   d a ta s et  u s in g   b a g g in g   l a s s o   d ec is io n   tr ee   ( Um u   S a ’ a d a h )   1155      (     )        (     ) √     ( 1 6 )     t h e  o n e  s ta n d ar d   er r o r   r u le  is   p r esen ted   in   t h e  ( 1 7 ) .        (     )      (   ̂   )      (   ̂   )   ( 1 7 )     w h er e       ̂                     *                   +      (     )   ( 1 8 )     2 . 4 .   B o o t s t ra p  a g g re g a t ing   ( ba g g ing )     T h e  b asic  id ea   o f   B ag g in g   is   t o   u s e  b o o ts tr ap   r esam p li n g   to   g et  co m b in ed   p r ed ictio n s .   T h e  f ir s t   s te p   o f   B ag g in g   i s   b o o t st r ap   r esa m p lin g   th a t ta k es      s a m p le s   f r o m   th e   tr ai n i n g   s et   w it h   r ep lace m en t to   g et  t h e  n e w  tr ain i n g   s et .   F u r th er m o r e,   class if ica tio n   m o d eli n g   i s   p er f o r m ed   in       b o o ts tr ap   r ep licates.  T h e  s ec o n d   s tep   is   ag g r e g ati n g ,   w h ic h   is   co m b i n i n g   t h e  est i m a tio n   r es u lt s   in to   a  s in g le  est i m ated   v al u e.   T h e  ag g r e g ati n g   p r o ce s s   is   d o n e  b y   m aj o r it y   v o te.       3.   RE S E ARCH   M E T H O D   W e  im p le m e n ted   th e  m et h o d   in   th e  OV A   O v ar y   g en e  ex p r es s io n   d ata  av ailab le  o n   h ttp :// o p en m l.o r g .   T h e  d atas et  co n s is ts   o f   1 , 5 4 5   tu m o r   t is s u e  o b s er v atio n s ,   in   w h ic h   10, 9 3 5   g en es  ar e  o b s er v ed   o n   ea c h   o f   th o s e   t u m o r   tis s u e s .   Ob s er v ed   t u m o r   t is s u e s   ar e   lab eled   w it h   “ O v ar y ”  a n d   “ Ot h er ”.   T h e  “ O v ar y ”  cla s s   is   t h e  clas s   o f   o v ar ian   t u m o r   ti s s u e;  w h ile  th e   “ Ot h er ”  class   i s   th e  cla s s   o f   o th er   tu m o r   tis s u e s ,  in cl u d in g   co lo n ,   b r ea s t,  e n d o m etr ial,   k id n e y ,   l u n g ,   o m e n ta l,  p r o s tate,   an d   u ter u s   t u m o r .   T h e  d ata  an al y s i s   s tep s   ar e  d escr ib ed   as f o llo w s .   3 . 1 .     Ste ps   f o r  predict o r  v a ri a bles   s elec t io n u s ing   la s s o   a)   Sp lit  th e  o r ig i n al  d atase t  in to   th e  tr ain in g   an d   te s ti n g   s et.   W e  u s ed   th e  r atio   o f   8 0 %  f o r   th e  tr ain i n g   s et   an d   2 0 % f o r   th e  test i n g   s et.   b)   Stan d ar d ize  th e  tr ai n in g   s et  a n d   r u n   th e  L as s o   r eg u lar izatio n   w it h   1 0 0   iter atio n s .   c)   Dete r m i n e  th e  o p ti m u m   r eg u l ar izatio n   p ar a m eter   (   )   o f   th e  L as s o   u s i n g   1 0 - f o ld   cr o s s - v al id ati o n   d)   E x tr ac t th e  v ec to r   o f   co ef f icie n ts   (           )   at  th e  o p ti m u m         3 . 2 .     Ste ps   f o r  m o deli ng   a   decisi o n t re e  us i ng   t he  CAR T   a lg o rit h m   a)   Dete r m i n e  all  p o s s ib le  s p lit - p o in t f o r   ea ch   p r ed icto r   v ar iab le.   b)   C alcu late  th e  g o o d n es s   o f   s p l it              (      )   u s i n g   th e  f o r m u la  ( 7 )   to   g et  th e  b est  s p li t - p o in t.  T h e  b e s t  s p lit - p o in t is            {             (      ) } .   c)   Use  t h e  s p lit - p o in t      to   s p lit  t h e  r o o t  n o d e  b in ar y   s o   th at   t h e  le f t  c h ild   n o d e  an d   r i g h t  c h ild   n o d e  ar e  o b tain ed .   d)   Sp lit   th e  t w o   ch ild   n o d es u n til  a  m ax i m u m   D ec is io n   T r ee   is   f o r m ed .   e)   P r u n e  th e  m a x i m u m   tr ee   b as ed   o n   th e  r u le  s tated   i n   t h e  ( 1 7 )   s o   th at  th e  m a x i m u m   D e cisi o n   T r ee   i s  o b tain ed     3 . 3 .     Ste ps   f o r  ba g g ing   la s s o   decisi o n t re e   a)   P er f o r m   s a m p li n g   w it h   r ep lace m en t      ti m es i n   t h e  tr ain in g   s e t,  w h er e      s tates th e  s ize  o f   o b s er v atio n s   i n   th e  tr ain in g   s et .   b)   R u n   t h e  L a s s o   o n   t h e  tr ain i n g   s et  to   s elec t p r ed icto r   v ar iab les.   c)   C o n s tr u ct  a   Dec i s io n   T r ee   u s in g   t h e  C A R T   alg o r it h m   o n   th e  tr ai n i n g   s et   t h at  h as   b ee n   s elec ted   f o r   p r ed icto r   v ar iab les.   d)   R ep ea t step   1   to   s tep   3       ti m es t o   o b tain       Dec is io n   T r ee s .   e)   C o m b i n e      D ec is io n   T r ee   u s i n g   m aj o r ity   v o tes.   T h e  d ata  an al y s i s   p r o ce s s   wa s   co n d u cted   u s i n g   R .   T h e  R - p ac k ag e s   u s ed   w er e  g l m n et  f o r   g e n e   s elec tio n   u s i n g   L as s o   r eg u la r izatio n ,   r p ar t  f o r   g en er ati n g   th e  class i f icatio n   m o d el,   an d   r p ar t .   p lo t   f o r   v is u alizi n g   th e  cla s s i f icat io n   m o d el.       Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 5 0 2 - 4752   I n d o n esia n   J   E lec  E n g   &   C o m p   Sci,   Vo l.  21 ,   No .   2 ,  Feb r u ar y   2 0 2 1 :   1 1 51   -   11 59   1156   4.   RE SU L T S  A ND  D IS CU SS I O N     T h e  d ataset  w a s   f ir s t  s p lit   i n t o   th e  tr ain in g   s et   an d   th e  test i n g   s et   w it h   a  r atio   o f   8 0 %:2 0 % .   F o r   th e   tr ain i n g   s et,   1 , 2 3 6   o b s er v atio n s   w er e  o b tain ed   t h at  w o u ld   b e  u s ed   to   co n s tr u c t   t h e  m o d el .   Me an w h ile,   f o r   th e   test i n g   s et,   3 0 9   o b s er v atio n s   w er e  o b tai n ed   th at   w o u ld   b e  u s ed   f o r   ev al u ati n g   t h e   m o d el.   I n   t h e  tr ai n i n g   s et ,   s tan d ar d izatio n   i s   p er f o r m ed ,   an d   th e n   t h e  L as s o   r eg u lar izat io n   is   r u n   to   g et            .   B ec au s e              d e p en d s   o n   th e  r e g u lar iza tio n   p ar a m ete r   (   ) ,  f ir s t,  t h e  o p ti m u m       is   esti m ated   u s i n g   1 0 - f o ld   cr o s s - v alid atio n .   Fi g u r e  1   s h o w s   t h e  r es u lt o f   1 0 - f o ld   cr o s s - v al id atio n   to   o b tain   th e  o p ti m u m       o f   th e  L as s o .             Fig u r e  1 .   E s ti m at in g   t h e  o p ti m u m   r e g u lar izatio n   p ar a m eter       T h e  lef t - h an d   p ict u r e  in   Fi g u r e  1   s h o w s   th e  r es u lt  o f   cr o s s - v alid atio n   a n d   th e  r ig h t - h an d   zo o m s   i n   th e  f o cu s ed   ar ea .   I n   b o th   p ict u r es,  th e  v er tical  li n e  o n   t h e  le f t   s h o w s   t h e  m in i m u m   a v er ag e  b in o m ial  d e v ia n ce ,  w h ic h   is               0 . 0 1 6 9 1 7 .   Me an w h i le ,   th e  o n e   o n   t h e  r i g h t   s h o w s   th e  o n e   s ta n d ar d   er r o r   o f   th e   m i n i m u m ,   w h ic h   is                          .   On e  ca n   u s e  th e      w i th i n   o n e  s tan d ar d   er r o r   o f   th e  m i n i m u m .   Fo r   th is   ca s e,   w e  u s e            as  th e  o p tim u m   r e g u lar iz atio n   p ar a m eter .   T h e  n u m b er   alo n g   t h e  to p   o f   th e  p ictu r e  s t ate  th e  n u m b er   o f   n o n ze r o   co ef f icie n t s .   T h er ef o r e,   th e  o p ti m u m       th at  w e  u s e   p r o d u ce d   7 1   p r ed ict o r   v ar iab les  w it h   a  n o n ze r o   co ef f icie n t.  Af ter   th e  o p ti m u m       is   o b tain ed ,   th e  co ef f icien t    ̂     o f   th e  L a s s o   is   t h en   e x tr ac ted .       4 . 1 .   Dec is io n t re e  m o delin g     T h e  s tep s   to   b u ild   a  D ec i s io n   T r ee   a r e  to   d eter m i n e  t h e  Gi n i  in d ex   f r o m   th e   tr ain i n g   s et ,   d eter m in e   th e  n o d e  s p lit - p o in t,  an d   d eter m in e  t h e  g o o d n ess   o f   s p lit .   Sp litt in g   t h e  n o d es  is   d o n e  u n til  g e tti n g   t h e   m ax i m u m   tr ee   an d   th e n   p r u n e   it  to   g et  a  s i m p ler   tr ee .   Su p p o s e  th at  t h e  m a x i m u m   tr ee   is   d en o ted   b y             an d   th e  s u b tr ee   o f   th e  m ax i m u m   t r ee   is   d en o ted   b y       .   T o   o b tain   t h e  o p ti m u m   tr ee ,   cr o s s - v alid a tio n   is   u s ed .   T h e   o p tim u m   tr ee s   ar e  s u b tr ee s   t h at  h a v e     (     )      (   ̂   )      (   ̂   )   as  s tated   in   ( 1 7 ) .   Fig u r e  2   p r esen ts   th e   s u b tr ee s   o f   t h e  m ax i m u m   tr ee   o f   th e  OV A _ O v ar y   d ata s et  w it h   s elec ted   g e n e s   f r o m   L a s s o .   T h e  r esu lt o f   cr o s s - v alid atio n   i s   d is p la y ed   b y   t h e  p lo t o f   th e  co m p lex it y   p ar a m e ter   ( C P )   p r esen ted   in   Fi g u r e  3 .               ( a)         ( b )         ( c)         ( d )                     Fig u r e  2 .  S u b tr ee s   o f   t h e  OV A_ Ov ar y   d ataset  w it h   t h e  s elec t ed   g en es  f r o m   l as s o   ( a)       ,   ( b )       ,   ( c)       ,    ( d )                 Evaluation Warning : The document was created with Spire.PDF for Python.
I n d o n esia n   J   E lec  E n g   &   C o m p   Sci     I SS N:  2502 - 4752       K n o w led g e  d is co ve r y  fr o m  g en e  ex p r ess io n   d a ta s et  u s in g   b a g g in g   l a s s o   d ec is io n   tr ee   ( Um u   S a ’ a d a h )   1157   In   Fi g u r e  3 ,   th e   d o tted   h o r izo n tal  l in e   co r r esp o n d s   to   t h e  m i n i m u m   cr o s s - v alid atio n   er r o r   p lu s   o n e   s tan d ar d   er r o r   o f   th e  m in i m u m ,      (   ̂   )       (   ̂   ) ,  w h ich   is   0 . 5 9 5 .   T h e  o p ti m u m   tr ee   is   in d icate d   b y   a  p lo t  b elo w   th e  h o r izo n tal  li n e .   T h e  n u m b er   alo n g   t h e  to p   o f   th e  p lo t  s tates  th e  n u m b er   o f   leaf   n o d es  p r o d u ce d   b y   th e  s u b tr ee .   R ef e r r i n g   to   Fi g u r e  3 ,   th e  o p ti m u m   s u b tr ee s   ar e  th e   s u b tr ee   th a t  p r o d u c e s   2 ,   5 ,   an d   6   lea f   n o d es  b ec au s e  th e  p lo t  is   lo ca ted   b el o w   th e  h o r izo n ta l  lin e .  Fu r t h e r m o r e,   f r o m   t h e  th r ee   alter n at iv e  o p ti m u m   tr ee s ,   w e  o n l y   u s e  o n e  to   b e  th e  o p ti m u m .   W h e n   th e  s u b tr ee   w i th   2   leaf   n o d es  is   u s ed ,   th e  m o d el  w o u ld   p er f o r m   p o o r ly .   An d   w h e n   th e   s u b tr ee   w it h   t h e  6   lea f   n o d es  i s   u s ed ,   th e  m o d el  w o u ld   te n d   to   o v er f it.  T h er ef o r e,   w e   u s e  t h e  s u b tr ee   w i th   5   leaf   n o d es to   b e  th e  o p ti m u m   tr ee   as s h o w n   i n   Fi g u r e  4 .           Fig u r e  3 .   T h e  p lo t  o f   th e  co m p lex it y   p ar a m eter       I n   Fi g u r e  4 ,   t h e  lab el  o n   t h e  n o d e  s h o w s   th e   clas s   th a t  h a s   th e  lar g est  p r o p o r tio n   o f   t h at   n o d e.   T h e  co m p atib il it y   o f   t h e  m o d el  o b tain ed   f r o m   t h e  o p ti m u m   D ec is io n   T r ee   is   m ea s u r ed   u s i n g   ac cu r ac y .   T h e  ac cu r ac y   o f   th e  o p ti m a l  D ec is io n   T r ee   is   9 5 . 3 1 %  f o r   th e  tr ain in g   s et  an d   8 9 . 3 4 %  f o r   t h e  test i n g   s e t.  T h is   ac cu r ac y   v alu e  i s   h i g h   ev e n   t h o u g h   th e  m o d el  o n l y   i n v o lv e s   f o u r   p r ed icto r s .   B e s i d e s   e v a l u a t i n g   t h e   c l a s s i f i c a t i o n   p e r f o r m a n c e ,   w e   a l s o   i n t e r p r e t   t h e   m o d e l .   B a s e d   o n   t h e   m o d e l   i n   F i g u r e   4 ,   t o   d i s t i n g u i s h   b e tw e e n   o v a r i a n   t u m o r   t i s s u e   a n d   o t h e r   t u m o r s ,   f i r s t ,   t h e   e x p r e s s i o n   o f   t h e   S T A R   g e n e   i s   s e e n .   I f   t h e   S T A R   e x p r e s s i o n   s h o w s   a   v a l u e   o f   m o r e   t h a n   o r   e q u a l   t o   2 2 6 ,   t h e n   t h e   t u m o r   t i s s u e   i s   p r e d i c t e d   t o   b e   o v a r i a n   t u m o r   t i s s u e   w i t h   a   p r o b a b i l i t y   o f   8 5 % .   M e a n w h i l e ,   i f   t h e   S T A R   e x p r e s s i o n   v a l u e   i s   l e s s   t h a n   2 2 6 ,   t h e n   t h e   W T 1   e x p r e s s i o n   i s   s e e n .   I f   W T 1   e x p r e s s i o n   i s   l e s s   t h a n   7 , 0 6 7 ,   i t   c a n   b e   e s t i m a t e d   t h a t   t h e   t u m o r   t i s s u e   i s   a n o t h e r   t u m o r   t i s s u e   w i t h   a   p r o b a b i l i t y   o f   9 7 % .   I f   W T 1   s h o w s   a n   e x p r e s s i o n   v a l u e   g r e a t e r   t h a n   o r   e q u a l   t o   7 , 0 6 7 ,   t h e n   t h e  C 1 9 o r f 5 3   g e n e   e x p r e s s i o n   i s   t h e n   s e e n .   I f   t h e   e x p r e s s i o n   o f   C 1 9 o r f 5 3   i s   m o r e   t h a n   o r   e q u a l   t o   5 , 3 2 3   t h e n   t h e   t u m o r   t i s s u e   m u s t   b e   o v a r i a n ,   b u t   i f   t h e   C 1 9 o r f 5 3   e x p r e s s i o n   i s   l e s s   t h a n   5 , 3 2 3   t h e n   t h e   e x p r e s s i o n   o f   t h e   M T X 2   g e n e   is   a l s o   s e e n .   I f   t h e   M T X 2   g e n e   h a s   m o r e   t h a n   o r   e q u a l   e x p r e s s i o n   w i t h   2 , 8 6 7 ,   t h e n   i t   i s   p r e d i c t e d   a s   o v a r i a n   t u m o r   t i s s u e ,   b u t   i f   i t   i s   l e s s   t h a n   2 , 8 6 7 ,   t h e n   i t   i s   p r e d i c t e d   a s   a n o t h e r   t u m o r   t i s s u e .     T h e   D e c i s i o n   T r e e   m o d e l   o b t a i n e d   i s   t h e o r e t i c a l l y   c o r r e c t .   A c c o r d i n g   t o   [ 2 3 ] ,   S T A R   p l a y s   a n   i m p o r t a n t  r o l e   i n   t h e   p r o d u c t i o n   o f   s t e r o i d   h o r m o n e s .   E s t r o g e n   i s   a   s t e r o i d   h o r m o n e   t h a t   f u n c t i o n s   a s   a   f e m a l e   s e x   h o r m o n e .   E x c e s s i v e   e s t r o g e n   c a n   c a u s e   o v a r i a n   c a n c e r .   T h e   t h e o r y   s u p p o r t s   t h e   r e s u l t s   o f   t h i s   s t u d y   w h e r e   o v a r i a n   t u m o r   p a t i e n t s   h a v e   h i g h e r   S T A R   e x p r e s s i o n   t h a n   o t h e r   t u m o r   p a t i e n t s .   W T 1   e x p r e s s i o n   i n   o v a r i a n   t u m o r s   h a s   b e en   r e v i ew e d   b y   [ 2 4 ,   2 5 ] .   W T 1   h a s   a   h i g h   e x p r e s s i o n   i n   e p i t h e l i a l   o v a r i a n   t u m o r   p a t i e n t s   ( i . e .   t u m o r s   i n   t h e   o v a r y   c o v e r i n g   m e m b r a n e )   a n d   t h e   h i g h e r   e x p r e s s i o n   o f   W T 1   i n d i c a t e s   a   h i g h   t u m o r   s t a g e   [ 2 4 ] .   M e a n w h i l e ,   t h e   r e s u l t s   o f   r e s e a r c h  [ 2 5 ]   st a t e d   t h a t   e x c e s s i v e   W T 1   e x p r e s s i o n   c a n   m a k e   c a n c e r   c e l l s   m o r e   a g g r e s s i v e   i n   o v a r i a n   c a n c e r .   M e a n w h i l e ,   t h e   e x p r e s s i o n   o f   C 1 9 o r f 5 3   a n d   M T X 2   g e n e s   i n   o v a r i a n   t u m o r s   h a s   n o t   b e e n   o r   h a s   n o t   b e e n   s t u d i e d   b y   r e s e a r c h e r s .   H o w e v e r ,   C 1 9 o r f 5 3   a n d   M T X 2   a r e   n o t   i m p o r t a n t   m a r k e r s   b a s e d   o n   t h e   m o d e l .           Fig u r e  4 .   T h e  o p tim u m   tr ee   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 5 0 2 - 4752   I n d o n esia n   J   E lec  E n g   &   C o m p   Sci,   Vo l.  21 ,   No .   2 ,  Feb r u ar y   2 0 2 1 :   1 1 51   -   11 59   1158   4 . 2 .   B a g g ing   l a s s o   decisi o n t re e     W e  cr ea ted            b o o ts tr ap   r ep li ca tes  as  d o n e  b y   [ 1 0 ]   an d   in   o r d er   n o t  t o   r e q u ir e  a  lo n g   co m p u tatio n   ti m e.   I n   th e  5 0   b o o ts tr ap   r e p licates,  th e  L ass o   w as  u s ed   to   s elec t  t h e  p r ed icto r   v ar iab les,  an d   th en   th e   D ec is io n   T r ee   m o d el  w a s   co n s tr u cted   u s i n g   t h e  C AR T   alg o r ith m   to   o b tain   5 0   s i n g le  m o d el s .   O f   t h e   5 0   s in g le  m o d els  f r o m   t h e  b o o ts tr ap   r ep licates,  a  v o te  w a s   ca r r ied   o u t  to   c o m b i n e  th e  m o d els  in to   o n e   f in a l   m o d el.   I n   t h e  tr ai n in g   s et,   t h e  B ag g i n g   m o d el  g av e   an   ac c u r ac y   o f   9 5 . 2 3 %.  Me an w h ile,   i n   th e  te s ti n g   s et,   t h e   B ag g i n g   m o d el   g a v e  a n   ac cu r ac y   o f   9 0 . 2 9 %.  A  s u m m ar y   o f   t h e   ac cu r ac y   v alu e s   f r o m   t h e  s i n g le  m o d el   an d   th e  B ag g in g   m o d el  i s   p r esen te d   in   T ab le   1.       T ab le  1 .   T h e  a cc u r ac y   o f   th e  s in g le  an d   th e   b a g g i n g   M o d e l   A c c u r a c y   o f   t h e   t r a i n i n g   se t   A c c u r a c y   o f   t h e   t e st i n g   se t   S i n g l e   L a sso   D e c i si o n   T r e e     9 5 . 3 1 %   8 9 . 3 2 % .   B a g g i n g   L a sso   D e c i si o n   T r e e     9 5 . 2 3 %   9 0 . 2 9 %       C o m p ar in g   th e  ac c u r ac y   o f   t h e  s in g le  m o d els  an d   t h e  B ag g i n g   m o d el  h as  b ee n   co n d u cted   b y   [ 2 6 ] .   I n   th at  s tu d y ,   a  s i n g le  D ec is io n   T r ee   m o d el  w a s   co m p ar ed   w i th   a  B ag g i n g   D ec i s io n   T r ee   w it h   t h r ee   s p litt in g   cr iter ia,   n a m el y   t h e  g ain   r at i o ,   in f o r m a tio n   g ai n ,   an d   Gi n i   in d ex .   T h e  r esu lt  is   o b tai n e d   th at  B ag g in g   ca n   in cr ea s e  ac cu r ac y   b y   2 . 9 6 %,  1 . 6 5 %,  an d   2 . 1 8 %.  I n   th is   s t u d y ,   an   i n cr ea s e  i n   ac cu r ac y   is   o n l y   1 %  o f   th e   s in g le  L as s o   Dec is io n   T r ee   m o d el.   T h is   m ea n s   t h at  t h e  L as s o   Dec is io n   T r ee   class if i er   is   s tab le  o n   t h e   OV A _ Ov ar y   d ata s et.       5.   CO NCLU SI O N     T h e  B ag g in g   L as s o   Dec is io n   T r ee   w as  p er f o r m ed   to   ex am i n e  th e  s tab ilit y   o f   th e  L as s o   Dec is io n   T r ee   class if ier .   Fro m   th e  O V A  Ov ar y   d ataset,   t h e  L as s o   Dec is io n   T r ee   m o d el  w as c o n s tr u ct ed   w it h   f o u r   s p lit s   b u t  w a s   ab le  to   p r o d u ce   an   a cc u r ac y   o f   8 9 . 3 %  f o r   th e  test in g   s et.   Me an w h ile,   t h e  B ag g in g   m o d el  g a v e  a n   ac cu r ac y   o f   9 0 . 2 9 %.  T h e  s li g h tl y   i n cr ea s i n g   ac cu r ac y   s h o ws  t h at  t h e  L a s s o   Dec i s io n   T r ee   class if ier   is   s tab le.   T h e  m o d el  o b tain ed   also   g av e   a  r esu lt  t h at   t h eo r etica ll y   co r r ec t,  b eg in n in g   t h at  t h e  s p lit - p o in t  o f   ST AR   w a s   s elec ted   as  a  s p lit - p o in t  o f   t h e  r o o t   n o d e.   S T A R   w as  th e  i m p o r ta n t  g e n e  in   estro g e n   h o r m o n e  p r o d u ctio n .   T h er ef o r e,   r esear ch er s   o r   p r ac titi o n er s   co n ce r n in g   o n co g e n o m ic  m a y   u s e  t h e  L a s s o   Dec i s i o n   T r ee   m et h o d   to   s tu d y   t h e  d i f f er en ce   in   g en e   ch ar ac ter is tic s   b et w ee n   n o r m al   an d   d i s ea s e   co n d itio n s   a n d   u s e  B ag g i n g   L as s o   Dec is io n   T r ee   to   in cr ea s e  th e  ac cu r ac y .       ACK NO WL E D G E M E NT S     W e  w o u ld   li k e  to   ex p r ess   o u r   d ee p   g r atitu d e  to   P r o f .   W id o d o ,   S.Si.,   M. Si.,   P h . D.   Me d . Sc. ,   th e  h ea d   o f   L ab o r ato r iu m   Sen tr a l   I l m u   Ha y ati  ( L SIH )   Un iv er s itas   B r a w ij a y a ,   f o r   g iv i n g   u s   k n o w le d g e  ab o u t g en e s .       RE F E R E NC E S   [1 ]   H.  Om a ra ,   M .   L a z a a r,   a n d   Y.   T a b ii ,   “ Eff e c t  o f   fe a tu re   se lec t io n   o n   g e n e   e x p re ss io n   d a tas e ts  c las si f ica ti o n   a c c u ra c y , ”   In t.   J .   El e c tr.   Co mp u t.   En g . ,   v o l .   8 ,   n o .   5 ,   p p .   3 1 9 4 - 3 2 0 3 ,   2 0 1 8 .   [2 ]   A .   As sa wa m a k in ,   S .   P r u e k sa a ro o n ,   S .   Ku law o n g a n u n c h a i,   P .   J.  S h a w ,   V .   V a ra v it h y a ,   T .   Ru a n g ra ji t p a k o rn ,   a n d   S .   T o n g si m a ,   “ Bio m a r k e r  s e lec ti o n   a n d   c las sif ic a ti o n   o f   „“   -   o m ic s  ” ‟  d a ta  u sin g   a   t w o - ste p   b a y e s  c las si f ica ti o n   f ra m e w o rk , ”   Bi o me d   Res .   In t. ,   2 0 1 3 .   [3 ]   C.   Ka n g ,   Y.  Hu o ,   L .   X i n ,   B.   T ian ,   a n d   B.   Yu ,   “ F e a tu re   se lec ti o n   a n d   t u m o r  c las sif ic a ti o n   f o r  m icro a rra y   d a ta  u sin g   re lax e d   las so   a n d   g e n e ra li z e d   m u lt i - c las s su p p o rt  v e c to r  m a c h in e , ”   J .   T h e o r.   Bi o l. ,  v o l .   4 6 3 ,   p p .   7 7 - 9 1 ,   2 0 1 9 .   [4 ]   L .   Ga o ,   M .   Ye ,   X .   L u ,   a n d   D.  H u a n g ,   “ Hy b rid   m e th o d   b a se d   o n   i n f o rm a ti o n   g a in   a n d   su p p o r t  v e c to r  m a c h in e   f o r   g e n e   se lec ti o n   in   c a n c e r  c las sif ica ti o n , ”   Ge n o mic s.  Pr o teo mic s B i o i n fo rm a t ics ,   v o l.   1 5 ,   n o .   6 ,   p p .   3 8 9 - 3 9 5 ,   2 0 1 7 .   [5 ]   A .   B a c k h a u s  a n d   U.  S e i ff e rt,   “ Ne u ro c o m p u ti n g   Clas sif ica ti o n   in   h ig h - d im e n sio n a l  sp e c tral  d a ta :  a c c u ra c y   v s.   in terp re tab il it y   v s .   m o d e l  siz e , ”   Ne u ro c o mp u ti n g ,   v o l .   1 3 1 ,   p p .   1 5 - 2 2 ,   2 0 1 4 .   [6 ]   A .   Bib a l  a n d   B.   F ré n a y ,   “ In terp re tab il it y   o f  m a c h in e   lea rn in g   m o d e ls  a n d   re p re se n tati o n s :  a n   i n tro d u c ti o n , ”   in   Eu ro p e a n   S y m p o siu m  o n   Arti f icia l  Ne u ra l  Ne two rk s,  Co mp u ta ti o n a l  In telli g e n c e   a n d   M a c h i n e   L e a rn in g ,   p p .   7 7 - 82 ,  2 0 1 6 .   [7 ]   L .   Bre i m a n ,   J.  H.  F ried m a n ,   R.   A .   Olsh e n ,   a n d   C.   J.  S to n e ,   Cla ss if ica ti o n   a n d   Reg re ss io n   T re e s .   Ch a p m a n   a n d   Ha ll ,   1 9 8 4 .   [8 ]   A .   A n d rz e jak ,   F .   L a n g n e r,   a n d   S .   Zab a la,  “ In terp re tab le  m o d e ls  f ro m   d istri b u ted   d a ta  v ia  m e r g in g   o f   d e c isio n   tree s , ”   in   2 0 1 3   IEE E   S y mp o siu m  o n   C o mp u ta t io n a l  I n telli g e n c e   a n d   Da t a   M in i n g   ( CIDM ) ,  p p .   1 - 9 ,   2 0 1 3 .   [9 ]   M .   Y.  Ro c h a y a n i,   U.  S a ‟a d a h ,   a n d   A .   B.   A stu ti ,   “ Tw o - sta g e   g e n e   s e lec ti o n   a n d   c las sif ic a ti o n   f o r  a   h ig h - d im e n sio n a l  m icro a rra y   d a ta , ”   J .   On li n e   I n fo rm . ,   v o l.   5 ,   n o .   1 ,   p p .   9 - 1 8 ,   2 0 2 0 .   Evaluation Warning : The document was created with Spire.PDF for Python.
I n d o n esia n   J   E lec  E n g   &   C o m p   Sci     I SS N:  2502 - 4752       K n o w led g e  d is co ve r y  fr o m  g en e  ex p r ess io n   d a ta s et  u s in g   b a g g in g   l a s s o   d ec is io n   tr ee   ( Um u   S a ’ a d a h )   1159   [1 0 ]   L .   Bre i m a n ,   “ Ba g g in g   P re d ict o rs, ”   M a c h .   L e a rn . ,   v o l .   2 4 ,   n o .   2 ,   p p .   1 2 3 - 1 4 0 ,   1 9 9 6 .   [1 1 ]   H.  R.   S a a d ,   “ In d u strial  e n g in e e r in g   &   m a n a g e m e n t  u se   b a g g in g   a lg o rit h m   to   im p ro v e   p re d ictio n   a c c u ra c y   f o r  e v a lu a ti o n   o f   w o rk e r  p e r f o rm a n c e s  a t  a   p ro d u c ti o n   c o m p a n y , ”   In d   En g   M a n a g . ,   v o l .   7 ,   n o .   2 5 7 ,   p p .   2 1 6 9 - 0 3 1 6 ,   2 0 1 8 .   [1 2 ]   P .   Kim   a n d   K.  L i m ,   “ V e h icle   t y p e   c las si f ica ti o n   u sin g   b a g g in g   a n d   c o n v o lu ti o n a l  n e u ra l  n e tw o rk   o n   m u lt i  v ie w   su rv e il lan c e   ima g e , ”   in   IEE E  C o n fer e n c e   o n   Co mp u ter   Vi si o n   a n d   Pa t ter n   Rec o g n i ti o n   W o rk sh o p s ,   p p .   41 - 46 ,  2 0 1 7 .   [1 3 ]   A .   Ra m a s wa m y r e d d y ,   S .   S h iv a ,   K.  V   Ra n g a ra o ,   a n d   A .   S a ra n y a ,   “ Eff icie n t  d a ta m in in g   m o d e l  f o r  p re d ictio n   o f   c h ro n ic  k id n e y   d ise a s e   u sin g   w r a p p e r  m e th o d s,”  In t.   J .   I n fo rm a ti c s  Co mm u n .   T e c h n o l . ,   v o l.   8 ,   n o .   2 ,   p p .   6 3 - 7 0 ,   2 0 1 9 .   [1 4 ]   N.  W .   S .   W a rd h a n i,   M .   Y.  Ro c h a y a n i,   A .   Irian y ,   A .   D.  S u li sty o n o ,   a n d   P .   L e sta n t y o ,   “ Cro ss - v a li d a ti o n   m e tri c s  f o r  e v a lu a ti n g   c las sif i c a ti o n   p e rf o rm a n c e   o n   i m b a lan c e d   d a ta , ”   in   2 0 1 9   In ter n a t io n a l  Co n fer e n c e   o n   Co mp u ter ,   Co n tro l,   I n fo rm a ti c s a n d   i ts   Ap p li c a ti o n s ( IC3 INA) ,   p p .   1 4 - 1 8 ,   2 0 1 9 .   [1 5 ]   H.  L i,   Y.   L i,   F .   P o rik li ,   a n d   M .   W a n g ,   “ Co n v o lu ti o n a l  n e u ra l  n e t   b a g g in g   f o r  o n li n e   v isu a l  trac k in g , ”   Co mp u t.   Vi s.   Ima g e   Un d e rs t. ,   v o l.   1 5 3 ,   p p .   1 2 0 - 1 2 9 ,   2 0 1 6 .   [1 6 ]   I.   A ries h a n ti ,   Y.  P u rw a n a n to ,   A .   Ra m a d h a n i,   a n d   M .   U.  Nu h a ,   “ Co m p a ra ti v e   stu d y   o f   b a n k ru p tcy   p re d ictio n   m o d e ls , ”   T EL KOM NIKA   ( T e le c o mm u n ica ti o n   C o mp u ti n g   El e c tro n ics   a n d   Co n tro l) ,   v o l.   1 1 ,   n o .   3 ,   p p .   5 9 1 - 5 9 6 ,   2 0 1 3 .   [1 7 ]   P .   M o o rm a n ,  B.   Ca li n g a e rt,   R.   P a lm ieri,   E.   Iv e rse n ,   R.   Be n tl e y ,   S .   Ha lab i,   A .   Be rc h u c k ,   a n d   J.  S c h il d k ra u t ,  “ Ho rm o n a l  risk   f a c to rs  f o r  o v a ria n   c a n c e r  in   p re m e n o p a u sa l  a n d   p o stm e n o p a u sa l  w o m e n , ”   Am.   J .   Ep id e mi o l. ,   v o l .   1 6 7 ,   n o .   9 ,   p p .   1 0 5 9 - 1 0 6 9 ,   J u n .   2 0 0 8 .   [1 8 ]   F .   S h e n ,   S .   Ch e n ,   Y.  Ga o ,   X .   Da i,   a n d   Q.  Ch e n ,   “ T h e   p re v a len c e   o f  m a li g n a n t  a n d   b o rd e rli n e   o v a rian   c a n c e r   in   p re -   a n d   p o st - m e n o p a u sa l  c h i n e se   w o m e n , ”   Bi o me d   Res .   I n t. ,   v o l.   8 ,   n o .   4 6 ,   p p .   8 0 5 8 9 - 8 0 5 9 4 ,   2 0 1 7 .   [1 9 ]   T .   Ha stie,  R.   T ib sh iran i,   a n d   M .   W a in w rig h t,   S ta ti s ti c a l  L e a rn i n g   wit h   S p a rs it y :  T h e   L a ss o   a n d   Ge n e ra li za ti o n s .  Ch a p m a n   a n d   Ha ll ,   2 0 1 5 .   [2 0 ]   R.   T ib sh iran i,   “ Re g re ss io n   sh rin k a g e   a n d   se lec ti o n   v ia t h e   las so , ”   J .   R.   S ta t .   S o c .   S e r.  B ,   v o l.   5 8 ,   n o .   1 ,   p p .   2 6 7 - 2 8 8 ,   1 9 9 6 .   [2 1 ]   J.  Ha n ,   M .   Ka m b e r,   a n d   J.  P e i,   D a t a   M i n in g   Co n c e p ts  a n d   T e c h n iq u e s T h ir d   Ed it io n .   El se v ier,  2 0 1 2 .   [2 2 ]   Y.  Yo h a n n e s  a n d   P .   W e b b ,   “ Clas sif ic a ti o n   a n d   re g re ss io n   tree s,  c a rt  -   a   u se r   m a n u a l  f o r  id e n ti fy in g   in d ica to rs  o f   v u ln e ra b il it y   to   f a m in e   a n d   c h ro n ic  f o o d   in se c u rit y .   W a sh in to n   D. C ,”   In ter n a ti o n a l  F o o d   Po li c y   Res e a rc h   In stit u te ,  1 9 9 9 .   [2 3 ]   P .   R.   M a n n a ,   C.   L .   S tetso n ,   A .   T.   S lo m in sk i,   a n d   K.  P ru it t,   “ Ro le   o f   th e   ste ro id o g e n ic  a c u te  re g u lato ry   p ro tein   i n   h e a lt h   a n d   d ise a se , ”   En d o c rin e ,   v o l.   5 1 ,   n o .   1 ,   p p .   7 - 2 1 ,   2 0 1 6 .   [2 4 ]   B.   H y lan d e r,   E .   Re p a sk y ,   P .   S h rik a n t,   M .   In te n g a n ,   A .   Be c k ,   D .   Drisc o ll ,   P .   S in g h a l,   S .   L e le,  a n d   K.  Od u n si ,  “ Ex p re ss io n   o f   W il m s  T u m o r  g e n e   (W T 1 )  in   e p it h e li a l  o v a rian   c a n c e r, ”   Gy n e c o l.   On c o l. ,   v o l.   1 0 1 ,   n o .   1 ,   p p .   1 2 - 1 7 ,   2 0 0 6 .   [2 5 ]   Z.   L iu ,   K.  Ya m a n o u c h i ,   T .   Oh tao ,   S .   M a tsu m u ra ,   a n d   M .   S e in o ,   “ Hig h   L e v e ls  o f  W il m s‟  Tu m o r  1   (W T 1 )  e x p re ss io n   we re   a ss o c iate d   w it h   a g g r e ss iv e   c li n ica l  fe a tu re s  in   o v a rian   c a n c e r , ”   An ti c a n c e r  Res . ,   v o l.   3 4 ,   n o .   5 ,   p p .   2 3 3 1 - 2 3 4 0 ,   2 0 1 4 .   [2 6 ]   A .   Dz e li h o d z ic an d   D.  Do n k o ,   “ C o m p a riso n   o f   e n se m b le c las si f ica t io n   tec h n i q u e s an d   si n g le cla ss if i e rs co m p a riso n   o f   e n se m b le  c las si f ica ti o n   tec h n i q u e s  a n d   sin g le  c las sif ier s  p e r f o rm a n c e   f o r  c u sto m e r  c re d it   a s se ss m e n t , ”   M o d e l.   Arti f.   In tell. ,   v o l.   1 1 ,   n o .   3 ,   p p .   1 4 0 - 1 5 0 ,   2 0 1 6 .     Evaluation Warning : The document was created with Spire.PDF for Python.