I nd o ne s ia n J o urna l o f   E lect rica l En g ineering   a nd   Co m pu t er   Science   Vo l.   24 ,   No .   3 ,  Dec em b er   2 0 2 1 ,   p p .   1 6 1 0 ~ 1 6 1 7   I SS N:  2 5 0 2 - 4 7 5 2 ,   DOI : 1 0 . 1 1 5 9 1 /ijeecs.v 24 .i 3 . pp 1 6 1 0 - 1 6 1 7          1610       J o ur na l ho m ep a g e :  h ttp : //ij ee cs.ia esco r e. co m   Para llel   ex trem e   g ra dient   bo o sting   cla ss ifier   for   lun g   ca ncer   detec tion       Ra na   Dhia a   Abdu - A lj a ba r ,   O s a m a   A.   Awa d   F a c u lt y   of   I n fo rm a ti o n   E n g i n e e rin g ,   Al - Na h ra in   U n iv e rsit y ,   Ba g h d a d ,   Ira q       Art icle   I nfo     AB S T RAC T   A r ticle   his to r y:   R ec eiv ed   J u n   2 9 ,   2 0 2 1   R ev is ed   Oct   27 ,   2 0 2 1   Acc ep ted   No v   1 ,   2 0 2 1       M o st   lu n g   c a n c e rs   do   n o t   c a u se   sy m p to m s   u n ti l   t h e   d ise a se   is  in   its   late r   sta g e .   Th a t   led   th e   lu n g   c a n c e r   ha v in g   a   h ig h   fa talit y   ra te   c o m p a r ed   to   o th e r   c a n c e r   ty p e s.   M a n y   sc ien ti sts   try   to   u se   a rti f icia l   i n telli g e n c e   a lg o rit h m s   to   p ro d u c e   a c c u ra te   lu n g   c a n c e r   d e tec ti o n .   Th is   p a p e r   u se d   e x trem e   g ra d ien t   b o o st in g   (XG Bo o st)   m o d e ls   as   a   b a se   m o d e l   fo r   its   e ffe c ti v e n e ss .   It   e n h a n c e d   lu n g   c a n c e r   d e tec ti o n   p e rfo rm a n c e   by   s u g g e stin g   t h re e   sta g e s   m o d e l;   fe a tu re   sta g e ,   XG Bo o ste   p a ra ll e l   sta g e   a n d   se lec ti o n   sta g e .   Th is   stu d y   u se d   two   ty p e s   of   g e n e   e x p re ss io n   d a tas e ts;   RNA - se q u e n c e   a n d   m icro a rra y   p r o fil e s.   Th e   re su lt s   p re se n ted   t h e   e ffe c ti v e n e ss   of   t h e   p ro p o se d   m o d e l,   e s p e c ially   in   d e a li n g   wi th   imb a la n c e d   d a tas e ts,   by   h a v i n g   1 0 0 %   each   of   s e n siti v it y ,   sp e c ifi c it y ,   p re c isio n ,   F 1 _ sc o re ,   a re a   u n d e r  c u rv e   (AU C),   a n d   a c c u ra c y   m e tri c s wh e n   it   a p p li e d   o n   a ll   of   t h e   d a tas e ts   u se d   i n   t h is stu d y .     K ey w o r d s :   B io in f o r m atics   Gen e  ex p r ess io n   L u n g   ca n ce r   d is ea s e   Ma ch in e  lear n in g   XGBo o s t   T h is   is   an   o p e n   a c c e ss   a rticle   u n d e r   th e   CC   BY - SA   li c e n se .     C o r r e s p o nd ing   A uth o r :   R an a   Dh iaa   Ab d u - A ljab ar   Dep ar tm en t   of   Sy s tem s   E n g in ee r in g ,   Facu lty   of   I n f o r m atio n   E n g in ee r i n g ,  Al - Nah r ain   Un i v er s ity   B ag h d ad ,   I r aq   E m ail:   r an ad h iaa1 @ g m ail. co m       1.   I NT RO D UCT I O N   L u n g   ca n ce r   is   co m m o n   ca n ce r   th at  ca u s es  a  h ig h er   f atality   r ate  b etwe en   ca n ce r   ty p es.  T h e   f iv e - y ea r   s u r v iv al  r ate  is   ab o u t  5 6 %  f o r   p atien ts   th at  ca n ce r   is   s till   in   th e  lu n g .   W h ile  5 %  f o r   t h e  ca s es,  its   ca n ce r   s p r ea d   o u t  o f   th e  lu n g .   On ly   1 6 %  o f   lu n g   ca n ce r   ca s es  ar e  d etec ted   ea r ly   [ 1 ] .   R ec o g n itio n   an d   p r ed ictio n   th e   lu n g   ca n ce r   in   th e  ea r lies t  s ta g e  ca n   in cr ea s e  th e  s u r v iv al  r ate  o f   th e  p atien ts .   L u n g   ca n c er   h as  n o   s y m p to m s   in   th e  ea r ly   s tag es  [ 2 ] ,  [ 3 ] ,   s o   it  n ee d s   m o r e  t h an   tr a d itio n al  d etec tio n   to   d etec t  it.  C an ce r   ca n   b e  d ef in ed   as  a  d is ea s e  o f   alter ed   g en e  e x p r ess io n .   T h e  d e v elo p m e n t  o f   g en e  e x p r ess io n   tec h n o lo g i es  h as  b ec o m e  t h e   s tan d ar d   tech n o lo g y   f o r   s tu d y in g   th e   ce lls   [ 4 ] - [ 6 ] .   T h e   d ev elo p m en t   o f   th is   tech n o lo g y   m ad e   m an y   r esear ch er s   ap p ly   m a n y   s tu d ies  o n   im p r o v in g   lu n g   ca n ce r   p r e d ictio n   b y   an aly zi n g   t h e  ch an g es  in   g en e   ex p r ess io n .   So m e  r esear ch er s   s tu d y   g en e  ex p r ess io n - b ased   p r o g n o s tic  s ig n atu r es  f o r   lu n g   ca n ce r   [ 3 ] .   Oth er s   tr y   to   u s e  g en e   ex p r ess io n   t ec h n o lo g y   s u c h   as  m icr o ar r a y   an d   R NA - s eq u en ce s   to   d e v e lo p   l u n g   ca n ce r   d etec tio n   m eth o d s .   Ma n y   s tu d ies  u s ed   ar tific ial  in tellig en ce   to   d etec t  lu n g   ca n ce r   f o r   th eir   p o wer   to o ls .   T h ey   u s ed   d if f er en t  m eth o d s ,   lik e  Al - An n i  et  a l.   [ 7 ] - [ 1 2 ] ,   th ey   p r o p o s ed   d i f f er en t  o p tim izatio n   m o d els  to   en h an ce   th e  n o n - s m all  ce ll  l u n g   ca n ce r   ( NSC L C )   d etec tio n   ac cu r ac y   u s in g   m icr o ar r ay   g e n e  ex p r ess io n   d atasets .   Als o ,   Azz awi  et  a l.   [ 1 3 ] - [ 1 6 ]   h a v e  m u ltip le  s tu d ies  o n   m u lticlas s   im p r o v em e n t  u s in g   th e  GE P  a lg o r ith m   i n   th e   lu n g   ca n ce r   class if icatio n   s tag e  to   d eter m in e  th e  s p ec if ic  th er ap y   an d   r ed u ce   th e  f atality   r ate.   Hu   et  a l.   [ 1 7 ]   p r o p o s ed   d etec tin g   an d   r ec o g n izin g   d if f er en t  life   s tag es  o f   b lad d er   ce lls   u s in g   two   ca s c ad ed   co n v o lu ti o n al  n eu r al  n etwo r k s   ( C NNs).   T o   d etec t  ca n ce r   ce lls   an d   th eir   s tag es.  W h ile  Sar ic   et  a l.   [ 1 8 ]   p r o p o s ed   a  f u l ly   au to m atic  m eth o d   f o r   d etec tin g   lu n g   ca n ce r   i n   lu n g   tis s u e.   T h ey   u s ed   two   co n v o lu tio n al  n e u r al  n etwo r k   C NN  ar ch itectu r es  ( VGG  an d   R esNet)   f o r   tr ain i n g ,   a n d   th eir   p er f o r m an ce   is   co m p ar ed .   T h e  r es u lts   o b tain ed   s h o w   Evaluation Warning : The document was created with Spire.PDF for Python.
I n d o n esian   J   E lec  E n g   &   C o m p   Sci     I SS N:  2502 - 4 7 5 2       P a r a llel e xtreme  g r a d ien t b o o s tin g   cla s s ifier   fo r   lu n g   ca n ce r   d etec tio n   ( R a n a   D h ia ’ a   A b d u a lja b a r )   1611   th at  th e  C NN - b ased   ap p r o ac h   ca n   h elp   p ath o lo g is ts   d iag n o s e  lu n g   ca n ce r .   Als o ,   L i  et  a l.   [ 1 9 ]   p r o p o s ed   a   f u s io n   alg o r ith m   th at  c o m b in e s   h an d cr a f ted   f ea tu r es  i n to   th e   f ea tu r es  lea r n ed   at  t h e  o u tp u t   lay er   o f   a   3 D   d ee p   co n v o l u tio n al  n eu r al   n etwo r k   ( C NN) .   Patr a  [ 2 0 ]   an aly ze d   v ar io u s   m ac h in e   lear n in g   c lass if ier   tech n iq u es   to   class if y   lu n g   ca n c er   in t o   b e n i g n   an d   m alig n an t.   L ai   et  a l.  [ 2 1 ]   tr ai n ed   clin ical   an d   g en e   ex p r ess io n   d ata   with   im p r o v e d   d ee p   n e u r al  n etwo r k   ( DNN) .   I t   u s ed   p atien ts   b ased   o n   m icr o ar r ay   d ata  to   p r ed ict  th e   5 - y ea r   s u r v iv al  s tatu s   o f   NS C L C .   T h e  s tu d y   Priy a  an d   J awh ar   [ 2 2 ]   p r o p o s ed   an   a u to m atic  ap p r o ac h   to   class if y in g   th e  lu n g   im a g e  in to   a  n o r m a l  ca s e  o r   ca n ce r   ca s e  b y   p r e p r o ce s s in g   th e  co m p u ted   t o m o g r ap h y   ( CT )   lu n g   im ag e  to   r em o v e  n o is e.   T h e n   co m b in es  th e  h is to g r am   an aly s is   with   m o r p h o lo g ical  a n d   ex tr ac ts   th e  lu n g   r eg io n s   b y   th r esh o ld in g   o p er a tio n s ,   wh ile  Og u n ley e   an d   W an g   [ 2 3 ]   u s ed   a  clin ical  d atab ase  to   clas s if y   th e  p atien t  if   h e  h as  ch r o n ic  k id n ey   d is ea s e  o r   n o t  u s in g   XGB o o s t.  Desu k y   et  a l.   [ 2 4 ]   s u g g ested   a  n ew  m eth o d   f o r   class if icatio n   to   d ea l  with   im b alan ce d   m ed ical  d atasets .   I t  u s ed   th e  cr o s s o v er   to   in c r ea s e  th e  m in o r ity   class   an d   th en   u s ed   t h e  b o o s tin g   f o r   class if icatio n .   T h is   m et h o d   e n h an c es  th e  class if icatio n   ac cu r ac y   r esu lts .   R u s tam   e t  a l.   [ 2 5   ]   u s ed   f ea tu r e  ex tr ac tio n   f r o m   C T   im a g es  as  d ata  to   class if y   lu n g   ca n c er .   Fu zz y   C - Me an s   an d   f u zz y   k er n el  C - Me an s   wer e  u s ed   to   class if y   th e  lu n g   n o d u le  f r o m   th e  p atien t  in to   b en ig n   o r   m alig n an t.   T h e  s co r e  s h o wed   f u zz y   k e r n el  C - Me an s   h ad   h ig h er   ac c u r ac y   th an   f u zz y   C - Me an s   ac cu r ac y .   Pan d ian   et  a l.   [ 2 6 ]   d ev elo p e d   an   alg o r ith m   t o   class if y   lu n g   ca n ce r   m ed ical   im ag es  as  n o r m al  an d   i n f ec te d .   T h e  f ea tu r es  ar e  ex tr ac ted   f r o m   C T   im ag es  o f   n o r m al  lu n g   an d   ca n ce r   af f ec t ed   lu n g s   wer e  tak en   i n to   th e  s tu d y .   T h e  a r tific ial   n eu r al  n etwo r k   is   u s ed   in   clas s if icatio n .   Hak im   et  a l.   [ 2 7 ]   c o m p ar ed   two   p o p u la r   f ea tu r e  s elec tio n   m o d els  to   en h an ce   th e  s u p p o r t v ec to r   m a ch in e  ( SVM )   ca n ce r   class if ica tio n .   T h ey   s h o wed   th at  th e  R elief F o u tp er f o r m e d   co m p ar ed   with   C FS   as  m icr o ar r ay   d ata  f ea t u r e_ s elec tio n   a p p r o ac h .   Kar ee m   et  a l.   [ 2 8 ]   d ev elo p e d   th e   C T   s ca n n in g   d ata  s et  u s in g   im ag i n g /co m p u ter   v is io n   al g o r ith m s   f o r   d iar y   o f   h ea lth y   a n d   tu m o r o u s   c h est  s ca n s ;  T h is   co m p r is es  th r ee   p r e p r o ce s s in g   s tep s :  i)   im p r o v em e n t  o f   im ag es,  ii)  s eg m en tatio n   o f   im ag es,  an d     iii)  s tr ateg ies   f o r   f ea tu r e  ex tr a ctio n .   I n   th e  last   s tag e,   a  s u p p o r t v ec to r   m ac h in e  ( SVM)   is   u tili ze d   to   ca teg o r ize  s lid e  in s tan ce s   as  o n e  o f   3   ty p es  ( n o r m al,   b en i g n ,   o r   m alig n an t)   b y   u s in g   class if icatio n   tech n o lo g y .   T h e  b est   ac cu r ac y ,   8 9 , 8 8 7 6   p er c e n t,  was  o b tain ed   wh en   ap p l y in g   th is   tech n iq u e  t o   th e  n ew  d ataset.   Selwal  an d     R ao o f   [ 2 9 ]   d ev el o p ed   a   MA T L AB - b ased   C NN  f o r   au to m at ed   d etec tio n   o f   ca n ce r o u s   ce r v ix   ce lls   wh er e  th e   tem p lates  s eg m en ted   th e  n u cleu s   o f   th e  ce lls .   T h e  s im u latio n   r esu lts   s h o w  th at   th e  p r o p o s ed   C NN  alg o r ith m   ca n   au to m atica lly   d etec t  th e  ce r v ix   ca n ce r   ce lls   with   m o r e  th an   8 8 %  ac cu r ac y .   R aju   e t  a l.   [ 3 0 ]   u s ed   h ig h   r eso lu tio n   co m p u ter   to m o g r a p h y   ( HR C T )   im ag es  with   m u lti - class if icatio n   to   class if y   1 7   in ter s titi al  lu n g   d is ea s es  with   co n v o lu tio n al  n eu r al  n etwo r k   ( C NN)   ar ch it ec tu r e  ca lled   Sm aller VGGN et.   I t  o b tain ed   9 5 %  av er ag ed   ac c u r ac y .   Ali  et  a l.   [3 1 ]   d ee p   n e u r al  n etwo r k s   wer e  u s ed ,   th at  is ,   th e  en h an ce r   D ee p   B elief   Netwo r k   ( DB N) ,   wh ich   is   co n s tr u cted   f r o m   two   R estricte d   B o ltzm an n   Ma ch in es   ( R B M) .   T h e  e n h an ce r   DB N  was  tr ain ed   b y   b ac k   p r o p a g atio n   n eu r al  n etwo r k   ( B PNN) .   I t  f o u n d   th at  L ASSO  with   L R   g iv es  th e  b est  ac cu r ac y   in   th eir   s tu d y   d ataset.   Ab d u ll ah   et  a l.   [ 3 2 ]   d ev elo p ed   a   M AT L AB - b ased   C NN  f o r   au t o m ated   d etec tio n   o f   ca n ce r o u s   c er v ix   ce lls   wh er e   t h e  tem p lates  s eg m e n ted   th e  n u cleu s   o f   th e   ce lls .   T h e   p r o p o s ed   C NN  alg o r ith m   d etec t ed   th e  ce r v ix   ca n ce r   ce lls   au to m atica lly   with   m o r e  th a n   8 8 % a cc u r ac y .     A  p r ev io u s   s tu d y   [ 3 3 ]   co m p a r es  m u ltip le  cu r r en t  m ac h in e  lear n in g   an d   f o u n d   th at  th e  XGBo o s t  is   th e  m o s t  ac cu r ate  s y s tem   in   b alan ce   an d   im b alan ce   d atasets .   T h is   s tu d y   tr ied   to   im p r o v e  th e  XGBo o s t  b y   u s in g   a  f ea tu r e  s elec tio n   to   u s e  o n ly   th e  g e n es  r esp o n s ib le  f o r   lu n g   ca n ce r   d is ea s e  in   th e  lear n in g   s tag e  an d   ap p lied   a  p ar allel  XGBo o s t  ( PXGB )   wi th   d if f er en t  h y p e r p ar am eter s   to   in cr ea s e  th e  s y s tem   v ar iety   an d   d ec r ea s e  th e  o v er f itti n g   a n d   u n d er f itti n g .   T h e  PXGB   s h o w ed   m o r e  ac cu r ate  p r ed ictio n   v alu es  f o r   d etec tin g   ca n ce r   an d   n o r m al  lu n g   s tat e,   esp ec ially   f o r   im b ala n ce d   d ata s ets.       2.   XG B O O ST   A L G O RI T H M   XGBo o s t  is   a  d ec is io n - tr ee - b ased   en s em b le  m ac h i n e  lear n i n g   alg o r ith m   d ev elo p ed   b y   T i an q i  C h en   an d   C ar lo s   Gu estrin .   T h ey   em p lo y   m ac h in e  lea r n in g   alg o r it h m s   u n d er   th e  g r ad ien t  b o o s tin g   f r am ewo r k .  T h ey   in tr o d u ce d   th eir   wo r k   at  th e  SI GKDD   co n f er en ce   in   2 0 1 6   [ 34 ] .     First,  let  u s   clar if y   th e   co n ce p t  o f   b o o s tin g .   I t  is   a n   e n s em b le  m eth o d   t h at  s ee k s   to   cr ea te   a  r o b u s t   class if ier   ( m o d el)   b ased   o n   " wea k "  class if ier s .   I n   th is   co n t ex t,  wea k   an d   r o b u s t  r ef er   to   h o w  co r r elate d   th e   lear n er s   ar e  to   th e  ac tu al  tar g e t  v ar iab le.   B y   ad d in g   m o d els  o n   to p   o f   ea c h   o th er   iter ativ el y ,   th e  er r o r s   o f   th e   p r ev io u s   m o d el  ar e  co r r ec ted   b y   th e  n ex t p r ed icto r ,   s eq u en ti ally   in   th e  tr ain in g   s tag e,   as it   ap p ea r ed   in   f ig u r e1   u n til  t h e  tr ain in g   d ata  is   ac cu r ately   p r ed icted   o r   r ep r o d u ce d   b y   th e  m o d el.   Fin ally ,   as  s ee n   in   F ig u r e  1 ,   it   p r o v id es  a  p ar allel  tr ee   b o o s tin g   f o r   th e  test in g   s tag e  th at  q u ick ly   an d   ac cu r ately   s o lv es  m an y   d ata  s cien ce   p r o b lem s .   I t  o f f er s   a   r an g e   o f   h y p er p ar am eter s   th at   g iv e  f in e - g r ain ed   co n tr o l  o v er   th e  m o d el   tr ain in g   p r o ce d u r e.   I t  wo r k ed   v e r y   well  with   th e  im b alan ce   d atab ase.   I t  h ad   m an y   f ea tu r es  s u itab le  f o r   lar g e  d ata b ases   lik e;  p ar alleliza tio n ,   d is tr ib u te d   co m p u tin g ,   o u t - of - co r e  c o m p u tin g   ( f o r   m a n ag in g   th e  la r g e  d ataset  with   th e   m em o r y ) ,   c ac h e  o p tim izatio n   ( to   th e  b est u s e  o f   h ar d war e)   [ 3 5 ] .     Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 5 0 2 - 4 7 5 2   I n d o n esian   J   E lec  E n g   &   C o m p   Sci,   Vo l.  24 ,   No .   3 ,  Dec em b er   2 0 2 1 :  1 6 1 0   -   1 6 1 7   1612   3.   L UNG   CANC E R   DA T AS E T S   T h e  d atasets   u s ed   i n   th is   s t u d y   ar e  m ic r o ar r a y   a n d   R N A - s eq u en ce   d atasets .   T h e  d a ta  g ath er ed   th r o u g h   m ic r o ar r a y s   r ep r esen ts   th e  g e n e  e x p r ess io n   p r o f iles ,   wh ich   s h o w   s im u ltan e o u s   ch an g es  in   th e   ex p r ess io n   o f   m an y   g en es  in   r esp o n s e  to   a  p ar ticu lar   co n d i tio n   o r   tr ea tm en t.   T h e y   r ep r e s en t  th e  m o lecu lar   lev el  s tates  o f   t h e  ce ll   [ 6 ] .   R N A - s eq u en ce   d atasets   u s ed   a   s eq u en cin g   tech n iq u e   ( n e x t - g e n er atio n   s eq u en cin g )   to   d is clo s e  th e  p r esen ce   an d   q u an tity   o f   R NA  in   a   b io lo g ical  s am p le  at  a  g iv en   m o m en t,  an aly zi n g   th e   co n tin u o u s ly   ch a n g in g   ce llu la r   tr an s cr ip to m e   [ 36 ] .  T h is   s tu d y   ap p lied   th e  p r o p o s ed   m o d el  o n   two   m icr o ar r a y   d atasets   an d   o n e  R NA - s eq u e n ce   d ataset  as  s h o wn   in   T ab le  1 .   All  d ataset s   wer e  d o wn lo ad ed   f r o m   th e  g e n e   ex p r ess io n   o m n ib u s   s ite  ( GE O ).           Fig u r e   1.   XGBo o s t   alg o r ith m   [ 3 3 ]       3 . 1 .     Da t a s et   info r m a t io n   E ac h   d ataset   u s ed   h as  a  d if f er en t  way   o f   ex tr ac tin g   th e  g en e  ex p r ess io n ,   th e  n u m b e r   o f   f ea tu r es  an d   th e  n u m b er   o f   ca s es.  T h e  f ir s t  is   ( G SE3 0 2 1 9 )   d ataset  r ep r esen tin g   th e  g en e  ex p r ess io n   b y   m icr o a r r ay   tech n o lo g y .   I t  h as  1 4   n o r m al  lu n g   s am p les  an d   2 9 3   lu n g   ca n ce r   s am p les  [ 37 ] .   T h e  s ec o n d   ( GSE7 4 7 0 6 )   d ataset  is   also   r ep r esen ted   b y   m icr o ar r ay   tech n o lo g y .   I t  e x p r ess es  d ata  o f   ea r ly - s tag e   NSC L C .   I t  h as  1 8   l u n g   ca n ce r   s am p les  a n d   1 8   n o r m a l  lu n g   s am p les.  T h e  last   d atas et  ( GSE8 1 0 8 9 )   [ 3 8 ]   h as  2 1 8   ca s es  ex p r ess ed   b y   R NA - s eq u en cin g ,   wh ich   is   c alled   n ex t - g e n er atio n   s eq u en c in g   [ 3 9 ] ;  R NA - Seq   allo ws  r e s ea r ch er s   to   d etec t   g en e  f u s io n s   v ar ian ts ,   b o t h   k n o wn   a n d   n o v el  f ea t u r es  a n d   o th e r   f ea tu r es  with o u t  th e  lim itatio n   o f   p r io r   k n o wled g e  [ 40 ] .   I t  h as 1 9 9   l u n g   ca n ce r   s am p les with   lu n g   ca n ce r   ty p e  NSC L C   an d   1 9   h ea l th y   lu n g   s am p les.         T ab le   1 .   Data s et' s   in f o r m atio n   D a t a s e t s   Ty p e   p a t i e n t s   F e a t u r e s   Th e   C l a ss   S a mp l e   d i st r i b u t i o n   C a n c e r   c a s e   N o r mal   c a se   G S E3 0 2 1 9   M i c r o a r r a y   3 0 7   5 4 6 7 5   C a n c e r / N o r m a l   2 9 3   14   G S E7 4 7 0 6   M i c r o a r r a y   36   3 4 1 8 2   C a n c e r / N o r m a l   18   18   G S E8 1 0 8 9   N e w   G e n e r a t i o n   S e q u e n c i n g   (NGS)   2 1 8   6 3 1 2 9   C a n c e r   / N o r mal   1 9 9   19       3 . 2 .     Da t a   prepro ce s s ing   Data   p r ep r o ce s s in g   in   m ac h i n e  lear n in g   is   a n   ess en tial  s tep   in   e n h an ci n g   d ata  q u ality   to   r aise   m ea n in g f u l  p er ce p tiv e n ess .   I t  r ef er s   to   clea n in g   a n d   o r g an iz in g   th e  r aw  d ata  to   m ak e  it  s u itab le  f o r   b u ild i n g   an d   tr ain in g   m ac h in e  lear n in g   m o d els.  I n   b io lo g ical  d at a,   it  is   cr u cial  to   clea n   th e  d ata  to   i m p r o v e  th e  q u ality   o f   th e  d ata  f o r   s ea r ch in g   an d   an aly zin g .   T o   d o   th at,   it  r u n s   a  p r o ce s s   to   d etec t  an d   r em o v e  co r r u p t  o r   in ac cu r ate  r ec o r d s   f r o m   th e   d a tab ase.   E ac h   r ec o r d   with   m is s in g   d ata  m u s t  b e  d elete d   b ec a u s e  it  is   r eg ar d ed   as  ir r elev an t  an d   ca u s e  in ap p r o p r iate  lear n in g   r esu lts .   T h e  XGBo o s t  clas s if icatio n   d ea ls   with   th e  n u m er ic   r ep r esen tatio n   in   th e  d ec is io n   class .   I n   co n tr ast,  th e  class es  in   th e  lu n g   ca n ce r   d atas ets  ar e  in   n o m i n al   r ep r esen tatio n ,   lik e  n o r m al /can c er .   T h e r ef o r e ,   it m u s t c h an g e  th em   to   n u m er ic  r e p r esen tatio n   ( 0 / 1 ) .         4.   T H E   P ARA L L E L _ XG B O O ST   ( P XG B )   T h er e  is   n o   way   to   teac h   o n e  m ac h in e   lear n in g   to   f it  all   k in d s   o f   in f o r m atio n .   I n   o u r   ca s e,   th e   XGBo o s t  s u cc ee d ed   in   lear n in g   o n   s o m e   d atasets   with   h ig h   ac cu r ac y   b u t  lo wer   in   o th er s .   T h at   is   b ec au s e  o f   its   f ir m   r elian ce   o n   its   h y p er p ar am eter   s ettin g .   T h is   s tu d y   d ev elo p ed   an   XGBo o s ts   s tr u ctu r e  to   ac c o m m o d ate   Evaluation Warning : The document was created with Spire.PDF for Python.
I n d o n esian   J   E lec  E n g   &   C o m p   Sci     I SS N:  2502 - 4 7 5 2       P a r a llel e xtreme  g r a d ien t b o o s tin g   cla s s ifier   fo r   lu n g   ca n ce r   d etec tio n   ( R a n a   D h ia ’ a   A b d u a lja b a r )   1613   d if f er en t   ty p es  o f   d atasets   b y   co n n ec tin g   m u ltip le   n u m b er s   o f   XGBo o s ts   o n   p ar allel  with   v ar io u s   v alu es  o f   h y p er p ar am eter s .   T h en   it  tak es  th e  m ax im u m   p r o b a b ilit y   f o r   its   p r ed ictio n ,   as  s h o wn   in   Fig u r e  2 .   All  th e   XGb o o s ts   ar e  wo r k in g   in   p ar allel  n o t  to   ca u s e  a   d elay   in   l ea r n in g   tim e.   As  s ee n   i n   Fig u r e  2 ,   th e   p r o p o s ed   m eth o d o l o g y   h as th r ee   s tag es:   i)   Featu r e  s elec tio n   s tag e :   T h e  b en ef it  o f   u s in g   XGBo o s t  in   f ea tu r e  s elec tio n   is   th at  af ter   th e  b o o s ted   tr ee s   ar e  c o n s tr u cted ,   th ey   will  r etr i ev e  th e  im p o r tan ce   s co r es  f o r   ea ch   f ea tu r e .   T h e  im p o r tan ce   s co r e  r ef er s   to   h o w  u s ef u l  o r   v alu a b le  ea ch   f ea tu r e  was  in   co n s tr u ctin g   th e  m o d el  b o o s ted   d ec is io n   t r ee s .   T h e  m o r e  f ea tu r e  is   u s ed ,   th e  h ig h er   its   im p o r tan ce   s co r e.   T h is   im p o r tan ce   is   co m p u ted   f o r   ev er y   f ea tu r e  in   th e   d ataset,   allo win g   th e  r an k in g   a n d   co m p ar is o n   b etwe en   th em .   T h e  im p o r tan ce   o f   e v er y   d ec is io n   tr ee   is   esti m ated   b y   ca lcu latin g   th e  n u m b er   o f   o b s er v atio n s   r esp o n s ib le  f o r   ea ch   f ea tu r e  s p lit  an d   in cr ea s in g   t h e  m e asu r em en t  o f   p er f o r m an ce .   I n   e v e r y   d ec is io n   tr ee   in   th e  m o d el,   th e  attr ib u te  im p o r ts   ar e  th en   av er a g ed   [ 2 3 ] .   I n   th is   p ap er ,   th e  im p o r tan ce   s co r e  th r esh o ld   s ettin g   was  ( 1 0 - 6 ) .   E ac h   attr ib u te  less   th an   th is   th r esh o ld   w ill  b e  n eg lecte d .   T h e  f ea tu r es   o f   GSE3 0 2 1 9 ,   GSE7 4 7 0 6 ,   an d   GSE8 1 0 8 9   d a tasets   wer e  ( 5 4 6 7 5 ) ,   ( 3 4 1 8 2 )   a n d   ( 6 3 1 2 9 ) ,   r esp ec tiv ely ,   b u t   af ter   th e  f ea tu r e  s elec tio n   s tag e ,   it b ec o m es ( 2 0 ) ,   ( 1 )   an d   ( 8 )   f ea tu r es.             Fig u r e   2.   T h e   p r o p o s al   lear n i n g   m o d el   ( PXGB )       ii)   Par allel  XGBo o s t  s tag e :   Af ter   th e  f ea tu r e   s elec tio n   s tag e,   th e  d ata   will  b e  s u b s et  to   7 0 %  f o r   tr ai n in g   an d   3 0 %  f o r   test in g ,   th e n   en ter ed   in to   ea ch   XGBo o s t  s im u ltan eo u s ly .   I n   o u r   ca s e,   it  n ee d s   to   u s e  d if f er en t   ty p es  o f   b io _ d ataset.   T h is   d at aset  is   u s u ally   n o is y ,   s o   it  n ee d s   th e  m o d el  to   tu n e  its   h y p er p ar am eter s   ea ch   tim e  to   av o id   o v er f itti n g   o r   u n d er f itti n g   t o   h an d le  a  wid e  r an g e  o f   d atasets .   Fo r   th at  r ea s o n ,   I t  u s ed   m u lti  XGBo o s t  m o d els  co n n ec ted   i n   p ar allel.   E ac h   XGBo o s t  h a s   its   h y p er p ar am eter s   s ettin g   d if f er e n t  f r o m   ea ch   o th er .  T h is   s tu d y   will  ta k e  s ix   s ets  o f   XGBo o s t  h y p er p ar am eter s   f r o m   th e  m o s t  co m m o n   r an g e  t h at   co n s id er   th e   X GB o o s t  m o d el   o f ten   wo r k s   well  in   th em .   T h e  h y p er p ar a m eter s   r an g es  ar e;   th e  s u b s am p le  [ 0 . 5   - 1 ] ,   t h e  Ma x _ d ep t h   [ 2 - 7 ] ,   th e  lea r n in g   r ate   [ 0 . 0 5 - 0 . 3 ] ,   t h e  n _ esti m ato r s   ( n o .   o f   tr ee s )   [ 5 - 5 0 ] ,   an d   th e   last   is   th e  m in _ ch ild   weig h t  f r o m   [ 1 - 6 ] .   T h eir   a r r an g em en t  d ep en d s   o n   t h e  m o s t  v alu es  th at  d o   n o t  ca u s e  o v er f itti n g   b u t  m ay   s o m etim es  ca u s e  an   u n d er f itti n g   ( lev el  o n e) ,   to   th e   m o r e   v alu es  th at  m ay   ca u s e  o v er f itti n g   b u t   less   lik ely   ca u s in g   u n d er f itti n g   ( lev el   s ix ) ,   s ee   T ab le  2 .   T h e   en d   o f   th is   s t ag e  will  h a v e  a  p r o b a b ilit y   p r ed ictio n   f o r   b o t h   class es   in   ea ch   lev el .   iii)   Selectio n   s tag e:   At  th i s   s tag e ,   it  will  tak e  th e  m ax im u m   p r o b ab ilit y   v alu e  o f   all  XGBo o s t  lev els .   T h e   r esu lt is   th at  th e  class   with   m a x im u m   p r o b a b ilit y   is   ch o s en   a s   th e  f in al  class   p r ed ictio n .       T ab le   2.   T h e   s ettin g   of   ea c h   X GB o o s t   h y p er p ar am ete r s   in   th e   PXGB   X G B o o st   s e q u e n c e     in   t h e   p a r a l l e l   st a g e     X G B o o st   h y p e r p a r a me t e r s   su b s a m b l e   M a x _ d e p t h   Le a r n i n g   r a t e   n _ e st i ma t o r s   mi n _ c h i l d _ w e i g h t   F i r st   l e v e l   0 . 5   2   0 . 3   5   6   S e c o n d   l e v e l   0 . 6   3   0 . 2 5   10   5   Th i r d   l e v e l   0 . 7   4   0 . 2   20   4   F o u r t h   l e v e l   0 . 8   5   0 . 1 5   30   3   F i f t h   l e v e l   0 . 9   6   0 . 1   40   2   S i x t h   l e v e l   1   7   0 . 0 5   50   1   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 5 0 2 - 4 7 5 2   I n d o n esian   J   E lec  E n g   &   C o m p   Sci,   Vo l.  24 ,   No .   3 ,  Dec em b er   2 0 2 1 :  1 6 1 0   -   1 6 1 7   1614   5.   T H E   R E SU L T S   AND   D I SC USSI O N   T o   s t at e   t h e   f i n d i n g s   o f   t h e  r e s e a r c h ,   i t  a r r a n g e d   t h e  r e s u lt s   i n   a   l o g i ca l   s e q u e n c e .   A t   f i r s t,   it   c o m p a r e d   t h e   r e s u l t   o f   t h e   P X GB   m o d e l   w i t h   t h e   o r i g i n a l   X GB o o s t   [ 3 5 ]   t o   r e p r e s e n t   i t s   i m p r o v e m e n t .   I t   t h e n   c o m p a r e d   i t s   r e s u l t   w i t h   r e p r es e n t a ti v e   m a c h i n e   l e a r n i n g s   t o   g i v e   t h e   w h o l e   p e r f o r m a n c e   s t a t e   o f   t h e   p r o p o s a l .     5 . 1 .     XG B o o s t   hy perpa ra m et er s   s et t ing   T h e  PXGB   s et s  s ev en   co m m o n   h y p e r p ar am eter s   f o r   ea ch   X GB o o s t   clas s if icatio n   m o d el,   as  illu s tr ated   in   T ab le  2 .   T h ese  h y p er p ar a m eter s   ar e  ch o s en   d ep en d in g   o n   th eir   ar r a n g em en t  f r o m   m o s t  h y p er p ar a m eter s   th at  m ay   ca u s e  th e  o v er f itti n g   s itu atio n   to   th e  m o s t  p ar am eter s   th at  m ay   ca u s e  th e  u n d er f i ttin g   s itu atio n .   T h e  s ettin g   o f   th e  o r ig in al  XGBo o s t  an d   SVM   [4 1 ] ,  d ee p   f o r e s t  ( g cf o r est )   [ 4 2 ] ,   k - n ea r est  n eig h b o r s   alg o r ith m   ( KNN) ,   an d   n aiv e   B ay es,  wh i ch   ar e   th e  m ac h in e  lea r n in g s   th at  u s ed   in   th is   s tu d y ,   h a v e  a  p ar ticu lar   s ettin g   illu s tr ated   in   T ab le  3 .       T ab le   3.   Par am eter s   s ettin g   of   r ep r esen tativ e   m o d els   X G B o o st   S V M   g c F o r e st   K N N   N a i v e   B a y e s   P a r a me t e r   v a l u e   P a r a me t e r s   v a l u e   P a r a me t e r   v a l u e   P a r a me t e r   v a l u e   P a r a me t e r   v a l u e   max _ d e p t h   6   k e r n e l   RBF   max _ d e p t h   6   n _ n e i g h b o r   2   v a r _ smo o t h i n g   1e - 9   n _ e st i ma t o r s   ( Tr e e s)   2   g a mm a   1   n o .   o f   t r e e s  i n   e a c h   f o r e st   st a g e s=   5 0 0   5 0 0   w e i g h t s   u n i f o r m   samp l e _ w e i g h t   N o n e   Le a r n i n g   r a t e   0 . 3   t o l e r a n c e   0 . 0 0 1   W i n d .   si z e   5 0 0   a l g o r i t h m   a u t o       mi n _ c h i l d _ w e i g h t   1   C   1   S t e p   1 0 0   l e a f _ si z e   1       S u b s a m p l e   0 . 7       M i n _ sam p l e s_ s p l i t   0 . 7               5 . 2 .     Co m pa riso n o f   diff er en t   cla s s if iers   Dif f er en t  r esu lts   wer e  o b tain e d   af ter   ap p ly i n g   th e  PXGB   m o d el  an d   o t h er   m ac h in e  lear n i n g   m o d els  to   th e  lu n g   ca n ce r   d atasets .   T ab les  4   illu s tr ate  ea ch   m o d el' s   s en s itiv ity ,   s p ec if icity ,   p r ec is io n ,   F1 _ s co r e,   ar ea   u n d er   cu r v e  ( AUC ) ,   ac cu r ac y ,   an d   lear n i n g   tim e  m etr ics.   Fu r th er m o r e ,   F ig u r es  3 ,   4 ,   an d   5   s h o w  th e   r ec ei v er   o p er atin g   c h ar ac ter is tic   ( R OC )   d r awin g s   an d   th e  AUC   v alu e s   o f   ea ch   m ac h in e  lear n in g   m o d el.       T ab le   4 .  C o m p a r is o n   r esu lts   of   lu n g   ca n ce r   d etec tio n   f o r   all  d ataset   G S E8 1 0 8 9   d a t a se t   C l a s si f i e r   N a m e   S e n s i t i v i t y   S p e c i f i c i t y   P r e c i s i o n   F 1 _ s c o r e   AUC   A c c u r a c y   Ti me   ( mi n . )   P X G B S   1 . 0   1 . 0   1 . 0   1 . 0   1 . 0   1 . 0   0 0 : 0 3   X G B o o st   1 . 0   1 . 0   1 . 0   1 . 0   1 . 0   1 . 0   0 0 : 0 4   S V M   0 . 2   0 . 8 3   0 . 5   0 . 2 9   0 . 5 2   0 . 5 5   0 0 : 0 1   g c F o r e st   1 . 0   0   0 . 4 5   0 . 6 3   0 . 5 0   0 . 4 5   0 0 : 3 6   K N N   0 . 8   1 . 0   1 . 0   0 . 8 9   0 . 9 0   0 . 9 1   0 0 : 0 1   N a i v e   B a y e s   0 . 6   0 . 6 7   0 . 6   0 . 6   0 . 6 3   0 . 6 4   0 0 : 0 1   C l a s si f i e r   N a m e   S e n s i t i v i t y   S p e c i f i c i t y   P r e c i s i o n   F 1 _ s c o r e   AUC   A c c u r a c y   Ti me   ( mi n . )   P X G B S   1 . 0   1 . 0   1 . 0   1 . 0   1 . 0   1 . 0   0 0 : 1 3   X G B o o st   1 . 0   0 . 9 5   1 . 0   0 . 9 9   0 . 9 9   0 . 9 8   0 0 : 2 4   S V M   1 . 0   0 . 5   0 . 9 5   0 . 9 8   0 . 7 5   0 . 9 5   0 0 : 0 5   g c F o r e st   0 . 9 8   0 . 8 3   0 . 9 8   0 . 9 8   0 . 9 1   0 . 9 7   0 3 : 3 7   K N N   0 . 9 5   0 . 5   0 . 9 5   0 . 9 5   0 . 7 2   0 . 9 1   0 0 : 2 9   N a i v e   B a y e s   1 . 0   0 . 1 7   0 . 9 2   0 . 9 6   0 . 5 8   0 . 9 2   0 0 : 0 2   G S E7 4 7 0 6   d a t a se t                 C l a s si f i e r   N a m e   S e n s i t i v i t y   S p e c i f i c i t y   P r e c i s i o n   F 1 _ s c o r e   AUC   A c c u r a c y   Ti me   ( mi n . )   P X G B S   1 . 0   1 . 0   1 . 0   1 . 0   1 . 0   1 . 0   0 0 : 1 3   X G B o o st   0 . 9 9   1 . 0   0 . 9 9   1 . 0   0 . 9 9   0 . 9 9   0 0 : 1 7   S V M   1 . 0   0   0 . 9 6   0 . 9 8   0 . 5   0 . 9 6   0 0 : 0 7   g c F o r e st   0 . 9 8   0 . 7 5   0 . 9 8   0 . 9 8   0 . 8 7   0 . 9 7   0 3 : 2 6   K N N   0 . 9 8   1 . 0   1 . 0   0 . 9 9   0 . 9 9   0 . 9 9   0 0 : 1 2   N a i v e   B a y e s   0 . 9 9   1 . 0   1 . 0   0 . 9 9   0 . 9 9   0 . 9 9   0 0 : 0 2       5 . 3 .    Ana ly zing   m et rics   Fro m   T ab le   4 ,   it  is   s ee n   th at   a ll  PXGB   m etr ics  h av e  ex ce lle n t  v alu es  wh e n   a p p lied   to   all  d atasets .   I t  s u cc ee d ed   in   d etec tin g   all  ca s es  ( ca n ce r   an d   n o r m al  ca s es)  in   all  d atasets .   I n   co n tr ast,  XGBo o s t  s u cc es s f u lly   p r ed icts   all  ca s es  o n ly   in   GSE 8 1 0 8 9   d ataset  b ec au s e  it  h as  o n ly   o n e  s et  o f   h y p er p ar am et er s ,   wh ile  XGBo o s t   h as  a  r an g e  o f   h y p er p ar am et er s   th at  let  it  b u ild   m u ltip le  XGBo o s t  s tr u ctu r es  in   th e  tr ain in g   s tag e.   PXGB   g iv es  th e  f lex ib ilit y   to   d ea l  wi th   d if f er e n t  d atasets   an d   allo w s   all  th e  XGBo o s t  s tr u ctu r es  t o   co n tr ib u te  to   th e   class   d etec tio n   in   t h e  test   s tag e  an d   th en   ch o o s e  th e   b est  p r e d ictio n   b y   s elec tin g   th e  class   with   th e  m a x im u m   p r ed ictio n   v alu e.   Evaluation Warning : The document was created with Spire.PDF for Python.
I n d o n esian   J   E lec  E n g   &   C o m p   Sci     I SS N:  2502 - 4 7 5 2       P a r a llel e xtreme  g r a d ien t b o o s tin g   cla s s ifier   fo r   lu n g   ca n ce r   d etec tio n   ( R a n a   D h ia ’ a   A b d u a lja b a r )   1615   T h e  PXGB   im p r o v ed   th e  p er f o r m an ce   o f   th e   XGBo o s t.  I t  h as  b ec o m e   m o r e  p o wer f u l  a n d   r eliab le   f o r   a  v ar ian t  ty p e  o f   d ataset  with o u t  ch an g in g   its   h y p er p ar a m eter s .   Alth o u g h   th e  n ai v e  B ay es  h as  th e  s h o r test   lear n in g   tim e   in   m o s t  d atasets ,   th e  PXGB   h as  an   ac ce p ted   l ea r n in g   tim e  r an g in g   f r o m   3   t o   1 3   s ec o n d s .   I t  is   ev en   s h o r ter   th an   th e  o r ig i n al  XGBo o s t  r an g in g   f r o m   4   to   2 3   s ec o n d s   b ec au s e  o f   t h e  s elec tio n   f ea tu r e   p r o ce s s ,   an d   th e   m u ltip le  XG B o o s t a r e  wo r k ed   in   p ar allel,   d ec r ea s in g   th e  s y s tem   o v er h ea d .             Fig u r e  3 .   T h e  R OC   cu r v es a n d   AUC v alu es f o r   all  co m p ar ativ e  m o d els o n   GSE8 1 0 8 9   d ataset     Fig u r e  4 .   T h e  R OC   cu r v es a n d   AUC v alu es f o r   all  co m p ar ativ e  m o d els o n   GSE3 0 2 1 9   d ataset           Fig u r e  5 .   T h e  R OC   cu r v es a n d   AUC v alu es f o r   all  co m p a r ativ e  m o d els o n   GSE7 4 7 0 6   d atas et       6.   CO NCLU SI O N   T h is   s tu d y   p r o p o s ed   a  lu n g   c an ce r   d etec tio n   s y s tem   with   m u lti - s tag es  to   r ea ch   o p tim al   r esu lts .   I t  u s es  th e  XGBo o s t  as  a  f ea tu r e   s elec tio n   to   ch o o s e  o n l y   ac tiv e  g en es  t h at  h a v e  an   ess en tial  r o le  in   lu n g   ca n ce r   d is ea s e  an d   s u g g ested   a  f lex ib le  m ac h in e  lear n in g   b y   u s in g   m u ltip le  XGBo o s t  class if icatio n s   to   r u n   in   p ar allel .   E ac h   XGBo o s t  in   p ar allel  s ta g e  h as  d if f er en t  s ets  o f   h y p er p ar am eter s ,   r an g in g   f r o m   th e  m o s t  v alu es  th at  m ay   lead   to   o v er f itti n g   to   th e  p ar am eter s '   v alu es  th at  m ig h t  ca u s e  th e  u n d er f itti n g .   T h at  led   to   o b tain in g   v ar io u s   tr ee   b u il d in g s ,   wh ic h   g iv es  th e  PXGB   f lex ib ilit y   a n d   r eliab ilit y ;   wh e n   a p p lied   t o   d if f er en t   d atasets .   Mo r eo v er ,   u s in g   f ea tu r e  s elec tio n   im p r o v e d   th e  d etec tio n   a cc u r ac y ;  it  also   s p ed   u p   th e  lear n in g   tim e.   T h e   r esu lts   s h o wed   th at  th e  PXGB   m o d el ,   th e  p r o p o s ed   m o d el,   i m p r o v e d   lu n g   ca n ce r   d etec tio n   p er f o r m an ce .   T h is   im p r o v em e n t  is   b etter   th an   th e  o r ig in al  XGBo o s t  an d   o th er   co m p ar ativ e  m ac h in e  lear n in g ,   esp ec ially   f o r   im b alan ce d   d atasets   an d   with i n   an   ac ce p ta b le  tim e .           Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 5 0 2 - 4 7 5 2   I n d o n esian   J   E lec  E n g   &   C o m p   Sci,   Vo l.  24 ,   No .   3 ,  Dec em b er   2 0 2 1 :  1 6 1 0   -   1 6 1 7   1616   RE F E R E NC E S     [1 ]   Wo rld   He a lt h   Or g a n iza ti o n ,   Ca n c e r,   2 0 2 1 .   [O n li n e ].   Av a il a b le:  h tt p s:/ /www . wh o . in t /n e ws - ro o m /fac t - sh e e ts/d e tail/ c a n c e r .     [ 2 ]   R .   P a r k ,   J .   W .   S h a w ,   A .   K o r n ,   a n d   J .   M c A u l i f f e ,   " T h e   v a l u e   of   im m u n o t h e r a p y   f o r   s u r v i v o r s   of   s t a g e   IV   non - s m a l l   c e l l   l u n g   c a n c e r :   p a t i e n t   p e r s p e c t i v e s   on   q u a l i t y   of   l i f e , "   J .   C a n c e r   S u r v i v ,   v o l . 1 4 ,   n o .   3,   pp.   3 6 3 - 3 7 6 ,   2 0 2 0 ,   d o i :   1 0 . 1 0 0 7 / s 1 1 7 6 4 - 020 - 0 0 8 5 3 - 3.     [3 ]   Y.   Wan g   e t  a l . ,   "A   n o v e l   4 - g e n e   sig n a tu re   f o r   o v e ra ll   su r v iv a l   p re d ictio n   in   l u n g   a d e n o c a rc in o m a   p a ti e n ts   with   ly m p h   n o d e   m e tas tas is   Ca n c e r, "   Ce ll   In t. ,   v o l   19,   n o .   1 0 0 ,   2 0 1 9 ,   d o i:   1 0 . 1 1 8 6 /s 1 2 9 3 5 - 0 1 9 - 0 8 2 2 - 1 .    [4 ]   E.   F .   Nu wa y sir,   M .   Bit t n e r,   J.   Tr e n t,   J.   C.   Ba rre tt ,   a n d   C.   A .   Afs h a ri ,   “ M icro a rra y s   a n d   to x ico l o g y :   th e   a d v e n t   of   to x ic o g e n o m ics , ”   M o lec u l a r   C a rc in o g e n e sis ,   v o l.   24 ,   n o .   3,   pp.   1 5 3 - 1 5 9 ,   1 9 9 9 ,   d o i:   1 0 . 1 0 0 2 /(sici) 1 0 9 8 - 2 7 4 4 ( 1 9 9 9 0 3 ) 2 4 : 3 % 3 C1 5 3 :: a i d - m c 1 % 3 E 3 . 0 . c o ;2 - p.     [5 ]   Y .   Ya n g ,   E .   A .   G .   Blo m m e ,   a n d   J .   F .   Warin g ,   " To x ico g e n o m ic s   in   d ru g   d isc o v e r:   F r o m   p re c li n ica l   stu d ies   to   c li n ica l   tri a ls , "   C h e m.   Bi o l.   I n ter a c t ,   v o l.   1 5 0 ,   no.   1,   p p .   71 - 8 5 ,   2 0 0 4 ,   d o i:   1 0 . 1 0 1 6 /j . c b i. 2 0 0 4 . 0 9 . 0 1 3 .     [6 ]   H .   A .   Ru e d a - Zára te,  I .   Im a z - Ro s sh a n d ler,  R .   A .   Cá rd e n a s - Ov a n d o ,   J .   E .   Ca stil l o - F e rn á n d e z ,   J .   N o g u e z - M o n r o y ,   a n d   C .   Ra n g e l - Esc a re ñ o ,   "A   c o m p u tati o n a l   t o x ic o g e n o m ics   a p p r o a c h   id e n t ifi e s   a   li st   of   h i g h ly   h e p a to t o x ic   c o m p o u n d s   fr o m   a   larg e   m icro a rr a y   d a tab a se , "   Pl o s   On e ,   v o l.   12,   n o .   4,   2 0 1 7 ,   d o i:   1 0 . 1 3 7 1 / jo u rn a l. p o n e . 0 1 7 6 2 8 4 .     [7 ]   R .   Al - A n n i,   J .   Ho u ,   R .   D .   Ab d u - Aljab a r ,   a n d   Y .   Xia n g ,   " P re d ict io n   of   NSCL C   re c u rre n c e   fro m   m icro a rra y   d a ta   with   G EP , "   IE T   sy ste ms   b io l o g y ,   v o l.   1 1 ,   no.   3,   p p .   77 - 78.   2 0 1 7 ,   d o i:   1 0 . 1 0 4 9 /i e t - sy b . 2 0 1 6 . 0 0 3 3 .     [8 ]   R.   Al - A n n i,   J.   H o u ,   H.   Az z a wi   a n d   Y.   Xia n g ,   " Ca n c e r   a d j u v a n t   c h e m o th e ra p y   p re d icti o n   m o d e l   fo r   non - sm a ll   c e ll   lu n g   c a n c e r" ,   IE T   sy ste ms   b io l o g y ,  v o l.   13,   n o .   3,   p p .   1 2 9 - 1 3 5 ,   2 0 1 9 ,   d o i:   1 0 . 1 0 4 9 / iet - sy b . 2 0 1 8 . 5 0 6 0 .     [9 ]   R.   Al - A n n i ,   J.   Ho u ,   H.   Az z a wi ,   a n d   Y.   Xia n g ,   “ Risk   c las sifica t io n   f o r   NSCL C   s u rv i v a l   u si n g   m icro a rra y   a n d   c li n ica l   d a ta,”   In ter n a ti o n a l  J o u r n a l  o f  A d v a n c e s in   El e c tro n ics   a n d   Co m p u ter   S c ie n c e ,   v o l.   6 ,   n o .   3 ,   2 0 1 9 .     [1 0 ]   R.   Al - An n i ,   J.   Ho u ,   H.   Az z a wi   a n d   Y.   Xia n g ,   "A   n o v e l   g e n e   se lec ti o n   a lg o rit h m   fo r   c a n c e r   c las sifica ti o n   u sin g   m icro a rra y   d a tas e ts, ”   BM C   M e d .   Ge n o mic s ,   v o l.   12,   n o .   10,   2 0 1 8 ,   d o i:   1 0 . 1 1 8 6 /s1 2 9 2 0 - 0 1 8 - 0 4 4 7 - 6.     [1 1 ]   R.   Al - An n i,   J.   Ho u ,   H.   Az z a wi   a n d   Y.   Xia n g ,   " D eep   g e n e   se l e c ti o n   m e th o d   to   se lec t   g e n e s   f ro m   m icro a rra y   d a tas e ts   fo r   c a n c e r   c las sifica ti o n , "   BM C - i n fo rm a ti c s ,   v o l.   2 0 ,   n o .   6 0 8 ,   2 0 1 8 ,   d o i:   1 0 . 1 1 8 6 /s 1 2 8 5 9 - 0 1 9 - 3 1 6 1 - 2.     [1 2 ]   R.   Al - An n i ,   J.   H o u ,   H.   Az z a wi   a n d   Y.   Xia n g ,   “ Ne w  G e n e   S e lec ti o n   M e th o d   Us i n g   G e n e   Ex p re ss i o n   P ro g ra m in g   Ap p ro a c h   on   M icro a rra y   Da ta   S e ts , ”   In t.   Co n f.   on   Co mp .   a n d   I n fo .   S c ien c e   4 th ,   v o l.   7 9 1 ,   p p .   1 7 - 3 1 ,   2 0 1 9 ,   d o i:   1 0 . 1 0 0 7 / 9 7 8 - 3 - 3 1 9 - 9 8 6 9 3 - 7 _ 2 .     [1 3 ]   H.   Az z a wi,   J.   Ho u ,   Y.   Xia n g   a n d   R.   Ala n n i ,   " Lu n g   c a n c e r   p re d i c ti o n   fr o m   m icro a rra y   d a ta   by   g e n e   e x p re ss io n   p ro g ra m m in g , "   IET   S y st.   Bi o l .,   v o l.   1 0 ,   no.   5,   p p .   1 6 8 - 1 7 8 ,   2 0 1 6 ,   d o i:   1 0 . 1 0 4 9 /i e t - sy b . 2 0 1 5 . 0 0 8 2 .     [1 4 ]   H.   Az z a wi,   J.   Ho u ,   Y.   Xia n g ,   R.   Ala n n i,   R.   Ab d u - a lj a b a r   a n d   A.   Az z a wi,   “ M u lt icla ss   lu n g   c a n c e r   d iag n o sis   by   g e n e   e x p re ss io n   p r o g ra m m in g   a n d   m icro a rra y   d a tas e ts,”   1 3 t h   In t.   Co n f.   on   A d v a n c e d   Da t a   M i n in g   a n d   Ap p li c a ti o n s ,   v o l .   3 8 ,   2 0 1 7 ,   pp   5 4 1 - 5 5 3 ,   d o i:   1 0 . 1 0 0 7 / 9 7 8 - 3 - 3 1 9 - 6 9 1 7 9 - 4 _ 3 8 .     [1 5 ]   H.  Az z a wi,   J.  H o u ,   R.   Al n n n i,   a n d   Y.  Xia n g ,   “ S BC:   A  Ne w  S tr a teg y   f o r  M u l ti c las s  Lu n g   Ca n c e r  Clas sifica ti o n   Ba se d   o n   Tu m o u r  S tru c t u ra l  In fo r m a ti o n   a n d   M icr o a rra y   Da ta,”  2 0 1 8   IEE E/ A CIS   1 7 t h   In ter n a ti o n a l  Co n fer e n c e   o n   Co mp u ter   a n d   In fo rm a t io n   S c ien c e   (ICIS ) ,   2 0 1 8 ,   p p .   6 8 - 7 3 ,   d o i:   1 0 . 1 1 0 9 /ICIS . 2 0 1 8 . 8 4 6 6 4 4 8 .    [1 6 ]   H.   Az z a wi,   J.   Ho u ,   R.   Ala n n i,   a n d   Y.   Xia n ,   “ A   h y b rid   n e u ra l   n e two rk   a p p ro a c h   f o r   l u n g   c a n c e r   c las sifica ti o n   wit h   g e n e   e x p re ss io n   d a tas e t   a n d   p ri o r   b io l o g ica l   k n o wle d g e ,”   In t.   Co n f .   on   M a c h in e   L e a rn i n g   fo r   Ne two rk in g ,   pp.   2 7 9 - 293 ,  2 0 1 9 ,   d o i:   1 0 . 1 0 0 7 / 9 7 8 - 3 - 0 3 0 - 1 9 9 4 5 - 6 _ 2 0 .     [1 7 ]   H.  Hu ,   Q.  G u a n ,   S .   Ch e n ,   Z.   Ji  a n d   Y.  Li n ,   “ De tec ti o n   a n d   Re c o g n it io n   fo r  Li fe   S tate   o f  Ce ll   Ca n c e r  Us in g   Two - S tag e   Ca sc a d e   CNN s,”   in   IEE E/ ACM   T r a n s a c ti o n s  o n   C o mp u ta t i o n a l  Bi o l o g y   a n d   B io i n fo rm a ti c s ,   v o l.   1 7 ,   n o .   3 ,   p p .   8 8 7 - 8 9 8 ,   1   M a y - J u n e   2 0 2 0 ,   d o i:   1 0 . 1 1 0 9 / TCBB. 2 0 1 7 . 2 7 8 0 8 4 2 .     [1 8 ]   M .   Š a rić,  M .   Ru ss o ,   M .   S tella,  a n d   M .   S i k o ra ,   “ CNN - b a se d   M e t h o d   fo r  Lu n g   Ca n c e r  De tec ti o n   i n   Wh o le  S l id e   Histo p a th o lo g y   Im a g e s,”   2 0 1 9   4 th   In ter n a ti o n a l  Co n fer e n c e   o n   S ma rt  a n d   S u st a i n a b le  T e c h n o lo g ies   (S p l iT e c h ) ,  2 0 1 9 ,   p p .   1 - 4 ,   d o i:   1 0 . 2 3 9 1 9 /S p li Tec h . 2 0 1 9 . 8 7 8 3 0 4 1 .     [1 9 ]   S .   L i  e t   a l . ,   " P re d ictin g   l u n g   n o d u le   m a li g n a n c ies   by   c o m b in i n g   d e e p   c o n v o lu t io n a l   n e u ra l   n e two r k   a n d   h a n d c ra fted   fe a tu re s   P h y sic s   in   M e d ici n e   &   Bio lo g y , "   P h y sic s  in   M e d icin e   a n d   B io l o g y ,   v o l .   64   n o .   17,   2 0 1 9 ,   d o i :   1 0 . 1 0 8 8 / 1 3 6 1 - 6 5 6 0 /ab 3 2 6 a .     [2 0 ]   R.   P a tra,   “ P re d icti o n   of   L u n g   Ca n c e r   Us in g   M a c h i n e   Lea rn i n g   Clas sifier, ”   I n t.   C o n f.   on   Co mp u ti n g   S c ien c e ,   Co mm u n ica ti o n   a n d   S e c u rity   Co mp u t in g   S c ien c e ,   Co mm u n ic a ti o n   a n d   S e c u rity ,   p p .   1 3 2 - 1 4 2 ,   2 0 2 0 ,   d o i :  1 0 . 1 0 0 7 / 9 7 8 - 9 8 1 - 15 - 6 6 4 8 - 6 _ 1 1 .   [2 1 ]   Y . - H .   Lai,   W . - N .   Ch e n ,   T . - C .   Hs u ,   C .   Li n ,   Y .   Tsa o ,   a n d   S .   Wu ,   " Ov e ra ll   su rv iv a l   p re d ictio n   of   n o n - sm a ll   c e ll   lu n g   c a n c e r   by   in te g ra ti n g   m icro a rra y   a n d   c li n ica l   d a ta   with   d e e p   lea rn i n g , "   S c ien ti fi c   Rep o rts ,   v o l.   1 0 ,   n o .   4 6 7 9 ,   2 0 2 0 ,   d o i:   1 0 . 1 0 3 8 /s4 1 5 9 8 - 0 2 0 - 6 1 5 8 8 - w.   [2 2 ]   M.   M.   A.   P ri y a   a n d   S.   J.   Ja wh a r,   " Ad v a n c e d   lu n g   c a n c e r   c las sifica ti o n   a p p r o a c h   a d o p ti n g   m o d ifi e d   g ra p h   c lu ste ri n g   a n d   wh a le   o p ti m isa ti o n - b a se d   fe a tu re   se lec ti o n   tec h n iq u e   a c c o m p a n ied   by   a   h y b rid   e n se m b le   c las sifier , "   IET   Im a g e   Pro c e ss in g ,   v o l .   1 4 ,   n o .   1 0 ,   p p .   2 2 0 4 - 2 2 1 5 ,   2 0 2 0 ,   d o i:   1 0 . 1 0 4 9 / iet - ip r. 2 0 1 9 . 0 1 7 8 .     [2 3 ]   A .   Og u n le y e   a n d   Q. - G .   Wan g ,   " XG Bo o st  M o d e l  fo r  Ch ro n i c   Kid n e y   Dise a se   Dia g n o sis,"   in   IEE E/ AC M   T ra n sa c ti o n s  o n   Co m p u t a ti o n a l  Bi o lo g y   a n d   Bi o in f o rm a ti c s ,   v o l .   1 7 ,   n o .   6 ,   p p .   2 1 3 1 - 2 1 4 0 ,   1   No v . - De c .   2 0 2 0 ,   d o i :  1 0 . 1 1 0 9 / TCBB. 2 0 1 9 . 2 9 1 1 0 7 1 .     [2 4 ]   A .   S .   De su k y ,   A .   H .   Om a r ,   a n d   N .   M .   M o st a fa ,   " B o o sti n g   wi th   c ro ss o v e r   fo r   imp r o v in g   imb a lan c e d   m e d ica l   d a tas e ts   c las sifica ti o n , "   B u ll e ti n   o f  El e c trica l  E n g i n e e rin g   a n d   I n fo rm a ti c s ,   v o l.   10,   n o .   5,   pp.   2 7 3 3 - 2 7 4 1 ,   2 0 2 1 ,   d o i:   1 0 . 1 1 5 9 1 /ee i. v 1 0 i 5 . 3 1 2 1 .       Evaluation Warning : The document was created with Spire.PDF for Python.
I n d o n esian   J   E lec  E n g   &   C o m p   Sci     I SS N:  2502 - 4 7 5 2       P a r a llel e xtreme  g r a d ien t b o o s tin g   cla s s ifier   fo r   lu n g   ca n ce r   d etec tio n   ( R a n a   D h ia ’ a   A b d u a lja b a r )   1617   [2 5 ]   Z .   Ru sta m ,   A .   P u rwa n to ,   S .   Ha rti n i ,   a n d   G .   S .  S a ra g ih ,   " Lu n g   c a n c e r   c las sifica ti o n   u sin g   fu z z y   c - m e a n s   a n d   fu z z y   k e rn e l   C - M e a n s   b a se d   on   CT   sc a n   ima g e , "   I n d o n e sia n   J o u rn a l  o f  Ap p li e d   In fo rm a t ics ,   v o l.   10,   n o .   2,   p p .   2 9 1 - 2 9 7 ,   2 0 2 1 ,   d o i:   1 0 . 1 1 5 9 1 /i jai. v 1 0 . i 2 . p p 2 9 1 - 2 9 7 .     [2 6 ]   R.   P a n d ian ,   D.   N.  S .   R .   K u m a r ,   a n d   R.   R .   K u m a r ,   " De v e l o p m e n t   of   a lg o rit h m   fo r   id e n ti fica ti o n   of   m a li g a n t   g ro wt h   in   c a n c e r   u sin g   a rti ficia l   n e u ra l   n e two rk " ,   I n ter n a ti o n a l  J o u rn a l  o f   El e c trica l  a n d   C o mp u ter   En g i n e e rin g ,  v o l.   10,   n o.   6,   p p .   5 7 0 9 - 5 7 1 3 ,   2 0 2 0 ,   d o i:   1 0 . 1 1 5 9 1 / ij e c e . v 1 0 i6 .     [2 7 ]   M .  A .   N .   Ha k im,   Ad iwij a y a ,   a n d   W .   As tu ti ,   " C o m p a ra ti v e   a n a ly sis   of   Re li e fF - S VM   a n d   CF S - S V M   fo r   m icro a rra y   d a ta   c las sifica ti o n , "   I n ter n a ti o n a l   J o u rn a l  o f  El e c trica l  a n d   Co m p u ter   En g in e e rin g ,   v o l.   1 1 ,   n o .   4,   pp.   3 3 9 3 - 3 4 0 2 ,   2 0 2 1 ,   d o i:   1 0 . 1 1 5 9 1 /i jec e . v 1 1 i 4 . p p 3 3 9 3 - 3 4 0 2 .     [2 8 ]   H .  F .   Ka re e m ,   M .   S .   AL - Hu se i n y ,   F .   Y.  M o h se n ,   E .   A.   Kh a li l ,   a n d   Z .   S .   Ha ss a n ,   " E v a lu a ti o n   of   S V M   p e rf o rm a n c e   in   th e   d e tec ti o n   of   l u n g   c a n c e r   in   m a rk e d   CT   sc a n   d a tas e t , "   I n d o n e sia n   J o u r n a l   o f  E lec trica l  E n g i n e e rin g   a n d   Co mp u ter   S c ien c e   ( IJ EE CS ) ,   v o l.   21   n o .   3,   p p .   1 7 3 1 - 1 7 3 8 ,   2 0 2 1 ,   d o i:   1 0 . 1 1 5 9 1 /i jee c s.v 2 1 . i 3 . p p 1 7 3 1 - 1 7 3 8 .     [2 9 ]   A.  S e lwa l   a n d   I.   Ra o o f ,   “ A   M u lt i - lay e r   p e rc e p tr o n   b a se d   in telli g e n t   t h y r o id   d ise a se   p re d ictio n   sy ste m ,”   In d o n e si a n   J o u rn a l  o f  El e c trica l  E n g in e e rin g   a n d   Co mp u ter   S c ien c e ,   v o l.   1 7 ,   n o .   1,   p p .   5 2 4 - 5 3 2 .   2 0 2 0 ,   d o i:   1 0 . 1 1 5 9 1 /i jee c s.v 1 7 . i 1 . p p 5 2 4 - 5 3 2 .   [3 0 ]   N.  Ra ju ,   H.   B.   An i ta,   a n d   P .   Au g u sti n e ,   " Id e n ti fica ti o n   of   i n ters ti ti a l   lu n g   d ise a se s   u si n g   d e e p   lea rn i n g " ,   In ter n a t io n a l  J o u rn a l  o f  El e c tr ica l  a n d   Co mp u ter   En g in e e rin g ,   v o l.   1 0 ,   n o .   6,   p p .   6 2 8 3 - 6 2 9 1 ,   2 0 2 0 ,   d o i:   1 0 . 1 1 5 9 1 / ij e c e . v 1 0 i 6 . p p 6 2 8 3 - 6 2 9 1 .   [3 1 ]   N.  M .   Ali,   N.   A.  A.   Az iz,   a n d   R.   Be sa r,   “ Co m p a riso n   of   m icro a rra y   b re a st   c a n c e r   c las sifica ti o n   u si n g   su p p o r t   v e c to r   m a c h in e   a n d   lo g isti c   re g re ss io n   wit h   LAS S O   a n d   b o r u ta   fe a tu re   se lec ti o n ,”   In d o n e sia n   J o u rn a l  o f  E lec trica l  En g i n e e rin g   a n d   C o mp u ter   S c ien c e ,   v o l.   2 0 ,   no.   2,   p p .   7 1 2 - 7 1 9 ,   2 0 2 0 ,   d o i:   1 0 . 1 1 5 9 1 /i jee c s.v 2 0 . i 2 . p p 7 1 2 - 7 1 9 .   [3 2 ]   A.  A.  Ab d u ll a h ,   A.  F .   D.   G io n g ,   a n d   N.  A.   H.   Zah ri ,   " Ce r v ica l   c a n c e r   d e tec ti o n   m e th o d   u sin g   an   imp ro v e d   c e ll u la r   n e u ra l   n e two rk   (CNN )   a lg o r it h m , "   I n d o n e sia n   J o u r n a l   o f  El e c trica l  En g in e e rin g   a n d   C o mp u ter   S c ien c e ,   v o l.   1 4 ,   n o . 1 ,   pp.   2 1 0 - 2 1 8 ,   2 0 1 9 ,   d o i:   1 0 . 1 1 5 9 1 /i jee c s.v 1 4 . i1 . p p 2 1 0 - 2 1 8 .   [3 3 ]   R.   D .   Ab d u - a lj a b a r   a n d   O.   A .   Aw a d ,   “ A   Co m p a ra ti v e   a n a ly sis   stu d y   of   lu n g   c a n c e r   d e tec ti o n   a n d   re l a p se   p re d ictio n   u sin g   XG Bo o st   c las sifier ,”   IO P   Co n f.   S e r.   M a ter .   S c i .   E n g .,   v o l.   1 0 7 6 ,   no.   1,   2 0 2 1 ,   d o i:   1 0 . 1 0 8 8 / 1 7 5 7 - 8 9 9 X/ 1 0 7 6 /1 / 0 1 2 0 4 8 .   [3 4 ]   T.   Ch e n   a n d   C.   G u e strin ,   “ XG Bo o st:   A   S c a lab le   Tree   Bo o stin g   S y ste m ,”   In   Pro c .   of   th e   2 2 n d   ACM   S IGKD D   In t.   Co n f.   on   Kn o wled g e   Disc o v e ry   and   D a ta   M i n in g ,   2 0 1 6 ,   p p .   7 8 5 - 7 9 4 ,   d o i:   1 0 . 1 1 4 5 / 2 9 3 9 6 7 2 . 2 9 3 9 7 8 5 .   [3 5 ]   S.   S.   Dh a li wa l,   A - A .   Na h i d ,   a n d   R.   Ab b a s,   " Eff e c ti v e   I n tru si o n   De tec ti o n   S y ste m   Us in g   XG Bo o st , "   In f o rm a ti o n ,   v o l.   9,   n o .   7 ,   2 0 1 8 ,   d o i: 1 0 . 3 3 9 0 /i n fo 9 0 7 0 1 4 9 .   [3 6 ]   Y.  Ch u   a n d   D.  R.   Co re y ,  " RN A   se q u e n c in g :   p latfo rm   se lec ti o n ,   e x p e rime n tal   d e sig n ,   a n d   d a t a   in terp re tatio n , "   Nu c leic   Acid   T h e ra p e u ti c s ,   v o l.   2 2 ,   n o .   4   pp:   2 7 1 - 2 7 4 ,   2 0 1 2 ,   d o i:   1 0 . 1 0 8 9 /n a t . 2 0 1 2 . 0 3 6 7 .   [3 7 ]   S .   Ro u ss e a u x   et   a l. ,   “ Ecto p ic   a c ti v a ti o n   of   g e rm li n e   a n d   p lac e n t a l   g e n e s   id e n ti fies   a g g re ss iv e   m e tas tas is - p ro n e   Lu n g   c a n c e rs ,”   S c ien c e   T ra n sla ti o n a l   M e d icin e ,   v o l.   22 ,   n o .   5 ,   2 0 1 3 ,   d o i:   1 0 . 1 1 2 6 /sc it ra n slm e d . 3 0 0 5 7 2 3 .   [3 8 ]   A.  M e z h e y e u s k i   e t. a l ,   " M u lt is p e c tral   ima g in g   f o r   q u a n ti tati v e   a n d   c o m p a rtme n t - sp e c ifi c   imm u n e   i n fil trate s   re v e a ls   d isti n c t   imm u n e   p r o fil e s   t h a t   c las sify   L u n g   c a n c e r   p a ti e n ts , "   J   P a th o l ,   v o l.   2 4 4 ,   n o .   4,   p p .   4 2 1 - 4 3 1 ,   2 0 1 8 ,   d o i:   1 0 . 1 0 0 2 / p a th . 5 0 2 6 .   [3 9 ]   D.   C .   Be ll   et   al .,   " DN A   b a se   id e n ti fica ti o n   by   e lec tro n   m icro sc o p y , "   M icr o sc   M icr o a n a l ,   v o l .   1 8 ,   no.   5 ,   p p .   10 49 - 10 5 3 ,   2 0 1 2 ,   d o i:   1 0 . 1 0 1 7 /S 1 4 3 1 9 2 7 6 1 2 0 1 2 6 1 5 .   [4 0 ]   F.  Oz so lak   a n d   P .   M .   M il o s ,  " RNA   se q u e n c in g :   Ad v a n c e s,   c h a ll e n g e s   a n d   o p p o rtu n it ies , "   N a t   Rev   Ge n e t. ,   v o l .   12 ,   pp.   87 - 9 8 ,   2 0 1 1 ,   d o i:   1 0 . 1 0 3 8 / n rg 2 9 3 4 .   [4 1 ]   L.  Wan g ,   “ S u p p o rt   Vec to r   M a c h in e s:   T h e o ry   a n d   Ap p li c a ti o n s , ”   B e r l i n ,   G e r m a n y :   S p ri n g e r,   2 0 0 5 ,   d o i:   1 0 . 1 0 0 7 / b 9 5 4 3 9 .   [4 2 ]   Z - H .   Zh o u   a n d   J.  F e n g ,  " De e p   F o re st:   to wa rd s   an   a lt e rn a ti v e   to   d e e p   n e u ra l   n e two rk s , "   Pro c e e d in g s  o f  th e   T we n ty - S ixth   I n ter n a ti o n a l   J o i n t  Co n fer e n c e   o n   Arti fi c ia l  In telli g e n c e ,   2 0 1 7 ,   p p .   3 5 5 3 - 3 5 5 9 ,   d o i:   1 0 . 2 4 9 6 3 / i jca i. 2 0 1 7 / 4 9 7 .   Evaluation Warning : The document was created with Spire.PDF for Python.