I nte rna t io na l J o urna l o f   E lect rica l a nd   Co m p ute E ng in ee ring   ( I J E CE )   Vo l.   11 No .   4 A u g u s t   2021 ,   p p .   3 3 9 3 ~ 3 4 0 2   I SS N:  2 0 8 8 - 8708 DOI : 1 0 . 1 1 5 9 1 / i j ec e . v 1 1 i 4 . pp 3 3 9 3 - 3 4 0 2          3393       J o ur na l ho m ep a g e h ttp : //ij ec e. ia esco r e. co m   Co m pa ra tive  a na ly sis  of  R elief F - S VM  and C FS - S V M  f o m icro a rray  d a ta  c la ss ificatio n         M o cha m a d Ag us t a   Na o f a l H a k i m A diw ij a y a Widi   Astut i   De p a rt m e n o f   In f o rm a ti c   En g in e e rin g ,   T e lk o m   Un iv e rsit y In d o n e sia       Art icle  I nfo     AB ST RAC T     A r ticle  his to r y:   R ec eiv ed   Ju l   10 ,   2 0 20   R ev i s ed   J an   4 ,   202 1   A cc ep ted   J an   1 3 ,   2 0 2 1       Ca n c e is  o n e   o f   th e   m a in   c a u se o f   d e a th   in   t h e   w o rld   w h e re   th e   W o rld   He a lt h   Org a n iza ti o n   (W HO )   re c o g n ize d   c a n c e a s   a m o n g   th e   to p   c a u se o d e a th   i n   2 0 1 8 .   T h u s ,   d e tec ti n g   c a n c e s y m p to m is  p a ra m o u n i n   o r d e t o   c u re   a n d   s u b se q u e n tl y   re d u c e   th e   c a su a lt ies   d u e   t o   c a n c e d i se a se .   M a n y   stu d ies   h a v e   b e e n   d e v e lo p e d   d a t a   m in in g   a p p r o a c h e to   d e tec sy m p to m o c a n c e th ro u g h   a   c la ss i fy in g   h u m a n   g e n e   d a ta  e x p re ss io n .   On e   p o p u lar   a p p ro a c h   is  u sin g   m icro a rra y   d a ta  b a se d   o n   DN A .   Ho w e v e r,   DN m icro a rra y   d a ta   h a m a n y   d i m e n sio n th a c a n   h a v e   a   d e tri m e n tal  e ff e c t   o n   th e   a c c u ra c y   o f   c las sif ic a ti o n .   T h e re f o re ,   b e f o re   p e rf o r m in g   c las si f ica t io n ,   a   f e a tu re   se lec ti o n   tec h n iq u e   m u st   b e   u se d   to   e li m in a te  fe a tu re t h a d o   n o t   h a v e   i m p o rtan i n f o rm a ti o n   to   su p p o rt  t h e   c las sif ic a ti o n   p r o c e ss .   T h e   fe a tu re   se lec ti o n   tec h n i q u e u se d   w e re   Re li e f F   a n d   c o rre latio n - b a se d   f e a tu re   se lec ti o n   (CF S a n d   a   c las s if ic a t io n   tec h n iq u e   u se d   in   th is  stu d y   is  su p p o r t   v e c to m a c h in e   (S V M ).   S e v e ra tes ti n g   sc h e m e we re   a p p li e d   i n   t h is  a n a ly sis   to   c o m p a re   th e   p e rf o r m a n c e   o f   Re li e f F   a n d   CF S   w it h   S V M .   It  s h o w e d   th a th e   Re li e f F   o u tp e rf o rm e d   c o m p a re d   w it h   CF S   a m icro a rra y   d a ta   c las si f ica ti o n   a p p r o a c h .   K ey w o r d s :   C las s i f icatio n     C o r r elatio n - b ased   f ea tu r s elec tio n   Featu r s elec t io n   Mic r o ar r ay   d ata   R elie f F   Su p p o r t v ec to r   m ac h i n e   T h is i a n   o p e n   a c c e ss   a rticle   u n d e r th e   CC B Y - SA   li c e n se .     C o r r e s p o nd ing   A uth o r :   Mo ch a m ad   Ag u s ta  Nao f al  Ha k i m     Dep ar t m en I n f o r m atic   E n g i n e er in g   T elk o m   U n i v er s it y   T elek o m u n ik a s i   Stre et ,   B an d u n g   T o w n s h ip W est J a w C o u n t y   40257 I n d o n esia   E m ail:  n ao f al h a k i m @ s t u d en ts . telk o m u n iv er s it y . ac . id       1.   I NT RO D UCT I O N     A cc o r d in g   to   t h W o r ld   Hea lt h   Or g an izat io n   ( W HO) ,   ca n ce r   is   o n o f   t h w o r ld ' s   lead in g   ca u s e s   o f   d ea th   w h er it   is   r a n k ed   s ec o n d   o f   t h to p   ten   ca u s e s   o f   d e ath   g lo b all y ,   w it h   es ti m ates  r ea ch in g   9 . 6   m i llio n   d ea th s   in   2 0 1 8   [ 1 ] .   Ma n y   s tu d ies  h av d ev elo p ed   w a y s   to   d etec ca n ce r   ca u s alit y ,   a n d   o n o f   th p o p u lar   ap p r o ac h es  is   t h r o u g h   g e n etic   ex p r ess io n .   T h h u m an   g e n d ata  h as  b ee n   e x p r ess ed   i n   t h f o r m   o f   s to r ag e   m ed iu m   ca lled   DN m icr o ar r a y   d ata  [ 2 ] .   Us u all y ,   t h cla s s if icatio n   p r o ce s s   m u s t   f ir s b e   u s ed   o n   t h DN m icr o ar r a y   d ata  to   d etec th c an ce r   ca u s a lit y .   Ho w e v er ,   DN A   m icr o ar r a y   d ata  h a s   m a n y   d i m e n s io n s   t h at  ca n   ad v er s el y   a f f ec cla s s i f icat io n   p er f o r m an ce   [ 1 ,   2 ] .   On p o s s ib le  ap p r o ac h   to   o v er co m t h is   p r o b le m   i s   b y   s elec ti n g   f ea tu r es  t h at  ar co n s id er ed   m o r r elev an in   p r o d u cin g   o p ti m al  class i f icat io n   p er f o r m an ce   [ 3 ] .   T h er ef o r e,   it  is   n ec es s ar y   to   a p p ly   f ea t u r s elec tio n   tech n i q u p r io r   to   co n d u ctin g   th cl ass i f icatio n   p r o ce s s   to   ac h ie v m o r o p ti m al   ca n c er   d etec tio n .   Ho w ev er ,   n o al l   f ea t u r s e lectio n   tech n iq u es  a n d   i m p le m e n tatio n   s ch e m es  ca n   o p ti m ize  class i f icatio n   p r o ce s s m an y   ex p er i m en ts   ar n ee d ed   to   c o m p ar f ea tu r s elec tio n   tech n iq u es  a n d   th ap p licatio n   o f   th cla s s i f icat io n   s c h e m to   ac h iev th m o s o p ti m al  r esu lts .   T h t w o   p o p u lar   ap p r o ac h es a r R elief F a n d   co r r elatio n - b ased   f ea tu r s elec tio n   f o r   f ea tu r s e lectio n   p r o ce s s .   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 8 - 8708   I n t J   E lec  &   C o m p   E n g ,   Vo l.  11 ,   No .   4 A u g u s t 2 0 2 1   :   3 3 9 3   -   3402   3394   T h is   p ap er   w o u ld   li k to   u s e s   t w o   ap p r o ac h es,  i.e . ,   R elie f F   an d   C o r r elatio n - b ased   f ea tu r s elec tio n   ( C FS )   to   f ilter   f ea t u r s elec ti o n .   T h ese  t w o   tec h n iq u e s   w e r ch o s en   b ec au s t h e y   ca n   i n d ep en d en tl y   a s s e s s   th q u a lit y   o f   g o o d   f ea t u r es,  an d   h a v s i m p ler   an d   f as ter   co m p u tat io n   ti m e   co m p ar ed   to   o th er   tech n iq u e s     [ 4 ,   5 ] th er ef o r e,   th f il ter   tech n iq u e   is   f o u n d   ap p r o p r iate  to   u s e   f o r   m icr o ar r ay   d ata  w i th   m a n y   d i m en s io n s . T h R elie f ap p r o ac h   is   b ased   o n   r an k in g   a p p r o ac h ,   w h ile  t h C FS   is   b ased   o n   s u b s et   ap p r o ac h .   R elief F   g i v e s   r a n k i n g   v al u to   ea ch   f ea tu r ag ain s i ts   cla s s   a ttrib u te s t h f ea t u r es  w i th   th e   h ig h e s w ei g h w il p o s iti v el y   i m p ac t h cla s s i f icatio n   p r o ce s s .   Me a n w h ile,   t h C FS   h elp s   ass e s s   w h et h er   a   s u b s et  o f   f ea t u r es  u s es  m er it_ s   ca lcu latio n s   b ased   o n   t h co r r elatio n   b et w ee n   f ea t u r es  a n d   class es,  as  w el as   th co r r elatio n   b et w ee n   f ea t u r es  w it h   o t h er   f ea t u r es;   t h g r ea ter   th m er it_ s   v al u o f   s u b s et,   t h b etter   it s   i m p ac o n   t h cla s s i f icatio n   p r o ce s s   [ 6 ] .   T h s u p p o r v ec t o r   m ac h i n ( SVM)   cla s s i f icat io n   tech n iq u w as   ch o s en   b ec au s it  ca n   p r o d u ce   b etter   ac cu r ac y   w it h   m icr o a r r ay   d ata  co m p ar ed   to   s ev er al  o th er   class if ica tio n   tech n iq u es [ 7 - 9 ] .   T h d ataset  u s ed   i n   t h i s   p a p er   w as   ta k en   f r o m   t h e   Ke n R id g e   b io - m ed ical  d atase t   r ep o s ito r y   ( h ttp ://l eo . u g r . es/el v ir a/DB C R ep o s i to r y /)   co m p r is i n g   co lo n   tu m o u r ,   o v ar ian ,   b r ea s t   ca n ce r ,   lu n g   ca n ce r ,   p r o s tate,   th ce n tr al  n er v o u s   s y s te m ,   an d   M L L   leu k ae m ia  d ata.   B y   co n d u cti n g   t h i s   r esear ch ,   th b est  i m p le m en ta tio n   an d   p er f o r m an ce   o f   R elie f an d   C F tech n iq u es  f o r   i m p r o v in g   th clas s i f i ca tio n   p er f o r m a n ce   o f   t h s u p p o r v ec to r   m ac h i n ( SVM)   cla s s if icatio n   tec h n iq u o n   m icr o ar r ay   d ata  ca n   b id en ti f ied .   I w as   s h o w n   t h at  t h R elie f o u tp er f o r m ed   co m p ar ed   w it h   C FS   f o r   m icr o ar r ay   d ata  cla s s i f icat io n   tech n iq u e.   T h r est  o f   th p ap er   is   o r g an i ze d   as  f o llo w s Sectio n   2 ,   d is cu s s es  r esear ch   m et h o d o lo g y   o n   h o w   t h e   s tep   o f   r esear ch .   T h r es u lts   a n d   d is cu s s io n   ar p r esen ted   i n   s ec tio n   3   to   s u p p o r th a n a l y s i s   o f   t h r es u lt s .   Sectio n   4   co n clu d e s   w it h   s u m m ar y   o f   t h co m p ar is o n   b etw ee n   t w o   tech n iq u e s .       2.   RE S E ARCH   M E T H O D     I n   th r esear ch   d ev e lo p m en p h ase,   t w o   f ea t u r s elec tio n   tec h n iq u es  w er co m p ar ed ,   n a m e l y   R elie f F   an d   co r r elatio n - b ased   f ea t u r s elec tio n   ( C FS ) .   T h ese  tech n i q u es  ar s i m p le  a n d   w id el y   u s ed .   T h is   s tu d y   ai m s   to   ascer tain   t h p er f o r m a n ce   o f   b o th   tec h n iq u es  i n   t h cla s s if ica tio n   p r o ce s s   u s i n g   b ased   o n   s u p p o r v ec to r   m ac h in ( SV M) .   B ased   o n   Fig u r 1 ,   th s y s te m   in c lu d es  t h n o r m aliza tio n   o f   d ata  in to   v alu e s   b et w ee n   [ 0 ,   1 ]   [ 1 0 ] .   T h d ata  w as   d iv id ed   i n to   tr a in i n g   d ata  an d   te s ti n g   d ata,   r esp ec tiv el y .   T h en ,   t h f ea t u r e   s elec tio n   p r o ce s s ,   n a m e l y   R elie f a n d   co r r elatio n - b a s ed   f ea t u r s elec tio n   ( C F S)  b ca r r ied   o u o n   th tr ai n i n g   d ata,   p r o d u cin g   to p - r an k   f ea t u r es  t h at  w er th en   u s ed   as  n e w   tr ain in g   d ata  to   f o r m   th s u p p o r v ec to r   m ac h i n ( SVM )   class i f ier   m o d el  [ 1 1 ] .   T h f i n a s tep   in v o lv ed   test i n g   t h e   s y s t e m   b y   i n p u t tin g   th e   tes tin g   d ata  to   d eter m i n e   th e   a cc u r ac y   o f   t h s y s te m .           Fig u r 1 .   Gen er al  s y s te m   f lo w ch ar t   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J   E lec  &   C o m p   E n g     I SS N:  2088 - 8708       C o mp a r a tive  a n a lysi s   o R eliefF - S V M a n d   C F S - S V M fo r   micro a r r a y ...   ( Mo ch a ma d   A g u s ta   N a o fa l H a kim)   3395   2 . 1 .     T he  da t a s et s   T h d ataset  u s ed   i n   t h i s   p ap er   is   m icr o ar r a y   d ata  co m p r i s i n g   s e v en   DN m icr o ar r ay s .   T h d ataset   w a s   o b tain ed   f r o m   th Ken t - R id g b io m ed ical  d ata  r ep o s it o r y ,   as  r ep o r ted   b y   L i   [ 1 0 ] .   E ac h   m icr o ar r ay   d ata   w a s   g r o u p ed   in to   tr ai n in g   d ata   an d   test i n g   d ata  ac co r d in g   to   t h r atio   lis ted   in   T ab le  1 .   T h is   d iv is io n   w as d o n e   b y   d ir ec tl y   d i v id in g   t h d ata  r an d o m l y ,   alo n g   w it h   t h r es u l ts   o f   t h d is tr ib u tio n   o f   tr ai n in g   an d   te s ti n g   d ata ,   as   s h o w n   i n   T ab le  1 .       T ab le  1 .   Dis tr ib u tio n   o f   d ata  i n to   test i n g   d ata  an d   tr ain i n g   d ata   D a t a   A t t r i b u t e   T r a i n i n g   T e st i n g   N u mb e r   o f   C l a ss   B r e a st   c a n c e r   2 4 4 8 1   78   19   2   C o l o n   t u mo r   2 0 0 0   43   19   2   O v a r i a n   c a n c e r   1 5 1 5 4   1 7 7   76   2   L u n g   c a n c e r   1 2 5 3 3   1 4 9   32   2   P r o st a t e   c a n c e r   1 2 6 0 0   1 0 2   34   2   M L L   l e u k e mi a   1 2 5 8 3   57   15   3   C e n t r a l   N e r v o u s Sy st e m   7 1 2 9   42   18   2       No r m a lizatio n   is   u s e f u f o r   co n v er ti n g   attr ib u te   v al u es   in to   r an g b et w ee n   0   an d   1   s o   t h at  th d ata   w il l b ea s ier   to   p r o ce s s   [ 1 2 ] .   T h n o r m al izatio n   w a s   d o n u s in g   ( 1 )   [ 1 0 ] .     =   ( 1 )     E q u atio n   ( 1 )   w as  u s ed   to   ca lcu late  th n o r m aliza t io n   v al u e,   w h er   is   th r esu lt  o f   n o r m a lizatio n ,     is   o r ig i n al  v a lu o f   th at tr ib u te,     is   th s m alle s v al u o f   a ll  th d ata  i n   o n a ttrib u te,   an d      is   th e   lar g est  v alu o f   all  t h d ata  in   o n attr ib u te.     2 . 2 .     T he  Relief F   t ec hn i qu e     T h in itial  p r o ce s s   o f   s elec ti n g   th R elie f F   f ea tu r r eq u ir es  th s ep ar atio n   o f   tr ai n in g   d ata   b ased   o n   class   a n d   t h d eter m i n atio n   o f   th n u m b er   o f   p o s s ib le  i n s ta n ce s   b ased   o n   it s   cla s s   [ 1 3 ,   1 4 ] .   T h tr ain in g   d ata   w a s   s ep ar ated   ac co r d in g   to   it s   class   to   f ac ilit a te  th s ea r ch   f o r   n ea r - h it  an d   n ea r - mi s s   f o r   ea ch   r an d o m l y   s elec ted   in s ta n ce ,   w h er n ea r - h it  an d   n ea r - m is s   s ea r ch   w er ca lcu lated   b ased   o n   th lev el  o f   s i m ilar it y   o f   d ata  u s i n g   th E u clid ia n   d is ta n ce   f o r m u la  o f   ( 2 )   [ 1 0 ] ,   an d   co n s i d er in g   t h at  t h tr ain in g   d ata  w a s   n u m er ical  an d   co n tin u o u s .     ( , ) =   (   ) 2   ( 2 )     E q u atio n   ( 2 )   w as   u s ed   to   ca lc u late  d i s tan ce   v al u e,   w h er   an d     ar in s ta n ce s ,   an d     is   th e   a ttrib u te   v alu e.   T h n ea r - h it  a n d   n ea r - m is s   v al u es  d eter m in ed   w er th en   u s ed   to   ca lcu late  t h w e ig h o f   all  f ea t u r e s   b ased   o n   th f o r m u la  o f   t h R elief F tec h n iq u g i v en   b y   ( 3 ) .     [ ] = [ ]    (  , ,  )   +   [ ( )  (  , ,  ( ) ) ]   ( )   ( 3 )     w h er   is   th w ei g h o f   ea c h   f ea t u r e,     is   t h f ea tu r t h at  i s   b ein g   ca lc u lated ,     is   th s ele cte d   r an d o m   in s ta n ce ,      is   t h n ea r - h it  i n s tan ce   v alu e,      is   t h v alu o f   n ea r - m is s   i n s ta n ce ,   ( )   is   th e   p r io r   p r o b a b ilit y   o f   clas s   ,   an d     is   t h n u m b er   o f   r ep etitio n s   o f   th r an d o m   in s tan ce   r etr ie v al  [ 1 5 1 6 ] .   T h f u n c tio n    ( , 1 , 2 )   w as  u s ed   to   ca lcu late  t h v al u o f     u s i n g   th d if f er en ce   i n   v alu e   b et w ee n   1   an d   2   in s tan ce s .   T h is   ca lcu latio n   is   d ef i n ed   b y   ( 4 ) .      ( , 1 , 2 ) =   (  , 1 )   (  , 2 )   m ax (  )   m i n (  )   ( 4 )     w h er   is   th f ea tu r t h at  i s   b ein g   ca lc u lated ,   1   is   th s ele cted   r an d o m   i n s ta n ce ,   an d   2   is   th n ea r - h it   in s ta n ce s   o r   n ea r - m is s   in s ta n ce s   [ 1 7 ] .   T h ca lcu latio n   o f   p o s s ib le  o cc u r r en ce s   o f   i n s tan ce s   u s in g   p r io r   p r o b a b i lit y   ca n   b d o n u s in g   ( 5 ) .     ( ) = 1      ( 5 )     Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 8 - 8708   I n t J   E lec  &   C o m p   E n g ,   Vo l.  11 ,   No .   4 A u g u s t 2 0 2 1   :   3 3 9 3   -   3402   3396   w h er   is   c lass   t h at  w i ll c alc u late  t h p r o b ab ilit y   o f   o cc u r r en ce   w h ic h   co n s is t s   o f     clas s   p r o b ab ilit y   a n d      an   in s tan ce   p r o b ab ilit y .   T h f o llo w i n g   s ec tio n   p r o v id es  f l o w c h ar d escr ib in g   t h s y s te m   an d   p r o ce s s   o f   th R el ief F f ea t u r s elec tio n   te ch n iq u e   as s h o w n   in   F ig u r 2 .           Fig u r 2 .   R elief F f ea t u r s elec tio n   f lo w c h ar t       2 . 2 . 1 .   T he  Relief F   a lg o rit h m   T h alg o r ith m   o f   R elie f F tec h n iq u i s   ad o p ted   f r o m   [ 1 8 ] ,   i t is b ased   o n   s ev er al  s tep s   as s h o w n :     The Input :   for each training instance a vector of  attribute values and the class value   Output :   T he vector w of estimations of the qualities of attributes.   1.   set weight   of features   [ ] : = 0 . 0     2.   for  : = 1   to m do    3.   select an instance    randomly;   4.   find k - nearest hits      5.   for each    ( )   do    6.     from class C find k nearest misses   ( )   7.     for  1   to a do    8.    Calculate:      [ ] = [ ] [  ( , , ) ( , ) = 1 + 1   ( )  ( , , ) ] = 1 ( ) ( , )     9. end.     2 . 3 .     T he  CF S t ec hn iqu e     T h C FS   r u n s   b y   ca lc u lati n g   c o m p o n en t s   b ased   o n   h eu r i s ti cs  v al u ca lled   t h    v alu e,   w h i ch   r ep r esen ts   th q u alit y   o f   ea c h   f ea t u r co m b in atio n   o r   f ea tu r e   s u b s et.      is   ca lcu lated   u s i n g   ( 6 ) :      =  ̅ ̅ ̅ ̅ ̅ + ( 1 ) ̅    ( 6 )     w h er    is   s u b s et   f ea tu r v al u e,     is   n u m b er   o f   f ea t u r es,   ̅ ̅ ̅ ̅   is   a v e r ag v a lu e   o f   cla s s   m in u s   th e   f ea t u r co r r elatio n ,   an d   ̅    is   av er ag v al u o f   f ea tu r m i n u s   th f ea t u r in ter co r r elatio n   [ 6 ] .   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J   E lec  &   C o m p   E n g     I SS N:  2088 - 8708       C o mp a r a tive  a n a lysi s   o R eliefF - S V M a n d   C F S - S V M fo r   micro a r r a y ...   ( Mo ch a ma d   A g u s ta   N a o fa l H a kim)   3397   T h co m p o n en ts   o f      in clu d th co r r elatio n   v al u o f   f ea tu r w ith   o t h er   f ea t u r es  an d   t h e   co r r elatio n   b et w ee n   f ea t u r es  an d   clas s es  o w n ed .   I n   t h i s   c ase,      v alu e   s ea r ch   w as  d o n u s i n g   t h f o r w ar d   s elec tio n   al g o r ith m ,   s tar tin g   w it h   b lan k   f ea t u r s u b s et   u n til   th e   b est   co m b in a ti o n   ac co r d in g   to   t h th r es h o ld   w a s   f o u n d   [ 1 9 ,   2 0 ] .   T h en ,   th    v al u o f   ea ch   s u b s et  w ill   b ca lcu lated ,   a n d   s u b s et  w it h   t h b ig est     v alu w i ll b s elec ted .   Fig u r 3   s h o w s   t h C FS   f lo w c h ar t.           Fig u r 3 .   C FS   f lo w ch ar t       Usi n g   R elie f F   an d   C F S,  th e   f e atu r es  o f   t h m icr o ar r a y   d ata  w er o b tain ed .   T h ese   f ea t u r es   w er th e n   u s ed   as   p ar a m eter s   f o r   d ev el o p in g   t h cla s s i f icat io n   m o d el.   T h d ev elo p m en o f   th e   SVM  clas s i f icatio n   m o d el  i n cl u d es  d ev elo p in g   th b est  h y p er p la n m o d el  to   s ep ar ate  th d ata  ac co r d in g   to   ea ch   class ,   b ased   o n   s u p p o r tin g   p o in t s   o r   s u p p o r v ec to r s   th at   ar at   t h cla s s   s ep ar atio n   li m it   [ 2 1 2 2 ] .   T h s elec tio n   o f   p o in t s   a s   s u p p o r v ec to r s   w a s   i n f l u e n ce d   b y   th s h ap an d   c h ar ac ter   o r   co n d itio n   o f   th f ea t u r es  o f   t h d ata.   B y   g etti n g   th b es f ea t u r es,  t h m ar g in   o n   t h e   s u p p o r v ec to r   ca n   b m a x i m ized   [ 2 3 - 2 5 ] .   E q u ati o n   ( 7 )   p r esen t s   t h e   f u n ctio n   th a m u s b o p tim ized   f r o m   th h y p er p la n m ar g in   w h er w   is   t h u n it  v ec to r   f o u n d   i n   th e   h y p er p lan e.     m i n w   τ ( ) =   1 2   | |   | | 2   ( 7 )     Ho w e v er ,   b ef o r u s in g   th d ata  to   d ev elo p   th m o d el,   th d ataset  w a s   f ir s d iv id ed   in to   test in g   d ata   an d   tr ain in g   d ata.   B ec au s th e   test in g   d ata  co n s is t s   o f   2   an d   3   class es,  th t y p o f   k er n el  to   b u s ed   f o r   SVM  w a s   f ir s te s ted   ag ai n s t   al d a ta.   T h k er n el  t h at  s h o w ed   g o o d   co m p atib ilit y   an d   g o o d   ac cu r ac y   f o r   all  d ata  w a s   th e n   u s ed   as o n o f   t h p ar a m eter s   f o r   SVM.     2 . 3 . 1 .   T he  CSF  a lg o rit h m     T h alg o r ith m   o f   C SF   tech n i q u u s i n g   f o r w ar d   s elec tio n   b eg in s   w it h   th ze r o   v alu o f   s u b s et  th e n   ad d   a   f ea tu r o n b y   o n an d   ca lcu late  th    v alu of   ea ch   f ea t u r es  co m b in atio n   g r ee d i ly   [ 1 9 ] .   I is   b ased   o n   s ev er al  s tep s   a s   s h o w n :     The Input :   F or each training instance a vector of attribute values and the class value .   Output :   maximum subset      value.   1.   set subset S := [ ], threshold := determined by writer   2. while threshold != 0   3.   for each attribute       4.      ̅ ̅ ̅ ̅ =   average attribut relation with class   5.     ̅  =   average attribut relation with another attribut   6.           =   count number of subset   7.       =  ̅ ̅ ̅ ̅ ̅ + ( 1 ) ̅    8.     if maximum      value has finded then    9.         reintialize threshold number to determined value   10.      else threshold minus 1     11. end.   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 8 - 8708   I n t J   E lec  &   C o m p   E n g ,   Vo l.  11 ,   No .   4 A u g u s t 2 0 2 1   :   3 3 9 3   -   3402   3398   3.   RE SU L T A ND  D I SCU SS I O N   I n   r esu lt s   an d   d is cu s s io n s   s ec t io n ,   w i ll  d is cu s s   ab o u r es u lts   o f   r esear ch .   T h r esu lt  ar d i v id ed   in t o   th r ee   s ce n ar io s   a n d   p r esen ted   i n   f i g u r an d   tab le.     3 . 1 .     Scena rio   1   I n   th is   te s tin g   p r o ce s s ,   co m p ar is o n   w a s   m ad b et w ee n   th k er n el s   to   b u s ed   in   th SVM  class if ier   ac co r d in g   to   th d ata  d is tr ib u tio n   a n d   to   p r o v id th m o s o p ti m al  ac cu r ac y   r es u lt s .   T h k er n els  ch o s e n   in cl u d ed   th R B F,  P o ly n o m ial ,   an d   L in ea r   k er n els  w it h   p ar am eter s   ( d )   d eg r ee s   w it h   v al u o f   3   an d   ( C )   w it h   v al u o f   1 ,   w h i le  t h te s ti n g   d ata  co n s i s t ed   o f   7   ca n ce r   d ata.   T ab le  2   s h o w s   th e   r es u l ts   o f   t h 3   t y p es   o f   k er n el  e x p er i m e n ts   f o r   SVM  u s in g   m icr o ar r ay   d ata.       T ab le  2 .   T h r esu lts   o f   te s ti n g   d ata  u s i n g   t h t h r ee   SVM  k er n els   K e r n e l   A c c u r a c y   ( %)   C o l o n   t u mo r   L u n g   c a n c e r   P r o st a t e   M L L   l e u k e mi a   B r e a st   c a n c e r   O v a r i a n   C e n t r a l   n e r v o u sy st e m   A v e r a g e   RBF   7 8 , 9 5   50   50   80   3 6 , 8 4   8 8 , 1 6   7 2 , 2 2   6 5 , 1 7   P o l y n o mi a l   6 8 , 4 2   50   7 3 , 5 3   7 3 , 3 3   3 6 , 8 4   6 8 , 4 2   6 1 , 1 1   6 1 , 6 7   L i n e a r   7 3 , 6 8   8 4 , 3 6   9 4 , 1 2   8 6 , 6 7   8 4 , 2 1   1 0 0   6 1 , 1 1   8 3 , 4 5       I n   test i n g   t h s y s te m   w it h   th e   f ir s te s ti n g   s ce n ar io ,   th ac c u r ac y ,   a s   s h o w n   in   T ab le  2 ,   in d icate s   t h at   th m o s s u itab le  S VM   k er n e f o r   all  test i n g   d ata  w as  t h l in ea r   k er n el,   w h ich   r et u r n ed   t h h i g h est  a v er ag e   ac cu r ac y   o f   8 3 . 4 5 %,  w h ile  t h R B k er n el  p r o d u ce d   an   av er ag ac cu r ac y   o f   6 5 . 1 7 an d   th P o ly n o m ial   k er n el  r ea c h ed   6 1 . 6 7 ac cu r ac y   o n l y .   A lt h o u g h   th lin ea r   k er n el  p r o d u ce d   g o o d   av er ag ac cu r ac y ,   i n   tes ts   co n d u cted   o n   s o m d ata  s u c h   as  th ce n tr al  n er v o u s   s y s te m   an d   co lo n   t u m o r   d ata,   it  s ti ll  p r o d u c ed   lo w er   ac cu r ac y   co m p ar ed   to   th R B k er n e l.  Fro m   t h r es u lts ,   i ca n   b co n clu d ed   t h at  m o s o f   th d is tr ib u tio n   o f   d ata  u s ed   in   th i s   tes f o llo w ed   lin ea r   o r   lin ea r   s ep ar ab le  d ata  d is tr ib u tio n ,   e x ce p f o r   s o m d ata  s u ch   a s   t h e   ce n tr al  n er v o u s   s y s te m   a n d   co lo n   tu m o r   d ata.     3 . 2 .     Scena rio   2   T h s ec o n d   test i n g   s ce n ar io   p r o d u ce d   v alu es  i n   t h f o r m   o f   an   o p ti m al  n u m b er   o f   f e atu r es,  t h e   h ig h e s ac cu r ac y ,   an d   th a v er ag ac cu r ac y   f o r   ea ch   f ea t u r s u b s et  s elec tio n ,   as  o u tli n ed   in   T ab le  3 .   A   th r es h o ld   p ar am eter   w it h   v a lu o f   3 0 0   w as  i n s er ted   i n   th i s   p ap er .   A   th r es h o ld   is   u s ed   as  d eli m iter   o f   t h e   n u m b er   o f   f ea t u r es  t h at  w ill  b test ed   as  f ea tu r s u b s et.   Fiv f ea tu r es  w er ta k en   i n   s u b s et  u n til  t h e   th r es h o ld   w as  d eter m i n ed   an d   th n u m b er   w a s   s ea r ch ed .   T h f ea t u r s u b s et  s h o u ld   p r o v id th m o s t   o p ti m al   ac cu r ac y .   B esid es  t h p ar a m e ter   in   th f o r m   o f   t h r es h o ld ,   th n u m b er   o f   Nea r es I n s ta n ce   to   b u s ed   w as   also   test ed   i n   t h is   s ce n ar io ,   wh er th n ea r est   in s ta n ce   v a lu w a s   c h o s en   r a n d o m l y   f r o m   1 ,   2 ,   o r   3 .   T h e   C F S   th r es h o ld   p ar a m eter   v alu e s   o f   3   an d   5   w er i n s er ted   i n   th i s   p ap er .   T h C FS   t h r es h o ld   p ar am eter   w a s   u s ed   a s   a   li m it  to   allo w   t h f o r w ar d   s el ec tio n   alg o r ith m   to   w id en   its   s ea r ch   if   t h n e w      r esu lts   w er less er   th a n   th r esu lt s   o f   p r ev io u s    .   Oth e r w i s e,   an o th er   s u b s et  w ill  b g iv e n   th ch a n ce   to   ad d   m e m b er s   in   th f o r m   o f   n e w   f ea tu r e s .       T ab le  3 .   T est r esu lts   o f   SV M+ R elie f F a n d   S VM + C FS   D a t a   S V M + R e l i e f F   S V M + C F S   A c c u r a c y   ( %)   A t t r i b u t e   A c c u r a c y   ( %)   A t t r i b u t e   C o l o n   t u mo r   1 0 0   15   8 9 , 4 7   13   L u n g   c a n c e r   9 6 , 8 8   10   8 4 , 3 8   48   P r o st a t e   c a n c e r   9 4 , 1 2   1 7 0   8 2 , 3 5   46   O v a r i a n   c a n c e r   1 0 0   1 3 0   9 8 , 6 8   50   B r e a st   c a n c e r   8 4 , 2 1   65   6 3 , 1 6   51   M L L   l e u k e mi a   1 0 0   5   8 6 , 6 7   19   C e n t r a l   n e r v o u s sy st e m   8 8 , 8 9   1 2 5   8 3 , 3 3   12       B ased   o n   T ab le  3 ,   w h e n   te s ti n g   t h S VM   clas s i f icatio n   tec h n iq u u s in g   t h R elie f F   s elec ti o n   f ea t u r e,   th co lo n   t u m o r   d ata  w as  c las s if ied   w it h   a n   ac c u r ac y   o f   1 0 0 w it h   1 5   f ea tu r es   a n d   3   n e ar est  i n s ta n ce s .   T h e   lu n g   ca n ce r   d ata  w as  cla s s i f ie d   w it h   9 6 . 8 8 ac cu r ac y   w i th   1 0   f ea tu r es  an d   3   n ea r est  i n s t an ce s .   T h o v ar ian   ca n ce r   d ata  w as   clas s i f ied   w it h   1 0 0 ac cu r ac y   i n   al n u m b er   o f   i n s ta n ce s ,   w it h   t h lea s f ea t u r es  b ei n g   1 3 0   f ea t u r es.  T h p r o s tate  ca n ce r   d ata  w as  c lass if ied   w i th   m a x i m u m   ac c u r ac y   o f   9 4 . 1 2 in   al i n s ta n ce s   a n d   1 7 0   as th m i n i m u m   n u m b er   o f   f ea tu r e s .   B r ea s ca n ce r   d ata  w a s   clas s i f ied   w it h   8 4 . 2 1 % a cc u r ac y   w i th   at  least  Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J   E lec  &   C o m p   E n g     I SS N:  2088 - 8708       C o mp a r a tive  a n a lysi s   o R eliefF - S V M a n d   C F S - S V M fo r   micro a r r a y ...   ( Mo ch a ma d   A g u s ta   N a o fa l H a kim)   3399   6 5   f ea tu r es  an d   to tal  o f   3   n ea r est  i n s ta n ce s .   T h ML L   l eu k e m ia  d ata  w it h   3   class e s   w a s   class if ied   w it h   1 0 0 ac cu r ac y   at  all   n ea r es t   in s tan ce s ,   w it h   5   f ea tu r e s   m in i m u m   a t h n ea r e s i n s ta n c es  o f   1   a n d   2 .   T h e   ce n tr al  n er v o u s   s y s te m   d ata  was  clas s i f ied   w it h   t h h i g h e s ac cu r ac y   o f   8 8 . 8 9 at  th e   n e ar est  in s ta n ce s   o f   2   an d   3   an d   m in i m u m   n u m b er   o f   f ea t u r es o f   1 2 5   at  in s ta n ce   2 .   Fro m   t h e   tes tin g   s ce n ar io s   co n d u cted ,   it c an   b s aid   t h at  u s i n g   t h R e lief f ea t u r s elec tio n   o n   all  t h e   d ata  s u cc e s s f u ll y   p r o v id ed   m o r o p tim al   r esu lts ,   co m p ar e d   w it h   s ce n ar io s   w it h o u t   u s i n g   R el ief F.  T h is   i s   ev id en ce d   b y   th i n cr ea s ed   a cc u r ac y   w it h   f ea tu r r ed u ct io n   b u f o r   s o m d ata  in   p ar ticu lar   s u c h   as  co lo n   tu m o r ,   l u n g   ca n ce r ,   M L L   leu k e m ia,   an d   th ce n tr al  n er v o u s   s y s te m   d ata,   w h ic h   s a w   i n cr ea s ed   class i f icatio n   ac cu r ac y   i n   all  test   s ce n ar io s .     T h n u m b er   o f   f ea t u r es   w as   n o t h o n l y   p ar a m eter   t h at   af f ec ted   cla s s i f icatio n   ac c u r ac y .   I f   t h e   n ea r est  in s tan ce   p ar a m eter   f o r   s o m e   d ata  w er to   b e   o b s er v ed   s u c h   a s   co lo n   tu m o r ,   p r o s t ate  ca n ce r ,   o v ar ian   ca n ce r ,   lu n g   ca n ce r ,   M L L   le u k e m ia,   an d   th ce n tr al  n er v o u s   s y s te m   d ata,   an   i n cr ea s in   th n u m b er   o f   t h e   n ea r est  i n s ta n c e s   r es u lted   in   an   ac cu r ac y   t h at  w a s   n o lo w er   t h a n   th e   ac cu r ac y   w it h   t h s m aller   n ea r est   in s ta n ce ,   alt h o u g h   t h b r ea s c an ce r   d ata  at  th e   s ec o n d   n ea r est  i n s ta n ce   h ad   lo w er   ac c u r a c y   t h an   t h n ea r est   in s ta n ce   o f   1 .   Ho w ev er ,   i n   t h th ir d   i n s ta n ce ,   t h ac cu r ac y   ag ain   in cr ea s ed   an d   w a s   g r ea t er   th an   th e   s ec o n d   in s ta n ce .   T h is   is   li k el y   b ec au s th er i s   a   n ea r es t i n s ta n ce   th at  ca lcu la tes  th e   w ei g h t   o f   th e   f ea t u r t h at  m ad it   less   o p ti m al,   s o   th to p   f ea t u r es th at  h ad   w e ig h w er th m o s t lik e l y   to   co n tai n   n o is e.     3 . 3 .     Scena rio   3     Fo r   th th ir d   te s ti n g   s ce n ar io   s h o w n   in   T ab le  4 ,   an   in cr ea s in   ac cu r ac y   w as  o b s er v ed   in   al m o s al l   m icr o ar r a y   d ata  a f ter   t h s ele ctio n   f ea t u r tec h n iq u w a s   a p p lied .   T h co lo n   t u m o r   d ata   w a s   cla s s i f ied   w i th   1 0 0 an d   8 9 . 4 7 ac cu r ac y   u s i n g   t h R elie f tec h n iq u e   a n d   th e   C FS   tech n iq u e,   r e s p ec tiv el y .   T h C e n tr al   Ner v o u s   S y s te m   d ata  w as  i n it iall y   clas s i f ied   w ith   a n   ac cu r a c y   o f   6 1 . 1 1 %,  w h ic h   in cr ea s e d   to   8 8 . 8 9 u s i n g   R elie f a n d   8 3 . 3 3 u s i n g   C F S.   B esid es  t h at,   t h cla s s i f icat io n   ac cu r ac y   o f   l u n g   ca n ce r ,   p r o s tate  ca n ce r ,   a n d   ML L   le u k e m ia  d ata  also   i n cr ea s ed   u s i n g   t h R e lie f tec h n iq u e,   b u t h C FS   tech n iq u e   p r o d u ce d   th s a m e   ac cu r ac y   f o r   s o m d ata - t h s a m as  t h at  o f   test in g   w it h o u f ea tu r s elec ti o n   i.e .   8 4 . 3 7 f o r   lu n g   ca n ce r   d ata,   an d   8 6 . 6 7 f o r   ML L   le u k e m ia  d ata.   Dec r ea s ed   ac cu r ac y   w as  o b s er v ed   i n   s o m d atasets   s u c h   as  f r o m   8 4 . 2 1 to   6 3 . 1 6 f o r   b r ea s ca n ce r   d ata f r o m   1 0 0 to   9 8 . 6 8 f o r   o v ar ia n   ca n ce r   d ata;  a n d   f r o m   9 4 . 1 2 to   8 2 . 3 6 % f o r   p r o s tat ca n ce r   d at a.       T ab le  4 .   R ec ap itu latio n   o f   t h r esu lt s   o f   SVM,   R elie f F - SVM   an d   C FS SV test i n g   D a t a   A c c u r a c y   ( %)   S V M   S V M + R e l i e f F   S V M + C F S   C o l o n   t u mo r   7 3 , 6 8   1 0 0   8 9 , 4 7   L u n g   c a n c e r   8 4 , 3 8   9 6 , 8 8   8 4 , 3 8   P r o st a t e   c a n c e r   9 4 , 1 2   9 4 , 1 2   8 2 , 3 5   O v a r i a n   c a n c e r   1 0 0   1 0 0   9 8 , 6 8   B r e a st   c a n c e r   8 4 , 2 1   8 4 , 2 1   6 3 , 1 6   M L L   l e u k e mi a   8 6 , 6 7   1 0 0   8 6 , 6 7   C e n t r a l   n e r v o u s sy st e m   6 1 , 1 1   8 8 , 8 9   8 3 , 3 3         Fro m   T ab le  4   an   Fig u r 4 ,   th SVM  clas s i f icatio n   tech n iq u u s i n g   C F f o r   co lo n   tu m o r   d ata   p r o d u ce d   an   ac cu r ac y   o f   8 9 . 4 7 w it h   1 6   f ea t u r es  an d   th r esh o ld   o f   3 .   f o r   th lu n g   ca n ce r   d ata ,   class if icatio n   ac cu r ac y   r ea ch ed   8 4 . 3 7 5 w i th   4 5   f ea t u r es  at  t h r es h o ld   v alu o f   3 o v ar ia n   ca n ce r   d ata  ac h iev ed   9 8 . 6 8 ac cu r ac y   f o r   all   n u m b er s   o f   i n s ta n ce s ,   w it h   t h lea s n u m b er   o f   f ea tu r e s   ( 3 0 ) p r o s tate  ca n ce r   d ata  y ield ed   a   m ax i m u m   ac c u r ac y   o f   u p   to   8 2 . 3 5 at  th r es h o ld   o f   5   w it h   4 6   f ea tu r es b r ea s ca n ce r   d ata  o b tain ed   6 3 . 1 6 ac cu r ac y   w it h   5 1   f ea tu r e s   at  th r esh o ld   v al u o f   5 M L L   leu k e m ia  d ata  w it h   3   class es  o b tain ed   an   ac cu r ac y   o f   8 6 . 6 7 at   th r esh o ld   o f   5   w it h   1 9   f ea t u r es;  a n d   t h ce n t r al  n er v o u s   s y s te m   d ata  ac h ie v ed   an   ac c u r ac y   o f   7 2 . 2 2 % w it h   1 2   f ea t u r es,  f o r   all  th r es h o ld s .   Fro m   t h te s ti n g   s ce n ar io s   c o n d u cted ,   u s i n g   C F f ea t u r s elec tio n   f o r   s o m d ata   s u c h   as   M L L   leu k e m ia   an d   l u n g   ca n ce r   p r o d u ce d   m o r o p ti m al  r es u lts   co m p ar ed   to   o n l y   SV M.   M ea n w h ile,   t h co lo n   tu m o r   an d   ce n tr al  n er v o u s   S y s te m   d ata  also   p r o d u ce d   m o r o p ti m al  r esu l ts   an d   e x p er ien ce d   in cr ea s ed   ac cu r ac y   co m p ar ed   to   th SVM  s ce n ar io s   o n l y ,   as  s h o w n   b y   t h f e w er   n u m b er   o f   f ea t u r e s   u s ed ,   b u ac cu r ac y   w a s   s t ill  m ai n tai n ed   an d   i m p r o v ed .   Ho w e v er ,   in   s o m e   d ata  s u c h   as   b r ea s t c an ce r ,   p r o s tate   ca n ce r ,   an d   o v ar ia n   ca n ce r   d ata,   in   th te s ti n g   s ce n ar io s ,   th ac c u r ac y   o f   ea c h   ex p er i m e n d ec r ea s ed .   T h is   is   lik el y   b ec au s t h    se ar ch   p r o ce s s   u s ed   Gr ee d y   f o r w ar d   s elec tio n   tech n iq u e   th at  w a s   n o o p ti m al,   as  ca n   b p r o v en   f r o m   t h r esu lts   o f   t h n u m b e r   o f   f ea tu r e s   o b tain ed   b y   th R elie f tec h n iq u f o r   t h th r e d ata  ab o v e,   w h ic h   w a s   lar g er   n u m b er   t h an   th o th er   d ata,   w h ile  th m a x i m u m   f ea t u r s u b s et  f o u n d   b y   C FS   w as  lo w er   i n   co m p ar is o n .   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 8 - 8708   I n t J   E lec  &   C o m p   E n g ,   Vo l.  11 ,   No .   4 A u g u s t 2 0 2 1   :   3 3 9 3   -   3402   3400       Fig u r 4 .   C o m p ar is o n   r es u lt s   o f   SVM,   SVM R e lie f F,  an d   S VM C FS   te s ti n g       As  f o r   th e f f ec o f   t h r es h o ld   o n   th ac cu r ac y   p r o d u ce d ,   alm o s all  d ata  w it h   m o r t h r esh o ld s   h ad   an   ac cu r ac y   th at   w a s   eq u a o r   b e tter   th a n   s m aller   t h r es h o ld   v al u es.  Hen ce ,   it  ca n   b e   co n cl u d ed   th at   t h r es h o ld   v alu o f   5   s till   allo w ed   f o r   i n c r ea s ed   ac cu r ac y   ev e n   w it h   an   ad d itio n al  n u m b er   o f   f ea tu r e s .   Ho w e v er ,   th lu n g   ca n ce r   d ata  th r es h o ld   o f   3   h ad   b etter   ac cu r ac y   t h a n   th r e s h o ld   o f   5 ,   lik el y   d u to   t h p r es en ce   o f   n o is w h e n   th th r e s h o ld   w as r ed u ce d .   B esid es  th at,   th e f f ec o f   ac c u r ac y   g e n er ated   f r o m   th e   R eli ef F - SVM   test in g   s ch e m ca n   b s aid   to   b s tab le  ag ai n s t h r atio   o f   v ar io u s   d ata - s o lv in g   r atio s .   T h is   is   ev id e n f o r   th e   d ata  w it h   a   r atio   o f   7 0 s u c h   as  th o v ar ian   ca n ce r ,   co lo n   t u m o r ,   an d   t h ce n tr al  n er v o u s   s y s te m   tr ain in g   d ata,   w h ich   p r o d u ce d   i n cr ea s ed   ac cu r ac y .   Fo r   lu n g   ca n ce r   an d   ML L   le u k e m ia  d ata,   w i th   m o r tr ai n in g   d ata  ac co r d in g   to   r atio   o f   8 0 to   8 2 %,  an   in cr ea s in   ac c u r ac y   co u ld   also   b ac h ie v ed .   I n   ad d itio n ,   alt h o u g h   th er w a s   n o   i n cr ea s i n   ac cu r ac y   f o r   th p r o s tate  ca n ce r   an d   b r ea s t   ca n ce r   d ata  u s in g   tr ain i n g   d ata  r atio   o f   7 5 % - 8 0 %,  th n u m b er   o f   f ea tu r e s   w er s ti ll  s u b s ta n tiall y   r ed u ce d   an d   th s a m ac c u r ac y   w it h   test in g   w as  o b s er v ed   w it h o u t   u s i n g   t h f ea tu r e   s elec tio n   tech n iq u e.   T h i s   r es u lt  w as  al s o   o b s er v ed   i n   o th er   test i n g   d ata  u s i n g   th SVM - C FS   s c h e m e,   w it h   d ata  b ased   o n   a   r atio   o f   7 0 i n   t h co lo n   t u m o r   an d   t h e   ce n tr al  n er v o u s   s y s te m   tr ain in g   d ata.   B o th   o f   w h ic h   w a s   ab le  to   p r o v id in cr ea s ed   ac cu r ac y .   Me a n w h ile,   f o r   ML L   leu k e m ia  d ata  an d   L u n g   ca n ce r   d ata  w i th   a   r atio   o f   8 0 % - 82% ,   alt h o u g h   t h er w a s   n o   in cr ea s i n   ac c u r ac y ,   t h n u m b er   o f   f ea t u r es   m a n ag ed   to   b r ed u ce d   s u b s ta n tial l y .   Ho w ev er ,   f o r   th p r o s tate  ca n ce r ,   o v ar ian   ca n ce r ,   an d   b r ea s ca n ce r   d ata   w it h   d if f er e n d ata  r atio s ,   all  ex p er ien ce d   d ec r ea s in   ac cu r ac y ,   b u t h r atio   w a s   p r o b ab ly   n o th m ain   ca u s o f   d ec r ea s ed   ac cu r ac y a n d   o th er   f ac to r s   s u ch   as t h r esh o ld s .   i n   t h s ch e m co u ld   also   ca u s t h is   r es u lt.       4.   CO NCLU SI O N   AND  F U T U RE   WO RK   B ased   o n   t h r es u lts   o f   th e   t esti n g   s ce n ar io   co n d u cted   i n   th is   s t u d y ,   it  ca n   b co n clu d ed   th at  t h e   R elie f a n d   co r r elatio n   f ea t u r s elec tio n   ( C FS )   tec h n iq u e s   o n   m icr o ar r a y   d ata  cla s s i f icat io n   u s i n g   s u p p o r v ec to r   m ac h in ( SM V)   ca n   g en er all y   p r o v id m o r o p ti m al  r esu lt s   co m p ar ed   to   th class i f icatio n   p r o ce s s   w it h o u u s i n g   f ea tu r s elec tio n .   Ho w e v er ,   s o m e   test s   u n d e r   th C SF - SVM  s ce n ar io s   p r o d u ce d   r esu lt s   w it h   d ec r ea s ed   ac cu r ac y   co m p ar ed   to   SVM  w i th o u t f ea tu r s elec t io n .   I n   SVM  test i n g ,   w it h o u u s in g   f ea tu r s elec tio n ,   b y   te s ti n g   s e v er al  t y p e s   o f   k er n els  to   d eter m in e   o p tim a class i f icatio n   p er f o r m an ce ,   th b est  ac cu r ac y   w as  a ch iev ed   u s i n g   t h L i n ea r   k er n el,   w h ich   r etu r n ed   an   av er ag ac c u r ac y   o f   8 3 . 4 5 %.  I n   co n tr ast,  th R B k er n el   p r o d u ce d   an   av er ag ac cu r ac y   o f   6 5 . 1 7 an d   th e   P o ly n o m ial  k er n el  p r o d u ce d   6 1 . 6 7 % a cc u r ac y .   T h f in a ac c u r ac y   o b tai n ed   f r o m   th e   th r ee   test i n g   s ce n ar i o s   f o r   all  d ata   u n d er   th e   SV s ce n ar i o   w it h o u u s in g   t h f ea t u r s ele ctio n   tech n iq u w a s   an   a v er ag ac cu r ac y   o f   8 3 . 4 5 %.  Me an w h ile,   R el ief F - SVM   p r o d u ce d   an   av er ag ac c u r ac y   o f   9 4 . 8 7 %,  an d   C FS - S VM   p r o d u ce d   8 4 ac cu r ac y .   Fro m   t h ese  r es u lt s ,   it  ca n   b co n clu d ed   th at  t h test in g   s ch e m i n v o l v i n g   R elie f a s   t h f ea t u r s elec tio n   tec h n iq u e   w it h   S VM   h ad   t h b est cla s s i f icatio n   ac cu r ac y .   So m s u g g e s tio n s   r elate d   to   th is   r esear c h   i n clu d i m p r o v i n g   t h C FS - SV test i n g   s c h e m u s i n g   alg o r ith m s   f o r   s ea r c h in g   s u c h   as  Fo r w ar d   Select io n   a n d   w it h   C FS   t h r es h o ld   w ith   5   as   t h m a x i m u m .   T h i s   w o u ld   s t ill  r et u r n   h i g h   p r o b ab ilit y   o f   i n cr ea s ed   ac c u r ac y ,   s o   it   is   b etter   f o r   f u t u r s t u d i es  to   u s e   g r ea ter   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J   E lec  &   C o m p   E n g     I SS N:  2088 - 8708       C o mp a r a tive  a n a lysi s   o R eliefF - S V M a n d   C F S - S V M fo r   micro a r r a y ...   ( Mo ch a ma d   A g u s ta   N a o fa l H a kim)   3401   v alu e   f o r   d ata  w it h   lar g e   d i m e n s io n s   s u ch   as   m icr o ar r ay   d ata.   T h en ,   to   p r o v id m o r v ali d   test   r e s u l ts   f o r   al l   d ata  u s ed ,   cr o s s - v alid atio n   ev alu atio n   co u ld   b d o n to   p r o v id m o r v alid   e v alu a tio n   r esu lt s   b ec au s t h i s   tech n iq u tr ea ts   all  d ata  i n cl u d in g   te s ti n g   d ata  an d   tr ain i n g   d ata.       RE F E R E NC E S     [1 ]   W .   Yip ,   S.   B.   Am in ,   a n d   C .   Li A   S u rv e y   o f   Clas sifi c a ti o n   T e c h n iq u e f o M icro a rra y ,   Ha n d b o o k   o f   S t a ti stica l   Bi o in fo rm a t ics ,   v o l.   3 ,   p p .   1 9 3 2 2 3 ,   2 0 1 1 .   [2 ]   G .   J.  G o rd o n   e al .,  T ra n sla ti o n   o f   m icro a rra y   d a ta   in to   c li n ic a ll y   re le v a n c a n c e d iag n o stic  tes ts  u sin g   g e n e   e x p re ss io n   ra ti o i n   l u n g   c a n c e a n d   m e so th e li o m a ,   Am e ric a n   Asso c i a ti o n   f o Ca n c e Res e a rc h ,   v o l.   6 2 ,     p p .   4 9 6 3 4 9 6 7 ,   S e p .   2 0 0 2 .   [3 ]   S .   Ch o rm u n g e   a n d   S .   Je n a ,   Co rre latio n   b a se d   F e a tu re   S e lec ti o n   w it h   Clu ste rin g   f o Hig h   Di m e n sio n a Da ta,”   J o u rn a o El e c trica S y ste ms   a n d   In fo rm a ti o n   T e c h n o l o g y ,   v o l.   5 ,   p p .   5 4 2 5 4 9 ,   De c .   2 0 1 8 .   [4 ]   A .   A .   Ya h y a ,   F e a tu re   S e lec ti o n   f o Hig h   Dim e n sio n a Da ta:  A n   Ev o lu ti o n a ry   F il ter  A p p ro a c h ,   J o u rn a o f   Co mp u ter   S c ien c e ,   v o l.   7 ,   p p .   8 0 0 8 2 0 ,   M a y   2 0 1 1 .   [5 ]   M .   Ch e rri n g to n ,   F .   T h a b tah ,   J.  L u ,   a n d   Q.   X u ,   F e a tu re   S e lec ti o n :   F il ter  M e th o d P e rf o rm a n c e   Ch a ll e n g e s,”   In ter n a t io n a C o n fer e n c e   o n   C o mp u ter   a n d   In f o rm a ti o n   S c ien c e s M a y   2 0 1 9 ,   p p .   1 4.   [6 ]   R.   J.  P a lm a - M e n d o z a ,   L .   d e   M a rc o s,  D.  Ro d íi g u e z ,   a n d   A .   A l o n so - Be tan z o s,  Distrib u ted   C o r re latio n - Ba se d   F e a tu re   S e lec ti o n   in   S p a rk ,   a rXi v :   1 9 0 1 . 1 1 2 8 6 ,   p p .   1 2 5 ,   Ja n .   2 0 1 9 .   [7 ]   V .   B o n - Ca n e d o ,   N.   S á n c h e z - M a ro ñ o ,   a n d   A .   A lo n so - Be tan z o s,  Distrib u ted   f e a tu re   se lec ti o n A n   a p p li c a ti o n   t o   m icro a rra y   d a ta cla ss i f ica ti o n ,   Ap p li e d   S o ft   C o mp u ti n g ,   v o l.   3 0 ,   p p .   1 3 6 1 5 0 ,   M a y   2 0 1 5 .   [8 ]   M .   G h o sh ,   S .   A d h ik a r y ,   K.  K.  G h o sh ,   A .   S a rd a r,   S .   Be g u m ,   a n d   R.   S a rk a r,   G e n e ti c   a l g o rit h m   b a se d   c a n c e ro u s   g e n e   id e n ti f ica ti o n   f ro m   m icro a rr a y   d a ta  u s in g   e n se m b le  o f   f il ter  m e th o d s,”   M e d ica &   Bi o lo g ica En g i n e e rin g   &   Co mp u t in g ,   v o l .   5 7 ,   p p .   1 5 9 1 7 6 ,   F e b .   2 0 1 8 .   [9 ]   V .   B o n - Ca n e d o ,   N.  S á n c h e z - M a ro ñ o ,   a n d   A .   A lo n so - Be tan z o s,  A n   e n se m b le  o f   f il ters   a n d   c las sif iers   f o m icro a rra y   d a ta cla ss i f ica ti o n ,   Pa tt e rn   Rec o g n it io n ,   v o l .   4 5 ,   p p .   5 3 1 5 3 9 ,   Ja n .   2 0 1 2 .   [1 0 ]   H .   Ay d a d e n ta   a n d   A d iw ij a y a ,   O n   t h e   c las sif ica ti o n   tec h n i q u e in   d a ta  m in in g   f o m icro a rra y   d a ta  c las si f ica ti o n ,   J o u rn a o P h y sic s: Co n fer e n c e   S e rie s ,   v o l.   9 7 1 ,   p p .   1 1 0 ,   2 0 1 8 .   [1 1 ]   N.  S á n c h e z - M a ro ñ o ,   O.  F o n ten la - Ro m e ro ,   a n d   B.   P é re z - S á n c h e z ,   Clas si f ica ti o n   o f   M icro a rra y   D a t a ,   M e th o d in   mo lec u la b io l o g y ,   v o l.   1 9 8 6 ,   p p .   1 8 5 2 0 5 ,   Ja n .   2 0 1 9 .   [1 2 ]   O .   M a im o n   a n d   L .   Ro k a c h Da ta  M in in g   a n d   Kn o w led g e   Dis c o v e r y   Ha n d b o o k ,   2 n d   e d ,   J o u rn a o El e c trica l   S y ste ms   a n d   I n f o rm a ti o n   T e c h n o l o g y ,   v o l .   2 ,   p p .   1 0 1 1 0 5 ,   Ja n .   2 0 1 0 .   [1 3 ]   R .   J.  Urb a n o w icz ,   R .   S .   Olso n ,   P .   S c h m it t,   M .   M e e k e r ,   a n d   J .   H M o o re Be n c h m a rk in g   re li e f - b a s e d   f e a tu re   se lec ti o n   tec h n i q u e f o b i o in f o r m a ti c d a ta  m in in g ,   J o u rn a o f   Bi o me d ica In f o rm a ti c s ,   v o l .   8 5 ,   p p .   1 6 8 1 8 8 ,     S e p .   2 0 1 8 .   [1 4 ]   W .   M e g c h e len b rin k ,   E.   M a rc h i o ri ,   a n d   P .   L u c a s,  Re li e f - b a se d   f e a tu re   se lec ti o n   in   b i o in f o r m a ics d e tec ti n g   f u n c ti o n a sp e c ifi c it y   r e sid u e f ro m   m u lt ip le  se q u e n c e   a li g n m e n ts,   M a ste th e sis  in   in fo r ma ti o n   sc ien c e   p p .   2 9 4 0 ,   J u l .   2 0 1 0 .   [1 5 ]   B.   T a n g   a n d   L .   Zh a n g ,   M u lt i - c las S e m i - su p e rv ise d   L o g isti c   I - REL IEF   F e a tu re   S e lec ti o n   Ba se d   o n   Ne a re st  Ne ig h b o r,   P a c if ic - Asia   Co n fer e n c e   o n   Kn o wled g e   Disc o v e ry   a n d   D a ta   M in i n g ,   v o l.   1 1 4 4 0 ,   p p .   2 8 1 2 9 2 ,     M a r .   2 0 1 9 .   [1 6 ]   Y.  Zh a n g ,   X .   Re n ,   a n d   J.  Zh a n g ,   In tru sio n   d e tec ti o n   m e th o d   b a se d   o n   in f o rm a ti o n   g a in   a n d   Re li e f F   f e a tu re   se lec ti o n ,   In ter n a ti o n a J o i n C o n fer e n c e   o n   Ne u r a Ne two rk s ( IJ CNN) Ju l.   2 0 1 9 ,   p p .   1 5.   [1 7 ]   N .   S p o laô r ,   E.   A .   Ch e r m a n ,   M .   C.   M o n a rd ,   a n d   H.  D.  L e e Re li e f F   f o M u lt i - lab e F e a tu re   S e lec ti o n ,   Bra zili a n   Co n fer e n c e   o n   In tell ig e n t   S y ste ms Oc t.   2 0 1 3 ,   p p .   6 11 .   [1 8 ]   R.   P .   L .   Du rg a b a i   a n d   Y.   R.   B h u sh a n F e a tu re   S e lec ti o n   u si n g   Re li e f F   A lg o rit h m ,   In ter n a ti o n a J o u rn a o f   Ad v a n c e d   Res e a rc h   in   Co mp u ter   a n d   Co mm u n ica t io n   En g i n e e rin g ,   p p .   8 2 1 5 8 2 1 8 ,   Oc t .   2 0 1 4 .   [1 9 ]   M .   A .   Ha ll ,   Co rre latio n - b a se d   F e a tu re   S e lec ti o n   f o M a c h in e   L e a rn in g ,   M a ste th e sis  in   in f o r m a ti o n   sc ien c e   v o l.   1 9 ,   p p .   5 1 7 4 ,   Ju n .   2 0 0 0 .   [2 0 ]   G .   S o sa - Ca b re ra ,   M .   G a r c ía - T o rr e s,  S .   G ó m e z - G u e rre ro ,   C .   E.   S c h a e re r,   a n d   F .   Div in a ,   A   m u lt iv a ri a te   a p p ro a c h   t o   th e   sy m m e tri c a u n c e rtain ty   m e a su re A p p li c a ti o n   to   f e a tu re   se le c ti o n   p ro b lem ,   In fo rm a ti o n   S c ie n c e s ,   v o l.   4 9 4 ,     p p .   1 2 0 A u g .   2 0 1 9 .   [2 1 ]   H .   A lsh a m l a n ,   G .   B a d r,   a n d   Y.  A lo h a li ,   M icro a rra y   Ge n e   S e l e c ti o n   a n d   Ca n c e Clas sif ic a ti o n   M e th o d   Us in g   A rti f icia Be e   Co lo n y   a n d   S V M   A l g o rit h m ( A BC - S V M ),   Pro c e e d in g o t h e   In ter n a ti o n a Co n fer e n c e   o n   Da t a   En g i n e e rin g   2 0 1 5 v o l.   5 2 0 ,   A u g .   2 0 1 9 ,   p p .   5 7 5 5 84 .   [2 2 ]   V .   N.  V a p n ik ,   S tatisti c a L e a rn in g   T h e o ry ,   A   W il e y - I n ter sc ien c e   p u b li c a t io n   J o h n   W il e y   &   S o n s ,   I n c   p p .   40 1 41 0 ,   S e p .   1 9 9 8 .   [2 3 ]   M .   P .   S .   Bro w n   e a l . Kn o w led g e - b a se d   a n a ly sis  o f   m icro a rra y   g e n e   e x p re ss io n   d a ta  b y   u sin g   su p p o rt  v e c to r   m a c h in e s,   Pro c e e d in g o t h e   Na ti o n a Ac a d e my   o f   S c ien c e s o th e   Un it e d   S t a tes   o Ame ric a 2 0 0 0 ,   p p .   2 6 2 2 67 .   [2 4 ]   R .   A .   M u sh e e r ,   C .   K.  V e rm a ,   a n d   N.   S riv a sta v a No v e m a c h in e   lea rn in g   a p p r o a c h   f o c las sif i c a ti o n   o f   h ig h - d im e n sio n a m icro a rra y   d a ta ,”   S o ft   Co mp u ti n g ,   v o l.   2 3 ,   p p .   1 3 4 0 9 1 3 4 2 1 ,   M a r .   2 0 1 9 .   [2 5 ]   Y .   P e n g ,   W .   Li ,   a n d   Y.   L iu ,   A   Hy b rid   A p p ro a c h   f o Bio m a rk e Di sc o v e r y   f ro m   M icro a rra y   G e n e   Ex p re ss io n   Da ta  f o Ca n c e Clas si f ica ti o n ,   Ca n c e r In fo rm a ti c s ,   v o l.   2 ,   p p .   3 0 1 3 1 1 ,   F e b .   2 0 1 9 .       Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 8 - 8708   I n t J   E lec  &   C o m p   E n g ,   Vo l.  11 ,   No .   4 A u g u s t 2 0 2 1   :   3 3 9 3   -   3402   3402   B I O G RAP H I E S   O F   AUTH O RS        M o c h a m a d   Ag u st a   N a o f a H a k i m   wa b o rn   in   Ng a n ju k In d o e n sia ,   in   2 0 1 5   re c e iv e d   th e   Ba c h e lo d e g re e   o f   In f o r m a ti c En g in e rin g   f ro m   T e lk o m   Un iv e r sity   B a n d u n g I n d o e n sia .   His  re se a rc h   in tere st i n c lu d e o n   Da ta   M in i n g ,   M a c h i n e   L e a rn in g ,   a n d   M icro a rra y   D a ta         Ad iw ija y a   is  a   p ro f e ss o o f   m a t h e m a ti c a S c h o o l   o f   Co m p u ti n g ,   T e l k o m   Un iv e r sit y .   He   is  in tere ste d   in   t h e   re se a rc h   a re a   o f   g ra p h   th e o ry   a n d   it a p p li c a ti o n s,   d a ta  sc ien c e ,   a n d   in f o rm a ti o n   sc ien c e .   He   jo in e d   T e lk o m   Un iv e rsity   sin c e   2 0 0 0   a n d   h a s b e c o m e   p ro f e ss o sin c e   2 0 1 6 .                 W i d As tu ti   o b tain e d   b a c h e lo d e g re e   a n d   m a ste d e g re e   o f   In f o r m a ti c a T e lk o m   Un iv e r sit y .   He re se a rc h   in tere sts in c lu d e   d a ta m in in g ,   b ig   d a ta,  m a c h in e   lea rn in g   a n d   a rti f icia in telli g e n c e .                 Evaluation Warning : The document was created with Spire.PDF for Python.