I nte rna t io na l J o urna l o f   Adv a nces in Applie d Science s   ( I J AAS)   Vo l.   9 ,   No .   2 ,   J u n e  2 0 2 0 ,   p p .   93 ~ 1 0 0   I SS N:  2 2 5 2 - 8 8 1 4 ,   DOI : 1 0 . 1 1 5 9 1 /i j aa s . v 9 . i2 . p p 93 - 100          93       J o ur na l ho m ep a g e :   h ttp : //ij a a s . ia esco r e. co m   A  c hi - sq ua re - SVM   ba sed peda g o g ica l rule  ex t ra ctio n  m ethod  for  m icro a rray  d a ta a na ly sis       M uk hta r  Da m o la   Sa la w u 1 ,  M ichea l O l a o lu Ar o w o lo 2 ,  S ula i m a n O la niy i A bd uls a la m 3 ,    Ra f iu M o pe  I s ia k a 4 ,  B il k i s u  J i m a da - O j uo la pe 5 ,  M ud a s hiru   L a t ee f   O lu m ide 6 ,   K a ze e m A.   G bo la g a de 7   1 , 2, 3, 4 ,7 De p a rtm e n t  o f   Co m p u ter S c ien c e ,   Co ll e g e   o f   In f o rm a ti o n   a n d   Co m m u n ica ti o n   S c ie n c e ,     Kw a ra   S tate   Un iv e rsit y ,   Nig e ria   5 De p a rtme n t  o f   El e c tri c a l  En g in e e rin g   a n d   C o m p u ter E n g in e e rin g ,   Kw a ra   S tate   Un iv e rsit y ,   Nig e ria   6 S c h o o l  o f   Co m p u ter S c ien c e ,   U n iv e rsiti   S a in s M a lay sia ,   M a la y sia         Art icle  I nfo     AB ST RAC T     A r ticle  his to r y:   R ec eiv ed   Dec   15 ,   2 0 1 9   R ev i s ed   Feb   9 ,   2 0 20   A cc ep ted   Mar   1 4 ,   2 0 20       S u p p o rt   V e c to r   M a c h i n e   (S VM)  is   c u rre n t ly   a n   e ff icie n t  c las sif ic a ti o n   tec h n iq u e   d u e   t o   it s a b il it y   to   c a p t u re   n o n li n e a rit ies   in   d iag n o stic sy ste m s,  b u t   it   d o e s  n o t   re v e a l  th e   k n o w led g e   lea rn t  d u ri n g   trai n in g .   It  is  im p o rtan t  t o   u n d e rsta n d   o f   h o w   a   d e c isio n   is  r e a c h e d   in   th e   m a c h in e   lea rn in g   tec h n o l o g y ,   su c h   a s  b io i n f o rm a ti c s.  On   th e   o th e r  h a n d ,   a   d e c isio n   tree   h a s  g o o d   c o m p re h e n sib il it y ;  th e   p ro c e ss   o f  c o n v e rti n g   su c h   in c o m p re h e n sib le  m o d e ls  in to   a n   u n d e rsta n d a b le  m o d e l  is  o f ten   re g a rd e d   a s  ru le  e x trac ti o n .   In   th is  p a p e r  w e   p ro p o se d   a n   a p p ro a c h   f o r  e x trac ti n g   ru les   f ro m   S V M   f o r  m icro a rra y   d a tas e t   b y   c o m b in in g   th e   m e rit s  o f   b o th   th e   S V M   a n d   d e c isio n   tree .   T h e   p ro p o se d   a p p ro a c h   c o n sists   o f   th re e   ste p s ;  th e   S VM - CHI - S QU A RE  is  e m p lo y e d   to   re d u c e   th e   f e a tu re   se t.   D a tas e t  with   re d u c e d   f e a tu re s  is  u se d   to   o b tain   S V M   m o d e l  a n d   s y n th e ti c   d a ta  is  g e n e ra ted .   Clas sif ic a ti o n   a n d   Re g re ss io n   T re e   (CA R T )  is  u se d   to   g e n e ra te  Ru le s  a s  th e   L a st  p h a se .   W e   u se   b re a st  m a ss e s   d a tas e t  f ro m   UCI  re p o sito ry   w h e re   c o m p re h e n sib il it y   is  a   k e y   re q u irem e n t.   F ro m   th e   re su lt   o f   th e   e x p e rim e n t  a s  th e   re d u c e d   f e a tu re   d a tas e t  is  u se d ,     th e   p ro p o se d   a p p r o a c h   e x trac ts  sm a ll e r  len g th   ru les ,   th e re b y   im p ro v in g     th e   c o m p re h e n sib il it y   o f   th e   sy ste m .   W e   o b tain e d   a c c u ra c y   o f  9 3 . 5 3 % ,   se n siti v it y   o f   8 9 . 5 8 % ,   sp e c if icity   o f   9 6 . 7 0 % ,   a n d   train i n g   ti m e   o f   3 . 1 9 5   se c o n d s.  A   c o m p a ra ti v e   a n a l y sis i s c a rried   o u t   d o n e   w it h   o th e r  a lg o rit h m s.   K ey w o r d s :   Ma ch i n e  lear n i n g ,     Me d ical  d iag n o s i s ,     R u le - e x tr ac tio n ,   SVMs   T h is i s  a n   o p e n   a c c e ss   a rticle   u n d e r th e   CC B Y - SA   li c e n se .     C o r r e s p o nd ing   A uth o r :   Mic h ea l O lao l u   A r o w o lo ,    Dep ar t m en t o f   C o m p u ter   Scie n ce ,   K w ar a  Sta te  Un i v er s i t y ,   Ma lete,   Nig er ia .   E m ail:  ar o w o lo . o lao lu @ g m a il . co m       1.   I NT RO D UCT I O N     Ov er   th e  p as t  t w o   d ec ad es,  th e  w o r ld   h as  w it n ess ed   a  tr u e  e x p lo s io n   o f   d ata,   w h ic h   h a s   m ain l y   b ee n   d r iv en   b y   in n o v at iv e  s to r ag e  t ec h n o lo g y   a n d   t h e  in cr ea s in g   p o p u lar it y   o f   t h e  I n ter n et.   T o d ay ,   a  h u g e   a m o u n t   o f   d ata  is   g en er ated   i n   th e  m e d ical  d o m ai n .   A   p o p u lar   s o u r ce   is   m icr o ar r ay   d ata.   Mic r o ar r ay   i s   a  b io lo g ica l   p latf o r m   f o r   g ath er i n g   g en e  ex p r ess io n s   [ 1 ] .   T h e  tech n o lo g y   h elp s   in   th e  id en t if ica tio n   o f   n e w   g e n es.  T h e y   h elp   to   k n o w   ab o u t  th e  f u n c tio n i n g   an d   ex p r es s io n   le v els  u n d er   d if f er e n t  co n d itio n s .   I t  al s o   h elp s   to   lear n   m o r e   ab o u t  d if f er e n t  d is ea s e s   s u ch   a s   h ea r t  d is ea s e,   m e n tal  ill n es s ,   in f ec tio u s   d is ea s e  a n d   m o s t  i m p o r tan tl y   t h e  s t u d y   o f   ca n ce r .   Dif f er e n t  t y p es  o f   ca n ce r   h av e  b ee n   class if ied   o n   th e  p r e m is e  o f   th e  o r g a n s   i n   w h ic h   th e  tu m o r s   d ev elo p .   W it h   th e  h elp   o f   m i cr o ar r ay   tech n o lo g y ,   it  w i ll  b e  p o s s ib le  f o r   th e  r esear ch er s   to   f u r th er   clas s i f y     th e  t y p e s   o f   ca n ce r   o n   t h e  b asi s   o f   th e  p atter n s   o f   g e n e  ac ti v it y   in   t h e  tu m o r   ce lls   [ 2 ,  3 ] .   Mic r o ar r ay   is   a  p o p u lar   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N : 2 2 5 2 - 8814   I n t J   A d v   A p p l Sci ,  Vo l.  9 ,   No .   2 ,  J u n e  2 0 2 0 :  93   –   1 0 0   94   s o u r ce   o f   d ata.   T h e  in tr in s ic  p r o b lem   o f   a  t y p ical  d ata  s et  p r o d u ce d   b y   m icr o ar r ay s   is   t h e  s a m p le  s ize  an d     th e  h i g h   d i m en s io n a lit y   o f   th e  d ata  s et  th u s   m a k i n g   an al y s is   d if f icu l t.  I n   ad d itio n   th e  co m p licated   r elatio n s   a m o n g   th e  d if f er en t  g e n es  m a k e  an al y s i s   m o r e  d if f ic u lt  an d   r e m o v i n g   ex ce s s   f ea t u r es  ca n   i m p r o v e  th e  q u alit y   o f   th e  r es u lts .   I n   th i s   p ap er ,   Featu r e  s elec tio n   u s i n g   S VM - C HI - SQ U A R E   al g o r ith m   is   e m p lo y ed   in   t h e  f ir s t  p h ase  to   r ed u ce   d im e n s io n alit y   o f   t h e  d ata  b y   y ie ld in g   th e  k e y   attr i b u te  in   t h e  d ata.   T h u s ,   f e w er   n u m b er   an d   s m aller   r u les   ar e  o b tai n ed   r es u lti n g   i n   th e  i m p r o v e m e n t  o f   t h e  co m p r eh en s ib ilit y   o f   t h e  s y s te m .   A l s o   an   ap p r o ac h   f o r   p ed ag o g ical  r u le - ex tr ac tio n   was  p r o p o s ed   w h ich   tr ea t s   th e  cl ass i f ier   as  a  “ b lack   b o x ”  an d   d ir ec tl y   ex tr ac t  r u les   w h ic h   r elate   t h e  i n p u t  an d   t h e  o u tp u t  o f   t h e  SV M.   Dec is io n   t r ee s   ( C AR T )   w h ic h   h a v e  a  s ig n i fi ca n t  ad v an ta g e   o f   p r o d u cin g   in ter p r etab le  r u les  w er e  u s ed .   R u les  w er e  g e n er ated   b y   in te g r ati n g   m er its   o f   b o th   SVMs  an d   d ec is io n   tr ee .   R u le  s et  p er f o r m an ce   is   th e n   esti m ated   u s i n g   th e  m ea s u r ed   r ates  o f   tr u e  p o s itiv es  ( T P s )   an d   f alse   p o s itiv es   ( FP s ) .   Usi n g   t h is   ap p r o ac h ,   w e  w il l  s h o w   b o t h   a n   i m p r o v ed   class if icatio n   p er f o r m an ce   an d   co m p r e h en s ib ilit y   co m p ar ed   to   th e  p r ev io u s l y   p r o p o s ed   tech n iq u e s .       2.   M E T H O DS   I n   th is   s ec tio n ,   w e  p r o v id e  a  b r ief   in tr o d u ctio n   o f   F ea tu r e  Sel ec tio n ,   SVM,   R u le  ex tr ac tio n   an d   C A R T     2 . 1 .   F ea t ure  s elec t io n   A   n u m b er   o f   m et h o d s   h av e  b ee n   p r o p o s ed   f o r   r u le  ex tr ac tio n   f r o m   S VM s .   B r o ad ly   s p ea k in g ,   t h es e   m et h o d s   ca n   b e  ca teg o r ized   in to   th r ee   m ai n   f a m ilie s   w h ic h   ar e:  p ed ag o g ical,   d ec o m p o s it io n ,   an d   ec lectic  [ 4 ] .   So m e  o f   t h e s e  m e th o d s   to   d ate  s till   p r o d u ce   r elativ el y   lar g e  r u le  s ets,  w h ic h   li m it s   th eir   ex p la n atio n     ca p ab ilit y   [ 5 ] .   R u le  s e ts   ca n   o n l y   o f f er   ex p la n atio n   i f   t h e  n u m b er   o f   r u le s   in   th e  r u le  s et  is   r elativ el y   s m all  a n d   its   class i f icat io n   ac c u r ac y   i s   h i g h .   Si m p ler   r u les  also   o f f er   b e tter   u n d er s ta n d in g   an d   ex p lan a tio n   [ 6 ] .   T o   ex tr ac t  m o r e  co m p r e h e n s ib le  r u les,  ir r elev an t  f ea tu r es   w h ich   d o   n o t  co n tr ib u te  to   t h e  clas s i f icatio n   d ec is io n   s h o u ld   n o t  b e  in   th e  r u le  an tece d en ts .   T h i s   h ig h li g h ts   a  r eq u ir e m e n t  to   co n s id er   f ea tu r e  s elec tio n   as  an   in te g r al  p ar t  o f   r u le   ex tr ac tio n .   I n   f ea tu r e  s elec tio n ,   o n e  s elec ts   o n l y   t h o s e  i n p u t   d i m e n s io n s   t h at  co n tai n   t h e  r elev an t  i n f o r m atio n   f o r   s o lv i n g   t h e  p ar ticu lar   p r o b le m .   T h er e  ar e  th r ee   ca te g o r ies  o f   f ea t u r e  s ele ctio n   w h ic h   ar e:  f il ter s ,   w r ap p er s ,   an d   e m b ed d ed   tech n iq u e s .   T h is   w o r k   f o cu s e s   o n   f i lte r - b ased   ap p r o ac h .   C h i - s q u ar e  to   b e  s p ec if ic.     T h e  d if f er en ce   b et w ee n   C h i - s q u ar e  an d   o th er   m et h o d s   an d   th e  r ea s o n   it  w i ll  b e  u s ed   is   t h at  it  is   v er y   r o b u s t  w it h   r e s p ec t  t o   d is tr ib u tio n   o f   t h e  d ata,   it s   s i m p lic it y   o f   c o m p u tatio n ,   t h e  d etailed   i n f o r m atio n   t h at  ca n   b e   d er iv ed   f r o m   th e  te s t,  an d   it s   f lex ib ilit y   i n   m a n a g in g   d ata  f r o m   b o th   t w o   g r o u p   an d   m u ltip l e  g r o u p   s tu d ie s .     2 . 2 .   SVM s   T h e  SVM  alg o r ith m   [ 7 ]   is   a  class i fi ca tio n   al g o r ith m   t h at  p r o d u ce s   s tate - of - t h e - ar t  p er f o r m an ce   in     a  v ast  v ar iet y   o f   ap p licatio n   d o m a in s ,   in cl u d in g   b io in f o r m at ics.  T h er e  a r e  tw o   k e y   r ea s o n s   f o r   u s in g   th e  SVM   in   b io in f o r m atics  [ 8 ] .   First,  m an y   b io lo g ical  is s u e s   in v o lv e  h ig h - d i m en s io n al,   n o i s y   d ata.   T h e  SVM  is   k n o w n   to   b eh av e  v er y   w ell  w it h   t h ese  d ata  co m p ar ed   to   o th er   s tati s tic al  o r   m ac h in e   lear n i n g   m et h o d s .   Seco n d ,   co n tr ar y   to   m o s t  m ac h in e  lear n i n g   tech n iq u e,   k er n el  m et h o d s   li k e  t h e  SVM  ca n   ea s il y   h an d le  n o n   v e cto r   in p u ts ,   s u c h   a s   v ar iab le  len g t h   s eq u e n ce s   o r   g r ap h s   [ 9 ] .   Fo r   class i f icatio n   p r o b le m s   SVM  f in d s   a  m a x i m al  m ar g in   h y p er p lan e   th a t  d iv id e s   t w o   cla s s e s .     T h e  m ai n   in te n t  o f   SV M  is   t o   f in d   an   o p ti m al  s ep ar ati n g   h y p er p lan e  t h at  co r r ec tl y   clas s if ie s   d ata  p o in ts   as  m u c h   as  p o s s ib le  b y   r ed u ci n g   th e  r is k   o f   m is cla s s i f y in g   th e  tr ain i n g   s a m p le s   an d   u n s ee n   test   s a m p le s .     T o   ad d r ess   w i th   n o n - li n ea r   is s u es,  SVM  f ir s t  p r o j ec ts   d ata  i n to   h i g h er   d i m en s io n al  f ea t u r e  s p ac e  an d   tr ies  to   f i n d   th e  li n ea r   m ar g in   i n   t h e  n e w   f ea t u r e  s p ac e  [ 10 ] .   Ass u m in g   {( 1 , 1 ) , … , ( , ) }   b e  a   tr ain in g   s et   w it h   1       an d     is   th e  co r r esp o n d in g   tar g et   class .   SVM  ca n   b e  r ef o r m u lat ed   as   ( 1 )   an d   ( 2 ) :     Ma x i m ize=   ∑ −   1 2 ∑ ∑ ( , ) = 1 = 1 = 1   ( 1 )     Su b j ec t to ;  ∑   = 0          ≥ 0 , = 1 , 2 , … , = 1   ( 2 )     T h e  k er n el  f u n ct io n   i s   u s ed   to   s o lv e  t h e  p r o b le m .   T h e  Ker n e l  f u n ctio n   a n al y s es   th e   r elatio n s h ip   a m o n g   th e  d ata  an d   it c r ea tes a  co m p l ex   d iv i s io n   i n   th e  s p ac e  [ 11 ].     2 . 2 . 1 .   Rule  ex t ra ct io n f ro m   s v m   T h e  s u p p o r t   v ec to r   m ac h in e  ( SVM)   m eth o d   is   a  p r o m i s i n g   class i fi ca tio n   an d   r eg r ess io n   tech n iq u e  p r o p o s ed   b y   Vap id   an d   h is   c o w o r k er s   [ 12 ] .   T h e  SVM  h as   b ee n   s u cc es s f u l l y   ap p lied   to   a  w id e  v ar iet y   o f   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J   A d v   A p p l Sci   I SS N:  2 2 5 2 - 8814       A   ch i - s q u a r e - S V M  b a s ed   p e d a g o g ica l ru le  ex tr a ctio n   met h o d   fo r   micro a r r a y  …  ( Mu kh ta r   Da mo la   S a la w u )   95   ap p licatio n   d o m ai n s   [ 13 ]  in clu d in g   b io in f o r m at ics   [ 14 ] .   I t  is   esp ec iall y   i m p o r tan t  f o r   th e  f ie ld   o f   co m p u tatio n a l   b io lo g y   b ec au s e  it  is   u s ed   f o r   p atter n   r ec o g n itio n   p r o b lem s   in cl u d in g   p r o tein   r e m o te  h o m o lo g y   d etec tio n ,   m icr o ar r a y   g e n e  ex p r es s io n   an al y s is ,   r ec o g n itio n   o f   tr a n s latio n   s tar t  s ite s ,   p r o tein   s t r u ctu r e  p r ed ictio n ,   f u n ctio n al  cla s s i ficatio n   o f   p r o m o ter   r eg i o n s ,   p r ed ictio n   o f   p r o tein – p r o tein   in ter ac ti o n s ,   an d   p ep tid e  id en ti fi ca tio n   f r o m   m a s s   s p ec t r o m etr y   d ata  [ 15 ].   T h e  SVM  h a s   s h o w n   a  s u p er io r   p er f o r m a n ce   th a n   m o s t tr ad itio n al  m ac h in e  lear n i n g   m eth o d s   s u c h   a s   n eu r al  n et w o r k s   ( NN s )   in   m a n y   ap p licatio n s .   Ho w ev er ,   t h es e  tech n iq u e  s till   p r o d u ce s   b lack   b o x   m o d els  w it h   litt le  o r   n o   ex p lan atio n   ca p ab ilit y .   I n   ap p licatio n   ar ea s   s u ch   as  m ed ical  d iag n o s is ,   t h er e  is   an   ev id en t  n ee d   f o r   an   e x p lan atio n   co m p o n en t   to   b e  ass o ciate d   w it h   cla s s i f icat i o n   d ec is io n s   i n   o r d er   to   aid   t h e  ac ce p tan ce   o f   t h ese  m et h o d s   b y   u s er s   [ 16 ] .   T o   b e  a b le  to   u s e  t h e  e x tr a  ac cu r ac y   o f   th e  S VM ,   w h ich   ca n   lead   to   li v es  s av ed   o r   m o n e y   g ain ed ,   as  w ell  as  to   o b tai n   a  u s ab le,   r ea d ab le  m o d el ,   r u les  ca n   b e  ex tr ac ted   f r o m   th e  co m p lex ,   in co m p r eh e n s ib le  SVM  m o d el s .   T h ese  r u les ar e  in ter p r etab le  b y   h u m a n s   an d   k ee p   as  m u ch   o f   th e  ac cu r ac y   o f   th e  b lack   b o x   as p o s s ib le  [ 17 ].     2 . 3 .   Rule  ex t ra ct io n t ec hn iq ue   C o m p r eh e n s ib il it y   ca n   b e  ad d ed   to   SVMs  b y   ex tr ac tin g   s y m b o lic  r u les  f r o m   t h e  tr ai n ed   m o d el.     R u le   ex tr ac tio n   tec h n iq u e s   att e m p t  to   o p en   u p   t h e  SVM  b l ac k   b o x   a n d   g en er ate  s y m b o l ic,   co m p r eh e n s ib le   d escr ip tio n s   w it h   ap p r o x i m a tel y   t h e  s a m e  p r ed ictiv e  p o w er   as  th e  m o d el  its e lf .   An   ad v a n t ag e  o f   u s i n g   SVM s   as  a  s tar ti n g   p o in t  f o r   r u le  e x tr ac tio n   is   t h at  t h e  SVM  c o n s id er s   t h e  co n tr ib u tio n   o f   th e  i n p u t s   to w ar d s   class i fi ca tio n   a s   a  g r o u p ,   w h il e  d ec is io n   tr ee   alg o r it h m s   li k e   [ 18 ]   C A R T   m ea s u r e  t h e  in d i v id u al  co n tr ib u tio n   o f   th e  i n p u t s   o n e  at  a  ti m e  as t h e  tr ee   is   g r o w n .   I n   g e n er al,   r u le  ex tr ac tio n   te ch n iq u es  ar e  d iv id ed   i n to   t wo   m aj o r   g r o u p s   i.e .   d ec o m p o s itio n   a n d   p ed ag o g ical.   Dec o m p o s it io n   tech n iq u es   v ie w   t h e  m o d el  at  its   m i n i m u m   ( o r   fin est)  l ev el  o f   g r a n u lar i t y     ( at  th e  le v el  o f   h id d en   an d   o u t p u t  u n it s   i n   ca s e  o f   A N N) .   R u l es  ar e  fi r s t  e x tr ac ted   at  i n d i v id u al  u n i t  le v el,   t h ese   s u b s et s   o f   r u le s   ar e  th e n   ag g r eg ated   to   f o r m   g lo b al  r elatio n s h i p   [ 19 ] .   On   th e  o th er   h a n d ,   a  p ed ag o g ical  al g o r ith m   co n s id er s   t h e  tr ain ed   m o d el  as   a  b lack   b o x .   I n s tead   o f   lo o k i n g   at  t h e  i n ter n al   s tr u ctu r e,   t h es e  alg o r ith m s   d o   n o t   m ak e   u s e  o f   th e   s u p p o r t  v ec to r s   o r   SVM  d ec is io n   b o u n d ar y ,   b u t  d ir ec tl y   ex tr ac t  r u les   u s i n g   t h e  i n p u t – o u tp u t   m ap p in g   d efin ed   b y   t h e  SVM   m o d el.   T h ese  tech n iq u es  t y p i ca ll y   u s e  th e  tr ain ed   SVM  m o d el  as  an   o r ac le   to   lab el  o r   class if y   ( ar ti fi ciall y   g e n er ated )   tr ain in g   ex a m p les  w h i ch   ar e  th en   u s ed   b y   a  s y m b o lic  lear n in g   al g o r ith m .   T h e  id ea   b eh in d   th ese  tec h n iq u es  i s   th e  a s s u m p t io n   t h at  t h e   tr ain ed   m o d el  ca n   b etter   r ep r esen t  t h e  d ata  th a n     th e  o r ig i n al  d ataset.   T h at  is ,   th e  d ata  is   clea n er ,   f r ee   o f   ap p ar en t  co n fl ic ts .   Si n ce   th e  m o d el  i s   v ie w ed   as   a  b lack   b o x ,   m o s t  p ed ag o g ica l  alg o r it h m s   le n d   th e m s elv e s   v er y   ea s i l y   to   r u le  e x tr ac tio n   f r o m   o th e r   m ac h i n e  lear n in g   alg o r ith m s   [ 20 ].     2 . 4 .   Dec is io n t re e   T h e  co m p r eh e n s ib ili t y   o f   d ec is io n   tr ee s   i s   o n e  t h eir   m o s t u s ef u l c h ar ac ter is tics ,   s i n ce   d o m ain   ex p er t s   ca n   ea s i l y   u n d er s tan d   th e  p r i n cip le  o f   t h e  tr ee ,   an d   w h y   a  c er tain   o b j ec t  is   clas s if ied   to   b elo n g   to   a  s p ec i f ic   class .   Mo r eo v er ,   d ec is io n   tr ee s   ar e  p r o b ab ly   th e   m o s t  e x ten s iv el y   r e s ea r ch ed   m ac h in e   lea r n in g   m et h o d ,   ca n   d ea l  w ith   an y   k i n d   o f   in p u t  d ata  ( d is cr ete ,   c o n tin u o u s ,   b in a r y ,   attr ib u te s ) .   T h ey   ca n   also   co p e  w it h   m i s s i n g   v alu e s ,   s i n ce   th e  in f o r m atio n   th at  attr ib u te  v a lu e s   ar e  m i s s i n g   f o r   s p ec if ic  o b j ec ts   ca n   b e   p r o ce s s ed   b y   m o s t   d ec is io n   tr ee   alg o r ith m s .   T h e  l ea r n in g   p r o ce s s   o f   d ec is io n   tr ee s   is   u s u all y   q u i te  f ast  co m p ar ed   to   o th er   m et h o d s   lik e  s u p p o r t  v ec to r   m ac h i n es  o r   n eu r al  n et w o r k s ,   an d   s i n ce   m o s t  tr ee s   ar e  p r u n ed ,   th eir   class i f icatio n   p r o ce s s   is   u s u all y   also   v er y   f a s t.  Se v er al  s t u d ies   [ 21 ]   h av e  s h o w n   t h at  t h e  c lass if ica tio n   ac cu r ac y   i s   g en er al l y   co m p ar ab le  to   th e  q u alit y   o f   k NN  an d   r u le - b ased   lear n er s ,   b u t  ca n n o t  r ea ch   th e  q u al it y   o f   s u p p o r t  v ec to r   m ac h in e s   o r   em b ed d ed   m et h o d s ,   w h ic h ,   o n   th e  co n tr ar y ,   ar e  h ar d l y   co m p r eh e n s ib le  ( d if f ic u lt  to   u n d er s ta n d   f o r   d o m ai n   e x p er ts )   an d   ar e  n o t   g o o d   in   h a n d lin g   m is s i n g   d ata  ( s in ce   m is s i n g   d ata  h as  t o   b e  r ep lace d   w it h   alter n ati v e  v al u es  s u c h   as  m ea n   o r   ze r o   v alu es b ef o r e  class if i ca tio n ) .     2 . 5 .   Co m bin ed  s v m   a nd   deci s io n  t re e   T h e  in s p ir atio n   o f   co m b i n in g   t h e  SVM  an d   d ec is io n   tr ee   is   t o   m er g e  th e  s tr o n g   g e n er aliza t io n   ab ilit y  o f   th e  S VM   an d   t h e  s tr o n g   co m p r e h e n s ib ilit y   o f   r u le  i n d u cti o n .   Sp ec i fi ca ll y ,   o u r   alg o r it h m   e m p lo y s   t h e  S VM   as  a  p r ep r o ce s s   o f   d ec is io n   tr ee   an d   co n s is t s   o f   th r ee   m aj o r   s tep s .   First,  a  lab elled   d ata  s et  is   u s ed   f o r   SVM   lear n in g   p u r p o s es,  i.e .   to   b u ild   a  m o d el  w it h   ac ce p tab le  ac cu r ac y .   A   s ec o n d   d ata  s et  is   g en er ated   w i th   th e  s a m e   attr ib u tes  b u t  d i f f er e n t  v al u es  to   ex p lo r e  th e  g en er aliza tio n   b eh av io r   o f   th e  S VM .   T h at  is ,   th e  SVM  is   u s ed   to   g et  t h e  cla s s   lab el s   f o r   th i s   d at a  s et.   He n ce   a  s y n t h etic  d ata  s e t  is   o b tain ed .   Fin a ll y ,   th e  s y n t h etic  s et  i s   t h e n   u s ed   to   tr ain   a  m ac h i n e  lear n i n g   tec h n iq u e  w i th   e x p la n atio n   ca p a b ilit y .   T h er eb y ,   r u le s   ar e  g en e r ated   th at  r ep r esen t   th e  g e n er aliza tio n   b eh av io r   o f   th e  SVM   [ 22 ] .       Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N : 2 2 5 2 - 8814   I n t J   A d v   A p p l Sci ,  Vo l.  9 ,   No .   2 ,  J u n e  2 0 2 0 :  93   –   1 0 0   96   3.   P RO P O SE D  RU L E   E XT RA CT I O N  AP P RO ACH   T h e  p r o p o s ed   s y s te m   is   a  p ed a g o g ical/ L ea r n i n g - B ased   p r o ce d u r e  f o r   ex tr ac tin g   r u le s   f r o m   SVM  an d   is   co m p o s ed   o f   t h r ee   p h ases .   Firstl y ,   f ea t u r e  s elec t io n   u s i n g   C h i - s q u ar e - SVM  i s   f ir s t  e m p l o y ed   a n d   th e  ac t u a l   tar g et  v a lu e s   o f   tr ain i n g   i n s ta n ce s   ar e  r ep lace d   b y   t h e  p r ed icti o n s   o f   SV M  m o d els  a n d   C ase - P   ( i.e .   tr ain in g   in s ta n ce s   w i th   co r r esp o n d in g   p r ed icted   tar g et  v alu es)  d atasets   ar e  g en er ated .   Fo r   th e  h ig h   d i m en s io n al it y   d at a   s et  p r o d u ce d   b y   m icr o ar r a y ,   W is co n s i n   b r ea s t  ca n ce r   d atas et  is   a n al y s ed .   I t  is   o b s er v ed   t h at  r ed u ce d   f ea tu r e s   r ed u ce   th e  co m p lex it y   o f   th e  s y s te m   a n d   in cr ea s e s   th e  co m p r eh en s ib ili t y   o f   t h e  r u le s   Sec o n d l y ,   th e  r ed u ce d   d ataset  is   u s ed   to   tr ain   t h e  S VM ,   a  s ec o n d   d ataset  i s   g e n e r ated   i.e   SVM  is   u s ed   to   g et  th e  clas s   lab els  f o r     th e  d ataset.   He n ce   a  s y n th etic  d ata  is   o b tain ed .   Fin all y ,   R u le s   ar e  g en er ated   u s i n g   NB T r ee .   Oth er   ca s es  w ill  b e   d is cu s s ed   is   s u b s eq u e n t  w o r k .   T h e  ar ch itectu r e  o f   t h e  ap p r o a ch   p r o p o s ed   is   s h o w n   i n   Fi g u r e  1 .       4.   E XP E R I M E NT A L   SE T UP   4 . 1 .   Da t a s et   des cr iptio n   Fo r   b u ild in g   a n d   test i n g   t h e  ef f ec tiv e n e s s   o f   o u r   al g o r ith m ,   w e  p er f o r m ed   ex p er i m e n t   o n   ca n ce r   d ataset.   T h e  b r ea s t  ca n ce r   d at ab ase  w a s   o b tain ed   f r o m   t h e  Un i v er s it y   o f   W is co n s i n   Ho s p itals ,   Ma d is o n   f r o m   Dr .   W illi a m   H.   W o lb er g .   T h is   d ataset  is   ch o s e n   b ec a u s e  o f   i ts   p u b lic  ac ce s s ib ilit y   a n d   h as  p r ev io u s l y   b ee n   u s ed   f o r   s e v er al  Ma c h in e   L ea r n i n g   s tu d ie s .   T h e  p r o b lem   is   to   clas s if y   b r ea s t   m a s s e s   a s   eit h er   b e n ig n   o r   m ali g n an t,  u s i n g   n i n e  attr ib u tes,  all  w i th   i n teg er   v al u es  b et w ee n   1   an d   1 0 .   Fo r   th e  class   lab el  ( 2   f o r   b en ig n ,     4   f o r   m al ig n a n t) .           Fig u r e  1 .   A r ch itectu r e  o f   t h e  p r o p o s ed   ch i - s q u ar e - SVM  p ed ag o g ical  r u le  ex tr ac tio n   ap p r o a ch       4 . 2 .   E x peri m e nta l set up   T h is   d ata  s et  h as  6 9 9   s a m p les .   I n   th is   e x p er i m e n t  th e y   w er e  d iv id ed   in to   t w o   p ar ts   o f   8 0 :2 0   r atio s .   8 0 %  an d   2 0 %  tr ain in g   a n d   tes t/v alid atio n   s et s   w i th   5 6 0   an d   1 3 9   s a m p les  r esp ec ti v el y .   T h e  2 0 %  o f   t h e  d ata  i s   k ep t  asid e  f o r   later   u s e.   Usi n g   v alid atio n   s et,   ef f icie n c y   o f   th e  r u les  g e n er ated   d u r in g   th e  ex p er i m e n t  is   ev alu a ted .   T h e  ex p er i m en tal  s etu p   w er e  ca r r ied   o u t  an d   d ev elo p ed   w ith   th e  Ma t lab   p r o g r am m in g   ( M A T L A B   2 0 1 5 A )   v ar io u s   f u n ctio n s   w e r e  d ev elo p ed   an d   lin k ed   to   a  g r ap h ic  u s er   in ter f ac e  f o r   u s er   in ter ac tiv i t y   a n d   r esp o n s iv e n e s s .   Du r i n g   t h e  tr ain i n g   o f   th e  SV M  m o d el  th e  f o llo w i n g   ar e  th e  p ar am e ter   s ettin g s   th a t   w a s   u s ed   C o s t=0 . 7 6 2 9 4 2 7 7 9 2 9 1 5 5 3 ,   Ker n el  f u n ctio n = R B f   Ker n el   th e  d ev elo p ed   s y s te m s   m ad e  u s e  o f   v ar io u s   co m p o n e n t e n v ir o n m en t s   in   Ma tlab   to   d ev elo p   an d   o u tp u t r esu lt o f   t h e  d ata  m in i n g   tas k .       5.   RE SU L T   AND  DI SCUS SI O N   W e  ev alu ate   an d   d i s cu s s   t h e  p er f o r m an ce   o f   o u r   ap p r o ac h   S VM +N B T r ee   u s in g   C a s e - P   w i th   r esp ec t   to   s p ec if icit y ,   s e n s i tiv it y ,   an d   ac cu r ac y .   Du r in g   f ir s t  f ir s t  p h ase  o f   th e  p r o p o s ed   a p p r o ac h ,   SVM - C h i - s q u ar e   alg o r ith m   is   e m p lo y ed   f o r   f ea tu r e  s elec tio n   an d   s ix   at tr ib u t es  ar e  th en   s elec ted ,   th o s e  ar e ,   C lu m p   th ic k n es s ,   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J   A d v   A p p l Sci   I SS N:  2 2 5 2 - 8814       A   ch i - s q u a r e - S V M  b a s ed   p e d a g o g ica l ru le  ex tr a ctio n   met h o d   fo r   micro a r r a y  …  ( Mu kh ta r   Da mo la   S a la w u )   97   Un i f o r m it y   o f   ce ll  s ize,   Ma r g i n al  ad h esio n ,   Sin g le  ep ith e lial c ell  s ize,   B ar e  n u clei,   an d   B lan d   ch r o m ati n .   A f ter   s elec tio n   o f   o p ti m al  s u b s et  th e  s elec ted   s u b s et  w as  h e n ce   d iv id ed   in to   tr ain in g   s et  an d   test   s et  in   th e  r atio   o f   8 0 %: 2 0 %.  T h en ,   th e  tr ain i n g   s et  w a s   p ass ed   to   SVM  m o d el  f o r   th e  p r ed ictio n   o f   n e w   clas s   lab el  w h ic h   f o r m s   th e  s y n th et ic  class   lab el.   A   tr ain i n g   ti m e  o f   3 . 1 9 5 1 2   s ec o n d s   w a s   o b tain ed .   T h e  s y n t h eti c  s et  is   n o w   u s ed   to   tr ain   t h e  d ec i s io n   tr ee .   T h e  C AR T   d ec is io n   tr ee   w a s   u s ed   to   g en er alize   th e  o b tai n ed   r esu l ts .   T h er eb y ,   a  to tal  o f   n in e  r u les  w er e  g e n er ated   th at   r ep r esen ts   th e  g e n er aliza tio n   b eh av io r   o f   th e  SVM.   Fi g u r e  2   s h o w s   th e  C AR T   tr ee   g en er ated .           Fig u r e  2 .   C A R T   tr ee   g en er ate d       5 . 1 .   Co nfusi o n  m a t rix   f o r  o ur  pr o po s ed  m o del   T h e  ef f ec ti v en e s s   o f   o u r   ap p r o ac h   is   ev alu ated   u s i n g   A cc u r ac y ,   Se n s i tiv it y ,   a n d   Sp ec if icit y .     T h e  m ea s u r es  u s ed   to   ev al u ate   th e  p er f o r m a n ce   o f   o u r   m o d el   is   d ef in ed   as  f o llo w s :   Sen s iti v it y   =  T P /  ( T P +FN) ,   Sp ec if icit y   =   T N/  ( FP + T N, ) ,  A cc u r ac y   =   ( T P   +  T N)   /  ( T P + T N+ FP +FN) ,  T P   =  T r u e   P o s itiv e,   T N  =  T r u e  Neg ativ e,   FP   =  Fals e  P o s iti v e,   F N  =  Fal s e  Neg a tiv e.   Fi g u r e  3   s h o w s   t h e  co n f u s io n   m atr i x   f o r   o u r   p r o p o s ed   m o d el  i.e   C a s e  P           Fig u r e  3 .   C o n f u s io n   m atr ix   f o r   o u r   p r o p o s ed   m o d el       Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N : 2 2 5 2 - 8814   I n t J   A d v   A p p l Sci ,  Vo l.  9 ,   No .   2 ,  J u n e  2 0 2 0 :  93   –   1 0 0   98   Fro m   th e  F ig u r e  1   ab o v e  o u r   v alu es c a n   b e  o b tain ed :     T P   =  4 7 ,   T N  =  8 3 ,   F P   =  8 ,   FN =   1   Sen s iti v it y   =  4 7 /4 7   +  1   =  0 . 9 7 9 1   =  9 7 . 9 1 6 6 %   Sp ec if icit y   =  8 3 /3   +  8 8   =  0 . 9 6 7 0 3 3   =   9 6 . 7 0 3 3 %   A cc u r ac y   =  4 7   +  8 3 / 4 7   +  8 3   +  8   +  1   =  0 . 9 3 5 2   =   9 3 . 5 2 5 1 %     5 . 2 .   Co m pa riso n o f   o ur  t ec hn iqu e  t o   o t her  s v m   ru le  ex t ra ct io n t ec hn iqu e    T ab le  1   s h o w s   co m p ar ati v e  r e s u lt s   o f   SVM + C A R T +C h i - s q u ar e  ag ain s t  a  n u m b er   o f   o t h er   p r ev io u s l y   p u b lis h ed   SV M  r u le  ex tr ac tio n   m et h o d s .       T ab le  1 .   C o m p ar is o n   w i th   o t h er   r u le  ex tr ac tio n   m et h o d   T e c h n i q u e   A c c u r a c y   ( %)   S e n si t i v i t y   ( %)   S p e c i f i c i t y   ( %)   N u mb e r   o f   R u l e s   T i me ( se c )   S V M + N B T r e e - F a r q u a d   ( 2 0 0 9 )   7 7 . 0 7   6 8 . 5 2   78   N / A   N / A   S V M + C 4 . 5 -   M a r t e n s ( 2 0 0 7 )   9 4 . 6   N / A   N / A   9   N / A   S V M + C A R T +   C h i - s q u a r e   ( 2 0 1 6 )   9 3 . 5 2 5 1   8 9 . 5 8 3 3   9 6 . 7 0 3 3   9   3 . 1 9 5       T h e  ch u r n   p r ed ictio n   d ataset  w a s   an al y s ed   b y   Far q u ad ,   w h ile  w is co s in   b r ea s t  ca n ca er   d ata  s et  w as   an al y ze d   b y   Ma r ten s   a n d   u s .   I n   th e s e  tab les,  i t  is   e v id e n t  t h at  SV M+ C AR T +Ch i - s q u ar e  h as,  o n   th e  d ata s et,   s ig n i f ica n tl y   s m a ll  r u le  s e ts   an d ,   th er ef o r e,   p o ten tia l l y   i m p r o v ed   co m p r eh e n s ib i lit y .   I n   ad d itio n ,   SVM+ C AR T +Ch i - s q u ar e  h as   g o o d   p er f o r m an ce ,   as  m ea s u r ed   b y   th e  o v er all  ac c u r ac y .   I t  w il l  b e  n o ted   th at   C 4 . 5   o u tp er f o r m ed   o u r   alg o r ith m   i n   ter m s   o f   ac cu r ac y   alo n e  b u t  s en s iti v it y ,   s p ec if ici t y ,   an d   ti m e  w er e  n o t   r ep o r ted   f o r   a  c o m p ar is o n .   I t  is   co n cl u d ed   th at  t h er e  is   n o   o n e  alg o r ith m   t h at  ca n   b e  f av o r ed   in   g e n er al.     T h er e  is   cu r r en tl y   n o   o n e  m e t h o d   th at  ca n   f u lf ill all  cr iter ia  s i m u lta n eo u s l y .   T h er e  is   al w a y s   tr ad eo f f s .       6.   CO NCLU SI O N   I n   th i s   w o r k ,   w e  tr ea ted   Fea tu r e  Selectio n   as  a n   i n te g r al  p ar t  o f   r u le  e x tr ac tio n .   E m p lo y i n g   Feat u r e   s elec tio n   lead   to   th e  r em o v al   o f   ir r elev an t  f ea tu r e s   w h ic h   d o   n o t  c o n tr ib u te  to   class if ic atio n   d ec is io n   an d   ex tr ac tio n   o f   m o r e  co m p r eh e n s ib le  r u les.  SVM s   h av e  p r o v en   to   b e   a   class if icatio n   tech n iq u e  w it h   ex ce lle n t   p r ed ictiv e  p er f o r m a n ce .   A s   f o r   m a n y   ap p licatio n s ,   th e  o p aq u en es s   o f   t h e  tr ain ed   n o n l in ea r   m o d el  is   an   u n b r ea ch ab le  b ar r ier ;  m o r e  co m p r e h e n s ib le  s o lu tio n s   n ee d   to   b e  f o u n d .   T h e  m o s t  co m p r eh e n s ib le  clas s if icatio n   m o d el s   b ein g   r u le  s ets,  SVM  r u le  ex tr ac tio n   tr ies  to   co m b i n e  th e  p r ed ictiv e  ac cu r ac y   o f   t h e  tr ain ed   SVM  m o d el   w it h   t h e  co m p r eh e n s ib il it y   o f   th e  r u le  s e t f o r m a t   R u le  ex tr ac tio n   tech n iq u e s   g e n er ate  class i fi ca tio n   m o d els  th at  h av e  clea r   ad v an tag e s .   First  o f   all,   th e y   ar e  co m p r eh e n s ib le  an d   th er e f o r e  ea s y   to   in co r p o r ate  in   r ea l - l if e  ap p licatio n s   w h er e  clar it y   o f   th e  clas s i fi ca t io n s   m ad e  is   n ee d ed .   Seco n d l y ,   th e   ex tr ac ted   r u le s   o n l y   lo s e  a  s m all  p er ce n tag e  in   ac c u r ac y   o f   t h e  b lack   b o x   m o d el   f r o m   w h ich   t h e y   ar e  g en er ated .   Sin ce   s u p p o r t  v ec to r   m ac h i n es  ar e  a m o n g   th e  b est  p er f o r m in g   cla s s i fier s ,   r u le s   ex tr ac ted   f r o m   SVMs  ac h ie v e   an   ac cu r ac y   th a t  o f te n   s u r p as s es  t h at  o f   t h e  clas s ical  m et h o d s ,   s u c h   as  C A R T   an d   C 4 . 5 .   Usi n g   th e  SVM  m o d el  in s tead   o f   th e  o r ig in al  d ata  p o in ts   eli m in a tes  th e  ap p ar en t  co n fl icts   a n d   cr ea tes  a  clea n er   d ataset.   I n   o u r   ex p er i m en ts ,   th e  r u le s   g e n er ated   b y   C AR T   o n   th e  d ata  w it h   lab els  p r ed icted   b y     th e  SVM  ev e n   o u tp er f o r m   t h e  C AR T   r u les  th at  r esu lt  f r o m   th e  d ataset  w i th   t h e  ac tu al  clas s   lab els.     T h ese  ad v an ta g es   m ak e   it  ap p r o p r iate  to   co n s id er   SVMs  a n d   th eir   e x tr ac ted   r u le s   f o r   ap p licatio n s   w h er e  b o t h   ac cu r ac y   an d   co m p r eh e n s ib ili t y   ar e  r eq u ir ed .   On e  n o   lo n g er   n ee d s   to   s ettle  f o r   th e  tr ad itio n al  co m p r eh e n s ib le,   y et  les s   ac cu r ate  clas s i fi ca t io n   m et h o d s .       RE F E R E NC E S   [1 ]   Zen a ,   M .   H.,   a n d   G il li e s,  D.   F. ,   “ A   re v ie w   o f   f e a tu re   se lec ti o n   a n d   f e a tu re   e x trac ti o n   m e th o d s a p p li e d   o n   m icro a rra y   d a ta ” ,   De p a rtme n t  o f  C o mp u ti n g ,   Im p e rial  Co ll e g e ,   2 0 1 5 .   [2 ]   S e lv a ra ja,  S . ,   “ M icro a rra y   Da ta  An a ly sis  T o o l   (M AT ) ”, .   Ak ro n :  G r a d u a te  F a c u lt y   o f   T h e   Un iv e rsit y   o f   A k ro n ,  2 0 0 8 .   [3 ]   A ro w o lo   M . O.,   A b d u lsa lam   S . O.,   S a h e e d   Y.K.,   a n d   S a law u   M . D.,   “ A   f e a tu re   se lec ti o n   b a se d   o n   o n e - w a y - A NO V A   f o r  m icro a rra y   d a ta cla ss i f ic a ti o n , ”   Al - Hik ma h   J o u rn a l  o f  P u re   a n d   Ap p li e d   S c ien c e s ,   v o l.   3 ,   n o .   1 ,   p p .   3 0 - 3 5 ,   2 0 1 6 .   [4 ]   A n d re w s,  R. ,   Die d e rich ,   J.,   a n d   T ick le,  A .   B. ,   “ A   S u rv e y   a n d   c rit iq u e   o f   tec h n iq u e s f o r  e x trac ti n g   ru les   f ro m   train e d   A rti f icia l  Ne u ra l  Ne t w o rk s” ,   Kn o wled g e   Ba se d   S y ste ms ,   1 9 9 5 .   [5 ]   Ba ra k a t,   N.  H.,   &   Bra d ley ,   A .   P . ,   “ Ru le  e x trac ti o n   f ro m   S u p p o rt   V e c to r  M a c h i n e s:  A   S e q u e n t ial  Co v e rin g   A p p ro a c h   IEE E  tran sa c ti o n s o n   k n o w led g e   a n d   d a ta en g i n e e rin g ” ,   2 0 0 7 .   [6 ]   Du c h ,   W . ,   S e ti o n o ,   R. ,   &   Zu ra d a ,   J.,   “ Co m p u tatio n a l   in tell ig e n c e   m e th o d s  f o r  r u le - b a se d   d a ta  u n d e rsta n d in g ” ,   2 0 0 4 .   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J   A d v   A p p l Sci   I SS N:  2 2 5 2 - 8814       A   ch i - s q u a r e - S V M  b a s ed   p e d a g o g ica l ru le  ex tr a ctio n   met h o d   fo r   micro a r r a y  …  ( Mu kh ta r   Da mo la   S a la w u )   99   [7 ]   V a p n ik ,   V . ,   “ S tatist ica l  L e a rn in g   T h e o r y ”   Ne w   Yo rk :  W il e y ,   1 9 9 8 .   [8 ]   S c h o e lk o p f ,   B. ,   T su d a ,   K.,   a n d   V e rt,   J.  P . ,   “ Ke rn e l  M e th o d s  in   Co m p u tati o n a l   Bio l o g y ” ,   M A:  M IT   Pre ss ,    p p .   7 1 – 9 2 ,   2 0 0 4 .   [9 ]   A ro w o lo   M . O.,   Isia k a   R. M . ,   A b d u lsa la m   S . O.,   S a h e e d   Y.K.,   a n d   G b o lag a d e   K.A . ,   “ A   c o m p a ra ti v e   a n a ly sis  o f   f e a tu re   e x trac ti o n   m e th o d s  f o r  c las sify in g   c o lo n   c a n c e r  m icro a rra y   d a ta,”  E AI  En d o rs e d   T ra n s a c ti o n   o n   S c a l a b le  In f o rm a ti o n   S y ste m ,   v o l.   4 ,   p p .   1 - 1 4 ,   2 0 1 7 .     [1 0 ]   F a rq u a d ,   M .   A .   H.,   Ra v i,   V.,   S r iram je e ,   a n d   P ra v e e n   G . ,   “ Cre d it   S c o rin g   Us in g   P CA - S V M   Hy b rid   M o d e l”,  S p rin g e r - Ver la g   Be rli n   He id e lb e rg ,   2 0 1 1 .   [1 1 ]   Isa b e ll e ,   G . ,   Ja so n ,   W . ,   S tep h e n   B. ,   a n d   V a p n ik ,   V . ,   “ G e n e   se lec t io n   f o r  c a n c e r  c las sif ic a ti o n   u si n g   su p p o r t  v e c to r   m a c h in e s” ,   M a c h .   L e a rn ,   p p .   3 8 9 - 4 2 2 ,   2 0 0 2 ).   [1 2 ]   Co rtes ,   C. ,   a n d   V a p n ik ,   V . ,   “ S u p p o rt - v e c to r  n e tw o rk s” ,   M a c h .   L e a r n . ,   v o l .   2 0 ,   p p .   2 3 7 – 2 9 7 ,   1 9 9 5   .   [1 3 ]   Cristi a n in i ,   N.,   a n d   S h a w e - Ta y lo r,   J.,   “ A n   I n tro d u c ti o n   t o   S u p p o r t  Ve c to r  M a c h i n e s  a n d   Oth e r   Ke rn e l - b a se d   L e a rn in g   M e th o d s” ,   Ca mb ri d g e   U n iv.  Pre s s ,   2 0 0 0 .   [1 4 ]   S c h o e lk o p f ,   B. ,   T su d a ,   K.,   a n d   V e rt,   J.  P . ,   “ Ke rn e l  M e th o d s  in   Co m p u tati o n a l   Bio l o g y ” ,   M A:  M IT   Pre ss ,    p p .   7 1 – 9 2 ,   2 0 0 4 .   [1 5 ]   No b le,  W .   S . ,   I n   B.   S c h o e lk o p f ,   K .   T su d a ,   &   J. - P .   V e rt  (E d s.),   “ Ke r n e l  m e th o d s  i n   c o m p u tati o n a l  b io l o g y ” ,   M A:  M IT   Pre ss ,   ” ,   p p .   7 1 – 9 2 ,   2 0 0 4 .   [1 6 ]   F u n g ,   G . ,   S a n d il y a ,   S . ,   a n d   Ra o ,   R. ,   “ Ru le E x trac ti o n   f ro m   L in e a r  S u p p o rt   V e c to r  M a c h i n e s” ,   Pro c .   1 1 t h   I n t’l   C o n f.   Kn o wled g e   Disc o v e ry   a n d   Da t a   M in in g ,   2 0 0 5 .   [1 7 ]   M a rten s,  D.,   Ba e se n s,  B. ,   V a n - g e ste l,   T . ,   a n d   V a n t h ien e n ,   J.,   “ C o m p re h e n sib le  c re d it   sc o ri n g   m o d e ls  u si n g   ru le  e x trac ti o n   f ro m   su p p o rt  v e c to r  m a c h in e s” ,   Eu ro p e a n   J o u rn a l  o f  O p e ra ti o n a l  Res e a rc h ,   v o l .   1 8 ,   p p .   1 4 6 6 – 1 4 7 6 ,   2 0 0 7 .   [1 8 ]   M a rten s,  D.,   Ba e se n s,  B. ,   V a n - g e ste l,   T . ,   a n d   V a n t h ien e n ,   J.,   “ C o m p re h e n sib le  c re d it   sc o ri n g   m o d e ls  u si n g   ru le  e x trac ti o n   f r o m   su p p o rt  v e c to r  m a c h in e s” ,   Eu ro p e a n   J o u rn a l  o f  O p e ra ti o n a l  Res e a rc h ,   v o l .   1 8 ,   p p .   1 4 6 6 – 1 4 7 6 ,   2 0 0 7 .   [1 9 ]   F a rq u a d ,   M . A . H.,   Ra v i,   D.,   a n d   Ra ju ,   S . V . ,   “ Ch u r n   p re d icti o n   u s in g   c o m p re h e n sib le  s u p p o rt   v e c to r  m a c h in e :  A n   a n a ly ti c a l  CRM   a p p li c a ti o n ” ,   2 0 1 4 .   [2 0 ]   M a rten s,  D. ,   Ba e se n s,  B. ,   V a n - g e ste l,   T . ,   a n d   V a n t h ien e n ,   J.,   “ C o m p re h e n sib le  c re d it   sc o ri n g   m o d e ls  u si n g   ru le  e x trac ti o n   f ro m   su p p o rt  v e c to r  m a c h in e s” ,   Eu ro p e a n   J o u rn a l  o f  O p e ra ti o n a l  Res e a rc h ,   v o l .   1 8 ,   p p .   1 4 6 6 – 1 4 7 6 ,   2 0 0 7 .   [2 1 ]   Ja n e c e k   G . K.,   Ga n ste re r  W .   N,  De m e l  M . ,   a n d   Eck e r  G .   F . ,   “ On   th e   Re latio n sh i p   Be tw e e n   F e a tu r e   S e lec ti o n   a n d   Clas sif ic a ti o n   A c c u ra c y ” ,   J M L R:  W o rk sh o p   a n d   Co n fer e n c e   Pro c e e d in g s ,   2 0 0 8 .   [2 2 ]   A ro w o lo   M . O.,   A d e b iy i  M . O.,   a n d   A d e b iy i  A . A . ,   “ Di m e n sio n a l  re d u c e d   m o d e l  f o r  th e   c las sif ica ti o n   o f   RNA - S e q   A n o p h e le s  g a m b iae   d a ta,”  J o u rn a l  o f  T h e o re ti c a l  a n d   Ap p li e d   In fo rm a t io n   T e c h n o lo g y ,   v o l.   9 7 ,   n o .   2 3 ,     p p . 1 - 1 0 ,   2 0 1 9 .       B I O G RAP H I E S O F   AUTH O RS          M u k h tar  Da m o la  S a law u   re c e iv e d   h is  B .   S c   f ro m   th e   d e p a rtm e n t  o f   Co m p u ter  S c ien c e ,   A l - Hik m a h   Un iv e rsit y .   He   is  a   CCN A ,   CCN P   a n d   M icro s o f t  Ce rti f ied   Ex p e rt ,   w it h   h is  re se a rc h   in tere sts  in   Da ta  S c ien c e ,   Da ta  M i n i n g ,   Bi o - in f o rm a ti c s,  M a c h in e   L e a rn in e ,   Co m p u ter  A rit h m e ti c s.  He   c u rre n tl y   re sid e s in   th e   Un it e d   S tate   o f   Am e rica .         M ich e a l  Ola o l u   A ro w o lo   re c e iv e d   h is   B.   S c   a n d   M .   S c   f ro m   th e   d e p a rtme n t  o f   Co m p u ter  S c ie n c e ,   Al - Hik m a h   Un iv e rsit y   a n d   Kw a ra   S tate   Un iv e rsit y ,   Nig e ria ,   in   2 0 1 2   a n d   2 0 1 7   re sp e c ti v e l y .   He   is  p re se n tl y   a   P h D  S t u d e n t  a t  L a n d m a rk   Un iv e rsit y ,   O m u - A ra n ,   Ni g e ria.  He   i s  a   L e c tu re r  a t  th e   In stit u te   o f   P r o f e ss io n a l  S t u d ies ,   Kw a ra   S tate   Un iv e rsity ,   M a lete ,   h e   is  a n   Ora c le  Ce rti f ied   Ex p e rt,   a   m e m b e r  o f   th e   I A EN G   a n d   S D IW C,   w it h   h is  re se a rc h   in tere sts  in   Da ta  S c ien c e ,   Da ta  M in in g ,   Bio - in f o rm a ti c s,  M a c h in e   L e a rn in e ,   Co m p u ter A rit h m e ti c s.          S u laim a n   O lan iy i   A b d u lsa la m   Ho ld s  a   Ba c h e lo r  d e g re e   a n d   M a ste r  o f   S c ien c e   De g re e   in   Co m p u ter  S c ien c e ,   b o th   f ro m   U n iv e rsity   o f   Ilo rin ,   Nig e ria.  He   is  c u rre n tl y   a   lec tu re r  a t  th e   De p a rtme n t  o f   Co m p u ter,  L ib ra r y   a n d   In f o rm a ti o n   S c ien c e ,   Kw a ra   S tate   Un iv e rsit y ,   M a lete ,   Nig e ria.  He   is   a   m e m b e r  o f  Nig e ria  Co m p u ter  sc ien c e .   His  r e se a r c h   a re a s  in c lu d e   Da ta  M in in g ,   S o f tw a r e   En g in e e rin g   a n d   a rti f icia l  In telli g e n c e .     Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N : 2 2 5 2 - 8814   I n t J   A d v   A p p l Sci ,  Vo l.  9 ,   No .   2 ,  J u n e  2 0 2 0 :  93   –   1 0 0   100       Ra f iu   M .   Isia k a   h e   h a s  h is  P h . D .   in   Co m p u ter  sc ien c e ,   h e   is  a   l e c tu re r  in   th e   De p a rtm e n t  o f  Co m p u t e r  S c ien c e ,   Kw a ra   S tate   Un iv e rsit y   M a lete   sin c e   2 0 0 9 .   Hi s  re se a rc h   in tere st  in c l u d e s  s o f t  c o m p u ti n g ,   e - lea rn in g ,   d a ta m in in g   a n d   in f o rm a ti o n   se c u rit y .         Bil k isu   Jim a d a - Oju o lap e   re c e iv e d   h e r  B .   S c   d e g re e   in   El e c tri c a l  En g in e e rin g   a n d   El e c tro n ic  En g in e e rin g   f ro m   th e   K w a m e   N k ru m a h   Un iv e rsit y   o f   S c ien c e   a n d   T e c h n o l o g y ,   Ku m a si,  G h a n a   in   2 0 1 1 ,   a n d   h e r  M .   S c   De g re e   in   S y ste m s  En g in e e rin g ,   L o u g h b o r o h   U n iv e rsity ,   L o u g h b o r o u g h ,   Un it e d   Kin g d o m   in   2 0 1 3 .   S h e   i s  c u rre n tl y   p u rsu in g   h e r  P h D  d e g re e   w it h   th e   S c h o o l  o f   El e c tri c a l   a n d   El e c tro n ic E n g in e e rin g ,   Un iv e rsit y   S a in s M a lay si a .   S h e   w o rk e d   w it h   th e   Nig e rian   El e c tri c it y   Re g u lato ry   Co m issio n   (NERC)  f o r  a b o u t  a   y e a r,   w h e re   sh e   w a s  in v o lv e d   in   li c e n se   a p p li c a ti o n   e v a lu a ti o n   f o r  In d e p e n d e n t  P o w e r  P ro d u c e rs  a n d   In sp e c ti o n   o f   su b sta ti o n s  w it h in   A b u ja,  Nig e ria,  a m o n g st  o th e r  d u ti e s.  S h e   w a s  a lso   a   Na ti o n a l  S y st e m   En g in e e r  w it h   t h e   NT A - S tar  T V   Ne tw o rk   (S tarT im e s),  w h e re   sh e   m a n a g e d   th e   o p e ra ti o n s   o f   ten   c it ies   a n d   w a s  a ls o   p a rt  o f   a   th i n k   tan k   c o m m it tee   th a t  w a s  b ra in sto rm in g   n e w   p ro d u c ts  f o r   th e   c o m p a n y .     S h e   jo i n e d   Kw a ra   S tate   Un iv e rs it y   (K WA S U)  in   2 0 1 5 .   He r  c u r re n t  re se a rc h   in tere sts  a re   in   re n e wa b le  e n e rg y ,   p o w e r  sy ste m s,   sm a rt  g rid   re li a b il it y ,   ICT s  in   sm a rt  g rid ,   a n d   sm a ll   h y d ro p o w e r  g e n e ra ti o n ,   M a c h i n e   L e a rn in g .   M r s.  Jim a d a - Oju o lap e   is  a   m e m b e r  o f   th e   As so c iatio n   o f   P ra c ti c in g   W o m e n   En g in e e rs  in   Nig e ria  ( A P W EN)  a n d   t h e   Nig e rian   S o c i e t y   o f   En g i -   n e e rs  (NSE )   a n d   c e rti f ied   b y   th e   Co u n c il   f o r  th e   R e g u latio n   o f   En g in e e rin g   in   Nig e r ia (COREN).         M u d a sh i ru   L a tee f   Olu m id e   B. sc   h o l d e r  a n d   a n   in tel  Re tail  c e rti f ied   sp e c ialist,   h e   is  a s sista n t  M a n a g e r  a t  Na ti o n a l  i d e n ti ty   m a n a g e m e n t  c o m m issio n   (NIM C).   He   is  p re se n tl y   a n   M .   S c   S t u d e n t   o f   Un iv e rsiti   S a i n s  M a lay sia   m a jo rin g   i n   I n f o rm a ti c s  w it h   a   r e se a rc h   in tere st  in   B u sin e ss   In telli g e n c e   a n d   Da ta W a re h o u sin g .         Ka z e e m   A .   G b o lag a d e ,   A   P ro f e ss o r  a n d   P ro v o st  a t   th e   C o ll e g e   o f   Co m p u ter  in   I n f o rm a ti o n   S c ien c e ,   Kw a ra   S tate   Un iv e rsit y ,   M a lete ,   Nig e ria.  w a s  b o rn   in   Iw o   (Os u n   S tate ),   Nig e ria,  o n   th e   2 7 t h   o f   A u g u st,  1 9 7 4 .   He   re c e iv e d   h is  B.   S c   d e g re e   in   2 0 0 0   i n   Co m p u ter  S c ien c e   f ro m   th e   Un iv e rsit y   o f   Ilo rin ,   Kw a ra   S tat e ,   Nig e ria.  In   2 0 0 4 ,   h e   o b tain e d   h is  M a ste rs  d e g re e   f ro m   th e   Un iv e rsit y   o f   Ib a d a n ,   Nig e ria.  In   A p ril   2 0 0 7 ,   h e   j o in e d   th e   Co m p u ter  E n g in e e rin g   L a b o ra to ry   g ro u p   a t  t h e   De lf t  Un iv e rsity   o f   Tec h n o l o g y   ( T U  De lf t),   T h e   Ne th e rlan d s.   In   T U  De lf t,   h e   p u rs u e d   a   P h D  d e g re e   u n d e r  t h e   su p e rv isio n   o f   P r o f .   S o rin   Co t o f a n a .   He   is  a   m e m b e r  o f   th e   IEE E.   His  re se a rc h   in tere sts in c lu d e   Dig it a l  L o g ic De si g n ,   Co m p u ter A rit h m e ti c ,   Re sid u e   N u m b e r  S y st e m s,   V L S I  De sig n ,   a n d   N u m e rica l  Co m p u ti n g .   His  re se a rc h   in tere sts  i n c lu d e   Dig it a l  L o g ic  De sig n ,   Co m p u ter A rit h m e ti c ,   Re sid u e   Nu m b e r  S y ste m s,  V L S I  De sig n ,   a n d   Nu m e rica l  Co m p u ti n g       Evaluation Warning : The document was created with Spire.PDF for Python.