I AE S In t er na t io na l J o urna l o f   Art if icia l In t ellig ence   ( I J - AI)   Vo l.  9 ,   No .   3 ,  Sep tem b er   2020 ,   p p .   402 ~ 408   I SS N:  2 2 5 2 - 8938 ,   DOI : 1 0 . 1 1 5 9 1 /i j ai. v 9 .i 3 . p p   4 0 2 - 408          402       J o ur na l ho m ep a g e :  h ttp : //ij a i . ia esco r e. co m   Diff e rent   m utatio n and  cros so v er s et  o f  g en etic  prog ra m m ing  in   a n auto m a te d  m a chine learni ng       Su r a y a   M a s ro m 1 ,  M a s ura h M o ha m a d 2 ,  Sh a hira h M o ha m e d H a t i m 3 ,   No rha y a t i Ba ha run 4 ,   Na s iro h   O m a r 5 ,   Ab du lla h Sa n i A bd .   Ra h m a n 6   1, 2, 3, 4 F a c u lt y   o f   Co m p u ter an d   M a th e m a ti c a l  S c ien c e s,  Un iv e rsiti   Tek n o lo g i  M A RA ,   P e ra k   Bra n c h   T a p a h   Ca m p u s,  M a la y sia   5 F a c u lt y   o f   Co m p u ter an d   M a th e m a ti c a l  S c ien c e s,  Un iv e rsiti   T e k n o lo g i  M A RA ,   S h a h   A la m ,   M a la y sia   6 F a c u lt y   o f   S c ien c e   a n d   In f o rm a ti o n   T e c h n o l o g y ,   Un iv e rsiti   T e k n o lo g i  P ET RON A S ,   P e ra k ,   M a la y sia       Art icle  I nfo     AB ST RAC T   A r ticle  his to r y:   R ec eiv ed   F eb   1 2 ,   2 0 2 0   R ev i s ed   A pr   17 ,   2 0 2 0   A cc ep ted   M a y   1 0 ,   2 0 2 0       A u to m a ted   m a c h in e   lea rn in g   is  a   p ro m isin g   a p p ro a c h   w id e ly   u se d   to   s o lv e   c las si f ica ti o n   a n d   p re d icti o n   p ro b lem s,  w h ich   c u rre n tl y   r e c e i v e s  m u c h   a tt e n ti o n   f o r  m o d if ica ti o n   a n d   i m p ro v e m e n t.   On e   o f   th e   p r o g re ss in g   w o rk s   f o r  a u to m a ted   m a c h in e   lea rn in g   i m p ro v e m e n t  is t h e   in c lu sio n   o f   e v o lu ti o n a ry   a lg o rit h m   su c h   a s  Ge n e t ic  P ro g ra m m in g .   T h e   f u n c ti o n   o f   Ge n e ti c   P r o g ra m m in g   is  to   o p ti m ize   th e   b e st  c o m b in a ti o n   o f   so lu t io n s  f ro m   th e   p o ss ib le  p i p e li n e s  o f   m a c h in e   lea rn in g   m o d e ll in g ,   in c l u d i n g   se lec ti o n   o f   a lg o rit h m s  a n d   p a ra m e t e rs  o p ti m iz a ti o n   o f   th e   se lec t e d   a lg o rit h m .   A s   a   fa m il y   o f   e v o lu ti o n a ry   b a s e d   a lg o rit h m ,   th e   e ff e c ti v e n e ss   o f   G e n e ti c   P r o g ra m m in g   in   p ro v id in g   th e   b e st  m a c h in e   lea rn in g   p ip e li n e s  f o r  a   g iv e n   p ro b lem   o r  d a tas e t  is  su b sta n ti a ll y   d e p e n d in g   o n   th e   a lg o rit h m   p a ra m e teriz a ti o n s  in c lu d in g   t h e   m u tatio n   a n d   c ro ss o v e r  ra tes .   T h is  p a p e r  p re se n ts  th e   e ff e c t  o f   d iff e re n t  p a irs  o f   m u tatio n   a n d   c ro ss o v e r  ra tes   o n   th e   a u to m a ted   m a c h in e   lea rn in g   p e rfo rm a n c e s  th a t  tes ted   o n   d if f e r e n t  ty p e s  o f  d a tas e ts.  T h e   f in d in g   c a n   b e   u se d   to   s u p p o rt   th e   th e o ry   th a t  h ig h e r  c ro ss o v e r  ra tes   u se d   to   im p ro v e   th e   a lg o ri th m   a c c u ra c y   sc o re   w h il e   lo w e r   c ro ss o v e r   ra tes   m a y   c a u se   th e   a lg o rit h m   to   c o n v e rg e   a t  e a rli e r  sta g e .   K ey w o r d s :   Au to m a ted   m ac h in e  lear n i n g   C las s i f icatio n   C r o s s o v er   Gen etic  p r o g r a m m i n g   Mu tatio n   T h is i s  a n   o p e n   a c c e ss   a rticle   u n d e r th e   CC B Y - SA   li c e n se .     C o r r e s p o nd ing   A uth o r :   Su r a y a  Ma s r o m ,   Facu lt y   o f   C o m p u ter   an d   Ma t h e m a tical  Scie n ce s ,   Un i v er s iti T ek n o lo g i M A R A ,   P er ak   B r an ch ,   T a p ah   C a m p u s ,   P er ak ,   Ma lay s ia .   E m ail: s u r a y 0 7 8 @ u it m . ed u . m y       1.   I NT RO D UCT I O N   Desp ite  th e  n o tab le  i m p ac t   o f   m ac h i n e  lear n i n g   tech n iq u e s   in   a  w id e  ar ea   o f   ap p licatio n     d o m ai n s   [1 - 4] ,   o n e  m aj o r   is s u e  th at  e m er g ed   s i n ce   th e  b eg i n n in g   o f   t h e  ap p licatio n   d ep lo y m en t  is   co m p le x it y   o f   d esig n   [5 - 7] .   I n   o r d er   to   ac h iev e  s tate - of - t h e - ar t  p er f o r m a n ce ,   m ac h i n e  lear n i n g   t ec h n iq u es  r eq u ir e   ca u tio u s   s tep s   o f   d ata  p r e - p r o ce s s i n g   an d   h y p er - p ar a m eter   t u n i n g .   Mo r eo v er ,   g iv e n   w i th   t h e  e v er - i n cr ea s i n g   n u m b er   o f   m ac h i n e  lear n i n g   m o d el s   b ei n g   d ev elo p ed ,   m o d el  s elec tio n   is   b ec o m i n g   i n c r ea s in g l y   i m p o r tan t.  W ith   t h e  d e m a n d s   f r o m   i n e x p er ien ce d   d ata  s cie n ti s t  to   u s e  m ac h in e   lear n i n g   m o d el s ,   au to m ati n g   th e   alg o r ith m   s elec t io n   an d   o p ti m izi n g   th e  h y p er - p ar a m eter s   tu n in g   h a ve   b ee n   a m o n g   o f   th e  p r ef er r ed   ap p r o ac h es   o f   th e  d ata  s cien ce s   co m m u n it y .   Au to m a ted   Ma ch in e  L ea r n i n g   ( A M L )   is   th e  cu r r en t  ap p r o ac h   p r o v ed   b en ef icial  to   e n e x p er ien ce d   d ata  s cie n tis t  an d   i n   s o m e   ca s es   o f f er ed   b etter   p er f o r m a n ce s   th a n   t h e   co n v e n tio n al  o r   m a n u al  ap p r o ac h   [4 - 5] .   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J   A r ti f   I n tell   I SS N:  2252 - 8938       Differ en t m u ta tio n   a n d   cro s s o ve r   s et  o f g en etic  p r o g r a mmin g   in   a n ... ( S u r a ya   Ma s r o m )   403   C u r r en tl y ,   A M L   h a s   b ee n   g i v en   a  w id e  atte n tio n   b y   r eseac h er s   an d   m aj o r   o f   w o r k s   w er e  d ir ec ted   to   u s e  m eta - h eu r i s tic s   ap p r o ac h   to   o p ti m ize  t h e  m ac h i n e  lear n in g   p ip elin e s   [7 - 10] .   P ip elin e s   is   a   co llectio n   o f   m ac h in e   lear n i n g   m o d el s   p o o led   f r o m   th e   p r e - d ata   p r o ce s s in g   to   t h e  h y p er - p ar am eter s   t u n i n g .     E x a m p le s   o f   m eta - h er i s tics   s ea r ch   alg o r it h m s   in   AM L   ar e   P ar ticle  S w ar m   Op ti m izatio n   [ 1 1 ] ,    Gen etic  P r o g r a m m in g   ( GP )   [1 2]   an d   B ay esia n   [ 1 3 - 1 5 ] .   Dep en d in g   o n   t h e  co m p u t atio n al  av ailab ili t y ,     th e  p r o ce s s   to   co m p lete  t h e  m i n i m u m   f u n ctio n   o f   A M L   o p ti m izatio n   is   co n s id er ab le  co s tl y .   T h is   is   d u e  to   th e  co m p le x   p r o ce s es  o f   m ac h i n e  lear n in g   al g o r it h m s   t h at  r eq u i r es  a  m o d el  tr ain ed   a n d   p er f o r m an ce s   e v al u atio n   w it h   th e   s et  o f   h y p er - p ar a m eter s .   T h e  ev al u atio n   ti m e  w il l  b e  e x ten d ed   w h e n   t h e  d ataset  is   n o t  w ell   co n s tr u cted   in   s u c h   o f   e x c ess i v e  f ea t u r es  s elec tio n s   o r   in ap p r o p r iate  i m p u ta tio n   o f   m is s i n g   v a lu e s .   Nev er th e less ,   b y   u n d er s ta n d i n g   h o w   th e   th e   h y p er - p ar a m eter s   w o r k s   in   an   A M L ,   t h e   co m p lex i ties   a n d   co m p let io n   ti m e  to   co m p le te  m i g h t b e  e f f ec t iv el y   g ain ed .   T h is   p ap er   p r esen ts   th e  d escr ip tio n   o f   A M L   t h at  u s ed   p ip elin es  o p ti m izatio n s   th r o u g h   its   f o r m a l   d ef in i tio n   a n d   co n ce p tu al   e x p lan atio n .   A d d itio n a ll y ,   b y   f o c u s i n g   o n   GP   b ased   A M L ,   th e   r o les  o f   s o m e  GP   h y p er - p ar a m eter s   n a m e l y   m u t atio n   an d   cr o s s o v er   r ates  w er e  also   p r esen ted   in   t h is   p ap er   s u p p o r ted   w it h   th e   f i n d in g   o f   e m p ir ical  ex p er i m e n ts   t h at  test ed   o n   v ar iatio n   s iz es  o f   d atas et.   T o   th e  b est  o f   o u r   k n o w led g e,   th er e   is   v er y   li m ited   liter at u r e  ca n   b e  f o u n d   o n   d is c u s s i n g   an d   e x p lain i n g   d etail  o f   GP   h y p er - p ar am eter s   in   AM L .   Mo r eo v er ,   f e w   clai m s   w er e  r ep o r ted   o n   th e  s etti n g   o f   t h e  t w o   i m p o r tan t  o f   co n tr o l  p ar a m eter s     ( m u ta tio n   an d   c r o s s o v er )   i n   th e  GP   o p ti m izatio n   o f   a u to m ated   m ac h in e   lear n in g .   T h e  f i n d i n g   p r o v id es   ad d itio n al  f u n d a m e n tal  k n o wled g e  to   th e  d es ig n   a n d   d ev elo p m e n t  o f   d if f er en t  s ett in g   o f   m u tat io n   a n d   cr o s s o v er   r ates f o r   th e  A M L   b ased   GP .       2.   RE S E ARCH   B ACK G RO U ND   2 . 1 .     F o r m a l def ini t io n o f   m a chine le a rning   pi pelin e  o pti m i za t io n in AM L   T h e  f o r m a l d ef i n itio n   o f   A M L   w it h   s ea r c h   o p ti m izatio n   is   as   th e  f o llo w i n g :     1.   T h e  o b j ec tiv e  is   to   m i n i m ize s   s o m e  p r ed ef i n ed   lo s s   f u n c t io n   ℒ ( ( ) ; ℳ ) ,   w h er e  ℳ   is   th e  tr ai n i n g   m o d el  te s ted   o n   th e  g i v en   v alid atio n   d ataset  ( )   w it h   lear n i n g   al g o r ith m   Α   th at  lear n   t h e   tr ain i n g   d ataset  ( )   p atter n .   2.   T h e  tr ain in g   an d   v alid atio n   d ataset  ( ) ,  ( )   co n s is t s   a  s et  o f   f ea tu r e s   v ec to r   to   b e   s e lecte d ,     p r e - p r o ce s s ed   an d   w ell - co n s tr u cted   b ased   o n   s o m e  f ea tu r iza tio n   m ec h a n is m s .   3.   T h e  lear n in g   alg o r it h m   Α   ca n   b e  a  s in g le  m ac h i n e  lear n i n g   o r   a  h y b r id izatio n   d if f er en t  al g o r ith m   t h at  n ee d   to   b e  co n f ig u r ed   w i th   a  s et  o f   h y p er p ar a m eter s   Η [ = 1 . . ]   in   s u c h   in   th e  f o llo w i n g   ( 1 ) .     ℳ = ( Α = 0 ( ( ) ; Η  ),   whe r e   Α = ( ( ) ; Η  );   Α )   ( 1 )     4.   T h er ef o r e,   th e  g o al  o f   t h e  A M L   s ea r c h   is   to   f in d   a  s e t o f   h y p er p ar am eter s   Α ∗   th at  y ield   an   o p t i m al  m o d el   ℳ ∗   w h ic h   m i n i m ize s   th e   ℒ ( ( ) ; ℳ )   f u n ctio n ,   f o r m u lated   as t h e  f o llo w i n g   ( 2 ) .     Α ∗ =  Α   ℒ ( ( ) ; ( Α = 0 ( ( ) ; Η  ) ;   Α = ( ( ) ; Η  ) ) ; Α )               =    Α min ℱ ( Α ; ( Α ( ) = 0 ( ( ) ; Η  ) ;   Α = ( ( ) ; Η  ) ) , ℒ )   ( 2 )     T h e  o p tim ized   p ip elin e  i s   a  s et  o f   m ac h in e  lear n i n g   m o d el  w i th   t h e  b est  s elec tio n   o f   m ac h in e   lear n in g   al g o r ith m   an d   t h e  b es t o p tim a l o f   h y p er - p ar a m e ter s   s etti n g .     2 . 2 .     G enet ic  p ro g ra mm ing   b a s ed  AM L   A M L   w it h   GP   i s   t h e  i n ter est   o f   s t u d y   r ep o r ted   in   t h is   p ap er ,   h en ce   A M L   T P O T   P y t h o n   lib r ar y   h a s   b ee n   u s ed   a s   th e  e x p er i m e n tal   to o l  [ 1 2 ,  16] .  A ML   T P O T   h as  ca p ab ilit y   to   p r o v id e  th e  b es t  m ac h in e  lear n i n g   m o d el   o n   a   tr ain in g   d at a s et  f r o m   a  s er ies  o f   p r o ce s s e s   ca lle d   f ea t u r izatio n ,   al g o r it h m   s ele ctio n   a n d   p ar a m eter   o p tim izatio n   a s   p r esen ted   in   F ig u r e  1 .   Featu r izatio n   i s   t h e  p r o ce s s   o f   s elec ti n g   th e   b est  p o s s ib le  o f   f ea tu r e s   f r o m   t h e  d ata s et  t h r o u g h   th e   P r in cip le  C o m p o n e n t  An al y s is   ( P C A )   an d   p o l y n o m ial  a p p r o ac h es.  I t  also   in co r p o r ated   w i th   a   s et  o f   i m p u ta tio n   s tr ate g ies   i n   h an d l in g   t h e  m i s s i n g   v al u es   o f   th e   tr ain i n g   d ataset.   T h e  b e s t  o p ti m ized   f ea t u r es  w ill   b e  p ass ed   to   m o d el   s elec t io n s   m o d u les   t h at  s u p p o r ted   w it h   v ar io u s   k in d s   o f   m ac h i n e  l ea r n in g   al g o r it h m s   ( m o r e  th an   f i f t y   o f   cla s s i f ier s   an d   r eg r ess o r s ) .   T h e  s elec ted   alg o r ith m   o r   ca n   b e  a  h y b r id ized   m o d el  w ill  b e  p ass ed   th r o u g h   f o r   th e  b est  o p ti m ized   p ar a m eter s   co n f i g u r atio n s .   A M L   T P O T   u s ed   Gen etic  P r o g r a m m in g   ( GP )   o p tim izatio n   ap p r o ac h   in   s elec t in g   t h e  b est  m o d el  g ai n ed   f r o m   t h e  co m b i n atio n s   o f   p ip eli n es   ( f ea tu r izat io n ,   m o d el  s elec t io n s ,   p ar am eter s   o p ti m izatio n )   in   th e  alg o r it h m   s elec tio n   p o o l.   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8938     I n t J   A r ti f   I n tell ,  Vo l.  9 ,   No .   3 ,  Sep te m b er   20 20 :    4 0 2   –   408   404   Fea tur izat ion Fea tur es selection Fea tur es pre-pr ocessing Fea tur es constructio n Mo del   sel ecti on Mo del   para me ter optimization     Fig u r e  1 .   A M L   T P O T   m ai n   f u n ctio n s       As a  f a m il y   o f   ev o l u tio n ar y   al g o r ith m ,   t h e  p er f o r m a n ce   o f   G P   is   h i g h l y   d ep en d in g   o n   th e   p ar a m eter s   co n f i g u r atio n   m ai n l y   p o p u lat io n   s izi n g ,   m u tatio n   a n d   cr o s s o v er   r ate s .   Mu tatio n   a n d   cr o s s o v er   ar e  t w o   ess e n tial  ele m en t s   in   a n   ev o lu tio n ar y   b ased   alg o r it h m   [ 1 7 - 19]   lik e  GP  th at  ca n   in f l u en ce   t h e  s ea r c h   o p tim izatio n   lan d s ca p e  b y   m ea n s   o f   e x p lo itatio n   an d   e x p l o r atio n .   T h e  o p ti m izatio n   o f   b est  o p ti m al   r esu lt   n ee d s   a  b alan ce   b et w ee n   b o th   ex p lo itatio n   a n d   ex p lo r atio n   [ 2 0 ] .   E x p lo r atio n   ca n   eli m in ate  th e  s ea r c h   to   co n v er g e   p r e m at u r el y   b y   a v o i d in g   th e  s o lu tio n   f r o m   tr ap p in g   i n   lo ca l  o p ti m a  w h ile  e x p lo i tatio n   f o cu s es  to   a n   in te n s it y   s ea r ch   d ir ec tio n   s o   th at  th e   b est  p o te n tial   s o l u tio n   ca n   b e  co n v er g ed   at   th e   g l o b al  o p tim a   [ 2 1 ] .  Mu tatio n   is   h i g h l y   r elate d   to   th e  e x p lo r atio n   asp ec t  to   co n t r o l  th e  s ea r ch   d i v er s i t y ,   o f te n   b e  d ef in ed   w it h   a   v er y   s m all  p r o b ab ilit y   r ate  to   p r o d u ce   a  litt le  m o d if icatio n   t o   an   in d iv id u al  ( ch r o m o s o m e) .   On   th e  o th er   h a n d ,   cr o s s o v er   is   u s ed   to   id e n ti f y   th e  s tar tin g   p o in t   o f   t h e  b est   o p tim a l  s o l u tio n   a t  g lo b al  o p ti m a  a n d   f u r t h er l y   d r iv es  t h e  s ea r c h   d ir ec tio n   in   ac h iev i n g   th e  b est  s o l u tio n   a t  lo ca l  o p tim a.   T h er ef o r e,   cr o s s o v er   is   g en er all y   th o u g h t  to   en ab le  t h e  e x p lo itatio n   asp ec t.  I n   s i m p ler   w o r d s ,   th e  p u r p o s e  o f   m u tatio n   is   to   s ea r ch   lo ca ll y   ar o u n d   th e  p r o m is in g   ar ea s   f o u n d   b y   t h e  cr o s s o v e r   o p er ato r .   Gen er all y ,   t h e  m o s t   ap p r o p r iate  m u ta tio n   an d   cr o s s o v er   s etti n g s   r eq u ir ed   b y   an   ev o lu tio n ar y   alg o r ith m   li k e  GP   to   s o lv e  d if f er en t  o p ti m izatio n   p r o b le m s   ca n   b e  d if f er en t   [ 2 2 - 24] .   I n   ad d itio n ,   ev id en ce s   s h o w   th a t  ev e n   f o r   o n e  s p ec if i c  o p tim izat io n   p r o b lem ,   t h e  r eq u ir ed   b est  s tr ateg ies  f o r   th e  b o th   o p er ato r s   m a y   v ar y   d u r i n g   th e  e v o lu tio n ar y   p r o ce s s   [ 2 5 - 26] .       3.   RE S E ARCH   M E T H O D     3 . 1 .    E x peri m ent s   a n d pa ra m et er s   co nfig ura t io n   I n   th i s   s t u d y ,   t h e  ex p er i m en t  co d es  w er e  d ev elo p ed   w it h   P y h to n   3 . 6   J u p y ter   No teb o o k   p latf o r m   a n d   w er e  i m p le m e n ted   i n   th e  p r o ce s s o r   o f   I n tel  i7   7 th   G e n er atio n   p r o ce s s o r ,   1 6   G B   R A M.   T h e  A M L   T P O T   m ac h i n e  lea r n in g   m o d el  h a s   b ee n   s et  to   e m p lo y   7 5 :2 5   p er ce n t  r atio   b etw ee n   t h e   tr ain i n g   a n d   cr o s s   v alid atio n   f o r   all  th e  ex p er i m en ts .   T P O T   u s ed   cr o s s   v alid atio n   f o r   th e  m ac h i n e  lear n in g   tr ain i n g   ap p r o ac h   an d   th e  n u m b er   o f   d ef a u lt  v a lu e  f o r   th e  tr ain in g   an d   v alid atio n   ch u n k s   is   d ef i n ed   as  5 .   T h er ef o r e,   f o r   ea ch   p o p u latio n   s ize  p ,   t h e  n u m b er   o f   iter at io n s   f o r   s e lecti n g   th e   b est  p ip eli n es  i s   eq u i v alen t  to   5   *   p   ti m es.  I f   th e  n u m b er   o f   p o p u latio n   s ize  is   1 0 ,   th e  GP  iter atio n   to   f in d i n g   t h e  b est  p ip elin es  is   50   ti m es.     A  lo n g er   ti m e  w ill  b e  r eq u ir ed   to   co m p lete  i f   t h e   n u m b er   o f   iter atio n s   in cr ea s ed   ac co r d in g   to   t h e  p o p u lat io n   s ize  an d   g e n er ati o n   s etti n g .   T ab le  1   lis ts   th e  p ar a m eter s   u s ed   in   th is   r esear ch .   T h e  n u m b er   o f   iter atio n s   f o r   t h e  GP   to   s et  t h e  f i n al   o p ti m ize d   p ip elin es  is   d eter m i n ed   b y   t h e  n u m b er   o f   g e n er atio n s   i n   s u ch   th at   t h e   alg o r it h m   s h o u ld   w o r k   b etter   w it h   m o r e  g en er atio n s .   Nev er t h eles s ,   lo n g er   ti m e   w o u ld   b e  r eq u ir ed   to   co m p let e  w ith   b ig g er   n u m b er   o f   g e n e r atio n   an d   5   i s   t h e  co m m o n   s ettin g   u s ed   i n   m a n y   ex p er i m e n ts .   P o p u latio n   s ize  i s   t h e  n u m b er   o f   i n d i v id u al s   o r   p o ten tial  p ip eli n es   t h at  ca n   b e  s to r ed   in   th e   GP   s elec tio n   p o o l.  Ou r   p r ev io u s   ex p er i m e n ts   f o u n d   t h at  t h e  d ef au lt  p o p u lat io n   s ize  1 0   is   f it  e n o u g h   to   th e   alg o r ith m   to   p r o d u ce   b est  o p ti m al  r es u lt.  T h e  o f f s p r i n g _ s ize   b y   d ef a u lt  i s   n o n e  s o   th at  it  w il l  b e  eq u al  to   th e  p o p u latio n _ s ize.   Mu tatio n   r ate  is   a  s m all  v al u e  u s ed   to   co n tr o l  th e  GP   ex p lo r atio n   s ea r ch   b y   ap p l y in g   r an d o m   ch an g es  to   s o m e  o f   th e  p ip eli n es  i n   th e  s e lectio n   p o o l.  T h e  cr o s s o v er   f u r th er m o r e  is   u s ed   to   tell  th e  GP   h o w   m an y   p ip eli n es  to   r ep r o d u ce d   at  ea ch   o f   t h e  g en er atio n .   T h e  v al u es  f o r   b o th   m u s t  b e  i n   b et w ee n   0 . 1   to   0 . 9   an d   n o t   ex ce ed   1 . 0 .   T h e  m u ta tio n   a n d   cr o s s o v er   r ates   s etti n g   ar e  d i v id ed   i n to   t h r ee   s e ts   o f   p air .   F ir s t  p air   is   MCR 1   a n d   MC R 2 ,   w h ic h   t h e  r an g e  i s   b et w ee n   0 . 1   an d   0 . 9 ,   s ec o n d   p air   is   M C R 3   an d   M C R   4   w it h i n   0 . 3   an d   0 . 7   an d   last l y   i s   m o d er ate  m u tatio n   a n d   cr o s s o v er   r ate s   ( 0 . 5 , 0 . 5 ) .   I t  is   an ticip ated   i n   t h i s   s t u d y   t h at   h i g h e r   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J   A r ti f   I n tell   I SS N:  2252 - 8938       Differ en t m u ta tio n   a n d   cro s s o ve r   s et  o f g en etic  p r o g r a mmin g   in   a n ... ( S u r a ya   Ma s r o m )   405   cr o s s o v er   r ates  in   MCR 1   an d   MCR 3   ca n   h elp   th e  al g o r ith m   to   ac h iev e  b etter   o p ti m al  r esu lt s   w h i le  lo w er   cr o s s o v er   r ates in   M C R 2   an d   MCR 4   m a y   a f f ec t o n   s h o r ten i n g   t h e  co m p letio n   ti m e.       T ab le  1 .   T h e   im p o r tan t p ar a m eter s     P a r a me t e r s   C o n f i g u r e d   v a l u e   g e n e r a t i o n s   5   p o p u l a t i o n _ si z e   10   o f f sp r i n g _ s i z e   n o n e   M u t a t i o n   &   C r o sso v e r   r a t e s   D i v i d e d   i n t o   5   g r o u p s:   MC R1 =   M R   0 . 1 ,   C R   0 . 9   MC R 2   =   M R   0 . 9 ,   C R   0 . 1   MC R 3   =   M R   0 . 3 ,   C R   0 . 7   MC R 4   =   M R   0 . 7 ,   C R   0 . 3   MC R 5   =   M R   0 . 5 ,   C R   0 . 5   * M C R = m u t a t i o n   a n d   c r o sso v e r   r a t e s,  M R = mu t a t i o n   r a t e ,   C R = c r o sso v e r   r a t e       3 . 2 .     Da t a s et s   T h e  ev al u atio n   o f   th is   s t u d y   h as   b ee n   co n d u cted   o n   a   co ll ec tio n   o f   8   d atase ts   w it h   d i f f er en t  s ize s   d o w n lo ad ed   f r o m   Ka g g le  w eb s ite  ( www . k a g g le. co m )   as li s t ed   in   th e  f o llo w in g   T ab le  2 .   A lt h o u g h   t h e  d ataset   s izes   w i ll  n o t  t h e  m aj o r   f ac to r   o f   m a ch in e   lear n i n g   p er f o r m a n ce s ,   in ter esti n g   in f o r m atio n   m i g h t  b e  i n f er r e d   w h en   u s in g   d ataset  v ar iati o n s   o n   te s ti n g   th e  AM L   T POT   w i th   d i f f er en t   p ar am eter izat io n s   o f   m u tatio n   an d   cr o s s o v er .       T ab le  2 .   Data s ets   D a t a se t   A b b r e v i a t i o n   S i z e   o f   r e c o r d s   D o t a 2   g a me   D o t a   9 0 0 0 0   H u ma n _ R e so u r c e s_ Em p l o y e e _ A t t r i t i o n   H R EA   1 4 9 9 9   O r a n g e _ T e l e c o m_ C h u r n _ D a t a   O T C D   5 0 0 0   H e a r t   a t t a c k   H e a r t   3 0 0   F r a u d   t r a n s a c t i o n   FT   1 5 0 8 7 0   A d u l t   I n c o me   AI   3 2 0 0 0   D i a b e t i c   D i a b e t i c   1 1 5 1   B r e a st   c a n c e r   B r e a st c a n c e r   9 0 0       4.   RE SU L T S  A ND  D I SCU SS I O N     I n   th is   s ec tio n ,   th e  r es u lt  o f   ac cu r ac y   s co r e  an d   ti m e  to   co m p lete  ( T OC )   o f   th e  alg o r ith m   w it h   th e   f i v e  m u tatio n   an d   cr o s s o v er   r ates  is   ex p lai n ed   ac co r d in g   to   th e  d ata  s izes  :  s m all  an d   b ig .   Hea r t,  b r ea s tcan ce r ,   d iab etic  an d   OT C D  w er e  g r o u p ed   as  a  s m a ll  d ataset   wh ile  o n   t h e  B r ea s tca n ce r   an d   OT C D  d atasets ,     th e  d i f f er en t   s etti n g   o f   m u tati o n   an d   cr o s s o v er   r ate s   d id   n o t   p r esen t   a  m u c h   d if f er en ce   to   th e  ac c u r ac y   s co r e.   Dif f er en t   s h ap es  o f   r es u lts   c an   b e  s ee n   o n   th e   Hea r t  a n d   Diab etics  d atase t.  T h e  h i g h est  s co r e  o n   Hea r t  p r o v id ed   b y   MC R 2   ( 0 . 9 , 0 . 1 )   w h ile  M C R 5   ( 0 . 3 , 0 . 7 )   is   th e  b est s etti n g   o n   Diab etic.     4 . 1 .     Acc ura cy   s co re   Fig u r e  2   p r esen t s   t h e  r es u lts   o f   ac c u r ac y   s co r e  f o r   th e  AM L   T P O T   test ed   o n   th e   d atasets   w it h   s izes   l ess   t h an   1 0 0 0 0 .   T h e  d ef au lt  c o n f i g u r atio n   M C R 1   ( 0 . 1 , 0 . 9 )   o f   th e  A M L   T P O T   r em ai n   as  th e  o p ti m al  s etti n g   f o r   t w o   d atasets   ( Hea r t,  Diab etic)   b u t  n o t  m u c h   e f f ec t  o n   t h e   B r ea s tcan ce r   an d   OT C D  d ata s ets.  B y   lo o k in g   at   ea ch   p air   o f   m u tatio n   an d   cr o s s o v er   s etti n g ,   th er e  h av e  b ee n   s o m e  p er f o r m a n ce s   ef f ec t  t o   th e  ac cu r ac y   s co r e  to   th e  th r ee   o f   d ata s ets  ( Hea r t,   B r ea s tcan ce r ,   Diab etic) .   Sli g h tl y   i m p r o v e m e n t  also   ca n   b e  s ee n   o n   t h e  OT C D   d ataset.   B o th   h i g h er   cr o s s o v er   r ates  in   MC R 1   ( cr o s s o v er   r ate  0 . 9 )   an d   MCR 3   ( cr o s s o v er   r ate  0 . 7 )   h av e   ac h iev ed   h ig h er   ac cu r ac y   s co r e  co m p ar ed   to   th e  lo w er   cr o s s o v er   r ate  in   MC R 2   ( cr o s s o v er   r ate  0 . 1 )   an d   MCR 4   ( cr o s s o v er   r ate  0 . 3 ) .   W ith   t h e  m o d er ate  s et tin g   o f   MC R 5   ( 0 . 5 , 0 . 5 ) ,   n o n e  o f   s i n g le   p atter n   ca n   b e  o b s er v ed   f r o m   all  th e  d ata s ets.   Fig u r e  3   p r esen ts   th e  ac cu r ac y   s co r es  o f   AM L   T P O T   w i th   d if f er e n t  s et s   o f   m u tatio n   an d   cr o s s o v er   o n   th e   b ig g er   s ize   o f   d ata s ets.   Sli g h t l y   d if f er en t   w it h   t h e  s m all  d atasets ,   h i g h er   cr o s s o v er   r ates  in   MC R 1   a n d   MCR 3   d id   n o t  p r ese n t  a  g r ea t  i m p r o v e m e n t  to   t h e  ac c u r a cy   s co r es  o f   all  d ata s ets.  I n   f a ct,   s li g h t l y   h i g h er   ac cu r ac y   s co r e  ca n   b e  s ee n   o n   H R E A ,   A I   a n d   Do ta  w it h   MRC 4   ( 0 . 3   cr o s s o v er   r ate) .   N ev er th ele s s ,   w i th   th e   v er y   s m all   i m p r o v e m e n t,  t h e  d ef au lt   s et tin g   o f   M C R 1   ( 0 . 1 , 0 . 9 )   ca n   b e  co n s id er ed   as  t h e  b est  s ett in g   f o r   t h e   A M L   T P O T .     Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8938     I n t J   A r ti f   I n tell ,  Vo l.  9 ,   No .   3 ,  Sep te m b er   20 20 :    4 0 2   –   408   40 6       Fig u r e  2 .   A cc u r ac y   s co r e  f o r   s m all  s ize  d atasets           Fig u r e  3 .  A cc u r ac y   s co r e  f o r   l ar g e  d atasizes       B ased   o n   th e  r esu lt s   p r esen ted   f r o m   th e  ab o v e  Fi g u r e  2   an d   Fig u r e  3 ,   th e  g en er al  co n c lu s i o n   th at  ca n   b e  m ad e  i s   t h at  cr o s s o v er   w i t h   t h e  e x p lo itatio n   asp ec t  ca n   b e  s et  to   a   h ig h er   v al u e  t h an   m u tatio n   r ates  s o   t h at  th e  s ea r ch   d ir ec tio n   ca n   g o   d ee p   f o r   b etter   in ten s it y   i n   f i n d i n g   t h e  b est  m ac h i n e   lear n in g   p ip elin e s .     Ho w e v er ,   f o r   th e  ca s e  o f   b ig   d atasizes,  f u th er   e m p ir ical  e x p er im e n t s   w it h   d if f er e n t  f ac to r s   m ig h t  b e  ess en tial  to   b e  co n d u cted .     4 . 2 .     T i m e  t o   co m p let e  ( T T C )   T h e  T T C s   in   s ec o n d   t h at  t h e  alg o r it m   h a s   ta k en   f o r   ea ch   m u tatio n   an d   cr o s s o v er   r ates  ar e  p r esen ted   in   Fi g u r e  4   an d   Fi g u r e  5 .   A s   t h e  lo w er   cr o s s o v er   r ates  s h o u ld   tak e  s m aller   T T C ,   it  is   in te r esti n g   to   g e t  id ea s   o n   h o w   t h e  d i f f er e n t  d ata s ets   m a y   a f f ec t  o n   t h e   T T C .   B ased   o n   t h e  t h eo r y ,   M C R 2   o r   MCR 4   w it h   lo w er   cr o s s o v er   r ates sh o u ld   ab le  to   co m p lete  f as ter   th a n   th e  M C R 1   an d   MCR 3 .   As  p r esen ted   in   Fig u r e  4 ,   o n ly   B r ea s tca n ce r   an d   Diab etic  d atasets   th at  s u p p o r t  th e  th eo r y .   MC R 2   an d   MCR 4   w it h   lo w er   cr o s s o v er   r ates  ( 0 . 1   an d   0 . 3 )   h as  lo w er   T T C   th an   M C R 1   an d   M C R 3   ( 0 . 9   an d   0 . 7 ) .     On   t h e  Hea r t  a n d   OT C D,   lo wer   cr o s s o v er   r ate  in   MC R 4   f a ce d   th e  lo w er   T T C   b u t  f o u n d   to   b e  s i m ilar   T T C   v alu e s   o n   M C R 1   a n d   MCR 2 .   Fo r   all  d atasets ,   m o d er ate  cr o s s o v er   r ate  0 . 5   is   th e  lo w es t  T T C .   Ma j o r   ef f ec t  o f   lo w er   cr o s s o v er   r ates to   th e  T T C s   o n   all  b ig   d atasets   ca n   b e  s ee n   i n   Fi g u r e  5 .     M CR 1 M CR 2 M CR 3 M CR 4 M CR 5 Hea r t ( 3 0 0 ) 0 , 8 5 0 , 8 1 0 , 8 0 0 , 7 9 0 , 7 4 B r ea s t c a n c er ( 6 0 0 ) 0 , 9 8 0 , 9 7 0 , 9 8 0 , 9 7 0 , 9 8 D i a b et i c ( 1 1 5 1 ) 0 , 7 5 0 , 7 2 0 , 7 0 0 , 7 0 0 , 6 9 O T CD  ( 5 0 0 0 ) 0 , 9 6 0 , 9 6 0 , 9 5 0 , 9 5 0 , 9 5 0 , 6 5 0 , 7 0 0 , 7 5 0 , 8 0 0 , 8 5 0 , 9 0 0 , 9 5 1 , 0 0 A c c ur ac y   S c o r e M C R 1 M C R 2 M C R 3 M C R 4 M C R 5 Dot a ( 9K) 0, 59 0, 59 0, 59 0, 60 0, 60 HR E A( 15 K) 0, 99 0, 98 0, 99 0, 99 0, 95 AI   ( 32K) 0, 83 0, 83 0, 81 0, 82 0, 83 F T   ( 150 K) 0, 95 0, 96 0, 96 0, 96 0, 94 0, 55 0, 60 0, 65 0, 70 0, 75 0, 80 0, 85 0, 90 0, 95 1, 00 1, 05 A c c u r a c y   S c or e Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J   A r ti f   I n tell   I SS N:  2252 - 8938       Differ en t m u ta tio n   a n d   cro s s o ve r   s et  o f g en etic  p r o g r a mmin g   in   a n ... ( S u r a ya   Ma s r o m )   407       Fig u r e  4 .  T T C   f o r   s m al l size  d atasets           Fig u r e  5 .  T T C   f o r   lar g e  s ize  d atasizes       On   al l  lar g e  s ize   d ataset s ,   M C R 2   ( cr o s s o v er   r ate  0 . 1 )   an d   MC R 4   ( cr o s s o v er   r ate   0 . 3 )   h av e   lo w er   T T C s   co m p ar ed   to   MC R 1   ( cr o s s o v er   r ate  0 . 9 )   an d   MRC 3   ( cr o s s o v er   r ate  0 . 7 ) .   On   th e  c o n tr ar y   w it h   s m al l   d atasets ,   th e  m o d er ate  s etti n g   in   MC R 5   d id   n o t h av e  a  p atter n   o f   e f f ec t t h e  t h e  T T C s .   B ased   o n   Fig u r e  4   an d   Fig u r e   5 ,   it   ca n   b e  g en er all y   co n cl u d ed   th at  lo w er   cr o s s o v er   r ates   en co u r ag e   th e  GP   o p tim izatio n   s ea r ch   to   s to p   th e  p r o ce s s   at  ea r lier   s tag e  m ain l y   o n   t h e  b ig   d ata s ize.       5.   CO NCLU SI O N   T h is   p ap er   p r esen ts   t h e  t h e o r y ,   d esi g n   o f   ex p er i m en t s   an d   f i n d in g s   r elate d   to   th e   ef f ec t  o f   p ar am eter izat io n s   o f   g e n etic  p r o g r a m m in g   to   an   a u to m ated   m ac h in e  lear n in g .   T h e  g e n etic   p r o g r am m i n g   i s   a  k in d   o f   m eta - h e u r is tic s   u s ed   as  th e  s ea r ch   o p ti m izatio n   o f   f i n d in g   th e  b est  m ac h i n e   lear n in g   p ip elin es.   Desig n i n g   th e   b est  m ac h in e  le ar n in g   i s   a  d if f ic u lt  e n d ea v o u r   an d   co s tl y   m a in l y   f o r   n e w   d a ta  s cien tis t s .   W it h   th e  au to m ated   m ac h i n e  lear n i n g ,   t h e  b est  s ett in g   o f   m ac h i n e  lear n i n g   m o d el  ca n   b e  ef f ec tiv el y   co n d u cted .  Ho w e v er ,   alt h o u g h   w it h   a u to m atio n   s c h e m e,   r esear c h er s   k e ep   o n   q u e s tio n i n g   t h e   h y p er - p ar a m eter s   s etti n g   o f   au to m ated   m ac h i n e  lear n i n g ,   in   t h i s   ca s e  th e  r o le  o f   cr o s s o v er   an d   m u tatio n   r ates.  R a th er   t h an   u s in g   t h e  d ef au lt   s etti n g ,   it  w ill  b e  u s e f u l  i f   t h e  r esear h er s   i s   p r o v id ed   w it h   t h e  t h eo r y   a n d   r ea s o n a b le  f i n d in g   f o r   th e   p ar am eter izat io n s   o f   A M L   T POT .   A s   f o r   f u t u r e  w o r k s ,   it  w i ll  b e  in ter esti n g   to   s tu d y   m o r e   ex ten s iv e l y   o n   t h e  n atu r e  o f   d ataset s ,   f ea t u r izati o n s   to   th e  p er f o r m an ce s   o f   A M L   T P O T   an d   th e  im p l e m en tatio n   o f   p ar allel   co m p u ti n g   p lat f o r m   i n   ex ec u ti n g   t h e  b ig   d atase ts .       M C R 1 M C R 2 M C R 3 M C R 4 M C R 5 He a r t ( 300) 60 60 65 30 15 B r e a s tca nc e r ( 600) 73 69 70 45 20 Dia be ti c ( 1151 ) 91 44 134 27 82 OT C D  ( 5000) 180 180 180 120 60 0 20 40 60 80 100 120 140 160 180 200 T i m e   to  C om pl e te  ( s e c on d) M C R 1 M C R 2 M C R 3 M C R 4 M C R 5 D ot a ( 9K ) 360 0 240 0 252 00 900 0 180 00 H R E A ( 15 K ) 900 600 240 180 300 A I   ( 32K ) 174 0 960 108 0 270 540 F T   ( 150 K ) 72 0 0 66 0 0 72 0 0 54 0 0 72 0 0 0 500 0 100 00 150 00 200 00 250 00 300 00 T i m e   to  C om pl e te  ( s e c on d) Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8938     I n t J   A r ti f   I n tell ,  Vo l.  9 ,   No .   3 ,  Sep te m b er   20 20 :    4 0 2   –   408   408   ACK NO WL E D G E M E NT S    T h e  au th o r s   w o u ld   li k e  to   th a n k   U n i v er s it i  T ek n o lo g i  M AR A   an d   Mi n is tr y   o f   E d u ca t io n   Ma la y s i a   f o r   th e  f in a n cial  s u p p o r t o f   th i s   p r o j e ct  u n d er   FR G S g r an t N o   6 0 0 - I R MI /FR GS 5 /3   ( 2 0 8 /2 0 1 9 ) .         RE F E R E NC E S    [1 ]   S .   Ha ru n   a n d   M .   F .   I b ra h im ,   “ A   g e n e ti c   a lg o rit h m   b a se d   tas k   sc h e d u li n g   sy ste m   f o r  lo g isti c s  se rv ic e   ro b o ts , ”   Bu ll .   El e c tr.  En g .   In fo rm a t ics ,   v o l.   8 ,   n o .   1 ,   p p .   2 0 6 - 2 1 3 ,   2 0 1 9 .   [2 ]   A .   F .   J.  A l - G b u ri,   S .   Na im ,   a n d   A .   N.  Bo ra ik ,   “ H y b rid iza ti o n   o f   Ba t  a n d   G e n e ti c   A l g o rit h m   to   S o lv e   N - Qu e e n s   P r o b lem , ”   Bu ll .   El e c tr.  En g .   I n f o rm a ti c s ,   v o l.   7 ,   n o .   4 ,   p p .   6 2 6 - 6 3 2 ,   2 0 1 8 .   [3 ]   M .   M o z a   a n d   S .   Ku m a r,   “ Ro u ti n g   in   Ne tw o rk s  u sin g   G e n e ti c   A l g o rit h m , ”   Bu ll .   El e c tr.  En g .   I n fo rm a ti c s ,   v o l.   6 ,   n o .   1 ,   p p .   8 8 - 9 8 ,   2 0 1 7 .   [4 ]   S .   S in g h ,   M .   Ka u sh ik ,   A .   G u p ta,  a n d   A .   K.  M a lv i y a ,   “ W e a th e r  F o re c a stin g   u sin g   M a c h in e   L e a rn in g   T e c h n iq u e s,”   S S RN  El e c tro n .   J . ,   n o .   6 ,   p p .   3 8 - 4 1 ,   2 0 1 9 .   [5 ]   F .   R.   Ka m a la,  P .   R.   J.  T h a n g a iah ,   a n d   A .   In f o ,   “ A n   i m p ro v e d   h y b rid   f e a tu re   se lec ti o n   m e th o d   f o r  h u g e   d ime n sio n a l  d a tas e ts,”  IAE S   In t.   J .   Art if .   I n tell . ,   v o l.   8 ,   n o .   1 ,   p p .   7 7 - 8 6 ,   2 0 1 9 .   [6 ]   V .   S .   P a d a la,  K.  G a n d h i,   a n d   D.  V   P u s h p a lath a ,   “ M a c h in e   lea rn in g  :  th e   n e w   lan g u a g e   f o r  a p p li c a ti o n s,”   IAE S   In t.   J .   Arti f.   I n tell . ,   v o l.   8 ,   n o .   4 ,   p p .   4 1 1 - 4 2 1 ,   2 0 1 9 .   [7 ]   A .   Za k ra n i,   M .   Ha in ,   a n d   A .   I d ri,   “ Im p ro v in g   so f t w a re   d e v e l o p m e n t  e ff o rt  e sti m a ti o n   u s in g   su p p o r t  v e c to r  re g re ss io n   a n d   f e a tu re   se lec ti o n , ”   IAE S   I n t.   J .   Arti f.   In tell . ,   v o l.   8 ,   n o .   4 ,   p p .   3 9 9 - 4 1 0 ,   2 0 1 9 .   [8 ]   R.   S .   Olso n ,   N.   Ba rtl e y ,   R.   J.  Ur b a n o w icz ,   a n d   J.  H.   M o o re ,   “ Ev a lu a ti o n   o f  a   tre e - b a se d   p ip e li n e   o p ti miza ti o n   t o o l   fo r  a u t o ma t in g   d a ta   sc ien c e ,”   in   P ro c e e d in g s  o f   th e   G e n e ti c   a n d   Ev o l u ti o n a ry   Co m p u tatio n   C o n f e re n c e   2 0 1 6 ,   2 0 1 6 ,   p p .   4 8 5 - 4 9 2 .   [9 ]   R.   S .   Olso n ,   R.   J.  Urb a n o w icz ,   P .   C.   A n d re w s,  N.  A .   L a v e n d e r,   J.  H.  M o o re ,   a n d   o th e rs,  “ A u to m a t in g   b io m e d ica l  d a ta  sc ien c e   th ro u g h   tree - b a se d   p i p e l in e   o p ti m iza ti o n , ”   in   E u ro p e a n   C o n fer e n c e   o n   t h e   A p p li c a ti o n s  o f  Evo lu ti o n a ry   Co mp u t a ti o n ,   2 0 1 6 ,   p p .   1 2 3 - 1 3 7 .   [1 0 ]   M .   S u g a n u m a ,   S .   S h irak a w a ,   a n d   T .   Na g a o ,   “ A  Ge n e ti c   Pro g ra mm in g   A p p r o a c h   to   De sig n in g   Co n v o l u ti o n a l  Ne u ra l  Ne two rk   Arc h it e c tu re s ,”   i n   P r o c e e d in g s  o f   th e   G e n e ti c   a n d   Ev o lu ti o n a ry   Co m p u tatio n   Co n f e re n c e ,   2 0 1 7 ,   p p .   4 9 7 - 5 0 4 .   [1 1 ]   C.   S u i,   M .   Be n n a m o u n ,   a n d   R.   T o g n e ri,   “ De e p   f e a tu re   lea rn in g   f o r  d u m m ies :  A   si m p le  a u to - e n c o d e r  trai n in g   m e th o d   u sin g   P a rti c le S w a rm   Op t im is a ti o n , ”   P a tt e rn   Rec o g n it .   L e t t . ,   v o l.   9 4 ,   p p .   7 5 - 8 0 ,   Ju l .   2 0 1 7 .   [1 2 ]   R.   S .   Ols o n   a n d   J.  H.   M o o re ,   “ T POT :  A   T re e - b a se d   Pi p e li n e   Op ti miza ti o n   T o o l   fo r  Au t o m a ti n g   M a c h in e   L e a rn in g , ”   i n   P r o c e e d in g s o f   th e   W o rk sh o p   o n   A u to m a ti c   M a c h in e   L e a rn in g ,   2 0 1 6 ,   v o l.   6 4 ,   p p .   6 6 - 7 4 .   [1 3 ]   L .   Ko tt h o f f ,   C.   T h o rn to n ,   H.   H.   Ho o s,   F .   Hu tt e r,   a n d   K.  L e y to n - Bro w n ,   “ A u to - W EKA   2 . 0 :  A u to m a ti c   m o d e l  se lec ti o n   a n d   h y p e rp a ra m e ter o p ti m iz a ti o n   in   W EKA , ”   J .   M a c h .   L e a rn .   Res . ,   v o l.   1 8 ,   n o .   1 ,   p p .   8 2 6 - 8 3 0 ,   2 0 1 7 .   [1 4 ]   E.   Bro c h u ,   V .   M .   Co ra ,   a n d   N.  De   F re it a s,  “ A  tu to rial  o n   Ba y e si a n   o p ti m iza ti o n   o f   e x p e n siv e   c o st  f u n c ti o n s,  w it h   a p p li c a ti o n   t o   a c ti v e   u se r  m o d e li n g   a n d   h iera rc h ica l  re in f o rc e m e n t  lea rn in g , ”   a rX iv   P re p r .   a rXiv 1 0 1 2 . 2 5 9 9 ,   2 0 1 0 .   [1 5 ]   M .   F e u re r,   A .   Kle in ,   K.  Eg g e n sp e rg e r,   J.  S p rin g e n b e rg ,   M .   Blu m ,   a n d   F .   H u tt e r,   “ Ef f icie n t  a n d   ro b u st  a u t o m a ted   m a c h in e   lea rn in g , ”   in   Ad v a n c e s i n   n e u r a l  i n fo rm a ti o n   p ro c e ss in g   s y ste ms ,   2 0 1 5 ,   p p .   2 9 6 2 - 2 9 7 0 .   [1 6 ]   P .   G ij sb e rs,  J.  V a n sc h o re n ,   a n d   R.   S .   Ols o n ,   “ L a y e re d   T PO T :  S p e e d i n g   u p   tre e - b a se d   p ip e li n e   o p t imiza ti o n , ”   CEUR  W o rk sh o p   P r o c . ,   v o l .   1 9 9 8 ,   2 0 1 7 .   [1 7 ]   K.  Ka m il ,   K.  H.  Ch o n g ,   H.  Ha sh im ,   a n d   S .   A .   S h a a y a ,   “ A  m u lt ip le  m it o sis  g e n e ti c   a l g o rit h m , ”   IA ES   In t.   J .   Arti f .   In tell . ,   v o l.   8 ,   n o .   3 ,   p p .   2 5 2 - 2 5 8 ,   2 0 1 9 .   [1 8 ]   I.   A .   Hu m ied ,   “ S o lv in g   N - Qu e e n s  P ro b lem   Us in g   S u b p ro b lem s  b a se d   o n   G e n e ti c   A lg o rit h m , ”   IAE S   I n t.   J .   Arti f .   In tell . ,   v o l.   7 ,   n o .   3 ,   p p .   1 3 0 - 1 3 7 ,   2 0 1 8 .   [1 9 ]   N.  K.  a n d   P .   N.  R. ,   “ A   m u lt io b jec ti v e   g e n e ti c   p ro g ra m m in g - b a se d   e n se m b le  f o r  si m u lt a n e o u s  f e a tu re   se lec ti o n   a n d   c las si f ica ti o n , ”   F.   T r a n s.   Cy b e rn . ,   v o l.   2 0 1 6 4 6 ,   n o .   2 ,   p p .   4 9 9 - 5 1 0 ,   2 0 1 6 .   [2 0 ]   K.  C.   T a n ,   S .   C.   C h iam ,   a . a .   M a m u n ,   a n d   C.   K.  G o h ,   “ Ba lan c in g   e x p lo ra ti o n   a n d   e x p l o it a ti o n   w it h   a d a p ti v e   v a riatio n   f o r  e v o lu ti o n a ry   m u lt i - o b jec ti v e   o p ti m iza ti o n , ”   E u r.  J .   Op e r.  Res . ,   v o l.   1 9 7 ,   n o .   2 ,   p p .   7 0 1 - 7 1 3 ,   S e p .   2 0 0 9 .   [2 1 ]   S .   M a sro m ,   I.   M o se r,   J.  M o n tg o m e r y ,   S .   Z.   Z.   A b id in ,   a n d   N.  Om a r,   “ Hy b rid iza ti o n   o f  p a rticle   swa rm   o p ti miza t io n   wit h   a d a p ti v e   g e n e ti c   a lg o rit h m  o p e ra t o rs , ”   in   2 0 1 3   I n tern a ti o n a l   Co n f e re n c e   o n   In telli g e n t  S y ste m s  De sig n   a n d   A p p li c a ti o n s,  2 0 1 3 ,   p p .   1 - 6.   [2 2 ]   S .   M a sro m ,   S .   Z.   Z.   A b id i n ,   N.   O m a r,   a n d   K.  Na sir,   “ T ime - V a r y in g   M u tati o n   in   P a r ti c le  S w a r m   Op ti m iza ti o n , ”   in   In telli g e n t  I n fo rm a t io n   a n d   Da t a b a se   S y ste ms - L NCS ,   S p ri n g e r - V e rlag   Be rli n   He id e lb e rg ,   2 0 1 3 ,   p p .   3 1 - 4 0 .   [2 3 ]   S .   M a sro m ,   S .   Z.   Z.   A b id in ,   N.  Om a r,   A .   S .   A .   Ra h m a n ,   a n d   Z.   I.   Riz m a n ,   “ D y n a m i c   p a ra m e teriz a t io n s  o f   p a rti c le  sw a r m   o p ti m iza ti o n   a n d   g e n e ti c   a lg o rit h m   f o r  fa c il it y   la y o u t  p r o b lem , ”   AR PN  J .   E n g .   A p p l .   S c i . ,   v o l.   1 2 ,   n o .   1 0 ,   2 0 1 7 .   [2 4 ]   N.  Hig a sh i  a n d   H.  Ib a ,   “ P a rti c l e   s w a r m   o p ti m iz a ti o n   w it h   G a u ss ian   m u tatio n , ”   in   IE EE   S w a r m  In telli g e n c e   S y mp o si u m -   S I S   ’0 3 . ,   2 0 0 3 ,   p p .   7 2 - 7 9 .   [2 5 ]   S .   M a sro m ,   S .   Z.   Z.   A b id in ,   N.  O m a r,   K.  Na sir,   a n d   A .   S .   A b d   Ra h m a n ,   “ D y n a m ic  P a ra m e teri z a ti o n   o f   th e   P a rti c le  S w a r m   Op ti m iz a ti o n   a n d   G e n e ti c   A lg o rit h m   H y b rid s  f o r  V e h icl e   Ro u ti n g   P ro b lem   w it h   T i m e   W in d o w , ”   In t.   J .   Hy b rid   In tell .   S y st.,   v o l.   1 2 ,   n o .   1 ,   p p .   1 3 - 2 5 ,   2 0 1 5 .   [ 2 6 ]   W .   M .   Da h a lan ,   H.  M o k h li s ,   R.   A h m a d ,   A .   H.  A .   Ba k a r,   a n d   I.   M u sirin ,   “ S im u lt a n e o u s  n e tw o rk   re c o n f ig u ra ti o n   a n d   DG   siz in g   u sin g   e v o lu ti o n a r y   p ro g ra m m in g   a n d   g e n e ti c   a lg o rit h m   to   m in im iz e   p o w e r  lo ss e s,”   Ara b .   J .   S c i.   En g . ,   v o l.   3 9 ,   n o .   8 ,   p p .   6 3 2 7 - 6 3 3 8 ,   2 0 1 4 .     Evaluation Warning : The document was created with Spire.PDF for Python.