I AE S In t er na t io na l J o urna l o f   Art if icia l In t ellig ence   ( I J - AI)   Vo l.  8 ,   No .   4 ,  Dece m b er   201 9 ,   p p .   399 ~ 410   I SS N:  2 2 5 2 - 8938 ,   DOI : 1 0 . 1 1 5 9 1 /i j ai. v 8 .i 4 . p p 399 - 4 1 0          399       J o ur na l ho m ep a g e :  h ttp : // ija i . ia es co r e . co m   I m pro v ing  so ft w a re deve lo p m en t  e f fort e st i m a tion us ing   supp o rt  v ector  re g ress io n and  f ea t ure selec tion       Abdela li  Z a k ra n i 1 ,  M us t a ph a   H a in 2 ,  Ali  I dri 3   1, 2 De p a rtm e n t  o f   In d u strial  E n g in e e rin g ,   ENS A M ,   Ha ss a n   II  Un iv e rsity ,   M o ro c c o   3 S o f tw a r e   P ro jec t  M a n a g e m e n t  Re se a rc h   Tea m ,   ENS I A S ,   M o h a m m e d   V   U n iv e rsity ,   M o ro c c o       Art icle  I nfo     AB ST RAC T   A r ticle  his to r y:   R ec eiv ed   Au g   1 5 ,   2 0 1 9   R ev i s ed   Oct   3 0 ,   2 0 1 9   A cc ep ted   No v   15 ,   2 0 1 9       A c c u ra te  a n d   re li a b le  so f t w a re   d e v e lo p m e n t  e ff o rt  e sti m a ti o n   (S DEE)   is  o n e   o f   th e   m a in   c o n c e rn s  f o r  p r o j e c t  m a n a g e rs.  P lan n in g   a n d   sc h e d u l in g   a   so f t w a re   p ro jec t  u sin g   a n   i n a c c u ra te  e sti m a te  m a y   c a u se   se v e re   r isk s  to   th e   so f t w a re   p ro jec t  u n d e r  d e v e lo p m e n t  su c h   a s  d e la y e d   d e li v e r y ,   p o o r  q u a li ty   so f t w a re ,   m issin g   f e a tu re s.  T h e re f o re ,   a n   a c c u ra te  p re d ictio n   o f   th e   so f t w a re   e ff o rt  p la y s   a n   i m p o rtan t  ro le  in   th e   m in im iza ti o n   o f   th e s e   risk s  th a t  c a n   lea d   to   th e   p ro jec t  f a il u re .   No w a d a y s,  th e   a p p l ica ti o n   o f   a rti f icia l  i n telli g e n c e   tec h n iq u e s  h a s  g ro w n   d ra m a ti c a ll y   f o r  p re d ictin g   so f tw a r e   e ff o rt.   T h e   re se a rc h e rs  f o u n d   th a t  th e se   tec h n iq u e s  a re   su it a b le  to o ls  f o r   a c c u ra te   p re d ictio n .   In   th is  stu d y ,   a n   i m p ro v e d   m o d e l  is  d e sig n e d   f o r  e sti m a ti n g   so f t w a re   e ff o rt  u sin g   su p p o r t  v e c to r  re g re ss io n   (S V R)  a n d   t w o   f e a tu re   se lec ti o n   (F S )  m e th o d s.  P rio r  t o   b u il d i n g   m o d e l  ste p ,   a   p re p r o c e ss in g   sta g e   is   p e rf o r m e d   b y   ra n d o m   f o re st  o r  Bo ru ta  f e a tu re   se lec ti o n   m e th o d s   to   re m o v e   u n im p o rtan t   f e a tu re s.  Ne x t,   th e   S V R  m o d e l  is  t u n e d   b y   a   g rid   se a rc h   a p p ro a c h .   T h e   p e rf o r m a n c e   o f   th e   m o d e ls  is  th e n   e v a lu a ted   o v e r  e ig h t  w e ll - k n o w n   d a tas e ts  th ro u g h   3 0 % h o l d o u t  v a li d a ti o n   m e th o d .   T o   sh o w   th e   im p a c t   o f   f e a tu re   se lec ti o n   o n   th e   a c c u ra c y   o f   S V R  m o d e ls,  t h e   p r o p o se d   m o d e l  wa s   c o m p a re d   w it h   S V R   m o d e l  w it h o u t  f e a tu re   se lec ti o n .   T h e   re su lt s   in d ica ted   th a t  S V R  w it h   f e a tu re   se lec ti o n   o u tp e rf o rm s  S V R  w it h o u t   F S   i n   te rm s  o f   th e   th re e   a c c u ra c y   m e a su re s u se d   in   t h is em p iri c a l  stu d y .   K ey w o r d s :   A cc u r ac y   m ea s u r es   R an d o m   f o r est   So f t w ar e  ef f o r t  esti m atio n   Su p p o r t v ec to r   r eg r ess io n   f ea t u r e  s elec tio n   Co p y rig h t  ©   2 0 1 9   In stit u te o f  A d v a n c e d   E n g i n e e rin g   a n d   S c ien c e .    Al l  rig h ts re se rv e d .   C o r r e s p o nd ing   A uth o r :   A b d elali  Z ak r a n i,   Dep ar t m en t o f   I n d u s tr ial  E n g i n ee r in g ,   E co le  Natio n ale  Su p ér ie u r e  d ’ A r t s   et  Mé tier s ,   1 5 0   A v en u e  Nile,   S id i O th m a n ,   2 0 6 7 0 ,   C asab lan ca ,   Mo r o cc o .   E m ail: a b d elali. za k r a n i @ u n i v h 2 c. m a       1.   I NT RO D UCT I O N   I n   an   a g e  o f   r eg u lar   tec h n o lo g ical  d is r u p tio n ,   f o r   s o f t w ar e  co m p an ie s ,   g r o w i n g   f ast   h as  b ec o m e   ess e n tial  to   s u r v i v al.   Mo r eo v er ,   s o f t w ar e  co m p a n ies   m u s t  al s o   tar g et   b ec o m i n g   p r o f itab le  r ap id l y   an d   ef f icien tl y .   On e  o f   t h e  m ai n   k e y s   to   ac h ie v e  t h is   g o al  i s   to   a llo ca te  s o f t w ar e  p r o j ec t  r eso u r ce s   ef f icie n tl y   a n d   s ch ed u le  ac tiv i ties   as  o p ti m a ll y   a s   p o s s ib le.   I n   th i s   co n te x t,  esti m ati n g   s o f t w ar e  d ev elo p m en t  ef f o r t  is   cr itical.   Var io u s   m et h o d s   h a v e  b ee n   in v e s ti g ated   in   s o f t w ar e  ef f o r t  esti m atio n ,   in c lu d i n g   tr ad itio n al  m e th o d s   s u ch   a s   th e  co n s tr u ctiv e   co s t  m o d el  ( C OC OM O)   [ 1 ] ,   an d ,   r ec en t l y ,   m ac h i n e  lear n in g   tech n iq u e s   s u c h   a s   M L P   n e u r al   n et w o r k s   [ 2 ] ,   r ad ial  b asis   f u n c tio n   ( R B F)   n e u r al  n et w o r k s   [ 3 ] ,   r an d o m   f o r est  ( R F)  [ 4 - 5 ]   ,   f u zz y   an a lo g y   ( F A )   [ 6 ]   an d   s u p p o r t v ec to r   r eg r e s s i o n   ( SV R )   [ 7 ] .   Ma ch in e   lear n i n g   tech n iq u es  u s e   d ata  f r o m   p ast p r o j ec ts   to   b u ild   a  r eg r ess io n   m o d el  t h at  i s   s u b s eq u en t l y   e m p lo y ed   to   p r ed ict  th e  e f f o r t  o f   n e w   s o f t w ar e  p r o j ec ts .   Ho w ev er ,   n o   s in g le  m et h o d   h a s   b ee n   f o u n d   to   b e  en t ir el y   s tab le  a n d   r elia b le  f o r   all  ca s es.   F u r th er m o r e,   th e   p er f o r m a n ce   o f   an y   m et h o d   d ep en d s   m ai n l y   o n   th e  ch ar ac ter is tic s   o f   th e  d ataset  u s ed   to   c o n s tr u ct  th e  m o d el.   T h ese  ch ar ac ter is tic s   i n cl u d e  d atase t  s ize,   o u tlier s ,   n u m b er   o f   f e atu r es,  ca te g o r ical  f ea t u r es  a n d   m is s in g   v al u es.   T h er ef o r e,   p er f o r m i n g   a  p r ep r o ce s s in g   d ata  p r io r   to   an y   SD E E   m o d el  b u ild in g   ca n   co n tr i b u te  to   i m p r o v e  t h e   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8938   IJ - A I   Vo l.  8 ,   No .   4 ,   Dec em b er   201 9 :    3 9 9   –   410   400   ac cu r ac y   o f   th e   g e n er ated   esti m atio n .   Dep e n d in g   o n   d ata s et  u s ed ,   th e  p r ep r o ce s s i n g   d ata  c an   b e  clea n i n g   d ata  b y   i m p u tin g   m is s i n g   v al u e  o r   tr an s f o r m i n g   a n d /o r   r ed u cin g   th e  d ata  b y   r e m o v i n g   r ed u n d an t  a n d   ir r elev an t   f ea t u r es.  As  o n e  o f   t h e  m aj o r   co n ce r n s   w h e n   u s in g   d atase t  t o   co n s tr u ct   a  S DE E   m o d el  is   t h e  n eg at iv e   i m p ac t   o f   ir r elev an t a n d   r ed u n d a n t in f o r m at io n   o n   est i m a tio n   ac c u r ac y   [ 8 ] .     Hen ce ,   w e  n ee d   to   r e m o v e   i r r elev an t  a n d   r ed u n d an t   in f o r m atio n   an d   k ee p   a  s u b s et   o f   r ele v an t   f ea t u r es  s o   o n l y   in f o r m a tio n   a b o u t  th e  e f f o r t  ( d ep en d en t  v ar iab le)   is   r eser v ed .   Fo r   t h is   p u r p o s e,   m an y   f ea t u r e  s elec tio n   ( FS )   m et h o d s   h a v e   b ee n   e m p lo y ed   in   t h e  liter a tu r e  [ 8 - 1 3 ] .   I n   t h is   co n te x t,  th is   p ap er   ai m s   to   in v e s ti g ate  t h e  u s e  o f   t w o   f ea t u r e  s elec tio n   m et h o d s   as  p r ep r o ce s s in g   s tep   b ef o r e  f ee d i n g   d ata  to   SVR   m o d el  b u ild in g   s ta g e.   T h e  p ap er   ai m s   also   to   ev al u ate  w h et h er   o r   n o t th e  w r ap p er   f ea tu r e  s elec tio n   m eth o d s   i m p r o v e  th e  ac cu r ac y   o f   th e  SV R   m o d el.   T h er ef o r e,   w e  ass e s s   SV R   m o d el s   p r ep r o ce s s ed   w i th   t wo   w r ap p er   m et h o d s   an d   w e  co m p ar e  th e m   w it h   SVR   m o d el  b u ilt  w it h o u t  f ea tu r e  s elec tio n   m et h o d s .   T h e  m a in   co n tr ib u tio n s   o f   th is   p ap er   ar e  th r ee f o ld :  ( 1 )   ass ess i n g   t h e  i m p ac t  o f   f ea t u r e  s elec tio n   m et h o d s   o n   t h e  p r ed ictiv e  ca p ab ilit y   o f   SVR   m o d els  o v er   eig h t  d atase ts   ( 2 )   em p lo y i n g   t w o   w r ap p er   f ea t u r e  s e lectio n   m et h o d s   to   s elec t  t h e   attr ib u te s   u s ed   f o r   SVR   m o d els   ( 3 )   tu n i n g   th e   h y p er p ar a m eter   v al u es   o f   SV R   u s i n g   a  g r id   s ea r ch   ap p r o ac h   an d   1 0 - f o ld   cr o s s - v alid atio n   ap p r o ac h .   T h is   p ap er   is   o r g an ized   as  f o llo w s .   Sectio n   2   p r esen ts   t h e  SV R   tech n iq u e  a n d   th e   tw o   f ea tu r e  s e lectio n   m et h o d s   u s ed   in   t h is   s t u d y   an d   Sectio n   3   g iv e s   an   o v er v ie w   o f   r elate d   w o r k   co n d u cte d   o n   SV R   in   SDEE .   I n   Secti o n   4 ,   w e  d escr ib e  t h e  ar ch itectu r e  o f   th e  p r o p o s ed   m o d el  in clu d i n g   th e   m et h o d o lo g y   ad o p ted   to   ad j u s t  it  p ar am eter s   v alu e s .   Sect io n   5   p r esen ts   a  b r ief   d escr ip tio n   o f   th e  d atasets ,   t h e   ac cu r ac y   m ea s u r e s ,   t h e  v ali d atio n   m eth o d   u s ed   i n   th i s   s tu d y .   T h e  e m p ir ical   r es u lts   ar e  p r esen ted   a n d   d is cu s s ed   in   Sect io n   6 .   Fin al l y ,   Sectio n   7   co n clu d es t h e  p ap er .       2.   B ACK G RO UND   B ef o r e  en ter in g   i n to   d etail s ,   w e   in tr o d u ce   th e   t h r ee   m a in   to o ls   o f   t h is   p ap er :  s u p p o r t  v ec to r   r eg r ess io n ,   f ea t u r e  i m p o r tan ce ,   an d   f ea tu r e  s e lectio n .     2 . 1 .     Su pp o rt   v ec t o r  re g re s s io n   Su p p o r t  Vec to r   Ma ch i n es  a s   d escr ib ed   in   [ 1 4 ]   h av e   s h o w n   t o   d eliv er   p r o m is i n g   s o l u tio n s   in   v ar io u s   class i f icatio n   an d   r eg r es s io n   task s   th a n k s   to   th e ir   ab ilit y   t o   av o id   lo ca l  m i n i m a,   i m p r o v ed   g en er al izatio n   ca p ab ilit y ,   an d   s p ar s e  r ep r ese n ta tio n   o f   t h e  s o lu tio n .   SVM  ar e  b ased   o n   Stru ctu r al  R i s k   Min i m izatio n   ( SR M)   p r in cip le  an d   t h u s   tr ie s   to   co n tr o l  th e  u p p er   b o u n d   o f   g e n er aliza tio n   r is k   w h ile  r ed u cin g   t h e  m o d el   co m p le x it y .   I n   ad d itio n ,   th e y   d o   n o t s u f f er   f r o m   o v er   f i tti n g   p r o b lem   an d   lo ca l  m i n i m izati o n   is s u e s   a n d   h en c e   o f f er   e n h a n ce d   g e n er aliza tio n   ca p ab ilit y .   Fo r   r eg r ess io n   ta s k s ,   Vap n i k   p r o p o s ed   an   SV M  ca lled   ε - s u p p o r t   v ec to r   r eg r ess io n   ( ε - S VR ) ,   wh ich   p er f o r m s   p r ed ictio n   tas k s   f r o m   t h e  ε - i n s e n s iti v e  lo s s   f u n ctio n .   B ec au s e  th e   ε  p ar a m eter   i s   u s e f u l  i f   th e   ap p r o x i m atio n   ac cu r ac y   i s   s p ec i f ied   b ef o r e h an d ,   it   is   b etter   to   f i n d   a  p r o ce d u r e  to   o p tim ize  th is   ac c u r ac y   w i th o u t  d ep en d in g   a  p r io r i  o n   a  v a lu e  s et.   T h is   p r o ce d u r e  w as  s tu d ied   b y   Sö lk o p f ,   S m o la,   W illi a m s o n   an d   B ar tlett  [ 1 5 ] .   T h ey   p r o p o s ed   a  n ew   f o r m u latio n ,   ca lled   ʋ - s u p p o r t  v ec to r   r eg r ess io n   (ʋ - SV R ) ,   th at  a u to m atica ll y   m i n i m izes  t h e  ε - i n s e n s it iv e  l o s s   f u n ctio n   a n d   ch a n g es  t h e  SVR   f o r m u latio n   b y   u s i n g   a  n e w   ʋ   p ar a m eter   w h o s e   v al u e   is   b et w ee n   [ 0 , 1 ] .   I n   ad d itio n   to   m i n i m izi n g   th e   ε  v alu e,   th e   ʋ   p ar am eter   i s   u s ed   f o r   co n tr o lli n g   t h e  n u m b er   o f   s u p p o r t  v ec t o r s ,   s in ce   t h e  v al u e  o f   ε  in f l u e n ce s   t h e  ch o ice  o f   s u p p o r t v ec to r s .   I n   th is   s t u d y ,   a  s p ec ial   f o r m   o f   SVM  i.e . ,   Su p p o r t  Vec to r   R eg r ess io n   ( SVR )   is   u ti lized   f o r   m o d elin g   th e  in p u t – o u tp u t  f u n ctio n al  r e latio n s h ip   o r   r eg r ess io n   p u r p o s e  an d   is   ex p lai n ed   n e x t.  Gi v en   a  s e t  o f   in p u t – o u tp u t  s a m p le   p air s   { ( 1 , 1 ) , ( 2 , 2 ) , . . . , ( , ) }   w h er e    ∈  an d   ∈  ,   th e  o b j ec tiv e  o f   ν - SV R   tech n iq u e  is   to   ap p r o x im a te  th e  n o n l in ea r   r elatio n s h ip   g i v en   in   ( 1 ) ,   s u ch   th at  ( )   s h o u ld   b e  as  clo s e  as  p o s s ib le  to   th e  tar g et  v alu e  y   a n d   s h o u ld   b e  as f lat  as p o s s ib le  in   o r d er   to   av o id   o v er - f itti n g .         ( ) = . ( ) +   ( 1 )     w h er e    is   th e  w ei g h t  v ec to r ,     is   th e  b ias  an d   ( )   r ep r esen ts   th e   tr an s f o r m a tio n   f u n ctio n   th a t  m ap s   th e   lo w er   d i m e n s io n al  i n p u t  s p a ce   to   a  h ig h er   d i m e n s io n al  s p ac e.   T h e  p r im a l  o b j ec tiv e  o f   t h e  p r o b lem   t h u s   r ed u ce s   to   ( 2 ) ,   in   o r d er   to   en s u r e  t h at  t h e  ap p r o x i m ated   f u n ctio n   m ee ts   t h e  ab o v e  t w o   o b jectiv es   o f   c lo s en e s s   an d   f lat n es s .       m in im ize   1 2 ‖ ‖ 2 + { . + 1 2 ∑ ( + ∗ ) = 1 }   ( 2 )     Evaluation Warning : The document was created with Spire.PDF for Python.
IJ - AI     I SS N:  2252 - 8938       I mp r o vin g   s o ftw a r e  d ev elo p m en t e ffo r t e s tima tio n   u s in g   s u p p o r t v ec to r   r eg r ess io n   a n d ... ( A b d ela li Za kra n i )   401   s ubj e c t   to   the   c on s tr a in t s { − 〈 . ( ) 〉 − ≤ + ∗ , 〈 . ( ) 〉 + − ≤ + ∗ , , ∗ ≥ 0     w h er e  ε   is   a  d ev iatio n   o f   a  f u n ctio n   f ( x)   f r o m   its   ac t u a l  v alu e  an d ,   ξ,  ξ i * ar e  ad d itio n al  s lack   v ar iab les  in tr o d u ce d   b y   C o r tes  &   Vap n ik ,   1 9 9 5 ,   w h ic h   d eter m i n es  t h at,   d ev iatio n s   o f   m a g n itu d e  ξ  ab o v e  ε  e r r o r   ar e   to ler ated .   T h e  co n s tan t  C   k n o w n   a s   r e g u lar izat io n   p ar a m ete r   d eter m in e s   t h e   tr ad eo f f   b et wee n   t h e  f lat n e s s   o f   f   an d   to ler an ce   o f   er r o r   ab o v e  ε.   Fu r th er   ϒ  ( 0 ≤ ϒ≤ 1 ) ,   r ep r es en ts   t h e  u p p er   b o u n d   o n   th e  f u n ctio n   o f   m ar g i n   er r o r s   in   th e  tr ain i n g   s et  an d   estab lis h e s   th e  lo w er   b o u n d   o n   t h e  f r ac t io n   o f   s u p p o r t  v ec to r s .   T o   s o lv e  th e   p r im a l p r o b lem   i n   ( 2 ) ,   its   d u al   f o r m u latio n   i s   in tr o d u ce d   b y   co n s tr u ct in g   L ag r a n g e  f u n c tio n   ( L )   g iv e n   as:     :   1 2 ‖ ‖ 2 + { Υ . + 1 ∑ ( + ∗ ) = 1 } − 1 ∑ ( . + ∗ ∗ ) = 1 − 1 ∑ ( + 1 − . ( ) − )   = 1 + 1 ∑ ( + − . ( ) + ) − . = 1   ( 3 )     w h er e  , ∗ , , ∗        ar e  L ag r an g e  m u l tip lie r s   an d   ( ∗ ) = . ∗ .   T h u s ,   m a x i m izi n g   th e   L ag r an g e  f u n ctio n   g iv e s   = ∑ ( − ∗ ) = 1 . ( )   an d   y ield s   th e  f o llo w i n g   d u al  o p ti m iza tio n   p r o b le m :    m ax i m izes      − 1 2 ∑ ( − ∗ ) . ( − ∗ ) , = 1 . ( , ) + ∑ . ( − ∗ ) ; = 1       s ubj e c t   to { ∑ ( = 1 − ∗ ) = 0 , ∑ ( = 1 − ∗ ) ≤  , , ∗ ∈ [ 0 , ]   ( 4 )     w h er e  ( , )   d en o tes  th e  k er n el  f u n ctio n   g i v en   b y   ( , ) = ( ) . ( ) .   T h e  s o lu tio n   to   ( 4 )   y ield s   th e  L ag r a n g e  m u ltip lier s   , ∗ .   Su b s tit u ti n g   w ei g h t  w   i n   ( 1 ) ,   th e  ap p r o x im a ted   f u n ctio n   is   g i v en   as:      ( ) = ∑ ( − ∗ ) . = 1 ( , ) +   ( 5 )     T h e  ch o ice  o f   k er n el  f u n ctio n   f o r   s p ec if ic  d ata  p atter n s ,   w h ich   is   a n o th er   attr ac ti v e  q u est io n   in   t h e   ap p licatio n   o f   SV R ,   ap p ea r ed   s o m e w h at  ar b itra r y   till   n o w .   So m e  p r ev io u s   w o r k   [ 6 ,   1 6 ]   e m p ir icall y   in d icat e   th at  t h e  u s e  o f   t h e  g au s s ia n   R B F  k er n el  is   s u p er io r   to   o th er   k er n el   f u n ctio n s   b ec au s e  o f   it s   ac ce s s ib ilit y   to   i m p le m en t   a n d   p o w er f u l   m ap p in g   ca p ab ilit y .   T h er ef o r e ,   th e   g a u s s ia n   R B F  k er n el   f u n ctio n ,   ( 6 ) ,  w as  e m p lo y ed   in   t h i s   s t u d y .         ( , ) = e xp ( − ‖ − ‖ 2 )   ℎ      =     1 2 2         ( 6 )     T h e  p ar am eter   σ   af f ec ts   t h e  m ap p in g   tr an s f o r m atio n   o f   t h e  in p u t  d ata  to   th e  f ea tu r e  s p ac e  an d   co n tr o ls   th e  co m p lex it y   o f   t h e  m o d el,   th u s ,   an d   th e  v alu e  o f   p ar am eter     s h o u ld   b e  s elec ted   ca r ef u ll y   a n d   ad eq u atel y .   I n   ad d itio n ,   SV R   r eq u ir es  also   s e tti n g   t w o   p ar am eter s :   th e   co m p lex it y   p ar a m eter   u s u all y   d en o ted   b y   C ,   t h e  e x ten t  to   w h ic h   d e v iatio n s   ( i.e . ,   er r o r s )   ar e  to ler ated   d en o ted   b y   E p s ilo n   ( ε) ,   an d   t h e  ʋ   p ar a m eter   w h ic h   is   u s ed   f o r   co n tr o lli n g   th e  n u m b er   o f   s u p p o r t  v ec to r s ,   s in ce   th e   v al u e  o f   ε  i n f lu e n ce s   t h e  c h o ice  o f   s u p p o r t v ec to r s .     2 . 2 .     F e a t ure  s elec t io n  m et ho ds   T h is   s u b s ec tio n   p r o v id es  an   o v er v ie w   o f   t h e  f ea tu r e  s ele ctio n   m et h o d s   w it h   p ar ticu la r   f o cu s   o n   f ea t u r e  i m p o r tan ce   co n ce p t u s ed   b y   th e  m et h o d s   u s ed   i n   t h is   p ap er .       2 . 2 . 1 .   F ea t ure  s elec t io n  m et h o ds   Featu r e  s elec tio n ,   a ls o   k n o w n   as  v ar iab le  s elec tio n ,   is   th e   p r o ce s s   o f   id e n ti f y in g   t h e  m o s t   p r o m i s i n g   f ea t u r es  ( v ar iab les,  attr ib u tes)   in   a  g iv e n   d ataset.   T h e  s elec t ed   f ea t u r e  w ill   b e  u s ed   to   co n s tr u ct   th e   m o d el  o r   as  in p u ts   o f   a  p r ed ictio n   s y s te m .   T h er e  ar e  m a n y   p o ten tia l  b en ef its   o f   f ea t u r e  s elec tio n   s u c h   as  i m p r o v in g   t h e   g en er aliza tio n   p er f o r m an ce   o f   th e  p r ed icti v e  m o d el,   r ed u c in g   t h e  co m p u tatio n al  ti m e   to   c o n s tr u ct   t h e  m o d el,   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8938   IJ - A I   Vo l.  8 ,   No .   4 ,   Dec em b er   201 9 :    3 9 9   –   410   402   an d   b etter   u n d er s tan d i n g   t h e  u n d er l y in g   p r o ce s s .   Sev er al  f ea tu r e  s elec tio n   m et h o d s   h av e   b ee n   p r o p o s ed   an d   s tu d ied   i n   th e   liter at u r e  [ 1 7 ] .   T h ey   ca n   f all  i n to   t h r ee   ca te g o r ies:   th e   w r ap p er ,   th e  f il ter   a n d   e m b ed d ed .   T h e  w r ap p er   m e th o d s   u s e  a  p r ed ic tiv e  m o d el  to   s co r e  f ea tu r e  s u b s ets.  E ac h   n e w   s u b s et  is   u s e d   to   t r ain   a  m o d el,   w h ic h   i s   te s ted   o n   a  h o ld - o u t  s et.   C o u n tin g   th e   n u m b er   o f   m is tak e s   m ad e  o n   t h at  h o ld - o u t  s et  ( t h e  er r o r   r ate   o f   th e  m o d el)   g iv e s   t h e  s co r e  f o r   th at  s u b s et  [ 1 8 ] .   T h e  f ilter   m et h o d s   co n s id er   s tati s tical  ch ar ac ter is tic s   o f   a   d ata  s et  d ir ec tly   w it h o u t  in v o l v in g   an y   lear n in g   alg o r it h m .   T h e  em b ed d e d   m et h o d s   co m b in e  f ea t u r e  s elec tio n   an d   t h e  lear n in g   p r o ce s s   in   o r d er   to   s elec t  an   o p ti m al   s u b s et  o f   f ea t u r es.  I n   g en er al,   th e   r esu l ts   o f   w r ap p er   m et h o d s   ar e  b etter   th an   th o s e  o f   f ilter   m et h o d s .   Ho w e v er ,   t h e  w r ap p er   m et h o d   is   s lo w   ( t i m e - co n s u m i n g )   an d   v er y   co m p licated   w h e n   t h er e  ar e  m an y   f ea t u r es  i n   t h e  d ata s et.   Fo r tu n atel y ,   i n   o u r   ca s e,   t h e  d ataset s   u s ed   i n   th is   s t u d y   h a v e  r elati v el y   a  s m all  n u m b er   o f   f ea tu r e s .     2 . 2 . 2 .   Ra nd o m   f o re s t   f ea t ure  i m po rt a nce   R an d o m   f o r est  ( R F)  is   an   en s e m b le  lear n i n g   tec h n iq u e   ba s ed   o n   clas s i f ic atio n   an d   r eg r ess io n   tr ee s   [ 1 9 ] .   E ac h   tr ee   is   tr ain ed   o n   a   b o o ts tr ap   s a m p le,   a n d   o p t i m al  v ar iab le s   at  ea c h   s p lit   ar e  id en ti f ied   f r o m   a  r a n d o m   s u b s et  o f   all  v ar iab les.  T h e  s ele ctin g   cr iter ia  ar e  d i f f er e n t  f o r   class i f icat io n   a n d   r eg r ess io n   p r o b lem s .   Fo r   th e  f o r m er   s e tti n g ,   t h e  Gi n i  i n d ex   i s   ap p lied ,   w h er ea s   v ar ia n ce   r e d u ctio n   i s   u s ed   f o r   th e  la tter   ap p r o ac h .   T h e  g lo b al  p r ed ictio n   o f   t h e  R F   is   co m p u ted   a s   a   m aj o r it y   v o te  o r   av er ag e  f o r   class i f icatio n   o r   r eg r ess io n ,   r esp ec tiv el y   [ 2 0 ] .   I n   ad d itio n   to   p r e d ictio n ,   R Fs   ca n   b e  u s ed   as  m e th o d   to   esti m ate  v ar iab le  i m p o r tan ce   m ea s u r es  to   r a n k   v ar iab les  b y   p r ed ictiv e  i m p o r tan ce .   T o   illu s tr ate  th is ,   let ’ s     a  p r o j ec t  f ea tu r e.   R F  f ea t u r e  i m p o r tan ce   o f     is   d ef i n ed ,   as  d escr ib ed   in   [ 2 1 ] ,   as  f o llo w s .   Fo r   ea ch   tr ee   t   o f   th e  f o r est,  co n s id er   th e  ass o ciate d      s am p le  ( Ou t  Of   B ag   is   t h e  d ata  w h ich   w a s   n o t  in cl u d ed   in   th e  b o o s tr ap   s a m p le  u s ed   to   co n s tr u ct   ) .   Den o te  b y       th e  m ea n   s q u ar e  er r o r   ( MSE )   o f   a  s in g le  tr ee   t  o n   t h is      s a m p le.   No w ,   r a n d o m l y   p er m u te  th e  v alu e s   o f     in      to   g et  a  p er tu r b ed   s am p le  d en o ted   b y      ̌   an d   co m p u te   ,   th e  er r o r   o f   p r e d icto r   t   o n   th e  p er tu r b ed   s a m p le.   Fe atu r e  i m p o r tan ce   o f     is   t h en   eq u al  to :       ( ) = 1 ∑ (    ̌ −   ) ,     ( 7 )     w h er e  th e   s u m   is   o v er   all  tr ee s   o f   th e  R F  a n d       d en o tes  th e  n u m b er   o f   tr ee s   o f   t h e  R F.  Featu r es   th at  ar e   r elev a n t   f o r   p r ed ictio n   w i ll  h a v e  lar g e  i m p o r tan ce   v alu e s ,   w h er ea s   f ea tu r es   t h at  ar e  n o t  a s s o ciate d   w it h   t h e  o u tco m e  h a v e  v al u e s   clo s e  to   ze r o .     2 . 2 . 3 .   B o rut a   f ea t ure  s elec t io n  m et ho d   B o r u ta  is   an   a ll  r elev a n t  f ea t u r e  s elec tio n   al g o r ith m ,   i.e . ,   e m b ed d ed   w it h   t h e  R F  al g o r ith m   a n d   u s e s   ca lcu lated   Z - s co r es  as  a  m ea s u r e  o f   b an d   i m p o r tan ce .   T h e  m ai n   id ea   o f   th is   ap p r o ac h   is   to   co m p ar e  th e  i m p o r tan ce   o f   t h e  r ea l  p r ed icto r   v ar iab les  w it h   t h o s e  o f   r an d o m   s o - ca lled   s h ad o w   v ar iab les  u s in g   s tat is tica l   test i n g   a n d   s ev er al  r u n s   o f   R F s   [ 2 2 ] .   I n   ea ch   r u n ,   th e  s et  o f   p r ed icto r   v ar iab les  is   d o u b led   b y   ad d in g   a  co p y   o f   ea ch   v ar iab le.   T h e  v alu es  o f   th o s e  s h ad o w   v ar iab les  a r e  g en er ated   b y   p er m u ti n g   t h e  o r ig in a l  v al u es  ac r o s s   o b s er v atio n s   an d   t h er e f o r e  d estro y i n g   t h e  r elatio n s h ip   w it h   t h e  o u tco m e.   A  R F is   tr ain ed   o n   t h e  e x te n d ed   d ata  s et  a n d   t h e  v ar iab le  i m p o r tan ce   v al u es   ar e  co llected .   Fo r   ea ch   r ea l   v ar iab le  a   s ta tis tica l  te s t   is   p er f o r m e d   co m p ar i n g   its   i m p o r ta n ce   w it h   t h e  m a x i m u m   v al u e  o f   all   t h e  s h ad o w   v ar iab les.  Var iab le s   w it h   s i g n i f ica n tl y   lar g er   o r   s m al ler   i m p o r tan ce   v alu e s   ar e  d ec lar ed   as  i m p o r t an t  o r   u n i m p o r ta n t,  r esp ec ti v e l y .   A ll  u n i m p o r ta n t   v ar iab les  an d   s h ad o w   v ar ia b les  ar e  r em o v ed   an d   th e  p r ev io u s   s tep s   ar e  r ep ea ted   u n til  all  v ar iab les  ar e  class i f ied   o r   a  ce r tain   d eter m i n ed   n u m b er   o f   r u n s   h as b ee n   d o n e  [ 2 0 ] .       3.   RE L AT E D  WO RK   T h e  SVR   tec h n iq u e  h a s   b ee n   u s ed   in   m a n y   e m p ir ical  s o f t w ar e  e n g i n ee r i n g   s tu d ie s   es p ec iall y   i n   p r ed ictin g   s e v er al  s o f t w ar e  c h ar ac ter is tic s   s u c h   as  b u g   a n d   d ef ec t  [ 2 3 - 2 4 ] ,   r eliab ilit y   [ 2 5 ] ,   q u alit y   [ 2 6 ]   an d   en h a n ce m en t  ef f o r t  [ 2 7 ] .   R eg ar d in g   ap p licatio n   o f   an   SV R   f o r   esti m ati n g   s o f t w ar e  d ev e lo p m e n t  e f f o r t,  w e   id en ti f ied   1 3   r elev a n t  s tu d ie s   in   th e   liter at u r e  [ 7 ,   2 7 - 3 8 ] .   T h e  f ir s t  i n v e s ti g atio n   o f   S VR   i n   SDEE   w a s   o r ig in all y   ca r r ied   o u t  b y   Oli v eir a  [ 7 ] .   He   h as  co n s id er ed   SVR   w ith   li n ea r   as  w e ll  as   R B F  k er n els  a n d   o p tim ized   its   p ar a m eter s   e m p l o y i n g   g r id   s e lectio n .   T h e  ex p er i m en ts   w er e  p er f o r m ed   u s i n g   s o f t w ar e  p r o j ec ts   f r o m   N A S A   d ata s et  an d   th e   r esu lts   h av e  s h o w n   t h at  S V R   s i g n i f ica n tl y   o u tp er f o r m s   R B FNs   an d   li n ea r   r eg r ess io n .   Hi s   w o r k   d id   n o t   i n v e s ti g ate  f ea t u r e  s e lectio n   m eth o d s ;  all   i n p u t   f ea tu r es   w er e  u s ed   f o r   b u ild in g   th e  r e g r ess io n   m o d els.   In   [ 2 8 ,   3 9 ]   u s ed   a  g en et ic  al g o r ith m   ( GA )   ap p r o ac h   to   s elec t   an   o p ti m al   s u b s et  f ea t u r e   an d   o p ti m ize   SV R   p ar a m eter   f o r   SDEE .   T h e y   u s ed   b in ar y   co d ed   ch r o m o s o m e  a s   s o l u tio n   r ep r esen ta tio n   f o r   s u b s et   f ea tu r e  a n d   S VR   p ar am eter .   T h eir   s i m u latio n s   h a v e   s h o w n   t h at   th e   p r o p o s ed   GA - b ased   ap p r o ac h   w as   Evaluation Warning : The document was created with Spire.PDF for Python.
IJ - AI     I SS N:  2252 - 8938       I mp r o vin g   s o ftw a r e  d ev elo p m en t e ffo r t e s tima tio n   u s in g   s u p p o r t v ec to r   r eg r ess io n   a n d ... ( A b d ela li Za kra n i )   403   ab le   to   i m p r o v e  s u b s tan tiall y   t h e  p er f o r m a n ce   o f   S VR   an d   o u tp er f o r m   b a g g i n g   ML P   n et w o r k   an d     b ag g i n g   M5 P .   T h e  au th o r s   in   [ 3 6 ]   in v esti g ated   p ar ticle  s w ar m   o p ti m iza tio n   ( P SO)   ap p licatio n   to   s elec t  s u b s et   f ea t u r e  an d   SV R   p ar a m eter   ap p lied   to   s o f t w ar e  ef f o r t  es ti m atio n .   T h e y   u s ed   co n ti n u o u s   v al u e  t y p e  to   o p tim ize  SV R   p ar a m eter   a n d   d is cr ete  v al u e  t y p e  to   s elec t  s u b s et  f ea t u r e.   Ho w e v er ,   th e   s t u d y   w a s   li m ited   to   Desh ar n ais  d ataset  a n d   d o es  n o t  s h o w   th e  p er f o r m a n ce   o f   th e  r esu lt in g   SV R   m o d el  u s i n g   co m m o n l y   e m p lo y ed   ac c u r ac y   m ea s u r es   in   SDEE .   S u p p o r t  v ec to r   r eg r ess io n   h as  b ee n   also   u s e d   to   esti m a te  t h e   d ev elo p m en t  e f f o r t  o f   w eb   p r o j ec ts   u s in g   T u k u t u k u   d atas et  in   [ 3 0 ,   4 0 - 4 1 ] .   T h e  r esu lt s   o f   th ese  s tu d ies   s h o w ed   t h at  SVR   h a s   p o ten ti al  s i n ce   it   o u tp er f o r m ed   th e   m o s t  co m m o n l y   ad o p ted   p r ed ictio n   tec h n iq u es.   I t   w a s   ar g u ed   th at  S VR   i s   a  f le x ib le  m et h o d   th at  u s e  k er n els  a n d   p ar am e ter   s etti n g s   w h ic h   en ab le  th e  lear n i n g   m ec h a n i s m   to   b etter   s u it  t h e  ch ar ac ter is tic s   o f   d if f er e n t  c h u n k s   o f   d ata,   w h ich   is   a  t y p i ca l  ch ar ac ter is ti c  o f   cr o s s - co m p a n y   d ataset s .   I n   o r d er   to   au to m atica ll y   s elec t   s u itab le  SV R   p ar a m e ter s   i n clu d in g   t h e  k er n e l  f u n ctio n ,   th e  a u th o r s   i n   [ 3 3 ]   p r o p o s ed   th e  u s e  o f   an   ap p r o ac h   b ased   o n   T ab u   Sear ch   ( T S).   T h ey   ev al u ated   e m p ir icall y   t h e  p r o p o s ed   m o d el  u s in g   d if f er en t  t y p es  o f   d atasets   f r o m   P R O MI SE  r ep o s ito r y   a n d   T u k u t u k u   d ataset.   T h eir   r esu lts   s h o w ed   th at  SV R   co m b i n ed   w it h   T S  s i g n i f ica n tl y   o u tp er f o r m ed   C B R   an d   m an u al   s tep w is e  r eg r es s io n   m eth o d s .   T h is   s ec tio n   h a s   atte m p ted   to   p r o v id e  a  b r ief   s u m m ar y   o f   t h e  m aj o r   liter atu r e  r elatin g   to   s o f t w ar e  e f f o r t e s ti m atio n   u s in g   s u p p o r t v ec to r   r e g r ess io n .       4.   SVR  M O DE L S WI T H   F E A T UR E   SE L E CT I O N  M E T H O DS   T h is   s ec tio n   p r ese n ts   a n   o v er v ie w   o f   t h e  t w o   S VR   m o d els  d esig n ed   in   t h is   p ap er   n a m el y   SVR   w i th   b ac k w ar d   f ea t u r e  eli m in a tio n   an d   SV R   w i t h   B o r u ta  f ea t u r e  s elec t io n   ( h e n ce f o r th   S V R - B FE  a n d   SV R - B OR UT A   r esp ec tiv el y )   an d   il lu s tr ate s   h o w   t h ese  m o d el s   w e r e  tr ain ed   an d   o p tim ized   b y   g r id   s ea r ch   m et h o d .       4 . 1 .     SVR  m o dels   w it h  ba c kw a rd  f e a t ure  eli m i na t io n  ( SVR - B F E )   I n   th e  p r ep r o ce s s in g   s ta g e  o f   t h i s   m o d el,   w e  u s ed   a  s i m p ler   f o r m   o f   b ac k w ar d   f ea tu r e  eli m i n atio n   s o   th at  i n s tead   o f   iter atin g   t h e  b ac k w ar d   eli m in atio n   p r o ce d u r e  u n t il  t h e  en d ,   w e  s to p p ed   th is   p r o ce d u r e  at  th e  f o u r t h   eli m in a tio n .   T h is   m e t h o d   is   p ar ticu lar l y   u s e f u l  in   s tu d y in g   th e  ac c u r ac y   o f   th e  m o d el  af ter   ea ch   iter atio n   a n d   co m p ar in g   t h e  r esu lt s   o b tain ed   w i th   th e  B o r u ta  b ased   SVR .   Fo llo w in g   t h i s   m et h o d   an d   u s i n g   v ar iab le  i m p o r tan ce   co m p u te d   b y   r an d o m   f o r est,  f o u r   s u b s ets  o f   f ea t u r es  w er e  g e n er ated   b y   r e m o v in g   ea ch   ti m e  t h e  least  i m p o r tan t   v ar ia b le.   So ,   in   th e  f ir s t  s u b s et  d en o ted   B FE_ 1 ,   w e  eli m i n ate  t h e  least  s ig n i f ica n t   f ea t u r e  an d   in   th e  s ec o n d   s u b s et  B FE_ 2 ,   w e  r e m o v ed   th e  n ex t  least  i m p o r tan t  f ea tu r e  ac co r d in g   to   v ar iab le  i m p o r tan ce   r a n k i n g   a n d   s o   o n .   Star ti n g   f r o m   t h ese   s u b s et s ,   f o u r   S V R   m o d el s ,   d en o ted   SVR - B FE_ i  w er e  o p tim ized   u s in g   g r id   s ea r ch   o p ti m izatio n   m e th o d   an d   1 0 - f o ld   cr o s s   v alid atio n   ap p r o ac h .   Fig u r e  1   d ep icts   th e   m o d el  g r ap h icall y   a n d   s h o w s   th e  d if f er en t  s ta g es  o f   SVR   m o d el  b u ild in g   i n cl u d in g   f ea tu r e  s elec tio n   s tep   an d   h y p er - p ar a m eter   o p ti m izatio n   s tep .     4 . 2 .     SVR  m o del  w it h  bo rut a   f ea t ure  s elec t io n  m et ho d  ( S VR - B O RUTA)   T h is   SVR   m o d el  is   co m p o s ed ,   lik e  th e  f ir s t  o n e,   f r o m   o n e  p r ep r o ce s s in g   s ta g e  w h e r e  B o r u ta   alg o r ith m   is   p er f o r m ed   to   r e m o v e  all  u n i m p o r tan t  f ea t u r es  an d   k ee p   o n l y   th e  r ele v a n t  o n es.  Ne x t,  th e   h y p er p ar a m eter   o f   SV R   m o d el  ( C ,   µ)   w er e  ad j u s ted   b y   th e   s a m e  p r o ce d u r e  u s ed   f o r   SVR   w ith   B FE  i n   o r d er   to   ev alu ate  t h e m   u n d er   th e  s a m e  co n d itio n s .   Fi g u r e  1   ill u s tr ates th e  m o d el  b u ild in g   ar ch i t ec tu r e.       Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8938   IJ - A I   Vo l.  8 ,   No .   4 ,   Dec em b er   201 9 :    3 9 9   –   410   404       Fig u r e  1 .  A r ch itectu r e  o f   SVR   m o d els  w it h   FS S       4 . 3 .     P a ra m et er s   s et t ing   I t  is   w ell  k n o w n   t h at  t h e  p ar a m eter   s etti n g s   co u ld   h a v e  a  s ig n i f ica n t  i m p ac t  o n   t h e  esti m atio n   ac cu r ac y   o f   tr ai n ed   SDEE   tech n iq u es.  T h er ef o r e,   b u ild in g   an   ac cu r ate  m o d el  r eq u ir es  s elec tio n   o f   o p ti m al   v alu e s   o f   its   lear n i n g   p ar a m eter s   [ 1 6 ] .   Ho w e v er ,   f i n d i n g   o p ti m al  v a lu e s   is   co m p licat ed   task   a n d   v ar io u s   ap p r o ac h es  h av e  b ee n   p r o p o s ed   in   th e  liter atu r e  to   ad d r ess   th is   i s s u e,   s u c h   as  g r id   s ea r ch   ( GS)   [ 4 2 ] ,  p ar ticle  s w ar m   o p ti m izatio n   ( P SO)   [ 4 3 ]   an d   g en etic  al g o r ith m   ( G A)   [ 3 9 ] .   I n   o r d er   to   en ab le  SVR   m o d els,  d ev elo p ed   in   t h i s   s tu d y ,   to   ac h ie v e  a  h i g h er   p r ed ictio n   ac cu r ac y   o v er   t h e  eig h t d ata s ets   u s ed   i n   S D E E ,   w e  e m p lo y ed   g r id   s ea r ch   ( GS)   a s   o p ti m izatio n   m et h o d   co m b in ed   w i th   cr o s s - v alid atio n   p r o ce d u r e.   T h e  m ain   id ea   b e h in d   t h e   g r id   s ea r ch   m et h o d   is   t h at  d if f er e n t  p air s   o f   p ar a m eter s   ar e  test ed   an d   t h e  o n e   w it h   t h e  h ig h es t  cr o s s   v alid atio n   ac c u r ac y   i s   s elec te d .   T h e  m aj o r   ad v an tag e  o f   G S  m et h o d   is   its   h i g h   lear n i n g   ac cu r ac y   a n d   th e   ab ilit y   o f   p ar allel  p r o ce s s in g   o n   th e  tr ain i n g   o f   e v er y   SV R ,   b ec au s e  t h e y   ar e  in d ep en d en t  o f   ea c h   o th er .   A lt h o u g h   G S  m eth o d   ca n   f in d   th e  o p ti m u m   p ar a m e ter s ,   t h e  co m p u tatio n al  co m p le x it y   i s   v er y   b ig   o b v io u s l y ,   an d   t h e  ti m e   s p en t  i s   v er y   lar g e,   esp ec iall y   f o r   lar g e  s a m p l e  d ata.   I n   o u r   ca s e,   w e  li m ited   th e   s ea r c h   s p ac e   to   m o s t p r o m is in g   v a lu e s   g u id ed   b y   p r ev io u s   s tu d ie s   [ 4 4 ] .   T a b le  1   s h o w s   GS    p ar a m eter   f o r   S VR   m o d els .       T ab le  1 .   Gr id   s ea r ch   p ar am e te r   f o r   SVR   m o d els   T e c h n i q u e s   P a r a me t e r s   S V R   Ty p e =   {   µ - r e g r e ssi o n }   K e r n e l   f u n c t i o n   =   {  R B F   }   C o mp l e x i t y   =   {f r o m 0 , 0 0 5   t o   0 , 1 ,   s t e p = 0 , 0 0 5 }   K e r n e l   p a r a me t e r   = {1 / n u mb e r   o f   f e a t u r e s}   µ   = { 0 , 1   t o   1 , 0 ,   s t e p = 0 , 1 }       T h e  GS   m eth o d   f i n d s   t h e  b est  co n f i g u r atio n   o f   SV R   m o d el s   b y   ev a lu at in g   e v er y   p o s s ib l e   co m b i n atio n   o f   T ab le  2   w i th   r esp ec t  to   m ea n   s q u ar e  er r o r   ( MSE )   b ased   er r o r   f u n ctio n   u s in g   1 0 - f o ld   cr o s s - v alid atio n   ap p r o ac h .   T h e  b est co n f i g u r atio n   o f   ea ch   tec h n iq u e  th at  m i n i m izes  M SE  is   th e n   s elec ted .   No te  th at  th e  s a m e  r an g e  o f   p ar a m eter   v alu e s   w er e  u s ed   f o r   SVR   w it h   B o r u ta  f ea tu r e  s elec tio n   m et h o d .   R eg ar d in g   th e   p ar am eter s   o f   r an d o m   f o r est  f ea t u r e  s elec tio n   an d   B o r u ta  alg o r ith m   w er e  ad j u s ted   as  s h o w n   i n   T ab le  3 .   I n   f ac t,  t h e s e  p ar a m e ter s   d o   n o t  h av e  a  s i g n i f ica n t  i m p ac t  o n   v ar iab le  i m p o r tan ce   r a n k i n g   e x ce p t  m a x R u n s   p ar am eter   o f   B o r u ta  m et h o d   w h ic h   s h o u ld   b e  in cr ea s ed   i n   ce r tain   ca s e   to   r eso lv e   attr ib u t es  le f t  T en tati v e  b y   th e  alg o r it h m .         Evaluation Warning : The document was created with Spire.PDF for Python.
IJ - AI     I SS N:  2252 - 8938       I mp r o vin g   s o ftw a r e  d ev elo p m en t e ffo r t e s tima tio n   u s in g   s u p p o r t v ec to r   r eg r ess io n   a n d ... ( A b d ela li Za kra n i )   405   T ab le  2 .   P ar am eter s   u s ed   f o r   R F a n d   B o r u ta  Feat u r e  Selecti o n   Me th o d s   M e t h o d   P a r a me t e r   D e scri p t i o n   R a n d o m  F o r e st   n t r e e   =   5   0 0 0   mt r y =   5   N u mb e r   o f   t r e e s   N u mb e r   o f   v a r i a b l e s se l e c t e d   a t   e a c h   sp l i t   B o r u t a   p V a l u e   = 0 . 0 1   max R u n s = 5 0 0   C o n f i d e n c e   L e v e l   M a x i m a l   n u m b e r   o f   i mp o r t a n c e   so u r c e   r u n s.       5.   E XP E R I M E NT A L   DE SI G N   T h is   s ec tio n   p r ese n ts   t h e  e x p er i m en tal  d esi g n   o f   th is   s t u d y   in c lu d i n g :  ( 1 )   th e  ac cu r ac y   m ea s u r e s   u s ed   to   ev al u ate  th e  p r o p o s ed   SVR   m o d el s ,   ( 2 )   th e  d escr ip tio n   o f   th e  d ataset s   u s ed ,   an d   ( 3 )   th e  ex p er i m en tal   p r o ce s s   f o llo w ed   to   co n s tr u ct  an d   co m p ar e  th e  d if f er en t  SV R   m o d els.     5 . 1 .     Acc ura cy   m ea s ure s   W e  e m p lo y   t h e  f o llo w in g   cr iter ia  to   ass e s s   a n d   co m p ar e   th e  ac c u r ac y   o f   t h e  e f f o r t  esti m atio n   m o d el s .   A   co m m o n   cr iter io n   f o r   th e  ev alu at io n   o f   ef f o r t  esti m atio n   m o d el s   is   m a g n itu d e  o f   r elativ e  er r o r   ( MRE) ,   w h ich   i s   d ef i n ed   as         = | (   −     ) |   ( 8 )     T h e  MRE  v al u es   ar e  ca lcu lat ed   f o r   ea ch   p r o j ec t  in   th e  d at aset,  w h ile  m ea n   m a g n it u d e  o f   r elati v e   er r o r   ( MM R E )   c o m p u tes t h e  a v er ag e  o v er   N  p r o j ec ts   as f o llo w s :      = 1 ∑  = 1   ( 9 )     Gen er all y ,   t h e   ac ce p tab le  tar g et  v al u e  f o r   MM R E   is   2 5 %.  T h is   in d icate s   th a t  o n   th e  a v er ag e,   th e   ac cu r ac y   o f   t h e  e s tab lis h ed   es ti m atio n   m o d els  w o u ld   b e  les s   th a n   2 5 %.  A n o t h er   w id el y   u s ed   cr iter io n   is   t h e  P r ed ( l )   w h ic h   r ep r esen t s   t h e  p er ce n tag e  o f   M R E   t h at  is   le s s   th a n   o r   eq u al  to   th e  v al u e  l  a m o n g   all  p r o j ec ts .   T h is   m ea s u r e  is   o f ten   u s ed   in   th e  liter at u r e  an d   is   t h e  p r o p o r tio n   o f   t h e  p r o j ec ts   f o r   a  g iv en   lev el  o f   ac c u r ac y .   T h e  d ef in itio n   o f   P r ed ( l)   is   g iv en   as  f o llo w s :        ( ) =     ( 1 0 )     W h er e  N  is   th e  to tal  n u m b er   o f   o b s er v atio n s   a n d   k   is   t h e  n u m b er   o f   o b s er v atio n s   w h o s e  MRE  is   le s s   o r   eq u al  to   l.  A   co m m o n   v al u e   f o r   l  is   0 . 2 5 ,   w h ic h   is   also   u s e d   in   th e  p r esen t  s tu d y .   T h e  P r e d ( 0 . 2 5 )   r ep r esen ts   th e  p er ce n ta g e  o f   p r o j ec ts   w h o s e  MRE  i s   les s   o r   eq u al  to   2 5 %.  T h e  P r ed ( 0 . 2 5 )   v alu e  id en tifie s   t h e  ef f o r t   esti m ates  t h at  ar e  g en er all y   ac cu r ate  w h er ea s   th e  MM R E   is   f air l y   co n s er v ati v e  with   a  b ias  ag ai n s t   o v er esti m ates  [ 4 5 - 4 6 ] .   Fo r   th is   r ea s o n ,   Md MRE  h as  b ee n   also   u s ed   as  a n o th er   cr iter i o n   s i n ce   it  is   le s s   s en s iti v e  to   o u tlier s   ( 1 0 ) .      =   (  )   ( 1 1 )     5 . 2 .     Da t a s et s   Fo r   th is   s tu d y ,   e ig h t  d ataset s ,   co llected   f r o m   d if f er en t  o r g an izatio n s   a n d   co u n tr ies,  w er e  s elec ted   to   ev alu a te  th e  p er f o r m a n ce   o f   SVR   an d   SV R - R F  tec h n iq u es.  A   to tal  o f   1 1 1 9   p r o j ec ts   w er e  u s ed   f r o m     th r ee   s o u r ce s :     9 1 5   p r o j ec ts   ca m e   f r o m   s ix   d atasets   o f   P R O MI SE  d ata  r ep o s ito r y   w h ic h   i s   a  p u b licl y   a v ailab le  o n li n e   d ata  r ep o s ito r y   ( Me n zie s   et  al .   2 0 1 2 )   n a m el y :  A lb r ec h t,  C O C OM O8 1 ,   C h in a,   De s h ar n ais,   Ke m er er   an d   Mi y az a k i d atasets .       1 5 1   p r o j ec ts   s elec ted   f r o m   I SB SG  R 8   r ep o s ito r y .   I n   f ac t ,   th is   r ep o s ito r y   co n ta in s   m o r e  th an   2 0 0 0   s o f t w ar e  p r o j ec ts   d escr ib e d   b y   m o r e  th a n   5 0   n u m er ical  an d   ca teg o r ical  attr ib u tes.  T h e  s el ec ted   p r o j ec ts   ar e  th e  r es u lt s   o f   a   d ata  p r e - p r o ce s s in g   s tu d y   co n d u c ted   b y   [ 4 7 ] ,   th e  o b j ec tiv e  o f   w h ich   w a s   to   s elec t  d ata  ( p r o j ec ts   an d   attr ib u te s ) ,   in   o r d er   to   r etain   p r o j ec ts   w i th   h i g h   q u alit y .   T h e  f ir s t   s tep   o f   t h i s   s t u d y   w a s   to   s elec t   o n l y   t h e   n e w   d ev elo p m e n t  p r o j ec ts   w it h   h i g h   q u a lit y   d ata  a n d   u s i n g   I FP UG  co u n ti n g   ap p r o ac h .   T h e  s ec o n d   s tep   w a s   co n ce r n ed   b y   s elec ti n g   a n   o p ti m al  s u b s et  o f   n u m er ical  attr ib u tes  t h at  ar e  r elev an t to   e f f o r t e s t i m at io n   a n d   m o s t a p p r o p r iate  to   u s e  as e f f o r t d r iv er s   i n   e m p ir ic a l st u d ies.      5 3   W eb   p r o j ec ts   f r o m   T u k u t u k u   d atase t  [ 4 8 ] .   E ac h   W eb   ap p licatio n   is   d escr ib ed   u s i n g   9   n u m er ical  attr ib u tes  s u ch   as :  th e  n u m b er   o f   h t m l  o r   s h t m l  f ile s   u s ed ,   th e  n u m b er   o f   m ed ia  f il es  an d   tea m   ex p er ien ce .   Ho w e v er ,   ea ch   p r o j ec t  v o lu n teer ed   to   t h e   T u k u t u k u   d atab ase  w a s   i n itial l y   ch ar ac ter ized   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8938   IJ - A I   Vo l.  8 ,   No .   4 ,   Dec em b er   201 9 :    3 9 9   –   410   406   u s i n g   m o r e  th a n   9   s o f t w ar e  attr ib u tes,  b u t  s o m e  o f   t h e m   w er e  g r o u p ed   to g et h er .   Fo r   ex a m p le,   w e  g r o u p ed   to g et h er   th e  f o llo w i n g   th r ee   at tr ib u tes:   n u m b er   o f   n e w   W eb   p ag es  d e v elo p ed   b y   th e   tea m ,   n u m b er   o f   W eb   p ag e s   p r o v id ed   b y   th e  c u s to m er   a n d   th e   n u m b er   o f   W eb   p ag es  d ev e lo p ed   b y   a   th ir d   p ar ty   ( o u ts o u r ce d )   in   o n e  attr ib u te  r ef lecti n g   th e  to tal  n u m b er   o f   W eb   p ag es  in   th e  ap p licatio n   ( W eb p ag es).   T ab le  3   s u m m ar izes   d escr ip ti v e  s tatis tics   o f   th e   s elec ted   d atasets ,   in cl u d i n g   s ize   o f   d ataset,   e f f o r t   u n i t,  n u m b er   o f   at tr ib u tes,  m e d ian ,   m ea n ,   m i n i m u m ,   m a x i m u m ,   s k e w n e s s   a n d   k u r to s is   o f   ef f o r t.  No n e  o f   t h e  s elec ted   d atasets   h ad   a  n o r m al l y   d is tr ib u ted   ef f o r t  as  s k e w n e s s   v al u es  r an g ed   f r o m   2 . 0 4   to   6 . 2 6 .   T h is   p r esen ts   a  ch allen g e  f o r   r esear ch er s   att e m p tin g   to   b u ild   ac cu r ate  S D E E   tech n iq u es [ 1 6 ,   4 9 ] .       T ab le  3 .   Descr ip tiv e  s tatis tic s   o f   th e  ei g h t d atasets   D a t a se t   #   o f   so f t w a r   p r o j e c t   U n i t   #   o f   f e a t u r e s   D i st r i b u t i o n   o f   Ef f o r t   Mi n   Ma x   Me a n   Me d i a n   S k e w n e ss   K u r t o s i s   I S B S G   ( R 8 )   1 5 1   M a n / h o u r s   6   24   6 0   2 7 0   5   0 3 9   2   4 4 9   4 . 1 7   2 1 . 1 0   C O C O M O   2 5 2   M a n / mo n t h s   13   6   1 1   4 0 0   6 8 3 . 4   98   4 . 3 9   2 0 . 5 0   T U K U T U K U   53   M a n / mo n t h s   9   6   5   0 0 0   4 1 4 . 8 5   1 0 5   4 . 2 1   2 0 . 1 7   D ESH A R N A I S   77   M a n / h o u r s   8   5 4 6   2 3   9 4 0   4   8 3 4   3   5 4 2   2 . 0 4   5 . 3 0   A L B R EC H T   24   M a n / mo n t h s   7   0 . 5   1 0 5 . 2 0   2 1 . 8 8   1 1 . 4 5   2 . 3 0   4 . 6 7   K EM ER ER   15   M a n / mo n t h s   6   23   1 1 0 7   2 1 9 . 2 4   1 3 0   3 . 0 7   1 0 . 6   M I Y A ZA K I   48   M a n / mo n t h s   8   5 . 6   1 5 8 6   8 7 . 4 7   38   6 . 2 6   4 1 . 3   C H I N A   4 9 9   M a n / h o u r s   15   26   5 4   6 2 0   3   9 2 1 . 0 4   1   8 2 9   3 . 9 2   1 9 . 3       5 . 3 .     Va lid a t i o n  m et ho d   A  3 0 %  h o ld o u t  v alid atio n   m et h o d   w a s   u s ed   to   ev al u at e  th e  g en er aliza t io n   ab ilit y   o f   th e  e s ti m atio n   m o d el s .   So ,   th e   d atasets   w er e  s p lit  r an d o m l y   i n to   t w o   n o n - o v er lap p in g   s ets:   tr ain i n g   s et  co n tain i n g   7 0 %  o f   d ata  an d   test in g   s et  co m p o s ed   f r o m   3 0 %  o f   th e  r em a in i n g   d ata.   T h e  p u r p o s e  o f   h o ld o u t  e v alu a tio n   is   to   test   a   m o d el  o n   d if f er en t  d ata  to   t h at  f r o m   w h ich   i t  is   lear n ed .   T h is   p r o v id es  less   b iased   e s ti m ate  o f   lear n in g   p er f o r m a n ce   t h an   al l - i n   e v alu a tio n   m et h o d .       6.   E M P I RICAL   R E SU L T S   T h is   s ec tio n   r ep o r ts   a n d   d is c u s s es   t h e  r es u lt s   o f   e m p ir ical  e x p er i m e n ts   p er f o r m ed   u s in g   S VR   m o d els   d esig n ed   in   Sectio n   I V  an d   f o l lo w i n g   th e  b u ild in g   p r o ce s s   ill u s tr ated   i n   Fi g u r e  1 .   T o   ca r r y   o u t th e s e  e m p ir ical   ex p er i m e n ts ,   d if f er en t  R   p ac k ag es  w er e  u s ed   to   d ev elo p   an   R   p r o to ty p e  e m p lo y e d   to   co n s tr u ct  th e  p r o p o s ed   m o d el s .   I n   t h is   w a y ,   e1 0 7 1   p ac k ag e  w as   u s ed   to   b u ild   t h e  S VR   m o d els   a n d   r an d o m Fo r est,  an d   B o r u t a   p ac k ag es  w er e  u s ed   f o r   f ea t u r e  s elec tio n   m et h o d s .     6 . 1 .     F e a t ure  s elec t io n r esu lt s   T h is   s u b s ec t io n   p r esen ts   t h e   r esu lt s   o f   t h e  p r ep r o ce s s in g   s tep .   T ab le  4  p r o v id es  th e  f o u r   leas t   i m p o r tan t  f ea tu r es  g e n er ated   b y   r an d o m   f o r est,  an d   th e  n u m b er   o f   s e lecte d   f ea t u r es  an d   r em o v ed   o n es  b y   B o r u ta  m e th o d   in   ea c h   d ataset .   I t  ca n   b e  s ee n   f r o m   t h e  d a ta  in   T ab le  4   th at  th e  f ea tu r es  r ej ec ted   b y   B o r u ta  ar e  g en er all y   a m o n g   t h e  f o u r   lea s t  i m p o r ta n t  f ea t u r e  id en ti f ied   b y   r an d o m   f o r est,  w h ic h   i s   n o t  s u r p r is in g   s i n ce   B o r u ta  alg o r ith m   is   b ased   o n   R F  v ar iab le  i m p o r tan ce .   Ho w ev er ,   B o r u ta  m eth o d   d id   n o t  al w a y s   r e m o v e  t h e   f ir s t  leas t  i m p o r tan t  f ea tu r e.   As  ex a m p le,   f o r   A lb r ec h t  d at aset,  it  r em o v ed   th e  s ec o n d   o n e  ( in p u t)   w h ile  th e   f ir s t   least   i m p o r ta n t  f ea t u r e  is   FP A d j.   C o n ce r n i n g   t h e  n u m b er   o f   t h e  s elec ted   f ea t u r es,  B o r u ta  m eth o d   s elec ted   al m o s t  at  least  5 0 %   o f   f ea t u r es  a v ailab le  in   ea c h   d ataset.   T h e  o n ly   e x ce p tio n   w a s   th e  ca s e  o f   T u k u t u k u   d ata s et  f o r   w h ic h   o u t  o f   n i n e  f ea t u r es,  B o r u ta  s el ec ted   o n l y   t w o   f ea t u r es.  T h e  s in g le  m o s t  s tr ik i n g   r esu lt   to   e m er g e  f r o m   t h e  d at a  is   t h at   all  f ea t u r es  o f   C O C OM O  d ataset   w er e  d ee m e d   r elev an t  a n d   n o n e  o f   th e m   w as r ej ec ted .                       Evaluation Warning : The document was created with Spire.PDF for Python.
IJ - AI     I SS N:  2252 - 8938       I mp r o vin g   s o ftw a r e  d ev elo p m en t e ffo r t e s tima tio n   u s in g   s u p p o r t v ec to r   r eg r ess io n   a n d ... ( A b d ela li Za kra n i )   407   T ab le  4 .   Nu m b er   o f   s elec ted   f ea tu r es a n d   r e m o v ed   o n es i n   e ac h   d ataset   D a t a se t s   #   o f   F e a t .   F o u r   l e a st   i m p o r t a n t   f e a t u r e   R F   ( 1 , 2 , 3 , 4 )   B o r u t a   #   o f   se l e c t e d   F e a t u r e s   R e mo v e d   f e a t u r e   I S B S G   ( R 8 )   6   B u s i n e ss,   L o c a t i o n s,  F a c t o r ,   C o n c u r r e n t   3   F a c t o r s,  B u si n e ss,  L o c a t i o n s   C O C O M O   13   V EX P ,   V I R T maj e u r ,   L EX P ,   V I R T mi n e u r   13   -   T U K U T U K U   9   A u d i o ,   T e a me x p ,   t o t _ n h i g h ,   A N I M   2   d e v Te a m,  t e a mEx p ,   t e x t P ,   i mag ,   a n i m,   a u d i o ,   t o t _ n h i g h   D ESH A R N A IS   8   T e a mEx p ,   M a n a g e r Ex p ,   L a n g u a g e ,   E n v e r g u r e   6   T e a mEx p ,   M a n g e r Ex   A L B R EC H T   7   F P A d j ,   I n p u t ,   I n q u i r y ,   F i l e   6   I n p u t   K EM ER ER   6   L a n g u a g e ,   H a r d w a r e ,   D u r a t i o n ,   R A W F P   3   L a n g u a g e ,   H a r d w a r e ,   D u r a t i o n ,   M I Y A ZA K I   7   EF O R M ,   ES C R N ,   F I L E,   S C R N   6   EF O R M   C H I N A   15   D e v . Ty p e ,   D e l e t e d ,   C h a n g e d ,   R e so u r c e   13   D e l e t e d ,   D e v . Ty p e       6 . 2 .   E v a lua t io n  o f   SVR  w it h  F SS   T h e  s ec o n d   s tep   o f   th e  m o d el  b u ild in g   p r o ce s s   u s es  t h e  o r ig in al  a n d   th e  r ed u ce d   d atasets   to   d eter m in e  t h e  b est  s etu p   o f   t h e  p r o p o s ed   SVR   m o d els.  T h e  b est  co n f ig u r atio n   i s   d eter m i n ed ,   as  ex p lain ed   ea r lier ,   b y   a  s ea r c h   g r id   to   m i n i m ize  t h e  m ea n   s q u ar e  er r o r   ( MSE ) .   On ce   th e  f i v e  S VR   m o d els  w er e  tr ai n ed   u s i n g   tr ain i n g   s e ts   ( 7 0 %  o f   d ata) ,   w e  ev al u ated   th e  g e n er a lizatio n   ca p ab ilit y   o f   t h e  f i v e   co n f i g u r atio n s   o f   SVR   m o d els  u s in g   test i n g   s e ts   ( 3 0 %)  o v er   t h e  ei g h t  d ata s ets.  T h e  e v al u atio n   w as  b as ed   o n   th e   MM R E ,   Md MR E ,   an d   P r ed ( 0 . 2 5 )   cr it er ia.   T h e  co m p lete  e m p ir ical  r esu lt s   o b tain ed   ar e   s h o w n   i n   T ab les  5 - 8 .   Fro m   d ata  in   T ab le  5 ,   w e  n o tice   th a t   n o   SV R   co n f i g u r atio n   g av e   t h e  b est  P r ed ( 0 . 2 5 )   v alu e  i n   all   d atasets .   Ho w e v er ,   SVR - B FE_ 1   ( r e m o v i n g   o n l y   th e  lea s t  i m p o r tan t   f ea tu r e)   g en er ated   th e   b est  P r ed   in   6   o u t  o f   8   d ataset s   a n d   SVR - B FE_ 4   o n l y   ca m e  s ec o n d   b y   g i v in g   b est  v a lu e  o f   P r ed   in   5   d atasets .   T h e  SVR   w i th o u t  F S  an d   SV R   w it h   B o r u ta  m eth o d   p r o d u ce d   b est  v al u e  o f   P r ed   o n l y   in   o n e  d ataset :  Ke m er er   a n d   C h i n a  r esp ec tiv el y .   T h e   b est v al u e  o f   P r ed ( 0 . 2 5 )   w as o b tain ed   b y   SVR - B FE_ 4   in   C h i n a  d ataset  ( 8 3 . 3 3 ) .   T h e  r esu lt s   r ep o r ted   in   T ab le  6   an d   T ab le  7   r elate d   to   MM R E   a n d   Md MRE   m ea s u r e s   c o n f ir m   t h e   f ac t  t h at  n o   SV R   co n f i g u r atio n   p er f o r m ed   b etter   t h an   th e  o th er   i n   all  s itu a tio n .   Ne v e r th e less ,   w e  ca n   ea s il y   o b s er v e  th at  t h e  b est  v alu e s   o f   MM R E   an d   Md MRE  ar e  o b tain ed   w it h   s a m e  d ataset s   as  t h o s e  o f   P r ed .   So ,   th e  lo w es t  er r o r s   w er e  o b tain ed   with   C h in a   d ataset  a n d   h ig h es t  er r o r s   w er e  g e n er ated   w it h   I S B SG  d ataset.   W h at   is   i n ter est in g   ab o u t  t h e  d ata   i n   t h ese   tab les   is   t h at  t h e   v al u e s   o f   Md MRE   ar e  f ar   lo w er   t h an   t h o s e   o f   MM R E   esp ec iall y   in   C OC OM O,   I SB SG,  T u k u tu k u   a n d   Ke m er er   d atasets .   T h ese   latter   f i n d in g s   a g r ee   w it h   t h e  v al u e s   o f   s k e w n e s s   a n d   k u r to s is   o f   t h ese  d atasets   t h at  ex h ib it  h ig h   l ev el   o f   as y m m etr y   a n d   o f   n o n n o r m alit y .       T ab le  5 .   T h e  r esu lts   o b tain ed   i n   ter m s   o f   p r ed ( 0 . 2 5 )   o v er   th e  eig h t d atasets   T e c h n i q u e s   F S S   me t h o d / #   r e mo v e d   f e a t u r e s   C O C O M O   I S B S G   T U K U T U K U   A B R EC H T   D ESH A R N A I S   K EM ER ER   M I Y A ZA K I   C H I N A   S V R   0   3 0 , 2 6 3   2 6 , 6 6 7   3 1 , 2 5   2 8 , 5 7 1   2 1 , 7 3 9   20   3 5 , 7 1 4   1 5 , 3 3 3   S V R - B F E   1   3 6 , 8 4 2   3 1 , 1 1 1   3 7 , 5   4 2 , 8 5 7   3 0 , 4 3 5   20   4 2 , 8 5 7   8 1 , 3 3 3   2   3 2 , 8 9 5   2 4 , 4 4 4   3 7 , 5   4 2 , 8 5 7   3 4 , 7 8 3   20   2 1 , 4 2 9   8 1 , 3 3 3   3   3 1 , 5 7 9   2 4 , 4 4 4   3 7 , 5   4 2 , 8 5 7   3 4 , 7 8 3   0   2 1 , 4 2 9   80   4   3 6 , 8 4 2   3 1 , 1 1 1   1 2 , 5   4 2 , 8 5 7   3 9 , 1 3   0   2 8 , 5 7 1   8 3 , 3 3 3   S V R   -   B o r u t a   3 4 , 2 1 1   2 4 , 4 4 4   25   2 8 , 5 7 1   3 4 , 7 8 3   0   4 2 , 8 5 7   7 5 , 3 3 3       T ab le  6 .   T h e  r esu lts   o b tain ed   i n   ter m s   o f   MM R E   o v er   th e  ei g h t d ata s ets   T e c h n i q u e s   F S S   me t h o d / #   r e mo v e d   f e a t u r e   C O C O M O   I S B S G   T U K U T U K U   A B R EC H T   D ESH A R N A I S   K EM ER ER   M I Y A ZA K I   C H I N A   S V R   0   1 , 3 6 7   1 , 7 0 3   1 , 0 6 5   0 , 5 8 3   0 , 4 6 4   1 , 3 7   0 , 5 5 6   1 , 3 3 7   S V R - B F E   1   1 , 3 7 5   1 , 4 7 8   0 , 8 5 6   0 , 5 8 3   0 , 4 6 7   1 , 2 3 5   0 , 5 5 3   0 , 1 8 7   2   1 , 2 6 2   1 , 1 8 7   0 , 8   0 , 5 4 8   0 , 4 5 6   1 , 3 3 4   1 , 5 0 3   0 , 1 9 1   3   1 , 3 0 4   1 , 4 0 7   0 , 8 1 4   0 , 6 6 8   0 , 5 2 1   1 , 6 2 7   1 , 3 9 4   0 , 1 9 5   4   1 , 2 4 2   1 , 0 9 2   1 , 0 2 8   0 , 6 8 5   0 , 4 6 2   1 , 5 9   1 , 3 6 7   0 , 1 7   S V R - B o r u t a   1 , 5 2 4   1 , 5 5 9   0 , 5 0 7   0 , 5 6 6   0 , 4 5 7   1 , 6 7 1   0 , 5 2 7   0 , 2 4 2         Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8938   IJ - A I   Vo l.  8 ,   No .   4 ,   Dec em b er   201 9 :    3 9 9   –   410   408   T ab le  7 .  T h e  r esu lts   o b tain ed   i n   ter m s   o f   Md MRE  o v er   t h e  e ig h t d atasets   T e c h n i q u e s   F S S   me t h o d / #   r e mo v e d   f e a t u r e   C O C O M O   I S B S G   T U K U T U K U   A B R EC H T   D ESH A R N A I S   K EM ER ER   M I Y A ZA K I   C H I N A   S V R   0   0 , 4 5 1   0 , 5 4   0 , 3 1 6   0 , 3 2 3   0 , 3 7 6   0 , 5 7 9   0 , 3 7 5   0 , 7 2 6   S V R - B F E   1   0 , 4 5 6   0 , 5 2 6   0 , 3 3 8   0 , 4 2 2   0 , 3 9 7   0 , 8 4 4   0 , 2 9 5   0 , 0 5 4   2   0 , 4 7 1   0 , 5 6 8   0 , 3 3 9   0 , 3 0 8   0 , 3 2 4   0 , 4 6 9   0 , 5 8 8   0 , 0 5 2   3   0 , 5 2 1   0 , 4 8 6   0 , 4 0 7   0 , 7 2 5   0 , 3 9 6   0 , 6 4 6   0 , 5 2 6   0 , 0 5 5   4   0 , 5 0 8   0 , 4 2 9   0 , 4 7   0 , 7 0 9   0 , 3 6 1   0 , 6 3 6   0 , 5 7 1   0 , 0 4 7   S V R - B o r u t a   0 , 4 1   0 , 4 3 3   0 , 5 1 6   0 , 3 4 3   0 , 3 3 2   0 , 6 6 8   0 , 3 1 1   0 , 0 8 8       T ab le  8 .   T h e  R esu lt s   o b tain ed   in   ter m s   o f   p r ed ( 0 . 2 5 ) ,   Md MR E   an d   Md MRE  o v er   th e  eig h t  d atasets   T e c h n i q u e s   F S S   me t h o d   /   #   r e mo v e d   f e a t u r e   P r e d ( 0 . 2 5 )   M M R E   M d M R E   S V R   0   2 6 , 1 9 2   1 , 0 5 6   0 , 4 6 1   S V R - B F E   1   4 0 , 3 6 7   0 , 8 4 2   0 , 4 1 7   2   3 6 , 9 0 5   0 , 9 1 0   0 , 3 9 0   3   3 4 , 0 7 4   0 , 9 9 1   0 , 4 7 0   4   3 4 , 2 9 3   0 , 9 5 5   0 , 4 6 6   S V R - B o r u t a   3 3 , 1 5 0   0 , 8 8 2   0 , 3 8 8       T o   s u m   u p ,   th e  f i n d i n g s   o f   th is   s t u d y   s u g g est   t h at  t h e  u s e  o f   f ea t u r e  s elec tio n   m et h o d   in   th e   p r ep r o ce s s in g   p h ase  o f   t h e  SV R   m o d el  b u ild in g   ca n   co n tr ib u te  s ig n i f ican tl y   to   i m p r o v e  t h e   ac cu r ac y   o f   ef f o r t  esti m ates.  I n   ad d itio n ,   th e   b ac k w ar d   f ea t u r e  s elec tio n   ca n   g e n er ate  b etter   ef f o r t  esti m ates  t h a n     B o r u ta  m e th o d .       7.   CO NCLU SI O N  AND  F U T U RE   WO RK   T h is   e m p ir ical  s tu d y   as s es s e d   th e  i m p ac t  o f   f ea t u r e  s elec tio n   m eth o d s   o n   t h e  ac cu r ac y   o f   SV R   m o d el s   i n   S DE E .   Fo r   th i s   p u r p o s e,   t w o   w r ap p er   f ea t u r e  s elec tio n   m et h o d s   w e r e  u s ed   t o   p r e - p r o ce s s   eig h t   w ell - k n o w n   d atase ts .   T h e  SV R   m o d els  b ased   o n   p r e - p r o ce s s ed   d atasets   w er e  co m p ar ed   to   th o s e  b u i lt  w it h o u t   f ea t u r e  s elec tio n .   T h e  SVR   m o d el s   w er e  o p ti m ized   u s i n g   a  g r id   s ea r ch   p r o ce d u r e.   T h e   p er f o r m a n ce   o f   th e   p r o p o s ed   m o d els  w as   a s s e s s e d   u s i n g   th r ee   ac c u r ac y   m ea s u r es  th r o u g h   3 0 %h o ld o u t  v alid atio n   m eth o d .   T h e   r esu lt s   o b tain ed   s h o w ed   t h at  t h e  SV R   m o d els  w it h   f ea t u r e  s elec tio n   g e n er ated   b etter   esti m atio n   th a n   t h e  SV R   co n s tr u cted   w it h o u t  f ea tu r e  s e lectio n   m et h o d s .   I n   ad d itio n ,   u s i n g   th e  p r o p o s ed   b ac k w ar d   f ea t u r e  eli m i n atio n   b ased   o n   R F  f ea t u r e  i m p o r tan ce   ca n   lead s   to   b etter   ac cu r ac y   th a n   B o r u ta  m et h o d .   Ho w e v er ,   th i s   s t u d y   h as   o n l y   ex a m i n ed   t h e  S VR   m o d els  b ased   o n   o n e  t y p e  o f   f ea tu r e  s elec tio n   m et h o d .   T h er ef o r e,   it  w o u ld   b e  in ter esti n g   to   ass e s s   t h e  i m p ac t o f   o th er s   f ea tu r e  s elec tio n   m eth o d s   o n   th e  ac c u r ac y   o f   SV R   m o d els i n   SDEE .       RE F E R E NC E S   [1 ]   B.   W .   Bo e h m ,   S o f tw a r e   En g in e e rin g   Eco n o m ics .   P re n ti c e   Ha ll   P T R,   1 9 8 1 ,   p .   7 6 8 .   [2 ]   R.   d .   A .   A ra ú jo ,   A .   L .   I.   Oliv e ir a ,   a n d   S .   R.   d .   L .   M e ira,  " A   c l a ss   o f   h y b rid   m u lt il a y e r  p e rc e p tro n s  f o r  so f t w a re   d e v e lo p m e n t  e ff o rt  e sti m a ti o n   p ro b lem s, "   Ex p e rt  S y st.  A p p l. ,   v o l.   9 0 ,   p p .   1 - 1 2 ,   /  2 0 1 7 .   [3 ]   A .   Za k ra n i  a n d   A .   Id ri,   " A p p l y in g   ra d ial  b a sis   f u n c ti o n   n e u ra l  n e t w o rk s   b a se d   o n   f u z z y   c lu ste rin g   to   e stim a te   we b   a p p li c a ti o n s e f f o rt" ,   In tern a ti o n a l  Re v ie w   o n   Co m p u ters   a n d   S o f twa re ,   A rti c le  v o l.   5 ,   n o .   5 ,   p p .   5 1 6 - 5 2 4 ,   2 0 1 0 .   [4 ]   A .   Zak r a n i,   A .   Na m ir,   a n d   M .   Ha in ,   " In v e stig a ti n g   th e   u se   o f   r a n d o m   f o re st  in   so f t w a re   c o st  e stim a ti o n " ,   T h e   S e c o n d   I n tern a ti o n a l  C o n f e re n c e   o n   I n telli g e n t  C o m p u ti n g   i n   Da ta S c ien c e s,  F è s,  3 - 5   o c t o b e r,   2 0 1 8 .     [5 ]   S .   M .   S a tap a th y ,   B.   P .   A c h a r y a ,   a n d   S .   K.   Ra th ,   " Early   sta g e   so f t w a re   e ff o rt  e sti m a ti o n   u si n g   ra n d o m   f o re st  tec h n iq u e   b a se d   o n   u se   c a se   p o i n t s" ,   IET   S o f t w a re ,   A rti c le v o l.   1 0 ,   n o .   1 ,   p p .   1 0 - 1 7 ,   2 0 1 6 .   [6 ]   A .   Id ri  a n d   I.   A b n a n e ,   " F u z z y   An a lo g y   Ba s e d   Eff o rt  Esti m a ti o n :  A n   E m p iri c a l  Co m p a ra ti v e   S tu d y , "   in   1 7 th   I EE E   In tern a ti o n a l  Co n f e re n c e   o n   Co m p u ter  a n d   In f o rm a ti o n   T e c h n o l o g y ,   CIT  2 0 1 7 ,   2 0 1 7 ,   p p .   1 1 4 - 1 2 1 :  In st it u te  o f   El e c tri c a l  a n d   El e c tro n ics   En g i n e e rs In c .   [7 ]   A .   L .   I.   Oliv e ira,  " Esti m a ti o n   o f   so f t w a re   p ro jec t  e ff o rt  w it h   su p p o rt  v e c to r  re g re ss io n " ,   Ne u ro c o m p u ti n g ,   A rti c le  v o l.   6 9 ,   n o .   1 3 - 1 5 ,   p p .   1 7 4 9 - 1 7 5 3 ,   2 0 0 6 .   [8 ]   Q.  L iu ,   J.  X iao ,   a n d   H.  Z h u ,   " F e a tu re   se lec ti o n   f o r  so f tw a re   e ff o r t  e stim a ti o n   w it h   lo c a li z e d   n e ig h b o r h o o d   m u tu a l   in f o rm a ti o n " ,   Clu ste r  Co m p u ti n g ,   A rti c le i n   P re ss   p p .   1 - 9 ,   2 0 1 8 .   [9 ]   Z.   Ch e n ,   T .   M e n z ies ,   D.  P o rt,   a n d   B.   Bo e h m ,   " F e a tu re   su b se t  se lec ti o n   c a n   im p ro v e   so f tw a r e   c o st  e stim a ti o n   a c c u ra c y , "   in   2 0 0 5   W o rk sh o p   o n   P re d icto r  M o d e ls  in   S o f tw a r e   En g in e e rin g ,   P ROMIS E  2 0 0 5 ,   2 0 0 5 :  A ss o c iatio n   f o r  Co m p u ti n g   M a c h in e ry ,   In c .   [1 0 ]   M .   A z z e h ,   D.  Ne a g u ,   a n d   P .   Co w li n g ,   " I m p ro v in g   a n a lo g y   so f t wa re   e ff o rt  e sti m a ti o n   u sin g   f u z z y   fe a tu re   su b se t   se lec ti o n   a lg o rit h m , "   in   3 0 th   In t e rn a ti o n a l  Co n f e re n c e   o n   S o f t wa re   En g in e e rin g ,   ICS E  2 0 0 8   -   4 th   In tern a ti o n a l   W o rk sh o p   o n   P re d icto r  M o d e ls i n   S o f tw a r e   En g in e e rin g ,   P ROMIS E  2 0 0 8 ,   L e ip z ig ,   2 0 0 8 ,   p p .   7 1 - 7 8 .   Evaluation Warning : The document was created with Spire.PDF for Python.