I AE S In t er na t io na l J o urna l o f   Art if icia l In t ellig ence   ( I J - AI)   Vo l.  8 ,   No .   4 Dece m b er   201 9 ,   p p .   399 ~ 410   I SS N:  2 2 5 2 - 8938 ,   DOI : 1 0 . 1 1 5 9 1 /i j ai. v 8 .i 4 . p p 399 - 4 1 0          399       J o ur na l ho m ep a g e h ttp : // ija i . ia es co r e . co m   I m pro v ing  so ft w a re deve lo p m en e f fort e st i m a tion us ing   supp o rt  v ector  re g ress io n and  f ea t ure selec tion       Abdela li  Z a k ra n i 1 M us t a ph a   H a in 2 Ali  I dri 3   1, 2 De p a rtm e n o f   In d u strial  E n g in e e rin g ,   ENS A M ,   Ha ss a n   II  Un iv e rsity ,   M o ro c c o   3 S o f tw a r e   P ro jec M a n a g e m e n Re se a rc h   Tea m ,   ENS I A S ,   M o h a m m e d   V   U n iv e rsity ,   M o ro c c o       Art icle  I nfo     AB ST RAC T   A r ticle  his to r y:   R ec eiv ed   Au g   1 5 ,   2 0 1 9   R ev i s ed   Oct   3 0 ,   2 0 1 9   A cc ep ted   No v   15 ,   2 0 1 9       A c c u ra te  a n d   re li a b le  so f t w a re   d e v e lo p m e n e ff o rt  e sti m a ti o n   (S DEE)   is  o n e   o f   th e   m a in   c o n c e rn f o p r o j e c m a n a g e rs.  P lan n in g   a n d   sc h e d u l in g   a   so f t w a re   p ro jec u sin g   a n   i n a c c u ra te  e sti m a te  m a y   c a u se   se v e re   r isk to   th e   so f t w a re   p ro jec u n d e d e v e lo p m e n su c h   a d e la y e d   d e li v e r y ,   p o o q u a li ty   so f t w a re ,   m issin g   f e a tu re s.  T h e re f o re ,   a n   a c c u ra te  p re d ictio n   o f   th e   so f t w a re   e ff o rt  p la y s   a n   i m p o rtan ro le  in   th e   m in im iza ti o n   o f   th e s e   risk th a c a n   lea d   to   th e   p ro jec f a il u re .   No w a d a y s,  th e   a p p l ica ti o n   o f   a rti f icia i n telli g e n c e   tec h n iq u e h a g ro w n   d ra m a ti c a ll y   f o p re d ictin g   so f tw a r e   e ff o rt.   T h e   re se a rc h e rs  f o u n d   th a th e se   tec h n iq u e a re   su it a b le  to o ls  f o r   a c c u ra te   p re d ictio n .   In   th is  stu d y ,   a n   i m p ro v e d   m o d e is  d e sig n e d   f o e sti m a ti n g   so f t w a re   e ff o rt  u sin g   su p p o r v e c to re g re ss io n   (S V R)  a n d   t w o   f e a tu re   se lec ti o n   (F S m e th o d s.  P rio t o   b u il d i n g   m o d e ste p ,   a   p re p r o c e ss in g   sta g e   is   p e rf o r m e d   b y   ra n d o m   f o re st  o Bo ru ta  f e a tu re   se lec ti o n   m e th o d s   to   re m o v e   u n im p o rtan t   f e a tu re s.  Ne x t,   th e   S V m o d e is  t u n e d   b y   a   g rid   se a rc h   a p p ro a c h .   T h e   p e rf o r m a n c e   o f   th e   m o d e ls  is  th e n   e v a lu a ted   o v e e ig h w e ll - k n o w n   d a tas e ts  th ro u g h   3 0 % h o l d o u v a li d a ti o n   m e th o d .   T o   sh o w   th e   im p a c t   o f   f e a tu re   se lec ti o n   o n   th e   a c c u ra c y   o f   S V m o d e ls,  t h e   p r o p o se d   m o d e wa s   c o m p a re d   w it h   S V R   m o d e w it h o u f e a tu re   se lec ti o n .   T h e   re su lt s   in d ica ted   th a S V w it h   f e a tu re   se lec ti o n   o u tp e rf o rm S V w it h o u t   F S   i n   te rm o f   th e   th re e   a c c u ra c y   m e a su re s u se d   in   t h is em p iri c a stu d y .   K ey w o r d s :   A cc u r ac y   m ea s u r es   R an d o m   f o r est   So f t w ar ef f o r esti m atio n   Su p p o r t v ec to r   r eg r ess io n   f ea t u r s elec tio n   Co p y rig h ©   2 0 1 9   In stit u te o A d v a n c e d   E n g i n e e rin g   a n d   S c ien c e   Al rig h ts re se rv e d .   C o r r e s p o nd ing   A uth o r :   A b d elali  Z ak r a n i,   Dep ar t m en t o f   I n d u s tr ial  E n g i n ee r in g ,   E co le  Natio n ale  Su p ér ie u r d A r t s   et  tier s ,   1 5 0   A v en u Nile,   S id i O th m a n ,   2 0 6 7 0 ,   C asab lan ca ,   Mo r o cc o .   E m ail: a b d elali. za k r a n i @ u n i v h 2 c. m a       1.   I NT RO D UCT I O N   I n   an   a g o f   r eg u lar   tec h n o lo g ical  d is r u p tio n ,   f o r   s o f t w ar co m p an ie s ,   g r o w i n g   f ast   h as  b ec o m e   ess e n tial  to   s u r v i v al.   Mo r eo v er ,   s o f t w ar co m p a n ies   m u s al s o   tar g et   b ec o m i n g   p r o f itab le  r ap id l y   an d   ef f icien tl y .   On o f   t h m ai n   k e y s   to   ac h ie v t h is   g o al  i s   to   a llo ca te  s o f t w ar p r o j ec r eso u r ce s   ef f icie n tl y   a n d   s ch ed u le  ac tiv i ties   as  o p ti m a ll y   a s   p o s s ib le.   I n   th i s   co n te x t,  esti m ati n g   s o f t w ar d ev elo p m en ef f o r is   cr itical.   Var io u s   m et h o d s   h a v b ee n   in v e s ti g ated   in   s o f t w ar ef f o r esti m atio n ,   in c lu d i n g   tr ad itio n al  m e th o d s   s u ch   a s   th co n s tr u ctiv e   co s m o d el  ( C OC OM O)   [ 1 ] ,   an d ,   r ec en t l y ,   m ac h i n lear n in g   tech n iq u e s   s u c h   a s   M L P   n e u r al   n et w o r k s   [ 2 ] ,   r ad ial  b asis   f u n c tio n   ( R B F)   n e u r al  n et w o r k s   [ 3 ] ,   r an d o m   f o r est  ( R F)  [ 4 - 5 ]   ,   f u zz y   an a lo g y   ( F A )   [ 6 ]   an d   s u p p o r t v ec to r   r eg r e s s i o n   ( SV R )   [ 7 ] .   Ma ch in e   lear n i n g   tech n iq u es  u s e   d ata  f r o m   p ast p r o j ec ts   to   b u ild   r eg r ess io n   m o d el  t h at  i s   s u b s eq u en t l y   e m p lo y ed   to   p r ed ict  th e f f o r o f   n e w   s o f t w ar p r o j ec ts .   Ho w ev er ,   n o   s in g le  m et h o d   h a s   b ee n   f o u n d   to   b en t ir el y   s tab le  a n d   r elia b le  f o r   all  ca s es.   F u r th er m o r e,   th e   p er f o r m a n ce   o f   an y   m et h o d   d ep en d s   m ai n l y   o n   th ch ar ac ter is tic s   o f   th d ataset  u s ed   to   c o n s tr u ct  th m o d el.   T h ese  ch ar ac ter is tic s   i n cl u d d atase s ize,   o u tlier s ,   n u m b er   o f   f e atu r es,  ca te g o r ical  f ea t u r es  a n d   m is s in g   v al u es.   T h er ef o r e,   p er f o r m i n g   p r ep r o ce s s in g   d ata  p r io r   to   an y   SD E E   m o d el  b u ild in g   ca n   co n tr i b u te  to   i m p r o v t h e   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8938   IJ - A I   Vo l.  8 ,   No .   4 ,   Dec em b er   201 9   3 9 9     410   400   ac cu r ac y   o f   th e   g e n er ated   esti m atio n .   Dep e n d in g   o n   d ata s et  u s ed ,   th p r ep r o ce s s i n g   d ata  c an   b clea n i n g   d ata  b y   i m p u tin g   m is s i n g   v al u o r   tr an s f o r m i n g   a n d /o r   r ed u cin g   th d ata  b y   r e m o v i n g   r ed u n d an a n d   ir r elev an t   f ea t u r es.  As  o n o f   t h m aj o r   co n ce r n s   w h e n   u s in g   d atase t o   co n s tr u ct   S DE E   m o d el  is   t h n eg at iv e   i m p ac t   o f   ir r elev an t a n d   r ed u n d a n t in f o r m at io n   o n   est i m a tio n   ac c u r ac y   [ 8 ] .     Hen ce ,   w n ee d   to   r e m o v e   i r r elev an a n d   r ed u n d an t   in f o r m atio n   an d   k ee p   s u b s et   o f   r ele v an t   f ea t u r es  s o   o n l y   in f o r m a tio n   a b o u th e f f o r ( d ep en d en v ar iab le)   is   r eser v ed .   Fo r   t h is   p u r p o s e,   m an y   f ea t u r s elec tio n   ( FS )   m et h o d s   h a v e   b ee n   e m p lo y ed   in   t h liter a tu r [ 8 - 1 3 ] .   I n   t h is   co n te x t,  th is   p ap er   ai m s   to   in v e s ti g ate  t h u s o f   t w o   f ea t u r s elec tio n   m et h o d s   as  p r ep r o ce s s in g   s tep   b ef o r f ee d i n g   d ata  to   SVR   m o d el  b u ild in g   s ta g e.   T h p ap er   ai m s   also   to   ev al u ate  w h et h er   o r   n o t th w r ap p er   f ea tu r s elec tio n   m eth o d s   i m p r o v th ac cu r ac y   o f   th SV R   m o d el.   T h er ef o r e,   w ass e s s   SV R   m o d el s   p r ep r o ce s s ed   w i th   t wo   w r ap p er   m et h o d s   an d   w co m p ar th e m   w it h   SVR   m o d el  b u ilt  w it h o u f ea tu r s elec tio n   m et h o d s .   T h m a in   co n tr ib u tio n s   o f   th is   p ap er   ar th r ee f o ld ( 1 )   ass ess i n g   t h i m p ac o f   f ea t u r s elec tio n   m et h o d s   o n   t h p r ed ictiv ca p ab ilit y   o f   SVR   m o d els  o v er   eig h d atase ts   ( 2 )   em p lo y i n g   t w o   w r ap p er   f ea t u r s e lectio n   m et h o d s   to   s elec t h e   attr ib u te s   u s ed   f o r   SVR   m o d els   ( 3 )   tu n i n g   th e   h y p er p ar a m eter   v al u es   o f   SV R   u s i n g   g r id   s ea r ch   ap p r o ac h   an d   1 0 - f o ld   cr o s s - v alid atio n   ap p r o ac h .   T h is   p ap er   is   o r g an ized   as  f o llo w s .   Sectio n   2   p r esen ts   t h SV R   tech n iq u a n d   th e   tw o   f ea tu r s e lectio n   m et h o d s   u s ed   in   t h is   s t u d y   an d   Sectio n   3   g iv e s   an   o v er v ie w   o f   r elate d   w o r k   co n d u cte d   o n   SV R   in   SDEE .   I n   Secti o n   4 ,   w d escr ib t h ar ch itectu r o f   th p r o p o s ed   m o d el  in clu d i n g   th e   m et h o d o lo g y   ad o p ted   to   ad j u s it  p ar am eter s   v alu e s .   Sect io n   5   p r esen ts   b r ief   d escr ip tio n   o f   th d atasets ,   t h e   ac cu r ac y   m ea s u r e s ,   t h v ali d atio n   m eth o d   u s ed   i n   th i s   s tu d y .   T h e m p ir ical   r es u lts   ar p r esen ted   a n d   d is cu s s ed   in   Sect io n   6 .   Fin al l y ,   Sectio n   7   co n clu d es t h p ap er .       2.   B ACK G RO UND   B ef o r en ter in g   i n to   d etail s ,   w e   in tr o d u ce   th e   t h r ee   m a in   to o ls   o f   t h is   p ap er s u p p o r v ec to r   r eg r ess io n ,   f ea t u r i m p o r tan ce ,   an d   f ea tu r s e lectio n .     2 . 1 .     Su pp o rt   v ec t o re g re s s io n   Su p p o r Vec to r   Ma ch i n es  a s   d escr ib ed   in   [ 1 4 ]   h av e   s h o w n   t o   d eliv er   p r o m is i n g   s o l u tio n s   in   v ar io u s   class i f icatio n   an d   r eg r es s io n   task s   th a n k s   to   th e ir   ab ilit y   t o   av o id   lo ca m i n i m a,   i m p r o v ed   g en er al izatio n   ca p ab ilit y ,   an d   s p ar s r ep r ese n ta tio n   o f   t h s o lu tio n .   SVM  ar b ased   o n   Stru ctu r al  R i s k   Min i m izatio n   ( SR M)   p r in cip le  an d   t h u s   tr ie s   to   co n tr o th u p p er   b o u n d   o f   g e n er aliza tio n   r is k   w h ile  r ed u cin g   t h m o d el   co m p le x it y .   I n   ad d itio n ,   th e y   d o   n o t s u f f er   f r o m   o v er   f i tti n g   p r o b lem   an d   lo ca m i n i m izati o n   is s u e s   a n d   h en c e   o f f er   e n h a n ce d   g e n er aliza tio n   ca p ab ilit y .   Fo r   r eg r ess io n   ta s k s ,   Vap n i k   p r o p o s ed   an   SV ca lled   ε - s u p p o r t   v ec to r   r eg r ess io n   ( ε - S VR ) ,   wh ich   p er f o r m s   p r ed ictio n   tas k s   f r o m   t h ε - i n s e n s iti v lo s s   f u n ctio n .   B ec au s th e   ε  p ar a m eter   i s   u s e f u i f   th e   ap p r o x i m atio n   ac cu r ac y   i s   s p ec i f ied   b ef o r e h an d ,   it   is   b etter   to   f i n d   p r o ce d u r to   o p tim ize  th is   ac c u r ac y   w i th o u d ep en d in g   p r io r o n   v a lu s et.   T h is   p r o ce d u r w as  s tu d ied   b y   lk o p f ,   S m o la,   W illi a m s o n   an d   B ar tlett  [ 1 5 ] .   T h ey   p r o p o s ed   n ew   f o r m u latio n ,   ca lled   ʋ - s u p p o r v ec to r   r eg r ess io n   - SV R ) ,   th at  a u to m atica ll y   m i n i m izes  t h ε - i n s e n s it iv l o s s   f u n ctio n   a n d   ch a n g es  t h SVR   f o r m u latio n   b y   u s i n g   n e w   ʋ   p ar a m eter   w h o s e   v al u e   is   b et w ee n   [ 0 , 1 ] .   I n   ad d itio n   to   m i n i m izi n g   th e   ε  v alu e,   th e   ʋ   p ar am eter   i s   u s ed   f o r   co n tr o lli n g   t h n u m b er   o f   s u p p o r v ec t o r s ,   s in ce   t h v al u o f   ε  in f l u e n ce s   t h ch o ice  o f   s u p p o r t v ec to r s .   I n   th is   s t u d y ,   s p ec ial   f o r m   o f   SVM  i.e . ,   Su p p o r Vec to r   R eg r ess io n   ( SVR )   is   u ti lized   f o r   m o d elin g   th in p u t o u tp u f u n ctio n al  r e latio n s h ip   o r   r eg r ess io n   p u r p o s an d   is   ex p lai n ed   n e x t.  Gi v en   s e o f   in p u t o u tp u s a m p le   p air s   { ( 1 , 1 ) , ( 2 , 2 ) , . . . , ( , ) }   w h er    an d    ,   th o b j ec tiv o f   ν - SV R   tech n iq u is   to   ap p r o x im a te  th n o n l in ea r   r elatio n s h ip   g i v en   in   ( 1 ) ,   s u ch   th at  ( )   s h o u ld   b as  clo s as  p o s s ib le  to   th tar g et  v alu y   a n d   s h o u ld   b as f lat  as p o s s ib le  in   o r d er   to   av o id   o v er - f itti n g .         ( ) = . ( ) +   ( 1 )     w h er   is   th w ei g h v ec to r ,     is   th b ias  an d   ( )   r ep r esen ts   th e   tr an s f o r m a tio n   f u n ctio n   th a m ap s   th e   lo w er   d i m e n s io n al  i n p u s p a ce   to   h ig h er   d i m e n s io n al  s p ac e.   T h p r im a o b j ec tiv o f   t h p r o b lem   t h u s   r ed u ce s   to   ( 2 ) ,   in   o r d er   to   en s u r t h at  t h ap p r o x i m ated   f u n ctio n   m ee ts   t h ab o v t w o   o b jectiv es   o f   c lo s en e s s   an d   f lat n es s .       m in im ize   1 2 2 + { . + 1 2 ( + ) = 1 }   ( 2 )     Evaluation Warning : The document was created with Spire.PDF for Python.
IJ - AI     I SS N:  2252 - 8938       I mp r o vin g   s o ftw a r d ev elo p m en t e ffo r t e s tima tio n   u s in g   s u p p o r t v ec to r   r eg r ess io n   a n d ... ( A b d ela li Za kra n i )   401   s ubj e c t   to   the   c on s tr a in t s { . ( ) + , . ( ) + + , , 0     w h er ε   is   d ev iatio n   o f   f u n ctio n   f ( x)   f r o m   its   ac t u a v alu an d ,   ξ,  ξ i * ar ad d itio n al  s lack   v ar iab les  in tr o d u ce d   b y   C o r tes  &   Vap n ik ,   1 9 9 5 ,   w h ic h   d eter m i n es  t h at,   d ev iatio n s   o f   m a g n itu d ξ  ab o v ε  e r r o r   ar e   to ler ated .   T h co n s tan C   k n o w n   a s   r e g u lar izat io n   p ar a m ete r   d eter m in e s   t h e   tr ad eo f f   b et wee n   t h f lat n e s s   o f   f   an d   to ler an ce   o f   er r o r   ab o v ε.   Fu r th er   ϒ  ( 0 ϒ≤ 1 ) ,   r ep r es en ts   t h u p p er   b o u n d   o n   th f u n ctio n   o f   m ar g i n   er r o r s   in   th tr ain i n g   s et  an d   estab lis h e s   th lo w er   b o u n d   o n   t h f r ac t io n   o f   s u p p o r v ec to r s .   T o   s o lv th e   p r im a l p r o b lem   i n   ( 2 ) ,   its   d u al   f o r m u latio n   i s   in tr o d u ce d   b y   co n s tr u ct in g   L ag r a n g f u n c tio n   ( L )   g iv e n   as:     :   1 2 2 + { Υ . + 1 ( + ) = 1 } 1 ( . + ) = 1 1 ( + 1 . ( ) )   = 1 + 1 ( + . ( ) + ) . = 1   ( 3 )     w h er , , ,        ar L ag r an g m u l tip lie r s   an d   ( ) = . .   T h u s ,   m a x i m izi n g   th e   L ag r an g f u n ctio n   g iv e s   = ( ) = 1 . ( )   an d   y ield s   th f o llo w i n g   d u al  o p ti m iza tio n   p r o b le m   m ax i m izes      1 2 ( ) . ( ) , = 1 . ( , ) + . ( ) ; = 1       s ubj e c t   to { ( = 1 ) = 0 , ( = 1 )  , , [ 0 , ]   ( 4 )     w h er ( , )   d en o tes  th k er n el  f u n ctio n   g i v en   b y   ( , ) = ( ) . ( ) .   T h s o lu tio n   to   ( 4 )   y ield s   th L ag r a n g m u ltip lier s   , .   Su b s tit u ti n g   w ei g h w   i n   ( 1 ) ,   th ap p r o x im a ted   f u n ctio n   is   g i v en   as:      ( ) = ( ) . = 1 ( , ) +   ( 5 )     T h ch o ice  o f   k er n el  f u n ctio n   f o r   s p ec if ic  d ata  p atter n s ,   w h ich   is   a n o th er   attr ac ti v q u est io n   in   t h e   ap p licatio n   o f   SV R ,   ap p ea r ed   s o m e w h at  ar b itra r y   till   n o w .   So m p r ev io u s   w o r k   [ 6 ,   1 6 ]   e m p ir icall y   in d icat e   th at  t h u s o f   t h g au s s ia n   R B k er n el  is   s u p er io r   to   o th er   k er n el   f u n ctio n s   b ec au s o f   it s   ac ce s s ib ilit y   to   i m p le m en t   a n d   p o w er f u l   m ap p in g   ca p ab ilit y .   T h er ef o r e ,   th e   g a u s s ia n   R B k er n el   f u n ctio n ,   ( 6 ) w as  e m p lo y ed   in   t h i s   s t u d y .         ( , ) = e xp ( 2 )        =     1 2 2         ( 6 )     T h p ar am eter   σ   af f ec ts   t h m ap p in g   tr an s f o r m atio n   o f   t h in p u d ata  to   th f ea tu r s p ac an d   co n tr o ls   th co m p lex it y   o f   t h m o d el,   th u s ,   an d   th v alu o f   p ar am eter     s h o u ld   b s elec ted   ca r ef u ll y   a n d   ad eq u atel y .   I n   ad d itio n ,   SV R   r eq u ir es  also   s e tti n g   t w o   p ar am eter s :   th e   co m p lex it y   p ar a m eter   u s u all y   d en o ted   b y   C ,   t h e x ten to   w h ic h   d e v iatio n s   ( i.e . ,   er r o r s )   ar to ler ated   d en o ted   b y   E p s ilo n   ( ε) ,   an d   t h ʋ   p ar a m eter   w h ic h   is   u s ed   f o r   co n tr o lli n g   th n u m b er   o f   s u p p o r v ec to r s ,   s in ce   th e   v al u o f   ε  i n f lu e n ce s   t h c h o ice  o f   s u p p o r t v ec to r s .     2 . 2 .     F e a t ure  s elec t io m et ho ds   T h is   s u b s ec tio n   p r o v id es  an   o v er v ie w   o f   t h f ea tu r s ele ctio n   m et h o d s   w it h   p ar ticu la r   f o cu s   o n   f ea t u r i m p o r tan ce   co n ce p t u s ed   b y   th m et h o d s   u s ed   i n   t h is   p ap er .       2 . 2 . 1 .   F ea t ure  s elec t io m et h o ds   Featu r s elec tio n ,   a ls o   k n o w n   as  v ar iab le  s elec tio n ,   is   th e   p r o ce s s   o f   id e n ti f y in g   t h m o s t   p r o m i s i n g   f ea t u r es  ( v ar iab les,  attr ib u tes)   in   g iv e n   d ataset.   T h s elec t ed   f ea t u r w ill   b u s ed   to   co n s tr u ct   th e   m o d el  o r   as  in p u ts   o f   p r ed ictio n   s y s te m .   T h er ar m a n y   p o ten tia b en ef its   o f   f ea t u r s elec tio n   s u c h   as  i m p r o v in g   t h e   g en er aliza tio n   p er f o r m an ce   o f   th p r ed icti v m o d el,   r ed u c in g   t h co m p u tatio n al  ti m e   to   c o n s tr u ct   t h m o d el,   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8938   IJ - A I   Vo l.  8 ,   No .   4 ,   Dec em b er   201 9   3 9 9     410   402   an d   b etter   u n d er s tan d i n g   t h u n d er l y in g   p r o ce s s .   Sev er al  f ea tu r s elec tio n   m et h o d s   h av e   b ee n   p r o p o s ed   an d   s tu d ied   i n   th e   liter at u r [ 1 7 ] .   T h ey   ca n   f all  i n to   t h r ee   ca te g o r ies:   th e   w r ap p er ,   th f il ter   a n d   e m b ed d ed .   T h w r ap p er   m e th o d s   u s p r ed ic tiv m o d el  to   s co r f ea tu r s u b s ets.  E ac h   n e w   s u b s et  is   u s e d   to   t r ain   m o d el,   w h ic h   i s   te s ted   o n   h o ld - o u s et.   C o u n tin g   th e   n u m b er   o f   m is tak e s   m ad o n   t h at  h o ld - o u s et  ( t h er r o r   r ate   o f   th m o d el)   g iv e s   t h s co r f o r   th at  s u b s et  [ 1 8 ] .   T h f ilter   m et h o d s   co n s id er   s tati s tical  ch ar ac ter is tic s   o f   a   d ata  s et  d ir ec tly   w it h o u in v o l v in g   an y   lear n in g   alg o r it h m .   T h em b ed d e d   m et h o d s   co m b in f ea t u r s elec tio n   an d   t h lear n in g   p r o ce s s   in   o r d er   to   s elec an   o p ti m al   s u b s et  o f   f ea t u r es.  I n   g en er al,   th e   r esu l ts   o f   w r ap p er   m et h o d s   ar b etter   th an   th o s o f   f ilter   m et h o d s .   Ho w e v er ,   t h w r ap p er   m et h o d   is   s lo w   ( t i m e - co n s u m i n g )   an d   v er y   co m p licated   w h e n   t h er ar m an y   f ea t u r es  i n   t h d ata s et.   Fo r tu n atel y ,   i n   o u r   ca s e,   t h d ataset s   u s ed   i n   th is   s t u d y   h a v r elati v el y   s m all  n u m b er   o f   f ea tu r e s .     2 . 2 . 2 .   Ra nd o m   f o re s t   f ea t ure  i m po rt a nce   R an d o m   f o r est  ( R F)  is   an   en s e m b le  lear n i n g   tec h n iq u e   ba s ed   o n   clas s i f ic atio n   an d   r eg r ess io n   tr ee s   [ 1 9 ] .   E ac h   tr ee   is   tr ain ed   o n   a   b o o ts tr ap   s a m p le,   a n d   o p t i m al  v ar iab le s   at  ea c h   s p lit   ar id en ti f ied   f r o m   r a n d o m   s u b s et  o f   all  v ar iab les.  T h s ele ctin g   cr iter ia  ar d i f f er e n f o r   class i f icat io n   a n d   r eg r ess io n   p r o b lem s .   Fo r   th f o r m er   s e tti n g ,   t h Gi n i n d ex   i s   ap p lied ,   w h er ea s   v ar ia n ce   r e d u ctio n   i s   u s ed   f o r   th la tter   ap p r o ac h .   T h g lo b al  p r ed ictio n   o f   t h R F   is   co m p u ted   a s   a   m aj o r it y   v o te  o r   av er ag f o r   class i f icatio n   o r   r eg r ess io n ,   r esp ec tiv el y   [ 2 0 ] .   I n   ad d itio n   to   p r e d ictio n ,   R Fs   ca n   b u s ed   as  m e th o d   to   esti m ate  v ar iab le  i m p o r tan ce   m ea s u r es  to   r a n k   v ar iab les  b y   p r ed ictiv i m p o r tan ce .   T o   illu s tr ate  th is ,   let s     p r o j ec f ea tu r e.   R f ea t u r i m p o r tan ce   o f     is   d ef i n ed ,   as  d escr ib ed   in   [ 2 1 ] ,   as  f o llo w s .   Fo r   ea ch   tr ee   t   o f   th f o r est,  co n s id er   th ass o ciate d      s am p le  ( Ou Of   B ag   is   t h d ata  w h ich   w a s   n o in cl u d ed   in   th b o o s tr ap   s a m p le  u s ed   to   co n s tr u ct   ) .   Den o te  b y       th m ea n   s q u ar er r o r   ( MSE )   o f   s in g le  tr ee   o n   t h is      s a m p le.   No w ,   r a n d o m l y   p er m u te  th v alu e s   o f     in      to   g et  p er tu r b ed   s am p le  d en o ted   b y      ̌   an d   co m p u te   ,   th er r o r   o f   p r e d icto r   t   o n   th p er tu r b ed   s a m p le.   Fe atu r i m p o r tan ce   o f     is   t h en   eq u al  to :       ( ) = 1 (    ̌   ) ,     ( 7 )     w h er th e   s u m   is   o v er   all  tr ee s   o f   th R a n d       d en o tes  th n u m b er   o f   tr ee s   o f   t h R F.  Featu r es   th at  ar e   r elev a n t   f o r   p r ed ictio n   w i ll  h a v lar g i m p o r tan ce   v alu e s ,   w h er ea s   f ea tu r es   t h at  ar n o a s s o ciate d   w it h   t h o u tco m h a v v al u e s   clo s to   ze r o .     2 . 2 . 3 .   B o rut a   f ea t ure  s elec t io m et ho d   B o r u ta  is   an   a ll  r elev a n f ea t u r s elec tio n   al g o r ith m ,   i.e . ,   e m b ed d ed   w it h   t h R al g o r ith m   a n d   u s e s   ca lcu lated   Z - s co r es  as  m ea s u r o f   b an d   i m p o r tan ce .   T h m ai n   id ea   o f   th is   ap p r o ac h   is   to   co m p ar th i m p o r tan ce   o f   t h r ea p r ed icto r   v ar iab les  w it h   t h o s o f   r an d o m   s o - ca lled   s h ad o w   v ar iab les  u s in g   s tat is tica l   test i n g   a n d   s ev er al  r u n s   o f   R F s   [ 2 2 ] .   I n   ea ch   r u n ,   th s et  o f   p r ed icto r   v ar iab les  is   d o u b led   b y   ad d in g   co p y   o f   ea ch   v ar iab le.   T h v alu es  o f   th o s s h ad o w   v ar iab les  a r g en er ated   b y   p er m u ti n g   t h o r ig in a v al u es  ac r o s s   o b s er v atio n s   an d   t h er e f o r d estro y i n g   t h r elatio n s h ip   w it h   t h o u tco m e.   R F is   tr ain ed   o n   t h e x te n d ed   d ata  s et  a n d   t h v ar iab le  i m p o r tan ce   v al u es   ar co llected .   Fo r   ea ch   r ea l   v ar iab le  a   s ta tis tica te s t   is   p er f o r m e d   co m p ar i n g   its   i m p o r ta n ce   w it h   t h m a x i m u m   v al u o f   all   t h s h ad o w   v ar iab les.  Var iab le s   w it h   s i g n i f ica n tl y   lar g er   o r   s m al ler   i m p o r tan ce   v alu e s   ar d ec lar ed   as  i m p o r t an o r   u n i m p o r ta n t,  r esp ec ti v e l y .   A ll  u n i m p o r ta n t   v ar iab les  an d   s h ad o w   v ar ia b les  ar r em o v ed   an d   th p r ev io u s   s tep s   ar r ep ea ted   u n til  all  v ar iab les  ar class i f ied   o r   ce r tain   d eter m i n ed   n u m b er   o f   r u n s   h as b ee n   d o n [ 2 0 ] .       3.   RE L AT E WO RK   T h SVR   tec h n iq u h a s   b ee n   u s ed   in   m a n y   e m p ir ical  s o f t w ar e n g i n ee r i n g   s tu d ie s   es p ec iall y   i n   p r ed ictin g   s e v er al  s o f t w ar c h ar ac ter is tic s   s u c h   as  b u g   a n d   d ef ec [ 2 3 - 2 4 ] ,   r eliab ilit y   [ 2 5 ] ,   q u alit y   [ 2 6 ]   an d   en h a n ce m en ef f o r [ 2 7 ] .   R eg ar d in g   ap p licatio n   o f   an   SV R   f o r   esti m ati n g   s o f t w ar d ev e lo p m e n e f f o r t,  w e   id en ti f ied   1 3   r elev a n s tu d ie s   in   th e   liter at u r [ 7 ,   2 7 - 3 8 ] .   T h f ir s i n v e s ti g atio n   o f   S VR   i n   SDEE   w a s   o r ig in all y   ca r r ied   o u b y   Oli v eir [ 7 ] .   He   h as  co n s id er ed   SVR   w ith   li n ea r   as  w e ll  as   R B k er n els  a n d   o p tim ized   its   p ar a m eter s   e m p l o y i n g   g r id   s e lectio n .   T h ex p er i m en ts   w er p er f o r m ed   u s i n g   s o f t w ar p r o j ec ts   f r o m   N A S A   d ata s et  an d   th e   r esu lts   h av s h o w n   t h at  S V R   s i g n i f ica n tl y   o u tp er f o r m s   R B FNs   an d   li n ea r   r eg r ess io n .   Hi s   w o r k   d id   n o t   i n v e s ti g ate  f ea t u r s e lectio n   m eth o d s all   i n p u t   f ea tu r es   w er u s ed   f o r   b u ild in g   th r e g r ess io n   m o d els.   In   [ 2 8 ,   3 9 ]   u s ed   g en et ic  al g o r ith m   ( GA )   ap p r o ac h   to   s elec t   an   o p ti m al   s u b s et  f ea t u r e   an d   o p ti m ize   SV R   p ar a m eter   f o r   SDEE .   T h e y   u s ed   b in ar y   co d ed   ch r o m o s o m a s   s o l u tio n   r ep r esen ta tio n   f o r   s u b s et   f ea tu r a n d   S VR   p ar am eter .   T h eir   s i m u latio n s   h a v e   s h o w n   t h at   th e   p r o p o s ed   GA - b ased   ap p r o ac h   w as   Evaluation Warning : The document was created with Spire.PDF for Python.
IJ - AI     I SS N:  2252 - 8938       I mp r o vin g   s o ftw a r d ev elo p m en t e ffo r t e s tima tio n   u s in g   s u p p o r t v ec to r   r eg r ess io n   a n d ... ( A b d ela li Za kra n i )   403   ab le   to   i m p r o v s u b s tan tiall y   t h p er f o r m a n ce   o f   S VR   an d   o u tp er f o r m   b a g g i n g   ML P   n et w o r k   an d     b ag g i n g   M5 P .   T h au th o r s   in   [ 3 6 ]   in v esti g ated   p ar ticle  s w ar m   o p ti m iza tio n   ( P SO)   ap p licatio n   to   s elec s u b s et   f ea t u r an d   SV R   p ar a m eter   ap p lied   to   s o f t w ar ef f o r es ti m atio n .   T h e y   u s ed   co n ti n u o u s   v al u t y p to   o p tim ize  SV R   p ar a m eter   a n d   d is cr ete  v al u t y p to   s elec s u b s et  f ea t u r e.   Ho w e v er ,   th e   s t u d y   w a s   li m ited   to   Desh ar n ais  d ataset  a n d   d o es  n o s h o w   th p er f o r m a n ce   o f   th r esu lt in g   SV R   m o d el  u s i n g   co m m o n l y   e m p lo y ed   ac c u r ac y   m ea s u r es   in   SDEE .   S u p p o r v ec to r   r eg r ess io n   h as  b ee n   also   u s e d   to   esti m a te  t h e   d ev elo p m en e f f o r o f   w eb   p r o j ec ts   u s in g   T u k u t u k u   d atas et  in   [ 3 0 ,   4 0 - 4 1 ] .   T h r esu lt s   o f   th ese  s tu d ies   s h o w ed   t h at  SVR   h a s   p o ten ti al  s i n ce   it   o u tp er f o r m ed   th e   m o s co m m o n l y   ad o p ted   p r ed ictio n   tec h n iq u es.   I t   w a s   ar g u ed   th at  S VR   i s   f le x ib le  m et h o d   th at  u s k er n els  a n d   p ar am e ter   s etti n g s   w h ic h   en ab le  th lear n i n g   m ec h a n i s m   to   b etter   s u it  t h ch ar ac ter is tic s   o f   d if f er e n c h u n k s   o f   d ata,   w h ich   is   t y p i ca ch ar ac ter is ti o f   cr o s s - co m p a n y   d ataset s .   I n   o r d er   to   au to m atica ll y   s elec t   s u itab le  SV R   p ar a m e ter s   i n clu d in g   t h k er n e f u n ctio n ,   th a u th o r s   i n   [ 3 3 ]   p r o p o s ed   th u s o f   an   ap p r o ac h   b ased   o n   T ab u   Sear ch   ( T S).   T h ey   ev al u ated   e m p ir icall y   t h p r o p o s ed   m o d el  u s in g   d if f er en t y p es  o f   d atasets   f r o m   P R O MI SE  r ep o s ito r y   a n d   T u k u t u k u   d ataset.   T h eir   r esu lts   s h o w ed   th at  SV R   co m b i n ed   w it h   T s i g n i f ica n tl y   o u tp er f o r m ed   C B R   an d   m an u al   s tep w is r eg r es s io n   m eth o d s .   T h is   s ec tio n   h a s   atte m p ted   to   p r o v id b r ief   s u m m ar y   o f   t h m aj o r   liter atu r r elatin g   to   s o f t w ar e f f o r t e s ti m atio n   u s in g   s u p p o r t v ec to r   r e g r ess io n .       4.   SVR  M O DE L S WI T H   F E A T UR E   SE L E CT I O M E T H O DS   T h is   s ec tio n   p r ese n ts   a n   o v er v ie w   o f   t h t w o   S VR   m o d els  d esig n ed   in   t h is   p ap er   n a m el y   SVR   w i th   b ac k w ar d   f ea t u r eli m in a tio n   an d   SV R   w i t h   B o r u ta  f ea t u r s elec t io n   ( h e n ce f o r th   S V R - B FE  a n d   SV R - B OR UT A   r esp ec tiv el y )   an d   il lu s tr ate s   h o w   t h ese  m o d el s   w e r tr ain ed   an d   o p tim ized   b y   g r id   s ea r ch   m et h o d .       4 . 1 .     SVR  m o dels   w it ba c kw a rd  f e a t ure  eli m i na t io ( SVR - B F E )   I n   th p r ep r o ce s s in g   s ta g o f   t h i s   m o d el,   w u s ed   s i m p ler   f o r m   o f   b ac k w ar d   f ea tu r eli m i n atio n   s o   th at  i n s tead   o f   iter atin g   t h b ac k w ar d   eli m in atio n   p r o ce d u r u n t il  t h en d ,   w s to p p ed   th is   p r o ce d u r at  th f o u r t h   eli m in a tio n .   T h is   m e t h o d   is   p ar ticu lar l y   u s e f u in   s tu d y in g   th ac c u r ac y   o f   th m o d el  af ter   ea ch   iter atio n   a n d   co m p ar in g   t h r esu lt s   o b tain ed   w i th   th B o r u ta  b ased   SVR .   Fo llo w in g   t h i s   m et h o d   an d   u s i n g   v ar iab le  i m p o r tan ce   co m p u te d   b y   r an d o m   f o r est,  f o u r   s u b s ets  o f   f ea t u r es  w er g e n er ated   b y   r e m o v in g   ea ch   ti m t h least  i m p o r tan t   v ar ia b le.   So ,   in   th f ir s s u b s et  d en o ted   B FE_ 1 ,   w eli m i n ate  t h least  s ig n i f ica n t   f ea t u r an d   in   th s ec o n d   s u b s et  B FE_ 2 ,   w r e m o v ed   th n ex least  i m p o r tan f ea tu r ac co r d in g   to   v ar iab le  i m p o r tan ce   r a n k i n g   a n d   s o   o n .   Star ti n g   f r o m   t h ese   s u b s et s ,   f o u r   S V R   m o d el s ,   d en o ted   SVR - B FE_ w er o p tim ized   u s in g   g r id   s ea r ch   o p ti m izatio n   m e th o d   an d   1 0 - f o ld   cr o s s   v alid atio n   ap p r o ac h .   Fig u r 1   d ep icts   th e   m o d el  g r ap h icall y   a n d   s h o w s   th d if f er en s ta g es  o f   SVR   m o d el  b u ild in g   i n cl u d in g   f ea tu r s elec tio n   s tep   an d   h y p er - p ar a m eter   o p ti m izatio n   s tep .     4 . 2 .     SVR  m o del  w it bo rut a   f ea t ure  s elec t io m et ho ( S VR - B O RUTA)   T h is   SVR   m o d el  is   co m p o s ed ,   lik th f ir s o n e,   f r o m   o n p r ep r o ce s s in g   s ta g w h e r B o r u ta   alg o r ith m   is   p er f o r m ed   to   r e m o v all  u n i m p o r tan f ea t u r es  an d   k ee p   o n l y   th r ele v a n o n es.  Ne x t,  th e   h y p er p ar a m eter   o f   SV R   m o d el  ( C ,   µ)   w er ad j u s ted   b y   th e   s a m p r o ce d u r u s ed   f o r   SVR   w ith   B FE  i n   o r d er   to   ev alu ate  t h e m   u n d er   th s a m co n d itio n s .   Fi g u r 1   ill u s tr ates th m o d el  b u ild in g   ar ch i t ec tu r e.       Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8938   IJ - A I   Vo l.  8 ,   No .   4 ,   Dec em b er   201 9   3 9 9     410   404       Fig u r 1 A r ch itectu r o f   SVR   m o d els  w it h   FS S       4 . 3 .     P a ra m et er s   s et t ing   I is   w ell  k n o w n   t h at  t h p ar a m eter   s etti n g s   co u ld   h a v s ig n i f ica n i m p ac o n   t h esti m atio n   ac cu r ac y   o f   tr ai n ed   SDEE   tech n iq u es.  T h er ef o r e,   b u ild in g   an   ac cu r ate  m o d el  r eq u ir es  s elec tio n   o f   o p ti m al   v alu e s   o f   its   lear n i n g   p ar a m eter s   [ 1 6 ] .   Ho w e v er ,   f i n d i n g   o p ti m al  v a lu e s   is   co m p licat ed   task   a n d   v ar io u s   ap p r o ac h es  h av b ee n   p r o p o s ed   in   th liter atu r to   ad d r ess   th is   i s s u e,   s u c h   as  g r id   s ea r ch   ( GS)   [ 4 2 ] p ar ticle  s w ar m   o p ti m izatio n   ( P SO)   [ 4 3 ]   an d   g en etic  al g o r ith m   ( G A)   [ 3 9 ] .   I n   o r d er   to   en ab le  SVR   m o d els,  d ev elo p ed   in   t h i s   s tu d y ,   to   ac h ie v h i g h er   p r ed ictio n   ac cu r ac y   o v er   t h eig h t d ata s ets   u s ed   i n   S D E E ,   w e m p lo y ed   g r id   s ea r ch   ( GS)   a s   o p ti m izatio n   m et h o d   co m b in ed   w i th   cr o s s - v alid atio n   p r o ce d u r e.   T h m ain   id ea   b e h in d   t h e   g r id   s ea r ch   m et h o d   is   t h at  d if f er e n p air s   o f   p ar a m eter s   ar test ed   an d   t h o n e   w it h   t h h ig h es cr o s s   v alid atio n   ac c u r ac y   i s   s elec te d .   T h m aj o r   ad v an tag o f   G m et h o d   is   its   h i g h   lear n i n g   ac cu r ac y   a n d   th e   ab ilit y   o f   p ar allel  p r o ce s s in g   o n   th tr ain i n g   o f   e v er y   SV R ,   b ec au s t h e y   ar in d ep en d en o f   ea c h   o th er .   A lt h o u g h   G m eth o d   ca n   f in d   th o p ti m u m   p ar a m e ter s ,   t h co m p u tatio n al  co m p le x it y   i s   v er y   b ig   o b v io u s l y ,   an d   t h ti m e   s p en i s   v er y   lar g e,   esp ec iall y   f o r   lar g s a m p l d ata.   I n   o u r   ca s e,   w li m ited   th e   s ea r c h   s p ac e   to   m o s t p r o m is in g   v a lu e s   g u id ed   b y   p r ev io u s   s tu d ie s   [ 4 4 ] .   T a b le  1   s h o w s   GS    p ar a m eter   f o r   S VR   m o d els .       T ab le  1 .   Gr id   s ea r ch   p ar am e te r   f o r   SVR   m o d els   T e c h n i q u e s   P a r a me t e r s   S V R   Ty p e =   {   µ - r e g r e ssi o n }   K e r n e l   f u n c t i o n   =   R B F   }   C o mp l e x i t y   =   {f r o m 0 , 0 0 5   t o   0 , 1 ,   s t e p = 0 , 0 0 5 }   K e r n e l   p a r a me t e r   = {1 / n u mb e r   o f   f e a t u r e s}   µ   = { 0 , 1   t o   1 , 0 ,   s t e p = 0 , 1 }       T h GS   m eth o d   f i n d s   t h b est  co n f i g u r atio n   o f   SV R   m o d el s   b y   ev a lu at in g   e v er y   p o s s ib l e   co m b i n atio n   o f   T ab le  2   w i th   r esp ec to   m ea n   s q u ar er r o r   ( MSE )   b ased   er r o r   f u n ctio n   u s in g   1 0 - f o ld   cr o s s - v alid atio n   ap p r o ac h .   T h b est co n f i g u r atio n   o f   ea ch   tec h n iq u th at  m i n i m izes  M SE  is   th e n   s elec ted .   No te  th at  th s a m r an g o f   p ar a m eter   v alu e s   w er u s ed   f o r   SVR   w it h   B o r u ta  f ea tu r s elec tio n   m et h o d .   R eg ar d in g   th e   p ar am eter s   o f   r an d o m   f o r est  f ea t u r s elec tio n   an d   B o r u ta  alg o r ith m   w er ad j u s ted   as  s h o w n   i n   T ab le  3 .   I n   f ac t,  t h e s p ar a m e ter s   d o   n o h av s i g n i f ica n i m p ac o n   v ar iab le  i m p o r tan ce   r a n k i n g   e x ce p m a x R u n s   p ar am eter   o f   B o r u ta  m et h o d   w h ic h   s h o u ld   b in cr ea s ed   i n   ce r tain   ca s e   to   r eso lv e   attr ib u t es  le f T en tati v b y   th alg o r it h m .         Evaluation Warning : The document was created with Spire.PDF for Python.
IJ - AI     I SS N:  2252 - 8938       I mp r o vin g   s o ftw a r d ev elo p m en t e ffo r t e s tima tio n   u s in g   s u p p o r t v ec to r   r eg r ess io n   a n d ... ( A b d ela li Za kra n i )   405   T ab le  2 .   P ar am eter s   u s ed   f o r   R F a n d   B o r u ta  Feat u r Selecti o n   Me th o d s   M e t h o d   P a r a me t e r   D e scri p t i o n   R a n d o F o r e st   n t r e e   =   5   0 0 0   mt r y =   5   N u mb e r   o f   t r e e s   N u mb e r   o f   v a r i a b l e s se l e c t e d   a t   e a c h   sp l i t   B o r u t a   p V a l u e   = 0 . 0 1   max R u n s = 5 0 0   C o n f i d e n c e   L e v e l   M a x i m a l   n u m b e r   o f   i mp o r t a n c e   so u r c e   r u n s.       5.   E XP E R I M E NT A L   DE SI G N   T h is   s ec tio n   p r ese n ts   t h e x p er i m en tal  d esi g n   o f   th is   s t u d y   in c lu d i n g ( 1 )   th ac cu r ac y   m ea s u r e s   u s ed   to   ev al u ate  th p r o p o s ed   SVR   m o d el s ,   ( 2 )   th d escr ip tio n   o f   th d ataset s   u s ed ,   an d   ( 3 )   th ex p er i m en tal   p r o ce s s   f o llo w ed   to   co n s tr u ct  an d   co m p ar th d if f er en SV R   m o d els.     5 . 1 .     Acc ura cy   m ea s ure s   W e m p lo y   t h f o llo w in g   cr iter ia  to   ass e s s   a n d   co m p ar e   th ac c u r ac y   o f   t h e f f o r esti m atio n   m o d el s .   A   co m m o n   cr iter io n   f o r   th ev alu at io n   o f   ef f o r esti m atio n   m o d el s   is   m a g n itu d o f   r elativ er r o r   ( MRE) ,   w h ich   i s   d ef i n ed   as         = | (       ) |   ( 8 )     T h MRE  v al u es   ar ca lcu lat ed   f o r   ea ch   p r o j ec in   th d at aset,  w h ile  m ea n   m a g n it u d o f   r elati v e   er r o r   ( MM R E )   c o m p u tes t h a v er ag o v er   p r o j ec ts   as f o llo w s :      = 1  = 1   ( 9 )     Gen er all y ,   t h e   ac ce p tab le  tar g et  v al u f o r   MM R E   is   2 5 %.  T h is   in d icate s   th a o n   th a v er ag e,   th e   ac cu r ac y   o f   t h e s tab lis h ed   es ti m atio n   m o d els  w o u ld   b les s   th a n   2 5 %.  A n o t h er   w id el y   u s ed   cr iter io n   is   t h P r ed ( l )   w h ic h   r ep r esen t s   t h p er ce n tag o f   M R E   t h at  is   le s s   th a n   o r   eq u al  to   th v al u a m o n g   all  p r o j ec ts .   T h is   m ea s u r is   o f ten   u s ed   in   th liter at u r an d   is   t h p r o p o r tio n   o f   t h p r o j ec ts   f o r   g iv en   lev el  o f   ac c u r ac y .   T h d ef in itio n   o f   P r ed ( l)   is   g iv en   as  f o llo w s :        ( ) =     ( 1 0 )     W h er is   th to tal  n u m b er   o f   o b s er v atio n s   a n d   k   is   t h n u m b er   o f   o b s er v atio n s   w h o s MRE  is   le s s   o r   eq u al  to   l.  A   co m m o n   v al u e   f o r   is   0 . 2 5 ,   w h ic h   is   also   u s e d   in   th p r esen s tu d y .   T h P r e d ( 0 . 2 5 )   r ep r esen ts   th p er ce n ta g o f   p r o j ec ts   w h o s MRE  i s   les s   o r   eq u al  to   2 5 %.  T h P r ed ( 0 . 2 5 )   v alu id en tifie s   t h ef f o r t   esti m ates  t h at  ar g en er all y   ac cu r ate  w h er ea s   th MM R E   is   f air l y   co n s er v ati v with   b ias  ag ai n s t   o v er esti m ates  [ 4 5 - 4 6 ] .   Fo r   th is   r ea s o n ,   Md MRE  h as  b ee n   also   u s ed   as  a n o th er   cr iter i o n   s i n ce   it  is   le s s   s en s iti v to   o u tlier s   ( 1 0 ) .      =   (  )   ( 1 1 )     5 . 2 .     Da t a s et s   Fo r   th is   s tu d y ,   e ig h d ataset s ,   co llected   f r o m   d if f er en o r g an izatio n s   a n d   co u n tr ies,  w er s elec ted   to   ev alu a te  th p er f o r m a n ce   o f   SVR   an d   SV R - R tec h n iq u es.  A   to tal  o f   1 1 1 9   p r o j ec ts   w er u s ed   f r o m     th r ee   s o u r ce s :     9 1 5   p r o j ec ts   ca m e   f r o m   s ix   d atasets   o f   P R O MI SE  d ata  r ep o s ito r y   w h ic h   i s   p u b licl y   a v ailab le  o n li n e   d ata  r ep o s ito r y   ( Me n zie s   et  al .   2 0 1 2 )   n a m el y A lb r ec h t,  C O C OM O8 1 ,   C h in a,   De s h ar n ais,   Ke m er er   an d   Mi y az a k i d atasets .       1 5 1   p r o j ec ts   s elec ted   f r o m   I SB SG  R 8   r ep o s ito r y .   I n   f ac t ,   th is   r ep o s ito r y   co n ta in s   m o r th an   2 0 0 0   s o f t w ar p r o j ec ts   d escr ib e d   b y   m o r th a n   5 0   n u m er ical  an d   ca teg o r ical  attr ib u tes.  T h s el ec ted   p r o j ec ts   ar th r es u lt s   o f   a   d ata  p r e - p r o ce s s in g   s tu d y   co n d u c ted   b y   [ 4 7 ] ,   th o b j ec tiv o f   w h ich   w a s   to   s elec d ata  ( p r o j ec ts   an d   attr ib u te s ) ,   in   o r d er   to   r etain   p r o j ec ts   w i th   h i g h   q u alit y .   T h f ir s t   s tep   o f   t h i s   s t u d y   w a s   to   s elec t   o n l y   t h e   n e w   d ev elo p m e n p r o j ec ts   w it h   h i g h   q u a lit y   d ata  a n d   u s i n g   I FP UG  co u n ti n g   ap p r o ac h .   T h s ec o n d   s tep   w a s   co n ce r n ed   b y   s elec ti n g   a n   o p ti m al  s u b s et  o f   n u m er ical  attr ib u tes  t h at  ar r elev an t to   e f f o r t e s t i m at io n   a n d   m o s t a p p r o p r iate  to   u s as e f f o r t d r iv er s   i n   e m p ir ic a l st u d ies.      5 3   W eb   p r o j ec ts   f r o m   T u k u t u k u   d atase [ 4 8 ] .   E ac h   W eb   ap p licatio n   is   d escr ib ed   u s i n g   9   n u m er ical  attr ib u tes  s u ch   as th n u m b er   o f   h t m o r   s h t m f ile s   u s ed ,   th n u m b er   o f   m ed ia  f il es  an d   tea m   ex p er ien ce .   Ho w e v er ,   ea ch   p r o j ec v o lu n teer ed   to   t h e   T u k u t u k u   d atab ase  w a s   i n itial l y   ch ar ac ter ized   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8938   IJ - A I   Vo l.  8 ,   No .   4 ,   Dec em b er   201 9   3 9 9     410   406   u s i n g   m o r th a n   9   s o f t w ar attr ib u tes,  b u s o m o f   t h e m   w er g r o u p ed   to g et h er .   Fo r   ex a m p le,   w g r o u p ed   to g et h er   th f o llo w i n g   th r ee   at tr ib u tes:   n u m b er   o f   n e w   W eb   p ag es  d e v elo p ed   b y   th e   tea m ,   n u m b er   o f   W eb   p ag e s   p r o v id ed   b y   th c u s to m er   a n d   th e   n u m b er   o f   W eb   p ag es  d ev e lo p ed   b y   a   th ir d   p ar ty   ( o u ts o u r ce d )   in   o n attr ib u te  r ef lecti n g   th to tal  n u m b er   o f   W eb   p ag es  in   th ap p licatio n   ( W eb p ag es).   T ab le  3   s u m m ar izes   d escr ip ti v s tatis tics   o f   th e   s elec ted   d atasets ,   in cl u d i n g   s ize   o f   d ataset,   e f f o r t   u n i t,  n u m b er   o f   at tr ib u tes,  m e d ian ,   m ea n ,   m i n i m u m ,   m a x i m u m ,   s k e w n e s s   a n d   k u r to s is   o f   ef f o r t.  No n o f   t h s elec ted   d atasets   h ad   n o r m al l y   d is tr ib u ted   ef f o r as  s k e w n e s s   v al u es  r an g ed   f r o m   2 . 0 4   to   6 . 2 6 .   T h is   p r esen ts   ch allen g f o r   r esear ch er s   att e m p tin g   to   b u ild   ac cu r ate  S D E E   tech n iq u es [ 1 6 ,   4 9 ] .       T ab le  3 .   Descr ip tiv s tatis tic s   o f   th ei g h t d atasets   D a t a se t   #   o f   so f t w a r   p r o j e c t   U n i t   #   o f   f e a t u r e s   D i st r i b u t i o n   o f   Ef f o r t   Mi n   Ma x   Me a n   Me d i a n   S k e w n e ss   K u r t o s i s   I S B S G   ( R 8 )   1 5 1   M a n / h o u r s   6   24   6 0   2 7 0   5   0 3 9   2   4 4 9   4 . 1 7   2 1 . 1 0   C O C O M O   2 5 2   M a n / mo n t h s   13   6   1 1   4 0 0   6 8 3 . 4   98   4 . 3 9   2 0 . 5 0   T U K U T U K U   53   M a n / mo n t h s   9   6   5   0 0 0   4 1 4 . 8 5   1 0 5   4 . 2 1   2 0 . 1 7   D ESH A R N A I S   77   M a n / h o u r s   8   5 4 6   2 3   9 4 0   4   8 3 4   3   5 4 2   2 . 0 4   5 . 3 0   A L B R EC H T   24   M a n / mo n t h s   7   0 . 5   1 0 5 . 2 0   2 1 . 8 8   1 1 . 4 5   2 . 3 0   4 . 6 7   K EM ER ER   15   M a n / mo n t h s   6   23   1 1 0 7   2 1 9 . 2 4   1 3 0   3 . 0 7   1 0 . 6   M I Y A ZA K I   48   M a n / mo n t h s   8   5 . 6   1 5 8 6   8 7 . 4 7   38   6 . 2 6   4 1 . 3   C H I N A   4 9 9   M a n / h o u r s   15   26   5 4   6 2 0   3   9 2 1 . 0 4   1   8 2 9   3 . 9 2   1 9 . 3       5 . 3 .     Va lid a t i o m et ho d   3 0 h o ld o u v alid atio n   m et h o d   w a s   u s ed   to   ev al u at th g en er aliza t io n   ab ilit y   o f   th e s ti m atio n   m o d el s .   So ,   th e   d atasets   w er s p lit  r an d o m l y   i n to   t w o   n o n - o v er lap p in g   s ets:   tr ain i n g   s et  co n tain i n g   7 0 o f   d ata  an d   test in g   s et  co m p o s ed   f r o m   3 0 o f   th r em a in i n g   d ata.   T h p u r p o s o f   h o ld o u e v alu a tio n   is   to   test   a   m o d el  o n   d if f er en d ata  to   t h at  f r o m   w h ich   i is   lear n ed .   T h is   p r o v id es  less   b iased   e s ti m ate  o f   lear n in g   p er f o r m a n ce   t h an   al l - i n   e v alu a tio n   m et h o d .       6.   E M P I RICAL   R E SU L T S   T h is   s ec tio n   r ep o r ts   a n d   d is c u s s es   t h r es u lt s   o f   e m p ir ical  e x p er i m e n ts   p er f o r m ed   u s in g   S VR   m o d els   d esig n ed   in   Sectio n   I an d   f o l lo w i n g   th b u ild in g   p r o ce s s   ill u s tr ated   i n   Fi g u r 1 .   T o   ca r r y   o u t th e s e m p ir ical   ex p er i m e n ts ,   d if f er en R   p ac k ag es  w er u s ed   to   d ev elo p   an   R   p r o to ty p e m p lo y e d   to   co n s tr u ct  th p r o p o s ed   m o d el s .   I n   t h is   w a y ,   e1 0 7 1   p ac k ag w as   u s ed   to   b u ild   t h S VR   m o d els   a n d   r an d o m Fo r est,  an d   B o r u t a   p ac k ag es  w er u s ed   f o r   f ea t u r s elec tio n   m et h o d s .     6 . 1 .     F e a t ure  s elec t io n r esu lt s   T h is   s u b s ec t io n   p r esen ts   t h e   r esu lt s   o f   t h p r ep r o ce s s in g   s tep .   T ab le  p r o v id es  th f o u r   leas t   i m p o r tan f ea tu r es  g e n er ated   b y   r an d o m   f o r est,  an d   th n u m b er   o f   s e lecte d   f ea t u r es  an d   r em o v ed   o n es  b y   B o r u ta  m e th o d   in   ea c h   d ataset .   I ca n   b s ee n   f r o m   t h d a ta  in   T ab le  4   th at  th f ea tu r es  r ej ec ted   b y   B o r u ta  ar g en er all y   a m o n g   t h f o u r   lea s i m p o r ta n f ea t u r id en ti f ied   b y   r an d o m   f o r est,  w h ic h   i s   n o s u r p r is in g   s i n ce   B o r u ta  alg o r ith m   is   b ased   o n   R v ar iab le  i m p o r tan ce .   Ho w ev er ,   B o r u ta  m eth o d   d id   n o al w a y s   r e m o v t h e   f ir s leas i m p o r tan f ea tu r e.   As  ex a m p le,   f o r   A lb r ec h d at aset,  it  r em o v ed   th s ec o n d   o n ( in p u t)   w h ile  th e   f ir s t   least   i m p o r ta n f ea t u r is   FP A d j.   C o n ce r n i n g   t h n u m b er   o f   t h s elec ted   f ea t u r es,  B o r u ta  m eth o d   s elec ted   al m o s at  least  5 0 %   o f   f ea t u r es  a v ailab le  in   ea c h   d ataset.   T h o n ly   e x ce p tio n   w a s   th ca s o f   T u k u t u k u   d ata s et  f o r   w h ic h   o u o f   n i n f ea t u r es,  B o r u ta  s el ec ted   o n l y   t w o   f ea t u r es.  T h s in g le  m o s s tr ik i n g   r esu lt   to   e m er g f r o m   t h d at is   t h at   all  f ea t u r es  o f   C O C OM d ataset   w er d ee m e d   r elev an a n d   n o n o f   th e m   w as r ej ec ted .                       Evaluation Warning : The document was created with Spire.PDF for Python.
IJ - AI     I SS N:  2252 - 8938       I mp r o vin g   s o ftw a r d ev elo p m en t e ffo r t e s tima tio n   u s in g   s u p p o r t v ec to r   r eg r ess io n   a n d ... ( A b d ela li Za kra n i )   407   T ab le  4 .   Nu m b er   o f   s elec ted   f ea tu r es a n d   r e m o v ed   o n es i n   e ac h   d ataset   D a t a se t s   #   o f   F e a t .   F o u r   l e a st   i m p o r t a n t   f e a t u r e   R F   ( 1 , 2 , 3 , 4 )   B o r u t a   #   o f   se l e c t e d   F e a t u r e s   R e mo v e d   f e a t u r e   I S B S G   ( R 8 )   6   B u s i n e ss,   L o c a t i o n s,  F a c t o r ,   C o n c u r r e n t   3   F a c t o r s,  B u si n e ss,  L o c a t i o n s   C O C O M O   13   V EX P ,   V I R T maj e u r ,   L EX P ,   V I R T mi n e u r   13   -   T U K U T U K U   9   A u d i o ,   T e a me x p ,   t o t _ n h i g h ,   A N I M   2   d e v Te a m,  t e a mEx p ,   t e x t P ,   i mag ,   a n i m,   a u d i o ,   t o t _ n h i g h   D ESH A R N A IS   8   T e a mEx p ,   M a n a g e r Ex p ,   L a n g u a g e ,   E n v e r g u r e   6   T e a mEx p ,   M a n g e r Ex   A L B R EC H T   7   F P A d j ,   I n p u t ,   I n q u i r y ,   F i l e   6   I n p u t   K EM ER ER   6   L a n g u a g e ,   H a r d w a r e ,   D u r a t i o n ,   R A W F P   3   L a n g u a g e ,   H a r d w a r e ,   D u r a t i o n ,   M I Y A ZA K I   7   EF O R M ,   ES C R N ,   F I L E,   S C R N   6   EF O R M   C H I N A   15   D e v . Ty p e ,   D e l e t e d ,   C h a n g e d ,   R e so u r c e   13   D e l e t e d ,   D e v . Ty p e       6 . 2 .   E v a lua t io o f   SVR  w it F SS   T h s ec o n d   s tep   o f   th m o d el  b u ild in g   p r o ce s s   u s es  t h o r ig in al  a n d   th r ed u ce d   d atasets   to   d eter m in t h b est  s etu p   o f   t h p r o p o s ed   SVR   m o d els.  T h b est  co n f ig u r atio n   i s   d eter m i n ed ,   as  ex p lain ed   ea r lier ,   b y   s ea r c h   g r id   to   m i n i m ize  t h m ea n   s q u ar er r o r   ( MSE ) .   On ce   th f i v S VR   m o d els  w er tr ai n ed   u s i n g   tr ain i n g   s e ts   ( 7 0 o f   d ata) ,   w ev al u ated   th g e n er a lizatio n   ca p ab ilit y   o f   t h f i v e   co n f i g u r atio n s   o f   SVR   m o d els  u s in g   test i n g   s e ts   ( 3 0 %)  o v er   t h ei g h d ata s ets.  T h e v al u atio n   w as  b as ed   o n   th e   MM R E ,   Md MR E ,   an d   P r ed ( 0 . 2 5 )   cr it er ia.   T h co m p lete  e m p ir ical  r esu lt s   o b tain ed   ar e   s h o w n   i n   T ab les  5 - 8 .   Fro m   d ata  in   T ab le  5 ,   w n o tice   th a t   n o   SV R   co n f i g u r atio n   g av e   t h b est  P r ed ( 0 . 2 5 )   v alu i n   all   d atasets .   Ho w e v er ,   SVR - B FE_ 1   ( r e m o v i n g   o n l y   th lea s i m p o r tan t   f ea tu r e)   g en er ated   th e   b est  P r ed   in   6   o u o f   8   d ataset s   a n d   SVR - B FE_ 4   o n l y   ca m s ec o n d   b y   g i v in g   b est  v a lu o f   P r ed   in   5   d atasets .   T h SVR   w i th o u F an d   SV R   w it h   B o r u ta  m eth o d   p r o d u ce d   b est  v al u o f   P r ed   o n l y   in   o n d ataset Ke m er er   a n d   C h i n r esp ec tiv el y .   T h e   b est v al u o f   P r ed ( 0 . 2 5 )   w as o b tain ed   b y   SVR - B FE_ 4   in   C h i n d ataset  ( 8 3 . 3 3 ) .   T h r esu lt s   r ep o r ted   in   T ab le  6   an d   T ab le  7   r elate d   to   MM R E   a n d   Md MRE   m ea s u r e s   c o n f ir m   t h e   f ac t h at  n o   SV R   co n f i g u r atio n   p er f o r m ed   b etter   t h an   th o th er   i n   all  s itu a tio n .   Ne v e r th e less ,   w ca n   ea s il y   o b s er v th at  t h b est  v alu e s   o f   MM R E   an d   Md MRE  ar o b tain ed   w it h   s a m d ataset s   as  t h o s o f   P r ed .   So ,   th lo w es er r o r s   w er o b tain ed   with   C h in a   d ataset  a n d   h ig h es er r o r s   w er g e n er ated   w it h   I S B SG  d ataset.   W h at   is   i n ter est in g   ab o u t h d ata   i n   t h ese   tab les   is   t h at  t h e   v al u e s   o f   Md MRE   ar f ar   lo w er   t h an   t h o s e   o f   MM R E   esp ec iall y   in   C OC OM O,   I SB SG,  T u k u tu k u   a n d   Ke m er er   d atasets .   T h ese   latter   f i n d in g s   a g r ee   w it h   t h v al u e s   o f   s k e w n e s s   a n d   k u r to s is   o f   t h ese  d atasets   t h at  ex h ib it  h ig h   l ev el   o f   as y m m etr y   a n d   o f   n o n n o r m alit y .       T ab le  5 .   T h r esu lts   o b tain ed   i n   ter m s   o f   p r ed ( 0 . 2 5 )   o v er   th eig h t d atasets   T e c h n i q u e s   F S S   me t h o d / #   r e mo v e d   f e a t u r e s   C O C O M O   I S B S G   T U K U T U K U   A B R EC H T   D ESH A R N A I S   K EM ER ER   M I Y A ZA K I   C H I N A   S V R   0   3 0 , 2 6 3   2 6 , 6 6 7   3 1 , 2 5   2 8 , 5 7 1   2 1 , 7 3 9   20   3 5 , 7 1 4   1 5 , 3 3 3   S V R - B F E   1   3 6 , 8 4 2   3 1 , 1 1 1   3 7 , 5   4 2 , 8 5 7   3 0 , 4 3 5   20   4 2 , 8 5 7   8 1 , 3 3 3   2   3 2 , 8 9 5   2 4 , 4 4 4   3 7 , 5   4 2 , 8 5 7   3 4 , 7 8 3   20   2 1 , 4 2 9   8 1 , 3 3 3   3   3 1 , 5 7 9   2 4 , 4 4 4   3 7 , 5   4 2 , 8 5 7   3 4 , 7 8 3   0   2 1 , 4 2 9   80   4   3 6 , 8 4 2   3 1 , 1 1 1   1 2 , 5   4 2 , 8 5 7   3 9 , 1 3   0   2 8 , 5 7 1   8 3 , 3 3 3   S V R   -   B o r u t a   3 4 , 2 1 1   2 4 , 4 4 4   25   2 8 , 5 7 1   3 4 , 7 8 3   0   4 2 , 8 5 7   7 5 , 3 3 3       T ab le  6 .   T h r esu lts   o b tain ed   i n   ter m s   o f   MM R E   o v er   th ei g h t d ata s ets   T e c h n i q u e s   F S S   me t h o d / #   r e mo v e d   f e a t u r e   C O C O M O   I S B S G   T U K U T U K U   A B R EC H T   D ESH A R N A I S   K EM ER ER   M I Y A ZA K I   C H I N A   S V R   0   1 , 3 6 7   1 , 7 0 3   1 , 0 6 5   0 , 5 8 3   0 , 4 6 4   1 , 3 7   0 , 5 5 6   1 , 3 3 7   S V R - B F E   1   1 , 3 7 5   1 , 4 7 8   0 , 8 5 6   0 , 5 8 3   0 , 4 6 7   1 , 2 3 5   0 , 5 5 3   0 , 1 8 7   2   1 , 2 6 2   1 , 1 8 7   0 , 8   0 , 5 4 8   0 , 4 5 6   1 , 3 3 4   1 , 5 0 3   0 , 1 9 1   3   1 , 3 0 4   1 , 4 0 7   0 , 8 1 4   0 , 6 6 8   0 , 5 2 1   1 , 6 2 7   1 , 3 9 4   0 , 1 9 5   4   1 , 2 4 2   1 , 0 9 2   1 , 0 2 8   0 , 6 8 5   0 , 4 6 2   1 , 5 9   1 , 3 6 7   0 , 1 7   S V R - B o r u t a   1 , 5 2 4   1 , 5 5 9   0 , 5 0 7   0 , 5 6 6   0 , 4 5 7   1 , 6 7 1   0 , 5 2 7   0 , 2 4 2         Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8938   IJ - A I   Vo l.  8 ,   No .   4 ,   Dec em b er   201 9   3 9 9     410   408   T ab le  7 T h r esu lts   o b tain ed   i n   ter m s   o f   Md MRE  o v er   t h e ig h t d atasets   T e c h n i q u e s   F S S   me t h o d / #   r e mo v e d   f e a t u r e   C O C O M O   I S B S G   T U K U T U K U   A B R EC H T   D ESH A R N A I S   K EM ER ER   M I Y A ZA K I   C H I N A   S V R   0   0 , 4 5 1   0 , 5 4   0 , 3 1 6   0 , 3 2 3   0 , 3 7 6   0 , 5 7 9   0 , 3 7 5   0 , 7 2 6   S V R - B F E   1   0 , 4 5 6   0 , 5 2 6   0 , 3 3 8   0 , 4 2 2   0 , 3 9 7   0 , 8 4 4   0 , 2 9 5   0 , 0 5 4   2   0 , 4 7 1   0 , 5 6 8   0 , 3 3 9   0 , 3 0 8   0 , 3 2 4   0 , 4 6 9   0 , 5 8 8   0 , 0 5 2   3   0 , 5 2 1   0 , 4 8 6   0 , 4 0 7   0 , 7 2 5   0 , 3 9 6   0 , 6 4 6   0 , 5 2 6   0 , 0 5 5   4   0 , 5 0 8   0 , 4 2 9   0 , 4 7   0 , 7 0 9   0 , 3 6 1   0 , 6 3 6   0 , 5 7 1   0 , 0 4 7   S V R - B o r u t a   0 , 4 1   0 , 4 3 3   0 , 5 1 6   0 , 3 4 3   0 , 3 3 2   0 , 6 6 8   0 , 3 1 1   0 , 0 8 8       T ab le  8 .   T h R esu lt s   o b tain ed   in   ter m s   o f   p r ed ( 0 . 2 5 ) ,   Md MR E   an d   Md MRE  o v er   th eig h d atasets   T e c h n i q u e s   F S S   me t h o d   /   #   r e mo v e d   f e a t u r e   P r e d ( 0 . 2 5 )   M M R E   M d M R E   S V R   0   2 6 , 1 9 2   1 , 0 5 6   0 , 4 6 1   S V R - B F E   1   4 0 , 3 6 7   0 , 8 4 2   0 , 4 1 7   2   3 6 , 9 0 5   0 , 9 1 0   0 , 3 9 0   3   3 4 , 0 7 4   0 , 9 9 1   0 , 4 7 0   4   3 4 , 2 9 3   0 , 9 5 5   0 , 4 6 6   S V R - B o r u t a   3 3 , 1 5 0   0 , 8 8 2   0 , 3 8 8       T o   s u m   u p ,   th f i n d i n g s   o f   th is   s t u d y   s u g g est   t h at  t h u s o f   f ea t u r s elec tio n   m et h o d   in   th e   p r ep r o ce s s in g   p h ase  o f   t h SV R   m o d el  b u ild in g   ca n   co n tr ib u te  s ig n i f ican tl y   to   i m p r o v t h e   ac cu r ac y   o f   ef f o r esti m ates.  I n   ad d itio n ,   th e   b ac k w ar d   f ea t u r s elec tio n   ca n   g e n er ate  b etter   ef f o r esti m ates  t h a n     B o r u ta  m e th o d .       7.   CO NCLU SI O AND  F U T U RE   WO RK   T h is   e m p ir ical  s tu d y   as s es s e d   th i m p ac o f   f ea t u r s elec tio n   m eth o d s   o n   t h ac cu r ac y   o f   SV R   m o d el s   i n   S DE E .   Fo r   th i s   p u r p o s e,   t w o   w r ap p er   f ea t u r s elec tio n   m et h o d s   w e r u s ed   t o   p r e - p r o ce s s   eig h t   w ell - k n o w n   d atase ts .   T h SV R   m o d els  b ased   o n   p r e - p r o ce s s ed   d atasets   w er co m p ar ed   to   th o s b u i lt  w it h o u t   f ea t u r s elec tio n .   T h SVR   m o d el s   w er o p ti m ized   u s i n g   g r id   s ea r ch   p r o ce d u r e.   T h e   p er f o r m a n ce   o f   th e   p r o p o s ed   m o d els  w as   a s s e s s e d   u s i n g   th r ee   ac c u r ac y   m ea s u r es  th r o u g h   3 0 %h o ld o u v alid atio n   m eth o d .   T h e   r esu lt s   o b tain ed   s h o w ed   t h at  t h SV R   m o d els  w it h   f ea t u r s elec tio n   g e n er ated   b etter   esti m atio n   th a n   t h SV R   co n s tr u cted   w it h o u f ea tu r s e lectio n   m et h o d s .   I n   ad d itio n ,   u s i n g   th p r o p o s ed   b ac k w ar d   f ea t u r eli m i n atio n   b ased   o n   R f ea t u r i m p o r tan ce   ca n   lead s   to   b etter   ac cu r ac y   th a n   B o r u ta  m et h o d .   Ho w e v er ,   th i s   s t u d y   h as   o n l y   ex a m i n ed   t h S VR   m o d els  b ased   o n   o n t y p o f   f ea tu r s elec tio n   m et h o d .   T h er ef o r e,   it  w o u ld   b in ter esti n g   to   ass e s s   t h i m p ac t o f   o th er s   f ea tu r s elec tio n   m eth o d s   o n   th ac c u r ac y   o f   SV R   m o d els i n   SDEE .       RE F E R E NC E S   [1 ]   B.   W .   Bo e h m ,   S o f tw a r e   En g in e e rin g   Eco n o m ics .   P re n ti c e   Ha ll   P T R,   1 9 8 1 ,   p .   7 6 8 .   [2 ]   R.   d .   A .   A ra ú jo ,   A .   L .   I.   Oliv e ir a ,   a n d   S .   R.   d .   L .   M e ira,  " A   c l a ss   o f   h y b rid   m u lt il a y e p e rc e p tro n f o so f t w a re   d e v e lo p m e n e ff o rt  e sti m a ti o n   p ro b lem s, "   Ex p e rt  S y st.  A p p l. ,   v o l.   9 0 ,   p p .   1 - 1 2 ,   2 0 1 7 .   [3 ]   A .   Za k ra n a n d   A .   Id ri,   " A p p l y in g   ra d ial  b a sis   f u n c ti o n   n e u ra n e t w o rk s   b a se d   o n   f u z z y   c lu ste rin g   to   e stim a te   we b   a p p li c a ti o n s e f f o rt" ,   In tern a ti o n a Re v ie w   o n   Co m p u ters   a n d   S o f twa re ,   A rti c le  v o l.   5 ,   n o .   5 ,   p p .   5 1 6 - 5 2 4 ,   2 0 1 0 .   [4 ]   A .   Zak r a n i,   A .   Na m ir,   a n d   M .   Ha in ,   " In v e stig a ti n g   th e   u se   o f   r a n d o m   f o re st  in   so f t w a re   c o st  e stim a ti o n " ,   T h e   S e c o n d   I n tern a ti o n a C o n f e re n c e   o n   I n telli g e n C o m p u ti n g   i n   Da ta S c ien c e s,  F è s,  3 - 5   o c t o b e r,   2 0 1 8 .     [5 ]   S .   M .   S a tap a th y ,   B.   P .   A c h a r y a ,   a n d   S .   K.   Ra th ,   " Early   sta g e   so f t w a re   e ff o rt  e sti m a ti o n   u si n g   ra n d o m   f o re st  tec h n iq u e   b a se d   o n   u se   c a se   p o i n t s" ,   IET   S o f t w a re ,   A rti c le v o l.   1 0 ,   n o .   1 ,   p p .   1 0 - 1 7 ,   2 0 1 6 .   [6 ]   A .   Id ri  a n d   I.   A b n a n e ,   " F u z z y   An a lo g y   Ba s e d   Eff o rt  Esti m a ti o n A n   E m p iri c a Co m p a ra ti v e   S tu d y , "   in   1 7 th   I EE E   In tern a ti o n a Co n f e re n c e   o n   Co m p u ter  a n d   In f o rm a ti o n   T e c h n o l o g y ,   CIT  2 0 1 7 ,   2 0 1 7 ,   p p .   1 1 4 - 1 2 1 In st it u te  o f   El e c tri c a a n d   El e c tro n ics   En g i n e e rs In c .   [7 ]   A .   L .   I.   Oliv e ira,  " Esti m a ti o n   o f   so f t w a re   p ro jec e ff o rt  w it h   su p p o rt  v e c to re g re ss io n " ,   Ne u ro c o m p u ti n g ,   A rti c le  v o l.   6 9 ,   n o .   1 3 - 1 5 ,   p p .   1 7 4 9 - 1 7 5 3 ,   2 0 0 6 .   [8 ]   Q.  L iu ,   J.  X iao ,   a n d   H.  Z h u ,   " F e a tu re   se lec ti o n   f o so f tw a re   e ff o r e stim a ti o n   w it h   lo c a li z e d   n e ig h b o r h o o d   m u tu a l   in f o rm a ti o n " ,   Clu ste Co m p u ti n g ,   A rti c le i n   P re ss   p p .   1 - 9 ,   2 0 1 8 .   [9 ]   Z.   Ch e n ,   T .   M e n z ies ,   D.  P o rt,   a n d   B.   Bo e h m ,   " F e a tu re   su b se se lec ti o n   c a n   im p ro v e   so f tw a r e   c o st  e stim a ti o n   a c c u ra c y , "   in   2 0 0 5   W o rk sh o p   o n   P re d icto M o d e ls  in   S o f tw a r e   En g in e e rin g ,   P ROMIS 2 0 0 5 ,   2 0 0 5 A ss o c iatio n   f o Co m p u ti n g   M a c h in e ry ,   In c .   [1 0 ]   M .   A z z e h ,   D.  Ne a g u ,   a n d   P .   Co w li n g ,   " I m p ro v in g   a n a lo g y   so f t wa re   e ff o rt  e sti m a ti o n   u sin g   f u z z y   fe a tu re   su b se t   se lec ti o n   a lg o rit h m , "   in   3 0 th   In t e rn a ti o n a Co n f e re n c e   o n   S o f t wa re   En g in e e rin g ,   ICS 2 0 0 8   -   4 th   In tern a ti o n a l   W o rk sh o p   o n   P re d icto M o d e ls i n   S o f tw a r e   En g in e e rin g ,   P ROMIS 2 0 0 8 ,   L e ip z ig ,   2 0 0 8 ,   p p .   7 1 - 7 8 .   Evaluation Warning : The document was created with Spire.PDF for Python.