Int ern at i onal  Journ al of Ele ctrical  an d  Co mput er  En gin eeri ng   (IJ E C E)   Vo l.   8 , No .   6 ,  Decem ber   201 8,   pp.  5253 ~ 5259   IS S N: 20 88 - 8708 ,  DOI: 10 .11 591/ ijece . v8 i 6 . pp 5253 - 52 59          5253       Journ al h om e page :  http: // ia es core .c om/ journa ls /i ndex. ph p/IJECE   Using D ata Mini ng to  Ide ntify CO SMIC F un ctio n  Point  Measur em ent Co mp ete nc e        Selami B agri yanik 1 ,  Ad e m  Ka r ahoca 2   1   Digit al Learn in g  Soluti ons  Te ch nolog y   Depa r tment, T urk ce l l Te chnol og y ,  Turk e y   2   Depa rtment of  Software   Eng ineeri ng,   Bah ce sehi r  Univer sit y ,   Tur ke y       Art ic le  In f o     ABSTR A CT    Art ic le  history:   Re cei ved   Feb  27 , 201 8   Re vised  Jun  18   201 8   Accepte d  J ul  29 , 2 01 8       Cosm ic   Functi on  Point  (CFP )  me asure m ent   err or s le ads  budget ,   s che dul e  an d   qual ity   proble m s  in  software   pr oje c ts.  Th ere for e,   i t’s  important  to  ide n t i f y   and  pl an  r equi re m ent s  engi ne ers’  CF P  tra ini ng   nee d  qu ic kl y   an d  cor re c t l y .   The   purpose  of  thi s  pape r  is  to   ide nti f y   softw are   req uir ement s  engi nee rs’   COS MIC   Functi on  Point  m ea s ure m ent   compet enc e  dev el opm e nt  nee d  b y   using  m ac hine   le arn ing  al gor ithm s  and  req uire m ent s  art if acts  cre a te d   b y   engi ne ers.   Us ed  art ifacts  have  bee n  provide d   b y   a  la rg e  service  an d   te chno lo g y   compan y   ec os y stem   in  Telco .   First,  f ea tur e  set  h as  be en  ext r acte d   from   the   req u ir ements  m odel   at   h and.   To  do   the  data  pr ep ara t ion  for   educ a ti ona l  dat a   m ini ng,   req uirem ent s  and  CO S MIC  Functi on  P oint   (CFP )  audi t  do cument s  have   b ee n  c onver te d   int o   CF P  dat a   set   b ase d  on  th e  designe d  fe at ure   set.   Thi s  da ta   se t  has  bee n  used  t o  tra in  and  te st  t he  m ac hi n e   le arn ing  m odel s   b y   design ing  t wo  diffe ren t  ex per iment  se tt ing s   to  re ac h   stat isti ca l l y   signifi c ant   result s.  Te n  diffe r ent   m ac hin e  le a rning   al gorit hm s   have   be en   used.   Final l y ,   al gori th m   per form anc es  have   be en  compare d  with  a   base li n e  and  eac h  othe r  to  find  th e  best  per form in g  m odel s on  thi s   dat a  set .   In  conc lusion ,   RE PTree ,   OneR ,   a nd  Support  Vec tor  Mac hine s  ( SV M)  with   Sequent i al   Mi nimal  Optimiz at ion  (SM O)  al gorit hm s  a chi ev ed  top  per form anc e   in   f ore ca st ing  r equi r ements  engi n ee r s’ CFP   tra ini ng   nee d.   Ke yw or d:   COSMIC  funti on point   Ed ucati on al   da ta   m ining   Ma chine  le a rn i ng alg or it hm s   Re qu irem ents  analy st   Re qu irem ents  arti facts   Copyright   ©   201 8   Instit ut e  o f  Ad vanc ed   Engi n ee r ing  and  S cienc e .    Al l   rights re serv ed .   Corres pond in g  Aut h or :   Ad em  K ara hoc a ,    Dep a rtm ent o f Sof t war e  E ng i neer i ng,   Ba hceseh i r Uni ver sit y,   Faculty  of E ngineerin g, Be sik ta s,  Ista nbul, 3 4349, T urkey.   Em a il :  ade m .k arahoca@ en g.bau.ed u. t r;  aka rahoca@ gm ai l. com       1.   INTROD U CTION     Re qu irem ents  eng i neer s  a re  on e  of   the  ke y  pr ofi le s  within  softwa re  dev el op m ent  t ea m s.  They   balances  al l  pr oj ect   sta kehold ers’   e xpect at ion s  f r om   idea  to  post  pro du ct i on  phases .  Re qu irem ens  eng ine erin g  is  no t  s olely   a  te chn ic al   di sci pline.  Addi ti on al ly ,  it   al s o  has  a n  inte r - discipli nar y  natu re  that  co ncerns   Cognit ive  Psyc ho l og y,   A nthro po l og y,   S ociol og y,   Lin gu ist ic s  an d  P hilos ophy  asp ect s of  t he  s ubj ect  [ 1 ] . Thus,  they   hav e  a  dram atical   i m p act   on   the  su c cess  of   the  softw are  product s  and   their  co ntinuo us   com petence   dev el op m ent  is crit ic al .   Functi on al   siz e  m easur em ent  (F SM)  is  a n  i m po rtant  ta s k  that  is  us ed   for  sc op i ng,  budget ing,   m anag in g  outsourci ng  c ontra ct s,  ef fort  est i m at ion ,  et c.   T his  ta s k  is  ge ner al ly   un der  the  re spo ns ibil it y  of  syst e m   analy st s  or   re quirem e nts  en gin ee rs  ( REs).  CFP  is  on e  of   t he  rec ent  FSM  m et h od s .  F un ct io n  Po int   var ia nts  are  m ai nly  us ed  in  s of t war e  co st  est i m ation   [ 2 ]   and   pro du ct ivit y  of   the  de velop m ent  organ i sat ion s   [ 3 ] .  Functi on  Po int  is  al so   a  good   i nd ic a tor  i n  ide ntif yi ng   bu si n ess   com plexity   of   t he  s of t wa re  [ 4 ] .  Additi on al ly   It ’s  CF P  var ia nt   is  al so   a   str ong  too l   f or  re qu i r e m ent  qual it y  and  pr ocess  im pr ovem ent  [5 ] .   CFP  m easur em ent  error s ,  m ade  by  re quirem ents  en gin eer s,  l eads  budget ,  sche du le   a nd  q ualit y  pro ble m s  in   so ft war e  proje ct s.    Evaluation Warning : The document was created with Spire.PDF for Python.
                          IS S N :   2088 - 8708   In t J  Elec  &  C om p  En g,   V ol.  8 , N o.   6 ,  Dece m ber  2 01 8:   5253   -   52 59   5254   Ther e f or e,  it ’s  cru ci al   to  fores ee  and   pla n  re qu i rem ents  eng inee rs’   CFP  trai ning  nee d  in   a  qu ic k  an d  correct   m ann er.  A  r ecent  pa per   po i nts  out   that  CFP  trai ning  nee d  s hould   be  re pr ese nted  m or e  in  higher   edu cat io n   [ 6] .   W e  t hink  trai ning  is  al s o  c r it ic al   in  the  w ork place  set ti ng  a nd  REs  s houl d  be  c on ti nual ly   dev el op e d  i n  CFP  com peten ce  w hen  nee d  arises.  T raini ng  is  t he  do m inati ng   facto r  f or   qual it y  i m pr ovem ent   of   F SM  [7 ] .  Fa ct or s  that  cau s e  inco ns ist ent  and   i naccurat e  CF P  m e asur em ents  m igh t  be  i m pr ov e d  by  trai ni ng   [8] .  I n  this  stu dy,  requirem ents  en gin ee rs  C FP  trai ning  ne ed  has  bee n  forecast ed  by  us i ng  the  arti facts   they   pro du ce d  i n  th e wor kpla ce an d  m achine lear ning alg ori thm s.     Data  m ining   or s   softwa re  a naly ti cs  stud ie s   that  use   re quirem ents  en gi neer i ng  arti fac ts  are  sca rce   [9] .  F or   e xam ple,  on e  of   t hes e  rar e  stu dies  a i m s  early   te s t  e ffor t  pr e dicti on  by  us in g  UM L  diag ram s   [ 10 ] .   On  the  oth er   hand,  softwa re  data  m ining   st ud ie s   w hich   are   ba s ed  on  s ofwa re  cod e   a nd  co de   chang e   arti fact s  are   com m on   [9 ] .   Fo r   insta nce,   cod e   sm el ls  in  the  s ource   co de  hav e   been  inv est igate d  usi ng   Ne ur al   Ne twork  Mod el s  i n  a  re cent  stu dy  [ 11] .  W e   obse rv e   that  us i ng  CFP   data  an d  data  m ining   for  E ducat ion al   pur poses  is   even  m or e  ra re   in  t he  li te ratu r e.   A s  far  as  w e  know,   this   re search   is  t he  fi rst  stu dy  in   the   li te ratur e  t hat  us es   CFP  data  and   edu cat io nal  dat a  m ining   to  i m pro ve  REs’  CF P  m easur em ent  capab il it ie s.   The  rest  of  the   pap e r  is  orga nized  a s  fo ll ow s:  i n  the  2nd  sect io n,  a  bac kgr ound  on  Data  Mi ni ng,  Ma c hin e   Lear ning  Al gorithm s,   CFP an d  stu dy  d et ai ls are p rovide d.  Result s ar e p rese nte d  in the 3 r d  sect ion  a nd  is fo ll owed by con cl usi on s in   the 4 t h  sect io n.       2.   RESEA R CH MET HO D   In  this  se ct io n,   first  of  al l,   m achine  le ar ning  a nd  CFP   m et ho ds   a re   ex plaine d   br i efly   in  t he  su bse ct ions  2.1  an d  2.2 .  Sec ond,   CF P  trai ni ng   need   pr e di ct ion   us ec ase,  featur e  set   desi gn   a nd  data  ga therin g  and   pr e pa rati on  phases  of   t he   stud y  is  pre sented  in  2.3,  2.4  an d  2.5 .  F inall y,  m od el s  trai ning  detai ls  and   evalua ti on  res ul ts are g i ven in  2 . 6.     2.1.   Data  Mining   an d  Machine   Le arnin g Alg orithm s   Data  Mi ning  is  def i ned   as  “t he   process  of   di sco ver in g  patte rn s ,  aut om atical ly   or   sem i - autom atical ly ,   in  la r ge  quantit ie s  of  data”  [ 12 ] .  Kno wled ge   disc ov e ry  f r om   data  (K D D )  is  an oth e r  c omm on   t erm   us ed   in  t he  li te ratur e  [ 13 ] . Foll owin g  al go rithm s w hich were  im ple m e nted  i n Wek a  [ 14 ]   a re  us e d  in  this stu dy:      Rando m  Fore st  (RF):   This   is  an  ensem ble  le arn in g  m et ho d  c on sis ti ng   of  a  set   of   decisi on  tr ee  cl assifi ers.  Ea c h  tree  in  t he fo rest is trig ge re d by an  in dep e nd e ntly  created  r a ndom  n um ber   vector  [ 15 ] .     Na ïv e  Bayes  (N B) :   This  m et hod  us es  B ay es’  ru le   to   do   the  cl ass ific at ion   by  com pu ti ng   cl as s  pro bab il it ie s  and  us i ng  obse r ved  at trib ute  va lues.  T he  m eth od  is  cal le d  “ naïve”  si nce  it   has  t wo   basic   assum ption s:  a tt ribu te s  are   c onditi on al ly   in dep e ndent  a nd   no  hi dd e n  fac tor  im pacts  on  the  pre dicti on   process   [ 16 ] .     RE PTree:   Thi s  is  a  fast  deci sion   tree  al gor it h m   that  gen erates  a  decisi on  tree  us in g  in form ation   gai n  m et ho d  t o  s plit   [ 17 ] . Missi ng  values  are  m an aged as i n  C4 . 5  al go rithm   [ 18 ] .     J48:   It is  a Ja va  i m ple m entat i on of a  sli gh tl y dif fer e nt  ver si on of C 4.5  [ 17 ] .     LMT :   Lo gisti c  Mod el   Trees  are  sta nd a r d  de ci sion   trees  w hich  us e  lo gist ic   reg ressi on   f un ct io ns   at   their   le aves  [ 19 ] .     Mul ti layer  Perceptro n  (ML P):   MLP  is  a   feed - f orward   arti fici al   neu ral  netw ork  w hich  use s  bac k  pro pag at io n  tr ai nin g  al gorith m .  It  is  a  sys tem  of   interc onne ct ed  node s  or   neur on s  w hich  m aps  an  in put   vecto r  int o  a n  outp ut  vector  to  m ai ntain  a  nonlin e ar  rel at ion   [ 20 ] .  T he   ne uro ns   a re   co nn ect e d  vi a  weig hts a nd ou tpu t si g nals  [ 20 ] .     Supp or t  Ve ct or  Machines   ( SVM )  and   Se qu enti al  Mi ni ma l  Op ti mi z ation  ( SMO ):   I n  li nea r  case,   an   SV M  is  a  hype rp la ne  that  set   a  boun dar y  between  so m e  posit ive  instances   an d  ne gative  i ns ta nces   [ 21 ] .  It  can  al so   be   fu rt her   exte nd e d  to  no n - l inear  cases  [ 21 ] .  Tr ai ning   an  SV M  re qu i res  quad rat ic  pro gr am m ing   (Q P )  optim iz a ti on   pro blem   so lvi ng  w hich   is  a  ver y  ti m e  and   m e m or y  c onsu m in g  op e rati on a nd  SMO is a  subst antia l im pr ove m ent o n t he  original trai ning a lgorit hm   [ 21 ] .     K - neare st  Nei ghbour  Cl as si fier  (IB k):   It  c la ssifie s  a  data   point  based  on  it s  k  m os t  si m il ar  oth er  dat a   po i nts  [ 22 ] .     ZeroR :  It  pre di ct s  the  m ajo rit y  cl ass  of   no m inal  te st  data  wh il e  it   pr e dic ts  the  aver a ge  value  if  num eri c   cl ass  is  the  cas e  [ 12 ] .  I n  t his  s tud y,  it   will   be  us e d  as  a  basel ine  f or   t he  pe rfor m ance  of  m a chine  le ar ning   al gorithm s.     On eR :   T his  m et ho d  cl assi f ie s  instances  base d  on  a   one  r ule  w hic h  is  extracte d  from   a  sing le   at tribu te   [ 23 ] .         Evaluation Warning : The document was created with Spire.PDF for Python.
In t J  Elec  &  C om p  En g     IS S N: 20 88 - 8708     Using  Da t a  Mi ning to  Ide ntif y COSMIC  Fu nc ti on  P oin t  Me as ure me nt C ompete nce  ( Sel ami B ag riy an ik )   5255   2.2.   COSMI C  F un ction  Po in t (C FP)   So ft war e   f unct ion al   siz e   m ea su rem ent  (FS M)  ha s  been  in   us e   f or  m or e  t han  f ort y  ye ars   [ 24 ] .   Th ere   are  m any  FSM  m et ho ds   [ 25 ] .  C OS MIC   Functi on   Po i nt  is  a  ne w  gen e rati on  s oft war e  f unct io na l  siz e   m easur em ent  m et ho d.  First  ver si on  of  t he  m et ho d  was   publis hed  in  19 88  [ 26 ] .   It’s   one  of   f our  ISO   certi fied   FSM  m et ho ds  w hich   are   do m inati ng   in   th e  in du st ry:   IFPU G,   C OS MI C,  NE SMA   a nd  Ma r k  II  [ 25 ] .  CF P   m easur em ent i s a thr e e - ste p  proces s: m easur e m ent strate gy,  m app ing  a nd  m easur em ent steps.  P urp os e,   sco pe,  and   le vel  of   gran ularit y  of   t he  m easur em e nt  are  dete rm i ned   i n  the  fir s t  ste p;  in  m app in g  phase,  functi on al   processes   a nd  data  gro ups  in  the   re quire m ents  are  det erm ined;  in  th e  final   sta ge,  data  m ov em ents  are   sp eci fied  a nd  counted ,  f or   al l  fu nctio nal  pr ocesses  [ 26 ] .  CFP  is  the  fun ct ion al   siz ing   m easur em ent  m et ho d  that i s u se d  i n  t he  c om pan y u nder  stu dy  [ 3,7,27 ] .     2.3.   CFP Req uire ment On to l ogy   Re qu irem ent  artefact s  that  w il l  be  us ed  in  trai ning  the  m achine  le ar ning  m od el s  are  i ns ta nces  of  requirem ent  and  CFP  onto log ie s  desig ne d  in   [ 3 ] .  C urren tl y,  this   re qu irem ent  ontolo gy  a nd  CF P   m easur em ents  are  sta nd a rd   m et ho ds   use d  by  requirem ents  eng inee rs  w it hin   the  sa m e   te le co m m un icati ons   com pan y  in  w hich  t his  stu dy  is  cond ucted.  P erio dical ly ,  a  su bse t  of  al l  requirem ents  do c um en ts  are  ra ndom ly   sel ect ed  and   e xam ined  by  internal  au dit  te a m   m anu al ly   to  identify   error s   in  CFP  m easur em ents.  Af te r   each   aud it ,  pr ob le m at ic   CFP  m eas ur em ents  are  identifie d,   rec orde d  an d  pote ntial   le arn ing   needs  are  re ported  to  requirem ents  eng i neer i ng   m a na gem ent.  By   this  data  m ining   researc h,   t he  m anu al   exam inati on   proc ess  by   aud it   te am   is  i nten ded   to  be  sem i - autom at e d  an d  le arn i ng   opport un it ie s  will   autom atic al ly   be  extracte d  from   requirem ents docu m ents.     2.4.   Feature Se t  E xt r act i on   fr om  C F P  Requ i reme nt   On to l og y   CFP  O nto l og y   co ncep ts  a re  sh ow n  in   the  seco nd   c olu m n  of   t he  Ta ble  1.   Re la te d  c on ce pts  a re   cat egorised  int o  co nce pt  cat egories  to  s pe ci fy  data  ind i cat or s  that  wil l  be  us e d  in  data  m ining   proces s.   On t ology  co nc ept  cat eg or ie s  are  s how n  in   the f irst  c olu m n  o f   Ta ble  1. As   a  res ult, f eat ur es  of  the   data  a nd  the   pr e dicte d  outc om e  (Cla ss)  of  the  cl assifi cat i on   process  is  s how n  Table  2.   In   Ta ble  2,   the   first  seve n  at tribu te s   are in put at trib utes a nd the las t on e , “CF P T r ai nin g Nee d”, i s class  or  Cl ass ific at ion   resu lt .       Table  1 .   CF P  On t ology C onc ept Cat eg or ie s   On to lo g y  Co n cept  Categ o ry   On to lo g y  Co n cept   Use case   Use case   Use case   Ap p licatio n  I n tera ctio n  Diagra m   Interaction   Interaction   Evo lu tio n  T y p e   Ad d  E v o lu tio n  T y p e   Evo lu tio n  T y p e   Mod if y  E v o lu tio n  T y p e   Evo lu tio n  T y p e   Delete  Evo lu tio n  T y p e   Ap p licatio n   Ap p licatio n  Bu siness Mod u le   Ap p licatio n   Ap p licatio n  Database Mod u le   Ap p licatio n   Ap p licatio n  Ser v ice   Ap p licatio n   Ap p licatio n  Ser v ice Bo u n d ary   Use case   Use case  Acto r   Use case   Use case  Even t   Inf o r m atio n   Inf o r m atio n  Asset   Interaction   Integ ration  E n try I n terac tio n   Interaction   Integ ration  E x it I n t erac tio n   Interaction   User I n te rf ace  Ent r y  I n te raction   Interaction   User I n te rf ace  Exit  I n terac tio n   Interaction   Databas e  W rite  I n t erac tio n   Interaction   Databas e   Read   Interaction   Sco p e   Project Sco p e   Sco p e   Ap p licatio n  Ser v ice Scop e   No t App licab le   Prod u ctiv ity  M eas u re m en t   Bu sin ess  L o g ic   Use case Bu sin ess   Log ic   Bu sin ess  L o g ic   Interaction  Bu sin ess  L o g ic       Table  2 .   CF P  On t ology I ndic at or  set a nd T he ir P os sible  Va lues   On to lo g y  Co n cept  Categ o ry   Valu e   Use case   Yes, No,  Par ti al   Interaction   Yes, No,  Par ti al   Inf o r m atio n   Yes, No,  Par ti al   Evo lu tio n  T y p e   Yes, No,  Par ti al   Bu sin ess  L o g ic   Yes, No,  Par ti al   Ap p licatio n   Yes,   No ,  Par ti al   Sco p e   Yes, No,  Par ti al   CFP Tr ain in g  Nee d   Yes, No   Evaluation Warning : The document was created with Spire.PDF for Python.
                          IS S N :   2088 - 8708   In t J  Elec  &  C om p  En g,   V ol.  8 , N o.   6 ,  Dece m ber  2 01 8:   5253   -   52 59   5256   2.5.   Data G atheri ng   and Pre parati on   First  se ven  data  at tribu te s   s hown  in   Ta ble  2  are  ob ta in ed   f r om   req ui rem ents  docum ents  by   chec king   wh et her   each  c on ce pt  cat egor y  value  is  exist ing   or  not.  If   their  value s  are   par ti al ly   existin g  the n  the  co ncep t   cat egory  value   is  recorde d  as   “Parti al ”.  The   l ast   at tribu te   is  captu red   fro m   aud it   exam i nation  res ults.  If   th e   diff e re nce  bet ween  the  act ua l  m easur em ent  done  by  re quirem ents  eng in eer  an d  c orrec t  m easur em ent   resu l t   identifie d  by  a ud it   te am   is  gr eat er  tha n  5  %   then  t his  case  is  recorde d  as   a  le arn i ng   op port un it y  by  r ec ordin g  “C FP  Traini ng  Need ”  val ue  a s  “Yes”.  10 1  da ta   po ints  ha ve   been   colle ct ed   and   res ults  ha ve  bee n  rec ord ed  in   a  com m a - delim it ed  values  (.c sv )  file .  Ne xt,   this  file   has  be en  co nverted  into  the  at trib ut e - relat ion   file   form a t   (. ar ff)  w hich  is   the  sta nd a r d  fi le   form at   us ed  by  T he  Waikat o  E nviro nm ent  f or   K nowled ge   A naly sis  ( W EKA)   data m ining  s oft war e   [ 14 ] . T he  conv e rsion t ool u sed  for .cs v t o  .a rff is a n o nline  web to ol  [ 28 ] .      2.6.   Model   Tr aini ng   and Ev alu at i on   To  trai n  a nd   e valuate  the   m a chine  le a rn i ng  m od el s,  W e ka   Ex per im enter  [ 29 ]   has  bee n  us ed .  T wo  exp e rim ents  hav e  bee n  do ne   in  Wek a .  In  the  first  exp e rim ent,  “Data  set s  first”  para m et er  check e d  an d  nu m ber  of r e pe ti ti on s h as b ee n  set  as 1 00 in i te rati on  contr ol  p aram et ers  pan el . Exper im ent ty pe  is sel ec t ed  as  Cros s  validat io n.   N um ber   of   fo l ds   at tribu te   is  set   to  10 .  D at aset   has  bee n  sel ect e d  as  the  .ar ff   file   w hich  is  create d  a s  des cribe d  in   sect ion  2.5 .  All  al gorithm s  wh ic h  hav e   been  e xp la ine d  in  se ct ion   2.1 hav e   been  sel ect ed  in  Algorithm s  panel .  Nex t,   the   ex pe rim ent  with  this  co nf i gurati on   has   bee n  r un  on  an   I ntel  Co re  i7 - 5600U  CPU , 2 .6   G H z,  8 GB  RAM an d 6 4 - bi t W i ndows  O pe rati ng Syste m  m achine.    The  total   exec ution   ti m e  wa s  194  seco nds   and   MLP  ha d  the  slo west  run ning  tim e.  Finall y,  in   analy se  ta b  of  Wek a   E xp e rim enter  us e r  inte rf ace,   al l  al gor it h m s  hav e   be en  sel ect ed   as  te st  base  se parat el y  and   te st  is  perform ed  fo r  ea ch  al gorithm .  Test   has  been  rep eat ed  f or   t hr ee  ev al uatio n  m e tric s:  Accu racy  (Num ber   of  Correct   Cl assifi cat ion s ),   F - Me asur e  (F M ) ,  an d  Kappa  sta ti sti c.  In   th e  seco nd  ex pe rim ent,   exp e rim ent  typ e  was  set   t o  Train/Test   Pe r centage  Sp l it   ( data  ra ndom ized )  an d  trai n  per ce ntage   wa s  set   t o  66%.  All  ot her  config ur at io n  rem ai ned   the  sa m e  as  in  Exp e rim ent  1.   In   thi s  case,  the  total   execu ti on  ti m e  wa s   74 sec onds  a nd  MLP  had the  s lowest  run ning  tim e, ag ai n.        3.   RESU LT S   A ND AN ALYSIS   Table  3  de sig nates  the  al gor it h m   per f orm a nces  i n  te rm s  of   ac cu racy,  F M,  an d  Kappa   m e tric s  for   bo t h  ex per im e nts.  Me tric   values  are  show n  as  aver a ges   with  sta nd a r d  de viati on s .  All  al go rithm s  see m   m eaningfu ll y  bette r  than  Ze r oR  baseli ne  pe rfor m ance.  Suppo rt  Vecto r  Ma chine s  a nd   On eR   al go rith m s   hav e   the  la rg est   a ve rag e  acc ur acy   values .  H owev er  eval uating  t he  al gorithm s  so le ly   based   on  the  a ver a ge  values   and  sta ndar d  de viati on s   w ouldn’t  be  s uffici ent  since   di ff e ren ces   bet wee n  resu lt s  m ight   no t  be   sta ti sti cal ly  sign ific a nt.  T h eref or e ,  in   W eka  E xperim e nter  A naly se  interface ,  Sig nificance  has   be en  set   t o  0.0 5,   al l   al gorithm s  have  bee n  sel ect e d  as  te st  base  s epar at el y  an d  t est s  ha ve  been  perf or m ed.   St at ist ic ally  sign ific ant  diff e re nces  ha ve  bee n  rec ord ed  duri ng   te sts.   Stat ist ic al  sign ific ance  is  de no te d  by  “ v”  a nd   “ *”  sym bo ls  in  the   Wek a  i nter fac e.  Form er  m ea ns   sta ti sti cal ly  sign ific a nt  be tt er  perform ance  wh il e  la tt er   i m plies  sta ti st ic al l y   sign ific a nt wo r se p e rfor m ance [ 29 ] .   Stat ist ic ally  si gn i ficant  s upe rior it ie s  betwe en  al go rithm s  are  s how n  i n  Table  4.   For  i ns ta nce ,  in   Ex per im ent  1,  Naïve  Ba ye s  perform s  bette r  tha n  IB k  a nd  Ze ro R  w hen  Acc ur acy   a nd  Ka pp a  m et rics  are   con ce r ned.  Be st  perform ing   al gorithm s  have  bee n  determ i ned  by  c om par in g  the  num ber   of  al l  sta ti sti cal l y  sign ific a nt  su pe rior it ie s.  We  s how  this  num ber   as  “ Nu m ber   of   Wins ”  in  Ta ble  4.  As  a  res ult;   REPTree,  On e R   and  S VM  with   SMO  al gorith m s  hav e  the  m axim u m   “Nu m ber   of  W i ns ”  va lues  a nd   are  de te rm ined  to   be   the   top   t hr ee   al gor it h m s  perform i ng  best  i n  CF P   dataset   of   t his   stud y.   A s  fa r  as  we  know,   this  is  the   first  stud y   that  us e  data  m ining   on  re quirem ents  and  CFP  m easur em ent  data.  Th eref or e ,  we  c ould n’ t  com pare  the  perform ance  of  ou r  stu dy  with  oth e r  si m il ar  research  directl y.  Howev e r  if   we   ben c hm ark   with  so m e  edu cat io nal  da ta   m ining   stu di es  in  ge ne ral,   we  see  our   top  pe rfor m ing  m od el s  are  ve ry  good  i n  te rm s  of   accuracy  [ 30 – 33 ] .        Table  3 .   Algori thm  Per form ances for C FP Da ta set   Alg o rith m   Exp eri m en t 1: C ros s  -   v alid atio n   Exp eri m en t 2: 6 6 % Sp lit T est   Accurac y  ( %)   FM   Kap p a   Accurac y   FM   Kap p a   Ran d o m  For est (R F)   7 8 .79  ( 1 1 .72 )   0 .82  ( 0 .11 )   0 .56  ( 0 .25 )   7 9 .20  ( 5 .54 )   0 .83  ( 0 .04 )   0 .56  ( 0 .12 )   Naiv e Bay es ( NB)   8 2 .97  ( 1 1 .13 )   0 .86  ( 0 .09 )   0 .63  ( 0 .24 )   8 1 .29  ( 5 .46 )   0 .85   (0.0 4 )   0 .60  ( 0 .12 )   REPTr ee   8 4 .02  ( 1 1 .25 )   0 .86  ( 0 .11 )   0 .67  ( 0 .23 )   8 4 .27  ( 4 .81 )   0 .86  ( 0 .04 )   0 .68  ( 0 .10 )   J4 8  ( W ek a C 4.5   I m p l e m en tatio n )   8 2 .59  ( 1 1 .39 )   0 .84  ( 0 .11 )   0 .65  ( 0 .23 )   8 3 .38  ( 4 .58 )   0 .85  ( 0 .04 )   0 .66  ( 0 .09 )   Log istic Mod el T r ees (LMT )   8 3 .84  ( 1 1 .34 )   0 .86  ( 0 .11 )   0 .67  ( 0 .23 )   8 3 .52  ( 5 .21 )   0 .86  ( 0 .05 )   0 .66  ( 0 .11 )   Multilaye r  Pe rcept ron  ( ML P)   7 6 .74  ( 1 2 .50 )   0 .80  ( 0 .12 )   0 .52  ( 0 .26 )   7 5 .94  ( 6 .55 )   0 .80  ( 0 .05 )   0 .49  ( 0 .15 )   Evaluation Warning : The document was created with Spire.PDF for Python.
In t J  Elec  &  C om p  En g     IS S N: 20 88 - 8708     Using  Da t a  Mi ning to  Ide ntif y COSMIC  Fu nc ti on  P oin t  Me as ure me nt C ompete nce  ( Sel ami B ag riy an ik )   5257   Table  3 .   Algori thm  Per form ances for C FP Da ta set   Alg o rith m   Exp eri m en t 1: C ros s  -   v alid atio n   Exp eri m en t 2: 6 6 % Sp lit T est   Accurac y  ( %)   FM   Kap p a   Accurac y   FM   Kap p a   Su p p o rt  Vector M achi n es with  SM O   8 4 .16  ( 1 1 .25 )   0 .86  ( 0 .11 )   0 .68  ( 0 .23 )   8 3 .70  ( 4 .91 )   0 .86   (0.0 4 )   0 .67  ( 0 .10 )   K - n eare st  Neigh b o u r  Clas sif ier  ( IBK)   7 5 .61  ( 1 1 .56 )   0 .80  ( 0 .10 )   0 .48  ( 0 .25 )   7 5 .38  ( 5 .16 )   0 .81  ( 0 .04 )   0 .47  ( 0 .12 )   On eR   8 4 .16  ( 1 1 .25 )   0 .86  ( 0 .11 )   0 .68  ( 0 .23 )   8 4 .27  ( 4 .81 )   0 .86  ( 0 .04 )   0 .68  ( 0 .10 )   Zer o R   5 9 .45  ( 0 1 .64 )   0 .75  ( 0 .01 )   0 .00   (0.0 0 )   5 9 .37  ( 0 .63 )   0 .75  ( 0 .04 )   0 .00  ( 0 .00 )       Table  4 .   Stat ist ic al ly  Sign ific ant S up e rio riti es of A l gorithm s f or CFP  D at as et   Alg o rith m   Exp eri m en t 1: C ros s  -   v alid atio n   Exp eri m en t 2: 6 6 % Sp lit   Nu m b e r    o f  W in s   Accurac y   FM   Kap p a   Accurac y   FM   Kap p a   Ran d o m   Fo r est (R F)   Zer o R   Zer o R   Zer o R   Zer o R   Zer o R   Zer o R   6   Naiv e Bay es ( NB)   IBk ,  Ze roR   ML P,  I Bk ,  Zer o R   IBk ,  Zer o R   Zer o R   Zer o R   Zer o R   10   REPTr ee   RF, M LP,   IBk ,  Ze roR   ML P,  I Bk ,  Zer o R   RF,  ML P,   IBk ,  Zer o R   IBk ,  Zer o R   IBk ,  Zer o R   IBk ,  Zer o R   17   J4 8  ( W ek a C 4.5   I m p le m en tatio n )   IBk ,  Ze roR   Zer o R   IBk ,  Zer o R   IBk ,  Zer o R   Zer o R   IBk ,  Zer o R   10   Log istic Mod el T r ees (LMT )   ML P,  I Bk ,  Zer o R   ML P,  I Bk ,  Zer o R   ML P,   IBk ,  Zer o R   IBk ,  Zer o R   Zer o R   IBk ,  Zer o R   14   Multilaye r  Pe rcept ron  ( ML P)   Zer o R   Zer o R   Zer o R   Zer o R   Zer o R   Zer o R   6   Su p p o rt  Vector M achi n es with   SMO   RF, M LP,   IBk ,  Ze roR   ML P,  I Bk ,  Zer o R   RF,  ML P,   IBk ,  Zer o R   IBk ,  Zer o R   Zer o R   IBk ,  Zer o R   16   K - n eare st  Neigh b o u r  Clas sif ier  (I Bk )   Zer o R   Zer o R   Zer o R   Zer o R   Zer o R   Zer o R   6   On eR   RF, M LP,   IBk ,  Ze roR   ML P,  I Bk ,  Zer o R   RF,  ML P,   IBk ,  Zer o R   IBk ,  Zer o R   IBk ,  Zer o R   IBk ,  Zer o R   17   Zer o R   No n e   No n e   No n e   No n e   No n e   No n e   0       4.   CONCL US I O N   In  this  st ud y,  w e  c onduct ed  an   e du c at ion al  d at a  m ining   r e search . I n  the s cop e   of  t his u s e  case,  a   CFP  dataset   w hich   was  c ollec te d  from   a  la rg e  t el ecom m un ic ation s   ser vices  a nd  te ch no l og y   com pan y  ha s   bee n  analy sed  us i ng  10   m achine  l earn i ng   al gorit hm s  to  identif y  CFP  le arn in g  nee d  of   Re quirem ents  Engineers.   Af te r  t wo  ex pe rim ents,  m od el   perform ances  are  eval uated  a nd   t op  pe rfor m er  al gorithm s  ha ve  be en  i den ti fied.  REPT ree,   On e R  an d  SV M  with  SMO  al gorithm s  perf orm ed  bette r   tha n  oth e r  al gorithm s  in  a  sta ti sti cal ly   sign ific a nt  m a nn e r.   T op  pe r form ing   m od e l  pr edict io n  pe rfor m ances  are  suffici ent  to  be  us e d  in   the  pro du ct io n  e nv iro nm ent in th e  co m pan y.  In the  fu t ur e,  foll owin g researc h  i s p la nn e d:     Do m inati ng   in dicat or s  i n  CFP  m easur em ent  will   be  identifie d  by  us i ng  featur e  sel ect ion   al go rithm s.  So m e n ew  i nd i cat or s  from  the r e qu irem ents  arti facts m ay  a rise in t his  pro cess.     Data  points  num ber   will   be   increase d  a nd   the  stu dy  wil l   be  re plica te d  by  al so   a dding  so m e  oth er   al gorithm s su ch  as  Ada ptive  Neur o  F uzzy I nf e ren ce  Syste m  ( AN FIS).         REFERE NCE S    [1]   Nus ei beh  B,   E aste rbrook  S.   “ Req uire m ent s e ng in ee ring :  a   roa dm a p ” .   In :  Proceedi ngs of   th e conf er enc e   on  The   fut ure  o f  Sof tware  eng ineering  -   I CSE  ’00 .   2000.   p.   35 – 46 .     [2]   Naik  P,  Na y a k  S.  “ Insights  on  Resea rch   Techn ique s  towar ds  C ost  Esti m at ion   i n  Software   Desi gn. ”   In t  J   Elec t r  Comput  Eng   ( IJ ECE ) .   2017;7(5) :2883 – 94.     [3]   Bagriy an ik  S,  Kara hoc a  A.  Aut om at ed  COS MI C  Functi on  Point  m ea surem e nt  using  a  req uirem ent s  engi nee r i ng  ontol og y .   Inf   Sof tw  Techno l .   201 6;72: 189 – 203.     [4]   Faja r  AN ,   Shofi  IM.  R educed   Software   Com ple xity   for  E - G over nm ent   App li c at ions  wi th  ZE F  Fram ework.   TEL KOMNIKA  (Tele kommunic a t ion  Computing ,   El e ct ronics  and   Control) .   2017;1 5(1):415 – 20.     [5]   Trude l   S,  Tur c ott e  A .   “ Com bini ng  Qualita ti ve   and  Quan ti t at i ve  Software   Proce ss   Evaluatio n :  A  Propos ed   Approac h ” .  Col l   Ec on   Ana l  Ann .   2017;43: 135 – 54.     [6]   S y m ons  C,   Abr an  A,  Ebe rt  C ,   Vogele z ang  F.  “ Mea surem ent   of   software   size  :  adva nc es  m ade   b y   th e  COS MIC   comm unity ” .   In :  2016  Jo int   C onfe renc e  of  th e  Inte rnat ional  Workshop  on  Soft ware  Me asu rement   and  th e   Inte rnational   Co nfe renc e  on   Softw are  Proce ss   an d  Product Me as urement .   IEEE ;   2016.   p .   75 – 86 .     [7]   Salmanoğlu  M,  Öztür k  K,  Bağr ı y an ık  S,  Ungan  E,   Dem irörs  O.  “ Bene fit s  and  c hal l enge s  of  m e asuring  software   size :  ea rl y   r esults   in  a  la rge   o rg ani z at ion ” .   In :  2 5th  Inte rnationa l  Workshop  on  Soft ware  Me asu rement   and  10th  Evaluation Warning : The document was created with Spire.PDF for Python.
                          IS S N :   2088 - 8708   In t J  Elec  &  C om p  En g,   V ol.  8 , N o.   6 ,  Dece m ber  2 01 8:   5253   -   52 59   5258   Inte rnational   Co nfe renc e  on   Softw are  Proce ss   an d  Product Me as urement .   20 15.     [8]   Ozka n  B,   Dem i rors  O.  “ On  th e  Seven   Misco nce pt ions  about  Functi on al   Si z e  Mea sur ement ” .   In :  2016   Jo i nt   Confe renc e  of   th e  Int ernati onal   Workshop  on  Soft ware  Me asur e ment  and  th e  In t ernati onal  Con fer enc e  on   Soft wa re  Proce ss   and  Product   M easureme nt.   I EEE;  2016 .   p.   45 – 52 .     [9]   Bagriy an ik  S,  K ara hoc a  A.  “ Big  dat a  in  software   engi nee r ing:   A  s y stematic  li t erature   rev i ew ” .  Gl ob  J  Inf  Technol .  2016;6(1): 107 – 1 6.     [10]   Sahoo  P,  Mohant y   JR .   “ Ea rl y   Te st  Eff or t  Pred ic ti on   using  UM L  Diagr ams ’ .   Indone s  J  E le c t r  Eng  Comput  Sc i   ( IJE EC S) .   2017; 5(1):220 – 8.     [11]   Kim   DK .   “ Finding  Bad  Cod e  Sm el ls wi th  Neur al   Network  Models ” .  In t J Elect r C omput  Eng .   201 7;7(6): 3613 – 21.     [12]   H.  W it t en  I ,   Fra nk  E, A.   Hall M.   “ Data   m ini ng :  P rac t ic a l  m ac h ine l e arn ing   tool s  a nd  technique s ” .   3rd  ed. 2011 .     [13]   Han  J,  Kam ber Mi che li n e.  “ Dat a  Mining   Conc e pts a nd  Techni q ues ” .   2nd   ed .   20 06.     [14]   Hall   M,  Frank  E,   Holm es  G,  Pfahringe r  B,   R eut emann  P,  W it te n  IH.  “ The   W EKA  dat a  m i ning  software :  an  updat e ” .  ACM   SI GKD D E xpl or N ewsl .   2009 ;11(1) :10 – 8.     [15]   Brei m an  L .   R an dom   fore sts.  Ma ch  L ea rn .   2001 ;4 5(1):5 – 32.     [16]   H.  John  G,  La ngley   P.  “ Estim at ing  cont inuo us  distri buti ons  in  Ba y esi an  class ifi ers ” .   In:  P roce edi ngs  of  t he   El e ve nth   con fe re nce   on   Unce rta i nty   in  arti fi c ial i nte lligen ce .   Mor gan  Kaufm ann  P ubli shers Inc.;   1 995.   p .   338 – 45 .     [17]   Zha o  Y,   Zh ang   Y.  “ Com par ison  of  de ci sion   tree  m et hods  for  findi ng   a ct i ve  obj ec ts ” .  Ad v  Sp  Re s .   200 8;   41(12):1955 – 9.     [18]   Quinla n  JR.   C4.   5:  progra m s for m ac hine   learni n g.   2014 .     [19]   La ndwehr  N ,   Ha ll   M,   Frank  E.  “ Logi stic m odel t ree s ” .  Mac h   Lea rn .   2005;59(1 – 2 ):161 – 205.     [20]   Gardne r  M. ,   Do rli ng  S.  Ar ti fi cial  n eur al  net wo rks  (the   m ult i lay er   per ce pt ron) — a  rev ie w  of  a ppli c at ions  in   th e  at m ospheric   scie nc es.   At m os  Envi ron   [Inte rne t] .   1998;32(14 – 15):2627 – 36.   Avail able   from :   htt p://ww w.sci e nce dir ec t . com/sc ie nc e/ ar ti c le/pii/ S1352231097004470   [21]   Plat t  JC.  Sequen ti al   Min imal  Optimiza t ion:   A  Fast  Algorit hm   for  Tra ini ng  Suppo rt  Vec tor  Mac h i nes.   Adv  ker nel  m et hods  [Inte rne t] .   1998;185 – 208.   Avail ab le  from :  htt p://ww w.bra d bloc k. com/Sequ ent i al _Minimal_ Optimiza ti o n_A_F ast_Algori th m _for_T rai ning _Support_Vect o r_ Mac hine.pdf   [22]   Aha  DW ,   Kibler   D,  Alb ert   MK .   I nstanc e - B ase d  L ea rning   Algorit h m s.  Mac h  L ea rn .   1991;6(1): 37 – 6 6.     [23]   Holte   RC.  V ery   Simple   Classifi cat ion  Ru le s  P e rform   We ll   on  Most  Comm only   Us e d  Datasets .   Mac h  Learn.  1993;11(1): 63 – 9 0.     [24]   Bundschuh  M,  Dekke rs  C.   “ T he  IT   m ea sure m ent   compendi um :  esti m at ing   and  b enc hm ar king  succ ess  with   func ti on al   si ze  m ea surem ent ” .   Springer  Sci ence   &  Busin ess Medi a; 2008.    [25]   Jones  C.   “ Appli ed  Software   Me asure m ent   Glob a l  Ana l y s is  of  P roduc ti vi t y   and  Quali t y ” .   M cGra w - Hill   Educ a tion  Group;  2008.     [26]   Consortium  CS MI.  “ The   COS MIC  Functi onal  Size   Mea sure m ent   Method  Version  4. 0. 1  Me asure m ent   Man ual  “ [Inte rne t] .   [ ci t e d  2018  Jan   17] .   Avail ab le   f rom :  htt ps:// cosm ic - sizi ng. org /publ i ca t ions/m ea surem ent - m anua l - 401/   [27]   Bağrıy an ık  S,  Kara hoca  A,  Er so y   E . ”   Selection  of  a  fun ctio nal   siz ing  m et h odolog y :  A  t el e comm unic at ions   compan y   c ase   st ud y ” .  Glob   J   Te chnol .   2015;7(7) :98 – 108.     [28]   Il y a. ku zovki n@ gm ai l. com.   Onli ne  co nv ert er   fro m   . csv  to  W EK A  . arf f  [ Inte rn et] .   [ci te d   2018  J an  20] .   Availabl e  from :  htt p: // iku z . eu/csv2arff/   [29]   Scuse  D,  R eut e m ann  P.  “ W EKA E xper iment er Tut ori al   for   Vers ion  3 - 5 - 8 ” .   2008 .     [30]   As if  R,   Merc ero n  A,  Ali  S A,  Haide r  NG .   Anal y z ing  under gra dua te   student s  â € TM   per form anc e  using  educ ationa l  dat a  m ini n g.   Com put  Educ  [Inte rne t] .   2017;113:177 – 94.   Available   fr om :   htt p://dx.doi.org/10.1016/j.c om pe du. 2017. 05 . 007   [31]   Kaba kchieva   D.   “ Predic ti ng  Stu dent   Perform ance  b y   Us ing  Data  Mining  Method s  for  Cla ss ifi cati on ” .  Cyb ern  In f   Technol .   2013;1 3(1):61 – 72.     [32]   Ahm ad  F,  Ism ai l  NH ,   Azi z  AA .   “ The   Predi ct ion   of  Student s  ’   Aca demic   Perfor m anc e  Us ing  Cl assific a ti on  Da ta  Mining  T ec hniq ues ” .  Appl Mat h   Sci .   2015;9(129) :6415 – 26.     [33]   Kaur  P,  Singh  M,  Singh  G.  “ Cla ss ifi cation  and  pre diction  base d   dat a  m ini ng  a lg orit hm s  to  pre di ct   slow  le a rne rs  in  educ a ti on  sec to r ” .   In:  P3rd  I nte rnational   Co nfe renc e  on  Rece nt  Tr ends  in  Computing  2015( ICRTC - 2015 )   [Inte rne t] .   El sev i er  Mass on  SA S; 2015.   p .   500 – 8 .   Avail ab le   f rom : http: / /dx. doi . org/ 10. 1016/j.proc s. 2015. 07. 372           Evaluation Warning : The document was created with Spire.PDF for Python.
In t J  Elec  &  C om p  En g     IS S N: 20 88 - 8708     Using  Da t a  Mi ning to  Ide ntif y COSMIC  Fu nc ti on  P oin t  Me as ure me nt C ompete nce  ( Sel ami B ag riy an ik )   5259   BIOGR AP H I ES   OF  A UTH ORS        Dr.  Sela m i  B ag ri y ani k  ho lds  a   PhD   in  Software   Engi ne eri ng .   He  is  int e rest ed  in  softwar e  deve lopment ,   re quire m ent s   enginee ring ,   softwar e  m ea surem ent ,   adva nc ed  learni ng  te chno logi es ,   dat a  m ini ng  an d  big  data.   He   al so  works   as  the   Digi ta l  Learni ng  and  Bus ine ss   Soluti ons  Te chno log y   Ma nage r in  Turkcel l.             Dr.  Adem   Kara h oca   ho lds a PhD  in  Software   Eng i nee ring .   He   is  in te rest ed  in   hum a n – computer   int er ac t ion, web based  edu cation s y stems ,   da ta m ini ng,   b ig  d at a ,   a nd  m ana gement   informati on  s y stems .   He   has  publi shed  art i cle s a t  pr esti gious   j ourna ls a bou t  us e  and   da ta m ini n g  applications  of  business i nfor m at ion  s y s te m s i n  he a lt h ,   tour ism ,   and   edu cation.      Evaluation Warning : The document was created with Spire.PDF for Python.