I nte rna t io na l J o urna l o f   I nfo rm a t ics a nd   Co m m un ica t io n T ec hn o lo g y   ( I J - I CT )   Vo l.  14 ,   No .   3 Dec em b er   20 25 ,   p p .   1 1 3 6 ~ 1 1 4 5   I SS N:  2252 - 8 7 7 6 DOI 1 0 . 1 1 5 9 1 /iji ct . v14 i 3 . pp 1 1 3 6 - 1 1 4 5          1136       J o ur na l ho m ep a g e h ttp : //ij ict. ia esco r e. co m   The  bo o tstrap p r o cedure f o r  selec t ing  t he n umber  of  principal  co mpo nents in  P CA       B o risl a v a   T o lev a   F a c u l t y   o f   E c o n o mi c a n d   B u si n e ss   A d mi n i s t r a t i o n ,   S o f i a   U n i v e r si t y ,   S o f i a ,   B u l g a r i a         Art icle  I nfo     AB S T RAC T   A r ticle  his to r y:   R ec eiv ed   No v   6 ,   2 0 2 4   R ev is ed   J u n   2 0 ,   2 0 2 5   Acc ep ted   J u l 1 ,   2 0 2 5       Th e   in i ti a ste p   i n   d e term in in g   t h e   n u m b e o p ri n c ip a c o m p o n e n t fo b o th   c las sifica ti o n   a n d   re g re ss io n   in v o lv e e v a lu a ti n g   h o m u c h   e a c h   c o m p o n e n t   c o n tri b u tes   t o   th e   to tal   v a rian c e   i n   t h e   d a ta.   Ba se d   o n   th is   a n a ly sis ,   a   su b se t   o c o m p o n e n ts   th a e x p lai n th e   h ig h e st  p e rc e n tag e   o v a rian c e   is   ty p ica ll y   se lec ted .   Ho we v e r,   m u lt ip le  v a l id   c o m b i n a ti o n m a y   e x ist,   a n d   th e   fin a l   c h o ice   is  o ften   m a d e   m a n u a ll y   b y   t h e   re se a rc h e r.   Th is  stu d y   i n t ro d u c e a   n o v e l   y e t   stra ig h tfo rwa rd   a lg o r it h m   f o t h e   a u t o m a ti c   se lec ti o n   o t h e   n u m b e o p rin c i p a c o m p o n e n ts.   By   i n teg ra ti n g   AN OV a n d   b o o tstrap p i n g   with   p ri n c ip a c o m p o n e n a n a l y sis  (P CA),  th e   p r o p o se d   m e th o d   e n a b les   a u to m a ti c   c o m p o n e n t   se lec ti o n   in   c las sifica ti o n   tas k s.   Th e   a l g o rit h m   is  e v a lu a ted   u si n g   th re e   p u b l icly   a v a il a b le  d a tas e ts  a n d   a p p li e d   with   b o th   d e c isio n   tree   a n d   su p p o rt  v e c to m a c h in e   (S VM)   c las sifiers .   Re su l ts  in d ica te   th a th is au t o m a ted   p ro c e d u re   n o t   o n ly   e li m i n a tes   re se a r c h e b ias   i n   se l e c ti n g   c o m p o n e n ts  b u a lso   im p ro v e c las sifica ti o n   a c c u ra c y .   Un li k e   t ra d it io n a l   m e th o d s,  it   se lec ts  a   sin g le  o p ti m a c o m b in a ti o n   o p rin c i p a c o m p o n e n ts  with o u m a n u a i n terv e n ti o n ,   o ffe rin g   a   n e a n d   e fficie n t   a p p ro a c h   t o   P CA - b a se d   m o d e d e v e lo p m e n t.   K ey w o r d s :   ANOVA   B o o ts tr ap   Dec is io n   tr ee s   Prin cip al  co m p o n en t a n al y s is   Su p p o r v ec to r   m ac h in es   T h is i a n   o p e n   a c c e ss   a rticle   u n d e r th e   CC B Y - SA   li c e n se .     C o r r e s p o nd ing   A uth o r :   B o r is lav T o lev a   Facu lty   o f   E co n o m ics an d   B u s in ess   Ad m in is tr atio n So f ia  Un iv er s ity   T s r ar ig r ad s k o   Sh o s s e,   1 2 5 ,   So f ia,   B u lg ar ia   E m ail:  v r ig az o v a@ u n i - s o f ia. b g       1.   I NT RO D UCT I O N   Prin cip al  co m p o n en a n aly s is   ( PC A)   is   wid ely   u s ed   tech n iq u f o r   d im en s io n ality   r e d u ctio n   an d   d ata  ex p lo r atio n   [ 1 ] .   I t r an s f o r m s   th o r i g in al  d ataset  in to   s et  o f   lin ea r ly   u n co r r elate d   v ar iab les  k n o w n   as  p r in cip al  co m p o n e n ts .   T h ese  co m p o n en ts   r ep r esen lin ea r   co m b in atio n s   o f   th o r ig in a v ar iab les  an d   ar e   co n s tr u cted   to   ca p tu r th m ax im u m   v ar ia n ce   with in   th d ata.   T h co r o b jectiv o f   P C is   to   id en tify   s u b s et  o f   p r in cip al  c o m p o n e n ts   th at  b est  ca p tu r es   th m o s in f o r m ativ s tr u ctu r o f   t h d ataset,   th er eb y   en ab lin g   m o r e   ef f ec tiv e   r eg r ess io n   o r   class if icatio n   m o d elin g   [ 1 ] .   A   ce n tr al  c h allen g e   in   a p p ly in g   PC lies   in   d eter m in in g   th o p tim al  n u m b er   o f   co m p o n en ts   to   r etain   [ 1 ] .   Fo r   d ec a d es,  b o th   ac a d em i cs  a n d   p r ac titi o n er s   h av r elied   o n   s tan d ar d   a p p r o ac h   to   ad d r ess   th is   q u esti o n   [ 1 ] ,   [ 2 ] .   T h is   tr ad itio n al  m eth o d   in v o lv es   tr an s f o r m in g   th d ata  i n to   p r i n cip al  co m p o n en ts   an d   ev alu atin g   h o m u ch   v ar ian ce   is   e x p lain ed   b y   v a r io u s   co m b in atio n s e. g . ,   th e   f ir s t   tw o ,   t h r ee ,   o r   f o u r   co m p o n en ts .   T h e   s u b s et  th at   ac co u n ts   f o r   th h ig h est  cu m u lativ v ar ian ce   is   ty p ica lly   s elec ted .   Ho wev er ,   in   p r ac tice,   it  i s   o f ten   u n clea r   wh eth er   to   r etain   th r ee ,   f o u r ,   o r   f iv c o m p o n en ts ,   as  th in cr em en tal  g ain   in   e x p la in ed   v ar ian ce   m a y   b m ar g in al  an d   d if f icu lt  to   in ter p r et  [ 1 ] .   Ma n y   r esear ch er s   h av tr ied   t o   s o lv th is   is s u b y   m o d if y i n g   th PC eq u atio n .   T h f o c u s   o f   th eir   r esear ch   is   h o PC ca n   b u s ed   as  f ea tu r e   s elec tio n   tech n iq u e.   Fo r   ex am p le,   b y   m o d if y in g   th e   eq u atio n   o f   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J I n f   &   C o m m u n   T ec h n o l     I SS N:   2252 - 8 7 7 6       Th b o o ts tr a p   p r o ce d u r fo r   s elec tin g   th n u m b er o f p r in cip a l c o mp o n e n ts   in   P C A   ( B o r is la va   To leva )   1137   th p r in cip al   co m p o n en ts   an a ly s is   as  in   [ 3 ] .   T h e y   p r o p o s u n weig h ted   v er s io n   o f   t h P C co m b in ed   with   v ar iab le  s elec tio n   to   a v o id   t h e   is s u o f   h o m an y   c o m p o n e n ts   to   ch o o s e.   Prie to - Mo r en o   et  a l.   [ 4 ]   in tr o d u ce s   “sep ar ab ilit y   m ea s u r b etwe en   m u ltip le  f ailu r es”  to   s elec th n u m b er   o f   p r i n cip al  co m p o n e n ts .   He  u s es   d is cr im in an in f o r m atio n   co n t ain ed   in   th PC s   to   s elec th r ig h co m b in atio n .   Sh ar if za d eh   et  a l.   [ 5 ]   p r o p o s ed   s p ar s P C m eth o d   k n o wn   as  SS PC A,   d e s ig n ed   f o r   d ata  p r e - p r o ce s s in g   an d   d im en s io n ality   r ed u c tio n .   T h is   v ar ian o f   PC in tr o d u ce s   m o d if icatio n s   to   th c o m p u t atio n   o f   eig en v ec to r s   an d   ei g en v alu es,  aim i n g   to   en h an ce   p e r f o r m an ce   in   lar g d atasets .   T h ap p r o ac h   is   p ar ticu lar ly   ef f ec tiv in   s ce n ar io s   wh er h ig h - d im en s io n al  n o is e ar is in g   f r o m   lar g n u m b er   o f   v ar ia b les n ee d s   to   b m in im ized .   Ho wev er ,   ce n tr al  is s u is   th at  wh en   PC i s   u s ed   as  f ea tu r s elec tio n ,   th f in al  s et  o f   p r in cip al   co m p o n en ts   s h o u ld   b co n v er ted   b ac k   to   t h o r i g in al  f ea tu r es  [ 1 ] .   Un lik o th er   f ea t u r s e lectio n   alg o r ith m s ,   th c o n v er s io n   is   h ar d   f o r   i n ter p r etatio n   as  th d ir ec lin k   b etwe en   th lin ea r   co m b in atio n   o f   p r i n cip al   co m p o n en ts   an d   th o r ig in al   f ea tu r es  is   n o s tr aig h tf o r war d   [ 1 ] .   T h er ef o r e,   PC is   u s ed   as  d im en s io n ality   r ed u ctio n   tech n i q u b u r ar el y   as  m eth o d   to   s e lect  co n c r ete  f ea tu r es.   R eg ar d less   o f   th is ,   th ap p r o p r iate   s elec tio n   o f   p r i n cip al  co m p o n en ts   is   k ey   f o r   th s u cc ess   o f   th class if icatio n   m o d el.   T h er ef o r e,   r esear ch er s   aim   to   f in d   a n   u n b iased   an d   s t r aig h tf o r wa r d   s elec tio n   o f   p r i n cip al  co m p o n en ts .   Fo r   in s tan ce ,   Gajjar   et  a l.   [ 6 ]   p r o p o s es  n o v el  m eth o d   to   s elec n o n - ze r o   lo a d in g s   in   s p ar s PC in s tead   o f   u s in g   eig en v alu es  an d   eig en v ec to r s   as  it is   in   th s tan d ar d   PC [ 1 ] .     I n   2 0 2 1 ,   R ah o m a   et  a l.   [ 7 ]   in t r o d u ce d   n o v el  m eth o d   f o r   e s tim atin g   lo ad in g   f ac to r s   in   PC A .   W h il e   th eir   alg o r ith m   s h ar es  s im ilar ities   with   th ap p r o ac h   p r o p o s ed   b y   Gaja ar   et  a l.   [ 6 ]   p ar ticu lar ly   in   its   f o cu s   o n   lo ad in g   f ac to r s it  d if f er s   in   th b o o ts tr ap   tech n i q u es  u s ed   to   ass ess   th d is tr ib u tio n al  p r o p er ties   o f   th e   elem en ts   with in   th lo ad in g   v ec to r s .   T h ese  elem en ts   ar th en   lev er ag ed   to   co n s tr u ct  s p ar s lo ad in g   s tr u ctu r f o r   PC A.   B ased   o n   th eir   f in d i n g s ,   R ah o m a   et  a l.   [ 7 ]   p r o p o s ed   two   n ew  PC v ar ian ts B o o ts tr ap   SP C an d   Sp ar s I PC A,   b o th   o f   wh ich   r ely   o n   b o o ts tr ap - b ased   r esam p li n g .   Alth o u g h   th ese  m eth o d s   r ep r esen t   ad v an ce m e n ts   in   PC A,   n o n o f   th em   p r o v id a n   au to m ate d   s o lu tio n   f o r   s elec tin g   th n u m b er   o f   p r in ci p al   co m p o n en ts cr itical  y et  u n r eso lv ed   is s u in   m a n y   a p p licatio n s .   T h is   r esear ch   ad d r ess es  th at  g ap   b y   p r o p o s in g   f u ll y   a u to m atic  alg o r ith m   f o r   p r in ci p al  co m p o n en s elec tio n .   Fo r   in s tan ce ,   Pach ec o   et  a l.   [ 8 ]   o u tlin es  m u lti - s tep   v ar iab l s elec tio n   p r o ce s s   u s in g   PC b u ex p licitly   av o id s   th co r q u esti o n   o f   d eter m in in g   t h o p tim al  n u m b er   o f   p r in cip al  co m p o n en ts .   An   im p o r tan y et  u n d er ex p lo r ed   r esear ch   d i r ec tio n   in v o lv es   lev er ag in g   th tex tb o o k   PC A   ap p r o ac h   f o r   au to m atic  s elec tio n   o f   th e   n u m b er   o f   p r in cip al  co m p o n en ts with o u alter in g   th co r PC eq u atio n s .   T h is   p ap er   f o c u s es  o n   ad v a n ci n g   th is   lin e   o f   in q u ir y   an d   c o n tr ib u tes  in   s ev er al  k e y   way s .   First,  we  p r o p o s n o v el  alg o r ith m   th at  au to m atica lly   s elec ts   s in g le  o p tim al  co m b in atio n   o f   p r in cip al  co m p o n e n ts   u s in g   th s tan d ar d   PC f r am ewo r k   [ 1 ] .   Un lik o t h er   m eth o d s   th at   m o d if y   PC co m p u tatio n s   o r   r ely   o n   s u b jectiv ju d g m en t,   o u r   ap p r o ac h   ad h e r es  s tr ictly   to   th tex tb o o k   m eth o d   wh ile  au t o m atin g   t h c o m p o n en s elec tio n   p r o ce s s .   Seco n d ,   we  ex p a n d   o n   p r ev i o u s   r esear ch   [ 9 ]   b y   d em o n s tr atin g   th ef f ec tiv en e s s   o f   th b o o ts tr ap   p r o ce d u r in   PC b ey o n d   its   ap p licatio n   in   lo g is tic  r eg r ess io n .   W h ile  ea r lier   wo r k   s h o we d   th at  b o o ts tr ap p i n g   co u ld   g u id c o m p o n en s elec tio n   f o r   lo g is tic  m o d els,  th is   s tu d y   ex ten d s   th o s f in d in g s   to   s u p p o r v ec to r   m ac h in es  ( SVM)   an d   d ec is io n   tr ee   class if ier s ,   s h o win g   s i m ilar   b en ef its   in   class if icatio n   p er f o r m a n ce .   T h ir d ,   th is   wo r k   co n tr ib u tes  to   th b r o ad e r   ex p lo r atio n   o f   b o o ts tr ap   m eth o d s   in   m ac h in lea r n in g ,   o u ts id th eir   tr ad itio n al  s tatis tical  ap p licati o n s .   Ou r   p r e v io u s   r esear ch   estab lis h ed   th b o o ts tr ap   as  v iab le  alter n ativ to   cr o s s - v alid atio n   in   clas s if icatio n   p r o b lem s   [ 1 0 ] .   T h is   s tu d y   in tr o d u ce s   n ew  ap p licatio n   o f   b o o ts tr ap p in g aid in g   th au to m atic  s elec tio n   o f   th n u m b e r   o f   p r i n cip al  co m p o n e n ts   [ 1 1 ] ,   [ 1 2 ] .   T h p r o p o s ed   m eth o d o l o g y   o f f er s   s ev er al  a d v an tag es:  it  i s   s im p le  to   im p lem en t,  co m p u tatio n a lly   ef f icien t,  a n d   ea s y   to   in ter p r et,   m ak i n g   it  p r ac tical  f o r   r ea l - wo r ld   d at an aly s is   an d   m ac h in lear n in g   task s .   Nex s ec t io n   d escr ib es  th alg o r ith m   p r o p o s ed ,   wh ile  s ec tio n   3   ela b o r ates o u r   f i n d in g s .       2.   RE S E ARCH   M E T H O D     I n   th is   s ec tio n ,   we  p r esen b o th   th class ical  PC alg o r ith m ,   as d escr ib ed   in   s tan d ar d   tex tb o o k s   [ 1 3 ] ,   an d   o u r   p r o p o s ed   al g o r ith m .   W u s th class ical  m eth o d   as  b aselin to   h ig h lig h its   lim itatio n s   an d   t o   co m p ar its   p er f o r m an ce   ag ai n s o u r   au to m ated   ap p r o ac h .   T h class ical  PC p r o ce d u r is   im p lem en ted   in   Py th o n   3 . 6   u s in g   b u ilt - in   f u n ctio n s .   Fo llo win g   th class ical  s tep s   o u tlin ed   in   [ 1 0 ] [ 1 3 ] ,   we  ap p ly   PC b u ad ap th class if icatio n   s tag b y   u s in g   d ec is io n   tr ee   class if ier s   an d   SVMs   in s tead   o f   lo g i s tic  r eg r ess io n .   All  m o d el  p ar a m ete r s   ar k ep at   th eir   d ef au lt  v alu es  in   Py th o n ,   with   th SVM  u s in g   C =1   an d   an   R B k er n el.   T h class ical  PC p r o ce d u r e   in clu d es th f o llo win g   s tep s   [ 1 ] ,   [ 1 3 ] :   -   Data   s tan d ar d izatio n : Stan d ar d ize  th in p u t d ata  [ 1 4 ]   a n d   tr a n s f o r m   th em   in to   p r in cip al  co m p o n e n ts   -   Var ian ce   a n aly s is An aly ze   eig en v alu es  [ 1 5 ]   an d   eig e n v ec to r s   [ 1 6 ]   to   d ete r m in th e   p r o p o r tio n   o f   v ar ian ce   ea c h   p r in cip al   co m p o n en e x p lain s .   C alcu late  t h cu m u lativ v ar ian ce   ex p lain e d   b y   th e   f ir s n   co m p o n en ts .   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8 7 7 6   I n t J I n f   &   C o m m u n   T ec h n o l ,   Vo l.  14 ,   No .   3 Dec em b er   20 25 1 1 3 6 - 1 1 4 5   1138   -   C o m p o n en s elec tio n Select  th s u b s et  o f   c o m p o n en ts   th a ex p lain s   th h ig h est  cu m u lativ v ar ian c e   [ 1 7 ] .   T h is   m et h o d   d if f e r s   f r o m   o th er   ap p r o ac h es  th at  u s cr iter ia  s u ch   as  A I C   o r   B I C   f o r   co m p o n en t   s elec tio n   [ 1 8 ] .   -   Mo d el  t r ain in g   a n d   e v al u atio n Use  th s elec ted   co m p o n e n ts   to   tr ain   an d   test   class if ic atio n   m o d els   ( d ec is io n   tr ee s   an d   SVMs).   I is   im p o r tan to   n o te  th at,   in   th is   clas s ical  ap p r o ac h ,   th s elec ted   co m p o n en ts   ar alwa y s   th f ir s n   co m p o n en ts   in   o r d er   o f   th eir   i n d ex .   T h is   is   b ased   s o lely   o n   th d ec r ea s in g   p r o p o r tio n   o f   v ar ian ce   ex p lain e d   b y   ea ch   s u cc ess iv co m p o n en t.  T h co m p o n e n s elec tio n   p r o ce s s   is   in d ep en d en o f   th cl ass if icatio n   m o d el  u s ed .   Alth o u g h   th e   class ical  PC a lg o r ith m   [ 1 9 ]   is   s im p le  an d   wid ely   ap p lied ,   it  o f ten   p r esen t s   cr itical  lim itatio n m u ltip le  v alid   co m b in atio n s   o f   co m p o n e n ts   m ay   ex p lain   s im ilar   am o u n ts   o f   v ar ian ce   [ 2 0 ] .   T h e   class ical  m eth o d   d o es  n o p r o v id au to m ate d   m ea n s   to   r eso l v th is   am b ig u ity .   R esear ch er s   ar lef to   s elec co m b in atio n   m an u ally ,   r ely in g   o n   p r io r   d o m ain   k n o wled g e ,   liter atu r g u id elin es,  o r   ad   h o h e u r is tics   [ 1 ] .   I n   m an y   ca s es,  h o wev er ,   s u ch   k n o wled g o r   r u les  ar n o av ailab le,   an d   th lack   o f   a   clea r   cr iter io n   ca n   in tr o d u ce   s u b jectiv ity   o r   b ias in to   th an al y s is   [ 2 1 ] ,   [ 2 2 ] .     T o   o v er co m th is   is s u e,   we  p r o p o s a   n o v el   m eth o d   ca lled   ANOV A - B o o ts tr ap p ed - PC [ 9 ] ,   wh ic h   au to m ates  th s elec tio n   o f   th o p tim al  n u m b er   o f   p r in cip al  co m p o n en ts   with in   s tan d ar d   PC A   f r am ewo r k .   T h is   m eth o d   ex ten d s   o u r   p r e v io u s   wo r k   th at  ap p lied   b o o ts tr ap - b ased   co m p o n e n s elec ti o n   in   th co n tex o f   lo g is tic  r eg r ess io n .   I n   th is   s tu d y ,   we  d em o n s tr ate  its   ap p licab ilit y   to   d ec is io n   tr ee   class if ier s   an d   SVM .   W e   r ef er   to   th e   two   im p lem en tatio n s   as:     ANOVA - B o o ts tr ap p ed - PC A - DT : u s in g   d ec is io n   tr ee   class if ier s     ANOVA - B o o ts tr ap p ed - PC A - SVM:  u s in g   SVM   h alg o r ith m   u tili ze s   ex is tin g   Py th o n   f u n cti o n s ,   in clu d in g   SVC ( ) ,   Dec is io n T r ee C lass if ie r ( ) ,   PC A( )   f r o m   s k lear n . d ec o m p o s itio n ,   an d   Pip elin e   f r o m   s k lear n ,   to   i n co r p o r ate  ANOV f ea tu r s elec tio n .   Ad d itio n ally ,   we   d ev el o p ed   cu s to m   s cr ip to   im p lem en th te n f o ld   b o o ts tr ap   p r o ce d u r e,   o r ig in ally   in tr o d u ce d   in   o u r   p r io r   s tu d y   [ 1 0 ] .   W h ile  ea r lier   b o o ts tr ap   s tu d ies  [ 1 1 ] ,   [ 1 2 ]   f o cu s e d   o n   its   u s as  a   r esam p lin g   tech n i q u in   s tatis tical  an aly s is ,   th ey   d id   n o ex p lo r its   p o ten tial  b e n ef its   in   m ac h in lear n i n g .   Ou r   p r e v io u s   wo r k   [ 1 0 ]   ad d r ess ed   th is   g ap   b y   d em o n s tr atin g   h o th b o o ts tr ap   ca n   b ad a p ted   to   class if icatio n   task s .   W n o f u r th er   e x ten d   th is   b y   i n teg r ati n g   b o o ts tr ap   in t o   PC f o r   a u to m ated   co m p o n en t   s elec tio n .   T h ANOV A - B o o ts tr ap p ed - PC alg o r ith m   p r o ce ed s   th r o u g h   th f o llo win g   s tep s :   a)   Stan d ar d izatio n : Stan d ar d ize  t h in p u d ata  ( as in   th class ical  ap p r o ac h ) .   b)   PC t r an s f o r m atio n : A p p ly   P C to   th s tan d ar d ized   d ata.   c)   No r m aliza tio n No r m alize   th r esu ltin g   p r in cip al  co m p o n en ts   to   th [ 0 ,   1 ]   r an g to   elim in ate  n eg ativ e   v alu es.   d)   ANOVA  r an k in g Per f o r m   ANOV to   r an k   th p r in cip al  co m p o n en ts   b y   im p o r tan c e.   Un lik th e   class ical  m eth o d ,   co m p o n en ts   ar s elec ted   b ased   o n   ANOV r an k in g   r ath er   th an   in d ex   o r d er ,   a n d   th e   r an k in g   r em ain s   in d e p en d e n o f   th class if icatio n   m o d el.   e)   Per ce n tile  Gr o u p in g :   Div id e   th co m p o n en ts   in to   p er ce n tiles   ( 1 0 %,  2 0 %,  . . . ,   1 0 0 %),   wh er ea c h   p er ce n tile c o n tain s   th t o p   n   c o m p o n en ts   b ased   o n   ANOV r an k in g s .   f)   B o o ts tr ap p ed   r esam p lin g Fo r   ea ch   p er ce n tile,  s p lit  th e   d ata   in to   tr ain in g   an d   test in g   s ets  u s in g   a   7 0 /3 0   r atio ,   r ep ea ted   v ia  th ten f o ld   b o o ts tr ap   [ 1 0 ] .   g)   Mo d el  t r ain in g   an d   e v alu atio n Fo r   ea ch   p er ce n tile  g r o u p ,   tr ain   an d   ev alu ate  ten   m o d els  ( b o th   SVM  an d   d ec is io n   tr ee   class if ier s ) .   C a l cu late  th av er ag ac cu r ac y   an d   class if icatio n   s co r es  ac r o s s   b o o ts tr ap   s am p les.   h)   C o m p o n en s elec tio n I d e n tif y   th p er ce n tile  ( i.e . ,   co m p o n en co m b i n atio n )   th at  y ield s   th h ig h est  class if icatio n   p er f o r m an ce .   T h is   d ef in es th o p tim al  n u m b er   o f   co m p o n e n ts   f o r   ea c h   m o d el.       3.   RE SU L T S AN D I SCU SS I O N     T o   co n d u ct  th ex p er im e n ts ,   we  u s th r ee   p u b li cly   av ailab l d atasets   [ 2 3 ] - [ 2 5 ] .   W d ef in an d   Y   v ar iab les,  wh er is   tar g et  v ar iab le  th at  r e p r esen ts   ca teg o r ies.  As  PC i s   co n d u cted   o n ly   o n   in d ep e n d en t   v ar iab les,  th tar g et  v ar ia b le  is   ex clu d ed   f r o m   th e x p er i m en ts .   All  r esu lts   p r esen ted   i n   s ec t io n   3   r elate   to   th co n n ec tio n   am o n g   th v ar iab les  as  ea ch   p r in cip al  co m p o n e n f o r m s   lin ea r   c o m b in atio n   o f   f ea tu r e s   th at  co n tain s   as  m u ch   in f o r m atio n   ab o u th d ata  as  p o s s ib le.   T h aim   is   to   f in d   th m o s in f o r m ativ s et  o f   p r in cip al  co m p o n en ts   b y   d is co v er in g   th s et  o f   p r in cip a co m p o n en ts   with   th h ig h est  v ar ian ce   [ 1 6 ] .   T h er ef o r e,   th e   class ical  ap p r o ac h   p r o d u ce s   ta b le,   wh e r th p er ce n tag e   o f   v a r ian ce   ex p lain e d   o f   ea c h   p r in cip al  co m p o n en is   ca lcu l ated   ( o f   v ar   ex p lain e d ) .   T h m o s in f o r m ativ e   s et  o f   p r in cip al  co m p o n en ts   co n s is ts   o f   th f ir s p r in cip al   co m p o n en ts ,   wh i ch   c o n tr ib u te  th m o s to   th to tal  v ar ia n ce   ex p lain e d .   T h is   cr iter io n   is   r ef er r e d   to   as  cu m u lativ p er ce n ta g ex p lain e d .   Ho wev er ,   wh en   th e   to tal  v ar ian ce   ex p lain e d   f o r   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J I n f   &   C o m m u n   T ec h n o l     I SS N:   2252 - 8 7 7 6       Th b o o ts tr a p   p r o ce d u r fo r   s elec tin g   th n u m b er o f p r in cip a l c o mp o n e n ts   in   P C A   ( B o r is la va   To leva )   1139   two   o r   m o r e   s ets  o f   p r in cip al   co m p o n en ts   is   s im ilar ,   s elec t in g   th e   co r r ec n u m b er   o f   p r i n cip al  co m p o n e n ts   m ay   n o b e   s tr aig h tf o r wa r d .   On   th e   o th er   h an d ,   t h p r o p o s ed   a p p r o ac h   i n   th is   p a p er   elim in ates  th e   in v o lv em e n o f   t h r esear ch e r   as  it  p r o v id es  a n   au to m atic  s elec tio n   o f   th e   n u m b er   o f   p r i n cip al  co m p o n en ts   r eg ar d less   o f   t h to tal  v ar ian c ex p lain ed .   T h e   r esu lts   f r o m   th two   ap p r o ac h es  a r s u m m ar ized   b y   d ataset  in   th n ex t su b s ec tio n s .     3 . 1 .     T he  E da t a s et   [ 2 3 ]   T ab le  1   co n tain s   th o u tp u f r o m   th e   class ical  ap p r o ac h   t h at  ca lcu lates  th co n tr ib u tio n   o f   ea ch   p r in cip al  co m p o n e n t to   th v a r ia n ce   ex p lain ed   a n d   th cu m u lativ p er ce n tag ex p lain ed   f o r   th f ir s t n   n u m b e r   o f   p r i n c i p a l   c o m p o n e n t s .   T h e   p e r c e n t a g e   o f   v a r i a n c e   e x p l a i n e d   i s   c a l c u l a t e d   b y   e i g e n v a l u e s   a n d   e i g e n v e c t o r s   [ 1 6 ] .         T ab le  1 .   Prin cip al  c o m p o n en ts   n u m b e r   ac co r d in g   t o   th class ical  ap p r o ac h       o f   v a r   e x p l a i n e d       v a r   e x p l a i n e d ,   c u m u l a t i v e l y   %   P C   1   5 7 . 5 %   P C 1 + P C 2   9 7 . 4 %   P C   2   3 9 . 9 %   P C 1 + P C 2 + P C 3   9 9 . 9 %   P C   3   2 . 5 %   P C 1 + P C 2 + P C 3 + P C 4   1 0 0 %   P C   4   0%   P C 1 + P C 2 + P C 3 + P C 4 + P C 5   1 0 0 %   P C   5   0%           S o u r c e :   a u t h o r s rese a r c h       T ab le  1   s h o ws  th at  t h f ir s p r in cip al  co m p o n e n co n tr i b u te s   th m o s to   th d ata  v a r ian c ( 5 7 . 9 %),   f o llo wed   b y   th e   s ec o n d   ( 3 9 . 9 %)  an d   th e   th ir d .   T h e   f ir s two   p r in cip al   co m p o n en ts   to g eth e r   ac co u n f o r   9 7 . 4 %   o f   th e   v a r ian ce   in   d ata,   wh i le  th f i r s th r ee 9 9 . 9 %.   T h co n tr i b u tio n   o f   th e   f o u r th   an d   f if th   p r in cip al   co m p o n en is   to o   s m all  to   b e   co n s id er ed .   I n   th is   ca s e,   th e   b o o k   r u le   [ 1 6 ]   a d v is es  to   s elec th co m b in atio n   th at  r esu lts   in   th h ig h est  cu m u lativ v ar ian ce   e x p lain ed .   T h is   wo u ld   b th f ir s th r ee   p r i n cip al  co m p o n en ts .   W h en   we  u s th f ir s th r ee   p r in cip al  co m p o n en ts   to   r u n   th SVMs   wi th   R B k er n el,   t h m o d el  ac h iev es   9 6 . 9 ac cu r ac y .   T h d ec is io n   tr ee   class if ier   ac h iev es  9 8 . 2 %.   Ho wev er ,   th aim   o f   th e   PC A   is   to   p er f o r m   d im e n s io n ality   r ed u ctio n   [ 1 6 ] .   Giv en   th at  th f ir s two   p r in cip al  co m p o n en ts   ac co u n f o r   9 7 . 4 o f   th e   v ar iab ilit y   in   d ata  an d   th v er y   s m all  co n tr ib u tio n   o f   th th ir d   p r in cip al  co m p o n en t,  an o th er   r esear ch er   m a y   s elec th f ir s two   p r in cip al  c o m p o n en ts .   I n   t h i s   ca s e,   s m aller   n u m b e r   o f   p r in cip al  c o m p o n en ts   wo u l d   b e   s elec ted ,   wh ile  th v ar ia n ce   e x p lain ed   wo u ld   b h ig h   en o u g h .   T h ex am p le  o f   th e d   d a taset  d em o n s tr ates  th at  in   s o m ca s es  m o r t h an   o n p r in cip al   co m p o n e n co m b in atio n   is   p o s s ib le.   I n   t h ca s o f   t h e d   d ataset  s elec tin g   two   o r   th r ee   p r in cip al  co m p o n e n ts   wo u ld   n o af f e ct  th o u tco m o f   th m o d el  s ig n if ican tly   d u to   its   s m al n u m b er   o f   co m p o n e n ts .   Ho wev er ,   th is s u o f   h o m an y   p r in cip al  co m p o n e n ts   to   s elec an d   av o id   th m an u al  s elec tio n   is   v er y   i m p o r tan t in   d ataset  with   m an y   p r in cip al  co m p o n en ts .     T o   ac h iev an   au t o m atic  s elec tio n   o f   th n u m b er   o f   p r in ci p a co m p o n e n ts ,   we  p r o p o s th ANOV A - B o o ts tr ap p ed - PC clas s if icat io n .   I n   th is   alg o r ith m ,   th im p o r tan ce   o f   th p r in cip al  c o m p o n en ts   is   f ir s t   ca lcu l ated   u s in g   ANOV A.   S i m ilar ly ,   to   th class ical   alg o r ith m ,   th eir   im p o r tan ce   d o es  n o ch an g with   th e   class if icatio n   m o d el  u s ed .   T ab le  2   s u m m ar izes th im p o r tan c o f   th p r in cip al  c o m p o n en ts   in   th ed   d ataset.       T ab le  2 .   I m p o r ta n ce   o f   th p r i n cip al  co m p o n en ts   ac co r d in g   to   th n ew  p r o p o s ed   ap p r o ac h   PC   I mp o r t a n c e   P C 1   1 7 . 1 6 7 7   P C 2   8 . 7 0 9 8 8   P C 3   3 5 5 0 . 9 2   P C 4   4 1 . 9 0 3 8   P C 5   8 . 9 5 7 8 9   S o u r c e :   a u t h o r s c a l c u l a t i o n s       Acc o r d in g   t o   T ab le  2 ,   th m o s im p o r tan p r in ci p al  co m p o n en ts   ar th th ir d   o n e,   th f o u r th   an d   th e   f ir s o n e.   A n   im p o tan h ig h li g h is   th at  th is   o u tco m e   is   d if f er en f r o m   th class ical  ap p r o ac h .   T h class ical  ap p r o ac h   id e n tifie s   th e   f ir s n   m o s im p o r tan ce   p r in cip al  c o m p o n e n ts ,   wh er e   th e   f ir s alw ay s   co n tr i b u tes  th e   m o s t,   an d   th e   s ec o n d   is   s ec o n d   in   o r d er .   H o wev er ,   t h n ewl y   p r o p o s ed   a p p r o a ch   o b s er v es  th im p o r tan ce   o f   ea ch   p r in cip al  co m p o n en s ep ar ately   an d   t h eir   im p o r tan ce   d o es  n o d ep e n d   o n   th eir   p lace   in   th d ataset.   T h e   im p o r tan ce   o f   ea ch   p r in cip al   co m p o n en r em ai n s   th s am r eg ar d less   o f   th class if i ca tio n   m o d el  u s ed .     T ab le  3   s h o ws  h o m an y   p r i n cip al  co m p o n e n ts   ar e   s elec ted   u s in g   th e   ANOV A - B o o ts tr ap p ed   class if icatio n   alg o r ith m   wh e n   th SVM   an d   th d ec is io n   tr ee   class if ier   ar f itted .   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8 7 7 6   I n t J I n f   &   C o m m u n   T ec h n o l ,   Vo l.  14 ,   No .   3 Dec em b er   20 25 1 1 3 6 - 1 1 4 5   1140   T ab le  3 .   Nu m b er   o f   p r in cip al  co m p o n en ts   s elec ted   u s in g   th e   ANOVA - bo o ts tr ap p ed   class if icatio n   in     SVM  an d   DT   P e r c e n t i l e   N u mb e r   o f   P C s   A c c u r a c y   o f   D T   A c c u r a c y   S V M   1 0 %   0 . 5   9 6 . 5 %   9 7 . 4 %   2 0 %   1   9 6 . 5 %   9 7 . 4 %   3 0 %   1 . 5   9 8 . 3 %   9 8 . 2 %   4 0 %   2   9 8 . 3 %   9 8 . 2 %   5 0 %   2 . 5   9 8 . 3 %   9 8 . 2 %   6 0 %   3   9 9 . 2 %   9 7 . 5 %   7 0 %   3 . 5   9 9 . 2 %   9 7 . 5 %   8 0 %   4   9 9 . 2 %   9 7 . 6 %   9 0 %   4 . 5   9 9 . 2 %   9 7 . 6 %   1 0 0 %   5   9 9 . 3 %   9 6 . 8 %   S o u r c e :   a u t h o r s c a l c u l a t i o n       I n   th e   ca s o f   th e   d ec is io n   tr ee   class if ier ,   th th r ee   m o s i m p o r tan t   p r in ci p al  co m p o n en ts   th at  ar s elec ted   ar th f o u r th ,   th ir d   a n d   f ir s ( T ab le  3 ) .   Usi n g   th is   co m b in atio n ,   th d ec is io n   th r ee   class if ier   ac h iev es   th h ig h est  ac cu r ac y   o f   9 9 . 2 %,  wh ile  r etain in g   th s m allest  p o s s ib le  co m b in atio n   o f   p r in cip al  co m p o n en ts   ( p er f o r m in g   d i m en s io n ality   r e d u ctio n ) .   Alth o u g h   th ac c u r a cy   o f   9 9 . 2 ca n   also   b ac h iev ed   b y   ad d in g   th e   f if th   p r in cip al  co m p o n en ( as  it  is   th f o u r th   m o s im p o r t an t) ,   th is   co m b in atio n   wo u ld   u s m o r p r i n cip al   co m p o n en ts   th an   o p tim al  f o r   d im en s io n ality   r ed u ctio n .   T h er ef o r e,   s elec tin g   th f o u r th ,   th ir d   a n d   f ir s p r in cip al  c o m p o n en ts   a r t h b est  co m b in atio n   f o r   ac h i ev in g   t h h ig h est  ac cu r ac y   in   th e   d ec is io n   tr ee   class if ier .     Usi n g   th p r o p o s ed   alg o r ith m ,   th ca s f o r   th SVM  is   d if f er en t.  T a b le  3   s h o ws  th at  th h ig h est   ac cu r ac y   ( 9 8 . 2 %)  f o r   th SV m o d el  ca n   b ac h iev ed   u s i n g   o n ly   2   p r in cip al  co m p o n e n ts ,   th ese  b ein g   th e   th ir d   an d   th f o u r th   ( T a b le  2 ) .   T h th ir d   an d   th f o u r th   p r in cip al  co m p o n en ts   ar th b est  s elec tio n   f o r   th SVM  f o r   th r ee   r ea s o n s .   First,   th ey   ar th m o s im p o r tan o n es  ac co r d in g   to   T ab le  2 .   Seco n d ,   th ey   p r o d u ce   th h ig h es t a cc u r ac y   f o r   th S VM .   T h ir d ,   th SVM  ac cu r ac y   u s in g   th two   an d   th r ee   m o s t im p o r tan t p r in cip al   co m p o n en ts   is   s im ilar .   T h er e f o r e,   th th ir d   m o s im p o r tan p r in cip al  co m p o n en ts   d o es  n o ad d   ad d itio n al   in f o r m atio n   to   th m o d el.   T h is   r esu lt d if f er s   f r o m   th class ical  ap p r o ac h .   I n   th class ical  ap p r o ac h   t h n u m b er   o f   p r i n cip al  co m p o n e n ts   s elec ted   is   th s am r eg ar d less   o f   th class if icatio n   m o d el  u s ed .   Ho wev er ,   o u r   ap p r o ac h   s elec ts   th n u m b er   o f   p r in cip al  c o m p o n en ts   th at  wo u ld   p r o d u ce   th b est  a cc u r ac y   g iv e n   t h class if icatio n   m o d el  u s ed .   Ou r   alg o r ith m   ca n   b u s ed   to   s elec th co m b in atio n   o f   p r in cip al  co m p o n e n ts   th at   wo u ld   im p r o v e   th m o d el’ s   p er f o r m an ce .   Fo r   in s tan ce ,   t h class ical  ap p r o ac h   r esu lted   in   9 6 . 9 ac cu r ac y   f r o m   th e   SVM  u s in g   th f ir s 3   p r in cip al  c o m p o n en ts .   T h ANOV A - b o o ts tr ap p ed - P C S VM   ac h iev ed   9 8 . 2 ac c u r ac y   u s in g   o n l y   t h f ir s two   m o s im p o r tan t   p r in cip al  co m p o n en ts .   T h e   alg o r ith m   we   p r o p o s e   im p r o v e d   th e   ac cu r ac y   r esu lt in g   f r o m   t h class ical  PC SVM  b y   1 . 3 an d   it  p er f o r m ed   d im e n s io n ality   r ed u ctio n   b etter   as  it  u s es  o n l y   2   p r i n cip al  c o m p o n en ts .   T h er ef o r e,   th e   p r o p o s ed   alg o r it h m   ca n   b e   u s ed   n o o n ly   to   au to m atica lly   s elec th n u m b er   o f   p r i n cip al  co m p o n en ts ,   b u it  also   im p r o v es  th p er f o r m an ce   o f   t h m o d el  an d   p e r f o r m   d im en s io n ality   r ed u ctio n   b etter .   Similar   ca s is   o b s er v ed   with   th d ec i s io n   tr ee   class if ier ,   wh er th e   class ical  PC ap p r o ac h   r esu lted   in   9 8 . 2 ac cu r ac y   u s in g   th r ee   p r in ci p al  co m p o n en ts ,   w h ile  th e   p r o p o s ed   alg o r it h m   ac h iev e d   9 9 . 2 ac cu r ac y   u s in g   3   p r in c ip al  co m p o n en ts   ( T ab le   3 ) .   I n   th ex am p le  o f   t h e   d ec is io n   tr ee   class if ier ,   th p r o p o s ed   alg o r ith m   p r o v id es  an   au to m atic  s elec tio n   o f   th r ee   p r in cip al   co m p o n en ts ,   elim in atin g   th e   ch o ice  b etwe en   th e   f ir s two   an d   th r ee   p r in cip al   co m p o n e n ts   th at  is   o f f er ed   b y   th class ical   ap p r o ac h .   Als o ,   th e   n ec ess ar y   p r in cip al  co m p o n e n ts   ar au to m atica lly   s elec ted   u s in g   th e   ANOVA - b o o ts tr ap p ed - PC alg o r ith m .     3 . 2 .     T he  f o o d da t a s et   [ 2 4 ]   Similar   r esu lts   ca n   b e   o b s er v ed   in   th f o o d   d ataset.   T ab le   4   s u m m ar izes  th e   co n tr i b u ti o n   o f   ea c h   p r in cip al  c o m p o n en t o   th e   to t al  v ar iab ilit y   o f   d ata  an d   th e   c u m u lativ c o n tr ib u ti o n   ac c o r d in g   to   th class ical  ap p r o ac h .       T ab le  4 .   C lass ical  ap p r o ac h   in   th f o o d   d ataset   PC   o f   v a r   e x p l a i n e d     V a r   e x p l a i n e d ,   c u m u l a t i v e   %   P C   1   4 1 %   P C 1 + P C 2   6 3 . 0 %   P C   2   2 2 %   P C 1 + P C 2 + P C 3   7 9 %   P C   3   1 6 %   P C 1 + P C 2 + P C 3 + P C 4   9 3 %   P C   4   1 4 %   P C 1 + P C 2 + P C 3 + P C 4 + P C 5   1 0 0 %   P C 5   7%           S o u r c e :   a u t h o r s c a l c u l a t i o n s   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J I n f   &   C o m m u n   T ec h n o l     I SS N:   2252 - 8 7 7 6       Th b o o ts tr a p   p r o ce d u r fo r   s elec tin g   th n u m b er o f p r in cip a l c o mp o n e n ts   in   P C A   ( B o r is la va   To leva )   1141   T h o u tp u t   in   T a b le  4   d o es  n o ch an g with   th e   class if icati o n   m o d el   u s ed .   T h e   n u m b er   o f   p r i n cip al   co m p o n en ts   s elec ted   b ased   o n   T ab le  4   is   th o n to   b u s ed   in   all  clas s if icatio n   m o d els.  T ab le  4   s h o ws  th at  th f ir s f o u r   p r in cip al  co m p o n en ts   h av s ig n if ican co n tr ib u tio n   to   th v ar iab ilit y   o f   d ata  ac co u n tin g   f o r   9 3 o f   to tal  v ar ian ce   in   d ata.   Ho wev er ,   if   th f ir s th r ee   p r in cip al  co m p o n en ts   ar s elec te d ,   th en   o n ly   7 9 o f   th v ar iab ilit y   o f   d ata  wo u ld   b ex p lain ed .   I n   th is   ca s e,   th an s wer   is   s tr aig h tf o r war d ,   s o   th f ir s f o u p r in cip al  co m p o n e n ts   s h o u ld   b s elec ted .   Selectin g   th f ir s t th r ee   wo u ld   lead   to   s ig n i f ican t lo s s   o f   im p o r tan t   in f o r m atio n .   T ab le  4   d em o n s tr ates  th at  in   th ca s o f   th f o o d   d ataset.   T h s elec tio n   o f   p r in cip al  co m p o n en ts   f o llo win g   t h class ical  ap p r o a c h   is   o b v io u s .   Ho wev er ,   th d im en s io n ality   r e d u ctio n   is   n o ef f ec tiv e   as  o n ly   o n p r in cip al  c o m p o n en s h o u ld   b r em o v ed   f r o m   th e   class if icatio n   m o d el  ac co r d i n g   to   th class ical   ap p r o ac h .   T h er ef o r e,   in   c o m p l ex   m o d els  b etter   s et  o f   p r in c ip al  co m p o n en ts   m ig h b th e   f ir s th r ee   b u th at   wo u ld   co m at  t h co s o f   s o m lo s s   in   d ata   in f o r m atio n .   T h er ef o r e ,   th e   r esear ch er   s h o u l d   d ec id e   wh eth er   to   u s th f ir s t th r ee   o r   f ir s t f o u r   p r in cip al  co m p o n e n ts   d ep en d i n g   o n   th p u r p o s o f   th eir   task .     An o th er   d is ad v an tag e   o f   th e   class ical  ap p r o ac h   is   th at  th r esear ch er   d o es  n o k n o w   wh eth er   a   s tr aig h tf o r war d   s elec tio n   o f   p r in cip al  co m p o n en ts   wo u l d   b p o s s ib le  b ef o r r u n n in g   th e   class ical  alg o r ith m .   T h is   m ak es  th class ical  ap p r o ac h   in ef f icien as  it  ca n   lead   t o   tim co n s u m i n g   d ec is io n s   an d   m an u al  s elec tio n   in   b ig   d atasets .   Als o ,   b ias  ca n   b e   in tr o d u ce d   in   th m o d el   i n   ca s es  wh er e   th e   d ec is io n   a b o u th e   n u m b er   an d   s et  o f   p r in cip al  co m p o n en ts   s h o u ld   in v o lv th r esear ch e r .   T h n ewly   p r o p o s ed   ap p r o ac h ,   h o wev er ,   r a n k s   th im p o r ta n ce   o f   p r i n cip al  co m p o n en ts ,   wh ile  p r o d u cin g   ta b le  b ased   o n   wh ic h   id en tif y in g   th co m b in atio n   th at  r esu lts   in   th h i g h est  ac c u r ac y   is   p o s s ib le.   T h is   lead s   to   an   au t o m atic  an d   s tr aig h tf o r war d   s elec tio n   o f   p r in cip al  c o m p o n en ts .   T ab le  5   d em o n s tr ates  th e   im p o r tan c o f   th e   p r in ci p al  co m p o n en ts   r esu ltin g   f r o m   th e   ANOV s tep   in   o u r   alg o r ith m   f o r   th e   f o o d   d ataset.       T ab le  5 .   Prin cip al  c o m p o n en ts   im p o r tan ce   ac c o r d i n g   to   t h n ew  ap p r o ac h   f o r   th f o o d   d ata s et   PC   I mp o r t a n c e   P C 1   7 0 8 . 4 4 4   P C 2   6 7 7 . 1 5   P C 3   1 2 0 2 . 3 7   P C 4   3 5 . 5 8 1 1   P C 5   1 . 1 7 5 7 6   S o u r c e :   a u t h o r s c a l c u l a t i o n       Acc o r d in g   to   T ab le  5 ,   f o r   th e   f o o d   d ataset  th e   f ir s m o s im p o r tan t   p r in cip al   co m p o n e n i s   th th ir d   o n e,   th en   th f ir s t,  s ec o n d ,   f o u r th   an d   f if th .   T h e   co m b i n atio n   o f   p r i n cip al  co m p o n en ts   th at  s h o u ld   b u s ed   f o r   th SVM  an d   DT   ac co r d in g   t o   th p r o p o s ed   ap p r o ac h   is   d em o s n tr at ed   in   T ab le  6.       T ab le  6 .   R esu lts   f r o m   th AN OVA - B o o ts tr ap p ed   PC clas s if icatio n   P e r c e n t i l e   N u mb e r   o f   f e a t u r e s   A c c u r a c y   o f   D T   A c c u r a c y   o f   S V M   1 0 %   0 . 5   7 8 . 8 %   8 6 . 2 %   2 0 %   1   7 8 . 8 %   8 6 . 2 %   3 0 %   1 . 5   8 1 . 8 %   8 6 . 2 %   4 0 %   2   8 1 . 8 %   8 6 . 2 %   5 0 %   2 . 5   8 1 . 8 %   8 6 . 2 %   6 0 %   3   8 3 . 4 %   8 6 . 2 %   7 0 %   3 . 5   8 3 . 4 %   8 6 . 2 %   8 0 %   4   8 3 . 9 %   8 6 . 2 %   9 0 %   4 . 5   8 3 . 9 %   8 6 . 2 %   1 0 0 %   5   8 3 . 5 %   8 6 . 2 %   S o u r c e :   a u t h o r s c a l c u l a t i o n s       T h p r o p o s ed   alg o r i th m   ac h i ev es  ac cu r ac y   o f   8 3 . 9 f r o m   th DT   u s in g   th e   f o u r   m o s im p o r tan t   p r in cip al  c o m p o n en ts   in   t h f o o d   d ataset,   wh ile  th class ical  ap p r o ac h ac c u r ac y   o f   8 3 . 2 u s in g   th e   f ir s f o u r   p r in cip al  co m p o n e n ts .   T h A NOVA - b o o ts tr ap p ed - PC alg o r ith m   p r o d u ce s   h ig h er   ac cu r ac y   wh en   u s ed   with   th f o u r   m o s im p o r ta n v a r ia b les  b ased   o n   th ANOV r a n k in g .   As  T ab les  4   a n d   5   d e m o n s tr ate  th s ets  o f   f o u r   p r in cip al   co m p o n e n ts   f o r   th d ec is io n   tr ee   class if ier   v a r y   in   th two   ap p r o ac h es.  T h e   class ical  ap p r o ac h   u s es  th f ir s f o u r   p r in cip al  c o m p o n en ts   th at  h av t h h ig h es  to tal  v ar ian ce   ex p lain e d   ( T ab le  3 ) ,   wh ile  th e   p r o p o s ed   alg o r ith m   u s es  th f o u r   m o s im p o r tan t   p r i n cip a co m p o n en ts   b ased   o n   t h eir   ANOV s co r in   T ab le  th SVM s ,   o n   th o t h er   h an d ,   r esu lts   in   8 6 . 2 ac cu r ac y   wh en   th p r o p o s ed   al g o r ith m   is   ap p lied   ( T ab le  6 ) .   T ab l 6   s h o ws  th at  r eg ar d less   o f   th e   n u m b er   o f   p r in cip al  co m p o n en ts   u s ed ,   th e   ac cu r ac y   ac h iev e d   b y   th p r o p o s ed   SVM  m o d el  i s   8 6 . 2 %.  T h er ef o r e,   f itti n g   SV with o n ly   1   p r i n cip al  co m p o n en r esu lts   in   th e   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8 7 7 6   I n t J I n f   &   C o m m u n   T ec h n o l ,   Vo l.  14 ,   No .   3 Dec em b er   20 25 1 1 3 6 - 1 1 4 5   1142   b est  ac cu r ac y   ac co r d i n g   to   th ANOVA - b o o ts tr ap p ed - PC ap p o r ac h   wh ile  th class ical  ap p r o ac h   ac h iev es  9 0 u s in g   4   p r in cip al  co m p o n en ts .   T h r ea s o n   f o r   th is   d is cr ep an cy   is   th at  th f o o d   d ata s et  h as  im b alan ce d   class es,  s o   th p r o p o s ed   ap p r o ac h   with   SVM  is   n o ap p r o p r iate  in   th is   ca s e.   C lass   1   c an n o t   b e   co r r ec tly   p r ed icted   as  it  h as  v er y   f ew  o b s er v atio n s .   T h is   is   n o th ca s f o r   th d ec is io n   tr ee   class if ier ,   wh ich   ac co u n ts   f o r   th im b alan ce d   class es  a n d   p r e d icts   b o th   class es  co r r ec tly .   Ho wev er ,   th p r ed ictio n   o f   class   1   in   th p r o p o s ed   m eth o d o lo g y   is   wo r s th an   in   th e   class ical  ap p r o a ch .   T h is   ca n   b s ee n   in   T a b le  7   th at  co m p ar es  th e   class if icatio n   m etr ics  f r o m   th SVM  an d   DT   r esu ltin g   f r o m   th class ical  ap p r o ac h   an d   th p r o p o s ed   n ew   ap p r o ac h .   T ab le  7 ( a)   s h o ws  th at   th class ic  P C S VM   p r ed icts   co r r ec tly   ab o u 9 0 . 5 o f   c lass   0   an d   8 1 . 3 %   o f   class   1   d esp ite  th im b alan ce d   class es.  Ho wev er ,   th is   is   n o th ca s in   th ANOVA - B o o ts tr ap p e d - PC A   SVM  as  it  p r ed icts   well  th p r ed o m in a n class   0   b u f ails   t o   p r ed ic th m in o r ity   class   1 .   T ab le  7 ( b )   s h o ws  th at  th class ic  PC d ec is io n   tr ee   co r r ec tly   p r ed icts   class   1   in   ab o u 3 9 o f   th ca s es,  wh ich   is   s im ilar   to   th e   p r o p o s ed   ap p r o ac h .   T h d ec is io n   tr ee   class if ier   in   b o th   ca s es  g iv es  s im ilar   m ea s u r es   d esp ite  th clas s   im b alan ce .         T ab le  7 .   C lass if icat io n   m etr ics o f   th ( a)   SVM  an d   ( b )   DT   r e s u ltin g   f r o m   t h class ical  ap p r o ac h   an d   th p r o p o s ed   alg o r ith m   ( a)   C l a s si c   P C A   S V M   P r e c i s i o n   R e c a l l   f1 - sco r e   S u p p o r t   0   9 0 . 5 %   9 8 . 6 %   9 4 . 4 %   2 0 6 2 4   1   8 1 . 3 %   3 6 . 5 %   5 0 . 3 %   3 3 4 7             a v g / t o t a l   8 9 . 2 %   9 0 . 0 %   8 8 . 3 %   2 3 9 7 1                       A N O V A   B O O TSTRAP P ED   P C A   S V M   p r e c i si o n   r e c a l l   f1 - sco r e   su p p o r t   0   8 6 . 2 %   1 0 0 . 0 %   9 2 . 6 %   1 0 2 5 6   1   0 . 0 %   0 . 0 %   0 . 0 %   1 6 4 5             a v g / t o t a l   7 4 . 3 %   8 6 . 2 %   7 9 . 8 %   1 1 9 0 1     ( b )   C l a s si c   P C A                 C l a s s   P r e c i s i o n   R e c a l l   f1 - sco r e   S u p p o r t   0   9 1 %   8 9 %   9 0 %   2 0 6 2 4   1   3 9 %   4 3 %   4 1 %   3 3 4 7   a v g / t o t a l   8 3 %   8 3 %   8 3 %   2 3 9 7 1                                           A N O V A   B O O TSTRAP P ED   P C A   D T               0   8 9 %   8 9 %   8 9 %   1 0 2 2 6   1   3 4 %   3 3 %   3 4 %   1 6 6 9   a v g / t o t a l   8 2 %   8 2 %   8 2 %   1 1 9 0 1   S o u r c e :   a u t h o r s c a l c u l a t i o n s       I n   th ca s o f   im b alan ce d   d a ta,   we  d o   n o r ec o m m en d   u s in g   th p r o p o s ed   ap p r o ac h   with   SVM Fu r th er   r esear ch   s h o u ld   b co n d u cted   t o   ex p l o r th p er f o r m an ce   o f   t h p r o p o s ed   al g o r it h m   o n   i m b alan ce d   d ata  an d   o t h er   class if icatio n   m o d els  th at  ca n n o co m p e n s ate  f o r   im b alan ce d   class es.  T h d ec is io n   tr ee   class if ier ,   h o wev er ,   is   a p p r o p r iate  to   u s with   th e   p r o p o s ed   ANOVA - b o o ts tr ap p ed - P C in   im b alan ce d   d atasets .     3 . 3 .     T he  f ra ud   da t a s et   [ 2 5 ]   T h Fra u d   d ataset  h as  5   p r in c ip al  co m p o n en ts .   I ts   class es  a r r elativ ely   b alan ce d   as  was  in   th E d   d ataset.   T ab le  8   s h o ws  th co n tr ib u tio n   o f   ea ch   p r in cip al  co m p o n e n to   th to tal  v ar ian ce   o f   d ata  ac co r d in g   to   th class ical  ap p r o ac h .   T h f i r s th r ee   p r in cip al  co m p o n en t s   ac co u n f o r   9 6 . 7 p er ce n o f   th v ar iab ilit y   o f   d ata.   T h ey   a r u s ed   to   f it th S VM   an d   DT   class if ier s .   T h class ical  PC r esu lts   in   9 6 . 7 ac cu r a cy   wh e n   th e   d ec is io n   tr ee   class if ier   is   f itted   u s in g   th f ir s th r ee   p r in cip al  co m p o n en ts   ( T ab le  8 )   an d   in   7 5 . 8 wh en   th SVM   cla s s if ier   is   f it ted   with   th s am p r in cip al  co m p o n en ts   lik in   th d ec is i o n   tr ee   class if ier .   As  T ab le  9   s h o ws  th p r o p o s ed   ANOV A - B o o ts tr ap p ed - PC SVM  an d   DT   p er f o r m   b etter   th an   th class ical  ap p r o ac h .   As  T ab le  9   s h o ws  th b o o ts tr ap p ed   PC d ec is io n   tr ee   ac h iev ed   9 8 . 1 ac cu r ac y   u s in g   3   p r in cip al   co m p o n en ts   ( th s ec o n d ,   th ir d   an d   f o u r th   as  T ab le  1 0   s h o ws),   wh ich   is   1 . 4 p . p .   h ig h er   th an   th class ical   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J I n f   &   C o m m u n   T ec h n o l     I SS N:   2252 - 8 7 7 6       Th b o o ts tr a p   p r o ce d u r fo r   s elec tin g   th n u m b er o f p r in cip a l c o mp o n e n ts   in   P C A   ( B o r is la va   To leva )   1143   ap p r o ac h .   W h ile  th SVM  r es u lted   in   ac cu r ac y   o f   7 6 . 9 u s in g   2   p r in ci p al  co m p o n en ts ,   wh ich   is   b y   1 . 1   p . p .   h ig h er   th an   th class ic  PC S VM   ap p r o ac h .   T h class if icati o n   s co r es  ar s im ilar   f o r   th class ic  an d   p r o p o s ed   ap p r o ac h   as it is in   th ed   d ata s et.     W h en   class es  ar b alan ce d ,   th ANOV A - B o o ts tr ap p ed   PC class if icatio n   ca n   s elec th e   n u m b er   o f   p r in cip al  co m p o n e n ts   au to m at ically   an d   in   m an y   ca s es  im p r o v th ac c u r ac y   o f   th m o d el.   As  T ab les  3,   6 ,   an d   9   d em o n s tr ate  th p r o p o s ed   alg o r ith m   ca n   also   b u s ed   to   co m p ar th p er f o r m an ce   o f   d if f e r en t   class if icatio n   m o d els  u s in g   d if f er en n u m b er s   o f   p r in cip al  c o m p o n e n ts .   d ec is io n   n o o n ly   ab o u th n u m b e r   o f   p r in cip al   co m p o n e n ts   b u t   a ls o   ab o u t   wh at   m o d el   to   u s c an   b e   m a d e.   T h p r o p o s ed   alg o r ith m   ca n   also   b e   u s e d   f o r   m o d el  s elec tio n .     T h p r o p o s ed   alg o r ith m   is   n o v el  ap p r o ac h   to   s elec tin g   th n u m b e r   o f   p r i n cip al  co m p o n en ts   f o r   class if icatio n .   T h ANOV A - B o o ts tr ap p ed - PC A   c lass if icat i o n   alg o r ith m   p r o v id es  f ast  a n d   ef f ec tiv way   to   s elec th n u m b er   o f   p r in cip a co m p o n e n ts   an d   im p r o v th ac cu r ac y   o f   th m o d el.   I c an   also   b u s ed   f o r   m o d el  s elec tio n   as  th e   p er f o r m an ce   o f   s ev e r al  class if icatio n   m o d els  ca n   b e   co m p ar ed .   B ased   o n   th e   ac cu r ac y   an d   n u m b er   o f   p r in cip al  c o m p o n en ts   s elec ted ,   o n class if icatio n   m o d el  ca n   b e   s elec ted   o v er   a n o th er   o n e.   Ho wev er ,   th al g o r ith m   p er f o r m s   well  o n ly   in   d atasets   with   b alan ce d   class es.  I n   ca s o f   i m b alan ce d   d ata,   th ANOVA - B o o ts tr ap p ed - PC alg o r ith m   wo r k s   well   with   th d ec is io n   tr ee   class if ier .   T h d ec is io n   tr ee   class if ier   h an d les  th im b alan ce   in   class e s ,   th er ef o r allo win g   th ANOVA - B o o ts tr ap p ed - PC A   alg o r ith m   to   b co m p etitiv to   th class ical  PC ap p r o ac h .   T h ANOVA - B o o ts tr ap p ed - PC d ec is io n   tr ee   class if ier   o f f er s   au to m atic  s elec tio n   o f   p r in ci p al  co m p o n en ts ,   u n lik th class ical  ap p r o ac h .   Desp ite  t h is   ad v an tag e,   th e   d ec is io n   tr ee   class if ier   is   n o ap p r o p r iate  in   all  ca s es,  s o   th ANOVA - B o o ts tr ap p ed - PC d ec is io n   tr ee   class if ier   ca n n o b a p p li ed   in   all  ca s es  with   im b alan c ed   d ata.   Ho w   th ANOVA - B o o ts tr ap p ed - PC C las s if icatio n   ca n   h an d le  class   im b alan ce   is   to p ic  o f   f u r th er   r esear ch .       T ab le  8 .   Prin cip al  c o m p o n en ts   s elec ted   ac co r d in g   to   th clas s ical  ap p r o ac h   PC   o f   v a r   e x p l a i n e d     v a r   e x p l a i n e d   P C   1   5 3 %   P C 1 + P C 2   8 3 %   P C   2   3 0 %   P C 1 + P C 2 + P C 3   1 0 0 %   P C   3   1 6 %       P C   4   0%       P C   5   0%       S o u r c e :   a u t h o r s c a l c u l a t i o n s       T ab le  9 .   R esu lts   f r o m   th p r o p o s ed   ap p r o ac h   P e r c e n t i l e   N u mb e r   o f   f e a t u r e s   A c c u r a c y   o f   D T   A c c u r a c y   o f   S V M   1 0 %   0 . 4   8 3 . 9 2 %   7 6 . 7 8 %   2 0 %   0 . 8   8 3 . 9 2 %   7 6 . 7 8 %   3 0 %   1 . 2   8 3 . 9 2 %   7 6 . 7 8 %   4 0 %   1 . 6   9 7 . 9 5 %   7 6 . 8 5 %   5 0 %   2   9 7 . 9 5 %   7 6 . 8 5 %   6 0 %   2 . 4   9 7 . 9 5 %   7 6 . 8 5 %   7 0 %   2 . 8   9 8 . 1 4 %   7 5 . 9 8 %   8 0 %   3 . 2   9 8 . 1 4 %   7 5 . 9 8 %   9 0 %   3 . 6   9 8 . 1 4 %   7 5 . 9 8 %   1 0 0 %   4   9 8 . 4 5 %   7 5 . 8 5 %   S o u r c e :   a u t h o r c a l c u l a t i o n s       T ab le  1 0 .   I m p o r tan ce   o f   p r i n cip al  co m p o n en t s   ac co r d in g   t o   t h p r o p o s ed   ap p r o ac h   PC   I mp o r t a n c e   P C 1   1 . 0 6 3 5 6   P C 2   5 6 0 . 4 7 8   P C 3   1 2 6 . 3 8 2   P C 4   3 . 5 8 5 0 4   S o u r c e :   a u t h o r s c a l c u l a t i o n s       4.   CO NCLU SI O N     T h is   r esear ch   d ev elo p s   s i m p le  alg o r ith m   f o r   au to m atic  d etec tio n   o f   th e   n u m b er   o f   p r i n cip al  co m p o n en ts   in   class if icatio n   m o d els.   T h e   ad v a n tag es  o f   th p r o p o s ed   al g o r ith m   in cl u d s tr aig h t f o r war d   s elec tio n   o f   p r in ci p al  co m p o n en ts ,   m o d el  s elec tio n   wh en   n e ce s s ar y   a n d   im p r o v ed   m o d el  p er f o r m a n ce .   Un lik e   th class ical  p r in cip al  co m p o n en ts   an al y s is ,   th e   r esear ch er   ca n   h av e   b etter   o v e r v i ew  o f   th e   m o d el’ s   p er f o r m an ce   g i v en   ea ch   co m b in atio n   o f   p r i n cip al  co m p o n en ts ,   as  well  co m p ar th m o d el’ s   p er f o r m an ce   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8 7 7 6   I n t J I n f   &   C o m m u n   T ec h n o l ,   Vo l.  14 ,   No .   3 Dec em b er   20 25 1 1 3 6 - 1 1 4 5   1144   with   th s am p r in ci p al  co m p o n en ts   b u d if f er en class if icatio n   m o d el.   T h e   ANOV A - B o o ts tr ap p ed - PC class if icatio n   p er f o r m s   b o th   p r in cip al  c o m p o n en ts   s elec tio n   an d   m o d el  s elec tio n .   I m p r o v em en o f   m o d el’ s   ac cu r ac y   is   also   an   ad v an tag e   o f   th e   p r o p o s ed   m o d el.   I n   co n clu s io n ,   we   r ec o m m en d   th e   p r o p o s ed   alg o r ith m   in   ca s es  o f   b alan ce d - class   d atasets   an d   if   p o s s ib le,   th AN OVA - B o o ts tr ap p ed   PC d ec is io n   tr ee   class if ier   in   ca s o f   im b alan ce d   class es.       F UNDING   I NF O R M A T I O N   T h is   r esear ch   h as n o r ec eiv ed   an y   f u n d in g .       AU T H O CO NT RI B UT I O NS ST A T E M E N T     Na m o f   Aut ho r   C   M   So   Va   Fo   I   R   D   O   E   Vi   Su   P   Fu   B o r is lav T o lev a                                 C     C o n c e p t u a l i z a t i o n   M     M e t h o d o l o g y   So     So f t w a r e   Va     Va l i d a t i o n   Fo     Fo r mal   a n a l y s i s   I     I n v e s t i g a t i o n   R     R e so u r c e s   D   :   D a t a   C u r a t i o n   O   :   W r i t i n g   -   O r i g i n a l   D r a f t   E   :   W r i t i n g   -   R e v i e w   &   E d i t i n g   Vi     Vi su a l i z a t i o n   Su     Su p e r v i s i o n   P     P r o j e c t   a d mi n i st r a t i o n   Fu     Fu n d i n g   a c q u i si t i o n         CO NF L I C T   O F   I N T E R E S T   ST A T E M E NT   T h au th o r   d ec lar es n o   co n f lict o f   in ter est .       DATA AV AI L AB I L I T Y   A ll d atasets   u s ed   ar f r ee ly   av ailab le.   L in k s   ar p r o v id e d   in   t h r ef er e n ce s .       RE F E R E NC E   [ 1 ]   G .   Jam e s,  D . W i t t e n ,   T.   H a st i e . ,   a n d   T.   R . ,   A n   i n t r o d u c t i o n   t o   s t a t i st i c a l   l e a r n i n g ,   S p ri n g e r ,   2 0 1 3 .   [ 2 ]   S .   S a l a t a   a n d   C .   G r i l l e n z o n i ,   A   sp a t i a l   e v a l u a t i o n   o f   mu l t i f u n c t i o n a l   e c o sy s t e s e r v i c e   n e t w o r k u si n g   p r i n c i p a l   c o mp o n e n t   a n a l y s i s :   A   c a se  o f   s t u d y   i n   Tu r i n ,   I t a l y ,   Ec o l o g i c a l   I n d i c a t o rs ,   v o l .   1 2 7 ,   p .   1 0 7 7 5 8 ,   A u g .   2 0 2 1 ,   d o i :   1 0 . 1 0 1 6 / j . e c o l i n d . 2 0 2 1 . 1 0 7 7 5 8 .   [ 3 ]   S .   B .   K i m   a n d   P .   R a t t a k o r n ,   U n s u p e r v i se d   f e a t u r e   s e l e c t i o n   u s i n g   w e i g h t e d   p r i n c i p a l   c o mp o n e n t s ,   Ex p e rt   S y s t e m w i t h   Ap p l i c a t i o n s ,   v o l .   3 8 ,   n o .   5 ,   p p .   5 7 0 4 5 7 1 0 ,   M a y   2 0 1 1 ,   d o i :   1 0 . 1 0 1 6 / j . e sw a . 2 0 1 0 . 1 0 . 0 6 3 .   [ 4 ]   A .   P r i e t o - M o r e n o ,   O .   Ll a n e s - S a n t i a g o ,   a n d   E.   G a r c í a - M o r e n o ,   P r i n c i p a l   c o m p o n e n t se l e c t i o n   f o r   d i me n si o n a l i t y   r e d u c t i o n   u si n g   d i scr i mi n a n t   i n f o r m a t i o n   a p p l i e d   t o   f a u l t   d i a g n o s i s,”   J o u r n a l   o f   P ro c e ss  C o n t r o l ,   v o l .   3 3 ,   p p .   1 4 2 4 ,   S e p .   2 0 1 5 ,   d o i :   1 0 . 1 0 1 6 / j . j p r o c o n t . 2 0 1 5 . 0 6 . 0 0 3 .   [ 5 ]   S .   S h a r i f z a d e h ,   A .   G h o d si ,   L.   H .   C l e mm e n s e n ,   a n d   B .   K .   Er sb ø l l ,   S p a r se   s u p e r v i se d   p r i n c i p a l   c o mp o n e n t   a n a l y si ( S S P C A )   f o r   d i m e n s i o n   r e d u c t i o n   a n d   v a r i a b l e   sel e c t i o n ,   E n g i n e e ri n g   Ap p l i c a t i o n s   o f   A rt i f i c i a l   I n t e l l i g e n c e ,   v o l .   6 5 ,   p p .   1 6 8 1 7 7 ,   O c t .   2 0 1 7 ,   d o i :   1 0 . 1 0 1 6 / j . e n g a p p a i . 2 0 1 7 . 0 7 . 0 0 4 .   [ 6 ]   S .   G a j j a r ,   M .   K u l a h c i ,   a n d   A .   P a l a z o g l u ,   S e l e c t i o n   o f   n o n - z e r o   l o a d i n g i n   s p a r s e   p r i n c i p a l   c o m p o n e n t   a n a l y s i s,”   C h e m o m e t r i c s   a n d   I n t e l l i g e n t   L a b o ra t o r y   S y s t e m s ,   v o l .   1 6 2 ,   p p .   1 6 0 1 7 1 ,   M a r .   2 0 1 7 ,   d o i :   1 0 . 1 0 1 6 / j . c h e m o l a b . 2 0 1 7 . 0 1 . 0 1 8 .   [ 7 ]   A .   R a h o ma ,   S .   I mt i a z ,   a n d   S .   A h m e d ,   S p a r se   p r i n c i p a l   c o m p o n e n t   a n a l y si s   u s i n g   b o o t s t r a p   m e t h o d ,   C h e m i c a l   E n g i n e e ri n g   S c i e n c e ,   v o l .   2 4 6 ,   p .   1 1 6 8 9 0 ,   D e c .   2 0 2 1 ,   d o i :   1 0 . 1 0 1 6 / j . c e s. 2 0 2 1 . 1 1 6 8 9 0 .   [ 8 ]   J.  P a c h e c o ,   S .   C a sa d o ,   a n d   S .   P o r r a s ,   Ex a c t   me t h o d f o r   v a r i a b l e   s e l e c t i o n   i n   p r i n c i p a l   c o m p o n e n t   a n a l y si s :   G u i d e   f u n c t i o n s   a n d   p r e - se l e c t i o n ,   C o m p u t a t i o n a l   S t a t i st i c s   a n d   D a t a   A n a l y s i s ,   v o l .   5 7 ,   n o .   1 ,   p p .   9 5 1 1 1 ,   J a n .   2 0 1 3 ,   d o i :   1 0 . 1 0 1 6 / j . c s d a . 2 0 1 2 . 0 6 . 0 1 4 .   [ 9 ]   B .   V r i g a z o v a ,   N o v e l   a p p r o a c h   t o   c h o o s i n g   p r i n c i p a l   c o m p o n e n t n u mb e r   i n   l o g i st i c   r e g r e ssi o n ,   E N T RE N O VA  -   EN T e rp r i se   REse a rc h   I n N O V At i o n ,   v o l .   7 ,   n o .   1 ,   p p .   1 1 2 ,   D e c .   2 0 2 1 ,   d o i :   1 0 . 5 4 8 2 0 / p u c r 5 2 5 0 .   [ 1 0 ]   B .   V r i g a z o v a   a n d   I .   I v a n o v ,   Te n f o l d   b o o t st r a p   p r o c e d u r e   f o r   s u p p o r t   v e c t o r   ma c h i n e s,   C o m p u t e S c i e n c e ,   v o l .   2 1 ,   n o .   2 ,   p p .   2 4 1 2 5 7 ,   A p r .   2 0 2 0 ,   d o i :   1 0 . 7 4 9 4 / c s c i . 2 0 2 0 . 2 1 . 2 . 3 6 3 4 .   [ 1 1 ]   L.   B r e i m a n ,   B e t t e r   su b se t   r e g r e ss i o n   u s i n g   t h e   n o n n e g a t i v e   g a r r o t e ,   T e c h n o m e t r i c s ,   v o l .   3 7 ,   n o .   4 ,   p p .   3 7 3 3 8 4 ,   N o v .   1 9 9 5 ,   d o i :   1 0 . 1 0 8 0 / 0 0 4 0 1 7 0 6 . 1 9 9 5 . 1 0 4 8 4 3 7 1 .   [ 1 2 ]   B .   Ef r o n ,   B o o t s t r a p   me t h o d s:   a n o t h e r   l o o k   a t   t h e   Ja c k k n i f e ,   T h e   An n a l o f   S t a t i st i c s ,   v o l .   7 ,   n o .   1 ,   Ja n .   2 0 0 7 ,   d o i :   1 0 . 1 2 1 4 / a o s/ 1 1 7 6 3 4 4 5 5 2 .   [ 1 3 ]   G .   Jame s,  D .   W i t t e n ,   T .   H a st i e ,   a n d   R .   Ti b s h i r a n i ,   A n   i n t r o d u c t i o n   t o   st a t i s t i c a l   l e a r n i n g   se c o n d   e d i t i o n ,   S p ri n g e T e x t s ,   v o l .   1 0 2 .   T h e   R   F o u n d a t i o n ,   p .   6 1 8 ,   J u l .   2 0 0 6 ,   d o i :   1 0 . 3 2 6 1 4 / c r a n . p a c k a g e . i sl r 2 .   [ 1 4 ]   M .   G a l   a n d   D .   L .   R u b i n f e l d ,   D a t a   st a n d a r d i z a t i o n ,   S S R N   El e c t r o n i c   J o u rn a l ,   2 0 1 8 ,   d o i :   1 0 . 2 1 3 9 / ssr n . 3 3 2 6 3 7 7 .   [ 1 5 ]   H .   R o b e r t   F r o st ,   E i g e n v e c t o r f r o e i g e n v a l u e s p a r s e   p r i n c i p a l   c o m p o n e n t   a n a l y si s ,   J o u rn a l   o f   C o m p u t a t i o n a l   a n d   G ra p h i c a l   S t a t i st i c s ,   v o l .   3 1 ,   n o .   2 ,   p p .   4 8 6 5 0 1 ,   N o v .   2 0 2 2 ,   d o i :   1 0 . 1 0 8 0 / 1 0 6 1 8 6 0 0 . 2 0 2 1 . 1 9 8 7 2 5 4 .     Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J I n f   &   C o m m u n   T ec h n o l     I SS N:   2252 - 8 7 7 6       Th b o o ts tr a p   p r o ce d u r fo r   s elec tin g   th n u m b er o f p r in cip a l c o mp o n e n ts   in   P C A   ( B o r is la va   To leva )   1145   [ 1 6 ]   S .   K a l a i v a n i ,   K .   S i v a k u mar,   a n d   S .   B a l a m u r a l i t h a r a n ,   H i g h e r   o r d e r   p r i n c i p a l   c o m p o n e n t   a n a l y si s   o f   e i g e n   v a l u e w i t h   s p e c i a l   st r u c t u r e c o v a r i a n c e   ma t r i c e s,   i n   AI C o n f e r e n c e   Pr o c e e d i n g s ,   2 0 2 0 ,   v o l .   2 2 7 7 ,   p .   1 5 0 0 0 2 ,   d o i :   1 0 . 1 0 6 3 / 5 . 0 0 2 5 2 4 1 .   [ 1 7 ]   E.   S a c c e n t i   a n d   J.   C a mac h o ,   D e t e r mi n i n g   t h e   n u mb e r   o f   c o m p o n e n t s   i n   p r i n c i p a l   c o mp o n e n t s   a n a l y s i s:   A   c o m p a r i s o n   o f   st a t i st i c a l ,   c r o ss v a l i d a t i o n   a n d   a p p r o x i ma t e d   m e t h o d s,   C h e m o m e t r i c a n d   I n t e l l i g e n t   L a b o r a t o r y   S y s t e m s ,   v o l .   1 4 9 ,   p p .   9 9 1 1 6 ,   D e c .   2 0 1 5 ,   d o i :   1 0 . 1 0 1 6 / j . c h e m o l a b . 2 0 1 5 . 1 0 . 0 0 6 .   [ 1 8 ]   S .   L.   S c l o v e ,   U s i n g   m o d e l   s e l e c t i o n   c r i t e r i a   t o   c h o o se  t h e   n u m b e r   o f   p r i n c i p a l   c o m p o n e n t s,   J o u r n a l   o f   S t a t i st i c a l   T h e o r y   a n d   Ap p l i c a t i o n s ,   v o l .   2 0 ,   n o .   3 ,   p p .   4 5 0 4 6 1 ,   S e p .   2 0 2 1 ,   d o i :   1 0 . 1 0 0 7 / s 4 4 1 9 9 - 0 2 1 - 0 0 0 0 2 - 4.   [ 1 9 ]   Q .   D o n g ,   X .   C h e n ,   a n d   B .   H u a n g ,   P r i n c i p a l   c o m p o n e n t   a n a l y s i s,   I n   Wo o d h e a d   P u b l i sh i n g   S e r i e i n   C i v i l   a n d   S t ru c t u r a l   En g i n e e ri n g ,   D a t a   A n a l y si i n   P a v e m e n t   E n g i n e e r i n g ,   E l se v i e r ,   2 0 2 4 ,   p p .   2 6 3 - 2 7 3 ,   d o i 1 0 . 1 0 1 6 / B 9 7 8 - 0 - 4 4 3 - 1 5 9 2 8 - 2 . 0 0 0 0 7 - 0 .   [ 2 0 ]   E.   H e n r i q u e   N o v o t n y ,   P r i n c i p a l   c o mp o n e n t   a n a l y s i s,  a   mo r e   i n t u i t i v e   v i e w p o i n t ,   i n   C h e m o m e t r i c s:   D a t a   T rea t m e n t   a n d   Ap p l i c a t i o n s ,   El s e v i e r ,   2 0 2 4 ,   p p .   5 1 1 5 2 3 .   [ 2 1 ]   J.  J i a n g ,   P r i n c i p a l   c o m p o n e n t   a n a l y s i s,   a p p l i e d   m u l t i v a r i a t e   s t a t i st i c a l   a n a l y si s   i n   me d i c i n e ,   A c a d e m i c   Pr e ss,   2 0 2 4 ,   p p .   2 6 5 - 3 0 1 ,   d o i 1 0 . 1 0 1 6 / B 9 7 8 - 0 - 4 4 3 - 2 3 5 8 7 - 0 . 0 0 0 0 8 - 1 .   [ 2 2 ]   I .   S i - A h me d ,   L.   H a md a d ,   C .   J.   A g o n k o u i ,   Y .   K a n d e ,   a n d   S .   D a b o - N i a n g ,   P r i n c i p a l   c o m p o n e n t   a n a l y s i o f   m u l t i v a r i a t e   sp a t i a l   f u n c t i o n a l   d a t a ,   B i g   D a t a   Re se a rc h ,   v o l .   3 9 ,   p .   1 0 0 5 0 4 ,   F e b .   2 0 2 5 ,   d o i :   1 0 . 1 0 1 6 / j . b d r . 2 0 2 4 . 1 0 0 5 0 4 .   [ 2 3 ]   EPI C A   d o me  C   i c e   c o r e   8 0 0 K Y r   Te mp e r a t u r e   e st i ma t e d a t a s e t .   h t t p s: / / v i n c e n t a r e l b u n d o c k . g i t h u b . i o / R d a t a se t s / d a t a s e t s . h t m l .   [ 2 4 ]   B u d g e t F o o d .   h t t p s : / / v i n c e n t a r e l b u n d o c k . g i t h u b . i o / R d a t a se t s/ d a t a s e t s . h t m l .   [ 2 5 ]   F i n a n c i a l   f r a u d   d a t a s e t .   h t t p s: / / w w w . k a g g l e . c o m/ c o d e / j e e v a n k i s h o r e / s y n t h e t i c - f i n a n c i a l - d a t a s e t s - f o r - f r a u d - d e t e c t i o n / d a t a .       B I O G RAP H I E S O F   AUTH O RS       Bo r isla v a   T o lev a           is  a   P h . D .   in   Da ta  sc ien c e   a t   S o fia  Un iv e rsi ty ,   B u lg a ria.  S h e   o b tai n e d   a   m a ste r’s   d e g re e   in   S t a ti stics ,   fin a n c ial  e c o n o m e tri c a n d   a c tu a rial  st u d ies   in   2 0 1 5   a fter  a   b a c h e lo r’s  d e g re e   in   Eco n o m ics   a th e   sa m e   u n iv e rsity .   He re se a rc h   a re a in c lu d e   p ra c ti c a a p p li c a ti o n o m a c h in e   lea rn in g   a l g o rit h m fo r   p re d ictio n   a n d   h o t h e ir   p e rfo rm a n c e   c a n   b e   b o o ste d .   Als o ,   a p p li c a ti o n o b ig   d a ta  tec h n i q u e to   sm a ll   d a tas e ts  in   th e   field   o e c o n o m ics   a a lt e rn a ti v e   to   trad it i o n a e c o n o m e tri c th e o ry .   S h e   c h a ll e n g e trad it io n a l   e c o n o m e tri c   m o d e ll i n g   tec h n i q u e u se d   t o   fin d   c o n n e c ti o n a m o n g   v a riab les   fro m   i n s ti t u ti o n a l   e c o n o m ics   b y   c o m b i n i n g   fe a tu r e   se lec ti o n   m e th o d a n d   b ig   d a t a   p re d ictio n   m o d e ls.  As   a   re su lt ,   n e a p p li c a ti o n o m a c h i n e   lea rn in g   tec h n i q u e t o   e c o n o m ic  d a ta  a p p e a r.   S h e   c a n   b e   c o n tac ted   a e m a il :   v r ig a z o v a @ u n i - so fia. b g .     Evaluation Warning : The document was created with Spire.PDF for Python.