I AE S In t er na t io na l J o urna l o f   Art if icia l In t ellig ence   ( I J - AI )   Vo l.  1 5 ,   No .   3 ,   J u n e  2 0 2 6 ,   p p .   2247 ~ 2 2 5 9   I SS N:  2 2 5 2 - 8 9 3 8 ,   DOI : 1 0 . 1 1 5 9 1 /ijai.v 15 .i 3 . p p 2 2 4 7 - 2 2 5 9           2247       J o ur na l ho m ep a g e :  h ttp : //ij a i . ia esco r e. co m   Stacking  ensembl e t ech niques  for a utom a ted  pe riphe ra l bloo d  cell clas sifica tion  using  Inception  v 3  f ea tures       M a rwa   M a wf a q M o ha m eds heet   Al - Hatab 1 ,   M a y s a lo o n  Abed Q a s im 2 ,   Na wa r  A.   Su lt a n 2   1 Te c h n i c a l   E n g i n e e r i n g   C o l l e g e ,   N o r t h e r n   T e c h n i c a l   U n i v e r s i t y ,   M o s u l ,   I r a q   2 Te c h n i c a l   E n g i n e e r i n g   C o l l e g e   f o r   C o mp u t e r   a n d   A r t i f i c i a l   I n t e l l i g e n c e ,   N o r t h e r n   Te c h n i c a l   U n i v e r s i t y ,   M o s u l ,   I r a q       Art icle  I nfo     AB S T RAC T   A r ticle  his to r y:   R ec eiv ed   Sep   2 2 ,   2 0 2 5   R ev is ed   Feb   2 1 ,   2 0 2 6   Acc ep ted   Ap r   2 2 ,   2 0 2 6       Ro b u st   d isti n c ti o n   o f  b lo o d   c e ll s  is  c ru c ial   in   c li n ica l  e v a l u a ti o n .   M a n u a l   e x a m in a ti o n   is  sl o w  a n d   e x p o se d   t o   e rr o rs.  T h is  w o rk   i n v e stig a tes   u sin g   m a c h in e   lea rn in g   ( ML )   tec h n i q u e s  fo r  a u t o m a ted   c las sifica ti o n   o f  e ig h t   c a teg o ries   o f  p e rip h e ra l  b l o o d   c e ll   ty p e s  fro m   m u lt i - c o lo r  im a g e s.  Th e   I n c e p ti o n   v 3   n e two rk   wa s  u se d   t o   e x trac t  fe a tu re s,  a   sp li t  o f   6 6 % / 3 4 %   we re   u se d   to   e v a l u a te  th e   m o d e l  a lo n g   with   2 0 - f o ld   c ro ss - v a li d a ti o n .   To   re d u c e   c o m p u tati o n a l  c o m p lex it y ,   p rin c i p a l  c o m p o n e n t   a n a ly sis  ( P CA)  w a s  u se d   to   re d u c e   th e   2 0 4 8 - d ime n si o n a l  fe a t u re   v e c to rs  to   1 0 0   c o m p o n e n ts.  Am o n g   a ll   c las sifiers   u se d ,   th e   h ig h e st  p e rf o rm a n c e   with o u t  u sin g   P CA  wa s  a c h iev e d   u sin g   t h e   su p p o r t  v e c to r  m a c h in e   (S VM)  with   a n   a c c u ra c y   e q u a l  to   9 3 . 4 %   a n d   a n   a re a   u n d e r  th e   c u r v e   (AU C)  o f  0 . 9 9 6 .   Us i n g   P C A,  a ffe c ted   m o n o c y tes   a n d   imm a tu re   g ra n u lo c y tes   m o st d u e   to   th e   slig h t  re d u c ti o n   i n   t h e   a c c u ra c y   a n d   AU C  wh ich   b e c a m e   9 0 . 1 %   a n d   to   0 . 9 9 1   re sp e c ti v e l y .   Re su lt s  we re   fu rth e r  e n h a n c e d   wh e n   a   sta c k e d   e n se m b le  o f  n e u ra l  n e two rk   (NN ) ,  lo g isti c   re g re ss io n   (LR) ,   a n d   S VM  we re   u se d ,   a c h iev in g   a n   a c c u ra c y   o f  9 5 . 2 %   a n d   a n   AU C  o f   0 . 9 9 8 .   Th e   o b tain e d   fi n d i n g s  c o n fi rm e d   th e   e ffe c ti v e n e ss   o f  u sin g   sta c k e d   e n se m b les   in   p ro v id i n g   a   ro b u st,  h ig h - a c c u ra c y   fra m e wo rk   fo r   a u t o m a ted   b lo o d   c e ll   c las sifica ti o n ,   w h il e   P CA   e fficie n tl y   re d u c e d   d ime n sio n s w i th   m in ima l  p e rfo rm a n c e   lo ss .   K ey w o r d s :   C r o s s   v alid atio n   E n s em b le  lear n in g   I n ce p tio n   v 3   Ma ch in e  lear n in g   Prin cip al  co m p o n en t a n al y s is   T h is i s  a n   o p e n   a c c e ss   a rticle   u n d e r th e   CC B Y - SA   li c e n se .     C o r r e s p o nd ing   A uth o r :   Ma r wa  Ma wf aq   Mo h am e d s h e et  Al - Hata b   T ec h n ical  E n g i n ee r in g   C o lleg e,   No r th er n   T ec h n ical  Un i v er s ity   Mo s u l,  I r aq   E m ail:  m ar wa. alh atab @ n tu . ed u . iq       1.   I NT RO D UCT I O N   B lo o d   ce ll  an aly s is   is   an   es s en tial  is s u e  in   clin ical  d iag n o s tics   b ec au s e  it  p r o v id es  s ig n if ican t  in f o r m atio n   ab o u t  im m u n e  s t atu s ,   h em ato lo g ical   d is o r d er s ,   an d   d is ea s e  p r o g r ess io n   [ 1 ] .  Ho wev er ,   alth o u g h   th at  th e  tr ad itio n al  m an u al  t est  wh ich   d ep en d   o n   m icr o s co p e  wid esp r ea d ,   it  s u f f er s   f r o m   in ter - o b s er v e r   v ar iab ilit y ,   s u b jectiv ity ,   an d   lo w  th r o u g h p u t,   esp ec ially   in   r eso u r ce - co n s tr ain ed   e n v ir o n m e n ts .   T h ese   d is ad v an tag es  led   to   th e  d e v elo p m en t  o f   au to m ated   a n d   s em i - au to m ated   im ag e - b ase d   s y s tem s   th at  u s e   co m p u ter   v is io n   an d   m ac h in e   lear n in g   ( ML )   to   im p r o v e  r e p r o d u cib ilit y ,   s p ee d ,   an d   d ia g n o s tic  ac cu r ac y   [ 2 ] .  E ar ly   co m p u tatio n al  m eth o d s   u s ed   th e  co m b in atio n   o f   h a n d cr af ted   f ea tu r es  s u ch   as  s h ap e ,   tex tu r e,   a n d   co l o r   an d   class ical  m ac h in e - lear n in g   alg o r ith m s   s u ch   as  s u p p o r t  v ec to r   m ac h in es  ( SVMs)  o r   r a n d o m   f o r ests   ( R Fs ) .   T h ese  tech n iq u es  we r e  v e r y   s u cc ess f u l  in   s im p le   class if icatio n   task s ,   b u t  th ey   f ailed   in   c o m p lex   m o r p h o lo g ical  v a r iatio n s ,   o v e r lap p in g   ce lls ,   an d   s tain in g   in c o n s is ten cies  [ 3 ] ,   [ 4 ] .   I n   co n tr ast,  m o d er n   ad v a n ce s   in   d ee p   lear n in g ,   h elp e d   th e  class if icatio n   s y s tem s   an d   h av e  b ec o m e   th e  m ain   p ar ad ig m   f o r   id e n tify in g   r ed   b lo o d   ce lls   ( R B C s ) ,   wh ite  b l o o d   ce lls   ( W B C s ) ,   an d   p latelets  [ 5 ] .   Mo r eo v er ,   u s in g   th e  c o m b i n atio n   o f   en s em b le  lear n in g   s tr ateg ies,  f o r   ex am p le   th o s e  u s in g   m u ltip le  Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8 9 3 8   I n t J Ar tif   I n tell ,  Vo l.  1 5 ,   No .   3 ,   J u n e  2 0 2 6 :   2 2 4 7 - 2 2 5 9   2248   c o n v o l u tio n al  n e u r al  n etwo r k   ( C NN )   ar ch itectu r es  in   class if icatio n   s y s tem s   im p r o v e d   r o b u s tn ess ,   ac cu r ac y ,   an d   g e n er aliza tio n   p e r f o r m an ce   co m p ar e d   to   s in g le - m o d el   ap p r o ac h es   [ 6 ] .   Dim en s io n a lity   r ed u ctio n   a n d   s elec tio n   ap p r o ac h es  s u ch   as   p r in cip al  co m p o n e n t  an aly s is   ( PC A) ,   p ar ticle  s war m   o p tim izatio n   ( PS O) ,   en tr o p y   m in im izatio n ,   a n d   m em etic  alg o r ith m s   ar e  o th er   t ec h n iq u es  a p p lied   to   d ee p   f ea tu r e  em b ed d in g s   in   o r d er   to   d ec r ea s e  r e d u n d an cy   an d   k ee p   d is cr im in ativ e  in f o r m atio n   [ 7 ] .   I n   ad d itio n   to   th es e  m eth o d s ,   d o m ain   ad ap tatio n   an d   d ata  au g m en ta tio n   tech n iq u es  r a n g in g   f r o m   s tain   n o r m aliza tio n   to   s em i - s u p er v is ed   lear n i n g   p lay ed   a  b ig   r o le  in   p er f o r m an ce   im p r o v em en t,  esp ec ially   f o r   r ar e  ce ll  ty p es  an d   d atasets   f r o m   d if f er en t   s o u r ce s   [ 8 ] .   M u lti - class   b lo o d - ce ll  class if icat io n   s y s tem s   w h ich   u s e  h ig h - ca p ac ity   b ac k b o n es  s u ch   as  R e s Ne t   an d   E f f icien tNet  to g eth e r   with   en s em b le  m eth o d s   an d   a d v an ce d   f ea tu r e  an aly s is   ac h iev ed   class if icatio n   ac cu r ac ies  ex ce ed in g   9 9 %   [ 9 ] .   Desp ite  all  o f   th e  ab o v e  b lo o d   ce ll  class if icat io n   s y s tem s   h av e  m an   ch allen g es   n o wad ay s   ,   s u c h   as  h an d lin g   im ag e  n o is e,   en s u r in g   r ea l - tim e  d ep lo y m en t,  e n h an ci n g   in ter p r etab ilit y   in   clin ical  co n tex ts ,   an d   ac h iev i n g   m o d el  g en er aliza tio n   ac r o s s   lab o r ato r ies  an d   im ag in g   p r o to co ls   [ 1 0 ] .   I n   th is   wo r k   a  n o v el  f r am ewo r k   co m b in in g   ad v an ce d   f ea tu r e  d im en s io n ality   an aly s is   with   e n s em b le  lear n in g   to   o b tain   h ig h   ac c u r ac y ,   c o m p ac t  f ea tu r e  r ep r esen tatio n s ,   an d   p r ac tical  v alu e  in   r ea l - wo r l d   clin ical  s ettin g s   h as   b ee n   p r o p o s ed .   R ec en tly   d ee p   lear n in g ,   en s em b le  m eth o d s ,   a n d   f ea tu r e   o p tim izatio n   tech n iq u es  h av e   b ee n   u s ed   wid ely   in   m o d e r n   b lo o d   ce ll  class if icatio n   to   ac h iev e  r o b u s tn ess ,   an d   h ig h   ac c u r ac y .   Par ay il   et  a l .  [ 1 1 ]   p r o p o s ed   a   h ier ar c h ical  ar tifi cial  in tellig en ce   ( AI )   p ip elin e   f o r   m u lti - class   R B C   m o r p h o lo g y   a n aly s is ,   th eir   m eth o d   illu s tr ates  th e  p o ten t ial  o f   s tag ed   class if icatio n   m o d els .   B an er jee  an d   C h au d h u r i  in t r o d u ce d   a  f r am ewo r k   b ased   o n   ap p ly in g   two - s tag e  f ea tu r e  s elec tio n   b a s ed   o n   to tal  co n tr ib u tio n   s co r e   an d   f u zz y   e n tr o p y ,   th eir   wo r k   ac h iev ed   h ig h   ac c u r ac y   an d   r ed u ce d   f ea tu r e  d im e n s io n ality .   Usi n g   en s em b le  lear n in g   in   class if icat io n   s y s tem   f u r th er   en h an ce d   class if icatio n   p e r f o r m a n ce .  Gh o s h   et   a l.   [ 1 3 ]   a ch ie v e d   9 6 . 6 7 %  ac c u r a cy   f o r   l e u k o c y t e  c lass i f i ca t io n   b   in te g r ati n g   De n s eNe t 1 2 1 ,   R esNet 5 0 ,   a n d   a  c u s t o m   C N N   v i a  a  leas t  en tr o p y   c o m b i n e r .   I c h i m   et  a l .  [ 1 4 ]   p r o p o s e d   a   m eth o d   o   e n h a n c e  h e  r o b u s t n ess   ac r o s s   e ig h t  b l o o d   ce ll   cl ass es  u s i n g   d ec is i o n   f u s io n   a cr o s s   m u lti p l e  n e two r k s   ( VGG1 6 ,   X ce p ti o n ,   R esNet 5 0 ,   a n d   NasN etL a r g e) .   T en g u a m   et   a l .  [ 1 5 ]   in tr o d u c ed   a   m o d e l  wh ic h   in te g r at e  d e ep   a n d   h an d c r af t e d   f e at u r es  wit h   e n s e m b le   le a r n i n g   f o r   H & E   h is t o p at h o l o g y   i m a g es .  R eRNet   an d   R o u t t  et   a l .   [ 1 6 ]   u s e d   C N N  en s em b l es  an d   s e g m e n ta ti o n - b ase d   t r ac k i n g   f o r   R B C   m o r p h o lo g y   an al y s is ,   t h ey   o b tai n e d   9 9 . 9 7 %   a cc u r ac y .    Featu r e  o p tim izatio n   u s in g   m eta - h eu r is tics ,   en tr o p y   co n tr o l,  PC A,   an d   PS O  ar e  o th er   t ec h n iq u es  wh ich   p r o v ed   ef f ec tiv en ess .   Ah m ad   et  a l.   [ 1 7 ]   p r o p o s ed   a  W B C   class if icatio n   u s in g   s ig n if ican t  f ea tu r e   r ed u ctio n ,   ac h iev in g   9 9 . 9 %  a cc u r ac y .   Awa is   et  a l .  [ 1 8 ]   in t r o d u ce d   an   ac u te  ly m p h o b last ic  leu k em ia  ( AL L )   s u b ty p e  u s in g   m em etic  d ee p   f ea tu r e  o p tim izatio n ,   h eir   m eth o d   o b tain e d   ap p r o x im at ely   9 9 %  ac cu r ac y .    C ai   et  a l.   [ 1 9 ]   p r o p o s ed   a  f r am ewo r k   co m b in in g   lo w - r a n k   ad ap tio n   ( L o R A) - ad a p ted ,   s eg m en t  an y th in g   m o d els  ( SAM)   with   u n s u p e r v i s ed   au to en co d er s   f o r   cr o s s - d o m ain   s in g le - ce ll im ag e  class if icatio n .   Sh ar m a   [ 2 0 ]   d e v elo p e d   a  C N N  m o d el  f o r   m u lti - class   b lo o d   ce ll  id en tific atio n   ac r o s s   b en ig n   an d   m alig n an t  ca teg o r ies.  His   m o d el  r ec o r d ed   m o r e   th an   9 8 %  ac cu r ac y .   T ep ak h an   et  a l.   [ 2 1 ]   p r o p o s ed   a  s y s tem   to   d if f er en tiate  b etwe en   ir o n   d ef icien cy   an em ia  an d   th alass em ia,   th ey   ap p lied   e n s em b le  s tack in g   with   R F  an d   g r ad ien t  b o o s tin g   alg o r ith m s .   T h eir   s y s tem   d em o n s tr ated   h ig h   class if icatio n   p er f o r m an ce   an d   th e   ef f ec tiv en ess   o f   en s em b le - b a s ed   m eth o d s   f o r   co m p lex   cli n ical  d atasets .   Uzm a  an d   Af s ar   [ 2 2 ]   p r o p o s ed   a   s em i - s u p er v is ed   f r am ewo r k   to   im p r o v e   W B C   s u b ty p e  class if icatio n   with   m in im al  lab eled   d ata .    Desp ite  th ese  ad v an ce s ,   b alan cin g   co m p u tatio n al  ef f icien cy ,   f ea tu r e  d im en s io n ality ,   an d   class - lev el   d is cr im in ativ e  p o wer   s till   ch allen g es.  T h is   s tu d y   a d d r ess ed   th ese  d if f icu lties   b y   c o m b in in g   I n ce p tio n V3   f ea tu r e  ex tr ac tio n   with   a  s tack ed   en s em b le  o f   n eu r al  n etwo r k   ( NN ) ,  lo g is tic  r eg r ess io n   ( LR ) ,   an d   SVM.   T h e  ef f ec tiv en ess   o f   ap p l y in g   PC A  o n   class if icatio n   p er f o r m an ce   was  s y s tem atica l ly   ev alu ated .   C o m p ar ed   t o   th e   ea r ly   s tu d ies,  th is   ap p r o ac h   o b tain s   h ig h er   ac cu r ac y   a n d   r o b u s tn ess ,   h ig h lig h tin g   th e  ad v an tag es  o f   in teg r atin g   d ee p - f ea t u r e  an d   e n s em b le  lear n in g   in   b lo o d   ce ll   class if icatio n .       2.   M E T H O D   AND  M AT E R I A L S   T h is   s tu d y   p r o p o s ed   b lo o d   ce ll  class if ica tio n   s y s tem   b ased   o n   ML ,   u s in g   I n ce p tio n   v 3   f o r   f ea tu r e   ex tr ac tio n .   T h e  s y s tem   ev alu a tes  th e  ef f ec tiv en ess   o f   PC A  f o r   d im en s io n ality   r e d u ctio n .   Fo u r   class if ier s :  L R ,   k - n ea r est  n eig h b o r s   ( KNN) ,   NN,   an d   SVM  wer e  u s ed   w ith   a   6 6 %/3 4 %  tr ain in g   -   test in g   d iv is io n   an d   2 0 - f o ld   cr o s s - v alid atio n .   T wo   d if f er en t  test s :   p air ed   t - test s   an d   W ilc o x o n   s ig n e d - r a n k   wer e  u s ed   t o   ass ess   th e  im p ac t  o f   PC A  o n   th e  p er f o r m a n ce   o f   th e  m o d el.   Fin ally ,   a  s tack ed   en s em b le  o f   th e  b est  p er f o r m a n ce   class if ier s   wa s   im p lem en ted   to   im p r o v e  th e  a cc u r ac y .   Fig u r e  1   illu s tr ates th e  co m p lete  wo r k f lo w.     2 . 1 .     I ma g e  a cquis it io n   T o   p e r f o r m   th e   d ata   s et,   a   to t al  o f   1 1 , 0 9 2   p e r ip h er al  b lo o d   ce ll  im ag es  ( 3 6 0 ×3 6 3   p ix els,  J PG)   wer e  co llected   u s in g   th e   C ellaVisio n   DM 9 6   a n aly ze r   at  B ar ce lo n a  Ho s p ital  C lin ic.   T h e  im ag es   ca teg o r ized   eig h t   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J Ar tif   I n tell     I SS N:   2252 - 8 9 3 8       S ta ck in g   e n s emb le  tech n iq u es  fo r   a u to ma ted   p erip h era l b lo o d   …   ( Ma r w a   Ma w fa q   Mo h a m ed s h ee t A l - Ha ta b )   2249   class es :  n eu tr o p h ils ,   eo s in o p h ils ,   b aso p h ils ,   ly m p h o cy tes,  m o n o c y tes,  im m atu r e  g r an u lo cy tes,  er y th r o b last s ,   an d   p latelets  [ 2 3 ] .   T h e  ce ll   s ize  d is tr ib u tio n s   s h o w   th at  p latelets  ex h ib it  th e   m o s t  u n if o r m   m o r p h o lo g y ,   wh er ea s   m o n o c y tes an d   im m a tu r e  g r a n u lo cy tes d is p lay   t h e  g r ea test   v ar iab ilit y .     2 . 2 .     I ncept io n v 3   cla s s if ica t i o n   I n ce p t io n   v 3   is   d e e p   C N N   wit h   4 2 - la y er   d e v e lo p ed   f o r   i m a g e  r e c o g n i ti o n   b y   Go o g l e  R ese ar ch   [ 2 4 ] ,  an d   is   p r et r ai n e d   o n   I m a g eN e t  f o r   1 , 0 0 0   c lass es .   I t  im p r o v e s   class if ica ti o n ,   d ete cti o n   [ 2 5 ] ,   a n d   s eg m e n t ati o n   p e r f o r m a n c e  [ 2 6 ] .   I ts   ar ch ite c tu r e   c o n s is ts   o f   t h r e e  m ai n   I n ce p ti o n   m o d u l es:  A ,   B ,   an d   C   wit h   p ar all el  1 × 1 ,   3 × 3 ,   a n d   5 × 5   c o n v o lu ti o n s ,   s u p p o r te d   b y   c o n v o lu ti o n ,   p o o l in g ,   a n d   f u l ly   c o n n ec t e d   la y er s   wit h   a n   au x i lia r y   class i f i er   u s e d   f o r   r eg u l ar iza ti o n .   F i g u r e   2   s h o ws  t h e   I n c e p tio n   v 3   ar ch ite ct u r e .   Fa ct o r iz e d   an d   as y m m et r i c  co n v o lu ti o n s   a r e   u s e d   t o   d ec r ea s e   p a r a m et er s   a n d   en h an ce   f e at u r e  e x tr ac t io n   [ 2 7 ] ,   wh ile   r e cti f ie d   li n e ar   u n it  ( R eL U )   a cti v a ti o n ,   a n d   s o f tm a x   la y e r   a r e   u s ed   b y   i n p u t  im ag es t o   p r o d u ce   p r o b a b il ities   f o r   eig h t   t ar g et  cl ass es.           Fig u r e  1 .   Pro p o s ed   s y s tem   f o r   b lo o d   ce ll c lass if icatio n           Fig u r e  2 .   I n ce p tio n   V3   ar c h itectu r e       2 . 3 .     Cla s s if ica t io n a lg o rit hm   in m a chine le a rning   Fo u r   ML   class if ier s   wer e  ev alu ated :  L R ,   NN,   SVM,   an d   K NN.   L R   u s es  th e  lo g is tic  f u n ctio n   ( 1 )   to   m o d els th e  p r o b ab ilit y   o f   a  ca t eg o r ical  r esu lt  [ 2 8 ] ,   [ 2 9 ] .     ( ) = ( 0 + 1 ∗ ) 1 + ( 0 + 1 ∗ )   ( 1 )     W h er e  ( )   is   p r ed icted   o u tp u t,  0   is   in ter ce p t te r m ,   1 ∗   co ef f icien t  f o r   th e  s in g le  in p u t  v alu e  ( ) .   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8 9 3 8   I n t J Ar tif   I n tell ,  Vo l.  1 5 ,   No .   3 ,   J u n e  2 0 2 6 :   2 2 4 7 - 2 2 5 9   2250   T h e  NN  class if ier   is   a  m u ltil a y er   p e r ce p tr o n   co n tain in g   a  f u lly   co n n ec ted   h id d e n   lay er s   i n   ad d itio n   to   tu n a b le  p a r am eter s   s u ch   as  ac tiv atio n   f u n ctio n s ,   s o lv er   t y p e,   a n d   tr ain in g   ep o ch s   [ 3 0 ] ,   [ 3 1 ] .   SVM  m o d el ,   class if ies  s am p le s   b y   cr ea tin g   a  m ax im u m - m ar g i n   h y p er p lan e  in   a  h ig h - d im en s io n al   f ea tu r e  s p ac e  [ 3 2 ] ,   [ 3 3 ] ,  u s in g   ( 2 ).     ( ) = . +   ( 2 )     W h er e    is   th e  in p u t  f ea tu r e,     is   weig h t  v ec to r ,   an d     is   th e  b ias  ter m .   KNN  d ef in es  class   la b els  d ep en d in g   on  KNNs   u s in g   E u clid ea n   d is tan ce   ( 3 )   [ 3 4 ] ,   [ 3 5 ] .      ( , ) = √ ∑ ( − ) 2 = 1   ( 3 )     W h er e  ,    is   t h e  f ea tu r e  v ec to r s   o f   two   d ata  p o in ts   an d   n   is   t h e  n u m b er   o f   f ea tu r es.     2 . 4 .     P rincipa l  co m po nent  a na ly s is   PC A  is   a  lin ea r   d im en s io n ality - r ed u ctio n   tech n iq u e,   co v e r ts   h ig h - d im e n s io n al  d ata  t o   a  s m aller   s et  o f   u n co r r elate d   co m p o n en ts   m ain tain in g   t h e  m o s t  in f o r m ativ e  f ea tu r es.  I n   th is   s t u d y ,   PC A  r ed u ce d     2 , 048 - d im en s io n al  f ea tu r e  v ec to r s   ex tr ac ted   b y   I n ce p tio n   v 3   to   1 0 0   p r in cip al  c o m p o n en ts   c alled   f ea tu r e  b lo o d   ce lls   ( FB C s )   [ 3 6 ] .   Featu r es we r e  f ir s t stan d ar d ized   u s in g   ( 4 ).     = −     ( 4 )     T h en   co v ar ian ce   b etwe en   f ea t u r e  p air s   co m p u ted   u s in g   ( 5 ).      ( 1 , 2 ) = ∑ ( 1 − 1 ̀ ) = 1 ( 2 − 2 ̀ )     ( 5 )     W h er e  n   is   th e  t o tal  n u m b er   o f   s am p les  an d   1 ̀   an d   2 ̀   is   th e   m e an   v al u e.   Fin ally ,   th e   p r i n cip a l  co m p o n en ts   o b tain ed   u s in g   th e  eig e n v alu e  ( 6 ) .      =    ( 6 )     W h er e    is   elem en ts   o f   f ea tu r es   as sq u ar e  m atr ix .     2 . 5 .     K - f o ld cr o s s   v a lid a t io n  m et ho d   K - f o ld   cr o s s - v alid atio n   d i v id e s   th e  d ataset  in to   n   f o ld s ; e ac h   f o ld   is   u s ed   o n ce   as v alid atio n   s et  wh ile   th e  r em ain in g   ar e  u s ed   as  tr ain in g   d ata.   T h is   p r o ce s s   is   r ep ea ted   till   all  f o ld s   h av e  b ee n   u s ed   f o r   v alid atio n .   B y   tr ain in g   th e  m o d el  to   d i f f er en t  d ata  d is tr ib u tio n s ,   K - f o ld   cr o s s - v alid atio n   r e d u ce s   th e  p r o b a b ilit y   o f   o v er f itti n g ,   en h a n ce s   g en er ali za tio n ,   an d   p r o v id es  a  m o r e  s tab le  esti m atio n   o f   m o d el  p er f o r m an ce   b ased   o n   th e  av er ag e  ac c u r ac y   ac r o s s   all  f o ld s   [ 3 7 ] .     2 . 6 .     P er f o r m a nce   ev a lua t io n m et rics   Stan d ar d   m etr ics  wer e  u s ed   to   ev alu ate  th e  p er f o r m an ce   o f   th e  p r o p o s ed   b lo o d   ce ll  cla s s if icatio n .   Acc u r ac y   as in   ( 7 )   d eter m in es  th e  o v er all  co r r ec tn ess   o f   p r ed ictio n s .       =  +   +  +  +      ( 7 )     R ec all  o r   s en s itiv ity   as in   ( 8 )   r ef er s   to   th e  p r o p o r tio n   o f   ac tu al  p o s itiv es c o r r ec tly   id en tifie d .       =   +      ( 8 )     Pre cisi o n   as in   ( 9 )   q u an tifie s   th e  ac cu r ac y   o f   p o s itiv e  p r e d ictio n s .       =   +    ( 9 )     F1 - s co r e   as in   ( 1 0 )   is   th e  h ar m o n ic  m ea n   o f   p r ec is io n   an d   r e ca ll.  I t is u s ef u l f o r   im b alan ce d   d atasets .     Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J Ar tif   I n tell     I SS N:   2252 - 8 9 3 8       S ta ck in g   e n s emb le  tech n iq u es  fo r   a u to ma ted   p erip h era l b lo o d   …   ( Ma r w a   Ma w fa q   Mo h a m ed s h ee t A l - Ha ta b )   2251   1 −  = 2 ×   ×   +      ( 1 0 )     A r ea   u n d e r   th e  c u r v e  ( AUC) - r ec eiv er   o p er atin g   ch a r ac ter is tic  ( R O C )   ev alu ates  th e  a b ilit y   o f   m o d el  to   d is tin g u is h   b etwe en   p o s itiv e  an d   n eg ativ e  class es.  T h e  v alu es  o f   AUC  r an g in g   f r o m   0 . 5   wh ich   r ep r esen ts   r an d o m   class if icatio n   to   1   r e f er r in g   p er f ec t  class if icatio n ,   wh ile  th e  R OC   cu r v e   p lo t   o f   tr u e  p o s itiv e  r ate   ag ain s t th e  f alse p o s itiv e  r ate  ac r o s s   d if f er en t th r esh o ld s   [ 3 4 ] .     2 . 7 .     St a t is t ica l  s ig nifica nce  a na ly s is   T o   ass ess   wh eth er   th e  o b s er v ed   im p r o v em en ts   in   class if icatio n   p er f o r m an ce   af te r   ap p ly in g   PC A   wer e  s tati s tically   s ig n if ican t,  b o th   p air ed   t - test   an d   W ilco x o n   s ig n ed - r a n k   test   wer e  co n d u cted .   T h ese  test s   co m p ar e  th e  p er f o r m an ce   o f   m o d els  b ef o r e   an d   af te r   PC A  ac r o s s   m u ltip le  cr o s s - v alid atio n   f o ld s ,   d eter m in in g   wh eth er   p e r f o r m an ce   g ain s   w er e  d u e   to   g en u i n e  im p r o v em e n ts   r ath er   th a n   r an d o m   v a r iatio n .   Fo r   ea ch   m o d el,   class if icatio n   ac cu r ac y   f r o m   s ev er al  in d ep e n d en t  f o ld s   was  u s ed   as p air ed   s am p les :   i)   Pair ed   t - test :  th e  p air ed   t - test   ev alu ates  th e  m ea n   d if f e r en ce   b etwe en   two   p air ed   s am p les  u n d er   th e   ass u m p tio n   o f   n o r m al  d is tr ib u tio n .   T h e  test   s tatis tic  is   co m p u ted   as   ( 1 1 ) .     = ̅ ∕ √   ( 1 1 )     W h er e  ̅   is   th e  m ea n   d if f er en ce   b etwe en   p air ed   o b s er v atio n s ,   is   co m p u ted   as   ( 1 2 ) .     ̅ = 1 ∑ ( − ) 1 = 1 ⋅   ( 1 2 )     T h e  s tan d er   d e v iatio n   o f   d if f er en ce s   r ep r esen ts   b y     is   co m p u t ed   as   ( 1 3 ) .     = √ 1 − 1 ∑ ( ( = 1 − ) − ̅ ) 2   ( 1 3 )     W h er e  n   is   th e  n u m b e r   o f   p ai r ed   o b s er v atio n s   ( f o ld s ) ,   ,     ar e  th e  ac cu r a cies  b ef o r e   an d   a f ter   PC A,   r esp ec tiv ely .   A  s m all  p - v alu e  ( p   <0 . 0 5 )   in d icate s   th at  t h e  im p r o v em e n t  af ter   PC A  is   s ta tis t ically   s ig n if ican t  [ 3 8 ] .   ii)   W ilco x o n   s ig n ed - r an k   test :  th e  W ilco x o n   s ig n ed - r an k   test   i s   a  n o n - p a r am etr ic  alter n ativ e   to   t h e  p air ed     t - test ,   wh ich   d o es  n o t   ass u m e  n o r m ality .   I t  e v alu ates  wh eth e r   th e   m ed ian   o f   d if f er en ce s   b e twee n   p air ed   s am p les is   ze r o .   T h e  test   s tatis tic    is   ca lcu lated   as   ( 1 4 ) .     = ∑ + = 1   ( 1 4 )     W h er e   = −   is   th e  d if f er en ce   b etwe en   p air ed   s am p les,  +   is   th e  r an k   o f   th e  ab s o lu te  d if f er en ce s   f o r   p o s itiv e  d if f er e n ce s   ( >0 ) ,   t ies  ar e  h an d led   b y   ass ig n in g   av er ag e  r an k s .   A  s m all  p - v alu e  ( p   <0 . 0 5 )   in d icate s   th at  th e  d if f er e n ce s   a r e  s ig n if ican t,  s u p p o r tin g   th at  PC A  im p r o v ed   p er f o r m a n ce   [ 3 9 ] .     2 . 8 .     St a ck ing   ens em ble m e t ho d   Stack in g   is   an   en s em b le  lear n in g   ap p r o ac h   th at  im p r o v es  th e  class if icatio n   p er f o r m an ce   b y   in teg r atin g   th e  o u tp u ts   o f   m u ltip le  p r ed ictiv e  m o d els.  I ts   ar ch itectu r e  co m p r is es o f   two   lay er s .   I n   th e  f ir s t o n e ,   d if f er en t  b ase  m o d els  ar e  tr ain ed   s ep ar ately   u s in g   th e   s am e  d ataset,   ea ch   m o d el  ca p tu r e  d if f er en t   ch ar ac ter is tics   s u ch   as  lin ea r   r elatio n s h ip s ,   n o n - lin ea r   d ec is io n   b o u n d ar ies,  o r   co m p le x   f ea tu r e  in ter ac tio n s .   T h en   th e  class if icatio n s   wh ich   g en er ated   b y   th ese  m o d els ar e  f o r war d e d   as in p u t t o   th e  s ec o n d   lay e r   [ 4 0 ] .   T h e  s ec o n d   lay er   co n s is ts   o f   a  m eta - m o d el  wh ich   lear n s   h o w  to   o p tim ally   in teg r ate   th e  b ase - m o d el  o u tp u ts .   T h is   m o d el  co llects  th e  ad v an ta g es  o f   th e  b ase  class if ier s   wh ile  tr ea tin g   th eir   in d i v id u al  wea k n ess es.  T o   en s u r e   g e n er aliza tio n   an d   p r ev e n t  o v er f itti n g ,   th e   cr o s s - v alid ated   p r e d ictio n s   o b tain ed   f r o m   t h e  b ase   m o d els ar e  u s ed   to   tr ain   th e  m eta - m o d el  o n   u n s ee n   f o ld s   [ 4 1 ] .    Ma th em atica lly ,   th e  s tack in g   p r o ce s s   ca n   b e  e x p r ess ed   as  ( 1 5 ) .     1 = 1 ( ) , 2 = 2 ( ) ,       … , = ( )   ( 1 5 )     W h er e    b e  t h e  in p u t  f ea tu r es,  an d   1 ,  2 ,   …,     r ep r esen ts   th e  n   b a s e  m o d els.  E ac h   b ase  m o d el  g en er ates   p r ed ictio n s .  T h ese  p r ed ictio n s   ar e  co n ca ten ate d   to   f o r m   a  n e w  f ea tu r e  s et    ( 1 6 ) .     = [ 1 ,   2 , … , ]   ( 1 6 )     A  m eta - m o d el    is   th en   tr ain ed   o n     to   p r o d u ce   th e  f in al  p r e d ic tio n   ( 1 7 ) .   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8 9 3 8   I n t J Ar tif   I n tell ,  Vo l.  1 5 ,   No .   3 ,   J u n e  2 0 2 6 :   2 2 4 7 - 2 2 5 9   2252   ̂ = ( )   ( 1 7 )     Stack in g   tech n i q u es  en h an ce s   p r ed ictiv e   ac cu r ac y   b y   tak in g   ad v an tag e   o f   v ar io u s   lear n i n g   m ec h an is m s   an d   in teg r ated   th em   in to   a   u n if ie d   m o d el,   p r o v id in g   r o b u s tn ess ,   r ed u ce   o v er f itti n g ,   an d   im p r o v e  g en er aliza tio n   th r o u g h   cr o s s - v alid atio n ,   an d   t h ey   u s u ally   o u tp er f o r m   in d iv i d u al  class if ier s .       3.   RE SU L T S AN D  D I SCU SS I O N   T h e  r esu lts   illu s tr ate  p er f o r m an ce   d if f er e n ce s   b etwe en   m o d els  b ef o r e  an d   af ter   ap p ly in g   PC A.   T h e  h ig h est  ac cu r ac y   was  ac h iev e d   b y   SVM  ac r o s s   m o s t  ce ll  ty p es,  an d   th e  s tack ed   en s em b le  f u r th er   im p r o v ed   o v er all  p er f o r m a n ce .   Deta iled   f in d in g s   ar e  s u m m ar ized .     3 . 1 .     I m pa c t   o f   f ea t ure  dim e ns io na lity   o n m o del per f o rma nce    T h e  p er f o r m an ce   o f   th e  ML   class if ier s   was   an aly ze d   th r o u g h   two   f ea tu r e  co n d itio n s :   f u ll  d ee p   f ea tu r e  with   2 , 048 - D  an d ,   PC A  r ed u ce d   f ea tu r es  with   1 0 0 - D.   R esu lts   wer e  ass e s s ed   u s in g   two   v alid atio n   s tr ateg ies:   a  6 6 %/3 4 % sp lit.  I n   ad d itio n ,   2 0 - f o ld   cr o s s - v alid a tio n   was a p p lied   f o r   ea ch   f ea t u r e  co n d itio n .     3 . 1 . 1 .   P er f o r m a nce  wit ho ut  P CA   T a b le   1   i ll u s tr at es  t h e   r es u lts   a ch i e v e d   u s i n g   b o t h   ev al u at io n   s tr a te g ies   wi th o u t   PC A.   F o r   6 6 / 3 4   s p lit ,   th e   h i g h est   p er f o r m an ce   was   c o n s is te n t ly   a ch ie v e d   b y   SV M  wi th   9 2 . 6 %  ac c u r a cy   a n d   an   AUC  o f   0 . 9 9 5 ,   f o ll o we d   b y   NN  an d   L R   wit h   9 2 . 2 %   an d   9 2 . 4 %   a cc u r ac y   r es p e cti v e ly   a n d   an   AUC  o f   0 . 9 9 4   f o r   e ac h   class i f i er .   I n   co n t r as t,   K NN   o b t ai n e d   t h e   l o wes t   p er f o r m a n ce   wi th   7 3 . 4 %  a cc u r ac y ,   0 . 9 3 5   AUC   d u e   t o   h ig h - d im en s io n al   n o is e .   Si m il ar   tr en d s   w er e   o b s er v e d   u s i n g   2 0 - f o l d   c r o s s - v ali d at io n ,   w h e r e   S VM   a ch ie v e d   9 3 . 4 %   a cc u r ac y   w it h   an   A UC   o f   0 .   9 9 6 .   R es u lts   c o n f i r m ed   th at   SV M   ca n   ef f e cti v e ly   h a n d les   h i g h - d i m en s i o n a l,   m u lti - cl ass   f ea tu r es ,   wh i le   KNN   s t r u g g l es i n   t h is   is s u e .     3 . 1 . 2 .   P er f o r m a nce  wit h P C A   PC A  r ed u ce d   th e   f ea tu r e   s p a ce   f r o m   2 , 0 4 8   to   1 0 0   co m p o n en ts ,   r esu ltin g   in   s lig h tly   d e cr ea s ed   in   ac cu r ac y   o f   th e  to p   p er f o r m an ce   class if ier s   wh ile  en h an cin g   co m p u tatio n al  e f f icien cy .   Fo r   6 6 /3 4   s p lit,  SVM  ac h iev ed   8 9 . 3 %  ac cu r ac y   an d   0 . 9 9 0   AUC,  NN  8 8 . 0 %  an d   0 . 9 8 7   AUC,  L R   8 7 . 8 %  a n d   0 . 9 8 4   AUC,  an d   KNN  7 2 . 9 %  an d   0 . 9 2 0   AUC.  I n   2 0 - f o ld   cr o s s - v alid atio n ,   SVM  a ch iev ed   9 0 . 1 %  ac cu r ac y   an d   0 . 9 9 1   AUC,  wh ile  KNN  s lig h tly   im p r o v ed   to   7 4 . 2 %  ac cu r ac y   d u e   to   n o is e   r ed u ctio n   i n   th e   d is tan ce - b a s ed   f ea tu r e   s p ac e.   Desp ite  th e  s lig h t  d ec r ea s e,   SVM  r em ain ed   t h e  to p - p er f o r m in g   class if ier   ac r o s s   all  PC A - r ed u ce d   s ettin g s ,   co n f ir m in g   its   r eliab ilit y   f o r   b lo o d   ce ll  class if icatio n   ev en   with   r ed u ce d   d im en s io n ality .   T ab le  2   s u m m ar izes   th e  co m p lete  ev al u atio n   u s in g   two   ev alu ated   s tr ateg ies.       T ab le  1 .   ML   m o d el  p e r f o r m an ce   with o u t PC A  ( 6 6 %/3 4 % sp lit v s .   2 0 - f o l d   C V)   M o d e l   A c c u r a c y   6 / 3 4   ( %)   A c c u r a c y   c r o ss - v a l i d a t i o n   ( %)   A U C   6 6 / 3 4   A U C   c r o s s - v a l i d a t i o n   %   F1 - s c o r e   6 6 / 3 4   F1 - s c o r e   c r o ss - v a l i d a t i o n   %   P r e c i s i o n   6 6 / 3 4   ( %)   P r e c i s i o n   c r o ss - v a l i d a t i o n   %   R e c a l l   6 6 / 3 4   ( %)   R e c a l l   c r o ss - v a l i d a t i o n   %   NN   9 2 . 2   9 3 . 1   0 . 9 9 4   0 . 9 9 5   9 2 . 2   9 3 . 1   9 2 . 2   9 3 . 1   9 2 . 2   9 3 . 1   LR   9 2 . 4   9 2 . 9   0 . 9 9 4   0 . 9 9 5   9 2 . 4   9 2 . 9   9 2 . 4   9 3 . 0   9 2 . 4   9 2 . 9   S V M   9 2 . 6   9 3 . 4   0 . 9 9 5   0 . 9 9 6   9 2 . 6   9 3 . 4   9 2 . 7   9 3 . 4   9 2 . 6   9 3 . 4   K N N   7 3 . 4   7 3 . 4   0 . 9 3 5   0 . 9 2 5   7 2 . 9   7 3 . 1   7 4 . 2   7 4 . 0   7 3 . 4   7 3 . 4       T ab le  2 .   ML   m o d el  p e r f o r m an ce   with   PC A  ( 6 6 %/3 4 % sp lit v s .   2 0 - f o ld   C V)   M o d e l   A c c u r a c y   6 6 / 3 4   ( %)   A c c u r a c y   c r o ss - v a l i d a t i o n   ( %)   A U C   6 6 / 3 4   A U C   c r o s s - v a l i d a t i o n   %   F1 - s c o r e   6 6 / 3 4   F1 - s c o r e   c r o ss - v a l i d a t i o n   %   P r e c i s i o n   6 6 / 3 4   ( %)   P r e c i s i o n   c r o ss - v a l i d a t i o n   %   R e c a l l   6 6 / 3 4   ( %)   R e c a l l   c r o ss - v a l i d a t i o n   %   NN   8 8 . 0   8 8 . 1   0 . 9 8 7   0 . 9 8 9   8 7 . 9   8 8 . 0   8 8 . 0   8 8 . 1   8 8 . 0   8 8 . 1   LR   8 7 . 8   8 8 . 1   0 . 9 8 7   0 . 9 8 5   8 7 . 7   8 8 . 1   8 7 . 7   8 8 . 1   8 7 . 8   8 8 . 1   S V M   8 9 . 3   9 0 . 1   0 . 9 9 0   0 . 9 9 1   8 9 . 2   9 0 . 0   8 9 . 3   9 0 . 1   8 9 . 3   9 0 . 1   K N N   7 2 . 9   7 4 . 2   0 . 9 2 0   0 . 9 2 8   7 2 . 5   7 3 . 9   7 3 . 3   7 4 . 5   7 2 . 9   7 4 . 2       T h e  s cr ee n   p lo t  a n d   c u m u lati v e  v ar ia n ce   cu r v e  o f   t h e  PC A  co m p o n en ts   ar e   s h o wn   in   f ig u r e  ( 3 ) ,   t h e  m o s t o f   th e  v ar ian ce   ar e  co n ce n tr ated   in   th e  f ir s t f ew  p r in cip al  co m p o n en ts   as sh o wn   in   f ig u r e  3 ( a) ,   f o r m in g   a   clea r   elb o w  p o in t.  Fig u r e  3 ( b )   illu s tr ated   th at  th e   f ir s t  1 0 0   co m p o n en ts   p r eser v e d   ap p r o x im ately   9 5 - 9 8 %  o f   th e  to tal  v ar ian ce   wh ich   r ef lec ts   th e  ef f ec tiv en ess   o f   PC A  in   r etain in g   th e  m o s t  m ea n in g f u l  in f o r m atio n   wh ile   r em o v in g   r ed u n d a n t o r   n o is y   f ea tu r es .   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J Ar tif   I n tell     I SS N:   2252 - 8 9 3 8       S ta ck in g   e n s emb le  tech n iq u es  fo r   a u to ma ted   p erip h era l b lo o d   …   ( Ma r w a   Ma w fa q   Mo h a m ed s h ee t A l - Ha ta b )   2253       ( a)   ( b )     Fig u r e  3 .   PC A  a n aly s is   f o r   ( a)   s cr ee   p lo t o f   p r in cip al  c o m p o n en ts   an d   ( b )   c u m u lativ e  v a r ian ce   p lo t sh o win g   ~9 5 – 9 8 % o f   v a r ian ce   r etain e d       3 . 2 .     Cla s s - wis e  a na ly s is   a nd   pro ba bil it y   t hresh o ld s   Fig u r e  4   an d   T ab le  3   s h o w  t h e  class - wis e  p r o b ab ilit y   th r e s h o ld s   o f   SVM  f o r   all  b lo o d   ce ll  ty p es  b ef o r e   an d   af ter   PC A.   T h e  r e s u lts   r ev ea led   th at   m o r p h o l o g ically   s im ilar   ce lls   wer e  af f ec ted   b y   PC A  m o r e   th an   d is tin ct  ty p es.  Fo r   e x am p le,   p r o b ab ilit y   t h r esh o ld s   f o r   n eu tr o p h ils ,   eo s in o p h ils ,   an d   er y th r o b last s   wer e  s lig h tly   r ed u ce d   with   PC A  ( 0 . 9 7 5   v s .   0 . 9 8 7 ,   0 . 9 7 6   v s .   0 . 9 9 4 ,   0 . 9 6 9   v s .   0 . 9 8 3 ,   r esp ec tiv el y ) .   M o n o c y tes  an d   im m atu r e  g r an u lo c y tes  r ec o r d ed   th e   m o s t  n o ta b le  d r o p s   with   ( 0 . 8 6 2   v s .   0 . 9 5 0 )   an d   ( 0 . 9 1 3   v s .   0 . 9 5 5 )   r esp ec tiv ely ,   d u e  to   th eir   m o r p h o lo g ical  s im ilar ity   to   o th er   W B C s .   T h ese  r e s u lts   in d icate   PC A  ca p ab ilit y   to   p r eser v e  th e  m aj o r ity   o f   d is cr i m in ativ e  f ea tu r es b u t it  m ay   d is ca r d   s u b tle  d etails f o r   s im ilar   ce ll ty p es.           Fig u r e  4 .   T h e  class - wis e  p r ed icted   p r o b ab ilit ies o f   th e  SVM  m o d el  b ef o r e  a n d   af ter   PC A       T ab le  3 .   Pro b ab ilit y   o f   SVM  m o d el  with   all  class es   Cl a s ses   N e u t r o p h i l   Eo si n o p h i l   Er y t h r o b l a st   I mm a t u r e   g r a n u l o c y t e s   Ly m p h o c y t e   B a s o p h i l   P l a t e l e t   M o n o c y t e   S V M + P C A   0 . 9 7 5   0 . 9 7 6   0 . 9 6 9   0 . 9 1 3   0 . 9 4 9   0 . 9 3 7   0 . 9 9 6   0 . 8 6 2   S V M   0 . 9 8 7   0 . 9 9 4   0 . 9 8 3   0 . 9 5 5   0 . 9 7 2   0 . 9 7   0 . 9 9 8   0 . 9 5       Fig u r e  5   illu s tr ates  class - wis e  R OC   cu r v es  an d   AUC  v a lu es  f o r   SVM  b ef o r e  a n d   a f ter   PC A     u s in g   2 0 - f o ld   cr o s s - v alid atio n .   Fig u r e  5 ( a)   c o r r esp o n d s   to   e r y th r o b last ,   Fig u r e  5 ( b )   to   n eu t r o p h il,  Fig u r e  5 ( c)   to   eo s in o p h il,  Fig u r e  5 ( d )   to   im m atu r e  g r an u l o cy tes,  Fig u r e  5 ( e )   to   l y m p h o cy te,   Fig u r e  5 ( f )   to   b aso p h il,  Fig u r e  5 ( g )   to   p latelet,   an d   Fig u r e  5 ( h )   to   m o n o c y te.   T h is   f ig u r e  h ig h lig h ts   th e  ab ilit y   o f   th e  m o d el  to   d is cr im in ate  b etwe en   b lo o d   ce ll  ty p e  an d   co n f ir m s   th at  PC A  s lig h tly   r ed u ce s   p er f o r m an ce   f o r   m o r p h o lo g ically   s im ilar   ce lls .   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8 9 3 8   I n t J Ar tif   I n tell ,  Vo l.  1 5 ,   No .   3 ,   J u n e  2 0 2 6 :   2 2 4 7 - 2 2 5 9   2254       ( a)   ( b )           ( c)   ( d )           ( e)   (f)           ( g )   ( h )     Fig u r e  5 .   C lass - wis e  R O C   cu r v es a n d   AUC v alu es f o r   SVM  b ef o r e  a n d   af te r   PC A  u s in g   2 0 - f o ld     cr o s s - v alid atio n   f o r   ( a)   er y th r o b last ,   ( b )   n eu tr o p h il,  ( c )   eo s in o p h il ,   ( d )   I G,   ( e)   l y m p h o cy te ,   ( f )   b aso p h il,    ( g )   p latelet,   an d   ( h )   m o n o cy te   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J Ar tif   I n tell     I SS N:   2252 - 8 9 3 8       S ta ck in g   e n s emb le  tech n iq u es  fo r   a u to ma ted   p erip h era l b lo o d   …   ( Ma r w a   Ma w fa q   Mo h a m ed s h ee t A l - Ha ta b )   2255   3 . 3 .     St a t is t ica l e v a lua t i o n   3 . 3 . 1 .   Sim ula t ed  pa ired  s a mp le  a s s es s m ent   T o   ac cu r atel y   ev al u ate  th e  e f f ec t  o f   PC A  o n   th e   p er f o r m a n ce   o f   th e  m o d els,  a   s im u lated   p air e d   s am p le  ev alu atio n :   m ea n   ac cu r ac y   an d   s tan d ar d   d ev iatio n   ( m ea n ± SD)   was  co n d u c ted .   T h is   m eth o d   ap p r o x im ates  th e  ex p ec ted   v a r iab ilit y   o f   ea c h   class if ier   b e f o r e  a n d   af te r   PC A.   T h is   s im u latio n   p r o v id es  a   s tatis t ical  s ig n if ican ce   test in g ,   ev en   w h en   o n ly   s u m m a r y   s tatis tic s   ar e  av ailab le,   p r o v id in g   i n s ig h t  in to   wh eth er   th e   d if f er e n ce s   in   o b s er v ed   ac c u r ac y   ar e  c o n s is ten t  o r   d u e  to   r an d o m   v ar iatio n .   T ab le  4   s u m m ar izes  th e  p air ed   e v alu atio n s .   T h e  r esu lts   d em o n s tr ated   th at   PC A  af f ec ted   o n   th e  p er f o r m an ce   o n   m o s t  m o d els.  Af ter   ap p ly in g   PC A  NN,   L R ,   an d   SVM  s h o wed   an   ap p r o x im ately   3 - 5 %  co n s is ten t  d ec r ea s e  in   ac cu r a cy .   Pair ed   t - test   an d   W ilco x o n   an aly s es  em p h asize d   th e  s tatis tical  im p o r tan ce   o f   th is   r ed u ctio n   with   p   <0 . 0 5 .   T h is   illu s tr ates  th at   alth o u g h   PC A  is   s u cc es s f u l  in   r ed u ci n g   f ea t u r e  r e d u n d an cy   an d   co m p u tatio n al  co m p l ex ity ,   it  m ay   also   r em o v e  d is cr im in ativ e  f ea tu r e s   wh ich   ar e  n ec ess ar y   f o r   o p tim al  class if icat io n .   Acc o r d in g   to   KNN,   it  wa s   n o   s ig n if ican t  ch an g e  in   its   p e r f o r m an ce ,   c o n f ir m i n g   its   r o b u s t n ess   to   d im en s io n ality   r ed u cti o n .   T h ese  f in d in g s   u n d er s co r e  th at  b ala n cin g   th e  d im en s io n ality   r ed u ctio n   with   class if icatio n   p er f o r m a n ce   is   es s en tial  in   b io m ed ical  im ag e  a n aly s is .       T ab le  4 .   Simu lated   p air ed   s am p le  ev alu atio n   b ef o r e  an d   af ter   PC A   M o d e l   W i t h o u t   P C A   6 6 / 3 4   s p l i t   W i t h o u t   P C A   c r o ss - v a l i d a t i o n   W i t h   P C A   6 6 / 3 4   s p l i t     W i t h   P C A   c r o ss - v a l i d a t i o n   NN   9 2 . 2 ± 0 . 8   9 3 . 1 ± 0 . 6   8 8 . 0 ± 1 . 0   8 8 . 1 ± 0 . 9   LR   9 2 . 4 ± 0 . 7   9 2 . 9 ± 0 . 5   8 7 . 8 ± 1 . 1   8 8 . 1 ± 0 . 8   S V M   9 2 . 6 ± 0 . 6   9 3 . 4 ± 0 . 4   8 9 . 3 ± 0 . 9   9 0 . 1 ± 0 . 7   K N N   7 3 . 4 ± 1 . 2   7 3 . 4 ± 1 . 0   7 2 . 9 ± 1 . 5   7 4 . 2 ± 1 . 3       3 . 3 . 2 .   Sta t is t ica l sig nifica nce  t ests   I n   o r d er   to   ac cu r ately   ev al u ate  th e  im p ac t  o f   PC A,   p air ed   t - test s   an d   W ilco x o n   s ig n ed - r an k   test s   wer e  ap p lied   to   th e   r esu lts   o b tain ed   f r o m   2 0 - f o ld   cr o s s - v alid atio n .   T ab le   5   s u m m ar izes  th e  s tatis tical   s ig n if ican ce   r esu lts .  I t  illu s tr ates   th at  th e  ac cu r ac y   o f   NN,   L R ,   an d   SVM  was  s ig n if ican tly   d ec r ea s ed ,   wh ile  th e  p er f o r m an ce   o f   KNN  r em a in s   u n af f ec ted .       T ab le  5 .   Statis tical  s ig n if ican ce   an aly s is   o f   PC A  im p ac t o n   ML   m o d el  p e r f o r m an ce   M o d e l   M e a n   a c c u r a c y   ( w i t h o u t   P C A   c r o ss - v a l i d a t i o n )   M e a n   a c c u r a c y   ( w i t h   P C A   c r o ss - v a l i d a t i o n )   P a i r e d   t - t e s t   p   W i l c o x o n   p   S i g n i f i c a n t   NN   9 3 . 1   8 8 . 1   0 . 0 1 3   0 . 0 1 2   Y e s   LR   9 2 . 9   8 8 . 1   0 . 0 1 6   0 . 0 1 4   Y e s   S V M   9 3 . 4   9 0 . 1   0 . 0 4 5   0 . 0 4 1   Y e s   K N N   7 3 . 4   7 4 . 2   0 . 4 6 2   0 . 4 5 6   No       3 . 4 .     St a ck ing   ens em ble per f o rm a nce   A  s tack in g   en s em b le  was  im p lem en ted   to   im p r o v e  th e  r o b u s tn ess   an d   class if icatio n   ac cu r ac y   o f   th e   m o d el .   T h e  s tack ed   e n s em b le   u s ed   in   th is   s tu d y   co m b in es  N N,   L R ,   an d   SVM.   U s in g   th is   t ec h n iq u e  m i n im ize  b ias  an d   v ar ian ce   b y   lev er a g i n g   th e  co m p lem en tar y   s tr en g th s   o f   th e  b ase  m o d els.  A  co m p ar is o n   b etwe en   in d iv id u al  class if ier s   an d   th e  s tack ed   en s em b le  is   p r esen ted   in   T ab le  6 .       T ab le  6 .   Per f o r m an ce   co m p a r is o n   o f   in d iv id u al  a n d   s tack ed   ML   m o d els   M o d e l   AUC   A c c u r a c y   ( %)   F1 - sc o r e   ( %)   P r e c i s i o n   ( %)   R e c a l l   ( %)   NN   0 . 9 9 5   9 3 . 1   9 3 . 1   9 3 . 1   9 3 . 1   LR   0 . 9 9 5   9 2 . 9   9 2 . 9   9 3 . 0   9 2 . 9   S V M   0 . 9 9 6   9 3 . 4   9 3 . 4   9 3 . 4   9 3 . 4   S t a c k e d   ( N N + L R + S V M )   0 . 9 9 8   9 5 . 2   9 5 . 1   9 5 . 4   9 5 . 0       T h e  s ta ck ed   en s em b l e  s u r p a s s ed   a ll   i n d iv id u a l   c la s s if ie r s ,   ac h i ev in g   an   AU C   o f   0 . 9 9 8   an d   an   ac cu r ac y   o f   9 5 . 2 %,   wi th   co n s is ten t   im p r o v em en ts   a cr o s s   F1 - s co r e ,   p r ec i s io n ,   an d   r ec a ll .   T h e s e   r e s u l ts   in d i ca te   th at   t h e  p er f o r m an c e  o f   th e  en s em b le   is   b a la n c ed   in   th e   c la s s if i ca tio n   o f   b lo o d   ce ll   c la s s e s ,   in c lu d in g   r ar e  ty p e s .   Fig u r e  6   il lu s tr at e s   th e  ev alu at io n   o f   m o d e l  p er f o r m an ce   f o r   th e   s t ac k ed   en s e m b l e   co m p ar ed   to   in d iv id u a l  m o d el s ,   u s in g   b o th   t h e  p r ec i s i o n – r ec a l l  c u r v e   s h o wn   in   Fig u r e  6 ( a )   an d   th e   l if t   p r o b ab i l ity   th r e s h o ld   p lo t  a s   in   F ig u r e   6 ( b ) ,   s h o wi n g   th at  t h e  s t ac k ed   r e ta in ed   th e  s t ac k ed   en s em b l e   s u r p as s ed   a l l  in d iv id u a l  c la s s if i er s ,   ac h iev in g   a n   A U C   o f   0 . 9 9 8   an d   an   ac cu r ac y   o f   9 5 . 2 %,  w ith   co n s i s ten t   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8 9 3 8   I n t J Ar tif   I n tell ,  Vo l.  1 5 ,   No .   3 ,   J u n e  2 0 2 6 :   2 2 4 7 - 2 2 5 9   2256   im p r o v em en t s   ac r o s s   F 1 - s co r e,   p r ec i s io n ,   an d   r ec al l.   T h e s e   r e s u lt s   in d i ca te  th at   th e  p er f o r m an c e  o f   t h e   en s em b le  s u p er i o r   p r ec is io n   a cr o s s   v ar y in g   r ec al l  th r e s h o ld s   a n d   a ch i ev ed   a  g r ea ter   l if t ,   wh i ch   co n f ir m s   th at   s t ac k in g   ef f e ct iv e ly   in t eg r at e s   th e  p r ed ic tiv e  ad v an t ag e s   o f   N N,   L R ,   an d   S VM   in to   a  m o r e   s ta b le   an d   ac cu r at e  cl as s if ica ti o n   f r am e wo r k .           ( a)   ( b )     Fig u r e  6 .   Per f o r m an c e  ev alu at io n   o f   t h e  s tack ed   en s em b le  c o m p ar ed   to   in d i v id u al  m o d els  f o r     ( a)   p r ec is io n - r ec all  cu r v e   an d   ( b )   lift  p r o b a b ilit y   th r esh o ld       3 . 5 .     Co m pa riso n wit h pre v io us   s t ud ie s   T ab le  7   s u m m ar izes  r elate d   b lo o d   ce ll  class if icatio n   s tu d ies.  T h e  p r o p o s ed   s y s tem   o u tp er f o r m s   p r ev io u s   s tu d ies,  ac h iev in g   9 5 . 2 %  ac c u r ac y   an d   an   AUC  o f   0 . 9 9 8   u s in g   I n ce p tio n V3   f ea tu r es  with   a     s tack ed   NN,   L R ,   an d   SVM  e n s em b le.   I t  d e m o n s tr ates  s tr o n g   r o b u s tn ess   u n d e r   2 0 - f o ld   c r o s s - v alid atio n ,   an d   PC A - b ased   f ea tu r e  r ed u ctio n   ca u s ed   m in im al  p e r f o r m an c e  lo s s ,   h ig h lig h tin g   its   ac cu r ac y ,   ef f icien c y ,   an d   p r ac tical  r elev an ce .       T ab le  7 .   C o m p a r ativ e  s u m m ar y   o f   b lo o d   ce ll c lass if icatio n   s t u d ies   R e f e r e n c e   M e t h o d / M o d e l   D i scu ssi o n   F e r r e i r a   e t   a l .   [ 4 2 ] ,  2 0 2 5   C N N   w i t h   c o n t r a s t   l i m i t e d   a d a p t i v e   h i s t o g r a m   e q u a l i z a t i o n   ( C LA H E )   A c h i e v e d   u p   t o   9 8 . 7 2 %  t e st   a c c u r a c y   f o r   l y mp h o c y t e s   a n d   mo n o c y t e s;   C LA H E  i m p r o v e d   i mag e   c o n t r a st   a n d   e n h a n c e d   C N N   c l a ssi f i c a t i o n   p e r f o r m a n c e .   S a z a k   a n d   K o t a n   [ 4 3 ] ,   2 0 2 4   Y O LO v 1 1   w i t h   o p t i m i z e d   w e i g h t s   A c h i e v e d   mea n   a v e r a g e   p r e c i s i o n   ( mA P )   o f   9 3 . 8 %;   d a t a   a u g me n t a t i o n   a n d   o p t i mi z e d   w e i g h t s  e n h a n c e d   mo d e l   r o b u st n e ss   a n d   p r e c i s i o n .   M a h a l e   [ 4 4 ] ,   2 0 2 5   D e e p   l e a r n i n g   m o d e l s  ( I n c e p t i o n ,   V G G 1 6 ,   c a p s u l e   n e t w o r k s )   I n c e p t i o n   a c h i e v e d   t h e   b e s t   a c c u r a c y   a n d   p r e c i si o n   a mo n g   t e s t e d   m o d e l s,   h i g h l i g h t i n g   t h e   st r e n g t h   o f   d e e p   f e a t u r e   e x t r a c t i o n   f o r   b l o o d   c e l l   c l a ss i f i c a t i o n .   Tse n g   a n d   H u a n g   [ 4 5 ] ,   2 0 2 2   En se mb l e   o f   C N N s   A c h i e v e d   a v e r a g e   t e st i n g   a c c u r a c y   o f   9 0 . 1 %   f o r   n e u t r o p h i l   c l a ssi f i c a t i o n ;   e n sem b l e   l e a r n i n g   i mp r o v e d   g e n e r a l i z a t i o n   a c r o ss  mu l t i p l e   d a t a set s.   Th i s   w o r k   I n c e p t i o n V 3   f e a t u r e   e x t r a c t i o n + S t a c k e d   ( N N + LR + S V M ) ,   P C A ,   2 0 - f o l d   C V   Th e   st a c k e d   e n s e mb l e   a c h i e v e d   t h e   b e s t   p e r f o r m a n c e   w i t h   9 5 . 2 %  a c c u r a c y   a n d   a n   A U C   o f   0 . 9 9 8 .       4.   CO NCLU SI O N   T h e   s t u d y   i ll u s t r at es   t h e   ef f e cti v e n ess   o f   u s in g   S VM   c o m b in e d   wit h   2 0 - f o l d   c r o s s - v ali d at io n   i n   ac h ie v i n g   h i g h   ac cu r a c y   f o r   p er i p h e r a l   b lo o d   c ell   ty p es   cl as s if i ca t io n .   W it h o u t   u s i n g   PC A ,   SVM   ac h i ev ed   th e   h i g h est   p r e d ic ti o n   p r o b a b i lit i es  ac r o s s   m o s t   cl ass es ,   i n cl u d i n g   p l ate lets   ( 0 . 9 9 8 ) ,   e o s i n o p h ils   ( 0 . 9 9 4 ) ,   an d   n e u t r o p h i ls   ( 0 . 9 8 7 ) .   Ap p l y i n g   PC A  r esu lte d   i n   d i f f e r e n t   i m p a cts   ac r o s s   d i f f e r e n t   c ell   t y p es.   M o n o cy tes   a n d   im m at u r e  g r a n u l o c y t es  r ec o r d ed   t h e  m o s t  n o t ab le  d ec l in es  ( 0 . 8 6 2   v s .   0 . 9 5 0 )   a n d   ( 0 . 9 1 3   v s .   0 . 9 5 5 )   r esp ec ti v el y ,   wh ich   in d icate   th eir   h ig h er   s en s itiv ity   to   d im en s io n ality   r ed u ctio n   d u e  to   th eir   m o r p h o lo g ical  s im ilar ity   to   o th er   le u k o c y tes.  Mo d e r ate  r e d u ctio n s   wer e   also   o b s er v e d   f o r   b aso p h ils ,   ly m p h o cy tes  an d   er y th r o b last s   with   ( 0 . 9 3 7   v s .   0 . 9 7 0 ) ,   ( 0 . 9 4 9   v s .   0 . 9 7 2 ) ,   a n d   ( 0 . 9 6 9   v s .   0 . 9 8 3 )   r esp ec tiv ely .   T h ese  r ed u ctio n s   wer e  co n f ir m ed   to   b e  s tatis tica lly   s ig n if ican t  f o r   SVM,   NN,   an d   L R   ( p   <0 . 0 5 ) ,   in d icatin g   th at  PC A  m ay   r em o v e  s u b tle   Evaluation Warning : The document was created with Spire.PDF for Python.