C omp u te r   S c i e n c e   an d   I n for mati on   T e c h n ol ogi e s   V ol .   6 ,   N o .   3 N ove m b e r   20 25 ,   p p.   315 ~ 325   IS S N :   2722 - 3221 D O I :   10. 1 1591 / c s i t . v6 i 3 . pp 31 5 - 325             315     Jou r n al   h o m e pa ge ht t p: / / i ae s pr i m e . c om / i nd e x . php / c s i t   Hy b r i d   f e a t u r e   f u si o n   f r o m   mul t i p l e   CNN  m o d e l s with   b a y e si a n - o p t i mi z e d   m a c h i n e   l e a r n i n g   c l a ssi f i e r s       D e w i   R i s maw at i ,   S u gi ya r to   S u r on o ,   A r i s   Th ob i r i n   D e p a rt m e n t   o M a t h e m a t i c s ,   F a c u l t y   o S c i e n c e   a n d   A p p l i e d   T e c h n o l o g y ,   A h m a d   D a h l a n   U n i v e rs i t y ,   Y o g y a k a rt a ,   In d o n e s i a       A r ti c l e   I n fo     A BS TR A C T   Ar t i c l e   h i s t or y :   Re c e i v e d   A pr   11 202 5   Re vi s e J un   21 2025   A c c e pt e J u l   4 2025       I nf or m a t i on   t e c hn ol o gy   a d va nc e m e n t s   h a ve   c r e a t e bi g   d a t a ,   n e c e s s i t a t i ng   e f f i c i e nt   t e c hni que s   t o   r e t r i e v e   he l p f u l   i n f o r m a t i on .   W i t h   i t s   c a pa c i t y   t o   r e c o gn i z e   a nd   c a t e go r i z e   p a t t e r ns   i n   da t a ,   e s pe c i a l l y   t he   g r ow i ng   a m ou nt   o f   pi c t u r e   d a t a ,   de e l e a r n i ng   i s   b e c o m i ng  a   v i a bl e   op t i on .   T h i s   r e s e a r c h   a i m s   t de v e l o a   m e di c a l   i m a ge   c l a s s i f i c a t i on   m ode l   us i ng   c h e s t   X - R a y   w i t h   f our   c l a s s e s ,   na m e l C ov i d - 19 ,   P ne u m o ni a ,   T ube r c ul o s i s ,   a n N o r m a l .   T he   pr op os e m e t h od   c o m b i n e s   t he   a d va n t a g e s   o f   de e p   l e a r ni ng   a nd   m a c hi n e   l e a r n i ng .   T h r e e   pr e - t r a i ne C N N   m o de l s ,   V G G 16 ,   D e n s e N e t 201,   a nd   I nc e pt i onV 3,   e x t r a c t   f e a t ur e s   f r om   i m a ge s .   T he   f e a t u r e s   g e ne r a t e d   f r o m   e a c h   m od e l   a r e   f us e t o   e n ha n c e   t h e   r e l e va n t   i n f o r m a t i on .   F u r t h e r m o r e ,   pr i n c i p a l   c om pon e nt   a na l y s i s   ( P C A )   w a s   a p pl i e d   t o   r e duc e   t he   d i m e n s i o na l i t y   of   t h e   f e a t u r e s ,   a nd   B a ye s i a o pt i m i z a t i o w a s   us e t o   op t i m i z e   t he   hype r pa r a m e t e r s   o f   t he   m a c h i ne   l e a r n i n g   a l go r i t h m s   s upp or t   ve c t or   m a c hi ne   ( S V M ) d e c i s i on   t r e e   ( D T ) ,   a nd   k - ne a r e s t   n e i g hbo r s   ( k - NN ) .   T h e   r e s u l t i n c l a s s i f i c a t i on  m ode l   w a s   e va l ua t e d   ba s e d   on  a c c ur a c y ,   p r e c i s i on,   r e c a l l ,   a nd   F1 - s c or e .   T he   r e s u l t s   s how e d   t ha t   F F - S V M ,   w h i c i s   t he   p r op os e m od e l ,   a c h i e v e a a c c u r a c of   98 . 79 %   w i t h   p r e c i s i on ,   r e c a l l ,   a nd  F 1 - s c or e   o f   98. 8 5% ,   98 . 8 2% ,   a n 9 8 . 84 % ,   r e s pe c t i ve l y .   I c onc l u s i on,   f us i n f e a t u r e   e xt r a c t i on  f r om   m ul t i pl e   C N N   m od e l s   i m pr o ve d   t h e   c l a s s i f i c a t i on   a c c ur a c y   of   e a c h   m a c hi ne - l e a r n i n m od e l .   I t   p r ov i de d   r e l i a bl e   a n d   a c c ur a t e   pr e d i c t i ons   f or   l ung   i m a ge   d i a g nos i s   u s i n c he s t   X - R a y .     Ke y w or d s :   Ba ye s i a n   op t i m i z a t i on   Bi da t a   Convol u t i ona l   n e ur a l   ne t w ork   F us i ng  f e a t ur e   M a c h i ne   l e a r ni ng   T hi s   i s   an   op e n   ac c e s s   ar t i c l e   u nde r   t he   C C   B Y - SA   l i c e n s e .     Cor r e s pon di n g   Au t h or :   S ugi ya r t o   S urono   D e pa r t m e nt   of   M a t he m a t i c s ,   F a c ul t of  S c i e nc e   a nd   A ppl i e d   T e c hn ol og y ,   A hm a d   D a h l a n   U n i ve rs i t y   S out Ri ng   Ro a d   S t re e t ,   T a m a na n,   Ba ngun t a p a n ,   B a nt ul ,   S p e c i a l   R e gi o o Y og ya k a rt a   55191 ,   I ndon e s i a   E m a i l :   s ugi y a rt o @ m a t h. ua d . a c . i d       1.   I N TR O D U C TI O N   P ul m on a ry  di s e a s e s   s u c a s   CO V ID - 19 ,   p ne u m on i a ,   a nd  t ube rc ul os i s   a r e   g l oba l   h e a l t h   prob l e m s   t ha t   s i gni f i c a nt l i m pa c t   m o rbi d i t y   a nd  m or t a l i t r a t e s   [1] .   Re du c i n t he   s pr e a d   a n i m p rovi ng  p a t i e n t   prognos i s   r e qui r e s   a n   e a r l y   a nd   pr e c i s e   di a gnos i s .   H ow e ve r,   t h e re   a re   dra w b a c ks   t o   m a nu a l l y   i n t e r pre t i ng   c he s t   m e di c a l   i m a gi ng ,   s uc a s   C T   s c a ns   a nd  r a di o gra p hs ,   i n c l ud i ng  t he   ne e for  ra d i ol o gi s t s '   know l e dg e ,   t h e   pos s i bi l i t y   of   hu m a n   m i s t a ke s ,   a nd   a   l a c of   r e s ourc e s   i pl a c e s   w i t h   l ow   h e a l t h c a r e   a c c e s s   [2] .   S i nc e   t he   m i d - 20t h   c e n t ury ,   t h e   w orl d   h a s   unde rgon e   profou nd  c ha n ge s   t h a nks   t o   r a pi a dv a nc e s   i n   i nfor m a t i on   t e c hn ol ogy ,   p a r t i c ul a rl y   c o m pu t e t e c hno l ogy .   Bi D a t a ,   t he   re s u l t   o t h e s e   de v e l o pm e nt s   i t he   i nfor m a t i on   a g e ,   i s   now   a i m port a nt   for c e   dri v i ng  t he   t ra ns f orm a t i on  o va ri ous   s e c t ors ,   i n c l ud i ng   he a l t h c a r e .   A s   t h e   nu m be a nd   c om p l e xi t of   m e di c a l   i m a ge s   i nc re a s e   i n   t he   B i g   D a t a   e ra ,   c on ve n t i on a l   a ppro a c h e s   t da t a   pro c e s s i ng   b e c o m e   i na d e qu a t e   t o   m e e t   t he   ne e d   for   a c c u ra t e   a nd   e ffi c i e nt   a na l ys i s   [ 3] Re c e n t   d e ve l op m e n t s ,   e s p e c i a l l y   i n   d e e p   l e a r ni ng   ( DL ) ,   ha ve   e na b l e d   t he   i d e nt i fy i ng,   m e a s uri n g,   a n c l a s s i fyi n of   p a t t e rns   i n   i m a g e   d a t a   [4] DL   i s   a n   a l gor i t h m   i ns pi re d   by   how   t h e   hu m a br a i w orks ,   w h e r e   Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2722 - 3221   Com pu t   S c i   Inf   T e c h nol ,   V o l .   6 ,   N o .   3 N ov e m be r   20 25 315 - 325   316   a rt i fi c i a l   n e ura l   n e t w or ks   func t i o l i ke   t he   ne t w ork  of   ne ur o ns   i our  b ra i t o   pro c e s s   i nf orm a t i on  a nd  l e a rn  from   e x pe r i e n c e   [5] ,   [6] .   O n e   of   t h e   m os t   po pul a r   DL   a r c hi t e c t ure s   i n   i m a ge   d a t a   p roc e s s i ng   i s   c on vol u t i o na l   ne ura l   ne t w orks   (CN N ).   CN N   i s   s pe c i f i c a l l de s i g ne d   t e xt ra c t   fe a t ure s   re pre s e nt i ng  va r i ous   c on t e x t s   of  i m a ge   da t a   w i t hou t   f e a t ure   e ngi n e e ri ng   t h rough   c o nvol ut i on   l a ye rs   [7] .   S e ve r a l   a d va n c e d   CN N   a r c hi t e c t ur e s   w e re   de v e l ope d   a nd  a pp l i e i n   i m a g e   da t a   c l a s s i f i c a t i on  a nd   pa t t e rn   r e c og ni t i on   [8] .   P re vi o us   re s e a rc by  G upt a   a nd  Cha w l a   [ 9]   e va l ua t e t he   e ffi c i e nc of  s e ve ra l   pre - t ra i ne CN N   m ode l s ,   i nc l u di ng  V G G 16,   V G G 19,   X c e pt i on,   a n Re s N e t 50 ,   a l ong  w i t s up port   ve c t or  m a c hi ne   (S V M )   a nd  l ogi s t i c   re gre s s i on  (L R)  f or  bre a s t   c a nc e c l a s s i fi c a t i on  us i ng  hi s t opa t hol og i m a ge s .   T he   re s ul t s   s ho w e t ha t   Re s N e t 50+ L a c hi e ve t he   be s t   a c c ura c y   (93. 27% ),   out pe rfo rm i ng  t he   ot he m o de l s .   Re s e a rc h   by  A s l a e t   al .   [10]   de ve l ope a   c l a s s i fi c a t i on   m e t hod  for  CO V I D - 19  di a gn os i s   us i n c he s t   c om put e t om ogra phy  ( CT i m a ge s .   T he ut i l i z e s e v e ra l   a dva nc e CN N   a rc hi t e c t u re s   ( A l e x N e t ,   Re s N e t 1 8,   Re s N e t 50,   Inc e pt i o nv3,   D e ns e ne t 201,   Inc e pt i o nre s ne t v 2,   M o bi l e N e t v 2,   G o ogl e N e t )   t ha t   ha d   be e pre - t ra i ne t e xt ra c t   fe a t ure s   a nd  c l a s s i f t he m   u s i ng  s e ve r a l   m a c hi ne   l e a rni ng  a l go ri t hm s ,   w he re   t h e   D e ns e N e t - S V M   a rc hi t e c t ure   ga ve   t he   hi g he s t   a c c u ra c of   96. 29%.   Re s e a rc b Bi s w a s   a nd  Is l a m   [ 11 ]   c l a s s i fi e s   bra i t um or s   t hrou gh  a   hybri m ode l   ba s e o de e CN N   (D C N N a nd  S V M .   CN N + S V M   obt a i ne 96. 0%  a c c ura c y,   9 8. 0%  s pe c i fi c i t y,   a nd   95. 71 s e ns i t i vi t y,   hi g he t ha ot he t ra ns fe l e a rni ng   m ode l s   (A l e xN e t ,   G o ogL e N e t ,   a nd  V G G 16).   P re vi ous   r e s e a rc h   ha s   fo c us e d   on   ut i l i z i ng   i ndi v i du a l   CN N   a rc h i t e c t ure s   fo r   fe a t u re   e xt r a c t i o n,   w hi c a re   t h e c om bi n e w i t c l a s s i c a l   m a c hi n e   l e a rni n g   a l gori t h m s   for   c l a s s i f i c a t i on.   T h e re fore ,   t hi s   s t u dy  propos e s   a   f e a t ure   fus i on   a pp roa c h   by   fus i n f e a t ur e s   fr om   s e v e ra l   pre - t r a i n e d   CN N   a rc hi t e c t ur e s ,   n a m e l y   V G G 16,   D e ns e N e t 201,   a nd   I nc e pt i onV 3 .   T h i s   a ppr oa c h   a i m s   t o   ut i l i z e   t he   a dv a nt a ge s   of   e a c h   a rc h i t e c t ur e   i n   e xt r a c t i ng   d i ffe re n t   v i s ua l   re pr e s e n t a t i ons   fro m   m e di c a l   i m a g e s ,   re s u l t i ng   i n   m ore   i n form a t i ve   a nd   ri c fe a t ure s   [12] .   T he   pr i nc i pa l   c om pone nt   a n a l ys i s   (P CA d i m e ns i ona l i t r e du c t i on  t e c hni que   i s   t he n   us e t re duc e   t h e   d i m e ns i on a l i t y   of   t h e   d a t a   a nd  t r a ns for m   t he   fe a t ure s   i n t a   m or e   c om pa c t   s u bs pa c e   w hi l e   re t a i n i ng   i m port a n t   i nfor m a t i on   [13 ] .   F urt he r m or e ,   c l a s s i fi c a t i on   i s   p e rfor m e d   us i ng  s e ve ra l   m a c hi ne   l e a rni ng   a l go ri t hm s ,   n a m e l S V M ,   de c i s i on   t re e   (D T ) ,   a nd   K - n e a re s t   n e i g hbors   (k - N N ) ,   w h i c a re   know for   t h e i r   r e s pe c t i ve   a dva nt a ge s .   S V M   offe rs   s i gni f i c a nt   a dv a n t a g e s   w i t i t s   a bi l i t t o   pro c e s s   hi gh - di m e ns i ona l   d a t a   a nd  i t s   c om p ut a t i ona l   e ffi c i e nc y   [14] .   D i s   c o m m o nl a pp l i e b e c a us e   i t   i s   e a s t i n t e r pre t ,   t r a i ns   r a pi dl y ,   a nd  c a n   m a na ge   b ot h   num e ri c a l   a nd   c a t e gor i c a l   v a ri a b l e s   [15] .   T he   b e ne f i t s   of   k - N N   a ppro a c h e s   a r e   s t r a i gh t forw a rd   t o   c om p re h e nd   a nd   e xe c ut e   [ 16] .   H yp e rp a ra m e t e r   a dj us t m e nt   i s   a n   i m port a n t   c om pone nt   i n   t r a i n i ng   s upe rv i s e d   an u ns upe r vi s e d   M L   m ode l s .   T h e re f ore ,   M L   m e t hods   m us t   b e   c onfi gure b e for e   t ra i ni ng   t o   g e t   m a xi m um   re s ul t s .   T h i s   i s   be c a us e   c onfi g ura t i on   va r i a b l e s   a ffe c t   m o de l   p e rfor m a nc e   a nd   a c c ur a c y   [ 17] .   Ba y e s i a opt i m i z a t i on   (BO )   i s   s e l e c t e d   for   hyp e rp a ra m e t e r   t uni ng   ow i ng  t i t s   c ons i s t e nt   a dv a nt a g e   i r e du c i ng   c om p ut a t i ona l   t i m e   re l a t i v e   t o   bot G r i a nd   ra ndo m   s e a r c m e t hods   [18] .   S e ve r a l   s t u di e s   e v a l u a t e d   t h e   f e a t ure   f us i on   of   m u l t i pl e   pre - t ra i ne d   CN N s   b e for e   a p pl y i ng   c l a s s i c a l   M L   c l a s s i f i e rs .   A l z a h e m   [1 9]   us e d   D e m ps t e r - S ha f e r   fus i o n   on  m u l t i pl e   CN N s   b ut   r e l i e d   o n   e ns e m b l e   t he ory  ra t h e r   t h a c l a s s i c a l   M L .   Z h a ng   e t   al [ 20]   c o m bi ne d   CN N   fe a t u re s   but   fo c us e d   on l y   on   opt i m i z e d   CN N s   w i t hou t   e xp l or i ng   t h e   fus i on   of   c l a s s i c a l   c l a s s i f i e rs   w i t h   B a ye s i a t un i ng .   O ve r a l l ,   f e a t ure   fus i on   c om bi n e w i t h   B a ye s i a n - o pt i m i z e d   c l a s s i c a l   m a c h i ne   l e a rn i ng   c l a s s i f i e rs   re m a i ns   une x pl or e d .   T h e   m a i c on t ri b ut i ons   of  t h i s   r e s e a rc a re   s um m a ri z e d   a s   fol l ow s :     M ul t i - CN N   f e a t ure   fus i on :   f e a t ur e s   a r e   e xt r a c t e d   fro m   t hr e e   p re - t ra i ne CN N   a rc hi t e c t ur e s - V G G 16,   D e ns e N e t 201 ,   a nd   In c e pt i onV 3 - a nd   c o m bi ne d   us i ng  a   fe a t ur e   fus i on   t e c hni q ue   t o   e nha nc e   f e a t ur e   ri c hn e s s   a nd   di v e rs i t y.     D i m e ns i on a l i t r e du c t i on  us i ng  P CA :   P CA   i s   a p pl i e t t h e   fus e fe a t ur e s   t re du c e   di m e ns i ona l i t y ,   t he r e by   i m prov i ng   c o m pu t a t i on a l   e ffi c i e nc y   a nd  m i ni m i z i ng   ove rf i t t i ng .     Cl a s s i f i c a t i on   w i t opt i m i z e d   m a c h i n e   l e a rni ng   m o de l s :   t h e   di m e ns i on a l i t y - r e du c e d   f e a t ur e s   a re   c a t e gor i z e i nt fou t ype s   of  l ung  di s e a s e s   us i ng  opt i m i z e d   ve rs i ons   of   S V M ,   DT ,   a nd  k - N N   a l gor i t h m s ,   w h e re   t h e   opt i m a l   hyp e rp a ra m e t e rs   a r e   de t e r m i n e t hroug BO .     Cl i n i c a l l a ppl i c a bl e   c l a s s i f i c a t i on  p i pe l i ne :   t h e   pro pos e a pproa c a i m s   t d e v e l op   a   h i gh l a c c ura t e   a nd   e ff i c i e n t   c l a s s i f i c a t i on   s ys t e m   t h a t   c a n   b e   i n t e gr a t e d   i nt o   c l i ni c a l   d e c i s i on   s upp ort   s ys t e m s   for   ra di o l og i c a l   di a gnos i s .       2.   M ET H O D   T hi s   r e s e a rc us e s   a   hybr i m e t hod ol ogy   i n t e gra t i ng   DL   a nd  m a c hi ne   l e a rn i ng   t o   a n a l y z e   l u ng  i m a ge   d a t a .   T h e   s t a ge s   of   t h i s   r e s e a rc h   c a n   b e   s e e n   i n   F i g ure   1 .   It   s t a r t s   w i t h   i m a g e   i n put ,   w hi c h   i s   t he re duc e d   a nd   nor m a l i z e d.   N e xt ,   fe a t ur e   e xt r a c t i on   i s   pe rf o r m e d   us i ng   t h re e   CN N   m o de l s ,   na m e l y   V G G 16 ,   D e ns e N e t 201 ,   a nd   In c e p t i o nV 3.   Evaluation Warning : The document was created with Spire.PDF for Python.
Com pu t   S c i   Inf   T e c h nol     IS S N :   2722 - 3221       H y br i d   f e at ur e   f us i on   f r om   m ul t i p l e   CNN   m od e l s   wi t bay e s i an - opt i m i z e d   m a c hi n e   …  (D e wi   R i s m awat i )   317       F i gure   1 .   R e s e a rc h   m e t hod       T he   r e s ul t i ng   f e a t ur e s   a r e   fus e d   us i ng   on e   of   t he   fus i on   ru l e s ,   na m e l y   c onc a t e na t e .   T he   r e s ul t s   of   t h e   fe a t ure   fus i o w i l l   b e   r e du c e d   i n   di m e ns i on  us i ng   P CA .   T h e   da t a   i s   t he n   di vi d e i nt o   t r a i n i ng  da t a   a nd  t e s t   da t a   for   c l a s s i f i c a t i on  us i ng  S V M ,   DT ,   a nd   k - N N ,   w i t h   BO .   In  t he   e v a l u a t i on  p ha s e   of  t hi s   s t udy ,   pe rfor m a nc e   i ndi c a t ors   i n c l ud i ng   a c c u ra c y,   pr e c i s i on ,   re c a l l ,   a nd   F 1 - s c ore   a re   ut i l i z e t o   a s s e s s   t h e   i m p a c t   of  t he   i m pl e m e n t e d   hybr i d   a pp roa c h .     2. 1 .     D atas e t   Che s t   X - ra i s   a   m e di c a l   i m a g e   t ha t   re s u l t s   from   t he   pro c e s s   of  r a d i ogra phy ,   w h i c h   i s   a i m a g i ng   t e c hni q ue   t h a t   us e s   X - r a ys   t o   v i s ua l i z e   t h e   i n t e r na l   s t ruc t ure s   of  t h e   c h e s t .   A l l   i m a g e s   h a v e   be e n   pr e - proc e s s e d   a n d   s c a l e d   t o   224 × 224   p i x e l s .   T h e   da t a s e t   w a s   c re a t e d   b m e r gi ng   m u l t i pl e   da t a s e t s   fro m   t h e   K a ggl e   pl a t f orm ,   a n   op e n   on l i n e   re pos i t ory   for   da t a s e t s .   T he   da t a s e t s   s how e d   m i ni m a l   i m ba l a n c e   but   c ont a i n e d   dup l i c a t e   i m a ge s ,   s o   d a t a s e t   c l e a ni ng   w a s   p e rfor m e d.   T a b l e   1   pr e s e n t s   t h e   da t a s e t   bot h   p ri or   t o   a nd   fol l ow i ng  t h e   d a t a   c l e a n i ng  proc e dur e ,   w hi l e   F i gu re   s h ow s   a   s a m p l e   c h e s t   X - ra y   i m a ge   of  t h e   l ungs .   S ubs e que n t l y,   t he   d a t a s e t   i s   ra nd om l y   s pl i t   i nt o   85 %   for   t r a i n i ng   a n d   15%   fo r   t e s t i ng ,   e ns uri ng   t h a t   c l a s s   di s t ri but i on  r e m a i ns   ba l a n c e d .   T r a i n i ng  d a t a   s e r ve s   t bu i l d   t he   m od e l ,   w h i l e   t e s t   d a t a   i s   ut i l i z e t o   m e a s ur e   how   w e l l   t h e   m od e l   p e rfor m s   on   uns e e n   i n put s .         T a b l e   1 .   N u m be of   i m a ge s   pe r   c l a s s   a f t e r   d a t a   c l e a n i ng   pro c e s s   Cl a s s e s   N o rm al   CO V ID - 19   P n e u m o n i a   T u b e rc u l o s i s   T o t a l   Be fo re   c l e a n i n g   1 , 802   1 , 626   1 , 800   1 , 600   6 , 828   A ft e c l e a n i n g   1 , 671   1 , 537   1 , 791   1 , 600   6 , 599           F i gure   2 .   C he s t   X - r a o t he   l u ngs       2. 2 .     D e e p   f e atu r e   e xt r ac ti on   A c c ord i ng   t H e a t on   [21] CN N   i s   a   s pe c i f i c   a r c h i t e c t ure   i n   DL   i nt e nd e t pr oc e s s   da t a   orga ni z e d   i a   gri d   for m a t ,   s u c a s   pi c t ure   da t a ,   re pre s e nt e a s   a   2D   gri of   pi x e l s   group e i row s   a nd  c ol u m ns .   A   CN N   ha s   l a ye rs   of  n e uro ns   t h a t   fa c i l i t a t e   pa t t e rn  re c ogn i t i on  a nd  f e a t ur e   e xt r a c t i o fr om   pi c t ur e s   [ 22] .   O ne   of   Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2722 - 3221   Com pu t   S c i   Inf   T e c h nol ,   V o l .   6 ,   N o .   3 N ov e m be r   20 25 315 - 325   318   t he   m a i n   f e a t ure s   of   CN N   i s   t h e   c onvo l ut i on   l a y e r,   t hi s   l a y e r   e x t r a c t s   c ha ra c t e ri s t i c   vi s ua l   i n form a t i on   hi e r a rc hi c a l l y   fro m   t h e   i np ut   i m a ge .   T h i s   p roc e dur e   e n t a i l s   a n   i np ut   m a t r i x   t h a t   s e rve s   a s   a   num e ri c a l   de pi c t i on  of  t he   i m a ge   a l ongs i d e   a   fi l t e r ,   a   di m i nu t i v e   m a t r i x   of  a   p a r t i c ul a d i m e ns i o n.   T h e   fi l t e r   fun c t i ons   a s   a   fe a t ure   de t e c t or ,   t ra v e rs i n t he   i npu t   m a t ri x   a nd   e x e c ut i ng  a e l e m e nt - w i s e   m ul t i p l i c a t i on   w i t t he   re l e v a nt   s e gm e nt   of   t he   i n put ,   w i t h   t he   pr oduc t s   t he s u m m e d   t yi e l a   s i ng l e   ou t put   v a l ue .   T h e   o ut pu t   va l ue s   s ubs e que n t l y   c r e a t e   a   f e a t ur e   m a p   t h a t   i l l us t r a t e s   t he   c h a ra c t e ri s t i c s   i de n t i f i e d   b t h e   fi l t e r.   S t r i d e   i s   t he   s t e p   de t e r m i ni ng   t h e   m a g ni t u d e   of   t h e   f i l t e r   s h i f t ;   i f   t h e   s t ri de   s i z e   i s   1 ,   t he   f i l t e r   w i l l   a d va n c e   by   o ne   pi xe l   w i t e a c i t e ra t i on .   T h e   c o nvo l u t i on   pro c e s s   m a y   b e   m a t h e m a t i c a l l y   e xp re s s e d   a s   (1) ,   w h e r e   ( , )   i s   t he   o u t pu t   va l u e   a t   p os i t i on   ( , )   i s   t h e   i n pu t   m a t r i x ,     i s   t h e   c o nv ol ut i o fi l t e of   s i z e   × ,   a n   i s   t he   s t r i d e   v a l ue .     ( , ) = ( 1 ) + , ( 1 ) + × ( , ) = 1 = 1     (1)     Input   i m a ge s   a re   proc e s s e d   b y   t h e   pr e t r a i n e d   m ode l   v i a   a   s e ri e s   of   c onvo l ut i on a l   a nd   p ool i ng   l a y e rs   de s i gn e t e xt r a c t   h i e r a rc hi c a l   fe a t ure s .   E a c c onvol ut i on a l   b l o c a ugm e n t s   t h e   f i l t e c oun t ,   e n a bl i ng   t h e   m ode l   t o   di s c e r p rogr e s s i ve l i nt ri c a t e   pa t t e rn s .   A t   t h e   s a m e   t i m e ,   t h e   p ool i ng   l a ye r   r e du c e s   t h e   di m e ns i on a l i t y   of   t h e   i m a g e .   M a x   P oo l i ng   [23 ]   s e l e c t s   t h e   m a x i m u m   a c t i va t i on   v a l u e   t re pr e s e n t   t he   w ho l e   re gi o n,   pr e s e rv i ng   e s s e n t i a l   i n form a t i on .   T h i s   t e c hni q ue   e f fe c t i v e l y   g e ne r a t e s   a   s p a rs e r   r e pr e s e nt a t i on   by   s e l e c t i ng   on l y   t he   h i ghe s t   a c t i va t i on   va l ue   f rom   e a c h   po ol e d   re gi on .   T hi s   s t ud y   e m pl o ys   t hr e e   pr e - t ra i ne d   CN N   m ode l s :   V G G 16 ,   Inc e pt i onV 3 ,   a n D e ns e N e t 2 01,   w i t a n   i np ut   pi c t ure   s i z e   o 224 × 224 .   F i gu re   3   pre s e n t s   t he   s t ru c t u ra l   d e s i gn   of   e a c h   r e s pe c t i ve   m o de l .             F i gure   3 .   CN N   m ode l   a rc hi t e c t ur e       A s   s how i F i g ure   3,   e a c m od e l   us e i nt e gra t e s   g l ob a l   a v e ra ge   pool i ng   a s   a a d di t i on a l   l a y e a ft e t he   m a i m od e l .   G l ob a l   a ve r a g e   pool i ng   r e du c e s   da t a   d i m e ns i ons   w h i l e   re t a i ni n i m port a nt   i nfor m a t i o by  ut i l i z i ng   t he   i n va r i a n c e   of   f e a t ur e   m a a v e ra g e s ,   t he r e by   r e duc i n ove r fi t t i n a nd   i m pro vi ng   c om put a t i ona l   e ffi c i e nc y .   T he   V G G 16   m o de l   h a s   a   s t a b l e   a nd   de e p   a r c h i t e c t ur e   w i t h   a   s t ra i ght forw a r s e que nt i a l   s t r uc t ure ,   m a k i ng   i t   s ui t a bl e   for   e xt r a c t i n ro bus t   s pa t i a l   fe a t ur e s .   It   pro duc e s   51 2 - di m e ns i on a l   fe a t u r e   o ut pu t s .   D e ns e N e t 2 01,   de s i g ne d   t o   op t i m i z e   i nfor m a t i on  a nd   gra di e n t   f l ow   t hroug d e ns e   c o nne c t i ons   b e t w e e l a y e rs ,   ge ne ra t e s   ri c he r   f e a t ure   re pre s e nt a t i ons   w i t h   up   t o   Evaluation Warning : The document was created with Spire.PDF for Python.
Com pu t   S c i   Inf   T e c h nol     IS S N :   2722 - 3221       H y br i d   f e at ur e   f us i on   f r om   m ul t i p l e   CNN   m od e l s   wi t bay e s i an - opt i m i z e d   m a c hi n e   …  (D e wi   R i s m awat i )   319   1 , 920  out pu t   c ha n ne l s .   M e a nw h i l e ,   In c e pt i onV i nc or pora t e s   m u l t i pl e   c on vol u t i o na l   fi l t e s i z e s   w i t hi n   t h e   s a m e   m odu l e ,   a l l ow i ng   i t   t o   c a p t ur e   m u l t i - s c a l e   f e a t ur e s   e ff e c t i ve l y.   T hi s   m ode l   prod uc e s   f i na l   fe a t ure s   w i t a   d i m e ns i o of   2 , 048   [24] [26] .     2. 3 .     F e atu r e   fu s i on   an d   d i m e n s i on al i ty   r e d u c ti on   O ne   f e a t ure   t y pe   i s   fr e qu e nt l i ns uff i c i e n t   t a c c om m oda t e   a e xt e ns i v e   r a ng e   o d a t a   i c l a s s i fi c a t i on   i s s ue s .   In   o rde r   t o   pro vi d e   a   m ore   r e l i a b l e   a n a c c ura t e   r e pr e s e n t a t i on   o t h e   da t a ,   t e c hn i qu e s   t ha t   i n t e gr a t e   c ha r a c t e r i s t i c s   fro m   s e ve r a l   e xt r a c t ors   a re   t h us   re qui re d   [27] .   In  or de t i nt e gra t e   a l l   of  t he   fe a t ure s   i nt a   one - di m e ns i ona l   (1D ve c t or   for m ,   f l a t t e ni ng  i s   n e c e s s a ry  b e c a us e   e a c m od e l   ge n e ra t e s   fe a t ure   r e pre s e nt a t i ons   i n   a   t hr e e - di m e ns i ona l   t e ns or  f orm a t .   T hi s   g ua r a nt e e s   t h a t   c h a ra c t e ri s t i c s   fro m   s e v e r a l   m od e l s   m a b e   c ons i s t e nt l bl e nde d.   T h e   f e a t ure   re pre s e nt a t i ons   f or  e a c s a m pl e   a re   fl a t t e n e by  t ra ns f orm i ng  t h e m   fro m   hi g d i m e ns i ons   , ,   i nt o   1D   ve c t ors   w i t h   a   s i ng l e   di m e ns i on   of       .   T hi s   proc e dur e   m a b e   s t a t e m a t h e m a t i c a l l a s   (2) .   Be s i de s   i n   (2)  a nd   (3),     re p re s e n t s   t h e   m ode l   w he re   , ,   a nd     a re   t h e   nu m b e r   of   s a m p l e s ,   fe a t ur e   h e i gh t ,   w i dt h,   a nd  c ha n ne l s .   A f t e a v e ra g i ng ,   t he   f e a t ur e s   of  t he   t hr e e   m od e l s   a re   f us e us i ng  t he   c on c a t e na t i on  m e t hod ,   re s ul t i ng   i n   a   f e a t ure   fus i on  m a t r i (  )   of   di m e ns i on   ( ,  3 +   201 +  16 ) .     , ×     (2)     W e r e ,     =     (3)     Be s i d e s   be i ng  w i de l us e i m od e rn  n e t w o rk  a rc h i t e c t ure s   for   fe a t u re   f us i on ,   c onc a t e n a t i on  m e t hods   a re   us e fo t h e i r   s i m pl i c i t a nd  a bi l i t t o   re t a i i n form a t i on  fro m   m ul t i p l e   fe a t ur e   s our c e s   w i t hou t   l os i ng   i m por t a nt   d e t a i l s   [28 ] U nl i k e   a v e ra g i ng   or   m a x i m i z i ng,   w h i c h   c a n   r e du c e   d i m e ns i o na l i t y   o i gno re   va ri a t i ons   be t w e e f e a t ur e s ,   c o nc a t e na t i on   pr e s e r ve s   t h e   r i c h ne s s   of   t he   fe a t ure   re pre s e nt a t i on   obt a i n e d   fro m   e a c m od e l   or   l a ye r .   T h i s   fus i on  c orr e s ponds   t o   t he   fe a t u re   c onc a t e n a t i o n   m e t h od  e xpr e s s e d   i n   (4) .      = [  3 ,  16 ,   201 ]   (4)     H ow e ve r ,   t h e   c on c a t e na t i on   m e t hod   i nc r e a s e s   t he   f i na l   fe a t ure   v e c t or' s   d i m e ns i o n,   i nc r e a s i ng  c om p ut a t i ona l   c om pl e xi t y.   T h e r e fore ,   P CA   i s   a pp l i e t t he   fus e d   m a t r i (F F )   t o   re d uc e   t he   di m e ns i on a l i t y   of  l a rg e   a nd   c o m p l e x   f e a t ur e s   w h i l e   re t a i ni ng   t h e   m os t   i m po rt a n t   i nf orm a t i on ,   s i m p l i f yi ng   t he   re pr e s e n t a t i on   of  hi gh - di m e ns i on a l   da t a .   I g e ne ra l ,   P CA   w orks   by   c a l c ul a t i ng  t he   e i ge nva l ue s   of  t h e   d a t a   c ova ri a nc e   m a t ri x     t o   de t e rm i ne   t h e   m a i n   di r e c t i on  o d a t a   di s pe rs i on   t hr ough   a   de c o m pos i t i on  p roc e s s ,   a s   s h ow i ( 5).     =   (5)     P a i rs   of  e i ge n   va l ue     a nd  e i ge nve c t o   a re   obt a i n e d ,   w hi c c om p os e   t he   pri n c i p a l   c o m pon e n t s .   T he s e   c om p one n t s   a re   t h e s or t e by   t h e   va l ue   of     i de s c e ndi ng   ord e r.   T h i s   s t u dy  c hoos e s   t h e   m i ni m um   num b e o p ri n c i p a l   c o m po ne n t s     t h a t   s a t i s fy   (6) .     = 1 = 1 0 . 95     (6)     W he r e     i s   t he   - t e i ge nv a l ue   re pre s e nt i ng   t h e   v a r i a n c e   e xpl a i ne d   by   t h e   - t h   pri nc i pa l   c o m pon e nt ,   a nd    i s   t he   - t e i g e nv a l u e   of   a l l     i ni t i a l   f e a t ur e s ,   c u m ul a t i ve l y   re pre s e nt i ng  t he   t o t a l   v a ri a n c e   of  t he   ori gi n a l   da t a .   T he   95%  c u m ul a t i ve   e xp l a i ne v a ri a nc e   t hre s hol i s   c hos e t e ns ure   t h a t   t he   re d uc e f e a t ure   s pa c e   r e t a i ns   m os t   of   t h e   ori g i n a l   i nfor m a t i on  w h i l e   s i gni f i c a nt l r e du c i ng   d i m e ns i on a l i t y .   By  pre s e rvi n a t   l e a s t   95%   of   t he   t ot a l   v a ri a nc e ,   t he   t ra ns fo rm e d   fe a t u re s   r e m a i n   h i ghl re pr e s e n t a t i v e   of   t h e   ori gi n a l   d a t a   s t ruc t ure ,   m a ki ng   t he m   s u i t a bl e   f or  s ubs e qu e nt   c l a s s i f i c a t i on   t a s ks .     2. 4 .     Bay e s i an   op ti m i z ati on   for   h yp e r p ar ame t e r   tu n i n g   i n   c l as s i fi c ati on   m od e l s   Cl a s s i f i c a t i on  w a s   p e rfo rm e us i ng   t hr e e   m a c hi n e   l e a rn i ng   a l gori t h m s ,   S V M ,   DT ,   a nd   k - N N ,   t o   e xpl o re   di ff e r e nt   a pp roa c he s   a n s e e   t he   m os t   e ff e c t i v e   m o de l .   BO   w a s   a pp l i e a s   a   hy pe rp a ra m e t e t uni n m e t hod  t i m pro ve   c l a s s i fi c a t i o pe r form a n c e .   H yp e rp a ra m e t e rs   [29]   r e f e t o   s e t t i n gs   t h a t   d e t e r m i n e   how   a   m a c hi n e - l e a rni n g   m od e l   i s   t r a i n e d .   H ype r pa r a m e t e rs   a r e   no t   l e a rne d   from   t h e   da t a   b ut   a re   s e t   be fore   t ra i n i ng  a nd  c a s i g ni f i c a nt l a ff e c t   m od e l   pe rf orm a nc e .   T he   b a s i s   of   BO   c o m e s   fro m   Ba y e s '   t h e ore m   i n   (7) ,   i . e .   w he Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2722 - 3221   Com pu t   S c i   Inf   T e c h nol ,   V o l .   6 ,   N o .   3 N ov e m be r   20 25 315 - 325   320   e va l ua t i ng   e v i de nc e   da t a   ,   t he   p os t e r i or  p roba bi l i t y   ( | )   of  m od e l     i s   e qua l   t o   t h e   prob a bi l i t ( | )   of  e va l ua t i ng   e vi d e nc e   da t a     w i t h   m ode l     m ul t i pl i e b t he   pr i or  p roba bi l i t y   ( ) .     ( | ) ( | ) ( )     (7)     T he   m a i n   ob j e c t i ve   of   BO   i s   t o   f i nd   t he   hy pe rp a r a m e t e r   va l u e     t h a t   m a x i m i z e s   t h e   obj e c t i ve   func t i on   ( ) ,   a s   s how n   i n   (8) .     = a r g m ax ( )     (8)     In  (8) ,     re pre s e nt s   t he   c om b i na t i o of   hyp e rp a ra m e t e rs   t o   be   opt i m i z e d .   M e a nw h i l e ,   ( )   re pre s e nt s   t h e   obj e c t i v e   f unc t i on   a s   t he   a v e ra ge   a c c u ra c s c ore   ob t a i ne d   fro m   t h e   t ra i ni ng  a nd   e v a l ua t i on   proc e s s   us i ng  k - fol d   c r os s - va l i da t i o w i t a   v a l u e   of     =   5 BO   i t hi s   s t udy  c ons i s t s   of  t w i m por t a n t   e l e m e nt s .   F i rs t ,   t h e   Ba y e s i a n   G a us s i a n   pro c e s s i ng   (G P )   s t a t i s t i c a l   m od e l   i s   a   prob a b i l i s t i c   re pr e s e n t a t i on   of  t he   ob j e c t i ve   f unc t i on .   G P   i s   a   c ol l e c t i on   of   r a ndo m   va ri a bl e s ;   e a c h   s ubs e t   of   ra ndo m   va r i a b l e s   w i l l   fo l l ow   a   m ul t i v a ri a t e   G a us s i a d i s t r i but i on   [ 30] In   (9)  de s c ri b e s   a   G a us s i a proc e s s   t hro ugh  t w c o re   c om pone nt s :   t he   m e a n   fu nc t i on   ( )   a nd   t h e   c ov a ri a n c e   fun c t i on  ( , )     ( ) ~  ( ( ) , ( ,   ) )     (9)     T he   s e c ond   e l e m e n t   i s   t he   e xpe c t e d   i m prov e m e nt   ( E I)   a c q ui s i t i on   fun c t i on,   w hi c h   de t e r m i ne s   t h e   ne xt   s e a rc poi n t   i n   hyp e rp a ra m e t e s p a c e .   E I   i s   a   m e t hod   us e t o   e v a l ua t e   how   m uc h   po t e n t i a l   i m pr ove m e n t   t he r e   i s   a t   a   po i nt   i n   opt i m i z a t i on   [31] .   T he   m a i n   i d e a   i s   t o   e va l u a t e   how   m u c h   po t e n t i a l   i m pr ove m e nt   i n   t he   obj e c t i ve   fun c t i on   va l ue   c a n   be   c om pa r e t o   t h e   c urr e nt   b e s t   va l u e   ( ) .   In  i t s   i m p l e m e nt a t i on,   e a c m a c hi ne   l e a r ni ng   a l gor i t h m ' s   BO   be gi ns   w i t a   r a ndo m   s e l e c t i o o hype rp a ra m e t e c om b i na t i o ns   a s   t he   s t a rt i ng  po i nt   of  e xp l ora t i on .   N e xt ,   BO   pe rfo rm s   a o pt i m i z a t i on  pro c e s s   for  1 00   i t e r a t i ons   t o   e x pl or e   t h e   s e a rc h   s p a c e   de s c r i b e d   i n   T a b l e   2   a nd   i d e n t i fy   t he   hy pe rp a r a m e t e c om b i n a t i on  t h a t   produ c e s   t he   be s t   p e rfo rm a nc e .   T h e   i ni t i a l   c o m bi na t i on  a nd  t he   fi n a l   r e s ul t   of  t he   opt i m i z a t i on   pro c e s s   a r e   c o m pre he ns i ve l p re s e nt e i T a bl e   3 .   T h e s e   opt i m i z e hyp e rpa r a m e t e rs   a r e   ut i l i z e d   i n   bo t t he   t ra i ni ng   a nd  t e s t i ng   pro c e s s e s   t e nha nc e   c l a s s i fi c a t i on   m ode l   p e rfor m a nc e .       T a b l e   2 .   S e a r c s p a c e   M L   a l g .   H y p e rp a ra m e t e r   S e a rc h   s p a c e   P ri o d i s t ri b u t i o n   S V M   Bo x   c o n s t ra i n t s   (C)   [1 e - 5 ,   1 e + 1 ]   L o g - u n i fo rm     K e rn e l   t y p e   ['l i n e a r',   'p o l y ',   'rb f',   's i g m o i d ']   Ca t e g o ri c a l     K e rn e l   s c a l e   [1 e - 3 ,   1 e + 1 ]   L o g - u n i fo rm     P o l y n o m i a l   d e g re e   [2 ,   5 ]   U n i fo rm   (d i s c re t e )     K e rn e l   c o e ffi c i e n t   [0 ,   1 ]   U n i fo rm   DT   M a x i m u m   t re e   d e p t h   [1 ,   5 0 ]   L o g - u n i fo rm     M i n i m u m   s p l i t   s i z e   { 2 ,   7 ,   1 2 ,   . . . ,   1 9 7 }   Ca t e g o ri c a l     M i n i m u m   l e a s i z e   [1 ,   1 0 0 ]   U n i fo rm     M i n i m u m   l e a w e i g h t   [1 e - 2 ,   5 e - 1]   L o g - u n i fo rm     S p l i t t i n g   c ri t e ri o n   { ‘g i n i ’,   ‘e n t ro p y ’}   Ca t e g o ri c a l   K - NN   N u m b e o n e i g h b o rs   [1 ,   2 0 ]   U n i fo rm     W e i g h t s   { ‘u n i fo rm ’,   ‘d i s t a n c e ’}   Ca t e g o ri c a l     S e a rc h   a l g o ri t h m   { ‘a u t o ’,   ‘b a l l _ t re e ’,   ‘k d _ t re e ’,   ‘b ru t e ’}   Ca t e g o ri c a l       T a b l e   3 .   H yp e rp a ra m e t e r   s e t t i ngs   f or  m a c h i ne   l e a r ni ng   m ode l s   M L   a l g .   H y p e rp a ra m e t e r   VGG - 16   D e n s e N e t 2 0 1   In c e p t i o n V 3   F e a t u re   f u s i o n   S V M   Bo x   c o n s t ra i n t s   (C)   4 . 9 7 8 8 3   10   4 . 4 2 0 1 4   10     K e rn e l   t y p e   L i n e a r   RBF   RBF   P o l y     K e rn e l   s c a l e   -   0 . 0 0 1   0 . 0 0 1   0 . 0 0 1     P o l y n o m i a l   d e g re e   -   -   -   2     K e rn e l   c o e ffi c i e n t   -   -   -   1   DT   M a x i m u m   t re e   d e p t h   50   50   37   23     M i n i m u m   s p l i t   s i z e   7   7   2   87     M i n i m u m   l e a s i z e   1   1   1   26     M i n i m u m   l e a w e i g h t   0 . 0 1   0 . 0 1   0 . 0 1 1 0 4   0 . 0 1     S p l i t t i n g   c ri t e ri o n   E n t ro p y   E n t ro p y   G i n i   E n t ro p y   K - NN   N u m b e o n e i g h b o rs   7   8   3   3     W e i g h t s   D i s t a n c e   D i s t a n c e   D i s t a n c e   D i s t a n c e     S e a rc h   a l g o ri t h m   Ba l l   T re e   K d   T re e   K d   T re e   Ba l l   T re e   Evaluation Warning : The document was created with Spire.PDF for Python.
Com pu t   S c i   Inf   T e c h nol     IS S N :   2722 - 3221       H y br i d   f e at ur e   f us i on   f r om   m ul t i p l e   CNN   m od e l s   wi t bay e s i an - opt i m i z e d   m a c hi n e   …  (D e wi   R i s m awat i )   321   3.   R ES U LTS   A N D   D I S C U S S I O N   3. 1 .     F e atu r e   e n h an c e me n t   r e s u l t   T hre e   di f fe r e nt   CN N - b a s e d   m od e l s   w e r e   e m pl oye d   t o   e x t ra c t   fe a t ur e s   from   t he   pr oc e s s e d   l u ng  i m a ge s .   T he   re s u l t i ng  o ut pu t s   fro m   e a c m od e l   w e r e   f us e u s i ng  c onc a t e na t i o t i nc r e a s e   t he   robus t ne s s   a nd  di ve rs i t y   of   t he   f e a t ur e   re pr e s e n t a t i on .   F e a t ur e   fus i on   y i e l ds   h i gh - d i m e ns i ona l   da t a ,   w hi c h   m a y   l e a d   t   i s s ue s   s u c a s   c o m put a t i on a l   c o m pl e x i t y .   T o   m i t i ga t e   t h e s e   c ha l l e nge s ,   P CA   i s   e m pl oye t proj e c t   t he   fe a t ure s   i n t o   a   n e w   s ubs p a c e   w i t r e du c e d   d i m e ns i o ns .   T h e   o ut c om e s   o t hi s   s e r i e s   of   m e t ho dol o gi e s   a re   di s pl a ye d   i T a b l e   4 .       T a b l e   4 .   F e a t ure   e x t ra c t i on   a n d i m e ns i o na l i t r e du c t i on  re s ul t s   F e a t u re   V G G 1 6   D e n s e N e t 2 0 1   In c e p t i o n V 3   FF   FF - P CA   F e a t u re   d i m e n s i o n     512   1 , 920   2 , 048   4 , 480   1 , 217   M e t h o d   G l o b a l   a v e ra g e   p o o l i n g   G l o b a l   a v e ra g e   p o o l i n g   G l o b a l   a v e ra g e   p o o l i n g   Co n c a t e n a t i o n   P ri n c i p a l   c o m p o n e n t   a n a l y s i s       T he   t a b l e   i ndi c a t e s   t ha t   e a c h   CN N   m od e l   g e ne r a t e s   a   d i s t i n c t   qu a nt i t y   of   fe a t ur e s .   V G G 16   g e n e ra t e s   512  f e a t ur e s ,   D e ns e N e t 2 01  ge n e ra t e s   1 , 920   fe a t u re s ,   a nd   In c e p t i onV 3   g e ne ra t e s   2 , 0 48  fe a t ur e s .   In c e p t i onV produc e s   t he   m os t   fe a t u re s ,   s i gn i fyi ng  t ha t   t he   m od e l   e x t ra c t s   m or e   c o m pr e h e ns i v e   i nfor m a t i on   t h a V G G 16   a nd   D e ns e N e t 201 .   F o l l ow i ng   t he   c onc a t e n a t i on   of   fe a t ure s ,   t he   d i m e ns i ona l i t y   i n c re a s e d   t o   4 , 480.   P CA   s ubs t a nt i a l l y   l ow e r e t h e   f e a t ure   d i m e ns i on   fro m   4 , 480   t o   1 , 217  f e a t ure s .       3. 2 .     Eva l u ati on   of   c l as s i fi c at i on   Cl a s s i f i c a t i on   t a s ks   w e r e   c a rri e d   ou t   us i ng   t hr e e   m a c hi ne   l e a rni ng   m e t hods ,   na m e l y   S V M ,   D e c i s i on   D T ,   a nd   k - N N ,   w i t t he   s pe c i f i c   hyp e rp a ra m e t e rs   out l i n e d   i T a bl e   3 .   T h e   p e r for m a nc e   of   e a c m ode l   w a s   a s s e s s e us i ng  e va l ua t i on  m e t r i c s   s uc a s   a c c ur a c y ,   pr e c i s i on ,   re c a l l ,   a nd  F s c ore ,   a s   re pr e s e n t e d   i n     (10) - (13) .   T h e   r e s ul t s   d e ri ve d   fro m   t he   e va l ua t i o a re   s um m a ri z e i n   T a bl e   5 .      =  +   +  +  +      (10)      =   +      (11)     =   +      (12)     1  = 2 ×  ×    +       (13)     T he   m ode l   e va l u a t i on  us e s   s t a nd a rd   m e t r i c s   s uc h   a s   t ru e   p os i t i v e   ( TP ) ,   t ru e   n e ga t i v e   ( TN ) ,   fa l s e   pos i t i ve   ( FP ),   a n f a l s e   n e ga t i v e   ( FN for   p e rfor m a n c e   a s s e s s m e nt .   Ba s e on   T a b l e   5 ,   t he   hybr i d   a ppr oa c ba s e d   on   fe a t u re   fus i o (F F )   w i t t he   c om b i n a t i on  of  F F - S V M   s how s   t h e   be s t   c l a s s i fi c a t i on   p e rfor m a n c e   c om p a r e t s i n gl e   m ode l s   s uc a s   V G G 16,   D e ns e N e t 201 ,   a nd  I nc e pt i onV 3 .   F F - S V M   re c ord e t h e   h i ghe s t   a c c ura c o 98 . 79% ,   a l on w i t pr e c i s i on ,   r e c a l l ,   a nd  F 1 - s c ore ,   a l l   a bo ve   9 8%.   T h e s e   re s ul t s   r e fl e c t   t h e   s t a bi l i t y   of   t he   m od e l   i n   c l a s s i fy i ng   m ul t i c l a s s   m e d i c a l   i m a g e s .   Co m p a re d   t o   b a s e l i ne s   s u c h   a s   D e ns e N e t 201 - S V M   (97. 47%)   a n V G G 16 - S V M   (97 . 07%) ,   fe a t ur e   fus i on   f rom   m u l t i pl e   CN N s   prov i de s   ri c he r   i nfor m a t i o n.       T a b l e   5 .   E va l ua t i o re s ul t   M od e l   ML   a l gor i t m s   A c c ur a c y   ( % )   P r e c i s i on   ( % )   R e c a l l   (%)   F1 - S c or e   ( % )   T i m e   t a ke n   ( s )   V G G 16   S V M   97. 0 7   97. 1 6   97. 1 7   97. 1 6   244. 6789     DT   83. 3 3   83. 8 1   83. 4 4   83. 5 3   310. 1874     K - NN   95. 8 6   95. 9 1   96. 0 0   95. 9 4   202. 0312   D e ns e N e t 2 01   S V M   97. 4 7   97. 5 5   97. 4 6   97. 4 9   648. 1935     DT   88. 5 9   88. 7 3   88. 7 3   88. 6 9   520. 6981     K - NN   96. 4 6   96. 5 9   96. 4 8   96. 5 1   727. 9218   I nc e pt i onV 3   S V M   95. 4 5   95. 5 4   95. 5 3   95. 5 3   1008 . 927 6     DT   79. 8 0   79. 8 8   79. 8 3   79. 8 1   678. 3621     K - NN   91. 5 2   91. 6 2   91. 6 6   91. 6 2   715. 0327   FF   S V M   98. 7 9   98. 8 5   98. 8 2   98. 8 4   638. 0538   DT   88. 7 9   88. 8 5   88. 8 8   88. 8 4   508. 6961     K - NN   97. 2 7   97. 4 0   97. 2 9   97. 3 4   401. 2894   Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2722 - 3221   Com pu t   S c i   Inf   T e c h nol ,   V o l .   6 ,   N o .   3 N ov e m be r   20 25 315 - 325   322   F e a t u re   fus i o a l s o   i m pr ove s   t h e   pe rf orm a n c e   of   ot he r   a l gor i t h m s .   T h e   a c c u ra c of  k - N N   i nc re a s e d   from   95 . 86%   t 97. 27% ,   a nd   D T   s l i gh t l y   i nc r e a s e from   8 8 . 59%   t 8 8. 7 9%.   H ow e ve r,   D T   s t i l l   s how e d   t h e   l ow e s t   p e rfor m a n c e   a m ong   t h e   t hr e e   a l gor i t h m s ,   i ndi c a t i n i t s   l i m i t a t i ons   i n   r e c ogni z i n c o m pl e x   vi s u a l   pa t t e rns .   F e a t ur e   fus i on   re s ul t i n g   i n   h i gh - d i m e ns i on a l   f e a t ure   ve c t ors   s how s   t ha t   t h e   a pp l i c a t i on   of   P CA   s i gni f i c a nt l i m pr ove s   c o m put a t i on a l   e ff i c i e n c w i t hou t   d e gra d i ng   m o de l   a c c u ra c y.   T h i s   e ffe c t i ve n e s s   i s   re fl e c t e d   i n   t h e   r e l a t i ve l e ffi c i e nt   t r a i n i ng   t i m e   of   t h e   F F - S V M   m od e l ,   w hi c i s   a bout   638   s e c onds .   T h i s   dura t i on   i s   c o m pa ra b l e   t o   a   s i n gl e   m ode l   s u c h   a s   D e ns e N e t 201 - SVM ,   w hi c t a k e s   6 48  s e c on ds   of   t r a i n i ng   t i m e   a nd   i s   s i gn i fi c a n t l f a s t e t ha n   In c e pt i onV 3 - S V M ,   w hi c t a ke s   up   t o   1 , 008   s e c onds .   P i pe l i ne   e ff i c i e n c i s   a l s i m prov e b a p pl y i ng  BO   i t he   h ype rp a ra m e t e r   a d j us t m e n t   pro c e s s .   T hi s   a ppro a c h   offe rs   a dv a nt a ge s   o ve r   c onv e nt i on a l   t ri a l - a nd - e rr or  m e t hods ,   a s   i t   i s   a bl e   t o   i d e nt i fy   t h e   op t i m a l   c om b i n a t i on  o p a ra m e t e rs   w i t f e w e r   i t e r a t i ons   a u t om a t i c a l l y .   A s   a   r e s ul t ,   t h e   m od e l   t r a i n i ng   pro c e s s   be c o m e s   fa s t e r ,   a nd   t h e   c o m put a t i on a l   burd e c a b e   r e d uc e d   s i gn i fi c a nt l y.   T h i s   i s   c ruc i a l ,   e s p e c i a l l y   i n   s ys t e m   i m pl e m e n t a t i on   i c l i ni c a l   e nvi ronm e n t s   t ha t   d e m a nd   hi g e ffi c i e nc a nd   re l i a bi l i t y .   A c c ord i ng   t t h e   o ut c om e s   of   t h e   e rro a n a l ys i s ,   t h e   c on fu s i on  m a t ri re v e a l s   t ha t   m os t   i ns t a nc e s   w e re   c l a s s i fi e c orr e c t l y ,   re fl e c t i n s t rong  ove r a l l   m ode l   pe rfor m a nc e .   H ow e ve r,   s o m e   m i s c l a s s i fi c a t i o c a s e s   r e m a i n ,   e s p e c i a l l y   i n   c l a s s e s   w i t h   h i gh   v i s ua l   s i m i l a ri t y.   In   t he   pro pos e d   F F - S V M   m o de l ,   fo e x a m p l e ,   t he r e   a re   c a s e s   of   t ub e r c ul os i s ,   c a s e s   of  p ne u m on i a   c l a s s i fi e a s   CO V ID - 19 ,   a nd   on e   no rm a l   c a s e   c l a s s i fi e a s   p ne u m on i a .   T hi s   fi ndi n re fl e c t s   t he   c h a l l e ng e s   i di s t i ng ui s hi ng  d i s e a s e s   t h a t   h a v e   ov e rl a ppi ng  ra di o l og i c a l   c h a ra c t e ri s t i c s .   F i g ure   pr e s e n t s   a   vi s u a l   re p re s e nt a t i on  of   t h e   m i s c l a s s i fi c a t i on   pa t t e rn  t hroug t he   c onfus i o m a t ri f or  e a c h   m ode l ,   w h i c h   pro vi d e s   a   c om p re h e ns i v e   ove rvi e w   o t he   d i s t ri but i on   of   pre di c t i ons   be t w e e c l a s s e s .           F i gure   4 .   C onfus i o m a t ri c e s   for   di ff e r e nt   c l a s s i f i e rs   a n a rc hi t e c t ure s       F rom   t he   re c e i ve op e ra t i n c ha r a c t e r i s t i c   ( RO C )   c urv e s   i F i gure   5,   F F - S V M   re c ord e A U C   = 1 . 00   for  a l l   c l a s s e s ,   i nd i c a t i ng  a   v e ry  hi gh   c l a s s i f i c a t i on  a bi l i t y.   D T   a n k - N N   w e re   s l i ght l l ow e r ,   w i t a v e ra g e   A U Cs   of  0 . 98   a nd   0 . 99 ,   r e s pe c t i ve l y.   T h e s e   re s u l t s   c o nfi rm   t h e   s u pe r i ori t of  S V M ,   e s p e c i a l l y   i n   di s t i n gui s h i ng  c l a s s e s   s u c h   a s   T B ,   a s   i ndi c a t e b i t s   pe rf e c t   A U of   1. 0 a c r os s   a l l   c l a s s e s .   T he   propos e m e t hod' s   s up e ri or i t y   i s   a l s o   a pp a r e nt   c o m pa re d   t o   pr e vi o us   s t ud i e s   i T a bl e   6 .   P re vi ous   a ppro a c he s ,   s u c h   a s   V G G N e t   a nd   A BO - CN N ,   onl a c h i e v e d   95 . 11 %   a n d   96. 95%   a c c ura c y .   E v e n   m ode rn  e ns e m bl e   a pp roa c he s   s u c a s   V G G - 19  +   V i s i on  T ra ns form e onl yi e l d e 9 4. 52 a c c ura c y.   W i t a n   a c c ura c of   98 . 79% ,   t h e   F F - S V M   m e t h od  s urp a s s e s   t h e s e   re s u l t s   a nd  off e rs   b e t t e t i m e   e ff i c i e n c a nd  pe rfor m a nc e   s t a bi l i t y .   T he s e   r e s ul t s   hi gh l i gh t   t he   propos e a pproa c h' s   s ubs t a n t i a l   c on t ri bu t i o ns   a nd   re l e v a n c e   for  c he s t   X - r a i m a g e - ba s e l ung   d i s e a s e   d e t e c t i o s ys t e m s .   Evaluation Warning : The document was created with Spire.PDF for Python.
Com pu t   S c i   Inf   T e c h nol     IS S N :   2722 - 3221       H y br i d   f e at ur e   f us i on   f r om   m ul t i p l e   CNN   m od e l s   wi t bay e s i an - opt i m i z e d   m a c hi n e   …  (D e wi   R i s m awat i )   323       (a )     (b)       (c )     F i gure   5 .   RO C   c urv e   of   F F   m od e l s   (a )   S uppo rt   ve c t or   m a c hi ne ,   (b)   D e c i s i on  t re e ,     a nd  (c )   K - n e a r e s t   ne i ghbors       T a b l e   6 .   Co m p a ri s on   w i t h   pre vi ous   s t ud i   P re v i o u s   s t u d y   M e t h o d s   D a t a s e t   A c c u ra c y   (% )   [3 2 ]   V G G n e t   Ch e s t   X - Ra y   9 5 . 1 1   [3 3 ]   M o d e l   E n s e m b l e   (V G G - 1 9 ,   Re s N e t 5 0 ,   v i s i o n   t ra n s fo rm e r)   Ch e s t   X - Ra y   9 2 . 4 6   9 4 . 5 2   [3 4 ]   A BO - CN N   Ch e s t   X - Ra y   9 6 . 9 5       4.   C O N C LU S I O N   T hi s   s t udy  s how s   t h a t   f us i ng   fe a t ur e s   fro m   s e ve r a l   CN N - b a s e a rc h i t e c t ure s   c on t ri but e s   t o   i m prov e d   c l a s s i fi c a t i on   a c c ur a c i CX R   i m a g e   a na l ys i s   us i ng  m a c hi ne   l e a rn i ng   m od e l s .   T he   de ve l ope F F - SVM  m ode l   a c hi e v e d   t h e   hi g he s t   a c c ur a c y   of   9 8. 7 9%   i n   c l a s s i fyi n fo ur   l ung   di s e a s e   c a t e gor i e s :   N orm a l ,   CO V ID - 19,   P n e u m oni a ,   a nd  T ub e rc ul os i s .   T he s e   r e s ul t s   i n di c a t e   t h e   gre a t   pot e n t i a l   of  t hi s   a ppr oa c t b e   a pp l i e i m e d i c a l   d i a gn os i s   s u pport   s ys t e m s ,   e s p e c i a l l y   i a pp l i c a t i on s   t h a t   a re   e a s i l y   a c c e s s i bl e   i n   a re a s   w i t h   l i m i t e d   he a l t h   f a c i l i t i e s .   H ow e ve r ,   t h i s   s t udy   h a s   s om e   l i m i t a t i ons .   T he   m od e l   w a s   t r a i ne d   us i ng   on l y   CX R   i m a g e s   w i t hou t   c ons i d e ri n ot he m e di c a l   d a t a   s uc h   a s   C T   s c a ns ,   M RIs ,   or   a d di t i on a l   c l i ni c a l   d a t a .   In  a ddi t i on ,   pot e n t i a l   b i a s e s   i n   t h e   da t a s e t   a n r e l i a nc e   on   i m a g e   qua l i t y   m a y   l i m i t   t he   m od e l ' s   g e n e ra l i z a t i on   t o   a   bro a d e popul a t i on.   T e s t i ng  h a s   no t   b e e c ondu c t e on   e xt e rna l   d a t a s e t s   nor  i t he   c o nt e xt   of  r e a l   us e   i a   c l i n i c a l   e nvi r onm e nt .   A s   a   d e ve l op m e n t   d i re c t i on,   e x pl or i ng  m ul t i m oda l   da t a   f u s i on  s t ra t e g i e s   a nd  va l i d a t i on  i re a l - w orl d   s c e na r i os   c o ul d   b e   a n   i m port a n t   s t e p   t o   i m pro ve   r e l i a b i l i t y   a nd   bro a de r   a pp l i c a b i l i t y .   T he   m e t hodo l ogy   a l s o   s uppor t s   t he   us e   of   a rt i fi c i a l   i n t e l l i ge n c e   (A I)   s ys t e m s   i n   h e a l t h c a r e ,   w h i c h   c a n   b e   e xt e nd e d   t o   o t he r   m e d i c a l   i m a g i ng   m oda l i t i e s   a n d i ff e re n t   di s e a s e   c a t e gor i e s .       A C K N O WL ED G M EN TS     D uri n t hi s   re s e a rc h,   t he   a ut h ors   t ha nk  ou fri e nd s   f o t he i e nc oura ge m e nt ,   s upp ort ,   a nd   m ot i va t i on.   T ha nks   t t he i t re m e nd ous   a s s i s t a nc e ,   t he   a ut hor s   ha ve   be e a bl e   t s t a m ot i va t e a nd   foc us e d.   T he   a ut hor s   a l s a c kn ow l e d ge   t he   i nva l ua bl e   a dvi c e ,   know l e dge ,   a nd  s ug ge s t i o ns   from   o ur   s upe r vi s o rs ,   w hi c s i g ni fi c a nt l ra i s e t he   c a l i be o ou s t udy.   A d di t i ona l l y,   t he   a ut ho rs   a re   gra t e f ul   t t h e   j ourna l   e di t o rs   a n re vi e w e rs   for   t he i he l pf ul   c ri t i c i s m   a nd  re c om m e nda t i on s ,   w hi c e nha nc e t h e   m a nus c ri pt ' s   c on s i s t e nc a nd  c l a ri t y.   Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2722 - 3221   Com pu t   S c i   Inf   T e c h nol ,   V o l .   6 ,   N o .   3 N ov e m be r   20 25 315 - 325   324   F U N D I N G   I N F O R M A TI O N     A ut hors   s t a t e   no   fund i ng   i nvo l v e d.       A U TH O R   C O N TR I BU TI O N S   S TA T EM EN T   T hi s   j ou rna l   us e s   t h e   Cont r i bu t or   Rol e s   T a xono m y   (C Re di T )   t o   r e c o gni z e   i ndi v i du a l   a u t hor   c ont r i bu t i ons ,   r e du c e   a ut hors h i p   di s pu t e s ,   a nd   fa c i l i t a t e   c o l l a bora t i on .       N ame   of  A u th o r   C   M   So   Va   Fo   I   R   D   O   E   Vi   Su   P   Fu   D e w i   Ri s m a w a t i                               S ugi ya r t o   S urono                               A ri s   T hobi r i n                                   C     C o n c e p t u a l i z a t i o n   M     M e t h o d o l o g y   So     So ft w a re   Va     Va l i d a t i o n   Fo     Fo rm a l   a n a l y s i s   I     I n v e s t i g a t i o n   R     R e s o u rc e s   D   :   D a t a   Cu ra t i o n   O   :   W ri t i n g   -   O ri g i n a l   D ra ft   E   :   W ri t i n g   -   Re v i e w   &   E d i t i n g   Vi     Vi s u a l i z a t i o n   Su     Su p e rv i s i o n   P     P ro j e c t   a d m i n i s t ra t i o n   Fu     Fu n d i n g   a c q u i s i t i o n         C O N F LI C T   O F   I N T ER ES S TA T EM EN T   A ut hors   s t a t e   no   c onf l i c t   of   i n t e r e s t .       D A TA   A V A I LA BI LI TY   T he   da t a   t ha t   s upp ort   t h e   fi nd i ngs   of  t hi s   s t udy   a re   op e nl y   a v a i l a bl e   i n   ka ggl e   a t   t h e   fol l ow i ng   l i nks :     D a t a s e t   1 -   CO V ID - 19 ,   P n e u m oni a ,   a nd  N orm a l   CX R   Im a g e s     D a t a s e t   2 -   T ub e r c ul os i s   CX R   (S he nz h e n)     D a t a s e t   3 -   T ub e r c ul os i s   CX R   (M on t go m e ry )     D a t a s e t   4 -   T BX 1 CX R   (us m a ns h a m s )       R EF ER EN C ES   [1 ]   W o rl d   H e a l t h   O rg a n i z a t i o n ,   W o r l d   h e a l t h   s t a t i s t i c s   2 0 2 4 m o n i t o r i n g   h e a l t h   f o r   t h e   S D G s   s u s t a i n a b l e   d e v e l o p m e n t   g o a l s G e n e v a ,   S w i t z e rl a n d W o rl d   H e a l t h   O rg a n i z a t i o n ,   2 0 2 4 .   [2 ]   S .   K .   Z h o u   e t   a l . ,   A   re v i e w   o d e e p   l e a rn i n g   i n   m e d i c a l   i m a g i n g :   i m a g i n g   t ra i t s ,   t e c h n o l o g y   t re n d s ,   c a s e   s t u d i e s   w i t h   p ro g r e s s   h i g h l i g h t s ,   a n d   fu t u re   p ro m i s e s ,   i n   P r o c e e d i n g s   o f   t h e   IE E E ,   2 0 2 1 ,   v o l .   1 0 9 ,   n o .   5 ,   p p .   8 2 0 838.   [3 ]   W .   M a   a n d   B.   G u o ,   A d v a n c e d   n e u ro l o g i c a l   a c t i v i t y   s t a t u s   o a t h l e t e s   b a s e d   o n   b i g   d a t a   t e c h n o l o g y ,   H e l i y o n ,   v o l .   1 0 ,   n o .   1 7 ,   2 0 2 4 .   [4 ]   M .   F .   I j a z   a n d   M .   W o ź n i a k ,   E d i t o ri a l :   Re c e n t   a d v a n c e s   i n   d e e p   l e a rn i n g   a n d   m e d i c a l   i m a g i n g   fo c a n c e t re a t m e n t ,   Ca n c e r s v o l .   1 6 ,   n o .   4 ,   2 0 2 4 .   [5 ]   S .   T .   H .   K i e u ,   A .   Ba d e ,   M .   H .   A .   H i j a z i ,   a n d   H .   K o l i v a n d ,   A   s u rv e y   o d e e p   l e a rn i n g   fo l u n g   d i s e a s e   d e t e c t i o n   o n   m e d i c a l   i m a g e s :   s t a t e - of - t h e - a rt ,   t a x o n o m y ,   i s s u e s   a n d   fu t u re   d i re c t i o n s ,   J o u r n a l   o f   Im a g i n g ,   v o l .   6 ,   n o .   1 2 ,   2 0 2 0 .   [6 ]   G .   G a u t a m   a n d   A .   K h a n n a ,   Co n t e n t   b a s e d   i m a g e   re t ri e v a l   s y s t e m   u s i n g   CN N   b a s e d   d e e p   l e a rn i n g   m o d e l s ,   i n   P r o c e d i a   Co m p u t e r   S c i e n c e ,   v o l .   2 3 5 ,   p p .   3 1 3 1 3 1 4 1 ,   2 0 2 4 .   [7 ]   G .   H a m e d ,   M .   A .   E .   R.   M a re y ,   S .   E .   S .   A m i n ,   a n d   M .   F .   T o l b a ,   D e e p   l e a rn i n g   i n   b re a s t   c a n c e d e t e c t i o n   a n d   c l a s s i fi c a t i o n ,   A d v a n c e s   i n   In t e l l i g e n t   S y s t e m s   a n d   Co m p u t i n g ,   p p .   3 2 2 3 3 3 ,   2 0 2 0 .   [8 ]   A .   B.   Ra m a k ri s h n a n ,   M .   S r i d e v i ,   S .   K .   V a s u d e v a n ,   R.   M a n i k a n d a n ,   a n d   A .   H .   G a n d o m i ,   O p t i m i z i n g   b ra i n   t u m o c l a s s i fi c a t i o n   w i t h   h y b ri d   CN N   a rc h i t e c t u re :   b a l a n c i n g   a c c u ra c y   a n d   e ffi c i e n c y   t h ro u g h   o n e A P o p t i m i z a t i o n ,   In f o r m a t i c s   i n   M e d i c i n e   U n l o c k e d ,   v o l .   4 4 ,   2 0 2 4 .   [9 ]   K .   G u p t a   a n d   N .   Ch a w l a ,   A n a l y s i s   o h i s t o p a t h o l o g i c a l   i m a g e s   fo p r e d i c t i o n   o b re a s t   c a n c e r   u s i n g   t ra d i t i o n a l   c l a s s i fi e rs   w i t h   p re - t ra i n e d   CN N ,   i n   P r o c e d i a   Co m p u t e r   S c i e n c e ,   2 0 2 0 ,   v o l .   1 6 7 ,   p p .   8 7 8 889.   [1 0 ]   M .   F .   A s l a n ,   K .   S a b a n c i ,   A .   D u rd u ,   a n d   M .   F .   U n l e rs e n ,   CO V I D - 1 9   d i a g n o s i s   u s i n g   s t a t e - of - t h e - a rt   CN N   a rc h i t e c t u re   fe a t u re s   a n d   Ba y e s i a n   o p t i m i z a t i o n ,   Co m p u t e r s   i n   B i o l o g y   a n d   M e d i c i n e ,   v o l .   1 4 2 ,   2 0 2 2 .   [1 1 ]   A .   Bi s w a s   a n d   M .   S .   Is l a m ,   A   h y b ri d   d e e p   CN N - S V M   a p p ro a c h   fo b ra i n   t u m o c l a s s i fi c a t i o n ,   J o u r n a l   o f   In f o r m a t i o n   S y s t e m s   E n g i n e e r i n g   a n d   B u s i n e s s   In t e l l i g e n c e ,   v o l .   9 ,   n o .   1 ,   2 0 2 3 .   [1 2 ]   X .   Z h a o ,   C.   T a n g ,   H .   H u ,   W .   W a n g ,   S .   Q i a o ,   a n d   A .   T o n g ,   A t t e n t i o n   m e c h a n i s m   b a s e d   m u l t i m o d a l   fe a t u re   fu s i o n   n e t w o rk   fo h u m a n   a c t i o n   re c o g n i t i o n ,   J o u r n a l   o f   V i s u a l   Co m m u n i c a t i o n   a n d   Im a g e   R e p r e s e n t a t i o n ,   v o l .   1 1 0 ,   2 0 2 5 .   [1 3 ]   I.   T .   J o l l i ffe ,   P r i n c i p a l   c o m p o n e n t   a n a l y s i s ,   i n   S p r i n g e r   s e r i e s   i n   s t a t i s t i c s ,   2 n d   e d . ,   N e w   Y o rk U S A S p ri n g e r,   2 0 0 2 .   [1 4 ]   S .   A .   S a l l e h   e t   a l . ,   S u p p o rt   v e c t o m a c h i n e   (S V M )   a n d   o b j e c t - b a s e d   c l a s s i fi c a t i o n   i n   e a rt h   l i n e a fe a t u re s   e x t ra c t i o n :   a   c o m p a ri s o n ,   R e v u e   In t e r n a t i o n a l e   d e   G é o m a t i q u e ,   v o l .   3 3 ,   n o .   1 ,   p p .   1 8 3 1 9 9 ,   2 0 2 4 .   [1 5 ]   J .   W .   H a n ,   M .   K a m b e r,   a n d   J .   P e i ,   Cl a s s i fi c a t i o n :   b a s i c   c o n c e p t s ,   i n   D a t a   m i n i n g c o n c e p t s   a n d   t e c h n i q u e s ,   Bu rl i n g t o n ,   M a s s a c h u s e t t s M o rg a n   K a u fm a n n ,   2 0 1 2 .   [1 6 ]   Z .   E .   Ra s j i d   a n d   R.   S e t i a w a n ,   P e rfo rm a n c e   c o m p a ri s o n   a n d   o p t i m i z a t i o n   o t e x t   d o c u m e n t   c l a s s i fi c a t i o n   u s i n g   k - N N   a n d   n a ï v e   Ba y e s   c l a s s i fi c a t i o n   t e c h n i q u e s ,   P r o c e d i a   Co m p u t e r   S c i e n c e ,   v o l .   1 1 6 ,   p p .   1 0 7 1 1 2 ,   2 0 1 7 .   [1 7 ]   Y .   Y a o ,   J .   Ca o ,   a n d   Z .   M a ,   A   c o s t - e ffe c t i v e   d e a d l i n e - c o n s t ra i n e d   s c h e d u l i n g   s t ra t e g y   fo a   h y p e r p a ra m e t e o p t i m i z a t i o n   w o rk fl o w   fo m a c h i n e   l e a rn i n g   a l g o ri t h m s ,   i n   S e r v i c e - O r i e n t e d   Co m p u t i n g ,   v o l .   1 1 2 3 6 ,   N e w   Y o rk ,   U S A S p ri n g e r,   Ch a m 2018.   Evaluation Warning : The document was created with Spire.PDF for Python.