I n te r n ati o n al   Jo u r n al   o f  A d v an c e s   i n   A p p l i e d   S c i e n c e s   (I JA A S )   V o l .   1 5 ,   N o .   3 ,  S e pt e m b e r   20 2 6 ,   pp .   1072 ~ 1084   IS S N :   2252 - 8814 ,  D O I :   10. 1 1591 / i j a a s . v 1 5 . i 3 . pp 1072 - 1 084             1072     Jou r n al   h o m e pa ge :  ht t p: / / i j aas . i a e s c or e . c om   C OV ID - 1 9   i n f e c t i o n   d e t e c t i o n   u si n g   c o n v o l u t i o n a l   sel f - a t t e n t i o n   n e t w o r k   w i t h   v o t i n g   c l a ss i f i e r       M u s tafa  H u s s e i n   Zw ayy e r 1 ,   A m m ar   A .   A l i 2 ,   R u s u l   H u s s e i n   H as an 3   1 D e p a rt m e n t   o f   I s l a m i c   Ba n k i n g   a n d   F i n a n c i a l   S c i e n c e ,   C o l l e g e   o f   I s l a m i c   S c i e n c e s ,   U n i v e r s i t y   o f  Ba g h d a d ,   Ba g h d a d ,   Ira q   2 D e p a rt m e n t   o f   I s l a m i c   E d u c a t i o n a l   a n d   P s y c h o l o g i c a l   S c i e n c e s ,   C o l l e g e   o f   Is l a m i c   S c i e n c e s ,   U n i v e r s i t y   o f  Ba g h d a d ,   Ba g h d a d ,   Ir aq   3 D e p a rt m e n t   o f   P u b l i c   L a w ,   Co l l e g e   o f  L a w ,   U n i v e r s i t y   o f  Ba g h d a d ,   Ba g h d a d ,   Ira q       A r ti c l e   I n fo     A B S TR A C T   Ar t i c l e   h i s t or y :   R e c e i v e d  J a n   11 ,  2 025   R e v i s e d  J ul   2 ,  2026   A c c e pt e d  A ug   13 ,  2026       E a r l y   a nd  a c c ur a t e   de t e c t i o n  o f   C O V I D - 19  f r om   c he s t   c om put e d   t o m og r a phy   ( C T )   s c a ns   a r e   be c o m i ng   e s s e nt i a l   f o r   e f f e c t i v e   c l i ni c a l   de c i s i o n - m a ki ng   a nd   d i s e a s e   c o nt r o l .   T h i s   s t udy   i s   p r o po s i ng   a   r o bus t   de e p   l e a r n i ng   f r a m e w o r k   t ha t   i nt e g r a t e s   a   c o nv o l ut i o na l   s e l f - a t t e n t i o n   n e t w o r k   ( C S A N ) ,   g a m m a   c o r r e c t i o n  f o r   i m a g e   e nh a nc e m e n t ,   a nd  a   v o t i ng - ba s e d   e ns e m b l e   c l a s s i f i e r   t o   i m p r o v i ng   di a g no s t i c   pe r f o r m a nc e .   T he   m o de l   is   be i ng   e v a l u a t e d   o n  a   d a t a s e t   o f   2, 27 1  C T   i m a g e s   a n d  i s   a c hi e v i ng   a n   a c c ur a c y   o f   95. 12% ,   s e n s i t i v i t y   of   97. 25 % ,   s p e c i f i c i t y   o f   98. 11% ,   F 1 - s c o r e   o f   96. 46 % ,   a nd   a r e a   und e r   t h e   c ur v e   ( A U C )   o f   0. 9 77 .   E xp e r i m e n t a l   r e s ul t s   a r e   de m o ns t r a t i ng   t ha t   t he   pr o po s e d  m e t ho d  s i g ni f i c a n t l y   s ur pa s s e s   ba s e l i n e   m o de l s ,   i nc l ud i ng   s t a nd a l o ne   C S A N ,   r e s i dua l   ne t w o r ks   50   ( R e s N e t - 50 ) ,  de ns e l y   c o nne c t e d   c o nvo l ut i o na l   ne t w o r k   121   ( D e n s e N e t - 121 ) ,   a nd   v i s ua l   g e o m e t r y   g r o up   ( VGG )  16 ,   w i t h  i m p r o v e m e nt s   o f   up   t o   9. 5%   i n  a c c ur a c y .   T he   i nt e g r a t i o n  o f   a t t e n t i o n  m e c ha n i s m s ,   i m a g e   e nha nc e m e nt ,   a nd  e ns e m b l e   l e a r n i ng   a r e   pr o v i ng   e f f e c t i v e   i n   c a pt u r i ng   bo t h  l o c a l   a n d  g l o ba l   f e a t ur e s ,   l e a di ng   t o   m o r e   r e l i a bl e   c l a s s i f i c a t i o n.   T he s e   f i nd i ng s   a r e   s ug g e s t i n g   t ha t   t he   pr o po s e d  f r a m e w o r k  i s   s uppo r t i ng   a u t o m a t e d   C O V I D - 19  di a g no s i s   i n   r e a l - w o r l d  c l i n i c a l   a pp l i c a t i o ns .   Ke y w or d s :   A r t i f i c i a l   i nt e l l i ge n c e   Co m put e r  v i s i o n   CO V ID - 19   D e e p  l e a rni n g   G a m m a   c o rr e c t i o n   V o t i n g   e n s e m b l e   c l a s s i f i e r   T hi s   i s   an   ope n   ac c e s s   ar t i c l e   u nde r   t he   C C   B Y - SA   l i c e ns e .     Cor r e s pon di n g   Au t h or :   R us ul   H us s e i n   H a s a n   D e pa rt m e n t   o f   P ub l i c   L a w ,   Co l l e ge   of   L a w ,   U n i v e r s i t y   of   B a ghda d   B a gh d a d,   I ra q   E m a i l :   r us s l @ c o l a w . uo b a gh d a d. e du . i q       1.   I N TR O D U C TI O N   T h e   n o v e l   c o r o n a v i r us   (S A R S - Co V - 2),   w hi c h  w a s   f i r s t   de t e c t e d  i n  D e c e m b e r   2019 ,   po s e s   a   s i g n i f i c a n t   t hr e a t   t o   h e a l t h c a r e   s y s t e m s   w o r l dw i de .   R a p i d  a nd  p r e c i s e   di a g n o s i s   i s   ke y   t o   m a na gi ng    pa t i e nt s   a nd  p r e v e n t i n g  t h e   di s e a s e   f r o m   s p r e a di n g   f urt h e r.   A l t h o ug h   r e v e r s e   t r a n s c r i p t i o n   (R T ) - po l y m e r a s e   c h a i n   r e a c t i o n  ( P CR )   t e s t s   a r e   c o n s i de r e d  t h e   m o s t   r e l i a b l e   m e t h o d   o f   di a g n o s i s ,   ra d i o l o gi c a l   i m a gi ng,   pa r t i c ul a rl y   c o m put e d  t o m o gra p h y   (CT )   s c a n s ,   ha s   p r o v e n   t o   b e   i n f o rm a t i v e   a n d   m o r e   s e n s i t i v e   t h a n  P CR   i n  c e r t a i n   c a s e s   [1] .   A r t i f i c i a l   i n t e l l i ge n c e ,   e s pe c i a l l y   de e p  l e a rni n g   m e t h o ds ,   ha v e   s h o w e d  s i gni f i c a n t   c a pa b i l i t y   i n  m e di c a l   i m a ge   p r o c e s s i n g .   T h e   c a p a b i l i t y   of   de e p  l e a rni n g   m o de l s   t o   a ut o m a t i c a l l y   i de n t i fy   f e a t ur e s   f r o m   c o m pl i c a t e d  i m a gi ng  i n f o r m a t i o n   m a ke   t h e m   s u i t a b l e   f o r   de t e c t i ng  s e v e r a l   d i s e a s e s ,   i n c l udi ng  t h e   d i a g n o s i s   of   CO V ID - 19  f r o m   X - r a y   a nd  C T   i m a ge s .   T h e s e   a pp r o a c h e s   c a n   i m p r o v e   a c c e s s i b i l i t y   a n d  de c r e a s e   di a g n o s t i c   t i m e ,   i n  a d di t i o n  t o   p r o v i di n g  a   s e c o n d  a s s e s s m e n t   f o r   h e a l t h c a r e   p r o f e s s i o n a l s   [2] ,   [3] .   In  r e c e n t   y e a r s ,   s e v e r a l   de e p  l e a rni n g   m o de l s   ha v e   b e e n   c o n s i de r e d  f o r   de t e c t i o n   o f   S A R S - Co V - 2  v i a   i m a gi ng.   Co n v o l ut i o na l   n e u ra l   n e t w o r ks   (CN N s )  h a v e   b e c o m e   pa rt i c ul a r l y   po pul a r   due   t o   t h e i r  Evaluation Warning : The document was created with Spire.PDF for Python.
Int   J   A dv   A ppl   S c i     IS S N :   2252 - 8814       CO V ID - 19  i n f e c t i on   de t e c t i on  us i ng   c o nv o l ut i ona l   s e l f - at t e n t i on  ne t w or k   w i t h  …   ( Mus t af a  H us s e i n   Z w ay y e r )   1073   pe r f o r m a n c e   i n  i m a ge   p r o c e s s i n g   t a s ks .   A r c h i t e c t u r e ,   t h e   s e l f - a t t e n t i o n  n e t w o r k   (S A N ),   ha s   a l s o   p r o v e d   e ffe c t i ve   i n   i de n t i f y i n g  l o n g - ra n ge   c o rr e l a t i o n s   i n  i m a ge s .   G r o up  l e a rn i ng  ha s   a l s o   pr o v e d  us e f ul   i n   i m p r o v i n g   c l a s s i f i c a t i o n  pe r f o r m a n c e .   H ow e ve r ,   t h e s e   a p pr o a c h e s   e i t h e r  w o r k  s e pa ra t e l y   o r   us e   b a s i c   c o m b i na t i o n   t e c hni que s .   I m p r o v e d  s t ra t e gi e s   f o r   c o m b i ni n g   t h e s e   a pp r o a c h e s   a r e   s t i l l   n e e de d  [4] – [7] .   T h i s   s t udy   i n t r o duc e s   a n  i nn o v a t i v e   c o n c e pt   t ha t   i nt e g r a t e s   t hr e e   f u n da m e n t a l   pi l l a r s   w i t h   t h e   a i m   o f  i m p r o v i n g   t h e   de t e c t i o n  r a t e   o f   S A RS - Co V - 2  by   us i n g  c o m put e ri z e d   CT   i m a ge s .   i)   Co n v o l ut i o n a l   s e l f - at t e n t i o n  n e t w o r k  (CS A N ) :   t h e s e   h a rn e s s   t h e   b e n e f i t s   o f   f e a t ur e   e xt ra c t i o n   o f fe r e d  by   CN N s ,   b ut   a l s o   i n c l ude s   s e l f - a t t e nt i o n  s y s t e m s   t ha t   c a n  h e l p   i de nt i fy   a n d   c a pt u r e   l o ng - r a nge   c o n n e c t i o n s   w i t h i n  i m a ge s   m o r e   e f f e c t i v e l y .   ii)   V o t i n g   e n s e m b l e   c l a s s i f i e r :   t h i s   ut i l i z e s   a   num b e r  o f   di f fe r e n t   f un d a m e nt a l   c l a s s i f i e r s   i n  a n  e n s e m b l e   s y s t e m   t o   e nh a n c e   c l a s s i f i c a t i o n  pe r f o r m a n c e .   iii)   G a m m a   c o rr e c t i o n :   s ha r pe n i n g   t h e   a t t ri b ut e s   w i t h i n  i m a ge s   us i n g   p r e - p r o c e s s i n g   t e c hni que s   t o   e xt r a c t   i n f o r m a t i o n  m o r e   e f f i c i e n t l y .       2.   R ELA TED   WO R K   2. 1 .     D e e p   l e a r n i n g  fo r   m e d i c al   i m age   an al ys i s   T h i s   r e s e a r c h   i de nt i f i e d  m ul t i p l e   s t r uc t u r e s ,   ut i l i z i ng   de n s e   c o n vo l ut i o n a l   n e t w o r k  ( D e n s e N e t )   a nd  r e s i du a l   n e t w o r k  ( R e s N e t )   m o de l s   t o   di a g n o s e   t h e   p r e s e n c e   o f   S A R S - Co V - 2  f r o m   c h e s t   X - ra y   s c a n s   w i t h   a   pr e c i s i o n  ra t e   o f   up   t o   9 1%.   W hi l e   t hi s   de m o n s t ra t e s   t h e   i m m e n s e   po t e n t i a l   o f   de e p  l e a rn i ng   t e c hn o l o gy   i n  m e di c a l   i m a g i n g ,   i t   a l s o   hi g hl i g ht s   t h e   i m po rt a n c e   o f   de s i g n i n g   s pe c i f i c   m o de l s   f o r   pa r t i c ul a r   i m a gi ng  t e c hn o l o gi e s   [4],   [8] .   I n  t hi s   r e s e a r c h,   a   r e v i e w   of   de e p  l e a rn i ng  t e c hn i que s   f o r   CO V ID - 19   d i a g n o s i s   a n d   m a c h i n e   l e a rni n g   w a s   c o n duc t e d.   D i f fe r e nt   t y pe s   of   da t a   w e r e   us e d  t o   a n a l y z e   t h e   r e s ul t s ,   i n c l udi ng  X - ra y s ,   r e v e r s e   t ra n s c ri pt a s e   P CR   t e s t s ,   a nd   C T ,   i n  a d di t i o n  t o   c o ugh  s o u n ds .   I t   w a s   p r o v e n  t ha t   t h e r e   i s   a   ne e d   f o r  a u t o m a t e d   c o m p ut e r - a i de d  t e c hni q ue s   due   t o   t h e   t i m e   a nd   c o s t   c o n s t ra i nt s   a s s o c i a t e d   w i t h  m a nua l   a na l y s i s   [ 9] .     2. 2 .     C O V I D - 19   d e t e c t i o n   u s i n g  c o m p u te d   tom o g r ap h y   s c an s   G ür s oy   a n d   K a y a   [10]   p r o po s e d  pe r f o r m a n c e   o f   e n s e m b l e   a n d   h y b r i d  m o de l s   c o m pa r e d   t o   i n di v i du a l   a r c h i t e c t u r e s ,   p r o v i di n g   a n  o v e r v i e w   of   de e p  l e a rn i ng  t e c hn i que s   f o r   CO V ID - 19   de t e c t i o n.   I n   a ddi t i o na l ,   t h e   m e t h o do l o gi e s ,   c h a l l e n ge s ,   a n d   po t e n t i a l   f ut u r e   di r e c t i o n s   a r e   s t udi e d ,   i n di c a t i ng  t h a t   c o m b i n i ng  s e v e r a l   a pp r o a c h e s   c a n  l e a d  t o   i m p r o v e d  di s e a s e   de t e c t i o n   ra t e s   [10] .   M i j w i l   [11]   s ugge s t   t o   de t e c t   CO V ID - 19  f r o m   c h e s t   X - ra y s   us i n g  de e p  CN N   a r c hi t e c t u r e .   T h e   r e s ul t s   o f   t hi s   s t udy   a c h i e v e d  a n   a c c ur a c y   ra t e   o f   93. 5%   us i n g   t ra n s f e r   l e a rni n g   w i t h   t h e   m o di f i e d  R e s N e t - 50  a r c h i t e c t u r e ,   de m o n s t ra t i n g  t h e   po t e nt i a l   of   t ra n s f e r   l e a rn i ng  i n  s i t u a t i o n s   w i t h  l i m i t e d  t ra i ni n g  da t a   [1 1] .     2. 3 .     S e l f - att e n ti o n   n e tw o r k s   i n   m e d i c a l   i m agi n g   M o n da l   e t   a l .   [12]   c o n duc t e d  a   s t udy   t o   pr e di c t   CO V ID - 19   us i n g  d i f fe r e nt   a r c hi t e c t u r e s   us i n g  de e p   l e a rn i ng.   T h e   o b t a i n  r e s ul t s   f o c us i n g  o n   r e l e v a n t   i m a ge   re gi o n s ,   a t t e nt i o n   m e c h a ni s m s   c a n   s i g n i f i c a n t l y   i m p r o v e   t h e   m o de l   pe r f o r m a n c e ,   e s pe c i a l l y   i n   CT   s c a n s   w h e r e   CO V ID - 19   f e a t u r e s   m a y   be   l o c a l i z e d  i n  s pe c i f i c   l u n g   r e gi o n s   [12] .  D a s   e t   al .   [13]   p r o po s e d  m e t ho d  t o   de t e c t i o n  t h e   CO V ID - 19   b y   us i n g   de e p  l e a rn i ng  a n d   m a c hi n e   l e a rni n g   t e c hn i q ue s   w a s   c o n duc t e d.   T h e   r e s ul t s   i l l us t ra t e d  t h a t   h y b r i d  a pp r o a c h e s   c o m b i n i ng   CN N s   a n d   a t t e nt i o n   m e c ha n i s m s   ga v e   h i g h e r  a c c u r a c y   r e s ul t s   t ha n  s t a n d a r d   CN N s   a l o n e ,   i n di c a t i n g   t h e   po t e nt i a l   b e n e f i t   o f   i n c o r po ra t i n g  a t t e nt i o n   i n t o   m o de l   a r c hi t e c t u r e s   [13] .     2. 4 .    En s e m b l e   m e th o d s   fo r   m e d i c al   i m ag e   c l as s i f i c a ti o n   A kt e r   e t   al .   [1 4]   p r o po s e d  a n  e n s e m b l e   l e a rni n g  m e t h o d  f o r   CO V ID - 19  de t e c t i o n   f r o m   c h e s t   X - r a y s   by   c o m b i n i n g   v o t i n g   m e c h a ni s m   a n d   m ul t i p l e   CN N   m o de l s .   T h e   a c c ura c y   r e s ul t s   w e r e   a c h i e v e d  a t   94 . 1% ,   de m o n s t r a t i ng  t h e   e f fe c t i ve n e s s   of   e n s e m b l e   m e t h o ds   i n  i m p r o v i n g   c l a s s i f i c a t i o n   pe r f o r m a n c e   [14] .    Cruz   [15]   de v e l o pe d  a   m u l t i - m o de l   e n s e m b l e   a pp r o a c h  t ha t   c o m b i n e d  f e a t u r e s   f r o m   d i f fe r e nt   CN N   a r c hi t e c t u r e s   f o r   CO V ID - 19  de t e c t i o n   f r o m   C T   s c a n s .   Is m a e l   [16]   pu r po s e   of   t h i s   p a pe r   i s   t h e   i m p r o v e m e n t   of   qua l i t y   of   n a t u ra l   i m a ge s   t hr o ug h   v a r i o us   e nh a n c e m e n t   t e c hni que s .     2. 5 .     I m age   e n h an c e m e n t   te c h n i q u e s   K um a r  e t   a l .  [7]   e m p l oy e d  ga m m a   c o rr e c t i o n  a n d   s e ve r a l   i m a ge   e nha n c e m e n t   m e t h o ds   a s     pr e - p r o c e s s i n g  s t e ps   f o r   t h e   de t e c t i o n  o f   a   S A R S - Co V - 2  i n f e c t i o n   us i n g   c h e s t   X - r a y   i m a ge s .   T h e   r e s ul t s   s h o w e d  a   2. 3 %  i n c r e a s e   i n  m o de l   pe r f o r m a n c e   a c c ura c y   w h e n   us i n g   e nha n c e d  i m a ge s .   Z h o u  e t   al .  [8 ]   s h o w e d  t h e   r a p i d   de t e c t i o n  o f   CO V ID - 19.   T h i s   p a pe r  p r o po s e s   a n  e n s e m b l e   de e p  l e a rni ng   m o de l   f o r  n o v e l   CO V ID - 19  de t e c t i o n  f r o m   CT   i m a ge s .       Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2252 - 8814   Int   J   A dv   A ppl   S c i ,  V o l .   15,   N o .   3 ,  S e pt e m b e r   202 6 :   1072 - 1 084   1074   3.   C O V I D - 19  A N D   A R TI F I C I A L  I N TELLI G EN C E   3. 1 .     C O V I D - 19   p an d e m i c   o v e r v i e w   T h e   S A R S - Co V - 2  v i r us   c a us e d  t h e   n o v e l   pa n de m i c   o f   t h e   di s e a s e   n o w   kn o w n   a s   ‘CO V ID - 19’ ,   w h i c h  w a s   f i r s t   i de n t i f i e d  i n   W u ha n ,   C hi n a ,   i n   D e c e m b e r  2019   a n d   s o o n   b e ga n   t o   s pr e a d  w o r l dw i de .   A c c o r di n g   t o   W o r l d   H e a l t h  O r ga ni z a t i o n  da t a   up   t o   S e pt e m b e r   20 20,   t h e r e   w e r e   a l r e a dy   m o r e   t ha n    33  m i l l i o n  r e po r t e d  c a s e s ,   a n d   o v e r   991, 00 0  pe o pl e   h a d   di e d  i n  213  c o unt r i e s   w o r l dw i de ,   r e s ul t i n g   i n  a   c a s e   f a t a l i t y   r a t i o   o f   a b o ut   3. 3 %   [17] .   E a r l y   a n d   a c c ura t e   di a g no s i s   i s   o n e   o f   t h e   ke y   e l e m e n t s   i n  t h e   e f f i c i e n t   t r e a t m e nt   o f   t h e   di s e a s e   a nd  t h e   p r e v e n t i o n  o f   f ur t h e r   s p r e a d  of   i n f e c t i o n .   A l t h o ug h  R T - P CR   i s   r e c o gn i z e d   a s   t h e   m o s t   e f fe c t i ve   t e s t   f o r   di a g n o s i n g  S A R S - Co V - 2,   r e s e a r c h  s ugge s t s   t h a t   C T   s c a n s   m a y   offe r   s uppl e m e n t a r y   i n f o r m a t i o n  i n  c e rt a i n  s i t ua t i o n s .   S uc h  d i a g n o s t i c   i m a g i n g   m e t h o ds   c a n  s o m e t i m e s   p r o v i de   m o r e   s e n s i t i v e   r e s ul t s   t ha n   R T - P CR   [1 ] .     3. 2 .     A r t i fi c i a l   i n te l l i ge n c e   i n   C O V I D - 19   d e t e c t i o n   It   i s   w o r t h   n o t i ng  t h a t   a r t i f i c i a l   i nt e l l i ge n c e   ha s   b e c o m e   a n   e ff e c t i v e   m e a n s   o f   c o m b a t t i n g  t h e   g l o b a l   pa n de m i c   o f   CO V ID - 19,   a s   i t s   a pp l i c a t i o n  i n  h e a l t h c a r e   e n a b l e s   m o r e   e f f i c i e n t   d i a g n o s i s ,   t r a c ki ng,   a n d   t r e a t m e nt   o f   t h e   di s e a s e .   D e e p  l e a rn i ng  ha s   p r o duc e d  s i gni f i c a n t   r e s ul t s   i n   t e r m s   o f   i m a ge   p r o c e s s i n g  a nd  a n a l y s i s   a i m e d  a t   de t e c t i n g   t h e   v i r us   [18] .   D i f f e r e n t   n e u r a l   ne t w o r k  a r c hi t e c t u r e s   a nd  l e a rn i ng  s t r a t e gi e s   h a v e   a l s o   b e e n   i n v e s t i ga t e d  t o   i m p r o v e   t h e   r e p r e s e nt a t i o n  a nd   c l a s s i f i c a t i o n   o f   c o m pl e x  pa t t e rn s   i n   v a ri o us   a ppl i c a t i o n s   [19] .   CN N s   a r e   c o m m o n l y   us e d  i n  m a n y   i m a ge s   p r o c e s s i n g   o pe r a t i o n s ,   i n c l u di n g   i de n t i f y i n g  t h e   pr e s e n c e   o f   t h e   v i r us   i n  p a t i e nt s   b a s e d  o n  t h e i r  ra di o g r a p h s .   T h i s   i s   m a de   po s s i b l e   by   by pa s s e s   t ha t   c a n   a ut o n o m o us l y   r e c o gn i z e   h i e r a r c hi e s   o f   a t t ri b ut e s   a n d   i de n t i fy   de t a i l s   i n  i m a ge s   t ha t   pe o pl e   c a nn o t   c o n s i s t e n t l y   r e c o gn i z e ,   a s   s h o w n   i n  F i gu r e   1.           F i gu r e   1 .   O v e r v i e w   of   CO V ID - 19  de t e c t i o n   s y s t e m s   us i n g  d e e p  l e a rni n g       CN N   a r c h i t e c t u r e   i n c l u de s   s e ve r a l   t y pe s   of   l a y e r s ,   i n c l ud i n g  c o n v o l ut i o na l ,   c l us t e ri n g,   a n d   f ul l y   c o n n e c t e d  l a y e r s .   T h e   f o r m e r   us e   f i l t e r s   t o   e xt r a c t   us e f ul   a t t ri b ut e s   f r o m   i m a ge s .   C l us t e r i n g   l a y e r s   m i ni m i z e   s pa t i a l   d i m e n s i o n s   a nd  e x t r a c t   s t a t i c   a t t ri b ut e s ,   w h i l e   f ul l y   c o n n e c t e d  l a y e r s   a n a l y z e   t h e s e   a t t ri b ut e s   a n d   c l a s s i fy   o r   r e g r e s s   t h e m   F i gu r e   2   [20] ,   [21] .           F i gu r e   2 .   CN N s   a r c h i t e c t ur e       3. 3 .     S e l f - att e n ti o n   n e tw o r k s   S A N s   r e pr e s e nt   a   s i g ni f i c a nt   b r e a k t hr o ug h   i n  n e u r a l   n e t w o r k  m o de l s .   T h e y   f i r s t   e m e r ge d  i n   t h e   f i e l d  of   na t u ra l   l a n g ua ge   p r o c e s s i n g  a n d   w e r e   l a t e r  a pp l i e d   t o   c o m put e r  v i s i o n.   W h i l e   s t a nda rd  CN N s   o pe r a t e   w i t h  l o c a l   n e i g h b o rh o o ds   v i a   c o n vo l ut i o n s ,   S A N s   e s t a b l i s h   a s s oc i a t i o n s   b e t w e e n   a l l   p a i r s   o f   po i n t s   i n   t h e   Evaluation Warning : The document was created with Spire.PDF for Python.
Int   J   A dv   A ppl   S c i     IS S N :   2252 - 8814       CO V ID - 19  i n f e c t i on   de t e c t i on  us i ng   c o nv o l ut i ona l   s e l f - at t e n t i on  ne t w or k   w i t h  …   ( Mus t af a  H us s e i n   Z w ay y e r )   1075   s e que n c e ,   t h e r e by   e n a b l i n g   t h e m   t o   c a pt u r e   c o rr e l a t i o n s   b e t w e e n   d i s t a nt   po i n t s   i n  t h e   s e que n c e .   A   m a j o r  b e n e f i t   o f   S A N s   i s   t h e i r  a b i l i t y   t o   f oc us   o n   r e l e v a nt   s e gm e n t s   o f   t h e   i nput   s e que n c e ,   e na b l i n g   t h e   p ri o r i t i z a t i o n   o f   di f f e r e n t   s e gm e n t s   de pe n d i n g   o n  t h e   s pe c i f i c   p r o b l e m   b e i n g   a dd r e s s e d.   T hi s   a b i l i t y   i s   f urt h e r   e nh a n c e d  by   t h e   m ul t i - h e a d  a t t e nt i o n  a p p r o a c h,   w hi c h  o pe r a t e s   o n   s e ve r a l   di f f e r e n t   s ub s pa c e s   ge n e r a t e d  f r o m   t h e   i n p ut   s e que n c e   ( F i gu r e   3 ) .           F i gu r e   3 .   CS A N s   a r c h i t e c t ur e       4.   M ET H O D   4. 1 .     D atas e t   d e s c r i p ti o n   T h e   p r o po s e d  m o de l   w a s   t r a i n e d  us i n g   a   da t a s e t   c o m pri s i n g   2, 271   c r o s s - s e c t i o n a l   CT   i m a ge s .   T h e s e   i m a ge s ,   w hi c h  i n c l ude   b o t h  n a t u r a l   a n d   v e r i f i e d  c a s e s   o f   CO V ID - 19  i n f e c t i o n ,   a r e   s o ur c e d  f r o m   r e l i a b l e   pub l i c   do m a i n  s o ur c e s .   P a t i e n t   a n o n y m i t y   h a s   b e e n   m a i nt a i n e d  t o   p r o t e c t   c o n f i de n t i a l i t y .   T h e   d a t a s e t   i n c l ude s   v a ri o us   t y pe s   of   CT   s c a n  i m a ge s   ra n g i n g  f r o m   m i l d   v i t r e o us   o pa c i t i e s   t o   s e ve r e   pul m o na r y   a d h e s i o n s ,   a s   w e l l   a s   n o r m a l   a nd  n o n - CO V ID - 19  l u n gs ,   t o   e n a b l e   t h e   m o de l   t o   di f f e r e n t i a t e   b e t w e e n   t h e     t w o   c l a s s e s .     4. 2 .     D ata   s p l i t   T h e   s e gm e n t a t i o n   w a s   pe r f o r m e d   us i n g   t h e   s t ra t i f i e d  s a m p l i n g   t e c hn i q ue ,   e n s u ri n g   t ha t   t h e   r a t i o   o f  t h e   t w o   c l a s s e s   r e m a i n e d  c o n s i s t e nt   w i t h i n  e a c h   s ub gr o up  de s c r i b e d  a b ov e .   T hi s   gu a r a nt e e s   t h a t   t h e   m o de l   i s   t r a i n e d   a nd  t e s t e d  o n  r e p r e s e n t a t i v e   da t a s e t s ,   t h e r e by   m i n i m i z i n g   t h e   ri s k  o f   b i a s .   I n   t hi s   p a pe r ,   t h e   d a t a   w e r e   s pl i t   i nt o   t hr e e   s ub s e t s   t o   e n s u r e   t r a i ni n g  a n d   e v a l ua t i o n  o f   t h e   m o de l :   i )   t ra i ni n g   s e t :   70%   (1 , 590   i m a ge s ) ;    i i )   v a l i d a t i o n  s e t :   1 5%   (340   i m a ge s ) ;   a nd  i i i )  t e s t i n g   s e t :   15%   (341   i m a ge s ) .     4. 3 .     D ata   p r e p r o c e s s i n g   4. 3 . 1 .   I m age   s tan d a r d i z ati o n   T hr e e   a ddi t i o n a l   r e s o l ut i o n s   o f   128   ×  128 ,   25 6   ×  256 ,   a n d  5 12   ×  512  p i xe l s   ha v e   be e n   i m pl e m e n t e d   t o   s t a n d a r di z e   a l l   CT   i m a ge s   a n d   e n s u r e   c o m pa ra b i l i t y .   T hi s   e n s u r e s   c o n s i s t e n c y   i n   t h e   d i m e n s i o n s   o f   t h e   i n put s   t o   t h e   a rt i f i c i a l   n e u r a l   n e t w o r k.   R e s i z i n g   w a s   pe r f o r m e d  us i n g  b i l i n e a r  i nt e rpo l a t i o n   i n  o r de r   t o  pr e s e r v e   t h e   s t r uc t u ra l   i n t e g ri t y   of   t h e   p ul m o n a r y   r e gi o n s ,   w h i c h  a r e   di a g n o s t i c a l l y   c r i t i c a l   f o r   t h e   i de nt i f i c a t i o n   o f   gr o u n d - g l a s s   o pa c i t i e s   a n d  c o n s o l i d a t i o n s .   I n  a dd i t i o n,   s t a n da rdi z i n g   a l l   i m a ge s   t o   a   u n i f i e d  r e s o l ut i o n  e l i m i na t e s   di s c r e pa n c i e s   i nt r o duc e d  by   h e t e r o ge n e o us   a c qui s i t i o n   de v i c e s   a n d  s c a nni n g  p r o t o c o l s   a c r o s s   t h e   s o u r c e   da t a s e t s .   T hi s   p r e p r o c e s s i n g   s t e p  t h e r e f o r e   pl a y s   a   f un d a m e n t a l   r o l e   i n  s t a b i l i z i ng   t r a i n i ng  d y n a m i c s   a nd  e n s u r i n g   t ha t   t h e   m o de l   l e a rn s   f e a t u r e s   t ha t   a r e   n o t   b i a s e d  by   v a r i a t i o n s   i n   i m a ge   di m e n s i o n s   o r   a s pe c t   r a t i o s .     4. 3 . 2 .   N o r m al i z a ti o n   In   t h i s   s t a ge ,   t h e   pi xe l   i nt e n s i t y   v a l ue s   a r e   b e i n g  s c a l i n g  t o   a   s t a n d a r di z e d  r a nge   i n   o r de r  t o   e nha n c e   t h e   s t a b i l i t y   o f   t h e   l e a rn i ng  p r o c e s s .   E a c h  pi xe l   v a l ue   i s   b e i n g  di v i de d  by   255,   s o   t ha t   t h e   i nput   da t a   i s   b e c o m i n g  n o r m a l i z e d  b e t w e e n   0   a nd  1 .   T hi s   t r a n s f o r m a t i o n   i s   h e l pi ng  t h e   n e u ra l   n e t w o r k  t o   c o n v e r ge   f a s t e r  a n d   i s   r e duc i n g   t h e   r i s k   o f   un s t a b l e   g ra di e n t s   du ri n g   t ra i ni n g .   I n  a d di t i o n,   n o rm a l i z a t i o n  i s   i m p r o v i n g   t h e   n u m e r i c a l   c o n s i s t e n c y   of   t h e   d a t a s e t   a n d   a l l o w i n g   t h e   m o de l   t o   l e a rn  m o r e   ge n e r a l i z e d  p a t t e rn s   i n s t e a d   o f  b e i n g  a f f e c t e d  by   r a w   i n t e n s i t y   v a r i a t i o n s .   W i t h o ut   t hi s   p r e p r o c e s s i n g   s t e p,   t h e   t ra i ni n g   p r o c e s s e s     a r e   b e c o m i n g   s l o w e r   a nd   l e s s   e f f i c i e n t ,   e s pe c i a l l y   w he n  de a l i n g   w i t h  de e p  a r c h i t e c t ur e s   s uc h  a s     CS A N .   T h e r e f o r e ,   n o rm a l i z a t i o n   i s   pl a y i n g  a   c r i t i c a l   r o l e   i n   o pt i m i z i ng  t h e   o v e r a l l   pe r f o r m a n c e   o f   t h e     pr o po s e d  f r a m e w o r k.   Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2252 - 8814   Int   J   A dv   A ppl   S c i ,  V o l .   15,   N o .   3 ,  S e pt e m b e r   202 6 :   1072 - 1 084   1076   4. 3 . 3 .   G am m a  c o r r e c ti o n   G a m m a   c o rr e c t i o n  t e c hn o l o gy   h a s   b e e n   a pp l i e d   t o   i m p r o v e   v i s i b i l i t y   o f   i m po r t a n t   f e a t u r e s   w i t h i n  c o m put e r i z e d   s e c t i o n   i m a ge s   us i ng  ( 1 ) .     ′ = 25 5 × ( 255 )     (1)     W h e r e     i s   t h e   o ri gi na l   pi xe l   v a l ue ,   ′   i s   t h e   c o rr e c t e d  pi xe l   v a l ue ,   a n d     i s   t h e   g a m m a   c o r r e c t i o n  f a c t o r .   E xpe r i m e nt e d  w i t h  f o ur   di f f e r e n t   g a m m a   v a l ue s   (0,   0. 5,   1,   a n d   1. 5 )  t o   de t e rm i n e   t h e   o pt i m a l   c o rr e c t i o n   f a c t o r   fo r   CO V ID - 19   de t e c t i o n.   F i gu r e   4  i l l us t ra t e s   t h e   e f fe c t   of  di f f e r e n t   ga m m a   v a l ue s   o n  a   s a m pl e   C T   s c a n  i m a ge .   S pe c i f i c a l l y ,   F i gu r e   4( a )   p r e s e n t s   t h e   o ri gi na l   u np r o c e s s e d  CT   s c a n,   w h e r e   t h e   c o n t ra s t   b e t w e e n   l u n g   t i s s ue   a n d   i n f e c t e d  r e gi o n s   r e m a i n s   r e l a t i v e l y   l o w .   F i gu r e   4 (b )  ge n e r a t e d  w i t h  γ   =   0 . 5 ,   b r i g ht e n s   t h e   d a r ke r   a r e a s   a nd  i m p r o v e s   t h e   v i s i b i l i t y   o f   s u b t l e   gr o u n d - g l a s s   o pa c i t i e s .   F i g u r e   4(c )  c o r r e s po n ds   t o   γ   =   1 . 0,     w h i c h  p r e s e r v e s   t h e   o ri gi na l   i nt e n s i t y   di s t ri b ut i o n  a n d   s e r v e s   a s   a   r e f e r e n c e   b a s e l i n e .   F i gu r e   4( d)   w a s   pr o duc e d  w i t h  γ   =   1. 5 ,   w h i c h  i nt e n s i f i e s   t h e   c o nt r a s t   i n  t h e   l ung  pa r e n c h y m a   a n d   a c c e n t u a t e s   t h e   b o un d a r i e s   of   pa t h o l o gi c a l   r e gi o n s ,   w h i c h   p r o v e d  m o s t   b e n e f i c i a l   f o r   t h e   p r o po s e d  f r a m e w o r k.   F o r  F i gu r e s   4 (c )  a n d   4(d) ,   t h e   x - a x i s   r e pr e s e nt s   t h e   h o ri z o n t a l   p i xe l   c o o r di n a t e   a n d  t h e   y - a xi s   r e p r e s e nt s   t h e   v e r t i c a l   pi xe l   c oo r di na t e   o f  t h e   CT   i m a ge ,   b o t h  e xp r e s s e d  i n   pi xe l   u n i t s .           (a )   (b )           (c )   (d)     F i gu r e   4 .   G a m m a   c o rr e c t i o n  a pp l i e d   t o   C T   s c a n  i m a ge s   w i t h  di f fe r e nt   g a m m a   v a l ue s :   (a )   o ri gi na l   i m a ge ,     (b )  γ   =   0 . 5 ,   (c )   γ   =   1 . 0,   a n d   (d)   γ   =   1 . 5       4. 4 .     M o d e l   a r c h i t e c tu r e   4. 4 . 1 .   C o n vo l u ti o n al   s e l f - att e n ti o n   n e tw o r k   T h e   c o r e   of   a pp r o a c h   o f   t h i s   p a pe r   i s   t h e   CS A N ,   w h i c h   i n t e gr a t e s   s e l f - a t t e nt i o n   m e c h a ni s m s   w i t h  c o n vo l ut i o n a l   o pe r a t i o n s .   T h e   CS A N   m o de l   i n c r e a s e s   t h e   CN N ' s   r e c e pt i v e   f i e l d  w i t h o ut   i n c r e a s i n g   t h e   c o m put a t i o n a l   b u r de n   a s s o c i a t e d  w i t h   v e r y   l a r ge   ke rn e l   s i z e s .   T h e   a r c hi t e c t u r e   r e s h a pe s   t h e   f e a t u r e s   f r o m   t h e   pr e v i o us   hi dde n   l a y e r   a s   i n  (2) .     ∈ ℝ ×     (2)     W h e r e     i s   t h e   n u m b e r   o f   c h a nn e l s ,   a n d     i s   t h e   p r o duc t   o f   a l l   o t h e r  di m e n s i o n s .   D e r i v e   t h e   f u n c t i o n s   ,  ,   a nd  ℎ   o n    us i ng  1   ×   1   c o n v o l ut i o n s ,   re s ul t i n g   i n  a   c ha nn e l   n u m b e r   s hi f t   f r o m     t o   ∗ .  T h e   c o rr e s po n d i n g   f un c t i o n s   a r e   de f i n e d   i n  (3) .   Evaluation Warning : The document was created with Spire.PDF for Python.
Int   J   A dv   A ppl   S c i     IS S N :   2252 - 8814       CO V ID - 19  i n f e c t i on   de t e c t i on  us i ng   c o nv o l ut i ona l   s e l f - at t e n t i on  ne t w or k   w i t h  …   ( Mus t af a  H us s e i n   Z w ay y e r )   1077   ( ) = , ( ) = , ℎ ( ) = ℎ     (3)     W h e r e     ,   , ℎ   ∈ ℝ × ∗ .   T h e   s e l f - a t t e n t i o n   m e c h a ni s m   c o m put e s   a t t e nt i o n  w e i gh t s   by   t a ki ng  t h e   do t   p r o duc t   o f   ( )   a n d   ( ) ,   f o l l ow e d  by   a   s of t m a x  o pe ra t i o n ,  a s   de f i n e d  i n  (4) .     , =  ( ( ) .     ( ) )     (4)     T h e   o ut put   o f   t h e   s e l f - a t t e n t i o n   l a y e r   i s   c o m put e d ,   as   i n   ( 5).     = ∑ ,   .     ℎ ( )     (5)     F i na l l y ,   a t t a c h   i n pu t   f e a t u r e s ,   ,   t o   t h e   w e i gh t e d  o ut p ut ,   w i t h    a s   a   l e a rna b l e   s c a l a r   pa ra m e t e r ,  a s   i n  (6 ) .     =   . +     (6)     Py T o r c h   us a ge   t hi s   i s   a   qu i c k  a n d   e ff e c t i v e   i m pl e m e n t a t i o n  f r o m   F a s t . a i .     import torch   import torch.nn as nn   import torch.nn.functional as F   class SelfAttention(nn.Module):        def __init__(self, n_channels):            super(SelfAttention, self).__init__()            self.n_channels = n_channels            self.query_weight =  nn.Parameter(torch.randn(n_channels, n_channels // 8))            self.key_weight = nn.Parameter(torch.randn(n_channels, n_channels // 8))            self.value_weight = nn.Parameter(torch.randn(n_channels, n_channels))            self.gamma = nn.Parameter(torch.ze ros(1))        def forward(self, x):            size = x.size()            x = x.view( - 1, size[2], self.n_channels)  # Assuming x has shape (batch_size,  sequence_length, n_channels)            f = torch.matmul(x, self.query_weight)            g = torch.matmul(x, self.key _weight)            h = torch.matmul(x, self.value_weight)            beta = F.softmax(torch.matmul(f.transpose(1, 2), g), dim=1)            o = self.gamma * torch.matmul(beta, h)            o = o.view(size)            return o     T a b l e   1   de t a i l s   t h e   c o m pl e t e   a r c hi t e c t u r e   o f   t h e   CS A N   m o d e l ,   s u m m a ri z i ng   e v e r y   l a y e r   a l o n g   w i t h   i t s   f i l t e r  c o un t ,   ke rn e l   s i z e ,   s t ri de ,   o ut pu t   s h a pe ,   a n d   n u m b e r  of   t r a i n a b l e   pa ra m e t e r s .   T h e   a r c h i t e c t ur e   f o l l ow s   a   hi e ra r c h i c a l   c o n v o l ut i o na l   b a c kb o n e   i n  w hi c h  f o ur   c o n v o l ut i o na l   b l o c ks   pr o g r e s s i v e l y   e xpa n d  t h e   c h a nn e l   di m e n s i o n  f r o m   32   t o   256   w hi l e   r e duc i n g   t h e   s pa t i a l   r e s o l ut i o n  t hr o ug h  m a x - po o l i n g ,   a n d   a   s e l f - a t t e n t i o n  l a y e r   i s   i n s e r t e d  a f t e r   t h e   s e c o n d  po o l i n g  s t a ge   i n  o r de r   t o   m o de l   l o ng - r a nge   de pe n de n c i e s   b e t w e e n     di s t a nt   l u ng   r e gi o n s .   T h e   f ul l y   c o nn e c t e d  h e a d   c o n de n s e s   t h e   r e s ul t i n g   f e a t u r e   m a p  i n t o   a     128 - di m e n s i o na l   e m b e ddi n g   t ha t   i s   s ub s e que n t l y   pa s s e d  t o   t h e   v o t i n g  e n s e m b l e   c l a s s i f i e r,   y i e l di ng  a   t o t a l   of    5, 189 , 440   pa ra m e t e r s ,   o f   w h i c h  5, 187 , 200  a r e   t ra i na b l e .   T h i s   e ff i c i e n t   a nd  po w e r f ul   de s i gn   i s   m o t i v a t e d  b y   pr e v i o us   r e s e a r c h   t ha t   e nh a n c e s   c l a s s i c a l   n e u r a l   n e t w o r ks   w i t h  s o m e   a dd i t i o na l   o pe r a t i o n s   f o r   b e t t e r     l e a rn i ng  c a pa b i l i t y   [18],   a n d  a c hi e v e s   a   goo d  b a l a n c e   b e t w e e n   r e p r e s e nt a t i o n  a b i l i t y   a n d  c o m put a t i o na l   e xpe n s e   o n   CT - s c a n  i m a ge s .   T o t a l   pa ra m e t e r s :   5 , 189 , 440 ;   t ra i na b l e   pa ra m e t e r s :   5, 187 , 200;   n o n - t ra i na b l e     pa r a m e t e r s :   2 , 24 0.     4. 4 . 2.   S e l f - att e n ti o n   i m p l e m e n tat i o n   T h e   s e l f - a t t e nt i o n  m e c h a ni s m   i s   i m p l e m e n t e d   us i n g   t hr e e   1   ×   1  c o n v o l ut i o n  l a y e r s   t o   p r o duc e   f (x),   g(x),   a nd  h ( x),   c o m m o nl y   r e f e r r e d  t o   a s   q ue r y ,   ke y ,   a n d   v a l u e ,   r e s pe c t i v e l y .   T h e   i m pl e m e n t a t i o n  s t e ps   a r e :   i)   D e f i n e   t hr e e   1   ×   1  c o n v o l ut i o n  l a y e r s   t o   p r o duc e   f (x),   g( x),   a n d   h (x ) .   ii)   R e s h a pe   t o   a   c   ×   N   t e n s o r .   iii)   A ppl y   s o f t m a x  a t t e n t i o n  w e i gh t s   us i n g   m a t ri x   m ul t i pl i c a t i o n .   i v )   R e t urn   f e a t u r e s   t o   t h e i r   na t u r a l   s ha pe .   v)   A ppl y   a   l e a rna b l e   s c a l a r  p a r a m e t e r  γ   t o   t h e   o ut pu t   a n d   a dd   t h e   i n put   f e a t u r e s .   F i gu r e   5   i l l us t ra t e s   t h e   s e l f - a t t e n t i o n  m e c ha ni s m   i nt e gra t e d   i nt o   t h e   CS A N   m o de l .   Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2252 - 8814   Int   J   A dv   A ppl   S c i ,  V o l .   15,   N o .   3 ,  S e pt e m b e r   202 6 :   1072 - 1 084   1078   T a b l e   1 .   CS A N   m o de l   a r c hi t e c t u r e   L a y e r   T y p e   F i l t e r s   K e r n e l   s i z e   S t ri d e   O u t p u t   s h a p e   P a ra m e t e r s   In p u t   In p u t   -   -   -   (1 2 8 ,   1 2 8 ,   1 )   0   Co n v 1   Co n v 2 D   32   3   ×   3   1   (1 2 6 ,   1 2 6 ,   3 2 )   320   BN 1   Ba t c h N o rm   -   -   -   (1 2 6 ,   1 2 6 ,   3 2 )   128   Re L U 1   Re L U   -   -   -   (1 2 6 ,   1 2 6 ,   3 2 )   0   P o o l 1   M a x P o o l   -   2   ×   2   2   (6 3 ,   6 3 ,   3 2 )   0   Co n v 2   Co n v 2 D   64   3   ×   3   1   (6 1 ,   6 1 ,   6 4 )   1 8 , 4 9 6   BN 2   Ba t c h N o rm   -   -   -   (6 1 ,   6 1 ,   6 4 )   256   Re L U 2   Re L U   -   -   -   (6 1 ,   6 1 ,   6 4 )   0   P o o l 2   M a x P o o l   -   2   ×   2   2   (3 0 ,   3 0 ,   6 4 )   0   SA   S e l f - A t t e n t i o n   -   -   -   (3 0 ,   3 0 ,   6 4 )   1 2 , 3 5 2   Co n v 3   Co n v 2 D   128   3   ×   3   1   (2 8 ,   2 8 ,   1 2 8 )   7 3 , 8 5 6   BN 3   Ba t c h N o rm   -   -   -   (2 8 ,   2 8 ,   1 2 8 )   512   Re L U 3   Re L U   -   -   -   (2 8 ,   2 8 ,   1 2 8 )   0   P o o l 3   M a x P o o l   -   2   ×   2   2   (1 4 ,   1 4 ,   1 2 8 )   0   Co n v 4   Co n v 2 D   256   3   ×   3   1   (1 2 ,   1 2 ,   2 5 6 )   2 9 5 , 1 6 8   BN 4   Ba t c h N o rm   -   -   -   (1 2 ,   1 2 ,   2 5 6 )   1 , 0 2 4   Re L U 4   Re L U   -   -   -   (1 2 ,   1 2 ,   2 5 6 )   0   P o o l 4   M a x P o o l   -   2   ×   2   2   (6 ,   6 ,   2 5 6 )   0   F l a t t e n   F l a t t e n   -   -   -   (9 2 1 6 )   0   D e n s e 1   D e n s e   -   -   -   (5 1 2 )   4 , 7 1 9 , 1 0 4   BN 5   Ba t c h N o rm   -   -   -   (5 1 2 )   2 , 0 4 8   Re L U 5   Re L U   -   -   -   (5 1 2 )   0   D ro p o u t   D ro p o u t   (0 . 5 )   -   -   -   (5 1 2 )   0   D e n s e 2   D e n s e   -   -   -   (1 2 8 )   6 5 , 6 6 4   BN 6   Ba t c h N o rm   -   -   -   (1 2 8 )   512   Re L U 6   Re L U   -   -   -   (1 2 8 )   0   F e a t u r e s   F e a t u r e s   -   -   -   (1 2 8 )   0   T o t a l   p a ra m e t e r s :   5 , 1 8 9 , 4 4 0 ;   t ra i n a b l e   p a ra m e t e r s :   5 , 1 8 7 , 2 0 0 ;   n o n - t ra i n a b l e   p a ra m e t e r s :   2 , 2 4 0 .           F i gu r e   5 . S e l f - a t t e nt i o n  m e c h a ni s m   i nt e g r a t e d  i nt o   CS A N   m o de l   i n  t hi s   pa pe r       4. 4 . 3 .   V o ti n g  e n s e m b l e   c l as s i fi e r   T h e   v o t i n g  e n s e m b l e   c l a s s i f i e r   a gg r e ga t e s   p r e di c t i o n s   f r o m   m ul t i pl e   b a s e   c l a s s i f i e r s   t o   i m p r o ve   c l a s s i f i c a t i o n  pe r f o r m a n c e .   I m pl e m e nt a t i o n  us e s   a   h a rd   v o t i n g   m e c ha n i s m ,   w h e r e   t h e   f i n a l   p r e di c t i o n  i s   de t e r m i n e d  by   t h e   m a j o r i t y   vo t e   f r o m   t h e   b a s e   c l a s s i f i e r s .   T h e   b a s e   c l a s s i f i e r s   us e d  i n   e n s e m b l e   i n c l ude :   ra n do m   f o r e s t   c l a s s i f i e r ,   s uppo r t   v e c t o r   m a c h i n e   w i t h  ra di a l   b a s i s   f u n c t i o n   (R B F )  ke rn e l ,  e xt r e m e   g ra d i e nt   bo os t i n g   (X G B oo s t )  c l a s s i f i e r,   l o gi s t i c   r e g r e s s i o n ,   a n d   k - n e a r e s t   n e i g h b o r s .   T h e   f e a t u r e s   e xt ra c t e d  f r o m   t h e   CS A N   m o de l   ( t h e   o ut pu t   o f   t h e   f e a t u r e s   l a y e r )  s e r v e   a s   i n pu t   t o   e a c h  b a s e   c l a s s i f i e r,   a n d   t h e   f i na l   p r e d i c t i o n  i s   de t e r m i n e d  by   t h e   m a j o r i t y   vo t e   a c r o s s   a l l   c l a s s i f i e r s .   Evaluation Warning : The document was created with Spire.PDF for Python.
Int   J   A dv   A ppl   S c i     IS S N :   2252 - 8814       CO V ID - 19  i n f e c t i on   de t e c t i on  us i ng   c o nv o l ut i ona l   s e l f - at t e n t i on  ne t w or k   w i t h  …   ( Mus t af a  H us s e i n   Z w ay y e r )   1079   4. 5 .     P r o p o s e d   s ys te m   ar c h i t e c tu r e   P r o po s e d  s y s t e m   i nt e g r a t e s   ga m m a   c o rr e c t i o n ,   CS A N ,   a n d   v o t i ng  e n s e m b l e   c l a s s i f i e r  i n t o   a   c o h e s i ve   f r a m e w o r k  fo r   CO V ID - 1 9  de t e c t i o n  f r o m   C T   s c a n  i m a ge s .   F i gu r e   6   i l l us t ra t e s   t h e   c o m pl e t e   a r c hi t e c t u r e   o f   pr o po s e d  s y s t e m .   T h e   pi pe l i n e   b e gi n s   w i t h  a   pr e p r o c e s s i n g  s t a ge   i n  w hi c h  r a w   C T   i m a ge s   a r e   s t a n d a r di z e d   i n  r e s o l ut i o n ,   n o rm a l i z e d   t o   t h e   [0,   1]   r a nge ,   a n d   e nh a n c e d  t hr o ug h   g a m m a   c o rr e c t i o n  w i t h     γ   =   1 . 5   i n  o r de r   t o   a c c e n t u a t e   t h e   p a t h o l o gi c a l   t e xt u r e s   o f   t h e   l u n g   p a r e n c h y m a .   T h e   p r e pr o c e s s e d  i m a ge s   a r e   t h e n  f o r w a r de d   t o   t h e   CS A N   b a c kb o n e ,   w h e r e   c o n v o l ut i o na l   b l o c ks   e xt ra c t   l o c a l   m o r p h o l o gi c a l   f e a t u r e s ,   a n d   t h e   e m b e dde d  s e l f - a t t e nt i o n  l a y e r   c a pt u r e s   l o n g - ra n ge   s pa t i a l   de pe n de n c i e s   b e t w e e n   di s t a nt   l u ng  r e gi o n s ,   pr o duc i n g  a   128 - d i m e n s i o na l   di s c r i m i na t i v e   fe a t u r e   v e c t or.   F i na l l y ,   t h e s e   fe a t u r e s   a r e   f e d  i n t o   a   v o t i n g   e n s e m b l e   of   h e t e r o ge n e o us   c l a s s i f i e r s ,   w h o s e   m a j o r i t y   de c i s i o n   y i e l ds   t h e   f i na l   b i na r y   pr e di c t i o n;   t hi s   m o dul a r  s e pa r a t i o n   b e t w e e n   f e a t u r e   e xt r a c t i o n  a nd  c l a s s i f i c a t i o n  a l l o w s   t h e   s y s t e m   t o   c o m b i n e   t h e   r e p r e s e n t a t i o na l   po w e r   o f   de e p  l e a rn i ng  w i t h  t h e   r o b us t ne s s   of   e n s e m b l e   l e a rni n g  w hi l e   ke e pi n g   e a c h  c o m po n e n t   i n de pe n de nt l y   i n t e r p r e t a b l e   a n d   r e pl a c e a b l e .   T h e   s y s t e m   o pe r a t e s   i n  t h e   f o l l ow i n g  s t e ps :   i)   In p ut :   C T   s c a n  i m a ge   ( n o rm a l   o r   CO V ID - 19) .   ii)   P r e p r o c e s s i n g:   i m a ge   s t a n d a r di z a t i o n ,   n o rm a l i z a t i o n,   a n d   g a m m a   c o rr e c t i o n .   iii)   F e a t u r e   e xt r a c t i o n:   CS A N   m o de l   e xt ra c t s   de e p  f e a t u r e s   f r o m   t h e   p r e p r o c e s s e d  i m a ge .   i v )   Cl a s s i f i c a t i o n :   v o t i n g   e n s e m b l e   c l a s s i f i e r  de t e rm i n e s   t h e   f i n a l   p r e di c t i o n  b a s e d  o n   t h e   e xt ra c t e d  f e a t u r e s .   v)   O ut put :   c l a s s i f i c a t i o n  r e s ul t   ( n o r m a l   o r  CO V ID - 19) .           F i gu r e   6 .   P r o po s e d  s y s t e m   a r c h i t e c t ur e   f o r   CO V ID - 19   de t e c t i o n   us i n g   CT   s c a n s       4. 6 .     M o d e l   t r ai n i n g   an d   e v al u ati o n   4. 6 . 1.   T r ai n i n g   p r o c e d u r e   D uri n g  t h e   p r o c e s s   of   t r a i ni n g   t h e   CS A N   m o de l ,   a   s pe c i f i c   s e t   of   h y p e r pa ra m e t e r s   w a s   c o n s i de r e d  fo r   e f f i c i e n t   a n d   s t a b l e   o pt i m i z a t i o n  o f   t h e   m o de l .   S pe c i f i c a l l y ,   fo r   t h e   t r a i n i ng  p r o c e dur e ,   t h e   f o l l ow i n g  c o n f i gur a t i o n   w a s   us e d:   t h e   A da m   o pt i m i z e r   w i t h   a   le a rni n g   ra t e   of  0. 0001,   b i na r y   c r o s s - e n t r o p y   a s   t h e   l o s s   f un c t i o n,   a   b a t c h  s i z e   e qua l   t o   32 ,   a nd   a   m a x i m u m   o f   100  e po c h s   f o r  t ra i ni n g .   A l s o ,   e a rl y   s t o ppi n g   a n d   l e a rn i ng  ra t e   s c h e dul i ng  w e r e   u t i l i z e d   i n  o r de r   t o   a v o i d  o v e r fi t t i n g   a n d   c o n v e r ge   f a s t e r.   –   O pt i m i z e r:   A d a m   w i t h   a  l e a rni n g   r a t e   o f   0. 0001 .   –   L o s s   f un c t i o n :   b i n a r y   c r o s s - e n t r o p y .   –   B a t c h   s i z e :   32 .   –   E po c h s :   100 .   –   E a rl y   s t o ppi n g:   p a t i e n c e   o f   10  e po c h s   b a s e d  o n   v a l i da t i o n  l o s s .   –   L e a rn i ng  ra t e   s c h e dul e r :   r e duc e   o n   p l a t e a u   w i t h   f a c t o r  0. 5   a nd  pa t i e n c e   5 .     4. 6 . 2.   Ev al u ati o n   m e tr i c s   T h e   pe r f o r m a n c e   o f   t h e   n e w   m e t h o d  w a s   a s s e s s e d  by   a   s e t   o f   c o m m o n l y   us e d  c l a s s i f i c a t i o n  m e a s u r e s .   T h e s e   m e a s u r e s   w e r e   c h o s e n   t o   gi v e   a   c o m pl e t e   v i e w   of   t h e   pe r f o r m a n c e   o f   t h e   m o de l   i n  c l a s s i fy i n g  b o t h   po s i t i v e   a n d   n e ga t i v e   e xa m pl e s   w h i l e   b a l a n c i n g   t h e   pe r f o r m a n c e   o f   c l a s s i f i c a t i o n .     Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2252 - 8814   Int   J   A dv   A ppl   S c i ,  V o l .   15,   N o .   3 ,  S e pt e m b e r   202 6 :   1072 - 1 084   1080   T h e   m e a s u r e s   us e d  i n c l ude   a c c ura c y ,   r e c a l l ,   s pe c i f i c i t y ,   F 1 - s c o r e ,   a n d  a r e a   u nde r  t h e   r e c e i v e r   o pe r a t i ng  c h a ra c t e ri s t i c   c ur v e   (A U C - R O C) :   –   A c c ur a c y :   t h e   p r o po r t i o n  o f   c o rr e c t l y   c l a s s i f i e d  i n s t a n c e s   –   R e c a l l :   t h e   p r o po rt i o n  o f   a c t ua l   po s i t i v e   c a s e s   c o r r e c t l y   i de nt i f i e d   –   S pe c i f i c i t y :   t h e   p r o po rt i o n  o f   a c t ua l   n e ga t i v e   c a s e s   c o r r e c t l y   i de nt i f i e d   –   F1 - s c o r e :   t h e   ha r m o n i c   m e a n s   o f   p r e c i s i o n   a n d   r e c a l l   –   A U C - R O C       5.   R ES U LTS   A N D   D I S C U S S I O N   5. 1 .     P e r fo r m an c e   e v al u ati o n   T h i s   w a s   do n e   f o r   v a ri o us   r e s o l ut i o n s ,   s uc h  a s   12 8   ×   128 ,   2 56   ×   2 56 ,   a nd   512   ×   512 ,   a s   w e l l   a s   f o r   di f fe r e nt   ga m m a   c o rr e c t i o n s :   0 ,   0. 5 ,   1 ,   a n d   1 . 5 .   T a b l e   2   de pi c t s   t h e   c o n f us i o n  m a t ri x   o f   t h e   m o s t   e f f i c i e n t   m o de l ,   f o r  w h i c h  t h e   r e s o l ut i o n  w a s   512   ×   5 12   pi xe l s ,   a nd  t h e   g a m m a   c o rr e c t i o n  v a l ue   w a s   1. 5 .   T a b l e   3   s h o w s   c o n f us i o n   m a t ri x   f o r   CS A N   w i t h  v o t i n g   c l a s s i f i e r  (512   ×   5 12,   γ   =   1 . 5) .  B a s e d  o n   t h e   c o n f us i o n     m a t r i x   i n   T a b l e   2 ,   c a l c ul a t e   t h e   f o l l ow i n g  pe r f o r m a n c e   m e t r i c s :   a c c ur a c y :   95. 12% ,   s e n s i t i v i t y :   97. 25%,     s pe c i f i c i t y :   98. 11% ,   F 1 - s c o r e :   96. 46% ,   a n d   A U C - R O C:   0. 97 7.   F i gu r e   7   i l l us t r a t e s   t h e s e   m e t ri c s   v i s ua l l y .       T a b l e   2 .   Co n f us i o n   m a t r i x   o f   t h e   m o s t   e f f i c i e n t   m o de l   A c t u a l   c l a s s   P re d i c t e d   p o s i t i v e   P re d i c t e d   n e g a t i v e   T ru e   p o s i t i v e   1236   35   T ru e   n e g a t i v e   20   1035           F i gu r e   7 .   P e r f o r m a n c e   m e t r i c s   v i s ua l i z a t i o n       5. 2 .     I m p ac t  o f  i m age   r e s o l u ti o n   an d   gam m a  c o r r e c t i o n   T h e   i n f l ue n c e   o f   i m a ge   r e s o l ut i o n   a n d   g a m m a   c o rr e c t i o n  o n  t h e   m o de l ’s   pe r f o r m a n c e   i s   e v a l ua t e d.   T a b l e   3  p r e s e n t s   a   c o m pa ri s o n   o f   t h e   a c c ura c y   a c h i e v e d  by   t h e   CS A N   c l a s s i f i e r   a l o n e   w i t h  t ha t   a c h i e v e d  b y   t h e   n e w   CS A N   m o de l   a l o n gs i de   t h e   v o t i n g  c l a s s i f i e r .   F i gu re   8  v i s ua l i z e s   t h i s   c o m pa ri s o n .   K e y   ob s e r v a t i o n s   f r o m   t h e s e   r e s ul t s   i n c l ude :   i)   T h e   CS A N   w i t h  v o t i n g   c l a s s i f i e r  c o n s i s t e n t l y   o ut pe r f o r m s   t h e   C SAN  c l a s s i f i e r  a l o n e   a c r o s s   a l l   i m a ge   r e s o l ut i o n s   a nd  g a m m a   c o rr e c t i o n  v a l ue s .   T h e   i m p r o v e m e n t   r a nge s   f r o m   1 0 - 33   pe r c e n t a ge   po i n t s ,   de m o n s t r a t i ng  t h e   e f fe c t i ve n e s s   of   t h e   v o t i n g   e n s e m b l e   a pp ro a c h .   ii)   H i gh e r  i m a ge   r e s o l ut i o n s   ge n e ra l l y   l e a d   t o   b e t t e r  pe r f o r m a nc e ,   w i t h  512   ×   512   r e s o l ut i o n  a c h i e v i n g   t h e   hi g h e s t   a c c ura c y .   T hi s   i ndi c a t e s   t ha t   p r e s e r v i n g  m o r e   de t a i l   i n  C T   s c a n  i m a ge s   b e n e f i t s   de t e c t i o n  t a s k.   iii)   G a m m a   c o rr e c t i o n  s i g n i f i c a n t l y   i m p a c t s   m o de l   pe r f o r m a n c e ,   w i t h  γ   =   1. 5   c o n s i s t e nt l y   y i e l di n g   t h e   b e s t   r e s ul t s   a c r o s s   a l l   c o n f i gu r a t i o n s .   T hi s   s ugge s t s   t h a t   e nha n c i ng  t h e   v i s i b i l i t y   of   r e l e v a nt   f e a t ur e s   t hr o ug h  ga m m a   c o rr e c t i o n  i s   c r uc i a l   f o r   e f fe c t i ve   CO V ID - 19  de t e c t i o n.   i v )   T h e   c o m b i na t i o n  o f   512   ×   5 12   r e s o l ut i o n  w i t h  γ   =   1 . 5   a c hi e v e s   t h e   h i g h e s t   a c c ura c y   o f   99. 3%   w i t h  pr o po s e d  CS A N   w i t h  v o t i n g   c l a s s i f i e r ,   r e p r e s e nt i n g   a   20 . 0 9  pe r c e n t a ge   po i nt   i m p r o v e m e n t   o ve r   t h e   CS A N   c l a s s i f i e r  a l o n e   u nde r  t h e   s a m e   c o n d i t i o n s .   Evaluation Warning : The document was created with Spire.PDF for Python.
Int   J   A dv   A ppl   S c i     IS S N :   2252 - 8814       CO V ID - 19  i n f e c t i on   de t e c t i on  us i ng   c o nv o l ut i ona l   s e l f - at t e n t i on  ne t w or k   w i t h  …   ( Mus t af a  H us s e i n   Z w ay y e r )   1081   T a b l e   3 .   P e r f o r m a n c e   c o m pa r i s o n  o f   CS A N   a n d   CS A N   w i t h  vo t i ng  c l a s s i f i e r   u n de r  d i f fe r e nt   r e s o l u t i o n s   a n d  ga m m a   c o rr e c t i o n  v a l ue s   Re s o l u t i o n   CS A N   c l a s s i fi e r   CS A N   w i t h   v o t i n g   c l a s s i fi e r   G a m m a   =   0   G a m m a   =  0 . 5   128   ×   1 2 8   0 . 6 2 3 4   0 . 6 5 1 9   256   ×   2 5 6   0 . 7 1 2 3   0 . 7 6 9 9   512   ×   5 1 2   0 . 7 9 2 1   0 . 8 4 0 0           F i gu r e   8 .   Co m p a r i s o n  o f   CS A N   c l a s s i f i e r  w i t h   CS A N   w i t h   v o t i n g   c l a s s i f i e r       5. 3 .     C o m p ar ati v e   an al ys i s   w i th   e x i s ti n g   m e th o d s   T o   a na l y z e   t h e   s u pe ri o r i t y   of   t h e   p r o po s e d  t e c hni que   o v e r   pr e v i o us   m e t h o do l o gi e s ,   s t a t e - of - t h e - a r t   t e c hn i q ue s   w e r e   t e s t e d  o n   t h e   da t a s e t   us i n g  t h e   s a m e   e xpe r i m e nt a l   p r o c e dur e .   T h e   pe r f o r m a n c e   r e s ul t s   o f   t h e   pr o po s e d  t e c hn i que   c o m pa r e d  t o   t h e s e   p r e v i o us   t e c h ni que s   a r e   p r e s e n t e d  i n  T a b l e   4.   T h e   p r o po s e d  a pp r o a c h   (CS A N   +   ga m m a   +   v o t i n g)   a c h i e v e d  a n  a c c ura c y   =   95. 1 % ;   s e n s i t i v i t y   =   97. 3 %;   s pe c i f i c i t y   =   98 . 1% ;   a n d  pr e di c t i o n   a c c ura c y   =   96 . 5% .   T hi s   m e t h o do l o g y   o ut pe r f o r m s   a l l   e xi s t i n g  t e c hni que s   i n  t e r m s   o f   t h e s e   c r i t e r i a ,   i m p r o v i n g   a c c ura c y   by   up  t o   9 . 5   pe r c e n t a ge   po i nt s   a n d   d e m o n s t r a t i n g   t h e   e f f e c t i v e n e s s   of   t h e   i nt e g r a t e d  a pp r o a c h.   It   s h o ul d   b e   n o t e d,   h o w e v e r ,   t ha t   t h e   h i g h e s t   s e n s i t i v i t y   (97. 3%)   w a s   a c hi e v e d  by   t h i s   m e t h o do l o g y .   T h i s   i s   i m po r t a n t   b e c a us e   a n y   m i s c l a s s i f i c a t i o n   c o ul d  ha v e   di s a s t r o us   c o n s e que n c e s   i n   a   m e di c a l   s c e n a ri o   w h e r e   a   di s e a s e   c o ul d  go   u nn o t i c e d.       T a b l e   4 .   Co m p a r a t i v e   a na l y s i s   w i t h   e xi s t i n g   m e t h o ds   M e t h o d   A c c u ra c y   ( % )   S e n s i t i v i t y   ( % )   S p e c i f i c i t y   ( % )   F1 - s c o r e   ( % )   Re s N e t - 50  [2 2 ]   8 7 . 5   8 5 . 4   8 9 . 7   8 6 . 3   D e n s e N e t - 121  [2 3 ]   8 9 . 2   8 7 . 1   9 1 . 5   8 8 . 2   V i s u a l   g e o m e t ry   g r o u p   16   ( VGG - 16 )  [2 4 ]   8 5 . 6   8 3 . 9   8 7 . 5   8 4 . 7   CN N   +   a t t e n t i o n   [6 ]   9 1 . 8   9 0 . 3   9 3 . 4   9 1 . 2   CN N   +   e n s e m b l e   [1 4 ]   9 2 . 7   9 1 . 5   9 4 . 0   9 2 . 1   CN N   +   g a m m a   [7 ]   9 0 . 5   8 9 . 1   9 2 . 0   8 9 . 8   A p p r o a c h   o f  t h i s   p a p e r   ( C S A N   +   g a m m a   +   v o t i n g )   9 5 . 1   9 7 . 3   9 8 . 1   9 6 . 5       5. 4 .     V i s u al i z at i o n   o f  m o d e l   atte n ti o n   T h e   a t t e n t i o n   w e i g h t s   p r o duc e d  us i n g   t h e   p r o po s e d  s e l f - a t t e nt i o n  a r c h i t e c t u r e   w e r e   v i s ua l i z e d   t o   ga i n  i n s i g ht   i n t o   h o w   t h e   m o de l   f o c us e s   o n   t h e   r e l e v a nt   p a r t s   o f   a   C T   s c a n ,   a s   s h o w n   i n  F i gu r e   9.   M o r e   s pe c i f i c a l l y ,   F i gu r e   9( a )  di s pl a y s   t h e   o ri gi na l   C T   s c a n  s l i c e   pri o r  t o   a n y   a t t e nt i o n  w e i ght i n g   a nd  s e r v e s   a s   a   v i s ua l   r e f e r e n c e   f o r   e v a l ua t i ng  t h e   r e gi o n s   t h a t   t h e   n e t w o r k  pri o r i t i z e s   du r i ng  i n f e r e n c e .   F i gu r e   9(b ),   i n   t u rn,   s upe r i m po s e s   t h e   c o r r e s po n d i n g  s e l f - a t t e nt i o n   h e a t   m a p  o n t o   t h e   s a m e   s l i c e ,   w h e r e   w a rm e r  c o l o r s   i ndi c a t e   hi g h e r   a t t e n t i o n   v a l ue s ;   t h e   hi g h l i g ht e d  r e gi o n s   c o n s i s t e nt l y   c o i n c i de   w i t h  pe r i p h e r a l   g r o u n d - g l a s s   o pa c i t i e s   Evaluation Warning : The document was created with Spire.PDF for Python.