I AE S In t er na t io na l J o urna l o f   Art if icia l In t ellig ence   ( I J - AI )   Vo l.  1 5 ,   No .   5 ,   Octo b er   2 0 2 6 ,   p p .   4 5 6 8 ~ 4 5 9 1   I SS N:  2 2 5 2 - 8 9 3 8 ,   DOI : 1 0 . 1 1 5 9 1 /ijai.v 15 .i 5 . p p 4 5 6 8 - 4 5 9 1           4568     J o ur na l ho m ep a g e :  h ttp : //ij a i . ia esco r e. co m   Q ua nti tativ e ches t  co mput ed t o mo g ra phy - ba sed hy brid dee p  lea rning  f o r ch ro nic lung  disea se  d etec tion  and sta g i ng       G a rim a   J a in,  Am it   K um a r  G o el,   Ra hu l K um a r   D e p a r t me n t   o f   C o mp u t i n g   a n d   I n f o r m a t i c s,  S c h o o l   o f   En g i n e e r i n g   a n d   S c i e n c e s ,   S i r   P a d a m p a t   S i n g h a n i a   U n i v e r s i t y ,   U d a i p u r ,   I n d i a       Art icle  I nfo     AB S T RAC T   A r ticle  his to r y:   R ec eiv ed   Ma r   2 0 ,   2 0 2 5   R ev is ed   J u l 1 8 ,   2 0 2 6   Acc ep ted   Au g   1 2 ,   2 0 2 6       Th is  re se a rc h   p ro p o se s  a   h y b rid   d e e p   lea rn i n g   m o d e l  t o   a c c u ra t e ly   d e tec t   c h ro n ic  lu n g   d ise a se s  in   c h e st  c o m p u te d   to m o g ra p h y   (CT)  sc a n s.  Cu rre n t   d e e p   lea rn in g   m e th o d s,  s u c h   a s  c o n v o lu ti o n a l  n e u ra l  n e two rk s  ( CNN s)  a n d   tran sfo rm e r  m o d e ls,  o ften   su ffe r   fro m   h ig h   c o m p u tati o n a l   re q u ire m e n ts  a n d   lo w  in ter p re tab il it y .   T h is  re se a rc h   c o m b i n e s   a   p re - train e d   re sid u a l  n e two rk   5 0   la y e rs  ( Re sN e t5 0 )   fo r   d e e p   f e a tu re   e x trac ti o n   wi th   h a n d - c ra ft e d   tex tu r e   fe a tu re s.  Th e   fe a tu re s  a re   c o m b in e d   v ia  h y b ri d   c o n c a ten a ti o n ,   a n d   th e   m o d e l   is  c las sified   u sin g   a n   o p ti m ize d   e x trem e   g ra d ien t  b o o stin g   ( XG Bo o st)  e n se m b le  with   h y p e r p a ra m e ter  tu n i n g   t o   im p ro v e   p e rfo rm a n c e   a n d   re d u c e   o v e rfit ti n g .   T h is  re se a rc h   c o m p a re d   th e   p r o p o se d   m o d e l  with   ra d io m ics - o n l y ,   Re sN e t5 0   CNN ,   v isi o n   tran sfo rm e r  (ViT - B1 6 ),   a n d   S wi n   tr a n sfo rm e r   m e th o d s.   Th is  re se a rc h   u se d   a   p u b li c   d a tas e t  c o n tai n in g   a d e n o c a rc in o m a ,   sq u a m o u s  c e ll   c a rc in o m a ,   larg e   c e ll   c a rc in o m a ,   a n d   n o rm a l  c las se s.  Th e   c las sifica ti o n   a c c u ra c y   o f  th e   h y b ri d   fra m e wo rk   wa s  9 2 . 3 8 % ,   with   b e tt e r   p re c isio n ,   se n sit iv it y ,   sp e c ifi c it y ,   F 1 - sc o re ,   a n d   re c e iv e r   o p e ra ti n g   c h a ra c teristic - a re a   u n d e r  t h e   c u r v e   (ROC - AU C)  th a n   t h e   b a se li n e s.  A  d u a l - m o d e   e x p lain a b le   a rti ficia l  i n telli g e n c e   (XA I)  fra m e wo rk   i n teg ra ti n g   g ra d ien t - we ig h ted   c las s  a c ti v a ti o n   m a p p i n g   ( G ra d - CAM )  a n d   S h a p ley   a d d it i v e   e x p lan a ti o n   (S HA P )  w a s  imp lem e n ted   to   e n a b le  sp a ti a l  les io n   lo c a li z a ti o n   a n d   fe a tu re   a tt rib u ti o n   fo r   c li n ica l  tran sp a re n c y .   G ra d - CAM   wa s  a b le  to   lo c a li z e   th e   les i o n s  su c c e ss fu ll y ,   a n d   S HA P   re v e a led   th e   i n f lu e n c e   o f   e n tro p y - b a se d   tex tu re   fe a tu re s  a n d   se m a n ti c   e m b e d d i n g s  o n   th e   p r e d ictio n s.   Ov e ra ll ,   th e   fra m e wo rk   d e v e lo p s  a d v a n c e d   XA I  sy ste m s  fo r   c h e st  CT   a n a ly sis.   K ey w o r d s :   C h est co m p u ted   to m o g r ap h y   E x p lain ab le  ar tific ial  in tellig en ce   E x tr em e  g r a d ien t b o o s tin g   Featu r e - lev el  f u s io n   Gr ad ien t - weig h ted   class   ac tiv atio n   m ap p i n g   R ad io m ics   Sh ap ley   ad d itiv e  e x p lan atio n s   T h is i s  a n   o p e n   a c c e ss   a rticle   u n d e r th e   CC B Y - SA   li c e n se .     C o r r e s p o nd ing   A uth o r :   Gar im a  J ain   Dep ar tm en t o f   C o m p u tin g   an d   I n f o r m atics,  Sch o o l o f   E n g in ee r in g   an d   Scien ce s   Sir  Pad am p at  Sin g h an ia  Un i v er s ity   B h atew ar ,   Ud aip u r   -   3 1 3 6 0 1 ,   I n d ia   E m ail:  g ar im a. p h d 2 0 2 3 @ s p s u . ac . in       1.   I NT RO D UCT I O N   L u n g   ca n ce r   is   s till   o n e  o f   th e  m ain   ca u s es  o f   ca n ce r - r elate d   d ea th s   ar o u n d   th e  g l o b e ,   an d   its   p u b lic  h ea lth   im p ac t  r em ain s   s ig n if ican t,  d esp ite  ad v an ce m en ts   m ad e  in   m ed ical  im ag i n g   an d   tr ea tm en t     m eth o d s   [ 1 ] ,   [ 2 ] .   Acc u r ate  an d   ea r ly   d etec tio n   o f   lu n g   n o d u les  f r o m   co m p u ted   to m o g r a p h y   ( CT )   im ag es   is   cr itical  f o r   p r o g n o s is ,   tim ely   in ter v en tio n ,   m itig atin g   d is ea s e  p r o g r ess io n ,   an d   p e r s o n alizin g   tr ea tm en t;   h o wev er ,   d u e  to   o v er lap p in g   v is u al  ch ar ac ter is tics ,   s u b tle  d if f er en ce s   in   tex tu r e ,   an d   t im e  f r o m   th e  f ir s t  d iag n o s is ,   it  ca n   b e  d if f icu lt f o r   clin ician s   to   ac c u r ately   d is tin g u is h   b etwe en   ce r tain   ty p es o f   lu n g   tu m o r s   s u ch   as  ad en o ca r cin o m as,  s q u am o u s   ce ll  ca r cin o m as,  an d   lar g e  ce ll  ca r cin o m as  [ 3 ] .   W ith   th e  g r o win g   u s e  o f   ar tific ial  in tellig en ce   ( AI ) - b a s ed   co m p u ter - ass is ted   d iag n o s is   ( C AD)   s y s tem s   in   clin i ca l  p r ac tice,   r ec en t   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J Ar tif   I n tell     I SS N:   2252 - 8 9 3 8       Qu a n tita tive  ch est co mp u ted   to mo g r a p h y - b a s ed   h yb r id   d ee p   lea r n in g   fo r   ch r o n ic  l u n g   …  ( Ga r ima   Ja in )   4569   s tu d ies  h av e  s h o w n   th at   C AD  s y s tem s   m ay   b e   ef f ec ti v e  to o ls   t o   ass is t  r ad io lo g is t s   in   th e   au to m ated   class if icatio n   o f   lu n g   d is ea s e  b y   way   o f   AI .   Sev er al  d ee p   lear n in g - b ased   m eth o d s ,   in clu d in g   co n v o lu tio n al   n eu r al  n etwo r k s   ( C NNs),   h av e  b ee n   u s ed   s u cc ess f u lly   f o r   th e   ex tr ac tio n   o f   h ier ar c h ical  s p atial  r ep r esen tatio n s   f r o m   C T   im ag es  [ 4 ] ,   [ 5 ] .   Va r io u s   C NN  ar ch itectu r es  i.e . ,   r esid u al  n etwo r k   ( R esNet ) ,  d en s ely   co n n ec te d   co n v o l u tio n al  n etwo r k   ( De n s eNe t ) ,  ef f icien t  n etwo r k   ( E f f ici en tNet ) ,   an d   m o b ile  n etwo r k   ( Mo b ileNet ) ,   h a v e  ac ce ler ated   th e   lear n in g   o f   a u to m ated   f e atu r es  in   th e  a n aly s is   o f   th o r ac ic  im a g es  [ 6 ] – [ 8 ] .   Mo r e  r ec e n t  in ter est   h as  also   b ee n   g en er ated   with   r esp ec t  to   tr an s f o r m er - b ased   v is io n   m o d els  i.e . ,   v is io n   tr a n s f o r m er s   ( ViT )   an d   Swin   tr an s f o r m er s   as  th ese  m o d els  af f o r d   th e   ca p ab ilit y   o f   lear n in g   lo n g - r an g e   co n tex t u a l  d ep en d e n cies  an d   g lo b ally   m o d elin g   im a g es  [ 9 ] ,   [ 1 0 ] .   E v e n   t h o u g h   th ese  a r ch itectu r es  h a v e  d eliv er ed   p r o m is in g   r esu lts   in   ter m s   o f   t h eir   class if icatio n   a cc u r ac ies,  th er e   r em ain s   a n   a b u n d a n ce   o f   c u r r en t   s y s tem s   th at  co n tin u e  to   b e   co m p u tatio n ally   d em an d in g ,   a r e  n o t  clin ically   in ter p r eta b le ,   an d   ar e  d ep e n d en t  o n   lar g e  n u m b er s   o f   tr ain i n g   d ata  [ 1 1 ] .   At  th e  s am e  tim e,   r a d io m ics - b ased   m eth o d s   h av e  a ls o   s tar ted   to   b ec o m e  r ec o g n iz ed   as a n   im p o r tan t   an d   co m p lem e n tar y   way   o f   r e p r esen tin g   q u a n titativ e  d ata  with in   th e  co n tex t  o f   m e d ical  im ag in g .   R ad io m ics  p r o v id es  m eth o d s   o f   e x tr ac ti n g   h a n d - c r af ted   d escr ip to r s   f r o m   C T   s ca n s   th at   d escr ib e  p r o p er ties ,   s u c h   as   tex tu r e  h eter o g en eity ,   in ten s i ty   d is tr ib u tio n s ,   s h ap es,  a n d   s tr u ctu r al  s h ap es  o f   tis s u es.  T h ese  q u an titativ e  b io m ar k e r s   ar e  o f ten   u s ed   to   d ef in e  lay er s   o f   tis s u e  th at  h av e  clin ical  r elev an ce   b u t  c an n o t  b e  s ee n   wh en   d ev elo p in g   d o m ain - s p ec if ic  o r   d ee p   laten t  r e p r esen tatio n s .   I n   ad d itio n   to   th e  lim itatio n s   o f   c o n v e n tio n a l   r ad io m ics p ip elin es,  in d ep en d en t  d ee p   lear n in g   m o d els ten d   to   ac t a s   “ b lack   b o x es ”   lim itin g   clin ician s '  ab ilit y   to   in ter p r et  th e m   an d   th eir   tr u s t in   th e  o u t p u t a cc u r a cy .   Nu m er o u s   s tu d ies  th at   h av e   i n teg r ated   d ee p   lear n in g   with   r ad io m ics  to   ass ess   p u lm o n ar y   d is ea s e  h av e  u s ed   v ar io u s   tech n iq u es  to   p r o v id e  in s ig h ts   in to   p u l m o n ar y   d is ea s es;  h o wev er ,   th er e  ar e  s till   s o m e   cr itical  lim itatio n s   in   th ese  attem p ts .   An   o v er wh elm i n g   n u m b er   o f   ex is tin g   f r am ewo r k s   in cu r   h ig h   co m p u tatio n al   co s ts   ass o ciate d   with   th ei r   m u lti - s tag e  ar ch itectu r es,  f ea tu r e   o p tim izatio n   p r o ce d u r es ,   an d   tr an s f o r m er - b ased   a r ch itectu r e s   th at  m ay   n o t  m a k e  th e m   p r a ctica l  f o r   r o u tin e  clin ical   u s e  [ 1 2 ] – [ 1 4 ] .   Ma n y   o f   th e  ex is tin g   s tu d ies  o n   co m p u ter - b ased   an al y s is   h av e  f o cu s ed   p r im ar ily   o n   b i n ar y   c lass if icatio n   task s .     T h er e  is   also   lim ited   r esear ch   av ailab le  th at  an aly ze s   th e  cli n ical  asp ec ts   o f   m u lti - class   d i s ea s e  d if f er en tiatio n   with   r esp ec t  to   f alse  n eg ativ e  an aly s is ,   ea r ly - s tag e   lesi o n   s en s itiv ity ,   co m p u tatio n al  f ea s ib ilit y ,     ex p lain ab ilit y   v alid atio n ,   an d   d em o g r a p h ic   r o b u s tn ess   as  well  as  h o w  t h ey   ca n   b e  d ep lo y e d   with in   a  p r ac tical  r ad io lo g y   s ettin g .   T o   ad d r ess   th ese  lim itatio n s ,   t h is   s tu d y   p r esen ts   a  h y b r id   d e ep   lear n in g   f r am ewo r k   in   a  q u an titativ e   asp ec t  f o r   m u ltip le  class if icatio n   an d   d etec tin g   c h r o n ic  lu n g   d is ea s e  th r o u g h   c h est  C T   u tili zin g   b o th   d ee p   s p atial  em b ed d in g   an d   r ad io m ics  tex tu r e  d escr ip to r s   with   th e  u s e  o f   h an d c r af ted   s tatis tical  p r o p er ties .   T o   d ev elo p   th is   p r o p o s ed   ap p r o ac h ,   a  R esNet5 0   p r e - tr ain ed   b ac k b o n e  ar c h itectu r e  will  b e  u s ed   to   ex tr ac t    h ig h - d im e n s io n al   s p atial  r ep r esen tatio n s   f r o m   ch est  C T   im ag es.  Par allel  to   f ea tu r e  e x tr a ctio n   p er f o r m ed   b y   th e  R esNet5 0   n etwo r k ,   th e  cl ass if icatio n   will  em p lo y   a  s ec o n d   b r an ch   o f   r ad i o m ics  wh er eb y   th e  co m p u ted   tis s u e  h eter o g en eity   will  b e   d escr ib ed   u s in g   g r ay - lev el   co - o cc u r r en ce   m atr ix   ( GL C M)   s tatis tics   an d     en tr o p y - b ased   an aly s es.  T h ese  m u tu ally   co m p lem e n tar y   f e atu r e  r ep r esen tatio n s   will  th en   b e  f u s ed   to g eth e r   o n   a   f ea tu r e   lev el  b ef o r e   b ein g   class if ied   u s in g   an   o p t im ized   ex tr em e   g r a d ien t  b o o s tin g   ( XGBo o s t )     en s em b le  class if ier .   T h e  p r o p o s ed   m eth o d o l o g y   is   d is tin ct  f r o m   th at  o f   m an y   t r a d itio n al  d ee p   lear n in g   a p p r o ac h es  in   th at  it  f ea tu r es  n o t  o n ly   n o n - d e ter m in is tic  laten t  em b ed d in g s   as  in p u t  to   th e  class if ier   b u t  will  in clu d e   d eter m in is tic  r ad io m ic   f ea tu r e s   d ir ec tly   v ia  th eir   in clu s io n   i n   th e   o v e r all  f ea t u r e  s et ,   th er e b y   e n h an cin g   b o th   d is cr im in atio n   ca p ab ilit y   a n d   in ter p r etab ilit y .   T h e  g o al  o f   h y p er p ar am eter   o p tim izatio n   th r o u g h   s y s tem atic  g r id   s ea r ch   a n aly s is   was  ac h iev ed   b y   b ein g   ab le  to   o b tai n   m o d el  s tab ilit y   an d   r o b u s tn ess   ac r o s s   v ar io u s   ex p er im en tal  co n f ig u r atio n s .   I n   ad d itio n   to   cr ea tin g   b aseli n es  with   o n ly   C NN s ,   we  b e n ch m ar k e d   ag ain s t  tr an s f o r m er - lik e  ar ch itectu r es  s u ch   as  th e  ViT   an d   Swin   tr an s f o r m er   to   m ea s u r e   h o w   well  th ey   class if y   im ag es a n d   g e n er alize   b ey o n d   th eir   tr ain in g   s ets.   T h is   wo r k ' s   ad d itio n al  co n tr ib u tio n   is   th e  u s e  o f   a  d u al - m o d e  ex p lain ab le  ar tific ial  in tellig en ce   ( XAI )   f r am ewo r k   th at  en h an ce s   clin ical  tr an s p ar en c y   an d   p h y s ician   tr u s t.  T h is   wo r k   em p lo y     g r ad ien t - weig h ted   class   ac tiv atio n   m ap p in g   ( Gr ad - C AM ) - b ased   v is u aliza tio n   to   l o ca te   th e  d iag n o s tically   im p o r tan t  p u lm o n a r y   r eg i o n s   an d   u tili ze   Sh ap ley   a d d itiv e  ex p lan atio n s   ( SHAP)  to   q u an tify   b o th   d ee p   em b ed d in g s   an d   h an d - cr af te d   r ad io m ic  d escr ip to r s '   co n tr ib u tio n s   at  th e  f ea tu r e  lev el  [ 1 5 ] .   T h e  jo in t   ex p lain ab ilit y   m ec h a n is m   allo ws  f o r   s p atial  an d   q u an titativ e  in ter p r etatio n s   o f   th e  d iag n o s t ic  p r o ce s s ,   th er eb y   p r o m o tin g   tr an s p ar e n cy   in   th e  AI - ass is ted   clin ical   d ec is io n - m ak in g   p r o ce s s   [ 1 6 ] .   A  m u lti - class   ch est  C T   d ataset  co n s is tin g   o f   n o r m al,   ad en o ca r cin o m a,   s q u am o u s   ce ll  ca r cin o m a,   a n d   lar g e   ce ll  ca r cin o m a  ca teg o r ies  is   ass e s s ed   u s in g   s tr atif ied   tr ain in g - v alid atio n - test in g   s p lits ,   th en   ev alu ated   u s in g   class if icatio n   ac cu r ac y ,   p r ec is io n ,   r ec all,   F1 - s co r e ,   s en s itiv ity ,   ar ea   u n d e r   t h e  c u r v e   ( AUC )   b y   r ec eiv er   o p er atin g   ch a r ac ter is tic   ( R OC )   cu r v es,  an d   co n f u s io n   m atr ix   an aly s es.  Ad d itio n ally ,   to   ev alu ate  th e  p r ac ticality   o f   im p lem en tin g   th is   p r o p o s ed   m o d el  in   f u tu r e  r a d io lo g ical  s cr ee n i n g   s y s tem s ,   telem ed icin e  s y s tem s ,   an d   in tellig en t  clin ical  d ec is io n   s u p p o r t sy s tem s ,   b o th   co m p u tatio n al  ef f icien cy   an d   ex p lain ab ilit y   an aly s es we r e  p er f o r m e d .   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8 9 3 8   I n t J Ar tif   I n tell ,  Vo l.  1 5 ,   No .   5 ,   Octo b er   2 0 2 6 :   4 5 6 8 - 4 5 9 1   4570   T h is   s tu d y   estab lis h es  th e  f o llo win g   k ey   co n t r ib u tio n s :  i)   a  h y b r id   f ea tu r e - lev el  f u s io n   f r am ewo r k   th at  in co r p o r ates  d ee p   C NN   s p atial  em b ed d in g s   with   tr ad itio n al  h an d cr a f ted   r ad i o m ic  tex tu r e  f ea tu r es  to   f ac ilit ate  th e  class if icat io n   o f   C T   im ag es  o f   th e  ch es t  in to   m u ltip le  ca teg o r ies ;  ii)  a   co m p ar ativ e   b en ch m ar k in g   with   o th er   d e ep   lear n in g   m o d els,  s u ch   as   th e  ViT ,  Swin   tr an s f o r m er ,   an d   C NN  s u ch   as   R esNet,   o n ly   o n   m u ltiv ar iat e  p er f o r m a n ce   m et r ics ;  iii)  h y p er p ar am eter   o p tim izatio n   an d   co m p u tatio n al  ef f icien cy   a n aly s is   f o r   im p r o v ed   r ep r o d u cib ilit y ,   r o b u s tn ess ,   an d   ea s e  o f   d ep l o y m en t ;  i v )   t h e  in teg r atio n   o f   a n   XAI   f r am ewo r k   th r o u g h   b o t h   Gr ad - C AM   an d   SHAP  f o r   s p atial - lev el  an d   f ea tu r e - lev el  in ter p r etatio n   o f   r esu lts ;  an d   v )   a   th o r o u g h   e v alu atio n   o f   th e  p r o p o s ed   f r am ewo r k   with   r esp ec t   to   m u ltip le  class if icatio n   m etr ics,  ab latio n   an aly s is ,   R OC - AUC an aly s i s ,   an d   clin ically   in ter p r eta b le  ex p lan atio n s   o f   r esu lts .       2.   L I T E R AT U RE   R E VI E W   I n   t h is   w o r k   by   T h an o o n   et  a l.   [ 1 7 ]   d ee p   lea r n i n g – b as e d   m eth o d s   f o r   C T   im a g i n g   o f   t h e   ch est  f o r   lu n g   ca n c e r   s c r ee n i n g   a n d   d ia g n o s is   ar e   p r ese n te d .   T h e   a u t h o r s   o r g an iz e  a n d   co m p a r e   v a r i o u s   d e e p   le ar n i n g   tec h n i q u es  i n c lu d i n g   ( b u t n o t l im it e d   t o )   C NN,   r ec u r r e n t   n e u r al  n etw o r k s   ( R NNs )   as  we ll  a s   n e w  h y b r i d - b as e d   ar ch ite ct u r es  t h a t  h a v e  b ee n   p r o p o s ed   d u r i n g   t h e  last   h al f - d e ca d e  ( 2 0 1 8 – 2 0 2 2 )   b y   g r o u p i n g   d i f f er e n t  m et h o d s   o n   cl ass i f ic ati o n /s e g m e n t ati o n .   T h is   r e v i ew  h i g h li g h ts   t h e   p o te n ti al  o f   d ee p   l ea r n i n g   f o r   ad d r ess i n g   d i v e r s e  ty p es  o f   i n p u ts   ( 2 D,   3 D ,   a n d   l o w - d o s e  C T )   b u t  als o   c r it ic all y   e v al u at es  p r o b l em s   f r o m   d a ta  d i v e r s it y ,   i m a g e   ar t if ac ts   t o   la c k   o f   l a b el e d   d atas ets.   M o r e o v e r ,   t h e   p a p e r   als o   i d e n ti f i es  p o t en tia l  r es e ar ch   a r e as  s u ch   as   s tan d ar d i ze d   p r e - p r o ce s s i n g   an d   in te g r ati o n   o f   cli n i ca l  d a ta   t o   e n h a n c e  au to m a te d   tu m o r   s e g m e n ta ti o n .   Ozd em ir   et  a l.   [ 1 8 ]   p r o p o s ed   a  h y b r id   d ee p   lear n in g   m o d el   f o r   lu n g   ca n ce r   d etec tio n   u s in g   C NNs,   b ased   o n   I n ce p tio n NeX t  b lo c k s   an d   ViT ,   u s in g   g r i d   an d   b l o ck   atten tio n   m eth o d s .   T h is   m o d el  is   d esig n ed   to   ca p tu r e  lo ca l  d etailed   in f o r m a tio n   an d   o v er all  c o n tex tu al   d at a  f r o m   C T   s ca n s   o f   th e   lu n g s   s o   it  ca n   b e  u s ed   in   a  clin ical  s ettin g .   T h e   m o d el   was  tr ain ed   u s in g   two   d if f er en t  p u b lic  d atasets   th e  I r a q - On co lo g y   T ea ch in g   Ho s p ital/Natio n al  C en ter   f o r   C an ce r   Dis ea s es  ( I Q - OT H/NC C D)   d ataset  an d   th e   c h est  C T   d ataset.   T h e  m o d el  was  test ed   ag ain s t  b o th   d atasets   an d   ac h iev ed   an   ac c u r ac y   o f   9 9 . 5 4 %  ac cu r ately   an d   9 8 . 4 1 %  ac cu r ately ,   r esp ec tiv ely .   I t  is   im p o r tan t  to   n o te  th at  th e  au th o r s   wer e  ab le  to   ac h iev e  th is   s tate - of - th e - ar t  r esu lt  with   an   ef f icien t  an d   lig h tweig h t   m o d el  d esig n   o f   o n ly   1 8 . 1   m illi o n   p ar am eter s .   I n   ad d itio n   to   cr ea tin g   an   ef f ec tiv e   class if ier ,   th e  au th o r s   u s ed   G r ad - C AM   to   cr ea te  h ea tm ap s   o f   d if f e r en t  ar ea s   o f   th e  lu n g s   th at  wer e  b ein g   em p h asized   o r   d e - em p h asized   wh en   th e  m o d el  was m ak in g   i ts   p r ed ictio n .   Ku m ar i  an d   Go el  [ 1 6 ] ,   g iv e   an   ex ten s iv e  r ev iew  o f   co m p u tatio n al  in tellig en ce   tech n iq u es  f o r   d iag n o s in g   as  well   as  class if y in g   lu n g   ca n ce r   with in   ch est  C T   im ag es.  T h is   s tu d y   c ateg o r izes   an d   co m p a r e  d if f er en t m eth o d s   s u ch   as c las s ical  m ac h in e  lear n in g   tech n iq u es ( e. g .   s u p p o r t v ec t o r   m ac h i n e  ( SVM ) ,  r an d o m   f o r ests   ( R F) ) ,   d ee p   lear n in g   f am ilies   lik e  C NN s ,   R N Ns ,   o r   v ar iatio n al  a u to en co d er s   ( VAE s )   g en er ativ e   ad v er s ar ial  n etwo r k s   ( GANs )   as  well   as  h y b r id   alg o r ith m s   th at  co m b in e  n atu r e  in s p ir e d   o p tim izatio n .   T h e  p ap er   d o es  well  to   f o cu s   o n   g r o win g   tr en d s   lik e  tr an s f er   lear n in g ,   f e d er ated   lear n in g   f o r   p r iv ac y ,   an d   XAI   to   ad d r ess   th e  “b lack - b o x ”  lim it atio n s   o f   m o d els.  I t  also   s y s te m atica lly   s tu d ies  th e  p er f o r m an ce   b ased   o n   lar g e  p u b lic  d atab ases   o f   th e  l u n g   i m ag e  d atab ase  co n s o r tiu m   im ag e  d atab ase  r eso u r ce   i n itiativ e  ( L I DC - I DR I )   an d   th e  lu n g   n o d u le   an aly s is   2 0 1 6   ( L UNA1 6 ) ,   a n d   d em o n s tr ates  th e  u r g en t   ch allen g es  i n   g r o u p   b ias  an d   class   im b alan ce   th at  h in d er   g en er ali zin g   AI   s o lu tio n s   to   b r o a d   clin ical  co n tex ts .   T h is   s tu d y   b y   Su n   et  a l.   [ 1 9 ]   in tr o d u ce s   a  wea k ly   s u p e r v is ed   d ee p   lear n i n g   alg o r ith m   f o r   th e  au to m ated   d etec tio n   a n d   s tag in g   p r o g r ess io n   o f   c h r o n ic   o b s tr u ctiv e  p u lm o n ar y   d is ea s e   ( C OPD)   f r o m   v o lu m etr ic  C T   s ca n s .   T o   ad d r ess   lim ita tio n s   in   tr ad itio n al  d en s ito m etr ic  an aly s is ,   wh er e  n o is e - s en s itiv e  p ix el   th r esh o ld s   an d   tim e - co n s u m i n g   m a n u al  s eg m e n tatio n s   ar e   u s ed ,   th e y   p r esen t  a  m u ltip l e  in s tan ce   lear n in g   ( MI L )   a p p r o ac h .   T h is   ar ch it ec tu r e  u s es  a  3 D   R esNet   m o d el  f o r   C T   s lice  en co d in g   an d   an   atten tio n   m ec h an is m   f o r   p o o lin g ,   b ei n g   tr ain ed   at  p atien t - lev el  ( G OL D  s tag e  f r o m   s p ir o m etr y )   in s tead   o f   d e n s e    p ix el - lev el  an n o tatio n s .   T h e  m o d el  d em o n s tr ates  ex ce llen t   d is cr im in atio n   f o r   C OPD  s tag es  ( GOL D  1 , 2 , 3 ,     an d   4 )   an d   p r o v id es  clin ical  in ter p r etab ilit y   th r o u g h   th e  g en er atio n   o f   atten tio n   h ea tm a p s   wh ich   h ig h lig h t  d is ea s e - r elate d   p ath o lo g ies  s u ch   as  em p h y s em a  an d   b r o n ch i ec tasi s .   Seg m en tatio n ,   co m p u t er - aid ed   d etec tio n ,   an d   co m p u ter - aid ed   d iag n o s i s   ( Seg - C ADe - C ADx )   was  d ev elo p ed   b y   Su b r am a n y am   et   a l.   [ 2 0 ]   as  a   d u al - s tag e  d ee p   lear n in g   s y s tem   th at  ca n   d etec t  p u lm o n ar y   n o d u le  m alig n an cy   r is k   as  an   in teg r ated   p r o ce s s   f r o m   lo w - d o s e  C T   s ca n s .   T h e  f ir s t   s tag e  u s es   a  3 D  U - Net   to   a s s is t  with   s eg m en tatio n - b ased   n o d u le  d etec tio n ,   wh ich   is   f o llo we d   b y   a   m u lt i - s tr ea m   h y b r id   class if ier   c o n s is tin g   o f   lo ca l   v o lu m etr ic  f e atu r es  f r o m   a   3 D   Den s eNe t,  g lo b al   co n tex t  f r o m   an   Swin   tr an s f o r m er ,   an d   late - s tag e  co n ca ten atio n   o f   h an d cr af ted   r a d io m ic  f ea tu r es  f r o m   th e  v o lu m et r ic  i m ag es.  R esu lts   f r o m   b o t h   th e   L UNA1 6   d atab ase   an d   th e   L I DC - I DR I   d atab ase  p r o v id e d   a  co m p etitio n   p er f o r m an ce   m etr ic  ( C PM )   f o r   n o d u le  d etec tio n   o f   0 . 9 4 4   with   an   ex ce llen t     R OC - AU C   o f   0 . 9 8 8   f o r   b in ar y   class if icatio n   o f   m alig n an cy .   Ad d itio n ally ,   th e  p a p er   d is cu s s es  im p r o v in g   t h e   clin ical  ac cu r ac y   o f   th e  m o d el  b y   in tr o d u cin g   tem p er at u r e  s ca lin g   f o r   th e  ca lib r ati o n   o f   m alig n a n cy   p r o b a b ilit y   o u tp u ts ,   th er eb y   p r o v id in g   m o r e  cl o s ely   r elate d   e m p ir ical  r is k   esti m ates th an   p r ev io u s ly   av ailab le.   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J Ar tif   I n tell     I SS N:   2252 - 8 9 3 8       Qu a n tita tive  ch est co mp u ted   to mo g r a p h y - b a s ed   h yb r id   d ee p   lea r n in g   fo r   ch r o n ic  l u n g   …  ( Ga r ima   Ja in )   4571   Su i  et  a l.   [ 2 1 ]   p r o p o s ed   a  m ac h in e  lear n in g   m eth o d   to   d iag n o s e  an d   g r ad e  th e   s ev er ity   o f   C OP D  in   p atien ts   f r o m   C T   s ca n s .   Un li k e  a  lar g e  p r o p o r tio n   o f   p r ev io u s   wo r k s   1 – 2 2   th at  s im p ly   f o cu s   o n   is o lated   f ea tu r es,  it  co n s id er s   m u ltid im en s io n al  ch ar ac ter is tics   in clu d in g   th e  lu n g   p ar e n ch y m a,   wh o le  air way   tr ee ,   an d   p u lm o n a r y   v ascu latu r e - r elate d   o n es.  T h e  p a p er   u tili ze d   th e  SVM  class if ier   f o r   3 4 9   s u b jects  an d   ac h iev e d   b etter   d iag n o s tic  p er f o r m an ce   ( AUC  =  0 . 9 6 5   o n   ex ter n al  t esti n g )   an d   g r ad in g ,   s u cc ess f u lly   d is tin g u is h in g   C VD  f r o m   HC   ( AUC  =  0 . 8 1 3 ) .   T h e  n o v el  an d   in ter esti n g   f in d in g   in   th e  s tu d y   was  th e  im p o r tan ce   o f   v ascu lar   d er iv ativ es  o n   C OPD   +  as  o p p o s ed   to   th e  cu r r en tly   h ig h lig h ted   co n tr ib u tio n   o f   r em o d elin g   in   th e  tr u n k   o f   ar ter ies  an d   b r o n c h u s .   Ho wev er ,   o u r   s tu d y   is   lim ited   b y   th e  s m all  s am p le  s ize  an d   an   o v er ly   s im p lifie d   d ich o to m izatio n   ( m ild   v er s u s   s ev er e)   th at  m ay   n o t f u lly   ac c o u n t f o r   th e  clin ical  h eter o g e n eity   o f   th e  d is ea s e.   Als u r ay h i  [ 2 2 ]   h as  p r o p o s ed   an d   v alid ate d   m o d els  b ased   o n   d ee p   lear n i n g   f o r   au to m atic   s tag in g   o f   C OPD  with   ch est  C T .   T h e  s tu d y   o v er co m es  t h e  d r aw b ac k s   o f   co n v en tio n al  p u lm o n ar y   f u n ctio n   test s   ( PF T s )   b y   in tr o d u cin g   im ag e - b ased   class if icatio n   s y s tem s   th at   ar e  co n s is ten t  with   n o t  o n ly   t h e  h ig h - r eso lu tio n     eig h t - s tag e  s y s tem   b u t  also   th e  n ew  GOL D  2 0 2 3   cr iter ia.   T h e  m eth o d   in co r p o r ates  n eu r a l  n etwo r k s   an d   3 D   C NNs  with   p r e - d ef in e d   f ea t u r es  ex tr ac ted   f r o m   p air ed   in s p ir atio n /ex p ir atio n   C T   s c an s   ( e. g . ,   o n e - s h o t   tr an s f er - b ased   f ea tu r es   an d   GL C M - b ased   tex tu r e  p atter n s )   as  well  a s   en d - to - en d   d ee p   C NN  lear n in g .   A  f u r th er   k e y   d ev el o p m en t  is   in   th e  g en er atio n   o f   ' h y b r id '   m o d els  wh ich   co m b in e  im ag in g   f e atu r es  with   clin ical  in f o r m atio n ,   s u ch   as  s y m p to m   s ev er ity   an d   ex ac er b ati o n   r is k ,   r esu ltin g   in   a  s ig n if ican t  g ain   in   class if icatio n   p er f o r m an ce .   Her e ,   th is   s tu d y   s h o w  th at  th ese  d ee p   lea r n in g   m o d els  ca n   ac cu r ately   p r ed ict  C OPD  s ev er ity   f ac to r s   d ir ec tly   f r o m   C T   im ag es,  wh ich   co u ld   h elp   d im in is h   th e  r eq u ir em e n t  o f   p atien t - d e p en d en t  s p ir o m etr y   m ea s u r em en ts   [ 2 3 ] ,   [ 2 4 ] .   T ab le  1   s u m m ar izes  th e  m aj o r   s tu d ies  ap p ly in g   a d v an ce d   d ee p   lear n in g   an d   h y b r id   AI   m o d els  f o r   d etec tio n ,   class if icatio n ,   an d   s ev er ity   ass ess m en t  o f   lu n g   d is ea s es  f r o m   ch est  C T   im ag e s .   T ab le  1   p r o v id es  au th o r s ,   m ai n   m eth o d o l o g ica l  ap p r o ac h ,   d ataset  n am es,  s am p le  s izes,  co r e  co n tr ib u t io n s ,   p er f o r m a n ce   h ig h lig h ts ,   an d   r esear ch   g ap s   f o r   ea ch   r ef e r en ce .   T h is   co m p ar ativ e  s u m m ar y   h ig h lig h ts   th e  cu r r en t  s tatu s   an d   r em ain in g   c h allen g es  in   m e d ical  im ag in g   AI ,   in clu d in g   in ter p r etab ilit y ,   m u lti - class   d if f er en tiatio n ,   an d     cr o s s - d ataset  v alid atio n .       T ab le  1 .   L iter atu r e  r ev iew   A u t h o r ( s)   A r c h i t e c t u r e   D a t a s e t   n a m e   S a mp l e   si z e   M a i n   c o n t r i b u t i o n   O u t c o m e   R e se a r c h   g a p s   O z d e m i r   e t   a l .   [ 1 8 ]   A t t e n t i o n - e n h a n c e d   I n c e p t i o n N e X t - b a s e d   h y b r i d   d e e p   l e a r n i n g   P r i v a t e   l u n g   C T  d a t a se t   2 , 5 0 0   i ma g e s   H y b r i d   mo d e l   u si n g   a t t e n t i o n   a n d   I n c e p t i o n N e X t   f o r   l u n g   c a n c e r   d e t e c t i o n .   H i g h   a c c u r a c y   a n d   r o b u st n e ss  i n   d e t e c t i o n   Li mi t e d   i n t e r p r e t a b i l i t y ;   n o t   e v a l u a t e d   o n   p u b l i c   o r   mu l t i - c l a ss   d a t a se t s   K a m a l a   a n d   M o h a n   [ 2 5 ]   H y b r i d   AI   f r a mew o r k   P u b l i c   a n d   p r i v a t e   C T  d a t a se t s   1 , 8 0 0   i ma g e s   Ef f i c i e n t   h y b r i d   A I   w i t h   d e e p   a n d   h a n d c r a f t e d   f e a t u r e s  f o r   l u n g   c a n c e r   c l a ss i f i c a t i o n   En h a n c e d   c l a ss i f i c a t i o n   a c c u r a c y   a n d   e f f i c i e n c y   Li mi t e d   e x p l a i n a b i l i t y ;   l a c k s  e x t e r n a l   v a l i d a t i o n   H o sn y   e t   a l .   [ 2 6 ]   M u l t i - mo d a l   a t t e n t i o n – b a se d   I n c e p t i o n - R e sN e t   LI D C - I D R I   1 , 0 0 0   c a ses   M u l t i - mo d a l   a t t e n t i o n - b a se d   f u si o n   f o r   l u n g   c a n c e r   d e t e c t i o n   O u t p e r f o r m e d   u n i m o d a l   mo d e l s   La c k s  i n t e r p r e t a b i l i t y   a n d   c o m p u t a t i o n a l   e f f i c i e n c y   a n a l y si s   P a r i d a   e t   a l .   [ 2 7 ]   3 D   F u s i o n N e t   S y n t h e t i c   C T  D a t a s e t   6 0 0   s c a n s   3 D   f u s i o n   mo d e l   f o r   l u n g   c a n c e r   seg m e n t a t i o n   H i g h   s e g m e n t a t i o n   p r e c i s i o n ,   b e t t e r   b o u n d a r i e s   N o t   v a l i d a t e d   o n   r e a l   C T   d a t a ;   l a c k s   c l i n i c a l   o u t c o m e   c o r r e l a t i o n   D u h a y y i m    et   a l .   [ 2 8 ]   I n t e r p r e t a b l e   h y b r i d   e n s e m b l e   w i t h   a t t e n t i o n   f u si o n   +   EA O O - g e n e t i c   a l g o r i t h m  ( GA )   o p t i m i z a t i o n   P r i v a t e   C T   d a t a se t   1 , 2 0 0   A t t e n t i o n - b a se d   f u si o n   a n d   g e n e t i c   o p t i m i z a t i o n   f o r   i n t e r p r e t a b i l i t y   a n d   a c c u r a c y   S t a t e - of - t h e - a r t   a c c u r a c y   a n d   i n t e r p r e t a b i l i t y   N o   m u l t i - c l a ss   o r   e x t e r n a l   d a t a se t   v a l i d a t i o n   F a i z i   e t   a l .   [ 2 9 ]   C N N - b a s e d   d e e p   l e a r n i n g   LU N A 1 6   8 8 8   C T  sca n s   D e e p   l e a r n i n g   f o r   CT - b a se d   l u n g   c a n c e r   R e l i a b l e   a n d   r o b u st   c l a ss i f i c a t i o n   B i n a r y   c l a ss i f i c a t i o n   o n l y ;   l a c k s   e x p l a i n a b i l i t y   a n d   c r o ss - d a t a se t   e v a l u a t i o n   A l mei d a   e t   a l .   [ 3 0 ]   A n o m a l y - b a se d   d e e p   l e a r n i n g   f o r   d i s e a se   se v e r i t y   C O P D G e n e ,   N LST   4 , 5 0 0   sca n s   D e e p   l e a r n i n g   f o r   q u a n t i t a t i v e   C O P D   sev e r i t y   p r e d i c t i o n   A c c u r a t e   d i s e a se   se v e r i t y   a ssessm e n t   N o t   m u l t i - d i sea s e   f o c u se d ;   l i mi t e d   i n t e r p r e t a b i l i t y   a ssessm e n t       Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8 9 3 8   I n t J Ar tif   I n tell ,  Vo l.  1 5 ,   No .   5 ,   Octo b er   2 0 2 6 :   4 5 6 8 - 4 5 9 1   4572   2 . 1 .     Resea rc h g a p su m m a ry   a nd   m o t iv a t io n   Desp ite  th e  m ajo r   ad v a n ce m e n ts   s ee n   in   r ec en t  y ea r s ,   in clu d in g   im p r o v em en ts   in   d ee p   le ar n in g   an d   tr an s f o r m er - b ased   ar ch itectu r es,  r ad io m ic  an aly s is   tech n iq u es,  an d   XAI   f o r   p u lm o n a r y   d i s ea s e  clas s if icatio n   f r o m   ch est  C T   s ca n s ,   th er e  ar e  s till   n u m er o u s   s ig n if ican t  d r awb ac k s   ac r o s s   m an y   ex is tin g   p u b licatio n s .   I n   g en er al,   m o s t  o f   t h e  liter atu r e   ten d s   to war d s   b in ar y   class if icatio n s   wh ile  n eg lectin g   f in e - g r ain ed   m u lti - class   s tag in g .   Ad d itio n ally ,   tr ad itio n al  C NNs  ty p ically   p r o v id e   l o w  lev els  o f   f ea t u r e - lev el  i n ter p r etab ilit y   wh ile   tr an s f o r m er - in s p ir ed   ar c h itectu r es o f ten   n ec ess itate  lar g e  am o u n ts   o f   d ata  to   ac h ie v e  s tab le  o p tim izatio n .   Fu r th er m o r e ,   s ev er al   r ad io m ics - b ased   ap p r o ac h es  g e n er a te  clin ically   in ter p r etab le  q u an titativ e   o u tp u ts ,   b u t  m o s t  d o   litt le  to   ca p tu r e  t h e  m u lti - lev el  s p atial   h ier ar c h ies  p r esen t   in   th o r ac ic  C T   im ag in g .   I n   ad d itio n ,   th e  m ajo r ity   o f   h y b r id   f r am ewo r k s   ar e  h ig h l y   r elian t  o n   co m p u tatio n ally   in ten s iv e  f u s io n   m eth o d s   o r   o f f er   o n ly   lim ited   lev els  o f   ex p lain ab ilit y ,   lim itin g   th eir   ap p licab ilit y   in   lar g e - s ca le,   r ea l - wo r ld   clin ical   wo r k f lo ws.  Fin ally ,   th er e  is   s till   lim i ted   ex ter n al  v alid ati o n ,   lo w  tr an s p ar e n cy   ac r o s s   all  p r ed ictio n s ,   an d   lim ited   co n s id er atio n   o f   clin ic al  d ep lo y m e n t,  wh ich   co n tin u e  to   in h ib it  th e  o v e r all  r eliab ilit y   an d   ad o p tio n   o f   cu r r en tly   a v ailab le  au to m ate d   s y s tem s   f o r   d iag n o s in g   lu n g   d i s ea s e.   T o   o v er c o m e  lim itatio n s   in   e x is tin g   wo r k s ,   p r esen t  a  h y b r id   d ee p   lear n in g   f r am ewo r k   b ased   o n   q u an titativ e  ch est  C T ,   w h ich   em p lo y s   a   p r e - tr ai n ed   R esNet5 0   b ac k b o n e  at   its   co r e  t o   p r o d u ce   d ee p   s p atial  em b ed d in g s ,   co m b in e d   with   tex tu r e  f ea tu r es  d er i v ed   f r o m   h an d cr a f ted   GL C M  tex tu r e  an aly s es  an d   en tr o p ic  m ea s u r es  th at  ch ar ac ter ize  h et er o g en eity .   A d d itio n ally   in clu d ed   in   th e  p r o p o s ed   f r am ewo r k   is   an   o p tim ized   en s em b le  class if ier   im p lem en ted   v ia  th e  XGBo o s t  alg o r ith m ,   as  well  as  two   f o r m s   o f   XAI   th r o u g h     Gr ad - C AM   an d   SHAP  to   p r o m o te  e n h an ce d   s p atial  a n d   f ea tu r e - lev el  ex p lain ab ili ty .   T h e  p r o p o s ed   m eth o d o l o g y   was  b en c h m ar k ed   ag ain s t  tr a n s f o r m e r - b ased   ar ch itectu r es.  ViT - B 1 6   an d   Swin   tr asn f o r m er   ar ch itectu r es  f o r   class if icatio n   p er f o r m an ce ,   co m p u tatio n al  ef f icien cy ,   an d   clin ical  in ter p r etab ilit y .   T h e   m o tiv atio n   o f   th is   r esear ch   is   th er ef o r e  to   d ev elo p   a   co m p u tatio n ally   ef f icien t  m u lti - class   ch est  C T   class if icatio n   f r am ewo r k   with   clin ical  in ter p r etab ilit y   an d   r esil ien cy   ap p licab le  f o r   f u tu r e   u s e  in   AI - ass is ted   r ad io lo g y   an d   in tellig en t lu n g   d is ea s e  s cr ee n in g   ap p licatio n s .       3.   P RO P O SE D  F RA M E WO R K   I n   th is   s tu d y ,   a  n ew  h y b r id   d ee p   lear n in g   m o d el  is   p r o p o s ed ,   wh ic h   in teg r ates  th e  ab s tr ac t  r ep r esen tatio n   a r ch itectu r e   o f   a  d ee p   C NN  an d   h an d cr a f ted   r ad io m ics  to   o v er c o m e  th e   li m itatio n s   o f   u tili zin g   o n ly   a b s tr ac t  s tr u ctu r e  f r o m   a  C NN  o r   h an d c r af ted   r ad i o m ics  f o r   ca teg o r izin g   c h est  C T .   T h e  p r im ar y   m eth o d o l o g ical  co n tr ib u tio n   i s   a  f ea tu r e   f u s io n   tech n iq u e   at  th e  lev el   o f   f ea tu r es   th at   c o m b in es  h i g h - lev el   s p atial  em b ed d in g s   f r o m   a   p r e - tr ain ed   co n v o l u tio n al  n etwo r k   an d   r ad io m ic  h an d - cr a f ted   q u an titativ e  tex tu r e   d escr ip to r s   th at  ar e  also   clin i ca lly   in ter p r etab le.   T h e  m o d e l  co m b in es  th ese  s ep ar ate  f ea tu r e  m o d alities   to   en h an ce   class if icatio n   p er f o r m an ce   ac r o s s   m u lti - class   s ta g es  o f   lu n g   d is ea s es,  as  well   as  o f f er in g   r o b u s t  m o d el  in ter p r etab ilit y   b y   m ea n s   o f   d u al  XAI   ap p r o ac h es.  Fi g u r e  1   p r esen ts   th e  p r o p o s ed   d u al - s tr ea m   s ch em e .   I n p u t  C T   d ata  is   co n co m itan tl y   an aly ze d   b y   d ee p   lear n in g   an d   r ad io m ic  p ip elin es.  Sev er al  o f   th ese  f ea tu r es  ar e  th en   co m b in ed   u s in g   a   f u s io n   s tr ateg y   b ef o r e   class if icatio n ,   s o   t h at  th e   clin ical  p r ed ictio n s   h av e   b o t h   s p atial  ( Gr ad - C AM )   an d   f ea tu r e - lev el  ( SHAP)  in ter p r etab ilit y .           Fig u r e  1 .   T h e  p r o p o s ed   h y b r id   q u an titativ e - s p atial  f r am ewo r k       3 . 1 .     Da t a s et   T h is   p u b licly   s h ar e d   d ataset  c o n tain s   ap p r o x im ately   o n e  t h o u s an d   C T   s ca n s ,   wh ich   will  b e  u s ed   to   class if y   p atien ts   wi th   lu n g   ca n ce r   in to   th eir   ca teg o r ies.  T h e  d ataset  co n s is t s   o f   1 , 0 0 0   c h est  C T   s ca n   im ag es   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J Ar tif   I n tell     I SS N:   2252 - 8 9 3 8       Qu a n tita tive  ch est co mp u ted   to mo g r a p h y - b a s ed   h yb r id   d ee p   lea r n in g   fo r   ch r o n ic  l u n g   …  ( Ga r ima   Ja in )   4573   with   a  to tal  f ile  s ize  o f   ap p r o x im ately   1 2 4   MB.  T h e  im ag es  ar e  p r o v id ed   in   h ig h - r eso l u tio n   . jp g   an d   . p n g   f o r m ats,  en s u r in g   v is u al  clar i ty   s u itab le  f o r   d etailed   an aly s is .   Al l  s ca n s   ar e  d er iv ed   f r o m   C T ,   m ak in g   th e  d ataset  well - s u ited   f o r   r esear c h   an d   d e v elo p m e n t  in   au to m a ted   lu n g   d is ea s e  d etec tio n   an d   class if icatio n .   T h e  d ataset  co n s is ts   o f   f o u r   p at h o l o g ical  class if icatio n s   o f   p atien ts   with   lu n g   ca n ce r ,   d escr ib ed   as f o llo ws:   ‒   No r m al:  it  is   lu n g   tis s u e  th at  d em o n s tr ates  a  h ea lth y   lu n g   with   n o   clea r   ev id en ce   o f   n o d u les  o r   o th er   lesi o n s   p r esen t  [ 3 1 ] .   ‒   Ad en o ca r cin o m a:  it  is   th e  m o s t  co m m o n   s u b ty p e  o f   n o n - s m all  ce ll  lu n g   ca n ce r   ( NSC L C )   an d   ar is es  f r o m   p er ip h e r al  g lan d u lar   ce ll s   [ 3 2 ] .   ‒   Sq u am o u s   ce ll  ca r cin o m a:   it  is   th e  s ec o n d   m o s t  c o m m o n   ty p e   o f   NSC L C   an d   o r ig i n ates  f r o m   th e   s q u am o u s   ce lls   lin in g   th e  m aj o r   air way s   [ 3 3 ] .   ‒   L ar g e  ce ll  ca r cin o m a:  a  ty p e  o f   NSC L C ,   ar e  th e  m o s t  co m m o n   g r o u p   o f   lu n g   ca n c er s ,   an d   L C C   ac co u n ts   f o r   a  s m aller   p er ce n tag e  o f   th ese  ca s es  [ 3 4 ] – [ 3 6 ] .   T h e  d ataset  is   s y s tem atica lly   p ar titi o n e d   in to   tr ain i n g ,   v a lid atio n ,   an d   test   s ets  to   ev alu ate  th e   m o d el' s   g en er aliza tio n   p er f o r m an ce .   T r ai n in g   s et:  a  to tal  o f   6 1 3   im ag es  d i v id ed   i n to   ad e n o ca r cin o m a  ( 1 9 5 ) ,   lar g e  ce ll  ca r cin o m a  ( 1 1 5 ) ,   s q u am o u s   ce ll  ca r cin o m a  ( 1 5 5 ) ,   an d   n o r m al  ( 1 4 8 ) .   Valid a tio n   s et:  a  to tal   o f     7 2   im ag es  ar e   g r o u p ed   as a d e n o ca r cin o m a  ( 2 3 ) ,   lar g e  ce ll c ar cin o m a  ( 2 1 ) ,   s q u am o u s   ce ll c ar cin o m a  ( 1 5 ) ,   an d   n o r m al  ( 1 3 ) .   T esti n g   s et:  a  to tal  o f   3 1 5   im ag es  ar e  g r o u p e d   as  ad en o ca r cin o m a   ( 1 2 0 ) ,   l ar g e  ce ll  ca r cin o m a   ( 5 1 ) ,   s q u am o u s   ce ll c ar cin o m a   ( 9 0 ) ,   an d   n o r m al  ( 5 4 ) .   T ab le  2   s u m m ar izes th e  m ain   f ea tu r e  ca teg o r ies,  n am es ,   an d   d escr ip tio n s   u s ed   in   th e  ch est C T   im ag e   class if icatio n   p ip elin e.   Key   f ea tu r es  ar e:  b asic  im ag e  m e tad ata,   p ix el - lev el  s tatis tics ,   tex tu r e  d escr ip to r s     ( e. g . ,   GL C M - b ased   m etr ics   an d   en tr o p y ) ,   s tr u ctu r al  an d   s h ap e  attr ib u tes,  h is to g r am   an d   f r eq u en c y   d o m ai n   in f o r m atio n ,   an d   d ee p   lear n i n g - b ased   em b e d d in g s .   Au g m en tatio n   attr ib u tes  an d   d ataset  s p lit  ass ig n m en ts   ar e  also   p r o v id e d   f o r   r e p r o d u cib ili ty   an d   m o d el  v alid atio n   p u r p o s es.  T h ese  f ea tu r es  to g eth er   e n ab le  a  h o lis tic  an d   m u lti - f ac eted   an aly s is   o f   c h est C T   im ag es f o r   r o b u s t c lass if icatio n   an d   i n ter p r etab ilit y .       T ab le  2 .   Ov e r v iew  o f   e x tr ac te d   f ea tu r e  ca te g o r ies   F e a t u r e   c a t e g o r y   F e a t u r e   n a me   D e scri p t i o n   Ty p e / u s e   B a si c   i ma g e   met a d a t a   I mag e   f i l e n a m e   F i l e   n a me   ( i d e n t i f i e r )   o f   t h e   C T  i ma g e   I d e n t i f i e r     F o l d e r / l a b e l   G r o u n d - t r u t h   c l a ss  l a b e l :   a d e n o c a r c i n o m a ,   l a r g e   c e l l   c a r c i n o ma ,   s q u a m o u s  c e l l   c a r c i n o ma ,   n o r m a l   Ta r g e t / l a b e l     R e s o l u t i o n   O r i g i n a l   i ma g e   w i d t h   ×   h e i g h t   ( p i x e l s )   N u meri c   ( i m a g e   p r o p e r t y )     F o r mat   F i l e   t y p e   ( e . g . ,   JP G ,   P N G )   C a t e g o r i c a l   P i x e l - l e v e l   f e a t u r e s   M e a n   p i x e l   i n t e n s i t y   A v e r a g e   g r a y   v a l u e   a c r o ss a l l   p i x e l s   N u meri c   ( i m a g e   s t a t i s t i c )     S t a n d a r d   d e v i a t i o n   P i x e l   i n t e n si t y   s p r e a d   N u meri c   ( i m a g e   s t a t i s t i c )     S k e w n e ss   a n d   k u r t o si s   D i st r i b u t i o n   s h a p e   o f   p i x e l   i n t e n s i t i e s   N u meri c   ( i m a g e   s t a t i s t i c )   Te x t u r e   f e a t u r e s   G LC M   c o n t r a s t   Lo c a l   c o n t r a s t   c o m p u t e d   f r o m  G L C M   Te x t u r e   d e s c r i p t o r     G LC M   e n e r g y   Te x t u r e   u n i f o r m i t y   f r o m G L C M   Te x t u r e   d e s c r i p t o r     G LC M   h o m o g e n e i t y   H o w   u n i f o r m  t h e   t e x t u r e   i s  a c r o ss a n   i mag e   Te x t u r e   d e s c r i p t o r     En t r o p y   I n f o r mat i o n   c o n t e n t / c o m p l e x i t y   i n   t h e   i ma g e   Te x t u r e   d e s c r i p t o r   S h a p e / st r u c t u r e   f e a t u r e s   Lu n g   a r e a   P r o p o r t i o n   o f   l u n g   r e g i o n   v s  b a c k g r o u n d   ( f r o m   seg m e n t a t i o n )   N u meri c     N o d u l e   c o u n t / s i z e   N u mb e r   a n d   si z e   o f   d e t e c t e d   n o d u l e s   N u meri c   H i st o g r a m  f e a t u r e s   P i x e l   i n t e n si t y   h i s t o g r a m   b i n s   F r e q u e n c y   o f   p i x e l   i n t e n s i t i e s   i n   f i x e d   b i n s   N u meri c   l i s t / v e c t o r   F r e q u e n c y   d o m a i n   FFT   sp e c t r a l   f e a t u r e s   F r e q u e n c i e s fr o m  f a s t   F o u r i e r   t r a n sf o r m   N u meri c   l i s t / v e c t o r   D e e p   l e a r n i n g   f e a t u r e s   C N N   e m b e d d i n g s   ( p r e - t r a i n e d )   F e a t u r e   v e c t o r s   f r o m   p r e - t r a i n e d   C N N   l a y e r s  ( e . g . ,   R e sN e t ,   v i su a l   g e o met r y   g r o u p   ( VGG ) )   N u meri c   v e c t o r     F e a t u r e   m a p s   A c t i v a t i o n   m a p s   f r o m   i n t e r me d i a t e   C N N   l a y e r s   N u meri c   a r r a y s   A u g m e n t a t i o n   a t t r i b u t e s   R o t a t i o n   R a n d o m r o t a t i o n   a p p l i e d   d u r i n g   a u g m e n t a t i o n   A u g m e n t e d   m e t a d a t a     F l i p / sc a l e   W h e t h e r   i ma g e   w a s  f l i p p e d   o r   s c a l e d   i n   p r e p r o c e ssi n g   A u g m e n t e d   m e t a d a t a   C l a s s l a b e l   C a n c e r   t y p e   A d e n o c a r c i n o m a -   l a r g e   c e l l   c a r c i n o m a -   sq u a m o u s   c e l l   c a r c i n o ma -   n o r mal   Ta r g e t   v a r i a b l e   Tr a i n / v a l i d a t i o n /   t e st   sp l i t   S e t   a ssi g n me n t   D e n o t e s wh i c h   s p l i t   t h e   i m a g e   b e l o n g s t o   C a t e g o r i c a l   u se d   f o r   t r a i n i n g / v a l i d a t i o n / t e st i n g       3 . 2 .     P r o po s ed  m et ho do lo g y   T h e  p r o p o s ed   m eth o d o lo g y   e m p lo y s   a  f ea tu r e - le v el  f u s io n   f r am ewo r k   t h at  co m b in es  d ee p   lear n in g   an d   r ad io m ics to   class if y   an d   d iag n o s e  lu n g   d is ea s e  f r o m   ch est C T   s ca n s   ac r o s s   m u lti - clas s   d is ea s e  s tag es.  T o   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8 9 3 8   I n t J Ar tif   I n tell ,  Vo l.  1 5 ,   No .   5 ,   Octo b er   2 0 2 6 :   4 5 6 8 - 4 5 9 1   4574   d o   th is ,   d ata   ar e  p r o ce s s ed   u s i n g   a  d u al - s tr ea m   ar c h itectu r e,   with   d ee p   a b s tr ac t  s p atial  f ea tu r es  d er iv ed   f r o m   th e  R esNet5 0   C NN   p r e - tr ain ed   o n   im ag e   d ata  alo n e,   as  well  as  q u an titativ e  tis s u e  te x tu r e  ch ar ac te r is tics   u s in g   h an d c r af ted   r ad i o m ic  d escr ip to r s ,   s p ec if ically ,   th e   GL C M  an d   s tati s tical  en tr o p y .   Af ter   f ea t u r e  ex tr ac tio n ,   b o th   s tr ea m s   o f   i n f o r m atio n   ar e  c o n ca ten ated   to   cr ea te  o n e  h y b r id   h ig h - d im en s io n al  f ea tu r e   v ec to r ,   wh ich   will  th en   b e  n o r m alize d   to   a  co n s is ten t  s ca le  ( Min Ma x )   b ef o r e  b ein g   m o d ell ed   b y   an   XGBo o s t   en s em b le  class if ier   f o r   g en er a tin g   th e   f in al   class if icatio n   p r ed ictio n .   T h e  m eth o d o lo g y   in clu d es  a  d u al - m o d e   XAI   ap p r o ac h ,   th e  u s e  o f   Gr ad - C AM   f o r   s p atial  l o ca lizatio n   an d   SHAP  f o r   f ea tu r e  im p o r tan ce   s co r es  o f   f in d in g s   in   o r d er   to   im p r o v e  cl in ical  in ter p r etab ilit y .   T h e  tech n ical  r ea lizatio n   o f   t h e  p r o p o s ed   p ip elin e  is   s tr u ctu r ed   in to   s ev er al  k ey   s tag es.  First,  d ata   p r ep r o ce s s in g   is   co n d u cted   t o   en s u r e  im ag e  q u ality   an d   c o n s is ten cy   ac r o s s   th e  d ataset.   Nex t,  th e  p r o ce s s   s p ec if ically   ad d r ess es  th e  id en tifie d   r esear ch   g ap s   an d   in co r p o r ates  th e  s tu d y ’ s   n o v el  co n tr ib u tio n s .   T o   tack le   th e  r is k   o f   m o d el  o v e r f itti n g ,   an   ex p licit  s tag e  is   d ed icate d   to   an aly zin g   th e  o v er f it tin g   co n d itio n   a n d   im p lem en tin g   p r o p o s ed   m itig atio n s .   T h e   p ip elin e   th en   p r o ce ed s   with   a  d u al - b r a n ch   f ea tu r e   ex tr ac tio n   ap p r o ac h ,   s im u ltan eo u s ly   lev e r ag in g   b o th   d ee p   lear n in g   an d   h an d cr a f ted   f ea tu r e  tech n iq u e s .   T h ese  ex tr ac ted   f ea tu r es  ar e   s u b s eq u en tly   in teg r ated   th r o u g h   f ea tu r e - le v e l  f u s io n   to   m a x im ize  r e p r es en tatio n al  p o wer .   Fin ally ,   th e  wo r k f lo w   co n clu d es  with   class if icatio n   p o s t - p r o ce s s in g   an d   a  th o r o u g h   in ter p r etab ilit y   an aly s is ,   en s u r in g   tr a n s p ar en t a n d   clin i ca lly   r elev an t d ec is io n - m ak in g .   T h e  d etailed   n etwo r k   s tr u ctu r e  an d   th e   d im en s io n s   o f   th e  d ata  in   ea ch   lay er   ar e   p r e s en ted   in     Fig u r e  2 .   T h e  i n p u t   ten s o r   ( 2 2 4   ×  2 2 4   ×   3 )   af ter   p r ep r o ce s s in g   is   p ass ed   to   a  f r o ze n   R esN et5 0   b ac k b o n e .   T h e   f ea tu r e  m ap s   ar e  f in ally   p o o le d   d o wn   v ia  g lo b al  av er ag e   p o o lin g   ( GAP)   to   a  1   ×  2 0 4 8   v ec to r .   Me an wh ile,   th e   1 s t – 6 th   v o x els  o f   th e  r ad io m i c  v ec to r   ar e  ex tr ac ted   f r o m   t h e  g r ay s ca le  in p u t.  T h ese   ar e  th en   co n ca ten ated   d escr ip tiv ely   in to   a  1   ×  2 0 5 4   h y b r id   v ec to r ,   wh ich   is   t h er e af ter   s ca led   u s in g   Min Ma x Sc aler   an d   f ed   to   t h e  XGBo o s t c las s if ier ,   wh ich   o u t p u ts   a  1   ×   3   p r o b ab ilit y   d is tr ib u tio n .           Fig u r e  2 .   Netwo r k   ar ch itectu r e  an d   d ata  d im en s io n s   at  ea ch   s tag e       3 . 3 .     Da t a   prepro ce s s ing   All  th e  r aw  C T   im ag es  wer e   p r ep r o ce s s ed   id en tically   to   a llo w  co n s is ten t  in p u ts   f o r   th e  d if f er en t   f ea tu r e  ex tr ac tio n   s tr ea m s .   T h e  s ize  o f   th e  im ag es  is   r escaled   to   2 2 4   ×  2 2 4 .   T h is   s tu d y   s ca le s   p ix el  v alu es  in   r an g e  [ 0 ,   1 ]   with   Min - Ma x   s ca lin g   f o r   f ast  co n v e r g en ce .   I n   th e  d ee p   lea r n in g   b r an c h   p r e s er v e  th e  3 - c h an n el   R GB   f o r m at  ( r ep licatin g   th e   g r ay s ca le  ch a n n el  th r ee   tim es   if   r eq u ir e d )   to   f it  th e   in p u t  s p ec if icatio n s   o f     p r e - tr ain ed   b ac k b o n e .   C o n cu r r en tly ,   a   s in g le - c h an n el  g r ay s ca le  is   p r o d u ce d   f o r   th e  r ad io m ic  tex tu r e  an al y s is   b r an ch .   Du r i n g   th e  p r ep r o ce s s in g   s tag e  o f   o u r   h y b r id   f r am ewo r k ,   s ev er al  n o is e  r e d u ctio n   ap p r o ac h es  wer e  in teg r ated   with   a  v iew  to   en h an cin g   class if icatio n   r o b u s tn ess   an d   in h ib itin g   ac q u is itio n - r elate d   ar tifa cts.  T h e  ch est  C T   im ag es  f r eq u en tly   s h o w  q u an tu m   n o is e,   r ec o n s t r u ctio n   ar tifa cts ,   an d   s lig h t  i n ten s ity   v ar iatio n s ,   wh ich   ar e  d etr im e n tal  to   d ee p   f ea tu r e  ex tr ac tio n   as  well  as  h an d cr af ted   te x tu r e  a n aly s is .   Acc o r d in g l y ,   im ag es   wer e  r esized   to   a  co m m o n   s ca le  2 2 4   ×  2 2 4   p ix els  an d   th e   im ag es  wer e  ex p o s u r e  n o r m alize d   f o r   u n if o r m   co n tr ast s ca lin g   p r io r   to   f ea tu r e  ex tr ac tio n .     3 . 4 .     Address ing   t he  re s ea rc h g a p a nd   no v el  co ntr ibu t io ns   T h er e  h as  b ee n   a  f ast - m o v in g   p r o ce s s   o f   d ev elo p in g   C A D   f o r   lu n g   ca n ce r .   Ho wev er ,   a  cr itical   r ev iew  o f   th e  r esear ch   liter atu r e  s h o ws  th at  th er e  s till   ar e  a  n u m b er   o f   im p o r tan t h o les  in   th e  cu r r e n t  liter atu r e   av ailab le  o n   th e  d e v elo p m e n t  o f   th is   s u b ject  ar ea .   Ma n y   o f   th e  cu r r en t  m o d els ar e  b ased   o n   to o   m an y   s ep ar ate   an d   u n r elate d   s tag es  th at  ca u s e  ad d itio n al  p r o ce s s in g   co s ts ,   r eq u ir e  th e  im p r ac tical  u s e  o f   m u ltip le  im ag in g   m o d alities   C T ,   p o s itro n   em i s s io n   to m o g r ap h y   ( PET ) /C T ,   ch est  x - r ay   ( C XR ) )   to g et h er ,   an d /o r   ar e   to o     tim e - co n s u m in g   b ec au s e  o f   c o m p lex   co m p u tatio n s   r eq u ir e d   f o r   f ea tu r e  s elec tio n .   I n   ad d itio n ,   m o s t  o f   th e  b etter - p er f o r m in g   m o d els  ar e   also   co n s id er ed   "b lack - b o x "   m o d els,   m ea n in g   th e y   d o   n o t  p r o v id e   en o u g h   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J Ar tif   I n tell     I SS N:   2252 - 8 9 3 8       Qu a n tita tive  ch est co mp u ted   to mo g r a p h y - b a s ed   h yb r id   d ee p   lea r n in g   fo r   ch r o n ic  l u n g   …  ( Ga r ima   Ja in )   4575   d etails  ab o u t  h o w  th e  u n d e r ly in g   alg o r ith m s   wo r k   to   g a in   clin ician ' s   tr u s t  in   th eir   u s e.   T h e  r esear ch   co n tr ib u tio n s   o f   th is   d is s er tatio n   ar e   f o cu s ed   o n   r eso lv in g   th e  r esear ch   p r o b lem s   o u tli n ed   a b o v e   an d   ar e   o r g an ized   in to   two   ca teg o r ies:   th eo r etica l c o n tr i b u tio n s   an d   p r ac tical  co n tr ib u tio n s .   T h eo r etica l  c o n tr ib u tio n s :   i )   u n if ied   s tr u ctu r al   f ea tu r e - lev el  f u s io n :  a  c o m p letely   n ew  s tr u ctu r e  th a t   co n n ec ts   th e  s em an tic  g ap   o f   ab s tr ac t  d ee p   lear n in g   to   d eter m in is tic  r ad io m ics.  T h is   m eth o d   in teg r ates   m ea s u r ab le,   tr a d itio n al  r ad io m ic  d escr ip to r s   GL C M  an d   en tr o p y )   as  i n p u ts   in t o   th e   d ee p   lear n i n g   f ea tu r e   s p ac e,   allo win g   f o r   a  r ap i d ,   th o r o u g h   s tu d y   o f   th e   tu m o r   p r o f ile  with o u t h av in g   to   u tili ze   two   f u n ctio n s   f o r   th e   s am e  im ag e  ( f ea tu r e  ex tr ac to r   an d   class if ier )   in   a  d ee p   lear n in g   m o d el ;  an d   ii)  m ax im izin g   s in g le  m o d ality :   d em o n s tr atin g   th e   d iag n o s tic  an d   p r ed ictiv e  ca p ab ilit ies  o f   s in g le - m o d ality   C T   s ca n s ,   t h er eb y   elim in atin g   r elian ce   o n   c o m p lex   an d   s o m e tim es im p r ac tical  m u lti - m o d al   im ag in g   d ata.   Pra ctica l  c o n tr ib u tio n s :   i)   r eso u r ce - ef f icien t  p ip elin e  d e s ig n :  th is   s y s tem   ac h iev es  m ax im u m   ef f icien cy   in   p ip elin e   d esig n   b y   u s in g   a   r o b u s t  h y b r id   ar ch itectu r e  co m p r is in g   a   R esNet5 0   b ac k b o n e ,   an   XGBo o s t   cla s s if ier ,   an d   a  n o n - co m p u tatio n ally   in ten s iv e  ev o lu tio n ar y   alg o r ith m .   Fu r th er m o r e ,   b y   elim in atin g   th e  tr ad itio n al  s o f t m ax   lay er   f r o m   th e  a r ch itectu r e,   th er e  is   v er y   litt le  lik elih o o d   o f   o v er f itti n g   o n   lar g e,   co m p lex   d atasets ;  an d   ii)  d u al - m o d e  XAI   f r am ew o r k :  a  “d u al - s id ed ”  XAI   in ter p r et ab ilit y   s y s tem   will   b e  p io n ee r e d   with   v is u al  s p atial  lo ca lizatio n   p r o v id ed   b y   Gr ad - C AM   co m b in ed   with   f ea tu r e  attr ib u tio n   s tatis t ics  g en er ated   b y   SHAP,  to   r em o v e  th e  “ b lack - b o x ”   o f   AI   s y s tem s   an d   p r o v id e  g r an u lar   an d   tr an s p ar e n t  in f o r m atio n   n ec ess ar y   to   d ev e lo p   p h y s ician   tr u s t a n d   s u p p o r t c lin ical  im p lem en tatio n .     3 . 5 .     T he  o v er f i t t ing   co nd it io n a nd   pro po s ed  m it ig a t io ns   On e  o f   th e   m ain   ch allen g es  wh en   u s in g   d ee p   c o n v o lu tio n al  n etwo r k   m o d els  f o r   m e d ical  im ag e   class if icatio n ,   p ar ticu lar ly   wh en   tr ain ed   o n   d o m ain - s p ec if ic  d atasets   with   r elativ ely   f ew  ex am p les,  is   o v er f itti n g .   W h en   a  m o d el  o v er f its ,   it  m em o r izes  s tatis t ical  ar tifa cts  f r o m   th e  tr ain in g   d ata  r ath er   th an   lear n in g   th e  u n d er ly in g   an ato m ical  p ath o lo g y ,   lead in g   to   p o o r   g en e r aliza tio n   to   n ew  m e d ical  im ag es.  Ma n y   cu r r en t  s tu d ies  h av e  t r ied   to   a d d r ess   th is   is s u e  b y   o v er - r el y in g   o n   ar tific ial  d ata  au g m e n ta tio n s ,   wh ich   d o   n o t   f u lly   s o lv e  th e  p r o b lem .   I n   co n tr ast,  th e  p r o p o s ed   h y b r id   f r am ew o r k   s o lv es  an d   p r ev en ts   o v er f itti n g   u s in g   th r e e  d if f er en t   s tr u ctu r al  d esig n   d ec is io n s :   i)   T r an s f er   lear n in g   with   f r o ze n   weig h ts :  th is   s tu d y   u s ed   a  p r e - tr ain ed   R esNet5 0   m o d el  th a t  was  tr ain ed   u s in g   I m ag eNe t  as  o u r   b ac k b o n e  m o d el  with o u t  m o d if y i n g   th e  co n v o lu tio n al  weig h ts ;  th e  weig h ts   o f   ea ch   lay er   r em ain   u n c h an g e d   th r o u g h o u t  th is   p r o ce s s .   T h er e f o r e,   th e  m o d el  was  ab le  to   lev er ag e  r o b u s t,  g en er ic  ca p ab ilit ies  f o r   d etec ti n g   e d g es  an d   p atter n s   ac r o s s   im ag es  with o u t   m ass iv ely   h y p er - s p ec ializin g   its   p ar am eter s   o n   th e  lim ited   a m o u n t  o f   d ata  we  h ad   av ailab l e.   ii)   Dim en s io n ality   co n s tr ain t:  th is   s tu d y   u s ed   GAP  to   cr ea te  a  s in g le  ca ll  o f   th e  C NN  m o d el  an d   o u tp u t  an   ar r ay   o f   6 - d im en s io n al  v ec to r s   o f   tex tu r e  f ea tu r es  to   b e  in p u t  to   th e  r ad io m ic  m o d el.   T h e  r ad io m i c   m o d el  h as  a  h ig h   d eg r ee   o f   d im en s io n ality   am o n g   its   v ar iab les;   th er ef o r e,   im p lem en tin g   th e  GAP  p r o ce d u r e  p r o v id es  a   m ea s u r e  o f   d im e n s io n ality   r estrictio n ,   wh ich   h elp s   u s   p r e v en t  o v er f itti n g   as   ex p er ien ce d   th r o u g h   th e  m o d e l w ith   an   ex ce s s   o f   p a r am eter s .   iii)   Alg o r it h m ic   r e g u la r iz ati o n   v i a   XGB o o s t:  th is   s tu d y   r e p l ac ed   th e   o u t p u t d e n s e   s o f tm ax   l ay e r   o f   o u r   m o d el   wit h   a n   XGB o o s t  c lass i f i ca t i o n   h ea d   d u e  t o   th e  f a ct  th at  d e n s e   s o f t m a x   p r e d i cti o n   l a y er s   a r e  h i g h l y   o v e r f itti n g   w h e n   b u il t  o u t  o f   s m al l  a m o u n ts   o f   d at a.   B y   u s i n g   XGB o o s t,  th is   s t u d y   was   a b le   t o   a d d   a n   esta b lis h ed   a lg o r it h m   th at   al r e ad y   f ea t u r es   a   n u m b e r   o f   m ec h an is m s   d esi g n e d   to   p r e v e n t   o v er f it ti n g   w h e n   p r o d u ci n g   a  p r o b a b ilis tic   p r ed i cti o n   b as ed   u p o n   h ig h - d im en s i o n al   i n p u t  f e at u r e  v e ct o r s .     3 . 6 .     E x perim ent a l  s et up   a nd   v a lid a t io n str a t eg y   T h e  s tu d y   was  d esig n ed   to   b e  r ep r o d u cib le,   r o b u s t ,   an d   f air ly   co m p a r ab le.   Fo r   th is   r ea s o n ,     all  ex p er im en ts   wer e  co n d u cted   u s in g   a  s tan d ar d ized   co m p u tatio n al  a n d   v alid ati o n   f r am ewo r k .   T h e    p r o p o s ed   m o d el  ar ch itectu r e   co n s is ted   o f   th r ee   m ain   co m p o n e n ts :  a  C NN - b ased   b aselin e  ar ch itectu r e,   tr an s f o r m er - b ased   m o d els  f o r   b en ch m a r k in g ,   an d   im p le m en tatio n s   o f   b o th   th e  b ase  an d   b en ch m ar k ed   ar ch itectu r es u s in g   d ee p   lear n i n g   in   Py th o n   with   g r ap h ics p r o ce s s in g   u n it ( GPU )   ac ce ler atio n .   Du r in g   th e  e x p er im e n tal  p h ase,   th e   d atasets   wer e  p ar titi o n ed   u s in g   s tr atif ied   r an d o m   s am p lin g   to   en s u r e  eq u al  s am p le  s izes  ac r o s s   all  an aly ze d   p ath o lo g ica l  d is ea s e  c lass e s   i.e . ,   n o r m al,   ad en o ca r cin o m a,   s q u am o u s   ce ll   ca r cin o m a,   a n d   lar g e   ce ll  ca r ci n o m a .   T o   m in im ize  o v er f itti n g ,   g iv en   th e   li m ited   v ar ia b ilit y   in   th e  m ed ical  im ag es,  t h is   s tu d y   u s ed   m u ltip le  au g m en tati o n   s tr ateg ies  d u r i n g   m o d el  t r ain in g .   All  o f   th e   au g m en tatio n   s tr ateg ies  wer e  d esig n ed   to   m im ic  ac q u is itio n   v ar iab ilit y ,   v ar ia b ilit y   in   an at o m ical  o r ien tatio n ,   an d   in ten s ity   v ar iatio n s   th at  ar e  f r eq u e n tly   ex p er ie n ce d   i n   clin ical  im ag in g   en v ir o n m en ts .   Au g m en tatio n   s tr ateg ies  wer e  d y n am ically   av ailab le  f o r   im p r o v in g   th e  r o b u s tn ess   o f   m o d els  tr ain e d   o n   h eter o g en eo u s   im ag in g   e n v ir o n m en ts .   T o   en s u r e  th at  th e  m o d els  wer e  r ep r o d u cib le   an d   y ield ed   co n s is ten t  r esu lts   ac r o s s   all  ex p er im en ts   u s ed   to   co m p a r e  th em ,   th is   s tu d y   u s ed   a  s tr atif ied   v alid atio n   p r o t o co l  an d   f ix ed   r a n d o m   in itializatio n   s ee d s .   T h e  ex p e r im en t  co n s is ted   o f   p er f o r m an ce   ev alu atio n   m etr ics  o f   class if icatio n   ac cu r ac y ,   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8 9 3 8   I n t J Ar tif   I n tell ,  Vo l.  1 5 ,   No .   5 ,   Octo b er   2 0 2 6 :   4 5 6 8 - 4 5 9 1   4576   m ac r o   p r ec is io n ,   r ec all,   F1 - s co r e,   s en s itiv ity ,   s p ec if icity ,   c o n f u s io n   m atr ix   r esu lts   an d   R OC - AUC  an aly s is   o f   one - vs - r est cla s s if icatio n   r esu lts .   T ab le  3   p r esen ts   th e  co m p u t atio n al  en v ir o n m en t  a n d   s o f t war e  s etu p   u s ed   f o r   im p le m en tin g   an d   test in g   th e  p r o p o s ed   h y b r id   f r am ewo r k .   T o   s p ee d   u p   th e  tr a in in g   o f   d ee p   f ea tu r es  ex tr ac te d   f r o m   im ag es  an d   f o r   tr an s f o r m er   b e n ch m ar k in g   ex p er im e n ts ,   GPU  co m p u tatio n   was  u s ed .   T h e  s o f twar e   lib r ar ies  th at  wer e  u s ed   an d   th e  h ar d war e  s etu p s   th at  wer e  u s ed   f o r   ea c h   o f   th e   ex p er im en ts   wer e  k e p t  co n s ta n t  ac r o s s   all  o f   th e  ex p er im en ts   s o   th at  r esu lts   c o u ld   b e  r ep licated   an d   an   u n b iased   co m p ar is o n   co u ld   b e  m ad e  b etwe en   th e   d if f er en t  v er s io n s   o f   th e  s o f t war e.   T ab le  4   s h o ws  th e  d at aset  p ar titi o n in g   an d   v alid atio n   s tr ateg y   th at  was  em p lo y ed   th r o u g h o u t  th e  test i n g   an d   ev alu atio n   p r o ce s s .   T o   m ain tain   b alan ce   b etwe en   class es  in   th e  tr ain in g ,   v alid atio n   a n d   test   d atasets ,   as  well  as  r ed u ce   th e  e f f ec ts   o f   b ias  in   th e   d if f er e n t  test in g   m eth o d s ,   s tr atif ie d   s am p lin g   an d   k - f o ld   cr o s s   v alid atio n   wer e  u s ed   wh en   cr ea tin g   th e  d if f er en t  test   s ets.  T ab le  5   o u tlin es  th e  way s   in   wh ich   th e   tr ain in g   d ataset  was  au g m en ted   in   o r d er   to   p r o v id e   a   b etter   a b ilit y   f o r   th e  d e v elo p ed   m o d e l   to   g en er alize ,   as  well  as  r ed u c e  th e  p o te n tial  f o r   o v er f itti n g ,   an d   p r o v i d e  a  m ea s u r e   o f   v ar iab ilit y   th at  ca n   b e   ex p ec ted   f r o m   h eter o g e n eo u s   d ata  s ets d er iv ed   f r o m   th e  im a g in g   o f   th e  ch est u s in g   C T .       T ab le  3 .   C o m p u tatio n al  en v ir o n m en t a n d   s o f twar e  co n f ig u r atio n   C o m p o n e n t   S p e c i f i c a t i o n   G P U   N V I D I A   R TX   3 0 6 0   C P U   I n t e l   C o r e   i 7   R A M   1 6   G B   O p e r a t i n g   sy st e m   W i n d o w s 1 1 / U b u n t u   2 2 . 0 4   P r o g r a m mi n g   l a n g u a g e   P y t h o n   3 . 1 0   D e e p   l e a r n i n g   f r a mew o r k   Te n s o r F l o w / K e r a s   M a c h i n e   l e a r n i n g   l i b r a r i e s   S c i k i t - l e a r n   a n d   X G B o o st   C U D A   v e r s i o n   C U D A   1 2 . 0   I mag e   p r o c e ssi n g   l i b r a r y   O p e n C V   Ex p l a i n a b i l i t y   l i b r a r i e s   S H A P   a n d   G r a d - C A M       T ab le  4 .   Data s et  p ar titi o n in g   a n d   v alid atio n   s tr ateg y   V a l i d a t i o n   c o m p o n e n t   C o n f i g u r a t i o n   Tr a i n i n g   sp l i t   7 0 %   V a l i d a t i o n   s p l i t   1 5 %   Te st i n g   s p l i t   1 5 %   V a l i d a t i o n   st r a t e g y   S t r a t i f i e d   s a mp l i n g   C r o ss - v a l i d a t i o n   me t h o d   S t r a t i f i e d   k - f o l d   N u mb e r   o f   f o l d s   5   R a n d o m s e e d   42   C l a s s  d i s t r i b u t i o n   p r e ser v a t i o n   En a b l e d   Ev a l u a t i o n   me t r i c s   A c c u r a c y ,   p r e c i s i o n ,   r e c a l l ,   F 1 - sc o r e ,   sen s i t i v i t y ,   sp e c i f i c i t y ,   R O C - AUC       T ab le  5 .   Data   au g m en tatio n   tech n iq u es a p p lied   d u r in g   tr ai n in g   A u g m e n t a t i o n   t e c h n i q u e   C o n f i g u r a t i o n   R o t a t i o n   r a n g e   ± 1 5 °   H o r i z o n t a l   f l i p   En a b l e d   Zo o m ra n g e   0 . 1   W i d t h   sh i f t   0 . 1   H e i g h t   s h i f t   0 . 1   B r i g h t n e ss  a d j u s t me n t   0 . 1   R e sc a l i n g   1 / 2 5 5   I n t e r p o l a t i o n   st r a t e g y   B i l i n e a r   A u g m e n t a t i o n   a p p l i c a t i o n   R e a l - t i me  d y n a mi c   a u g me n t a t i o n       3 . 7 .    Dua l - bra nch f ea t ure  ex t ra ct io n   T h e  d u al - f ea t u r e  ex tr ac tio n   ar ch itectu r e  in   th e  p r o p o s ed   h y b r id   f r am ew o r k   ex tr ac ts   co m p lem en tar y   in f o r m atio n   ab o u t  th e  tex tu r e  o f   ch est  C T   im ag es,  b o t h   s p a tially   an d   q u a n titativ ely .   T h e  r atio n ale  f o r   u s in g   th e  d u al - f ea tu r e  ex tr ac tio n   ar c h itectu r e  is   to   m er g e   th e  ca p a b ilit ies  o f   a  d ee p   C NN  to   lear n   at  m u ltip le  lev els   o f   s em an tic  h ier ar ch ical   d ata,   with   th e   u s e  o f   h a n d cr a f ted   r ad io m ic  f ea tu r es  lear n ed   f r o m   th e  C T   im a g es.   Dee p   lear n in g   em b ed d in g s   ex ce l  at  r ep r esen tin g   c o m p lex   p atter n s   in   p u lm o n ar y   s p atial  d is tr ib u tio n s ,   wh ile  r ad io m ics - b ased   an aly s es  p r o v id e  q u an titativ e  m ea s u r es  o f   tis s u e  h eter o g en eity ,   s tr u ctu r al  ir r eg u lar ity ,   an d   in ten s ity   v ar iatio n   o f ten   f o u n d   in   m alig n an t tis s u e.   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J Ar tif   I n tell     I SS N:   2252 - 8 9 3 8       Qu a n tita tive  ch est co mp u ted   to mo g r a p h y - b a s ed   h yb r id   d ee p   lea r n in g   fo r   ch r o n ic  l u n g   …  ( Ga r ima   Ja in )   4577   3 . 7 . 1 .   Dee p  s pa t ia l f ea t ure  ex t ra ct io n bra nch  ( CNN - ba s ed )   Fo r   lear n in g   r ep r esen tatio n s   o f   p o ly g o n s ,   th e  p r im ar y   C NN  b ac k b o n e  was  a  p r e - tr ain e d   R esNet5 0   ar ch itectu r e  with   I m ag eNe t  weig h ts .   R es Net5 0   was  ch o s en   f o r   its   ab ilit y   to   ex tr ac t  f ea tu r es  q u ick ly   an d   ea s ily ,   its   s u itab ilit y   f o r   r esid u al  lear n in g ,   a n d   its   r elativ e  s u cc ess   in   im ag e  a n aly s is   with in   th e   h ea lth ca r e   in d u s tr y .   T o   a v o id   o v er f itti n g   th at  is   ca u s ed   b y   th e  s m all  am o u n t  o f   d ata,   tr an s f er   lear n in g   was  u s ed   with   R esNet5 0   to   tak e  ad v a n tag e  o f   th e  lo w - lev el  ed g es,  co n to u r s ,   an d   tex tu r es  lear n e d   f r o m   im ag es  in   a  lar g e   n u m b er   o f   ca teg o r ies,  wh ile  u s in g   th e  R esNet5 0   lo w - lev el  co n v o l u tio n al  lay er s   to   h elp   t r an s f er   k ee p   with in   th e  g en e r al  ar ea   o f   th e   im ag es ,   co m b in in g   n atu r al  an d   m ed i ca l  im ag es  to g eth er .   T h e   p r e p r o ce s s ed   d ata  we r e  r esized   to   2 2 4   ×   2 2 4   ×  3   a n d   p ass ed   th r o u g h   th e   co n v o lu tio n al  lay er s   o f   R esNet5 0 .   T h e  f ir s t  lay er   o f   co n v o l u tio n al  lay er s   was  f r o ze n   at  th e  b eg in n in g   o f   tr ain in g ,   an d   h ig h e r - lev el  lay er s   wer e  ad ju s ted   af ter     en d - s tag e  tr ain in g   to   b etter   r e p r esen t  th e  p o ly g o n s   u s in g   th e  n ew  in f o r m atio n   lear n e d .   Af ter   ap p ly in g   a  GAP  o p er atio n   to   th e  o u t p u t  o f   th e   f in al  co n v o lu tio n ,   it  is   p o s s i b le  to   co n d en s e  th e  f ea tu r e  m ap s   s p atially   wh il e   p r eser v in g   th eir   d is cr im in ativ e  s em an tic  co n ten t.  T h e  GAP  o p er atio n   p r o d u ce d   a  co m p ac t   2 0 4 8 - d im en s io n al  em b ed d in g   v ec to r   f o r   c o n v e r tin g   h ig h - d im en s io n al  c o n v o lu tio n al  f ea tu r e  m ap s   in to   a  r ep r esen tatio n   o f   m u ltid im en s io n al  d ee p   em b ed d in g   h ier ar ch ical   an ato m y   o f   lu n g s   an d   h o w  lesi o n s   ar e  c o n t ex tu ally   d e f in ed   b y   th e  d is ea s es  p r esen t.  T h ese  2 0 4 8 - d im en s io n al  em b ed d i n g s   ca p tu r e  c o m p lex   d if f e r en ce s   in   th e  s tr u ct u r e  o f   lu n g s   b y   ca teg o r izin g   th em   ac co r d i n g   t o   s p ec if ic  d is ea s es,  s u ch   as  ad en o ca r cin o m a,   s q u am o u s   ce ll   ca r cin o m a ,   a n d   lar g e  ce ll c ar ci n o m a.     3 . 7 . 2 .   H a nd cr a f t ed  qu a ntit a t iv e  t ex t ure  f e a t ure  bra nch  ( ra dio m ics - ba s ed )   I n   p a r allel,   th e   r ad io m ics  b r a n ch   was  in teg r ated   in t o   th e   m o d el  to   ex tr ac t   h an d cr af ted   q u an titativ e  m ea s u r es  f r o m   in ten s ity - n o r m alize d   ch est  C T   s lice  im ag es.  R ad io m ic  an aly s is   was  p er f o r m e d   u s in g   th e   Scik it - im ag e  ( s k im ag e )   lib r ar y   to   ass ess   th e  s tatis t ical  an d   tex tu r al  ch ar ac ter is tics   ass o ciat ed   with   d estru ctiv e   d is ea s e  p r o g r ess io n   an d   m alig n an cy   s tag in g   in   th e  lu n g s .   Fr o m   ea ch   C T   im ag e,   a  co m p ac t   s et  o f   s ix   r ad io m ic  d escr ip to r s   was c alcu lated   u s in g   GL C M - b ased   tex tu r e  a n aly s is   an d   g lo b al  s tatis tical  in ten s ity   m etr ics:     i)   GL C M - b ased   tex tu r e  f ea tu r es :  th e  p u r p o s e  o f   p e r f o r m in g   GL C M  an aly s is   is   to   q u a n tif y   r elatio n s h ip s   am o n g   in ten s ity   v alu es  ac r o s s   p ix els  with in   an d   am o n g   lu n g   tis s u es.  T h r ee   d escr ip to r s   wer e  ca lcu lated   as r ep r esen tatio n s   o f   tex t u r e  c h ar ac ter is tics :   ‒   C o n tr ast:   m ea s u r es th e  d eg r ee   o f   lo ca l v a r iatio n   in   tex t u r e  in t en s ity   an d   ir r e g u lar ity .   ‒   Un if o r m ity :  m ea s u r es h o w  s im ilar   an d   co n s is ten t n eig h b o r i n g   p ix el  v alu e  d is tr ib u tio n s   ar e.     ‒   E n er g y :  m ea s u r es  h o w  co n s is ten tly   tex tu r ed   o b jects  ar e  in   ter m s   o f   co m m o n   r ep ea tin g   s tr u ctu r es   o r   p atter n s .   ii)   Glo b al  s tatis tical  f ea tu r es:  o th er   ty p es  o f   f ir s t - o r d e r   s tatis tical  d escr ip to r s   wer e  u s ed   t o   esti m ate  th e  d is tr ib u tio n   o f   g lo b al  g r ay s ca l e  in ten s ity   an d   to   c h ar ac ter ize  th e  im ag e  co m p lex ity :   ‒   Me an   g r ay   le v el:  p r o v id es  an   av er ag e  o f   all  g r a y s ca le  lev els f o u n d   in   th e   im ag e.     ‒   Stan d ar d   d ev iatio n :  p r o v id es  a  m ea s u r e  o f   t h e  r a n g e  o f   in t en s ity   o f   all   v alu es  f o u n d   at   e ac h   p ix el  an d   h o w  m u ch   v ar iatio n   e x is ts   am o n g   th o s e  p ix els.   ‒   Sh an n o n   en tr o p y :  p r o v id es  a  m ea s u r e  o f   h o w  r a n d o m l y   d is tr ib u ted   g r ay s ca le  lev els  ar e  with in   th e  im ag e,   an d   h o w  h eter o g e n eo u s   th ey   m ay   b e .   W h en   co n s id er ed   to g eth e r ,   th e  co m b in atio n   o f   th e   r ad io m ics  d escr ip to r s   cr ea ted   a  6 - d i m en s io n al   q u an titativ e  tex tu r e   v ec to r   t h at  r ep r esen ts   q u an tifia b le,   i n ter p r etab le  s tatis tical  p r o p er ties   r eg ar d in g   th e   q u an tity   a n d   q u ality   o f   s tr u ctu r es  with in   th e   p u lm o n ar y   tis s u e  lesi o n al   b o r d er s .   T h is   v ec to r   p r o v id es  a   s ec o n d   b r an ch   o f   p ar allel  an aly s is   to   d eliv er   b ac k g r o u n d   in f o r m ati o n   s u p p o r tin g   th e  d ee p   C NN  em b ed d in g   an al y s is   o f   th e   s am e  d ata.   Ultim ately ,   it  in c o r p o r ates  d eter m i n is tic  tex tu r ed   in f o r m atio n   th at   is   n o t  n ec ess ar ily   av ailab le  f r o m   cu r r e n tly   r etain ed   laten t d ee p   f ea tu r e  d ata.     3 . 8 .     F e a t ure - lev el  hy brid f us io n   Featu r e - lev el  h y b r i d   f u s io n   i s   a  tech n iq u e  wh er eb y   r a d io m ic  tex tu r e  d escr ip to r s   an d   d ee p   C NN   r ep r esen tatio n s   ar e  in teg r ated   to   f u lly   ex p lo it  b o t h   th e  h ig h - l ev el  s em an tic  lear n in g   c h ar ac t er is tics   in h er en t  in   d ee p   m o d els  an d   th e  q u an tit ativ e  tis s u e  h eter o g en eity   p r o v id ed   th r o u g h   r ad io m ic  d ata.   W h ile  d ee p   C NN   ar ch itectu r es  ef f ec tiv ely   ca p tu r e  co m p lex   s p atial  an d   co n tex tu al  p u lm o n ar y   p atter n s   au to m atica lly ,     h an d - c r af ted   r ad io m ic   tex tu r e  d escr ip to r s   y ield   in ter p r eta b le  s tatis tical  ex p lan atio n s   o f   tis s u e  v ar iatio n s .   T h ese  v ar iatio n s   i n clu d e,   b u t  ar e  n o t  lim ited   to ,   p ix el   r eg u lar ity   an d   ir r eg u lar ity ,   in ten s ity   v ar iab ilit y ,   a n d   s tr u ctu r al  m o r p h o lo g y .   A  2 0 4 8 D   d ee p - s p atial  em b ed d in g   v ec to r   f r o m   an   o f f - th e - s h elf   p r e - tr ain ed   R esNet5 0   b ac k b o n e   was  h y b r id - f u s ed   with   a  6 D  h a n d c r af ted   r a d io m ic  f ea tu r e  v ec to r   f r o m   GL C M  tex tu r e   s tatis tics   an d   en tr o p y - b ased   f ea tu r es  to   cr ea te   a  c o m b i n ed   2 0 5 4 D  h y b r i d   f ea t u r e   v ec to r   f o r   d o wn s tr ea m   clas s if icatio n .   Min Ma x   n o r m aliza tio n   was  a p p lied   to   ad d r ess   s ca le  in co n s is ten cies  b etwe en   th e  h ig h - d im en s io n al   d ee p   e m b ed d in g s   an d   lo w - d im en s io n al  r a d io m ics  p r io r   to   class if icatio n .   T h is   n o r m aliza tio n   m et h o d   co n v er ted   all    f ea tu r e  v alu es  to   a  co m m o n   r an g e  o f   0   to   1 ,   wh ic h   im p r o v ed   n u m er ical  s tab ilit y /co n v e r g en ce   b eh a v io r   an d   Evaluation Warning : The document was created with Spire.PDF for Python.