I nd o ne s ia n J o urna l o f   E lect rica l En g ineering   a nd   Co m pu t er   Science   Vo l.   41 ,   No .   3 Ma r ch   20 2 6 ,   p p .   1 0 6 0 ~ 1 0 6 9   I SS N:  2 502 - 4 7 52 ,   DOI : 1 0 . 1 1 5 9 1 /ijee cs .v 41 . i 3 . pp 1 0 6 0 - 1 0 6 9           1060       J o ur na l ho m ep a g e h ttp : //ij ee cs . ia esco r e. co m   A multimo da fra mewo rk f o r  expla ina ble chest   X - r a y  report  g eneratio n       H a m za   Chehili 1, 2 ,   No urhe ne   B o ug o urzi 1 ,   Ra ida   M a la k   M a k hlo uf   1 ,   H a dje r   T a ib 1 ,   M us t a ph a   B e ns a a d a 1   1 U n i v e r s i t y   f r è r e s   M e n t o u r i ,   C o n s t a n t i n e   1 ,   C o n s t a n t i n e   2 5 0 0 0 ,   A l g e r i a   2 LI R E   La b o r a t o r y ,   C o n st a n t i n e   2   U n i v e r si t y ,   C o n s t a n t i n e   2 5 0 0 0 ,   A l g e r i a       Art icle  I nfo     AB S T RAC T   A r ticle  his to r y:   R ec eiv ed   Oct  1 4 ,   2 0 2 4   R ev is ed   J an   1 3 ,   2 0 2 6   Acc ep ted   Feb   2 8 ,   2 0 2 6       Ch e st  X - ra y   (CXR)  in ter p re tatio n   re m a in a   c h a ll e n g in g   tas k   d u e   t o   o v e rlap p in g   a n a t o m ica stru c tu re s,  v a riab il it y   in   d ise a se   p re se n tatio n ,   a n d   in c re a sin g   c li n ica wo r k lo a d .   E x isti n g   a u to m a ted   re p o rt - g e n e ra ti o n   m o d e ls  p ro v id e   p ro m isin g   re su lt b u t   o ften   lac k   e x p li c it   i n terp re tab il it y ,   li m it e d   c li n ica a li g n m e n t,   a n d   i n su fficie n c o m p a ra ti v e   e v a l u a ti o n   wi th   e sta b li sh e d   b a se li n e s.  Th is  stu d y   p ro p o se a n   e x p lai n a b le  m u lt imo d a fra m e wo rk   th a t   c o m b in e a   d u a CNN   e n c o d e r   (Re sN e t - 5 0   a n d   Eff icie n tNe t - B 0 with   th e   G e m m a - 3   1 lan g u a g e   m o d e fi n e - tu n e d   u si n g   l o w - ra n k   a d a p tati o n   (Lo RA).  Visu a e x p lan a ti o n a re   p r o d u c e d   th r o u g h   G ra d ien t - we ig h t e d   Clas Ac ti v a ti o n   M a p p in g   (G ra d - CAM)  to   e n h a n c e   tran sp a re n c y   in   th e   d e c isio n   p ro c e ss .   Un li k e   p rio r   ima g e - to - tex p ip e li n e s,  o u a p p r o a c h   fo ll o ws   a   fin d i n g s - g u i d e d   p a ra d ig m   a n d   i n t e g ra tes   b o t h   v is u a a n d   tex t u a c u e d u rin g   g e n e ra ti o n .   Ex p e rime n ts  c o n d u c ted   o n   p u b li c   d a tas e ts  d e m o n stra te  c o n siste n imp r o v e m e n ts  o v e r   re p re se n tativ e   v isi o n - lan g u a g e   b a se li n e re p o rted   in   re c e n li tera t u re ,   with   n o tab le  g a i n in   BLE U,   ROU G E,   M ET EOR,   a n d   BER TS c o re .   G e n e ra ted   re p o rts  s h o im p ro v e d   fa c tu a l   c o m p lete n e ss   a n d   c li n ica ll y   re l e v a n re g io n - lev e a tt e n t io n .   Li m it a ti o n s   in c lu d e   th e   a b se n c e   o e v a l u a ti o n   a g a i n st  e m e rg i n g   fo u n d a ti o n   m o d e ls  a n d   th e   n e e d   fo a n a to m ica l -   lev e l   e x p lain a b il it y   m e tri c s.  F u t u re   wo rk   will   e x ten d   b e n c h m a rk in g   to   m o d e ls  su c h   a M 2 - Tran sfo rm e r,   M e d C LIP - G P T,   a n d   R2 G e n ,   a n d   will   e x p l o re   c li n i c a v a li d a ti o n   i n   re a l - wo rl d   wo r k f lo ws .   K ey w o r d s :   C h est X - r ay   r ep o r g en er atio n     E x p lain ab le  AI   Gr ad - C AM   L o w - r an k   ad ap tatio n   Mu ltimo d al  lear n in g   T h is i a n   o p e n   a c c e ss   a rticle   u n d e r th e   CC B Y - SA   li c e n se .     C o r r e s p o nd ing   A uth o r :   Ham za   C h eh ili   Un iv er s ity   f r èr es  Me n to u r i,  C o n s tan tin 1   C o n s tan tin 2 5 0 0 0 Alg er ia   E m ail:  h . ch eh ili@ u m c. ed u . d z       1.   I NT RO D UCT I O N   C h e s t   X - r a y s   ( C XR s )   a r e   t h e   m o s t   w i d e l y   u s e d   r a d i o l o g i ca l   e x a m i n a t i o n   w o r l d w i d e   a n d   p la y   a   c e n t r a l   r o l e   i n   d i a g n o s i n g   t h o r a c i c   d is e as e s ,   i n c l u d i n g   p n e u m o n i a ,   t u b e r c u l o s is ,   h e a r t   f ai l u r e ,   a n d   m a l i g n a n c i es   [ 1 ] .   D e s p it e   s t a n d a r d i z e d   ac q u i s i t io n   p r o t o c o l s   s u c h   a s   p o s t e r o an t e r i o r   ( P A )   a n d   l a t e r al   v i ew s ,   C XR   i n t e r p r e t at i o n   r e m a i n s   d i f f i c u l t   d u e   t o   a n a t o m i c a l   s u p e r p o s it i o n   a n d   t h e   i n h e r e n t   l i m i t a ti o n s   o f   2 D   p r o j e c t i o n s ,   e v e n   w h e n   f o l l o w i n g   s t r u c t u r e d   m n e m o n ic s   s u c h   as   AB C D E F G H I   [ 2 ] .   T h e   g r o w i n g   g l o b a l   d e m a n d   f o r   i m a g i n g ,   c o m b i n e d   w i t h   t h e   s h o r t a g e   o f   t r a i n e d   r a d i o l o g i s ts ,   h a s   i n t e n s i f i e d   d i a g n o s t i c   d e l a y s   a n d   i n c r e a s e d   t h e   r i s k   o f   i n t e r p r e t i v e r r o r s   a s s o c i a t e d   wi t h   f a ti g u e   a n d   h i g h   w o r k l o a d s   [ 3 ] .   R e p o r t   v a r i a b i l it y ,   n o n - s t an d a r d i z e d   f r e e - t e x t   d escr ip tio n s ,   an d   lim ited   m ac h in e - r ea d a b ilit y   f u r t h er   co m p licate  clin ical  d ec is io n - m ak in g   an d   d o wn s tr ea m   d ata  ex tr ac tio n   [ 4 ] .   A r t i f i ci a l   in tellig en ce   ( AI )   is   in cr ea s in g ly   in v esti g ated   to   m itig ate  th ese  ch allen g es,  p ar ticu lar ly   in   au to m ated   r ad io lo g y   r ep o r g e n er atio n   [ 5 ] .   Un lik t r ad itio n a class if icatio n ,   r ep o r t   g en e r atio n   r e q u ir es  m o d els   Evaluation Warning : The document was created with Spire.PDF for Python.
I n d o n esian   J   E lec  E n g   &   C o m p   Sci     I SS N:   2 5 0 2 - 4 7 52       A   mu ltimo d a l fra mewo r fo r   ex p la in a b le  c h est x - r a r ep o r t g en era tio n   …  ( H a mza   C h eh ili )   1061   ca p ab le  o f   co n n ec tin g   v is u al  a b n o r m alities   with   clin ically   co h er en lan g u ag e,   n ec e s s itatin g   th in teg r atio n   o f   co m p u ter   v is io n   an d   n atu r al  lan g u ag p r o ce s s in g   [ 6 ] ,   [ 7 ] .   R ec en ad v an ce s   in   m u ltimo d al  lar g lan g u ag e   m o d els  ( L L Ms)   h av s ig n if ican tly   im p r o v e d   m ed ical  im ag u n d e r s tan d in g   [ 8 ] .   C o n v o lu ti o n al  n eu r al   n etwo r k s   ( C NNs)  r em ain   f o u n d atio n al  f o r   f ea tu r e   ex tr ac tio n   in   r ad io lo g y ,   with   ar c h itectu r es  s u ch   as  R esNet  an d   E f f icien tNet  o f f er i n g   s tr o n g   r ep r esen tatio n al  p e r f o r m an ce ,   esp ec ially   wh en   co m b in ed   th r o u g h   e n s em b le  lear n in g   an d   tr a n s f er   lear n in g   s tr ateg ies  [ 9 ] .   Ho wev er ,   th clin ical  ad o p tio n   o f   th ese  s y s tem s   r em ain s   lim ited   d u to   lack   o f   in ter p r eta b ilit y   an d   th r is k   o f   h allu cin ate d   tex t,  wh ich   ca n   u n d e r m in tr u s in   au to m ated   r ep o r ts   [ 1 0 ] ,   [ 1 1 ] .   R ec en m u ltimo d al  f r am ewo r k s ,   in clu d in g   Xr ay GPT,   C XR - L L AVA,   E L I XR ,   L ite GPT,   an d   R o en tGen ,   d e m o n s t r a t e   s u b s tan tial  p r o g r ess   in   v is io n - lan g u a g m o d elin g   f o r   C XR s   ( T ab le  1 ) .   T h ese  s y s tem s   in teg r ate  v is u al  en co d er s   with   L L Ms  to   p er f o r m   s u m m ar iza tio n ,   q u esti o n   an s wer in g ,   clas s if icatio n ,   o r   im ag s y n th esis .   Yet,   m o s f o llo w   d ir ec im ag e - to - tex t   p a r a d ig m ,   o f f e r   lim ited   ex p lain a b ilit y ,   an d   d o   n o t   in co r p o r ate  f in d in g s - g u id ed   wo r k f lo w,   wh ic h   is   s tan d ar d   i n   clin ical  r ep o r tin g .   T o   ad d r ess   th ese  lim itatio n s ,   t h is   s tu d y   p r o p o s es  n o v el  ex p lain ab le  f r am ewo r k   th at  in te g r ates  f o u r   c o m p l e m e n t a r y   in n o v atio n s .   F ir s t,  we  in tr o d u ce   f in d in g s - as - in p u p ar a d ig m   th at  alig n s   m o r clo s ely   with   r ea r ad io lo g ical  wo r k f l o ws  [ 1 2 ] .   Seco n d ,   we  e m p lo y   d u al  C NN  en s em b le  co m b in in g   R esNet - 5 0   an d   E f f icien tNet -   B 0   to   im p r o v e   v is u al  r ep r esen tatio n   q u ality   [ 1 3 ] .   T h ir d ,   g r ad ie n t - weig h t ed   class   ac tiv atio n   m ap p in g   ( Gr ad -   C AM )   is   u s ed   to   v is u alize   m o d el  atten tio n   p atter n s   an d   en h a n ce   in ter p r eta b ilit y   [ 1 4 ] .   Fin ally ,   th Gem m a - 3   1 B   lan g u ag m o d el  is   ef f icien tly   f in e - t u n ed   u s in g   lo w - r a n k   ad a p tatio n   ( L o R A) ,   en ab lin g   d o m ain   ad ap tatio n   wh ile   m ai n tain in g   co m p u tatio n al  e f f ici en cy   [ 1 5 ] .   T h c o n tr ib u tio n   o f   th is   w o r k   lies   in   b r id g in g   p er f o r m a n ce   an d   ex p lain .       T a b l e   1 .   R et l a te d   w o r k   S t u d y   I n p u t   O u t p u t   C o r e   a r c h i t e c t u r e   D a t a s e t   E x p l a i n a b i l i t y   M a i n   l i mi t a t i o n s   r e p o r t e d   in   l i t e r a t u r e   X r a y G P T   ( 2 0 2 3 )   [ 1 6 ]   C X R   i ma g e   +   F r e e - f o r t e x t   i n s t r u c t i o n s   Te x t u a l   r e p o r t   su mm a r y   a n d   f i n d i n g s   M e d i c a l   v i s i o n   e n c o d e r   +   G P T - st y l e   LL M   ~ 2 1 7 k   r e p o r t s   LLM   se l f - r a t i o n a l i z a t i o n   ( T e x t - o n l y )   N o   p i x e l - l e v e l   v i s u a l   g r o u n d i n g ;   p r o n e   t o   f a c t u a l   h a l l u c i n a t i o n i n   d e n s e   r e p o r t s.   C X R - LL a V A   ( 2 0 2 5 )   [ 1 7 ]   C X R   i ma g e   +   M u l t i m o d a l   q u e r y   F r e e - t e x t   i n t e r p r e t a t i o n   a n d   f i n d i n g s   C LI P   V i si o n   e n c o d e r   +   V i c u n a   LLM   5 9 2 k   C X R   i ma g e s   A t t e n t i o n   ma p ( V i su a l )   S h a l l o w   a n a t o mi c a l   g r o u n d i n g ;   n o t   o p t i m i z e d   f o r   st r u c t u r e d   r a d i o l o g y   i mp r e ssi o n s .   ELI X R   ( 2 0 2 3 )   [ 1 8 ]   C X R   i ma g e   +   V Q A   p r o m p t   D i a g n o st i c   l a b e l s   a n d   c l a ss i f i c a t i o n   P a LM   2   +   R a d i o l o g y   f o u n d a t i o n   mo d e l   M I M I C - C X R   I n t e r med i a t e   v i su a l   p r o m p t s   H i g h   c o m p u t a t i o n a l   c o s t ;   l a c k t h e   n a r r a t i v e   d e t a i l   f o u n d   i n   s p e c i a l i st - g e n e r a t e d   r e p o r t s.   Li t e G P ( 2 0 2 4 )   [ 1 9 ]   C X R   i ma g e   +   Lo c a l i z a t i o n   p r o m p t   D e t e c t e d   f i n d i n g s   w i t h   b o u n d i n g   b o x e s   Li g h t w e i g h t   V i si o n - L a n g u a g e   M o d e l   V i n D r - C X R   Ta sk - l e v e l   l o c a l i z a t i o n   O p t i mi z e d   f o r   o b j e c t   d e t e c t i o n / c l a s si f i c a t i o n   r a t h e r   t h a n   f u l l   l i n g u i st i c   r e p o r t   g e n e r a t i o n .   R o e n t G e n   ( 2 0 2 2 )   [ 2 0 ]   Te x t   p r o m p t   ( R a d i o l o g y   l a n g u a g e )   S y n t h e t i c   C X R   i ma g e   D i f f u si o n - b a s e d   V f o u n d a t i o n   mo d e l   M I M I C - C X R   5 c l a ssi f i e r   i mp r o v e me n t   D e si g n e d   f o r   s y n t h e t i c   i ma g e   g e n e r a t i o n / a u g me n t a t i o n ,   n o t   d i a g n o st i c   r e p o r t i n g .   G e mm a 3 - 1 B     ( O u r s,  2 0 2 5 )   C X R   i ma g e   +   I n d i c a t i o n   +   F i n d i n g s   S t r u c t u r e d   R a d i o l o g y   I mp r e ssi o n   D u a l - C N N   ( R e sN e t - 5 0   Ef f N e t - B 0 )   +   G e mm a - 3   ( Lo R A )   O p e n - I   G r a d - C A M   +   Q u a n t i t a t i v e   C l i n i c a l   V a l i d a t i o n   i n g l e - c e n t e r   d a t a se t   e v a l u a t i o n ;   c l i n i c a l   v a l i d a t i o n   l i mi t e d   t o   a   mo d e st   e x p e r t   sam p l e .       2.   RE AS E RCH   M E T H O D   2 . 1 .     Sy s t e m   a rc hite ct ure  o v e rv iew   T h p r o p o s ed   s y s tem   f o llo ws  s eq u en tial  m u ltimo d al  p ip eli n f o r   ch est  X - r ay   r e p o r g en e r atio n ,   as  illu s tr ated   in   F i g u r e   1 .   E ac h   ch est  r ad io g r ap h   is   p r o ce s s ed   in   p ar allel  th r o u g h   two   c o n v o lu ti o n al  n e u r al   n etwo r k s   ( R esNet -   5 0   a n d   E f f icien tNet - B 0 ) ,   wh ich   ac t   as  f r o ze n   f ea tu r ex tr ac t o r s   to   ca p tu r co m p lem en tar y   v is u al  r ep r esen tatio n s   [ 2 1 ] ,   [ 2 2 ] .   T h ex t r ac ted   im ag f ea tu r es  ar co n ca ten ated   with   tex tu al  em b ed d i n g s   d er iv ed   f r o m   t h r ad io l o g y   r e p o r s ec tio n s   ( in d icatio n ,   f in d in g s ) ,   f o r m in g   a   jo in m u ltimo d al  r e p r esen tatio n .   T h is   f u s ed   r ep r esen tatio n   is   th en   in p u in to   a   p r etr ai n e d   Gem m a - 3   1 B   tr an s f o r m er   d ec o d er   f o r   r e p o r g en er atio n .   Du r in g   in f er e n ce ,   Gr ad - C AM   s al ien cy   m ap p in g   is   ap p lied   to   h ig h lig h im ag r eg io n s   m o s t   r elev an t to   th g en er ate d   r ep o r ts   [ 1 4 ] ,   [ 2 3 ].   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 5 0 2 - 4 7 52   In d o n esian   J   E lec   E n g   &   C o m p   Sci Vo l.  41 ,   No .   3 Ma r ch   20 2 6 :   1 0 6 0 - 1 0 6 9   1062       Fig u r 1 I ll u s tr ates   th e   p ar allel   C NN   f ea tu r e   ex tr ac tio n ,   m u ltimo d al   f u s io n ,   a n d   tr an s f o r m e r   d ec o d er   f o r   r ep o r g en er atio n       2 . 2   Da t a   prepa ra t i o n a nd   pro ce s s ing   2 . 2 . 1 .   Da t a s et   des cr iptio n a nd   qu a lity   co ntr o l   T h d ataset  c o n s is ts   o f   p air e d   ch est  X - r ay s   an d   f r ee - tex t   r ep o r ts   f r o m   th e   I n d ian a   u n iv e r s ity   ch est   X - r ay   co llectio n   ( Op en - I ) ,   w h ich   in clu d es  7 , 4 7 0   im ag es  an d   co r r esp o n d in g   s tr u ctu r ed   r ad i o lo g y   r ep o r ts   [ 2 4 ] .   E ac h   r ep o r is   d iv id ed   i n to   s ec tio n s   ( in d icatio n ,   f in d in g s ,   im p r ess io n ,   co m p a r is o n ,   tag s ) ,   en ab lin g   ta r g ete d   an aly s is .   q u ality   ass u r an ce   p r o to co l   f ilter ed   o u r ec o r d s   m is s in g   ess en tial  s ec tio n s   o r   co n tain in g   m in im al   co n ten t,  f o llo win g   p r io r   r ad io lo g y   r e p o r g en er atio n   s tu d ies  [ 2 5 ] .   Af ter   f ilter in g ,   7 , 4 1 5   h ig h - q u ality   im ag e - tex t p air s   r em ain ed   f o r   t r ain in g   an d   e v alu atio n .     2 . 2 . 2 Da t a   pa rt it io nin g   T h d ataset  was  s p lit  s tr atif ied   b y   ca s e:  8 0 f o r   tr ai n in g   a n d   2 0 f o r   v alid atio n ,   f o llo win g   s tan d ar d   p r ac tices  in   m ed ical  AI   r esear ch   [ 2 6 ] .   T h is   en s u r es  th at  ev a lu atio n   is   p er f o r m ed   o n   u n s ee n   ca s es,  p r o v id in g   r eliab le  esti m ates o f   g en er aliz atio n   p er f o r m an ce .     2 . 2 . 3 E x plo ra t o ry   da t a   a na l y s is   T h d is tr ib u tio n   o f   co m m o n   p ath o lo g ies  an d   r ep o r co n ten was  v is u alize d   to   d etec d ataset  im b alan ce .   As  ex p ec ted ,   h i g h   f r e q u en c y   o f   n o r m al  ca s e s   was  o b s er v ed ,   with   p h r ases   s u ch   as  n o   ac u te   ca r d io p u lm o n ar y   ab n o r m ality   d o m in atin g   I m p r ess io n   s ec tio n s ,   co n s is ten t w ith   lar g h o s p i tal  d atasets   [ 2 4 ] .     2 . 3   P re pro ce s s ing   pip eline   2 . 3 . 1 .   I m a g e   s t a nd a rdiza t io n   All c h est X - r ay s   wer s tan d ar d ized   f o r   C NN  in p u t:     Gr ay s ca le  im ag es we r co n v e r ted   to   3 - c h an n el  R GB .     R esized   to   2 2 4 ×2 2 4   p ix els u s i n g   b icu b ic  in ter p o latio n .     No r m alize d   with   I m a g eNe t m ea n   ( [ 0 . 4 8 5 ,   0 . 4 5 6 ,   0 . 4 0 6 ] )   an d   s td   ( [ 0 . 2 2 9 ,   0 . 2 2 4 ,   0 . 2 2 5 ] )   [ 2 7 ] ,   [ 2 8 ] .     2 . 3 . 2 T ex t   pro ce s s ing   a nd   t o k eniza t io n   R ep o r ts   wer s eg m en ted   in to   in d icatio n ,   f in d in g s ,   an d   im p r ess io n ,   ea ch   ca r r y in g   s p ec if ic  clin ical  in f o r m atio n   [ 2 9 ] .   Miss in g   s ec tio n s   wer r ep lace d   with   b lan k   tex t.  T h r etain e d   tex was  lo wer ca s ed ,   ex t r a   wh ites p ac r em o v ed ,   an d   to k e n ized   u s in g   B E R T   W o r d Piece   to k en izer .   T h [ C L S]  to k en   e m b ed d in g   ( 7 6 8 - D)   was e x tr ac ted   f r o m   p r etr ai n e d   B E R T   en co d er   f o r   ea ch   s ec tio n   [ 3 0 ] .     2 . 4   F e a t ure  ex t r a ct io n f r a mewo rk   2 . 4 . 1 .   Vis ua f ea t ure  ex t ra c t i o n   Dee p   co n v o lu tio n al   n eu r al  n etwo r k s   h av e   d em o n s tr ated   s tr o n g   p e r f o r m an ce   i n   m ed i ca im ag e   an aly s is   task s ,   m ak in g   th em   s u itab le  as f ea tu r ex tr ac t o r s   in   r ad io lo g y - o r ien ted   p i p elin es [ 3 1 ] .   -   R esNet - 5 0 last   co n v o lu tio n al   ac tiv atio n   f r o m   lay er   4   [ - 1 ] .   co n v 2   →  g lo b al  av e r ag p o o l in g   →  2 0 4 8 -   v ec to r .   -   E f f icien tNet - B 0 : la s t c o n v o lu t io n al  lay er   f ea t u r es [ - 1 ]   →  g lo b al  av er ag p o o lin g   →  1 2 8 0 - v ec to r .   Evaluation Warning : The document was created with Spire.PDF for Python.
I n d o n esian   J   E lec  E n g   &   C o m p   Sci     I SS N:   2 5 0 2 - 4 7 52       A   mu ltimo d a l fra mewo r fo r   ex p la in a b le  c h est x - r a r ep o r t g en era tio n   …  ( H a mza   C h eh ili )   1063   T h ese  v ec to r s   wer co n ca ten ated   →  3 3 2 8 - jo in v is u al  em b ed d in g   [ 2 1 ] ,   [ 2 2 ] ,   [ 1 4 ] ,   [ 3 2 ] .   Gr ad - C AM   h o o k s   wer r eg is ter ed   f o r   p o s t - h o ex p lain ab ilit y   an al y s is   [ 1 4 ] .     2 . 4 . 2 T ex t ua f ea t ure  e x t ra c t io n   [ C L S]  em b ed d i n g s   f r o m   in d i ca tio n   an d   f in d in g s   wer e   L 2 - n o r m alize d   an d   co n ca ten ated   →  1 5 3 6 - tex t e m b ed d i n g   [ 3 3 ] .     2 . 4 . 3 M ultim o da f ea t ure  f u s io n   Vis u al  ( 3 3 2 8 - D)   T e x tu al  ( 1 5 3 6 - D)   →  4 8 6 4 - m u ltimo d a f ea tu r v ec to r ,   s er v in g   as  in p u to   t h tr an s f o r m er   d ec o d e r   f o r   g e n er atin g   th I m p r ess io n   s ec tio n   [ 1 3 ] ,   [ 3 4 ] .     2 . 5   M o del  t ra ini ng   a nd   o pti m iza t io n   2 . 5 . 1 .   T ra ns f o rm er   a rc hite ct ure  s elec t io n   Gem m a - 3   1 B d ec o d er - o n ly   tr an s f o r m er   ( ~1 B   p ar am eter s ) ,   2 6   lay er s ,   h id d en   s ize  1 1 5 2 ,   4   atten tio n   h ea d s ,   3 2 , 0 0 0 - to k en   co n te x t w in d o [ 3 5 ] .   Gem m a - 3   1 B   with   L o R A   as sh o wn   in   T ab le  2 .     2 . 5 . 2 L o RA  f ine - t un ing   -   L o R A:  ap p lied   to   atten tio n   p r o jectio n s   q _ p r o j,  k _ p r o j,  v _ p r o j,  o _ p r o j.   -   R an k   r =8 ,   s ca lin g   α =1 6 ,   d r o p o u t=0 . 1 .   -   On ly   L o R p ar am eter s   wer t r ain ab le  →  ~0 . 6 5 p ar a m eter s   [ 3 6 ] .     2 . 5 . 3 T ra ini ng   pro t o co l a nd   hy perpa ra m et er s   -   1 0   ep o ch s ,   b atch   s ize  1 6 .   -   L ea r n in g   r ate  5 ×1 0 ⁻⁵,   v alid a tio n   ev er y   1 0 0   s tep s .   -   Nu cleu s   s am p lin g   ( to p - p =0 . 9 ,   tem p er atu r e= 0 . 7 )   →  m a x   5 1 2   to k en s   d u r i n g   r e p o r g en er atio n .       T ab le  2 .   Fin e - tu n in g   c o n f ig u r a tio n   f o r   Gem m a - 3   1 B   with   L o R A   P a r a m e t e r   V a l u e   To t a l   p a r a m e t e r s   ~1   b i l l i o n   T r a i n a b l e   p a r a m e t e r s   ( L o R A )   ~ 0 . 6 5   m i l l i o n   Lo R A   r a n k   (r)   8   Lo R A   a l p h a   16   Lo R A   d r o p o u t   0 . 1   Ta r g e t   l a y e r s   q _ p r o j ,   k _ p r o j ,   v _ p r o j ,   o _ p r o j   O p t i m i z e r   A d a m W   L e a r n i n g   r a t e   5e - 5   B a t c h   s i z e   16   E p o c h s   10   E v a l u a t i o n   s t e p s   1 0 0   G e n e r a t i o n   t e m p e r a t u r e   0 . 7   T o p - p   ( n u c l e u s   s a m p l i n g )   0 . 9   M a x   g e n e r a t i o n   t o k e n s   5 1 2       2 . 6 .     E v a lua t i o n a nd   ex pla ina bil it y   2 . 6 . 1 .   Repo rt   g ener a t i o n pro t o co l   -   R ep o r ts   wer g en er ated   f r o m   th 2 0 % v alid atio n   s et.   -   E v alu atio n   m etr ics:   B L E U - 1   t o   B L E U - 4   [ 3 7 ] ,   R OUGE - 1 /2 / L   [ 3 8 ] .   B E R T Sco r [ 3 9 ] .     2 . 6 . 2 .   G ra d - CAM  inte g ra t io n   -   Gr ad - C AM   ap p lied   to   C NN  b ac k b o n es  to   g en er ate  h ea t m ap s   h ig h lig h tin g   clin ically   r elev an r eg io n s   ( Fig u r 2 ) .   -   E x am p le  clin ical  in ter p r etatio n I n   1 0 0   v alid atio n   im a g es,  r eg io n s   co r r esp o n d i n g   t o   co n s o lid atio n ,   ca r d io m eg aly ,   o r   p le u r al  ef f u s io n   wer c o n s is ten tly   h ig h lig h ted ,   co n f ir m i n g   a lig n m en with   r ep o r ted   im p r ess io n s .     2 . 6 . 3 .   Clini ca v a lid a t io n pro t o co l   T o   ev alu ate   clin ical  u tili ty ,   s tr u ctu r ed   ass ess m en was  co n d u cted   o n   5 0   r an d o m ly   s elec t ed   r ep o r ts .   s en io r   ex p er ( p u lm o n o lo g is t)   s co r ed   ea ch   g en er ated   i m p r ess io n   o n   s ca le  o f   0 %   to   1 0 0 b ased   o n   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 5 0 2 - 4 7 52   In d o n esian   J   E lec   E n g   &   C o m p   Sci Vo l.  41 ,   No .   3 Ma r ch   20 2 6 :   1 0 6 0 - 1 0 6 9   1064   d iag n o s tic   ac cu r ac y   an d   p r o f ess io n al  p h r asin g .   s co r o < 7 5 was  d ef in ed   as  th th r esh o ld   f o r   clin ical   ac ce p tab ilit y .           Fig u r 2 .   Gr a d - C AM   Vis u aliz atio n   f o r   R esNet5 0   an d   E f f icie n tNetB 0       3.   RE SU L T S AN D I SCU SS I O N   3 . 1 .     Q ua ntit a t iv perf o rma nce  a na ly s is   Ou r   f in e - tu n e d   Gem m a - 3   1 B   m o d el  was  ev alu ated   o n   v al id atio n   s et  o f   3 0 0   r ad io l o g ica s am p le s   u s in g   s tan d ar d   m etr ics f o r   m e d ical  tex g e n er atio n ,   en a b lin g   m u ltid im en s io n al   an aly s is   o f   m o d el  p er f o r m an ce   ac r o s s   estab li s h ed   b en ch m ar k s   f r o m   Op en - I   d ataset .   T ab le  3   p r esen ts   th co m p r eh en s iv p er f o r m a n ce   ev alu atio n   r esu lts .   T h B L E s co r p r o g r ess io n   an aly s is   r ev ea ls   ch ar ac ter is tic  p atter n   in   m ed ical  tex   g en er atio n   [ 3 7 ] .   T h e   B L E U - 1   s co r e   o f   0 . 4 3 7   d em o n s tr at es  s tr o n g   u n ig r am   p r ec is io n ,   wh ile  th e   g r a d u al   d ec r ea s to   B L E U - 4   ( 0 . 2 7 9 )   r ef lects  th n atu r al  co m p lex ity   o f   m ain tain in g   e x ac f o u r - g r am   m atc h es  in   m ed ical  ter m in o lo g y ,   alig n i n g   with   o b s er v atio n s   th at  m ed ical  tex ts   r eq u ir m o r e   f lex ib le  ev alu atio n   ap p r o ac h es d u to   ter m in o lo g i ca l v ar iatio n s   [ 4 0 ] .   T h R OUGE - L   F1   s co r o f   0 . 5 1 9   d em o n s tr ates  s tr o n g   ca p ab ilit y   i n   m ain tain i n g   s eq u en ce   co h er en ce ,   wh ic h   is   ess en tial   f o r   g en e r atin g   s tr u ctu r ed   r a d io lo g ical  im p r ess io n s   [ 3 8 ] .   T h ME T E OR   s co r o f   0 . 5 1 4   co n f i r m s   s ig n if ican t   s em an tic  alig n m en t,  in d icatin g   ef f ec tiv s y n o n y m   an d   p ar a p h r ase     re co g n itio n   [ 4 1 ] .   Fu r th er m o r e,   th h ig h   B E R T Sco r F 1   v alu e   ( 0 . 9 1 8 )   in d icate s   p r o f o u n d   s em an tic  u n d er s tan d i n g   o f   m ed ical  co n ten [ 3 9 ] ,   s u g g esti n g   th at  th m o d el  ac h iev es  h ig h   clin ical  in f o r m atio n   d en s ity .   T h ese  r esu lts   ar co n s is ten with   to p - p er f o r m i n g   ar c h i tectu r es  r ep o r ted   in   r ec en m e d i ca tex g en er atio n   s tu d ies [ 4 2 ] ,   th o u g h   f u r th er   v a lid atio n   o n   lar g er   d atasets   is   r eq u ir ed   to   co n f ir m   th is   co n s is ten cy   ac r o s s   d iv er s clin ical  s ettin g s .       T ab le  3 Per f o r m an ce   ev alu ati o n   m etr ics  f o r   f in e - t u n ed   GE MM A - 3   1 B   M e t r i c s   B L E U - 1   B L E U - 2   B L E U - 3   B L E U - 4   R O U G E - L   ( F 1 )   M E T E O R   S c o r e   0 . 4 3 6 6   0 . 3 8 2 4   0 . 3 3 9 9   0 . 2 7 8 9   0 . 5 1 9 0   0 . 5 1 3 7       3. 2   F ine - t un ing   im pa ct   a s s ess m ent   T h ef f ec tiv en ess   o f   L o R f in e - tu n in g   f o r   m e d ical  d o m ai n   ad ap tatio n   was  d em o n s tr ate d   th r o u g h   co m p r eh e n s iv b ef o r e - an d - af t er   p er f o r m an ce   c o m p a r is o n ,   v alid atin g   th a p p r o ac h   f o r   s p ec ialized   m ed ical   ap p licatio n s .   T ab le  4   p r esen ts   th d etailed   co m p a r is o n   r esu l ts .   U n p r ec ed en ted   B L E U - 4   i m p r o v e m en o f   o v er   2 5 0 0 d em o n s tr ates  th m o d el's  en h an ce d   ab ilit y   to   m ain t ain   clin ical  ter m in o lo g y   p atte r n s .   T h ese  r esu lts   s u p p o r t   th u s o f   L o R f o r   a d ap tin g   lar g e   lan g u ag e   m o d els  to   m ed ical   d o m ai n s   wh ile  m ai n tain in g   co m p u tatio n al  e f f icien cy   [ 3 6 ] .     3 . 3 .     Co m pa ra t iv perf o r m a nce  a na ly s is   Ou r   m o d el  was  b en ch m ar k ed   ag ain s estab lis h ed   ar ch itectu r es  ( 2 0 1 7 2 0 2 5 )   to   ev alu ate  its   p er f o r m an ce   with in   th cu r r en t   s tate  o f   m ed ical  n atu r al  lan g u ag g en er atio n .   T ab le  5   p r esen ts   th e   co m p ar ativ e   r esu lts   o n   th e   O p en - I   ( I X - R ay )   d atas et.   Ou r   m o d el  ac h ie v es  co m p etitiv B L E U - p er f o r m an ce   an d   r ea ch es  th h ig h est  r ep o r ted   B L E U - 4   ( 0 . 2 7 9 )   f o r   th is   s p ec if ic  ev alu atio n   s ch em e.   T h e   Evaluation Warning : The document was created with Spire.PDF for Python.
I n d o n esian   J   E lec  E n g   &   C o m p   Sci     I SS N:   2 5 0 2 - 4 7 52       A   mu ltimo d a l fra mewo r fo r   ex p la in a b le  c h est x - r a r ep o r t g en era tio n   …  ( H a mza   C h eh ili )   1065   R OUGE - L   F1   s co r s h o ws  a   s ig n if ican im p r o v em e n o v er   th s elec ted   b aselin es,  r ep r esen tin g   3 4 . 5 in cr ea s co m p a r ed   t o   p r ev io u s   r ep o r ts .   T h ME T E OR   s co r in d icate s   n o tab le   g ain   in   s em an tic  s im ilar ity ,   s u g g esti n g   en h a n ce d   ca p ab ilit y   in   m ed ical  c o n ce p t a lig n m en t w ith in   th s co p o f   th is   co m p ar is o n .       T ab le  4 Per f o r m an ce   co m p a r i s o n   b ef o r e   an d   a f ter   f in e - t u n i n g   M e t r i c   B e f o r e   f i n e - t u n i n g   A f t e r   f i n e - t u n i n g   I m p r o v e m e n t   B L E U - 1   0 . 0 5 3 3   0 . 4 3 6 6   + 7 1 9 . 3 %   B L E U - 2   0 . 0 2 4 6   0 . 3 8 2 4   + 1 4 5 4 . 5 %   B L E U - 3   0 . 0 1 5 4   0 . 3 3 9 9   + 2 1 0 7 . 8 %   B L E U - 4   0 . 0 1 0 7   0 . 2 7 8 9   + 2 5 0 6 . 5 %   R O U G E - L   ( F 1 )   0 . 0 5 8 2   0 . 5 1 9 0   + 7 9 1 . 8 %   M E T E O R   0 . 1 2 4 6   0 . 5 1 3 7   + 3 1 2 . 3 %   B ER TSc o r e   ( P r e c i s i o n )   0 . 7 9 8 6   0 . 9 1 7 3   + 1 4 . 9 %   B ER TSc o r e   ( R e c a l l )   0 . 8 5 6 7   0 . 9 1 8 6   + 7 . 2 %   B ER TSc o r e   ( F 1 )   0 . 8 2 6 5   0 . 9 1 7 6   + 1 1 . 0 %       T ab le  5 C o m p a r ativ p er f o r m an ce   an aly s is   o n   I u   X - R ay   d at aset   M o d e l s   B L E U - 1   B L E U - 2   B L E U - 3   B L E U - 4   R O U G E - L   M E T E O R   B ER TSc o r e   ( F 1 )   Tr a n sf o r mer   ( 2 0 1 7 )   0 . 3 7 2   0 . 2 5 1   0 . 1 4 7   0 . 1 3 6   0 . 3 1 7   0 . 1 6 8   -   R 2 G e n   ( 2 0 2 0 )   0 . 4 7 0   0 . 3 0 4   0 . 2 1 9   0 . 1 6 5   0 . 3 7 1   0 . 1 8 7   -   R 2 G e n C M N   ( 2 0 2 1 )   0 . 4 7 5   0 . 3 0 9   0 . 2 2 2   0 . 1 7 0   0 . 3 7 5   0 . 1 9 1   -   A l i g n Tr a n s   ( 2 0 2 1 )   0 . 4 8 4   0 . 3 1 3   0 . 2 2 5   0 . 1 7 3   0 . 3 7 9   0 . 2 0 4   -   C l i n i c a l - B ER T   ( 2 0 2 2 )   0 . 4 9 5   0 . 3 3 0   0 . 2 3 1   0 . 1 7 0   0 . 3 7 6   0 . 2 0 9   -   M a m b a X r a y - VL - L a r g e   ( 2 0 2 4 )   0 . 4 9 1   0 . 3 3 0   0 . 2 4 1   0 . 1 8 5   0 . 3 7 1   0 . 2 1 6   -   B o o t s t r a p p i n g L L M   ( 2 0 2 4 )   0 . 4 9 9   0 . 3 2 3   0 . 2 3 8   0 . 1 8 4   0 . 3 9 0   0 . 2 0 8   -   O u r   P r o p o s i t i o n   0 . 4 3 6 6   0 . 3 8 2 4   0 . 3 3 9 9   0 . 2 7 8 9   0 . 5 1 9 0   0 . 5 1 3 7   0 . 9 1 7 6       3 . 4 .     E x pla ina bil it y   a nd   qu a ntit a t iv clinica l v a lid a t io n   Gr ad - C AM   h ea tm ap s   r ev ea led   an ato m ically   r elev a n atten tio n   p atter n s   ac r o s s   b o th   C NN   ar ch itectu r es,  h ig h li g h tin g   h ilar   an d   p u lm o n ar y   r eg io n s   in   alig n m en with   th g en er ated   im p r ess io n s .   W h ile   th ese  v is u al  ju s tific atio n s   s u p p o r in ter p r etab ilit y   [ 1 4 ] ,   w ac k n o wled g th at  v is u al  ev alu atio n   r em ain s   q u alitativ e.   C o n s eq u en tly ,   v is u al  in ter p r etatio n s   ca n n o t b o b jectiv ely   co m p ar e d   ac r o s s   m o d els with o u t p ix el - lev el  q u an tit ativ m etr ics  ( e. g . ,   I o U) .   T o   p r o v id an   o b je ctiv m ea s u r o f   u tili ty   an d   s u p p o r th ese  v is u al  f in d in g s ,   s tr u ctu r e d   q u an tita tiv clin ical  v alid atio n   was  p er f o r m e d   o n   5 0   s am p les  b y   a   d o m ai n   s p ec ialis t.  T ab le  6   s u m m ar izes th p er f o r m an ce   ac r o s s   f o u r   k e y   in d icat o r s .       T ab le  6 clin ical  v alid atio n   m e tr ics an d   p er f o r m an ce   in d icato r s   ( n =5 0 )   M e t r i c   R e s u l t   C l i n i c a l   s i g n i f i c a n c e   C l i n i c a l   a c c e p t a b i l i t y   ( 7 5 %)   7 8 . 0 %   S a mp l e s   mee t i n g   c l i n i c a l l y   a c c e p t a b l e   a c c u r a c y   l e v e l s .   P r o f e ssi o n a l   e q u i v a l e n c e   ( 1 0 0 %)   6 4 . 0 %   I n d i c a t e s   e x c e p t i o n a l   c a p a b i l i t y   f o r   a u t o m a t e d   i m p r e ss i o n   g e n e r a t i o n .   D i a g n o st i c   a c c u r a c y   ( 5 0 %)   8 6 . 0 %   S a mp l e s   d e mo n st r a t i n g   s u c c e ssf u l   a n o ma l y   d e t e c t i o n   C l i n i c a l   f a i l u r e   r a t e   ( 0 %)   8 . 0 %   R e p r e se n t s   a c c e p t a b l e   r i s k   f o r   su p e r v i sed   c l i n i c a l   d e p l o y m e n t .       T h 7 8 . 0 ac ce p tab ilit y   r ate  co n f ir m s   th m o d el’ s   p o ten tia f o r   s ec o n d - r ea d er   ass is tan ce   an d   p ilo im p lem en tatio n   u n d e r   r ad i o l o g is o v er s ig h t.   W h ile  1 4 . 0 o f   r ep o r ts   s h o wed   lin g u is tic  o v er - elab o r atio n   ( d iag n o s tically   ac cu r ate  b u r eq u ir in g   m in o r   ed ito r ial  r ef in em en t) ,   th h ig h   d iag n o s tic  ac cu r ac y   ( 8 6 . 0 %)   v alid ates  th f r am ewo r k ' s   clin ical  u tili ty .   T h is   q u an titativ ev id en ce   s u p p o r ts   th q u alitativ f in d in g s   o f   th e   Gr ad - C AM   v is u aliza tio n s ,   p r o v id in g   r o b u s b asis   f o r   cl in ical  d ep lo y m en a n d   a d d r e s s in g   th in h er e n t   lim itatio n s   o f   p u r ely   v is u al  in t er p r etatio n s .   Ov er all,   th p r o p o s ed   m u ltimo d al  f r am ewo r k   ad v a n ce s   ch est  X - r ay   im p r ess io n   g en er atio n   b y   ex p licitly   co m b i n in g   v is u al  f ea tu r es  f r o m   d u al - C NN  b ac k b o n with   clin ical  tex em b ed d in g s   an d   co n d itio n in g   th lan g u ag m o d el  v ia  L o R A.   T h is   d esig n   p r o d u ce d   m ea s u r ab le  im p r o v em en ts   in   au to m atic  m etr ics  an d   ac h iev ed   clin ical  ac ce p tab ilit y   in   7 8 o f   ex p er r ev iews,  in d icatin g   b et ter   alig n m en with   r ad io lo g is ex p ec tatio n s   th a n   m an y   im ag e - o n ly   a p p r o ac h e s .   T h ese  r esu lts   s h o th at  in co r p o r ati n g   clin ical  co n tex t r ed u ce s   h allu cin atio n s   an d   in cr ea s es u tili ty   n ec es s a r y   s tep   to war d   p r ac tical  d ep lo y m en t a s   s ec o n d - r ea d er   ass is tan t.  W h ile  th s tu d y   is   b o u n d ed   b y   its   u s o f   s in g le  d ataset  an d   a   m o d est  cli n ica s am p le  s ize,   it   estab lis h es  co n cr ete,   r ep r o d u cib le  b aselin f o r   f u t u r r ese ar ch   to   b u ild   u p o n   r eg ar d in g   g en er aliza tio n   an d   r ea l - wo r ld   clin ical  im p ac t.     Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 5 0 2 - 4 7 52   In d o n esian   J   E lec   E n g   &   C o m p   Sci Vo l.  41 ,   No .   3 Ma r ch   20 2 6 :   1 0 6 0 - 1 0 6 9   1066   4.   CO NCLU SI O N   T h is   s tu d y   p r esen ted   an   ex p lain ab le  m u ltimo d al  f r a m ewo r k   f o r   ch est  X - r ay   r ep o r g en er a tio n   u s in g   d u al   C NN  b ac k b o n e   an d   L o R A - f in e - tu n ed   Gem m a - 3   m o d el.   Qu an titativ ely ,   th e   f r am e wo r k   ac h iev ed   h ig h   lin g u is tic  s c o r e s   ( B L E U - 4 =0 . 2 7 9 ,   R OUGE - L =0 . 5 1 9 )   an d   7 8 clin ical  ac ce p tab ilit y   r ate,   with   6 4 o f   r ep o r ts   ac h ie v in g   co m p lete  p r o f ess io n al  e q u iv alen ce .   T h ese  m etr ics,  s u p p o r ted   b y   Gr ad - C AM   v is u al  ju s tific atio n s ,   s u g g est th s y s tem ' s   p o ten tial a s   r eliab le  s ec o n d - r e ad er   ass is tan t in   clin ical  wo r k f lo ws.   Desp ite  th ese  r esu lts ,   s ev er al  lim itatio n s   p er s is t.  First,  th m o d el  was  tr ain e d   o n   s in g le  d ataset  ( Op en - I ) ,   r e s t r i c t i n g   g en er aliza b ilit y   ac r o s s   d if f er en ac q u is itio n   p r o to c o ls .   Seco n d ,   wh ile  clin ical  u tili ty   was   q u an titativ ely   v alid ated   th r o u g h   ex p e r s co r in g ,   th p ix el - lev el  ex p lain ab ilit y   r em ai n s   q u alitativ e.   T h ab s en ce   o f   au to m ated   lo ca liz atio n   m etr ics,  s u ch   as  I n ter s e ctio n   o v er   Un io n   ( I o U) ,   p r ec lu d es  an   o b jectiv s tatis t ical  co m p ar is o n   o f   v is u al  in ter p r etatio n s .   Fu r th er m o r e,   th clin ical  v alid atio n   was  lim ite d   to   s in g le  d o m ain   s p ec ialis ( p u lm o n o l o g is t)   an d   m o d est  s am p le  s ize;  th u s ,   th ese   f in d in g s   s h o u ld   b v iewe d   as   p r elim in ar y   i n d icato r s   o f   u tili ty   r ath er   t h an   u n iv er s al  clin ical  p r o o f .   Fu tu r wo r k   will  f o c u s   o n   v alid atin g   th e   m o d el  o n   lar g er   d atasets   ( MI MI C - C XR ) ,   in teg r atin g   q u an titativ XAI   m etr ics  to   ass es s   lo ca lizatio n   p r ec is io n ,   an d   ex p an d in g   clin ical  tr ial s   to   m u lti - r ea d er ,   b lin d ed   s tu d ies  i n v o l v i n g   b r o ad er   p a n el  o f   r ad i o lo g is ts .   T h ese  s tep s   ar es s en tial to   tr an s i tio n   th f r am ewo r k   f r o m   r esear ch   to o l t o   s tatis tically   v alid ated   clin ical  ass is t an t.       ACK NO WL E DG M E N T S   W g r atef u lly   ac k n o wled g D r .   T aib   Ab d e r r ah m a n e,   p u lm o n o lo g is t,  f o r   h is   in v alu ab le   ass is tan ce   in   th clin ical  e v a l u a t i o n   o f   th g en er ated   r ep o r ts .       F UNDING   I NF O R M A T I O N   Au th o r s   s tate  n o   f u n d in g   in v o lv ed .       AUTHO CO NT RI B UT I O NS ST A T E M E N T   T h is   jo u r n al  u s es  th co n tr ib u to r   r o les  tax o n o m y   ( C R ed iT)   to   r ec o g n ize  in d iv id u al  au th o r   co n tr ib u tio n s ,   r ed u ce   au th o r s h ip   d is p u tes,  an d   f ac ilit ate  co llab o r atio n .     Na m o f   Aut ho r   C   M   So   Va   Fo   I   R   D   O   E   Vi   Su   P   Fu   Ham za   C h e h i l i                               No u r h en e   B o u g o u r z i                               R aid a   Ma lak   M a k h l o u f                               Had jer   T a i b                               Mu s tap h a   B e n s a a d a                                 C     C o n c e p t u a l i z a t i o n   M     M e t h o d o l o g y   So     So f t w a r e   Va     Va l i d a t i o n   Fo     Fo r mal   a n a l y si s   I     I n v e s t i g a t i o n   R     R e so u r c e s   D   :   D a t a   C u r a t i o n   O   :   W r i t i n g   -   O r i g i n a l   D r a f t   E   :   W r i t i n g   -   R e v i e w   &   E d i t i n g   Vi     Vi su a l i z a t i o n   Su     Su p e r v i s i o n   P     P r o j e c t   a d m i n i s t r a t i o n   Fu     Fu n d i n g   a c q u i s i t i o n         CO NF L I C T   O F   I N T E R E S T   ST A T E M E NT   Au th o r s   s tate  n o   co n f lict o f   in t er est.       DATA AV AI L AB I L I T Y   T h d ata  s u p p o r tin g   th e   f in d in g s   o f   th is   s tu d y   ar e   o p e n ly   av ailab le  in   th Op e n - I   C h est  X - r ay   R ep o s ito r y   p r o v id e d   b y   th U. S.   Natio n al   L ib r ar y   o f   Me d icin e,   ac ce s s ib le  at:  h ttp s ://o p en i.n lm . n ih . g o v /f aq ? d o wn lo ad =tr u e.   T h s o u r ce   co d u s ed   to   r e p r o d u ce   all  ex p er im e n ts   an d   r e s u lts   r ep o r ted   in   th is   ar ticle  i s   p u b licly   av ailab le  in   th f o llo win g   Git Hu b   r ep o s ito r y :   h ttp s ://g ith u b . co m /n o u r h en e 1 9 6 /o p en i_ c h est_ x r ay .       Evaluation Warning : The document was created with Spire.PDF for Python.
I n d o n esian   J   E lec  E n g   &   C o m p   Sci     I SS N:   2 5 0 2 - 4 7 52       A   mu ltimo d a l fra mewo r fo r   ex p la in a b le  c h est x - r a r ep o r t g en era tio n   …  ( H a mza   C h eh ili )   1067   RE F E R E NC E S   [ 1 ]   M .   G a m b a t o   e t   a l . ,   C h e s t   X - r a y   i n t e r p r e t a t i o n :   d e t e c t i n g   d e v i c e a n d   d e v i c e - r e l a t e d   c o m p l i c a t i o n s ,   D i a g n o st i c s ,   v o l .   1 3 ,   n o .   4 ,   p .   5 9 9 ,   F e b .   2 0 2 3 ,   d o i :   1 0 . 3 3 9 0 / d i a g n o st i c s 1 3 0 4 0 5 9 9 .   [ 2 ]   Y .   R y u ,   C h e st   x - r a y   i n t e r p r e t a t i o n   w i t h   A B C D EFG H I   ( a n   a p p r o a c h )   |   r a d i o l o g y   r e f e r e n c e   a r t i c l e   |   r a d i o p a e d i a . o r g ,   R a d i o p a e d i a .   A c c e sse d :   D e c .   0 2 ,   2 0 2 5 .   [ O n l i n e ] .   A v a i l a b l e :   h t t p s: / / r a d i o p a e d i a . o r g / a r t i c l e s/ c h e st - x - r a y - i n t e r p r e t a t i o n - w i t h - a b c d e f g h i - an - a p p r o a c h   [ 3 ]   A .   P .   B r a d y ,   Er r o r   a n d   d i s c r e p a n c y   i n   r a d i o l o g y :   i n e v i t a b l e   o r   a v o i d a b l e ? ,   I n si g h t s   i n t o   I m a g i n g ,   v o l .   8 ,   n o .   1 ,   p p .   1 7 1 1 8 2 ,   F e b .   2 0 1 7 ,   d o i :   1 0 . 1 0 0 7 / s 1 3 2 4 4 - 016 - 0 5 3 4 - 1.   [ 4 ]   M .   I .   M i t y u l ,   B .   G i l c r e a s e - G a r c i a ,   M .   D .   M a n g a n o ,   J.  L.   D e mert z i s ,   a n d   A .   J.  G u n n ,   R a d i o l o g y   r e p o r t i n g :   c u r r e n t   p r a c t i c e a n d   a n   i n t r o d u c t i o n   t o   p a t i e n t - c e n t e r e d   o p p o r t u n i t i e f o r   i mp r o v e m e n t ,   Am e ri c a n   J o u rn a l   o f   R o e n t g e n o l o g y ,   v o l .   2 1 0 ,   n o .   2 ,   p p .   3 7 6 3 8 5 ,   F e b .   2 0 1 8 ,   d o i :   1 0 . 2 2 1 4 / A JR . 1 7 . 1 8 7 2 1 .   [ 5 ]   S .   A .   A l o w a i s   e t   a l . ,   R e v o l u t i o n i z i n g   h e a l t h c a r e :   t h e   r o l e   o f   a r t i f i c i a l   i n t e l l i g e n c e   i n   c l i n i c a l   p r a c t i c e ,   B MC   M e d i c a l   E d u c a t i o n v o l .   2 3 ,   n o .   1 ,   p .   6 8 9 ,   S e p .   2 0 2 3 ,   d o i :   1 0 . 1 1 8 6 / s 1 2 9 0 9 - 0 2 3 - 0 4 6 9 8 - z.   [ 6 ]   M .   A f z a l ,   K .   E.   F r e n c h ,   L.   E.   B i l b r e y ,   a n d   A .   A .   F a r u k i ,   A r t i f i c i a l   i n t e l l i g e n c e   i n   t h e   c l i n i c :   c r e a t i n g   h a r m o n y   o r   j u st   a d d i n g   n o i s e ? ,   Am e r i c a n   S o c i e t y   o f   C l i n i c a l   O n c o l o g y   E d u c a t i o n a l   Bo o k ,   v o l .   4 5 ,   n o .   3 ,   2 0 2 5 ,   d o i :   1 0 . 1 2 0 0 / e d b k - 25 - 4 8 1 4 9 0 .   [ 7 ]   S .   N e r e l l a   e t   a l . ,   Tr a n sf o r m e r a n d   l a r g e   l a n g u a g e   m o d e l s   i n   h e a l t h c a r e :   A   r e v i e w ,   Art i f i c i a l   I n t e l l i g e n c e   i n   Me d i c i n e ,   v o l .   1 5 4 ,   p .   1 0 2 9 0 0 ,   A u g .   2 0 2 4 ,   d o i :   1 0 . 1 0 1 6 / j . a r t me d . 2 0 2 4 . 1 0 2 9 0 0 .   [ 8 ]   H .   N a v e e d   e t   a l . ,   A   c o mp r e h e n s i v e   o v e r v i e w   o f   l a r g e   l a n g u a g e   mo d e l s ,”  AC T ra n s a c t i o n o n   I n t e l l i g e n t   S y s t e m a n d   T e c h n o l o g y ,   v o l .   1 6 ,   n o .   5 ,   p p .   1 7 2 ,   O c t .   2 0 2 5 ,   d o i :   1 0 . 1 1 4 5 / 3 7 4 4 7 4 6 .   [ 9 ]   S .   D u r g a r a j u ,   D .   V .   T.   V e l ,   a n d   H .   M a d a t h a l a ,   Tr a n sf o r mi n g   h e a l t h c a r e   d i a g n o s t i c s:   a   c o mp r e h e n s i v e   r e v i e w   o f   c o n v o l u t i o n a l   n e u r a l   n e t w o r k i n   me d i c a l   i m a g i n g   a n d   d i se a se  p r e d i c t i o n ,   i n   6 t h   I n t e rn a t i o n a l   C o n f e r e n c e   o n   M o b i l e   C o m p u t i n g   a n d   S u s t a i n a b l e   I n f o rm a t i c s ,   I C M C S I   2 0 2 5   -   Pro c e e d i n g s ,   I EEE,   Ja n .   2 0 2 5 ,   p p .   1 1 6 7 1 1 7 4 .   d o i :   1 0 . 1 1 0 9 / I C M C S I 6 4 6 2 0 . 2 0 2 5 . 1 0 8 8 3 0 9 3 .   [ 1 0 ]   E.   T j o a   a n d   C .   G u a n ,   A   s u r v e y   o n   e x p l a i n a b l e   a r t i f i c i a l   i n t e l l i g e n c e   ( X A I ) :   t o w a r d   m e d i c a l   X A I ,   I EEE  T r a n s a c t i o n s   o n   N e u r a l   N e t w o rks  a n d   L e a rn i n g   S y st e m s ,   v o l .   3 2 ,   n o .   1 1 ,   p p .   4 7 9 3 4 8 1 3 ,   N o v .   2 0 2 1 ,   d o i :   1 0 . 1 1 0 9 / TN N LS . 2 0 2 0 . 3 0 2 7 3 1 4 .   [ 1 1 ]   A .   H o l z i n g e r ,   G .   L a n g s,  H .   D e n k ,   K .   Z a t l o u k a l ,   a n d   H .   M ü l l e r ,   C a u s a b i l i t y   a n d   e x p l a i n a b i l i t y   o f   a r t i f i c i a l   i n t e l l i g e n c e   i n   med i c i n e ,   Wi l e y   I n t e rd i sc i p l i n a ry   Re v i e w s:   D a t a   M i n i n g   a n d   K n o w l e d g e   D i s c o v e r y ,   v o l .   9 ,   n o .   4 ,   Ju l .   2 0 1 9 ,   d o i :   1 0 . 1 0 0 2 / w i d m. 1 3 1 2 .   [ 1 2 ]   J.  W a n g ,   A .   B h a l e r a o ,   a n d   Y .   H e ,   C r o ss - m o d a l   p r o t o t y p e   d r i v e n   n e t w o r k   f o r   r a d i o l o g y   r e p o r t   g e n e r a t i o n ,   L e c t u re   N o t e s   i n   C o m p u t e r   S c i e n c e   ( i n c l u d i n g   s u b seri e L e c t u r e   N o t e i n   Art i f i c i a l   I n t e l l i g e n c e   a n d   L e c t u r e   N o t e s   i n   Bi o i n f o rm a t i c s) ,   v o l .   1 3 6 9 5   LN C S ,   p p .   5 6 3 5 7 9 ,   2 0 2 2 ,   d o i :   1 0 . 1 0 0 7 / 9 7 8 - 3 - 0 3 1 - 1 9 8 3 3 - 5 _ 3 3 .   [ 1 3 ]   L.   D .   N g u y e n ,   R .   G a o ,   D .   Li n ,   a n d   Z.   L i n ,   B i o me d i c a l   i ma g e   c l a ssi f i c a t i o n   b a s e d   o n   a   f e a t u r e   c o n c a t e n a t i o n   a n d   e n sem b l e   o f   d e e p   C N N s ,   J o u r n a l   o f   Am b i e n t   I n t e l l i g e n c e   a n d   H u m a n i z e d   C o m p u t i n g ,   v o l .   1 4 ,   n o .   1 1 ,   p p .   1 5 4 5 5 1 5 4 6 7 ,   N o v .   2 0 2 3 ,   d o i :   1 0 . 1 0 0 7 / s 1 2 6 5 2 - 0 1 9 - 0 1 2 7 6 - 4.   [ 1 4 ]   S .   R .   R   e t   a l . ,   G r a d - c a m:   v i s u a l   e x p l a n a t i o n s   f r o m   d e e p   n e t w o r k v i a   g r a d i e n t - b a se d   l o c a l i z a t i o n ,   i n   Pr o c e e d i n g s   o f   t h e   I EEE   I n t e r n a t i o n a l   C o n f e r e n c e   o n   C o m p u t e r V i s i o n ,   2 0 1 7 ,   p p .   6 1 8 - - 6 2 6 .   [ O n l i n e ] .   A v a i l a b l e :   h t t p : / / a r x i v . o r g / a b s / 1 6 1 0 . 0 2 3 9 1   [ 1 5 ]   E.   H u   e t   a l . ,   Lo r a :   l o w - r a n k   a d a p t a t i o n   o f   l a r g e   l a n g u a g e   m o d e l s ,”  I C L 2 0 2 2   -   1 0 t h   I n t e rn a t i o n a l   C o n f e re n c e   o n   L e a r n i n g   Re p r e se n t a t i o n s ,   2 0 2 2 .   [ 1 6 ]   O .   T h a w a k a r   e t   a l . ,   X r a y G P T:   C h e s t   r a d i o g r a p h s   s u mm a r i z a t i o n   u si n g   m e d i c a l   v i si o n - l a n g u a g e   m o d e l s ,   M a y   2 0 2 5 ,   [ O n l i n e ] .   A v a i l a b l e :   h t t p : / / a r x i v . o r g / a b s / 2 3 0 6 . 0 7 9 7 1   [ 1 7 ]   S .   L e e ,   J.   Y o u n ,   H .   K i m,   M .   K i m ,   a n d   S .   H .   Y o o n ,   C X R - L La V A :   a   m u l t i mo d a l   l a r g e   l a n g u a g e   m o d e l   f o r   i n t e r p r e t i n g   c h e s t   X - r a y   i ma g e s ,   Eu r o p e a n   R a d i o l o g y ,   v o l .   3 5 ,   n o .   7 ,   p p .   4 3 7 4 4 3 8 6 ,   J a n .   2 0 2 5 ,   d o i :   1 0 . 1 0 0 7 / s 0 0 3 3 0 - 0 2 4 - 1 1 3 3 9 - 6.   [ 1 8 ]   S .   X u   e t   a l . ,   E LI X R :   T o w a r d a   g e n e r a l   p u r p o s e   X - r a y   a r t i f i c i a l   i n t e l l i g e n c e   sy s t e m   t h r o u g h   a l i g n m e n t   o f   l a r g e   l a n g u a g e   m o d e l s   a n d   r a d i o l o g y   v i s i o n   e n c o d e r s ,   S e p .   2 0 2 3 ,   [ O n l i n e ] .   A v a i l a b l e :   h t t p : / / a r x i v . o r g / a b s / 2 3 0 8 . 0 1 3 1 7   [ 1 9 ]   K .   L e - D u c   e t   a l . ,   Li t e G P T :   l a r g e   v i si o n - l a n g u a g e   m o d e l   f o r   j o i n t   c h e st   X - r a y   l o c a l i z a t i o n   a n d   c l a ss i f i c a t i o n   t a s k ,   J u l .   2 0 2 4 ,   [ O n l i n e ] .   A v a i l a b l e :   h t t p s: / / a r x i v . o r g / p d f / 2 4 0 7 . 1 2 0 64   [ 2 0 ]   P .   C h a m b o n   e t   a l . ,   R o e n t G e n :   v i s i o n - l a n g u a g e   f o u n d a t i o n   m o d e l   f o r   c h e st   X - r a y   G e n e r a t i o n ,   N o v .   2 0 2 2 ,   [ O n l i n e ] .   A v a i l a b l e :   h t t p : / / a r x i v . o r g / a b s/ 2 2 1 1 . 1 2 7 3 7   [ 2 1 ]   K .   H e ,   X .   Zh a n g ,   S .   R e n ,   a n d   J.   S u n ,   D e e p   r e s i d u a l   l e a r n i n g   f o r   i ma g e   r e c o g n i t i o n ,   i n   Pr o c e e d i n g o f   t h e   I EEE  C o m p u t e r   S o c i e t y   C o n f e re n c e   o n   C o m p u t e r V i si o n   a n d   P a t t e r n   Re c o g n i t i o n ,   2 0 1 6 ,   p p .   7 7 0 7 7 8 .   d o i :   1 0 . 1 1 0 9 / C V P R . 2 0 1 6 . 9 0 .   [ 2 2 ]   M .   T a n   a n d   Q .   V .   L e ,   Ef f i c i e n t N e t :   r e t h i n k i n g   m o d e l   sca l i n g   f o r   c o n v o l u t i o n a l   n e u r a l   n e t w o r k s ,   i n   3 6 t h   I n t e r n a t i o n a l   C o n f e re n c e   o n   M a c h i n e   L e a rn i n g ,   I C ML 2 0 1 9 ,   2 0 1 9 ,   p .   6 1 0 5 6 1 1 4 .   [ 2 3 ]   Z.   S a d e g h i   e t   a l . ,   A   r e v i e w   o f   e x p l a i n a b l e   a r t i f i c i a l   i n t e l l i g e n c e   i n   h e a l t h c a r e ,   C o m p u t e rs   a n d   E l e c t ri c a l   E n g i n e e ri n g ,   v o l .   1 1 8 ,   p .   1 0 9 3 7 0 ,   A u g .   2 0 2 4 ,   d o i :   1 0 . 1 0 1 6 / j . c o m p e l e c e n g . 2 0 2 4 . 1 0 9 3 7 0 .   [ 2 4 ]   D .   D e mn e r - F u sh ma n   e t   a l . ,   P r e p a r i n g   a   c o l l e c t i o n   o f   r a d i o l o g y   e x a mi n a t i o n f o r   d i st r i b u t i o n   a n d   r e t r i e v a l ,   J o u r n a l   o f   t h e   Am e ri c a n   Me d i c a l   I n f o rm a t i c s A ss o c i a t i o n ,   v o l .   2 3 ,   n o .   2 ,   p p .   3 0 4 3 1 0 ,   M a r .   2 0 1 6 ,   d o i :   1 0 . 1 0 9 3 / j a m i a / o c v 0 8 0 .   [ 25]   B .   J i n g ,   P .   X i e ,   a n d   E.   P .   X i n g ,   O n   t h e   a u t o ma t i c   g e n e r a t i o n   o f   me d i c a l   i mag i n g   r e p o r t s ,   i n   AC L   2 0 1 8   -   5 6 t h   An n u a l   M e e t i n g   o f   t h e   Asso c i a t i o n   f o C o m p u t a t i o n a l   L i n g u i st i c s ,   Pro c e e d i n g o f   t h e   C o n f e re n c e   ( L o n g   P a p e rs) ,   S t r o u d sb u r g ,   P A ,   U S A :   A sso c i a t i o n   f o r   C o m p u t a t i o n a l   L i n g u i st i c s ,   2 0 1 8 ,   p p .   2 5 7 7 2 5 8 6 .   d o i :   1 0 . 1 8 6 5 3 / v 1 / p 1 8 - 1 2 4 0 .   [ 2 6 ]   J.  I r v i n   e t   a l . ,   C h e X p e r t :   A   l a r g e   c h e st   r a d i o g r a p h   d a t a se t   w i t h   u n c e r t a i n t y   l a b e l s   a n d   e x p e r t   c o m p a r i so n ,   i n   3 3 r d   AA AI   C o n f e re n c e   o n   Ar t i f i c i a l   I n t e l l i g e n c e ,   AAAI  2 0 1 9 ,   3 1 st   I n n o v a t i v e   Ap p l i c a t i o n o f   A rt i f i c i a l   I n t e l l i g e n c e   C o n f e r e n c e ,   I AAI  2 0 1 9   a n d   t h e   9 t h   AA AI   S y m p o s i u m   o n   Ed u c a t i o n a l   A d v a n c e s   i n   Art i f i c i a l   I n t e l l i g e n c e ,   EAAI   2 0 1 9 ,   2 0 1 9 ,   p p .   5 9 0 5 9 7 .   d o i :   1 0 . 1 6 0 9 / a a a i . v 3 3 i 0 1 . 3 3 0 1 5 9 0 .   [ 2 7 ]   C .   S h o r t e n   a n d   T.   M .   K h o s h g o f t a a r ,   A   su r v e y   o n   i ma g e   d a t a   a u g m e n t a t i o n   f o r   d e e p   l e a r n i n g ,”  J o u r n a l   o f   Bi g   D a t a ,   v o l .   6 ,   n o .   1 ,   2 0 1 9 ,   d o i :   1 0 . 1 1 8 6 / s4 0 5 3 7 - 0 1 9 - 0 1 9 7 - 0.   [ 2 8 ]   N .   Ta j b a k h s h   e t   a l . ,   C o n v o l u t i o n a l   n e u r a l   n e t w o r k s   f o r   m e d i c a l   i ma g e   a n a l y s i s:   f u l l   t r a i n i n g   o r   f i n e   t u n i n g ? ,   I E EE  T ra n s a c t i o n s   o n   M e d i c a l   I m a g i n g ,   v o l .   3 5 ,   n o .   5 ,   p p .   1 2 9 9 1 3 1 2 ,   M a y   2 0 1 6 ,   d o i :   1 0 . 1 1 0 9 / T M I . 2 0 1 6 . 2 5 3 5 3 0 2 .   [ 2 9 ]   M .   P a h a d i a ,   S .   K h u r a n a ,   H .   G e h a ,   a n d   S .   T.   D e a h l ,   R a d i o l o g y   r e p o r t   w r i t i n g   sk i l l s:   l i n g u i st i c   a n d   t e c h n i c a l   g u i d e   f o r   e a r l y - c a r e e r   o r a l   a n d   ma x i l l o f a c i a l   r a d i o l o g i st s,”   I m a g i n g   S c i e n c e   i n   D e n t i st r y ,   v o l .   5 0 ,   n o .   3 ,   p p .   2 6 9 2 7 2 ,   2 0 2 0 ,   d o i :   1 0 . 5 6 2 4 / I S D . 2 0 2 0 . 5 0 . 3 . 2 6 9 .   [ 3 0 ]   E.   A l s e n t z e r   e t   a l . ,   P u b l i c l y   a v a i l a b l e   c l i n i c a l ,   i n   P ro c e e d i n g o f   t h e   2 n d   C l i n i c a l   N a t u r a l   L a n g u a g e   P ro c e ssi n g   Wo r k sh o p S t r o u d s b u r g ,   P A ,   U S A :   A sso c i a t i o n   f o r   C o m p u t a t i o n a l   L i n g u i s t i c s,  2 0 1 9 ,   p p .   7 2 7 8 .   d o i :   1 0 . 1 8 6 5 3 / v 1 / w 1 9 - 1 9 0 9 .   [ 3 1 ]   S .   S u g a n y a d e v i ,   V .   S e e t h a l a k s h mi ,   a n d   K .   B a l a sam y ,   A   r e v i e w   o n   d e e p   l e a r n i n g   i n   me d i c a l   i ma g e   a n a l y s i s,”   I n t e rn a t i o n a l   J o u rn a l   o f   M u l t i m e d i a   I n f o rm a t i o n   R e t ri e v a l ,   v o l .   1 1 ,   n o .   1 ,   p p .   1 9 3 8 ,   2 0 2 2 ,   d o i :   1 0 . 1 0 0 7 / s1 3 7 3 5 - 0 2 1 - 0 0 2 1 8 - 1.   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 5 0 2 - 4 7 52   In d o n esian   J   E lec   E n g   &   C o m p   Sci Vo l.  41 ,   No .   3 Ma r ch   20 2 6 :   1 0 6 0 - 1 0 6 9   1068   [ 3 2 ]   R .   R a j p o o t ,   M .   G o u r ,   S .   J a i n ,   a n d   V .   B .   S e mw a l ,   I n t e g r a t e d   e n sem b l e   C N N   a n d   e x p l a i n a b l e   A I   f o r   C O V I D - 1 9   d i a g n o si s   f r o m   C s c a n   a n d   X - r a y   i ma g e s,   S c i e n t i f i c   Re p o r t s ,   v o l .   1 4 ,   n o .   1 ,   p .   2 4 9 8 5 ,   O c t .   2 0 2 4 ,   d o i :   1 0 . 1 0 3 8 / s 4 1 5 9 8 - 0 2 4 - 7 5 9 1 5 - y.   [ 3 3 ]   J.  D e v l i n ,   M .   W .   C h a n g ,   K .   Le e ,   a n d   K .   T o u t a n o v a ,   B E R T:   P r e - t r a i n i n g   o f   d e e p   b i d i r e c t i o n a l   t r a n sf o r me r f o r   l a n g u a g e   u n d e r s t a n d i n g ,   i n   N AAC L   H L T   2 0 1 9   -   2 0 1 9   C o n f e r e n c e   o f   t h e   N o rt h   A m e ri c a n   C h a p t e o f   t h e   Ass o c i a t i o n   f o C o m p u t a t i o n a l   L i n g u i st i c s:   H u m a n   L a n g u a g e   T e c h n o l o g i e s   -   Pr o c e e d i n g o f   t h e   C o n f e re n c e ,   M a y   2 0 1 9 ,   p p .   4 1 7 1 4 1 8 6 .   [ O n l i n e ] .   A v a i l a b l e :   h t t p : / / a r x i v . o r g / a b s/ 1 8 1 0 . 0 4 8 0 5   [ 3 4 ]   X .   W a n g ,   G .   F i g u e r e d o ,   R .   L i ,   W .   E.   Zh a n g ,   W .   C h e n ,   a n d   X .   C h e n ,   A   su r v e y   o f   d e e p - l e a r n i n g - b a s e d   r a d i o l o g y   r e p o r t   g e n e r a t i o n   u si n g   m u l t i m o d a l   i n p u t s,”   Me d i c a l   I m a g e   A n a l y s i s ,   v o l .   1 0 3 ,   M a r .   2 0 2 5 ,   d o i :   1 0 . 1 0 1 6 / j . m e d i a . 2 0 2 5 . 1 0 3 6 2 7 .   [ 3 5 ]   G o o g l e ,   M e d G e mm a   m o d e l   c a r d   |   h e a l t h   a i   d e v e l o p e r   f o u n d a t i o n |   G o o g l e   f o r   d e v e l o p e r s.   A c c e sse d :   N o v .   2 8 ,   2 0 2 5 .   [ O n l i n e ] .   A v a i l a b l e :   h t t p s: / / d e v e l o p e r s. g o o g l e . c o m/ h e a l t h - ai - d e v e l o p e r - f o u n d a t i o n s/ med g e m ma/ mo d e l - c a r d   [ 3 6 ]   T.   D e t t mers ,   A .   P a g n o n i ,   A .   H o l t z m a n ,   a n d   L.   Z e t t l e mo y e r ,   Q LO R A :   e f f i c i e n t   f i n e t u n i n g   o f   q u a n t i z e d   LL M s,   i n   A d v a n c e s   i n   N e u ra l   I n f o rm a t i o n   Pr o c e ssi n g   S y s t e m s ,   2 0 2 3 ,   p p .   1 0 0 8 8 1 0 1 1 5 .   [ 3 7 ]   K .   P a p i n e n i ,   S .   R o u k o s,   T .   W a r d ,   a n d   W . - J.  Zh u ,   B L EU ,   i n   Pr o c e e d i n g s   o f   t h e   4 0 t h   A n n u a l   Me e t i n g   o n   Ass o c i a t i o n   f o r   C o m p u t a t i o n a l   L i n g u i s t i c -   A C L   0 2 ,   M o r r i st o w n ,   N J,   U S A :   A ss o c i a t i o n   f o r   C o mp u t a t i o n a l   Li n g u i st i c s,   2 0 0 1 ,   p .   3 1 1 .   d o i :   1 0 . 3 1 1 5 / 1 0 7 3 0 8 3 . 1 0 7 3 1 3 5 .   [ 3 8 ]   C. - Y .   L i n ,   R O U G E :   a   p a c k a g e   f o r   a u t o ma t i c   e v a l u a t i o n   o f   su m mari e s ,”   in   T e x t   S u m m a r i z a t i o n   Bra n c h e s   O u t ,   B a r c e l o n a ,   S p a i n :   A sso c i a t i o n   f o r   C o m p u t a t i o n a l   L i n g u i st i c s ,   2 0 0 4 .   [ O n l i n e ] .   A v a i l a b l e :   h t t p s : / / a c l a n t h o l o g y . o r g / W 0 4 - 1 0 1 3 /   [ 3 9 ]   T.   Z h a n g ,   V .   K i s h o r e ,   F .   W u ,   K .   Q .   W e i n b e r g e r ,   a n d   Y .   A r t z i ,   B e r t sc o r e :   e v a l u a t i n g   t e x t   g e n e r a t i o n   w i t h   b e r t ,”  8 t h   I n t e rn a t i o n a l   C o n f e re n c e   o n   L e a rn i n g   Re p res e n t a t i o n s ,   I C L 2 0 2 0 ,   F e b .   2 0 2 0 ,   [ O n l i n e ] .   A v a i l a b l e :   h t t p : / / a r x i v . o r g / a b s / 1 9 0 4 . 0 9 6 7 5   [ 4 0 ]   Z.   C h e n ,   Y .   S o n g ,   T . - H .   C h a n g ,   a n d   X .   W a n ,   G e n e r a t i n g   r a d i o l o g y   r e p o r t v i a   m e m o r y - d r i v e n   t r a n sf o r mer ,   A p r .   2 0 2 2 ,   [ O n l i n e ] .   A v a i l a b l e :   h t t p : / / a r x i v . o r g / a b s/ 2 0 1 0 . 1 6 0 5 6   [ 4 1 ]   S .   B a n e r j e e   a n d   A .   L a v i e ,   M ET EO R :   an   a u t o ma t i c   me t r i c   f o r   mt   e v a l u a t i o n   w i t h   i m p r o v e d   c o r r e l a t i o n   w i t h   h u man   j u d g m e n t s,   i n   I n t ri n si c   a n d   Ex t ri n s i c   Ev a l u a t i o n   Me a s u res   f o r   M a c h i n e   T ra n s l a t i o n   a n d / o r   S u m m a r i z a t i o n ,   Pr o c e e d i n g o f   t h e   W o rks h o p   AC L   2 0 0 5 ,   2 0 0 5 ,   p p .   6 5 7 2 .   [ 4 2 ]   S .   Zh a n g   e t   a l . ,   A u t o ma t e d   r a d i o l o g i c a l   r e p o r t   g e n e r a t i o n   f o r   c h e s t   X - R a y w i t h   w e a k l y - s u p e r v i se d   e n d - to - e n d   d e e p   l e a r n i n g ,”  2 0 2 0 ,   [ O n l i n e ] .   A v a i l a b l e :   h t t p : / / a r x i v . o r g / a b s / 2 0 0 6 . 1 0 3 4 7 .       B I O G RAP H I E S O F   AUTH O RS       Dr .   H a m z a   Chehi li           is  As so c iate   P ro fe ss o a F re M e n t o u ri  C o n sta n ti n e   1   Un iv e rsity   a n d   a   m e m b e o th e   LIRE   Lab o ra to r y   a Co n sta n ti n e   2   Un iv e rsit y .   His  e x p e rti se   sp a n c rit ica d o m a in in   m o d e rn   c o m p u ti n g ,   i n c lu d in g   i n fo rm a ti o n   sy ste m a rc h it e c tu re ,   so ftwa re   e n g i n e e rin g   m e th o d o l o g ies ,   b io i n fo rm a ti c a p p li c a ti o n s,  a n d   a rti ficia i n telli g e n c e   so lu ti o n s.   His  re se a rc h   f o c u se o n   d e v e l o p i n g   c u tt in g - e d g e   so l u ti o n s   a t h e   i n ters e c ti o n   o f   c o m p u ter  sc ien c e   a n d   b io l o g ica sy ste m s.  His  wo r k   c o n ti n u e t o   a d v a n c e   b o th   th e o re ti c a l   fra m e wo rk a n d   p ra c ti c a a p p li c a ti o n i n   so ftwa re   e n g i n e e rin g   a n d   b i o in f o rm a ti c s.  He   c a n   b e   c o n tac ted   a e m a il :   h . c h e h il i@ u m c . e d u . d z .         No u r h e n e   Bo u g o u r z i           is  a   g r a d u a te  stu d e n t   a n d   re se a rc h e in   Bio i n fo rm a ti c a F re M e n to u ri   Un i v e rsity   C o n sta n ti n e   1 ,   Al g e ria.  He a c a d e m ic  a n d   re se a rc h   i n tere sts   in c lu d e   m e d ica ima g e   a n a ly sis,  a rti ficia in telli g e n c e   in   h e a lt h c a re ,   a n d   m u lt imo d a d a ta   in teg ra ti o n .   I n   t h i stu d y ,   sh e   c o n tri b u te d   to   th e   c o n c e p ti o n ,   e x p e rime n tal  v a li d a ti o n ,   a n d   in terp re tatio n   o th e   p r o p o se d   m u lt imo d a fra m e wo rk   f o e x p l a in a b le  c h e st  X - ra y   re p o rt   g e n e ra ti o n .   He c u rre n t   re se a rc h   f o c u se o n   d e v e lo p i n g   tru stw o rth y   a n d   in ter p re tab le  A I   sy ste m fo c li n ica d e c isio n   su p p o rt,   with   a n   e m p h a sis  o n   t h e   f u sio n   o f   v is u a a n d   tex tu a l   m e d ica d a ta.  S h e   c a n   b e   c o n tac ted   a e m a il :   b o u g o u rz in o u r h e n e @g m a il . c o m .         Ra id a   Ma l a k   M a k h lo u f           re c e iv e d   h e M a ste r’s  d e g re e   in   Bi o in f o rm a ti c fro m   F re M e n to u ri  Un iv e rsity   Co n sta n ti n e   1 ,   Al g e ria.  S h e   is  c u rre n tl y   a   g ra d u a te  stu d e n a n d   re se a rc h e with   in tere sts  in   m e d ica ima g e   a n a l y sis,  m u lt imo d a lea rn in g ,   a n d   e x p lain a b le   a rti ficia in telli g e n c e   (XA I).   In   t h is  stu d y ,   sh e   c o n tri b u te d   to   th e   d e v e lo p m e n a n d   a n a l y sis  o f   th e   m u lt imo d a fra m e wo rk   fo e x p lai n a b le  c h e st  X - ra y   re p o r g e n e ra ti o n ,   fo c u si n g   o n   fe a tu re   in teg ra ti o n   a n d   e x p lain a b il it y   v is u a li z a ti o n .   S h e   c a n   b e   c o n tac ted   a e m a il :   ra id a m a k h lo u f2 5 @g m a il . c o m .       Evaluation Warning : The document was created with Spire.PDF for Python.
I n d o n esian   J   E lec  E n g   &   C o m p   Sci     I SS N:   2 5 0 2 - 4 7 52       A   mu ltimo d a l fra mewo r fo r   ex p la in a b le  c h est x - r a r ep o r t g en era tio n   …  ( H a mza   C h eh ili )   1069     H a d je r   Ta i b           is   a   g ra d u a te  stu d e n a n d   re se a rc h   train e e   i n   Bio i n f o rm a ti c a F re s   M e n to u ri  Un iv e rsity   Co n sta n ti n e   1 ,   Al g e ria.  He a c a d e m ic  a n d   re se a rc h   in tere sts  fo c u o n   th e   in teg ra ti o n   o a rti ficia i n telli g e n c e   in to   m e d ica ima g in g   a n d   h e a lt h c a re   a p p li c a ti o n s.  He r   wo rk   c e n ters   o n   t h e   d e v e lo p m e n o f   e x p lain a b le  AI  a p p r o a c h e in   ra d i o l o g y ,   p a rti c u larly   m u lt imo d a l   fra m e wo rk f o a u t o m a ted   a n d   i n terp re tab le   re p o r t   g e n e ra ti o n .   T h ro u g h   h e re se a rc h ,   sh e   a ims   to   e n h a n c e   th e   tran sp a re n c y   a n d   c li n ica re li a b il it y   o AI - a ss i ste d   d iag n o st ic  sy ste m s.  S h e   c a n   b e   c o n tac ted   a e m a il :   taib . h a d jer 0 1 @ g m a il . c o m .         Dr .   Mu sta p h a   Be n s a a d a           is  a   a ss istan p r o fe ss o a t h e   Un i v e rsity   o F re s   M e n to u ri  Co n sta n ti n e   1 ,   Al g e ria.    re se a rc h e a th e   F a c u lt y   o Na tu ra a n d   L ife  S c ien c e s.  He   is  a lso   a n   a ss o c iate   re se a rc h e a th e   Bio tec h n o l o g y   Re se a rc h   Ce n ter  Co n sta n ti n e   Alg e ria.  He   re c e n tl y   b e c a m e   h e a d   o t h e   Bio i n fo rm a ti c a n d   Artif icia In telli g e n c e   tea m .   He   h a p u b li s h e d   e x ten siv e ly   i n   v a ri o u s   field o f   g e n o m ics   a n d   m o lec u lar  b io lo g y .   He   tea c h e c o u rse i n   b io i n fo rm a ti c a n d   o m ics   i n   h u m a n   h e a lt h .   He   su p e rv ise d o c to ra l   th e se in   th e   fiel d   o f   m a le  in fe rti li t y   a n d   t h e   u se   o f   AI m o d e ls t o   p re d ict  p a th o lo g ies   c a u sin g   t h is p a t h o l o g y .     Evaluation Warning : The document was created with Spire.PDF for Python.