I nte rna t io na l J o urna l o f   I nfo rm a t ics a nd   Co m m un ica t io n T ec hn o lo g y   ( I J - I CT )   Vo l.  1 4 ,   No .   1 ,  A p r il   20 2 5 ,   p p .   9 1 ~ 10 1   I SS N:  2252 - 8 7 7 6 ,  DOI :  1 0 . 1 1 5 9 1 /iji ct . v 1 4 i 1 . pp 91 - 10 1           91       J o ur na l ho m ep a g e :  h ttp : //ij ict. ia esco r e. co m   Explain a ble ze ro - sho t  lea rning  and  t ra nsfer  learning  f o r re a l  time India n  h ea lt hca re       Swa t i Sa ig a o nk a r ,   Va ibh a v   Na ra wa de   D e p a r t me n t   o f   C o mp u t e r   E n g i n e e r i n g ,   R a mr a o   A d i k   I n st i t u t e   o f   Te c h n o l o g y ,   D   Y   P a t i l   D e e me d   t o   b e   U n i v e r si t y ,   N e r u l ,   I n d i a       Art icle  I nfo     AB S T RAC T   A r ticle  his to r y:   R ec eiv ed   Au g   2 8 ,   2 0 2 4   R ev is ed   Oct  1 5 ,   2 0 2 4   Acc ep ted   No v   1 9 ,   2 0 2 4       Cli n ica l  n o te  re se a rc h   is  g lo b a ll y   re c o g n ize d ,   b u t  wo r k   o n   re a l - ti m e   d a ta,  p a rti c u larly   fro m   I n d ia,  is  st il l   lag g i n g .   T h is  st u d y   i n it iate d   b y   trai n in g   m o d e ls  o n   m e d ica l  in fo rm a ti o n   m a rt  fo r  in ten siv e   c a re   (M IM IC)  c li n ica l  n o tes ,   fo c u sin g   o n   c o n d it i o n s l ik e   c h ro n ic  k id n e y   d ise a se   (CKD ),   m y o c a rd ial  in fa rc ti o n   (M I),   a n d   a sth m a   u sin g   th e   str u c tu re d   m e d ica l  d o m a in   b id irec ti o n a l   e n c o d e r  re p re se n t a ti o n s   fro m   tran sfo rm e rs   ( S M DBERT )   m o d e l.   S u b se q u e n tl y ,   th e se   m o d e ls  we re   a p p li e d   to   a n   In d ia n   d a tas e t  o b tai n e d   fr o m   tw o   h o s p it a ls.   Th e   k e y   d iffere n c e   b e twe e n   p u b li c l y   a v a il a b le   d a tas e ts  a n d   re a l - ti m e   d a ta  li e s  in   t h e   p re v a len c e   o f   c e rtain   d ise a se s.  F o r  e x a m p le,  in   a   re a l - ti m e   se tt in g ,   tu b e rc u l o sis  m a y   e x ist,   b u t   th e   M IM IC   d a tas e t  lac k s  c o rre sp o n d in g   c li n ica l  n o tes .   T h u s,  a n   in n o v a ti v e   a p p r o a c h   wa s  d e v e lo p e d   b y   c o m b i n in g   a   fin e - t u n e d   S M DBERT   m o d e l  wit h   a   c u sto m ize d   z e ro - sh o t  lea rn i n g   m e th o d   to   e ffe c ti v e ly   a n a l y z e   tu b e rc u l o sis - re late d   c li n ica l   n o tes .   A n o t h e r  re se a rc h   g a p   is   th e   lac k   o f  e x p lain a b il it y   b e c a u se   d e e p   lea rn in g   (D L)  m o d e ls  a re   in h e r e n tl y   b lac k - b o x .   T o   fu rt h e r  stre n g t h e n   th e   re li a b il it y   o f  t h e   m o d e ls,  lo c a l  in terp re tab le   m o d e l - a g n o st ic  e x p lan a ti o n s   (LI M E)  a n d   sh a p ley   a d d it i v e   e x p lan a ti o n s  (S HA P )  e x p lan a ti o n s  we re   p ro jec ted   a lo n g   with   n a rra ti v e   e x p lan a ti o n s  w h ich   g e n e ra ted   e x p lan a ti o n s  i n   a   n a tu ra l  lan g u a g e   f o rm a t.   Th u s,  th e   re se a rc h   p r o v i d e s  a   sig n ifi c a n t   c o n tri b u ti o n   wi th   e n se m b le  tec h n iq u e   o f   z e ro - sh o t   lea rn in g   a n d   S M DBERT  m o d e l  wit h   a n   a c c u ra c y   o f   0 . 9 2   a s  a g a in st   th e   sp e c ialize d   m o d e ls  li k e   s c ien ti fic  BERT   ( S CIBERT ) ,  b i o m e d ica l  BERT   ( BIOBERT )   a n d   c li n ica l  Bio BERT .   K ey w o r d s :   Dis til B E R T   E x p lain ab ilit y   I n d ian   c lin ical  n o tes   T r an s f er   lear n i n g   Z er o - s h o t le ar n in g   T h is i s  a n   o p e n   a c c e ss   a rticle   u n d e r th e   CC B Y - SA   li c e n se .     C o r r e s p o nd ing   A uth o r :   Swati Saig ao n k ar     Dep ar tm en t   o f   C o m p u ter   E n g i n ee r in g ,   R am r a o   Ad ik   I n s titu te  o f   T ec h n o lo g y   D Y P a ti l  De e m e d   to   b e   Un i v e rsity   Ne ru l,   In d ia   E m ail:  sw a . sa i. rt2 1 @d y p a ti l . e d u       1.   I NT RO D UCT I O N   T h e  ad o p tio n   o f   elec tr o n ic  h ea lth   r ec o r d   ( E HR )   s y s tem s   is   in cr ea s in g   s ig n if ican tly   [ 1 ] .   Pu b licly   ac ce s s ib le  r eso u r ce s   s u ch   as  t h e  m ed ical  in f o r m atio n   m ar t  f o r   in ten s iv e  ca r e  ( MI MI C ) ,   an d   en h an ce d   cr itical   ca r e  u n it  ( eI C U )   co llab o r ativ e   r esear ch   d atab ases   p r o v id e  v alu ab le  in f o r m atio n   o n   cr itical ly   ill  I C U  p atien ts .   Sp ec if ically ,   th e  MI MI C   I I I   d atab ase  in clu d es  d ata  f r o m   o v er   5 0 , 0 0 0   I C U  ad m is s io n s   [ 2 ] ,   a n d   t h e  eI C U  d ataset  co v er s   n ea r ly   two   m illi o n   ad m is s io n s   [ 3 ] .   Acc o r d in g   to   [ 4 ] ,   wh ile  th ese  d atasets   ar e  wid ely   av ailab le,   th er e  is   a  n o tab le  lack   o f   d atasets   f r o m   I n d ian   p atien t  p o p u la tio n s .   C h r o n ic  d is ea s es  ar e  d ef in ed   a s   co n d itio n s   la s tin g   m o r e   th an   th r ee   m o n th s   [ 5 ] ,   an d   ea r ly   d etec tio n   is   cr u cial  f o r   im p r o v in g   d iag n o s is   an d   m an ag em en t.  Glo b all y ,   h ea r t  f ailu r e  af f ec ts   ap p r o x im ately   2 6   m illi o n   p eo p le   an n u ally ,   p o s in g   s ig n i f ican t  ch allen g es  f o r   s u r g eo n s ,   ca r d io lo g is ts ,   an d   clin ician s   in   p r ed ictin g   its     Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8 7 7 6   I n t J I n f   &   C o m m u n   T ec h n o l ,  Vo l.  1 4 ,   No .   1 ,  A p r il   20 2 5 :   91 - 10 1   92   s tar t  [ 6 ] .   Ast h m a,   id en tifie d   as  th e  m o s t   p r ev alen t  ch r o n ic  p u lm o n ar y   co n d itio n   wo r ld wid e,   f u r th e r   u n d er s co r es  th e   n ee d   f o r   ef f e ctiv e  m an ag em e n t  [ 7 ] .   C h r o n ic  k id n ey   d is ea s e  ( C KD) ,   a  p r o g r ess iv e  ailm en t  af f ec tin g   o v er   1 0 %  o f   th e   wo r ld ' s   p o p u latio n ,   af f ec tin g   o v er   8 0 0   m illi o n   i n d iv id u als  [ 8 ] .   Giv e n   th eir   h i g h   p r ev alen ce ,   th ese  th r ee   c o n d it io n s   ar e  th e   p r im ar y   f o cu s   o f   o u r   r esear c h .   Du r in g   o u r   an al y s is   o f   I n d ia n   d ata,   we  en co u n te r ed   ca s es  o f   tu b e r cu lo s is .   Ho wev er ,   wh e n   ap p l y in g   th e   s tr u ctu r ed   m ed ical  d o m ain   b i d ir ec tio n al  en co d er   r ep r esen tatio n s   f r o m   tr an s f o r m e r s   ( SMDBER T )   m o d el,   wh ic h   was  tr ain ed   o n   th e  MI MI C   d ataset   lack in g   tu b er c u lo s is   ca s es,  th ese  in s tan ce s   wer e  m i s clas s if i ed .   T h is   h ig h lig h ts   th e  ch alle n g e  o f   tr an s f er r in g   m o d els  ac r o s s   d atase ts   wi th   d if f er en t  d is tr ib u tio n s .   As  d em o n s tr ated   in   [ 9 ] ,   wh ile  m o d els  tr ain ed   o n   o n e   d ataset  o f ten   p er f o r m   well  o n   s im ilar   d atasets ,   ze r o - s h o t  lear n in g   tech n iq u es  ca n   b e  lev er ag ed   to   ad d r ess   th e  lim itatio n s   o f   d atasets   lack in g   s u f f icien t e x am p les.   Han d lin g   u n s tr u ct u r ed   d ata,   s u ch   as  m ed ical  n o tes,  p r esen t s   s ev er al  u n iq u e  d if f icu lties .   On e  o f   th e  m ain   d if f icu lties   ar is es  f r o m   t h e  d iv er s ity   an d   lack   o f   o r g a n izatio n   with in   th e  d ata  [ 1 0 ] ,   [ 1 1 ] .   C lin ical  n o tes  ar e  o f ten   wr itten   in   a   p h r ase - lik e  m an n er   with o u t  s t an d ar d ized   g r am m atica l  s tr u ct u r es,  wh ich   co m p licates   th eir   an aly s is .   I n   th e  ca s e  o f   I n d ian   d ata,   t h er e  is   an   ad d ed   c o m p lex ity   d u e  to   th e  p r ed o m i n an ce   o f   n o n - d ig ital  f o r m ats,  wh ich   m ak es  it  ch a llen g in g   to   in teg r ate  t h is   in f o r m atio n   s ea m less ly   in to   d ig ital  s y s tem s .   T h ese   clin ical  n o tes  wer e  n o t  o r ig in a lly   d ig ital,  in   co n tr ast  to   d atasets   th at  ar e  ac ce s s ib le  to   th e   p u b lic,   co m p licatin g   th eir   ac ce s s ib ilit y   an d   an aly s is .   T h e  p r ac tice  o f   tr a n s f er   lear n in g ,   wh ich   in v o lv es  u s in g   a  m o d el  cr ea ted   f o r   o n e  task   as  th e  f o u n d atio n   f o r   a  m o d el  o n   a   d if f er en t  task ,   h as  d em o n s tr ate d   p ar ticu lar l y   ef f ec tiv e  in   h ea l th ca r e  ap p licatio n s .   T r an s f o r m e r - b ased   m o d els,  s u ch   as  B E R T ,   h av e  r ev o lu tio n ized   n atu r al  lan g u ag e  p r o ce s s in g   ( NL P )   by  en ab lin g   m o d els  to   u n d er s tan d   co n tex t  m o r e  d ee p ly   th r o u g h   atten tio n   m ec h an is m s .   T h ese  m o d els  ex ce l  in   task s   in v o lv in g   u n s tr u ctu r e d   clin ical  d ata,   s u ch   as  ex tr ac ti n g   m ea n i n g f u l  i n s ig h ts   f r o m   E HR   an d   clin ical  n o tes,  m ak in g   th em   in v alu ab le   to o ls   f o r   a d v an cin g   p atien t c a r e.     T h e  in ter p r etab ilit y   o f   p r ed i ctiv e  m o d els  u s in g   u n s tr u ct u r ed   clin ical   d ata  h as  g r o w n   to   b e  an   im p o r tan t  f ield   o f   s tu d y   in   r ec en t  y ea r s .   As  m ac h in e  lea r n in g   ( ML )   a n d   NL P  tech n i q u es  c o n tin u e  to   ev o lv e ,   th eir   ap p licatio n   to   clin ical  n o tes,  a  r ich   s o u r ce   o f   u n s tr u ctu r ed   d ata,   p o s s ess es  th e  ab ilit y   to   tr an s f o r m   h ea lth ca r e.   Ho we v er ,   th e  c o m p lex ity   an d   o p ac ity   o f   th ese  m o d els,  o f ten   r e f er r e d   to   as  " b lack   b o x es,"  p o s e  s ig n if ican t c h allen g es in   clin ic al  s ettin g s   wh er e  tr an s p ar en cy   an d   u n d er s tan d i n g   ar e  p ar am o u n t.    T r an s f o r m e r - b ased   m o d els  ar e   in cr ea s in g ly   u s ed   i n   h ea lth ca r e  f o r   v ar io u s   p r ed ictiv e  task s ,   in clu d in g   f o r ec asti n g   m o r tality   r ates  [ 12 ] ,   p r ed ictin g   p atien t  r ea d m is s io n s   [ 13 ] ,   a n d   esti m atin g   h o s p ital  s tay   d u r atio n s   [ 14 ] .   T h ese  m o d els  h av e  als o   p r o v en   ef f ec tiv e   i n   task s   s u ch   as  ex tr ac tin g   en titi es  [ 1 5 ] ,   [ 1 6 ] ,   i d en tify in g   p h en o t y p ic  ch ar ac ter is tics   [1 7] ,   [ 1 8 ] ,   m o d elin g   p atien t  tr ajec to r ies,  an d   elu cid atin g   r e latio n s h ip s   am o n g   d if f er en t   m ed ical  e n titi es.  T h e   in teg r atio n   o f   tr an s f o r m er   m o d els  in to   h ea lth ca r e   r esear ch   d em o n s tr ates  th eir   ad ap tab ilit y   an d   ef f icac y   in   tack lin g   a  wid e  r an g e   o f   is s u es ,   ad v an cin g   clin ical  d ec is io n - m ak in g   s y s tem s ,   an d   en h an cin g   o u r   u n d er s tan d in g   o f   co m p lex   m ed ical  c o n d itio n s .   I n   h ea lth ca r e  d ata  a n aly s is ,   a  r an g e   o f   m eth o d o lo g ies  ar e   em p lo y e d ,   f r o m   r u le - b ased   s y s tem s   to   ad v an ce d   ML   an d   d ee p   lear n in g   ( DL )   tech n i q u es.  R u le - b ased   m eth o d s   d ep e n d   o n   es tab lis h ed   g u id elin es   d er iv ed   f r o m   s p ec ialized   k n o wled g e ,   b u t  th ese  s y s tem s   ca n   b e   in f lex ib le   wh en   f ac ed   with   n o v el  d ata,   o f te n   r eq u ir in g   u p d ates  o r   m o d if ica tio n s   to   h an d le  n ew  co n ce p ts .  ML   m eth o d s ,   o n   th e  o th er   h a n d ,   lear n   f r o m   d at a   d ir ec tly .   Su p er v is ed   lear n in g ,   f o r   ex am p le,   u s es  lab eled   d a tasets   to   p er f o r m   task s   lik e  class if icatio n ,   wh ile   u n s u p er v is ed   lear n in g   id en tifi es  p atter n s   in   u n lab eled   d ata.   ML   alg o r ith m s   s u ch   as  lo g is tic  r eg r ess io n   ( L R ) ,   s u p p o r t   v ec to r   m ac h i n es  ( SVM) ,   an d   r a n d o m   f o r ests   ar e  o f ten   ch allen g ed   b y   h ig h - d im e n s io n al,   m u ltim o d al   d atasets .    DL   tech n iq u es,  in clu d in g   co n v o lu ti o n al  n eu r al  n etwo r k s   ( C NN s ) ,   r ec u r r en t  n eu r al  n etwo r k s   ( R NNs ) ,   an d   tr an s f o r m e r   m o d els  lik e  B E R T   an d   d is till ed   B E R T   ( Dis t ilB E R T ) ,   h av e  d e m o n s tr ated   s u p er i o r   p er f o r m an ce   in   e x tr ac tin g   f ea tu r es  f r o m   r aw  d ata  a n d   u n d e r s tan d in g   co n tex t.  B E R T   is   p ar ticu lar ly   ef f ec tiv e   f o r   g e n er atin g   p o wer f u l  r ep r e s en tatio n s   f r o m   u n lab ele d   d ata  d u e  to   its   ab ilit y   to   u n d e r s tan d   co n tex t  in   b o th   d ir ec tio n s ,   m a k in g   it  h ig h ly   s u itab le  f o r   v ar io u s   ML   task s ,   i n clu d in g   tex t  class if icatio n .   Dis tilB E R T ,   a  lig h ter   an d   m o r e  ef f icie n t  v er s io n   o f   B E R T ,   ac h iev es  s im ilar   p er f o r m an ce   le v els  wh ile  b ein g   c o m p u tatio n ally   less   d em an d in g   [ 19 ] .   I n   s p ec if ic  d o m ain s   s u ch   as  h ea lth ca r e,   d o m ain - a d ap ted   m o d els  lik e   SMDBE R T ,   wh ich   in co r p o r ate  s p ec ialized   m ed ical  k n o wled g e,   h a v e  s h o wn   to   o u tp er f o r m   m o r e  g en er al  m o d els  lik e  Di s til B E R T   d u e  to   th eir   en h a n ce d   ca p ab ilit y   to   lev er a g e  d o m ain - s p ec if ic  in f o r m atio n   [ 20 ] .    R esear ch   o n   u s in g   ze r o - s h o t  lear n in g   m o d els  s p ec if ically   f o r   p r e d ictin g   tu b e r cu lo s is   ( T B )   is   r elativ ely   lim ited .   Mo s t  s tu d ies  f o cu s   o n   m o r e  tr ad itio n a l  ML   ap p r o ac h es  o r   DL   tech n iq u es  ap p lied   t o   m ed ical  im ag in g   d ata  lik e  c h est   X - r ay s .   W h ile  th er e  h a v e  b ee n   s o m e   p r o g r ess ,   th e  a p p licatio n   o f   th ese   m o d els  f o r   T B   p r ed ictio n   u s in g   clin ical   d ata   o r   n o tes  r em a in s   a  r elativ ely   u n ex p l o r ed   ar ea .   C ap ellan - Ma r tin   et  a l.   [ 2 1 ]   d is cu s s es  th e  u s e  o f   v is io n   tr a n s f o r m e r s   ( ViT )   i n   a  s elf - s u p er v is ed   lear n in g   p a r ad ig m   f o r   im p r o v ed   TB   d etec tio n   in   c h est  X - r ay s .   Z er o - s h o t  p ed iatr ic   T B   d etec tio n   is   a  m eth o d ,   wh ich   h as  s h o wn   ap p r ec iab le  g ain s   in   T B   d etec tio n   ef f icac y .   wh en   co m p a r ed   t o   f u lly - s u p er v is ed   m o d els.   T h e   wo r k   in   [ 2 2 ]   p r o p o s es  a  Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J I n f   &   C o m m u n   T ec h n o l     I SS N:   2252 - 8 7 7 6         E xp la in a b le  z ero - s h o t le a r n in g   a n d   tr a n s fer lea r n in g   fo r   r ea l time   …  ( S w a ti S a ig a o n ka r )   93   g en er alize d   ze r o - s h o t  lea r n in g   ( GZ SL)   m eth o d   u s in g   s elf - s u p er v is ed   lear n in g   ( SS L )   f o r   m ed ical  im a g e  class if icatio n .   I t  f o cu s es  o n   tr ain in g   a  f ea tu r e  g en er at o r   an d   ch o o s in g   an ch o r   v ec to r s   f r o m   v ar io u s   d is ea s e  class es.   T h e  wo r k   in   [ 2 3 ]   in tr o d u ce s   a  m u lti - lab el  GZ SL  n etwo r k   th at  u s es  ch est   X - r ay   im ag es  to   s im u ltan eo u s ly   p r e d ict  s ev er a l  d is ea s es,  b o th   s ee n   an d   u n s ee n .   I t  u s es  a  v is u al  r ep r esen tatio n   g u i d ed   b y   s em an tics   tak en   f r o m   a   s u b s tan tial c o r p u s   o f   m ed ical  liter atu r e.     T h er e  ar e   s o m e  wo r k s   u s in g   p r o m p t - b ased   lar g e  la n g u a g e  m o d els  ( LLMs ) .  Z h u   et  a l.   [ 2 4 ]   lo o k s   in to   th e  f lex ib ilit y   o f   L L Ms  lik e   GPT - 4   to   E HR   d ata  f o r   ze r o - s h o t  clin ical   p r ed ictio n .   I n   cr u cial   task s   lik e  m o r tality ,   len g th - of - s tay ,   an d   3 0 - d ay   r ea d m is s io n ,   it  e x h ib its   en h an ce d   p r ed ictio n   p er f o r m an ce .   Similar ly ,   Hea lth Pro m p t   [ 2 5 ] ,   u tili ze s   p r o m p t - b ased   lear n in g ,   allo win g   p r e - tr ain e d   lan g u ag e  m o d el s   th at  d o n ' t  r eq u ir e  m o r e  tr ain in g   d ata  to   ad ju s t  to   n ew  task s .   T h e  s tu d y   d em o n s tr ates  th at  Hea lth Pro m p t  ca n   f u n ctio n   ef f ec tiv ely   an d   ef f icien tly   in   ca p tu r in g   th e  co n tex t  o f   clin ical  tex ts   in   v ar io u s   clin ical  NL P  task s ,   s h o wca s in g   th e  Z SL' s   p o ten tial to   im p r o v e  clin ical  j u d g m e n t   an d   r ed u ce   d ep en d en cy   o n   lar g e  an n o tated   d atasets .     T h is   o v er v iew  h ig h lig h ts   th e   u n tap p ed   p o te n tial  o f   ze r o - s h o t  lear n in g   f o r   T B   p r e d ictio n   u s in g   clin ical  d ata,   s u g g esti n g   a   p r o m is in g   d ir ec tio n   f o r   f u tu r e  r es ea r ch   b e y o n d   th e  m o r e  c o m m o n ly   ex p lo r e d   ar ea s   o f   m ed ical  im ag in g   a n d   E HR - b ased   p r ed ictio n s .   Pre d ictiv e  m o d els  u s in g   clin ical  n o tes  f ac e  u n iq u e   ch allen g es  d u e  to   th e   n atu r e  o f   th e  d ata.   Sev e r al  s tu d i es  h av e  h ig h lig h ted   t h e  i m p o r tan ce   o f   m o d el   in ter p r etab ilit y   in   h ea lth ca r e.   T h e  in ter p r etab ilit y   o f   ML   m o d els  is   a  cr itical  asp ec t   o f   h ea lth ca r e,   as  u n d er s tan d i n g   t h e  r atio n ale  b eh in d   m o d el   p r e d ictio n s   is   ess en tial  f o r   e n s u r in g   tr u s t  a n d   im p r o v in g   p atien t   ca r e.   T wo   p r o m in e n t  tech n iq u es  f o r   in ter p r etin g   c o m p lex   m o d els  ar e  lo ca l  in ter p r eta b le  m o d el - a g n o s tic   ex p lan atio n s   ( L I ME )   an d   s h ap ley   ad d itiv e  ex p lan atio n s   ( SH AP) .   T h e   wo r k   in   [ 2 6 ]   h ig h lig h ts   th e  ap p licatio n   o f   L I ME   an d   SHAP  in   d etec t in g   a lzh eim er 's  d is ea s e,   d em o n s tr atin g   h o w  th es e  m eth o d s   ca n   in cr ea s e  th e  tr an s p ar en cy   an d   r eliab ilit y   o f   ar tific i al  in tellig en ce   ( AI ) - b ased   p r ed ictio n s .   T h e  r e v ie w  em p h asizes  th at  alth o u g h   L I ME   an d   SHAP  p r o v id e  s ig n if ican t  in s ig h ts   in to   m o d el  d ec is io n s ,   th ey   also   h av e  lim itatio n s ,   o n e  b ein g   th e   n ee d   f o r   tailo r in g   to   s p ec if i c  m ed ical  co n tex ts .   A n o th er   s tu d y   [ 2 7 ]   in v esti g ates  th e  u s e  o f   L I ME   a n d   SHA P  f o r   a u to n o m o u s   d is ea s e  p r e d ictio n ,   n o tin g   t h at   wh ile  th ese  tech n iq u es  e x ce l  in   g en er atin g   lo ca l   ex p lan ati o n s ,   th ey   f ac e  c h allen g es  wh en   ap p lied   to   m o r e   co m p lex   m o d els  o r   lar g e r   d ata s ets.  T h e  r esear ch   u n d er s co r es   th e  i m p o r tan ce   o f   th ese  in ter p r etab ilit y   m eth o d s   in   m ak in g   AI - d r iv en   d ec is io n s   m o r e   u n d er s tan d ab le,   b u t   also   p o in ts   o u t  th e   d if f icu lties   in   s ca lin g   th ese   ex p lan atio n s   ef f ec tiv ely .   As  a  r esu lt,  o u r   r esear ch   is   m o tiv ated   b y   t h e  n ee d   t o   s im p lify   ex p lai n ab ilit y   b y   u s in g   clea r   an d   ac ce s s ib le  lan g u ag e.   Ad d itio n ally ,   we  aim   to   ad d r ess   th e   g ap s   ca u s ed   b y   v ar y in g   d is ea s e  ch ar ac ter is tics   ac r o s s   d if f er en t  c o u n tr ies,  en s u r in g   th at  th e  m o d els  co u ld   b e  ef f ec tiv ely   ap p lied   u s in g   tr an s f er   lear n in g .   Ob jectiv es o f   th e  p a p er :   1)   Dev elo p m en t  o f   en s em b le  ap p r o ac h   u s in g   SMDBER T   an d   z er o   s h o t  m o d el  f o r   tu b er cu lo s is   class if icatio n .   2)   Dev elo p m en t  o f   s im p le  y et  ef f ec tiv e  n ar r ativ e  b ased   in ter p r etab ilit y   m o d e l  f o r   tr an s f o r m er   b ased   m o d els.       2.   RE S E ARCH   M E T H O D     2 . 1 .     Da t a   p re - pro ce s s ing   T h e  d is ea s es   tar g eted   wer e  Ast h m a,   m y o ca r d ial  in f ar ctio n   ( MI )   a n d   C KD  with   I C D - 9   co d es   ‘ 4 9 3 2 0 ’ ,   ‘ 5 8 4 9 ’ ,   ‘ 4 1 0 0 1 ’ ,   ‘ 4 1 0 1 1 ’ ,   a n d   ‘ 4 1 0 2 1 ’ ,   r esp ec tiv e ly ,   wh er e  th e  co d es  ' 4 1 0 0 1 ' ,   '4 1 0 1 1 ' ,   an d   ' 4 1 0 2 1 '   wer e  g r o u p ed   to g eth e r   u n d er   MI .   T h e  d ata   u s ed   f o r   g en er atin g   th e  b ase  m o d el  was  MI MI C   [ 2 ] .   I n itially ,   1 7 0 , 4 4 6   s am p les  wer e  co llect ed   an d   th en   r ef in e d ,   n a r r o win g   th e  d ataset  d o wn   to   5 , 2 3 4   s am p les  s p ec if ically   f o cu s ed   o n   d is ch ar g e  s u m m ar ies  f o r   an al y s is .   SMDBE R T   m o d el  was  f in e - tu n ed   u s in g   th ese  clin ical  n o tes,   ex tr ac ted   f r o m   th e  NOT E VE NT S  tab le  o f   th e  MI MI C   d ataset,   alo n g   with   o th er   s tr u ctu r ed   d ata.   B asic  p r ep r o ce s s in g   was  ap p lied   b e f o r e  m o d el  tr ain in g ,   in cl u d in g   co n v er tin g   te x t  to   lo wer ca s e,   r em o v i n g   s p ec ial   ch ar ac ter s ,   UR L s ,   an d   n o n - alp h an u m er ic  elem en ts .     Af ter   th e   in itial  p h ase,   th e   m o d els  wer e  u s ed   o n   clin ical   n o t es  f r o m   two   n u r s in g   h o m es  o f   Mu m b ai,   I n d ia.   T h e  n o tes  wer e  g ath er e d   d u r i n g   two   p er i o d s :  J an u ar y   to   Ap r il  2 0 2 3   a n d   Octo b er   t o   No v em b er   2 0 2 2 .     A  to tal  o f   1 4 5   clin ical  n o tes,  s p ec if ically   r elate d   to   th e  d is ea s es  u s ed   f o r   tr ain in g   an d   TB ,   wer e  s elec ted   f o r   an aly s is .   Fig u r es 1   an d   2   s h o w  s am p les o f   clin ical  n o tes   b ef o r e  an d   af ter   b asic p r e - pr o ce s s in g .   An   ex am p le  o f   an   an o n y m o u s   I n d ian   clin ical  n o te  is   s h o wn   in   F ig u r e  3 .       2 . 2 .     Arc hite ct ure   As  th e  SMD B E R T   m o d el  g av e  b etter   p er f o r m an ce   t h an   Dis tilB E R T ,   it  wa s   ch o s en   as  a  b ase  m o d el.   Af ter   tr ain in g   th e  m o d el,   th e  m o d el  was  th en   ap p lied   o n   r e al  tim e  I n d ian   d ata  co llected   f r o m   2   h o s p itals   o f   Mu m b ai,   I n d ia  u s in g   tr a n s f er   lear n in g .   Ov er all,   m o r e  th an   1 , 5 0 0   clin ical  n o tes,  esp ec ially   d is ch ar g e   s u m m ar ies  wer e  co llected ,   o u t  o f   w h ich   1 4 5   n o tes  wer e  u s ed .   T h e   d is ea s es  tar g eted   wer e  th e  s am e   as  th o s e  Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8 7 7 6   I n t J I n f   &   C o m m u n   T ec h n o l ,  Vo l.  1 4 ,   No .   1 ,  A p r il   20 2 5 :   91 - 10 1   94   u s ed   f o r   t r ain in g ,   with   th e  ad d itio n   o f   TB ,   wh ich   is   p r ev al en t  in   I n d ia  b u t  n o tab ly   ab s en t  f r o m   th e   p u b licly   av ailab le  d ataset,   wh ich   p r ed o m in an tly   r ep r esen ts   th e  Un ited   States .   T h is   h ig h lig h ts   th e  r eg io n al  v ar iatio n   in   d is ea s e  p r ev alen ce   ac r o s s   d if f er en t  co u n tr ies.  Fig u r e   4   d ep i cts  th e  ar ch itectu r e   o f   ap p lica tio n   o f   SMDBER T   m o d el  o n   th e  I n d ian   d ataset.           Fig u r e  1.   C lin ical  n o te  f r o m   MI MI C     2 . 3 .    M et ho d   T h e  SMDBER T   m o d el  was  s elec ted   f o r   its   s u p er io r   p e r f o r m an ce   co m p ar ed   t o   o th e r   tr a n s f o r m er - b ased   m o d els.  SMDBER T   in co r p o r ates  ad d itio n al  k n o wled g e  b y   in teg r atin g   s y m p to m   an d   d is ea s e   in f o r m atio n .   T h e  m o d el   was  f in e - tu n e d   o n   d ata  f r o m   th e   MI MI C   d atab ase  an d   th en   a p p lied   to   r ea l - tim e   I n d ian   d ata  th r o u g h   tr an s f er   le ar n in g .   Sin ce   TB   was  n o t  in clu d ed   in   th e  tr ain i n g   s et  d u e  to   a  lack   o f   av ailab le   d ata,   a  ze r o - s h o t  m o d el  wa s   em p lo y ed   f o r   its   class if ic atio n .   T h e   ar ch itectu r e   o f   e n s em b le  m o d el   o f   SMDBE R T   an d   cu s to m is ed   Z er o   s h o t m o d el  was c o n s tr u cte d   as g iv en   in   F ig u r e  5 .   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J I n f   &   C o m m u n   T ec h n o l     I SS N:   2252 - 8 7 7 6         E xp la in a b le  z ero - s h o t le a r n in g   a n d   tr a n s fer lea r n in g   fo r   r ea l time   …  ( S w a ti S a ig a o n ka r )   95       Fig u r e   2.   Pre - p r o cc ess ed   clin i ca l n o te  f r o m   MI MI C           Fig u r e   3.   Sy m p to m   e x tr ac ted   clin ical  n o te  o f   I n d ian   d ataset   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8 7 7 6   I n t J I n f   &   C o m m u n   T ec h n o l ,  Vo l.  1 4 ,   No .   1 ,  A p r il   20 2 5 :   91 - 10 1   96       Fig u r e  4 .   Ar c h itectu r e           Fig u r e   5 .   E n s em b le  a r ch itectu r e       T h e  m o d el  ca n   b e  e x p r ess ed   m ath em atica lly   as :   L et  S :  s et  o f   in p u t sen ten ce s   ( c lin ical  n o tes).   D :  s et  o f   d is ea s e  lab els,  wh er e  D = {0 , 1 , 2 , 3 }   SMD pred ( s ) :  p r o b ab ilit y   d is tr ib u tio n   o v er   th e  d is ea s e  lab els  p r ed icted   b y   th e   SM - DB E R T   m o d el  f o r   in p u t  s en ten ce   s .         E H R   D a t a s e t   ( M I M I C )   C oh or t   S e l e c t i o n   D a t a   P r e p r oc e s s i n g   S M D B E R T   m od e l       Cli n ical  No t e  +  S tructur ed  C li n ical  D ata   CL S   D ata   M ask   D ata   SEP   D IS TIL BE RT   D ense,  Fu ll y  c o n n ec te d   L ay er   D ro p   o u t  L a y er   Outp u t  L a y er  f o r  Classi ficat io n   In p u t  Id s +  Att entio n  M as k  +  Ext r a E m b edd in g   Ext erna l  Kno wledg e   D i s e a s e   S pe c i f i c   d o m a i n  k no w l e d g e   F i ne   t un i ng   o f   S M D B E R T   f o r   s pe c i f i c   d i s e a s e s             I n d i a n   E H R   D a t a         A s t h m a   MI   C K D   T ub e r c ul os i s   F i ne - t u ne d   m od e l     P r e d i c t i on                                                                                                                                                                   E H R   D a t a s e t   ( I nd i a n   R e a l   t i m e   D a t a )   S M D B E R T   m od e l       Cli n ical  No t e  +  S tructur ed  C li n ical  D ata   CL S   D ata   M ask   D ata   SEP   D IS TIL BE RT   D ense,  Fu ll y  c o n n ec te d   L ay er   D ro p   o u t  L a y er   Outp u t  L a y er  f o r  Classi ficat io n   In p u t  Id s +  Att entio n  M as k  +  Ext r a E m b edd in g   Ext erna l  Kno wledg e     T ub e r c ul os i s   C l i ni c a l   N ot e     Z e r o   S h ot   C l a s s i f i e r     C on d i t i on   D e s c r i p t i on   S M D B E R T   D i s e a s e   Sc ore s   Z e r o   S h ot   D i s e a s e   Sc ore s   W e i g ht e d   Av e r a g e  D i s e a s e   Sc ore s   D i s e a s e   P r e d i c t i on   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J I n f   &   C o m m u n   T ec h n o l     I SS N:   2252 - 8 7 7 6         E xp la in a b le  z ero - s h o t le a r n in g   a n d   tr a n s fer lea r n in g   fo r   r ea l time   …  ( S w a ti S a ig a o n ka r )   97   ZS p r ed ( s ) :   p r o b a b i li t y   d is t r i b u t io n   o v e r   t h e   d i s e a s e   l a b e ls   p r e d ic t e d   b y   t h e   z e r o - s h o t   m o d e l   f o r   i n p u t   s e n t e n c e   s .    α,   β:   w eig h ts   ass ig n ed   to   SM - DB E R T   an d   ze r o - s h o t p r e d ictio n s ,   r esp ec tiv ely ,   wh e r e  α +β= 1 .   C o m b in ed pred ( s ) :  f in al  co m b in ed   p r ed ictio n   s co r e  f o r   ea ch   d i s ea s e  lab el  d   ∈   D   f o r   s en ten ce   s   Fin alPr ed ( s ) :  t h e  f in al  p r e d icted   lab el  f o r   s en ten ce   s .   Step s :     SMDBE R T   p r ed ictio n:        ( ) =   {  ( ) ∣ ∣   ∈   }       w h er e    ( )   is   th e  p r o b ab ilit y   ass ig n ed   b y   th e  SMDBER T   m o d el  to   d is ea s e    f o r   s en ten ce   s .   Z er o - s h o t p r ed ictio n :     ( ) = {  ( ) ∣ ∣   ∈   }       w h er e   ( )   is   th e  p r o b ab ilit y   ass ig n ed   b y   th e  ze r o   s h o t  m o d el  to   d is ea s e    f o r   s en ten ce   s .   C o m b in ed   p r ed ictio n :      ( ) = { ⋅  ( ) + ⋅  ( )   ∣ ∣     ∈   }       Her e,   α   an d   β  r ep r esen t  th e  r elativ e  im p o r tan ce   o r   weig h t  o f   th e  SMDBE R T   an d   ze r o - s h o t  p r ed ictio n s ,   r esp ec tiv ely .   Fin al  p r ed ictio n :     ( ) = a r g       ( )       T h e  f in al  p r ed icted   lab el  is   th e   o n e  with   th e  h ig h est co m b in e d   p r ed ictio n   s co r e.       3.   RE SU L T S AN D  D I SCU SS I O N     T ab le   1   s h o ws  th e  p er f o r m a n ce   o f   d if f er e n t  m o d els  o n   th e  I n d ian   d ata.   Mo d els,  n am ely   B E R T ,   Dis til B E R T   an d   SMDBE R T   wer e  in itially   f in e  tu n ed   o n   MI MI C   n o tes.  Fo llo win g   th e   tr ain in g   p h ase,   th e   m o d els  u n d er wen t  p r ac tical  ap p licatio n   u s in g   I n d ian   clin ical  r ec o r d s   o b tain ed   f r o m   h o s p itals   s i tu ated   in   Mu m b ai,   I n d ia.   A   to tal  o f   1 45   clin ical  n o tes  wer e   m eticu l o u s ly   s elec ted ,   co n ce n tr atin g   ex clu s iv ely   o n   th e   tar g eted   d is ea s es .  T h e  tr an s cr i p tio n   o f   clin ical   n o tes  was  c o n d u cted   m an u ally   d u e  t o   th e   p r o v is io n   o f   s ca n n ed   co p ies   b y   th e  h o s p itals .   I t  is   wo r th   n o tin g   th at  tr ea tm en t   s p ec if ics  wer e  in ten tio n ally   ex clu d ed   f r o m   t h e  d ataset  to   alig n   with   th e  r esea r ch ' s   f o cu s   o n   ca p tu r in g   s y m p to m s .   Sp ec ialized   m o d els  wer e  also   test ed   o n   th e  I n d ian   d ata  co llected .   SMDBER T   g av e  b etter   r esu lts   as  co m p ar ed   to   o th e r   m o d els  as  it  tak es,  s y m p to m   d is ea s e  in f o r m atio n   as  an   a d d itio n al  em b e d d in g .   As  it  ca n   b e  s ee n   o u r   m eth o d   wi th   an   en s em b le  o f   SMDBE R T   an d   ze r o   s h o t le ar n in g   g a v e  b etter   r esu lts   with   an   ac cu r ac y   o f   0 . 9 2 4 .         T ab le  1 .   Per f o r m an ce   m etr ics o f   f in e - t u n ed   m o d els o n   I n d ian   d ata   T y p e   o f   M o d e l   M o d e l s   A c c u r a c y   P r e c i si o n   R e c a l l   F1 - s c o r e   F i n e - t u n e d   B ER T   0 . 5 5   0 . 5   0 . 5 5   0 . 5 2   D i st i l B ER T   0 . 6 4   0 . 6 5   0 . 6 4   0 . 6 2   S M D B E R T   0 . 7 5   0 . 6 9   0 . 7 5   0 . 7 2   S p e c i a l i s e d   S C I B ER T   0 . 7 6   0 . 8 3   0 . 7 6   0 . 7 2   B I O B ER T   0 . 6 2   0 . 5 2   0 . 6 2   0 . 5 4   C l i n i c a l   B i o B ER T   0 . 6 1   0 . 5 1   0 . 6 1   0 . 5 3     P r o p o se d   E n s e mb l e   a p p r o a c h   0 . 9 2 4   0 . 9 2 7   0 . 9 2 4   0 . 9 2 5       In   ( 1 ) ,   ( 2 ) ,   a n d   ( 3 )   d escr ib e s   th e  co m p u tatio n al  f o r m u latio n s   f o r   p r ec is io n ,   r ec all,   a n d   th e   F1 - s co r e,   r esp ec tiv ely .        =         +       ( 1 )     Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8 7 7 6   I n t J I n f   &   C o m m u n   T ec h n o l ,  Vo l.  1 4 ,   No .   1 ,  A p r il   20 2 5 :   91 - 10 1   98    =         +       ( 2 )     1 −  = 2 ∗  ∗   +    ( 3 )     Fig u r e  6   d is p lay s   th e  m o d els'   p er f o r m an ce   g r ap h ically   with   F ig u r e  6 ( a)   s h o win g   m o d el  p e r f o r m a n ce   with   r esp ec t  to   th e   s p ec ialized   m o d els   an d   Fi g u r e   6 ( b )   s h o wi n g   th e   p r o p o s ed   m o d el   p er f o r m an ce   with   r esp ec t  to   f in e - tu n e d   m o d els .   As  s h o wn   in   th e  d iag r am s   th e  e n s em b le  ap p r o ac h   o f   SMDBER T   an d   z er o   s h o t  h as  g iv en   b etter   r esu lts   th an   o th er   f in e - tu n ed   m o d els  o r   s p ec ialized   m o d els.  T h e   s p ec ialized   m o d els  co n s id er ed   ar e  s cien tific   B E R T   ( S C I B E R T ) ,   b io m ed ical  B E R T   ( B I O B E R T )   an d   B io _ C lin ical B E R T ,   wh ile  f in e - tu n e d   m o d els ar e  B E R T   an d   Dis tilB E R T .   T h e  co n f u s io n   m atr i x   d em o n s tr ate d   in   Fig u r e  7 ,   s h o ws   th at  th e  m o d el  ef f ec tiv ely   class if ies   a   m ajo r ity   o f   in s tan ce s   co r r ec tly ,   in d icatin g   s tr o n g   p er f o r m an ce   an d   r eliab le  p r ed icti v e  ac cu r ac y   ac r o s s   m u ltip le  class es .  Fig u r e  8   s h o w s   th e  o u tp u t  o f   L I ME ,  w h ich   ex p lain s   p r e d ictio n s   m ad e  b y   th e  en s em b le  ap p r o ac h   b y   h ig h lig h tin g   th e  co n tr ib u tio n s   o f   d if f er e n t  in p u t  f ea tu r es .  Pre d ictio n   p r o b ab il ities   s ec tio n   s h o ws   th e  p r ed icted   p r o b ab ilit ies  f o r   ea ch   class .  T h e  m o d el  p r e d ict s   th is   class   with   a  p r o b ab ilit y   o f   0 . 8 0 .   T h e  m i d d le  s ec tio n   s h o ws  th e  f ea tu r es  th at  co n tr ib u te  to   th e  p r e d ictio n   o f   th e  class .   T h e  r ig h t  s id e  o f   th e  d iag r am   s h o w  th e  s p ec if ic  wo r d s   o r   p h r ases ,   wh ich   a r e  h ig h li g h ted ,   r e f le ctin g   th eir   im p o r ta n ce   in   th e   m o d el' s   d ec is io n - m ak in g   p r o ce s s .   Fig u r e  9   s h o ws  th e  clin ical  n o te  g iv en   as  in p u t ,   it  in clu d es  v ar io u s   attr ib u tes  lik e  ag e,   g en d er ,   f i n al   d iag n o s is ,   co m p lain ts   o n   ad m is s io n   p ast  m ed ical  h i s to r y ,   v ital  s ig n s ,   an d   o th er   r elev an t  clin ical  in f o r m atio n .  T h e  h o r izo n tal   b ar   at  th e   to p   r ep r esen t s   th e  SHAP  v alu e   f o r   th e   h ig h lig h ted   o u tp u t  wh ic h   is   Ou tp u t  0 .   T h e   v alu es  o n   th e  b ar   r an g e  f r o m   0 . 0   to   1 . 0 ,   in d icatin g   th e  p r o b ab ilit y   o r   co n f id e n ce   o f   th e  m o d el' s   p r ed ictio n   f o r   ea ch   o u tp u t.             ( a)   ( b )     Fig u r e  6 .  Gr a p h   d is p lay i n g   p e r f o r m a n ce   co m p ar is o n   o f   p r o p o s ed   ap p r o ac h   ( a )   with   s p ec ialiaze d   m o d els  ( b )   with   f in e - tu n e d   m o d els           Fig u r e  7 .   C o n f u s io n   m atr i x   o f   th e  p r o p o s ed   ap p r o ac h   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J I n f   &   C o m m u n   T ec h n o l     I SS N:   2252 - 8 7 7 6         E xp la in a b le  z ero - s h o t le a r n in g   a n d   tr a n s fer lea r n in g   fo r   r ea l time   …  ( S w a ti S a ig a o n ka r )   99       Fig u r e  8 .   L I ME   e x p la n atio n       Fig u r e  1 0   s h o ws  th e  co m b i n ed   in ter p r eta b ilit y   tech n iq u e  wh er ein   Fig u r e  1 0 ( a )   p r esen t s   n ar r ativ e  ex p lan atio n s ,   w h ile  F ig u r e   1 0 ( b )   p r o v i d es  co r r esp o n d i n g   L I ME   ex p lan atio n s .   T h ese  L I ME   ju s tific atio n s   ar e   p r o d u ce d   alo n g s id e  th e  n ar r ativ es  to   f ac ilit ate   a  clea r er   u n d e r s tan d in g   o f   th e  m o d el ’ s   p r ed ictio n s .   T h e  n ar r ativ es  o f f er   a  wr itten   s u m m ar y ,   d etailin g   h o w   s p ec if ic  wo r d s   o r   f ea tu r es  h av e  a   m ajo r   im p a ct  o n   th e   m o d el ’s   d ec is io n s .   B y   p r esen tin g   b o th   n ar r ativ es  an d   v is u al  ex p lan atio n s   to g eth e r ,   u s er s   ca n   m o r e  ea s ily   in ter p r et  th e  m ai n   elem en ts   th at  th e  m o d el  c o n s id er s   wh en   m ak in g   its   p r e d ictio n s .           Fig u r e   9 .   SHAP  e x p lan atio n         ( a)       ( b )     Fig u r e  1 0 .   C o m b in ed   i n ter p r et ab ilit y   tech n iq u e   ( a)   n a r r ativ es   f o r   im p o r tan t w o r d s   ( b )   L I M E   ex p lan atio n   g en er ated   alo n g   with   n ar r ativ e s   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8 7 7 6   I n t J I n f   &   C o m m u n   T ec h n o l ,  Vo l.  1 4 ,   No .   1 ,  A p r il   20 2 5 :   91 - 10 1   100   4.   CO NCLU SI O N     I n   th is   s tu d y ,   we   ad d r ess ed   th e  c h allen g es  o f   a p p ly in g   ML   m o d els  to   r ea l - tim e   clin ical  d ata,   p ar ticu lar ly   in   th e  I n d ia n   co n tex t.  B y   u tili zin g   th e  SMD B E R T   m o d el  f in e - tu n ed   o n   p u b licly   a v ailab le  d atasets ,  MI MI C ,   th e  p o ten tial  o f   tr an s f o r m er - b ased   m o d els   f o r   th e  class if icatio n   o f   ch r o n ic  d is ea s es  s u ch   as   Ast h m a,   MI ,   a n d   C KD   was  d em o n s tr ated .   H o wev er ,   th e   lim itatio n s   o f   th ese  m o d els  wer e  ev id en t   wh en   th ey   wer e  ap p lied   to   I n d ia n   clin ica l  d ata,   wh er e  d is ea s es  lik e  tu b er cu lo s is   ar e  m o r e  p r ev alen t  b u t  n o t  r ep r esen ted   in   th e  tr ain in g   d atasets .   T o   o v er co m e  th is ,   an   in n o v ativ e  e n s em b le  ap p r o ac h   th at  co m b i n es  th e  s tr en g th s   o f   th e  SMDBE R T   m o d el  an d   a  cu s to m ized   ze r o - s h o t  lear n in g   m eth o d   was   d ev el o p ed ,   en ab lin g   ef f ec ti v e  class if icatio n   o f   tu b e r cu lo s is   c ases   d esp ite  th e  lack   o f   co r r esp o n d in g   ex a m p les in   th e  tr ain i n g   d ata.   Ad d itio n ally ,   th e  is s u e  o f   m o d el  in ter p r etab ilit y   was  tack led ,   wh ich   is   cr itical  f o r   clin ica l  ad o p tio n .   T h e   r esear ch   in t r o d u ce d   n a r r ativ e - b ased   in ter p r etab ilit y   t ec h n iq u e,   alo n g   with   L I ME   in ter p r ea tb ilit y   to   p r o v id e  n atu r al   lan g u ag e  ex p lan atio n s   o f   th e  m o d el' s   d ec is io n - m ak in g   p r o ce s s .   T h is   ap p r o ac h   n o t  o n ly   en h an ce s   th e  tr an s p ar e n cy   o f   p r ed ictio n s   b u t  also   h elp s   h ea lth ca r e  p r o f ess io n als  in   u n d er s tan d i n g   th e   r atio n ale  b eh in d   th e  m o d el' s   o u tp u ts ,   m ak in g   th ese  to o ls   m o r e  r eliab le  an d   tr u s two r th y   i n   clin ical  p r ac tice.   Ou r   r esear ch ' s   f in d in g s   h ig h lig h t  th e   s ig n if ican ce   o f   cu s to m izin g   m ac h in e  lear n in g   m o d els  to   th e   u n iq u e  r e q u ir em en ts   o f   v a r io u s   d em o g r ap h ics  an d   th e  n ee d   o f   cr ea tin g   s t r o n g   in ter p r etab il ity   f r am ewo r k s   f o r   in tr icate   m o d els.   B y   in te g r ati n g   an   en s em b le  o f   ze r o - s h o t   lear n in g   with   SMD - B E R T ,   o u r   ap p r o ac h   ac h iev ed   an   ac cu r ac y   o f   0 . 9 2 ,   o u t p er f o r m in g   s p ec ialized   m o d els  lik e  SC I B E R T ,   B I O B E R T ,   an d   c lin ical  B io B E R T .   T h is   r esear ch   co n tr i b u tes   s ig n if ican tly   to   th e  f ield   b y   d em o n s tr atin g   h o w  a d v an ce d   NL P  tech n iq u es  ca n   b e   ad ap ted   f o r   d iv er s e  h ea lth ca r e   en v ir o n m e n ts   an d   b y   p r o p o s i n g   a  n ew  d ir ec tio n   f o r   th e  in ter p r etab ilit y   o f   AI   m o d els  in   clin ical  s u r r o u n d in g s .   Mo v in g   f o r war d ,   ex p a n d in g   t h e  s co p e   o f   r ea l - tim e   d atasets   an d   f u r th er   r ef in in g   i n ter p r etab ilit y   m et h o d s   will b e  cr u cial  f o r   ad v a n cin g   AI ' s   r o le  in   h ea lth ca r e .       ACK NO WL E DG E M E NT S    T h e  au th o r s   ar e   th an k f u l  t o   th e  Dep ar tm en t   o f   C o m p u ter   E n g in ee r in g ,   R am r ao   Ad ik   I n s t itu te,   D  Y  Patil De em ed   to   b e  Un iv er s ity ,   to   p r o v id e   f ac ilit ies an d   s u p p o r t to   ca r r y   o u t th e  r esear ch   wo r k .       RE F E R E NC E S   [ 1 ]   J.  H e n r y ,   Y .   P y l y p c h u k ,   T.   S e a r c y ,   a n d   V .   P a t e l ,   “ A d o p t i o n   o f   e l e c t r o n i c   h e a l t h   r e c o r d   s y st e ms a m o n g   U . S .   n o n - f e d e r a l   a c u t e   c a r e   h o s p i t a l s:   2 0 0 8 - 2 0 1 5 , ”   O N C   D a t a   Br i e f ,   v o l .   5 ,   n o .   3 5 ,   2 0 1 6 .   [ 2 ]   A .   E .   W .   J o h n s o n   e t   a l . ,   “ M I M I C - I I I ,   a   f r e e l y   a c c e ss i b l e   c r i t i c a l   c a r e   d a t a b a s e , ”   S c i e n t i f i c   D a t a ,   v o l .   3 ,   n o .   1 ,   p .   1 6 0 0 3 5 ,   M a y   2 0 1 6 ,   d o i :   1 0 . 1 0 3 8 / sd a t a . 2 0 1 6 . 3 5 .   [ 3 ]   T.   J.   P o l l a r d ,   A .   E.   W .   J o h n s o n ,   J.   D .   R a f f a ,   L.   A .   C e l i ,   R .   G .   M a r k ,   a n d   O .   B a d a w i ,   “ Th e   e I C U   c o l l a b o r a t i v e   r e s e a r c h   d a t a b a s e ,   a   f r e e l y   a v a i l a b l e   mu l t i - c e n t e r   d a t a b a s e   f o r   c r i t i c a l   c a r e   r e se a r c h , ”   S c i e n t i f i c   D a t a ,   v o l .   5 ,   n o .   1 ,   p .   1 8 0 1 7 8 ,   S e p .   2 0 1 8 ,   d o i :   1 0 . 1 0 3 8 / s d a t a . 2 0 1 8 . 1 7 8 .   [ 4 ]   J.  Y a n g   e t   a l . ,   “ B r i e f   i n t r o d u c t i o n   o f   med i c a l   d a t a b a se  a n d   d a t a   m i n i n g   t e c h n o l o g y   i n   b i g   d a t a   e r a , ”   J o u rn a l   o f   Ev i d e n c e - Ba s e d   Me d i c i n e ,   v o l .   1 3 ,   n o .   1 ,   p p .   5 7 – 6 9 ,   F e b .   2 0 2 0 ,   d o i :   1 0 . 1 1 1 1 / j e b m. 1 2 3 7 3 .   [ 5 ]   R .   A l a n a z i ,   “ I d e n t i f i c a t i o n   a n d   p r e d i c t i o n   o f   c h r o n i c   d i sea ses  u si n g   mac h i n e   l e a r n i n g   a p p r o a c h , ”   J o u r n a l   o f   H e a l t h c a re   En g i n e e ri n g ,   v o l .   2 0 2 2 ,   p p .   1 – 9 ,   F e b .   2 0 2 2 ,   d o i :   1 0 . 1 1 5 5 / 2 0 2 2 / 2 8 2 6 1 2 7 .   [ 6 ]   S .   A h me d   e t   a l . ,   “ P r e d i c t i o n   o f   c a r d i o v a sc u l a r   d i sea se   o n   se l f - a u g m e n t e d   d a t a se t s   o f   h e a r t   p a t i e n t s   u si n g   mu l t i p l e   ma c h i n e   l e a r n i n g   m o d e l s , ”   J o u r n a l   o f   S e n so rs ,   v o l .   2 0 2 2 ,   p p .   1 – 2 1 ,   D e c .   2 0 2 2 ,   d o i :   1 0 . 1 1 5 5 / 2 0 2 2 / 3 7 3 0 3 0 3 .   [ 7 ]   L.   J.  S p e n c e r ,   A .   D e d u ,   H .   A .   K a l k i d a n ,   M .   A .   S o l o m o n ,   A .   C r i st i a n a ,   a n d   N o o s h i n   A b b a s i ,   “ G l o b a l ,   r e g i o n a l ,   a n d   n a t i o n a l   i n c i d e n c e ,   p r e v a l e n c e ,   a n d   y e a r s   l i v e d   w i t h   d i s a b i l i t y   f o r   3 5 4   d i s e a ses   a n d   i n j u r i e s  f o r   1 9 5   c o u n t r i e s   a n d   t e r r i t o r i e s,   1 9 9 0 – 2 0 1 7 :     a   sy st e mat i c   a n a l y s i s f o r   t h e   G l o b a l   B u r d e n   o f   D i se a se  S t u d y   2 0 1 7 . , ”   T h e   L a n c e t ,   v o l .   3 9 2 ,   p p .   1 7 8 9 – 1 8 5 8 ,   2 0 1 8 .   [ 8 ]   C .   P .   K o v e s d y ,   “ Ep i d e m i o l o g y   o f   c h r o n i c   k i d n e y   d i s e a s e :   a n   u p d a t e   2 0 2 2 , ”   K i d n e y   I n t e rn a t i o n a l   S u p p l e m e n t s ,   v o l .   1 2 ,   n o .   1 ,     p p .   7 – 1 1 ,   A p r .   2 0 2 2 ,   d o i :   1 0 . 1 0 1 6 / j . k i su . 2 0 2 1 . 1 1 . 0 0 3 .   [ 9 ]   S .   S a i g a o n k a r   a n d   V .   N a r a w a d e ,   “ D o mai n   a d a p t a t i o n   o f   t r a n sf o r mer - b a se d   n e u r a l   n e t w o r k   mo d e l   f o r   c l i n i c a l   n o t e   c l a s si f i c a t i o n   i n   I n d i a n   h e a l t h c a r e , ”   I n t e rn a t i o n a l   J o u r n a l   o f   I n f o rm a t i o n   T e c h n o l o g y   ( S i n g a p o r e ) ,   A u g .   2 0 2 4 ,   d o i :   1 0 . 1 0 0 7 / s 4 1 8 7 0 - 0 2 4 - 0 2 0 5 3 - z.   [ 1 0 ]   B .   S h i c k e l ,   P .   J.  T i g h e ,   A .   B i h o r a c ,   a n d   P .   R a s h i d i ,   “ D e e p   EH R :   a   s u r v e y   o f   r e c e n t   a d v a n c e s  i n   d e e p   l e a r n i n g   t e c h n i q u e s  f o r   e l e c t r o n i c   h e a l t h   r e c o r d   ( EH R )   a n a l y si s,”   I EEE   J o u rn a l   o f   Bi o m e d i c a l   a n d   H e a l t h   I n f o rm a t i c s ,   v o l .   2 2 ,   n o .   5 ,   p p .   1 5 8 9 – 1 6 0 4 ,   2 0 1 8 ,   d o i :   1 0 . 1 1 0 9 / JB H I . 2 0 1 7 . 2 7 6 7 0 6 3 .   [ 1 1 ]   Y .   M e n g ,   W .   S p e i e r ,   M .   O n g ,   a n d   C .   W .   A r n o l d ,   “ H C ET:   h i e r a r c h i c a l   c l i n i c a l   e m b e d d i n g   w i t h   t o p i c   mo d e l i n g   o n   e l e c t r o n i c   h e a l t h   r e c o r d s  f o r   p r e d i c t i n g   f u t u r e   d e p r e ss i o n , ”   I EE E  J o u rn a l   o f   B i o m e d i c a l   a n d   H e a l t h   I n f o rm a t i c s ,   v o l .   2 5 ,   n o .   4 ,     p p .   1 2 6 5 – 1 2 7 2 ,   A p r .   2 0 2 1 ,   d o i :   1 0 . 1 1 0 9 / JB H I . 2 0 2 0 . 3 0 0 4 0 7 2 .   [ 1 2 ]   J.  Y e ,   L.   Y a o ,   J .   S h e n ,   R .   J a n a r t h a n a m,  a n d   Y .   L u o ,   “ P r e d i c t i n g   m o r t a l i t y   i n   c r i t i c a l l y   i l l   p a t i e n t s  w i t h   d i a b e t e s  u si n g   m a c h i n e   l e a r n i n g   a n d   c l i n i c a l   n o t e s , ”   BM C   Me d i c a l   I n f o rm a t i c s  a n d   D e c i s i o n   Ma k i n g ,   v o l .   2 0 ,   n o .   S 1 1 ,   p .   2 9 5 ,   D e c .   2 0 2 0 ,   d o i :   1 0 . 1 1 8 6 / s 1 2 9 1 1 - 0 2 0 - 0 1 3 1 8 - 4.   [ 1 3 ]   K .   H u a n g ,   J.   A l t o sa a r ,   a n d   R .   R a n g a n a t h ,   “ C l i n i c a l B E R T:   m o d e l i n g   c l i n i c a l   n o t e s  a n d   p r e d i c t i n g   h o s p i t a l   r e a d mi ss i o n , ”   a rX i v   p re p ri n t   a rXi v : 1 9 0 4 . 0 5 3 4 2 ,   2 0 1 9 ,   [ O n l i n e ] .   A v a i l a b l e :   h t t p : / / a r x i v . o r g / a b s/ 1 9 0 4 . 0 5 3 4 2 .   [ 1 4 ]   J.  W u ,   Y .   Li n ,   P .   Li ,   Y .   H u ,   L.   Z h a n g ,   a n d   G .   K o n g ,   “ P r e d i c t i n g   p r o l o n g e d   l e n g t h   o f   I C U   st a y   t h r o u g h   m a c h i n e   l e a r n i n g , ”   D i a g n o s t i c s ,   v o l .   1 1 ,   n o .   1 2 ,   p .   2 2 4 2 ,   N o v .   2 0 2 1 ,   d o i :   1 0 . 3 3 9 0 / d i a g n o s t i c s1 1 1 2 2 2 4 2 .   [ 1 5 ]   S .   A .   M o q u r r a b ,   U .   A y u b ,   A .   A n j u m,  S .   A sg h a r ,   a n d   G .   S r i v a s t a v a ,   “ A n   a c c u r a t e   d e e p   l e a r n i n g   m o d e l   f o r   c l i n i c a l   e n t i t y   r e c o g n i t i o n   f r o m   c l i n i c a l   n o t e s,”   I EE E  J o u rn a l   o f   B i o m e d i c a l   a n d   H e a l t h   I n f o rm a t i c s ,   v o l .   2 5 ,   n o .   1 0 ,   p p .   3 8 0 4 – 3 8 1 1 ,   2 0 2 1 ,   d o i :   1 0 . 1 1 0 9 / JB H I . 2 0 2 1 . 3 0 9 9 7 5 5 .   Evaluation Warning : The document was created with Spire.PDF for Python.