I AE S In t er na t io na l J o urna l o f   Ro bo t ics a nd   Aut o m a t io n  ( I J RA)   Vo l.  1 4 ,   No .   2 ,  J u n e   20 2 5 ,   p p .   2 73 ~ 2 80   I SS N:  2722 - 2 5 8 6 ,  DOI :  1 0 . 1 1 5 9 1 /i jr a . v 14 i 2 . pp 2 73 - 2 80           273       J o ur na l ho m ep a g e :  h ttp : //ij r a . ia esco r e. co m   Experime ntal ev a lua tion o f  bidi rect io na l encoder  represen tatio ns fr o m trans formers   mo dels for de - ide ntif ica tion   o f  clinica l docum ent  ima g es       Ra v icha nd ra   Srira m ,   Siv a   S a t hy a   Su nd a ra m ,  S.  L o urdu M a rie  So ph ie   D e p a r t me n t   o f   C o mp u t e r   S c i e n c e ,   P o n d i c h e r r y   U n i v e r si t y ,   P o n d i c h e r r y ,   I n d i a       Art icle  I nfo     AB S T RAC T   A r ticle  his to r y:   R ec eiv ed   Ap r   2 6 ,   2 0 2 4   R ev is ed   J an   2 8 ,   2 0 2 5   Acc ep ted   Ma r   5 ,   2 0 2 5       M a n y   h e a lt h   in sti tu tes   m a in tai n   p a ti e n ts ’   d iag n o sis  a n d   trea tme n t  re p o rts   a s   sc a n n e d   ima g e s.  F o r  h e a lt h c a re   a n a ly ti c s  a n d   re se a rc h ,   larg e   v o lu m e s  o f   d ig it a l ly   sto re d   p a ti e n t  in f o rm a ti o n   h a v e   to   b e   a c c e ss e d ,   b u t  t h e   p riv a c y   re q u irem e n ts  o f  p r o tec ted   h e a l th   in f o rm a ti o n   (P HI)  li m it   t h e   re se a rc h   o p p o rt u n it ies .   P a rti c u larly   in   t h is  a rti ficia l  in telli g e n c e   (AI)  e ra ,   d e e p   lea rn in g   m o d e ls  re q u ire  lar g e   d a t a se ts  fo r  train in g   p u r p o se s,  wh ic h   h o sp i tals  c a n n o t   sh a re   u n les s   th e   P HI   field s   a re   d e - i d e n ti f ied .   M a n u a l  d e - id e n ti fica ti o n   is  b e y o n d   p o ss ib le,  wit h   m il li o n s  o f  p a ti e n t  re c o rd s  g e n e ra ted   i n   h o s p it a ls   e v e ry   d a y .   He n c e ,   th is   wo rk   a ims   to   a u to m a te  th e   d e - i d e n ti fi c a ti o n   o f   c li n ica l  d o c u m e n t  ima g e s  u t il i z in g   AI  m o d e ls,  p a rti c u larly   p re - train e d   b id irec ti o n a l  e n c o d e r  re p re se n tati o n s  fro m   tran sf o rm e rs  (BERT )  m o d e ls.  F o r   th e   p u rp o se   o f   e x p e rime n tatio n ,   a   sy n t h e ti c   d a tas e t  o f   5 5 0   c li n ica l  d o c u m e n t   ima g e s  wa s  g e n e ra ted ,   e n c o m p a ss in g   d a ta  o b tain e d   fr o m   d iv e rs e   p a ti e n ts   a c ro ss   m u lt ip le  h o sp it a ls.  T h is  wo rk   p re se n ts  a   two - sta g e   tran sf e r  lea rn in g   a p p ro a c h ,   in i ti a ll y   e m p l o y in g   Tes se ra c t  c h a ra c ter  re c o g n it io n   (OCR)  to   c o n v e rt  c li n ica l  d o c u m e n t  ima g e s  in to   tex t.   S u b se q u e n t ly ,   it   e x tr a c ts  P HI  field s  fr o m   th e   tex t   f o r  d e - id e n ti fica ti o n .   F o r   th e   p u rp o se   o f   e x trac ti o n ,   BERT   m o d e ls   we re   u ti l ize d ;  i n   th is   wo r k ,   we   c o n tras ted   six   p re - train e d   v e rsio n s   o f   su c h   m o d e ls  t o   e x a m in e   th e ir   e ffe c ti v e n e ss   a n d   a c h i e v e   th e   F 1   sc o re   o f  9 2 . 4 5 % ,   t h u s  s h o wi n g   b e tt e r  p o ten ti a l  f o r  d e - id e n ti f y i n g   P HI  d a ta  in   c li n ica l  d o c u m e n ts.   K ey w o r d s :   C lin ical  d e - id en tific atio n     Dee p   lear n in g     Natu r al  lan g u ag e   p r o ce s s in g   Pro tecte d   h ea lth   in f o r m atio n   Su p p o r t  v ec to r   m ac h in es   T ess er ac t c h ar ac ter   r ec o g n itio n   T h is i s  a n   o p e n   a c c e ss   a rticle   u n d e r th e   CC B Y - SA   li c e n se .     C o r r e s p o nd ing   A uth o r :   R av ich an d r a  Srir am     Dep ar tm en t o f   C o m p u ter   Scie n ce ,   Po n d ic h er r y   Un iv er s ity   Po n d ich er r y ,   I n d ia   E m ail: r av ich an d r asrir am @ g m ail. co m       1.   I NT RO D UCT I O N   Patien ts ’   clin ical  f iles   co n ta in   r ec o r d s   o f   m e d icatio n s   an d   th e r ap ies  th at   h av e   alr ea d y   b ee n   ad m in is ter ed   to   th em .   T h ese  r ec o r d s   p lay   an   im p o r ta n t  r o le   in   im p r o v in g   th e  ac cu r ac y   o f   p atien t  d iag n o s es  an d   o v e r all  ca r e.   Fu r th e r m o r e ,   th ey   ar e  v alu ab le  r eso u r ce s   in   m ed ical  r esear ch ,   p r o v id in g   im p o r tan t  in s ig h t s   in to   th e  p atien t ’ s   s tate.   Prio r   to   s h ar in g   th ese  m ed ical  r e co r d s   with   r esear c h er s   f o r   cl in ical  s tu d ies,  th e   p r o tecte d   h ea lth   in f o r m atio n   ( PHI )   m u s t  b e  r em o v e d   o r   an o n y m ized .   T h is   co m p r is es  th e  p atien t ’ s   n am e,   ag e,   an d   co n tact  in f o r m atio n .   T h is   d e - id en tific atio n   n ee d   s tem s   f r o m   th e  s en s itiv e  n atu r e  o f   p atien t  d ata.   I n   th e   Un ited   States ,   HI PA A  [ 1 ] ,   o r   th e  Hea lth   I n s u r an ce   Po r ta b ilit y   an d   Acc o u n ta b ilit y   Act,   s p ec if ies  eig h teen   d if f er en t  ty p es  o f   PHI   th at  m u s t  b e  ca r ef u lly   d e - id e n t if ied   b ef o r e  b ein g   s h ar ed   with   th ir d   p ar ties .   Fu r th er m o r e ,   s ev er al  ar tific ial  in tellig en ce   ( AI )   m o d els  u s ed   to   an aly ze   h ea lth ca r e  r ec o r d s   r eq u ir e  lar g e   am o u n ts   o f   d ata  f o r   tr ain in g .   Ho s p itals   d o   n o t   s h ar e   clin i ca l  d ata  d u e   to   p r iv ac y   p o lic ies,  an d   all  p atien t  Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 7 2 2 - 2 5 8 6   I AE S  I n t  J   R o b   &   A u to m ,  Vo l .   14 ,   No .   2 ,  J u n e   20 2 5 :   2 73 - 2 80   274   r ec o r d s   co n tain   PHI   elem en ts .   T h ese  PHI   co m p o n e n ts   m u s t  b e  an o n y m ized   o r   d e - i d en t if ied   b ef o r e  b ein g   p r o v id e d   f o r   r esear ch   p u r p o s es.  Ho wev er ,   o n ly   a  lim ited   n u m b er   o f   h ea lth ca r e  p r o f ess io n als  m an u ally   d e - id en tify   clin ical  d o c u m en t  im ag es  u s in g   s p ec ialized   to o ls   f o r   ed itin g .   T h is   p r o ce d u r e  is   in ef f ec tiv e  f o r   b o t h   tim e  an d   ex p en s e.   C o n s eq u en t ly ,   m an y   d ig ital c o p ies o f   th ese  h ea lth ca r e  d o cu m e n ts   r em ain   u n u s ed .   T h is   wo r k   p r esen ts   a   m eth o d   th at   u tili ze s   p r e - t r ain ed   b i d ir ec tio n al  e n co d e r   r e p r esen t atio n s   f r o m   tr an s f o r m er s   ( B E R T )   m o d el s   f o r   th e   au to m ated   d etec ti o n   a n d   elim in atio n   o f   p e r s o n ally   i d en tify in g   in f o r m atio n   in   clin ical  d o cu m en t  im ag es.  Me d ical  d o cu m en ts   ex h ib it  u n ev e n   o r g a n i za tio n al  f r am ewo r k s ,   in teg r atin g   v ar i o u s   d ata  f o r m s   in clu d in g   lar g e  h ea d i n g s ,   lo g o s ,   s in g le - co lu m n   an d   d u al - co lu m n   k e y - v al u e   p air s ,   as  well  a s   m u lti - co lu m n   tab les  with   an d   with o u t  b o r d er s .   T h is   d iv er s ity   in   d o cu m en t  lay o u ts   p r esen ts   ch allen g es  in   ac cu r ately   d etec tin g   PHI   d etails  with in   th e  d o cu m en ts .   T h e  lan g u ag e  r ep r es en tatio n   p ar a d ig m ,   B E R T   [ 2 ] ,   is   s p ec if ically   d ev elo p ed   to   p r e - tr ain   d ee p   b id ir ec tio n al  r ep r esen tatio n s   f r o m   u n lab eled   tex t.  T h e   p r e - tr ain in g   p r o ce s s   in v o lv es  s im u ltan eo u s   co n s id er atio n   o f   b o th   t h e  lef t  an d   r ig h t  co n tex ts   th r o u g h o u t   all   lay er s .   As  a  r esu lt,  th e  B E R T   m o d el  ca n   b e  ef f ec tiv ely   f in e - tu n ed   b y   in co r p o r atin g   a  s in g u lar   o u t p u t  lay er .   T h is   en ab les  th e  d ev elo p m en t   o f   s tate - of - th e - ar t   m o d els  f o r   v ar io u s   task s ,   s u ch   as  q u esti o n   an s wer in g   an d   lan g u ag e  in f er en ce ,   with o u t  n ec ess itatin g   s u b s tan tial  m o d if icatio n s   to   th e  u n d e r ly in g   a r ch itectu r e  s p ec if ic  to   ea ch   task .     T h e  liter atu r e  r ev iew  co n d u ct ed   s o   f ar   d id   n o t  r ev ea l  an y   p r ev io u s   s tu d ies  o n   d e - id en tify i n g   clin ical  d o cu m e n ts   s to r ed   as  im a g es.  T h e  af o r em en tio n ed   m o d els  h av e  b ee n   s u b jecte d   to   test in g   u tili zin g   p u b licly   av ailab le  clin ical  r ec o r d s   d atasets ,   in clu d in g   MI M I C –   I I   [ 3 ] ,   MI M I C –   I I I   [ 4 ] ,   i 2 b 2   C o r p u s   2 0 0 6   [ 5 ] ,   i2 b 2   C o r p u s   2 0 1 4   [ 6 ] ,   a n d   C E GS  N - GR I D  C o r p u s   2 0 1 6   [ 7 ] .   T h e  d atasets   in   q u esti o n   co n s is t  o f   v ar io u s   f r ee - tex t   an d   elec tr o n ic  h ea lth   r ec o r d s   ( E HR )   in f o r m atio n ,   u n lik e   th e   d o cu m en ts   we  h av e  c o n s id er ed   in   t h is   r esear ch ,   wh ich   ar e  p u r e  im a g es.    T h is   r esear ch   f o c u s es  o n   th e  d e - id en tific atio n   a n d   a n o n y m iz atio n   o f   PHI   f ield s   p r esen t  in   p atien ts ’   clin ical  d o cu m en ts .   Giv en   th e  ex is tin g   g ap s   in   th e   liter atu r e,   th e   r esear ch   ad d r ess es  th e  f o llo win g   k e y   s cien tific   ch all en g es  to   tack le  th is   p r o b lem   ef f ec tiv ely :  i)   ex tr ac tio n   o f   co n ten t  f r o m   s ca n n ed   im ag es,  ii)  id en tify in g   th e  PHI   f ield s   an d   th eir   lo ca tio n   with in   th e  s ca n n ed   clin ical  d o cu m en ts /im ag e,   an d   iii)   de - id en tific atio n /an o n y m izin g   th e  PHI   f ield s .   Sin ce   1 9 9 6 ,   n u m er o u s   r esear ch er s   h av e  c o m m itted   to   i n v esti g atin g   th e  p o ten tial  f o r   au to m atin g   th e   p r o ce s s   o f   d e - id en tif y in g   h e alth ca r e  r ec o r d s .   Sev er al  co m p u tatio n al  m o d els  h av e  b e en   d ev is ed ,   s u ch   as  co n d itio n al   r an d o m   f ield s   ( C R Fs ) ,   h id d en   Ma r k o v   m o d els  ( HM M) ,   d ec is io n   tr ee s   ( DT s ) ,   an d   s u p p o r t  v ec to r   m ac h in es  ( SVMs).   T h ese  s y s tem s   u tili ze   m ac h in e - lear n in g   m eth o d o lo g ies  t h at  ar e   r u le - b ased ,   k n o wled g e - b ased ,   o r   d ata - d r iv en .   Dee p   l ea r n in g   m o d els  s u ch   as  lo n g   s h o r t - ter m   m e m o r y   ( L STM ) ,   g ated   r ec u r r en t  u n it  ( GR U) ,   an d   b id ir ec tio n al  en co d er   r ep r esen tatio n s   f r o m   t r an s f o r m er s   ( B E R T )   h av e  d em o n s tr ated   m o r e   f av o r a b le  o u tco m es.  T h is   s ec tio n   d elv es  in to   v ar io u s   d e - id en tific atio n   m o d els  em p lo y ed   o n   p u b licl y   ac ce s s ib le  d atasets .     R ef er en ce   [ 8 ]   th o r o u g h ly   ex am in es  th e  u s e  o f   d ee p   lear n in g   m o d els  in   clin ical  tex t  d e - id en tific atio n ,   o f f er i n g   a   co m p r eh en s iv e  ass ess m en t  o f   th e  to p ic.   T h is   s u r v ey   p r esen ts   a   s elec tio n   o f   liter ar y   wo r k s   f o r   e x am in atio n .   T h e  a u th o r s   in   [ 9 ]   u tili ze d   a  b id ir e ctio n al  L STM   m o d el  th at  s tr o n g ly   r esem b les  th e   m o d el  estab lis h ed   b y   [ 1 0 ]   t o   ac h iev e  d e - i d en tific atio n .   T h e   b id ir ec tio n al  L STM   m o d el   is   h ig h ly   p r e v alen t  in   n atu r al  lan g u ag e  p r o ce s s in g   ( NL P)  an d   d em o n s tr ates  ex ce p tio n al  p er f o r m a n ce   in   a  r an g e  o f   n am ed   e n tity   r ec o g n itio n   ( NE R )   task s .   Pre v io u s   r esear ch   in v esti g atio n s   [ 1 1 ] ,   [ 1 2 ]   h av e   also   u tili ze d   B i - L STM   f o r   th e   p u r p o s e  o f   clin ical  d e - id en tifi ca tio n .   T h is   ap p r o ac h   allo ws f o r   esti m atin g   p r o b a b ilit ies ass o ciate d   with   s ev er al  p o ten tial la b els f o r   p er s o n ally   id en tifia b le  h ea lth   in f o r m atio n   ( PHI )   f o r   ev er y   to k en   in   th e  s eq u en ce .     Fu r th er m o r e ,   th e  au th o r s   in   [ 2 ]   p r o p o s ed   a  p r e - tr ain ed   d ee p   b id ir ec tio n al  tr a n s f o r m er   f o r   th e   lan g u ag e  m o d el,   r e f er r ed   t o   as  th e  B E R T   m o d el.   T h is   m o d el  ca n   s im u ltan eo u s ly   co n tex tu alize   wo r d   em b ed d in g s   b y   in co r p o r atin g   all  ad jace n t  co n te x ts ,   th er eb y   m ak in g   m ajo r   c o n tr ib u tio n s   t o   th e  f ield   o f   NL P  ac r o s s   m u ltip le  task s .   I n   an o th er   wo r k   b y   [ 1 3 ] ,   f i n e - tu n i n g   o f   a  b id ir ec tio n al  en co d er   r ep r e s en tatio n   m o d el  to   attain   th e  m o s t  ad v an ce d   lev el  o f   d e - id en tific atio n   p er f o r m an ce   f o r   elec tr o n ic  h ea lth   d ata  was  p er f o r m ed .   T h is   m o d el  d em o n s tr ates  a  h ig h   lev el  o f   ef f icac y   i n   r em o v i n g   p atien t  id e n tifie r s ,   in clu d in g   b u t  n o t  lim ited   to   n am e,   ag e,   an d   s o cial  s ec u r ity   n u m b er .   T h o u g h   v ar io u s   tech n iq u es  h av e  b ee n   ad o p ted ,   n o   s in g le  m o d el  co u ld   de - id en tify   all  th e  PHI   f ield s ,   p ar ticu lar ly   f r o m   C lin ical  d o cu m en ts   th at  ar e  in   th e  f o r m   o f   im ag es.  T h is   f o r m s   th e  b asis   o f   th is   r esear ch ,   w h ich   tr ies  to   ex p er im en tally   ev alu ate  s o m e  o f   th e  p o p u lar   p r e - tr ain e d   B E R T   m o d els  p r ev io u s ly   u s ed   f o r   d ata  ex tr ac tio n .   T h is   r esear ch   aim s   to   u s e  B E R T   f o r   th e  p u r p o s e  o f   PHI   id en tific atio n   an d   an o n y m iza tio n ,   wh ich   is   n o t  f o u n d   in   t h e  ex is tin g   liter atu r e.   Sin ce   s ev er al  v er s io n s   o f   B E R T   ar e  av ailab le,   it  is   n ec e s s ar y   to   co m p ar e  t h em   with   p r o p er   ex p e r im en tatio n   an d   co n clu d e  th e  ef f icac y   o f   th e  b est  o n e  s o   th at  f u tu r e  r esear ch   ca n   r ely   o n   it  f o r   th e  d e - id en tific atio n   p r o ce s s .   T h e  p er f o r m an ce   o f   th e   m eth o d s   is   ev alu ated   u s in g   g e n er ally   estab lis h ed   m etr ics s u ch   as p o s itiv e  p r ed ictiv ity   a n d   F1   S co r e.   T h e  s u b s eq u en t  s ec tio n s   o f   th e  p ap er   ar e  s tr u ctu r e d   in   th e  f o llo win g   m an n e r :  s ec tio n   2 .   i n tr o d u ce s   th e  p r o p o s ed   m eth o d ,   s ec tio n   3   o u tlin es  th e  ex p er im en t al  s etu p   an d   d is p lay s   th e  o b tain ed   r esu lts ,   an d   s ec tio n   4   co n clu d es th e  wo r k .     Evaluation Warning : The document was created with Spire.PDF for Python.
I AE S  I n t  J   R o b   &   A u to m   I SS N:   2722 - 2 5 8 6       E xp erimen ta l e va lu a tio n   o f b i d ir ec tio n a l e n co d er rep r esen ta tio n s   …   ( R a vich a n d r a   S r ir a m )   275   2.   M E T H O D    T h e  p r o p o s ed   s y s tem   lo o k s   f o r   p r o s p ec tiv e  tech n i q u es  f o r   au to m atica lly   d e - id en tif y in g   clin ical   d o cu m e n ts   s to r ed   as   im ag es.  I n   th is   r eg ar d ,   s ev er al   tech n i q u es  wer e   an aly ze d .   Am o n g   th em ,   co n v en tio n al   wo r d - lev el   v ec to r   r ep r esen tatio n s ,   lik e  w o r d 2 v ec   [ 1 4 ] ,   Glo Ve  [ 1 5 ] ,   a n d   f astTex t  [ 1 6 ] ,   r ed u ce   all  p o ten tial   s em an tics   o f   a  wo r d   in to   a  s in g le  v ec to r ,   u n ab le  to   d is ce r n   d if f er en t  wo r d   s en s es  d ep en d in g   o n   th e  co n tex t  in   wh ich   th ey   ap p ea r .   E L Mo   [ 1 7 ]   an d   B E R T   [ 2 ]   o f f er   r o b u s t  s o lu tio n s   f o r   co n tex t u alize d   w o r d   r ep r esen tatio n s   co m p ar ed   t o   o th er   lan g u ag e  m o d els.  E L Mo   ac h iev es  co n t ex t  s en s itiv ity   b y   p r e - tr ain in g   o n   ex ten s iv e  tex t   co r p o r a,   g e n er atin g   u n iq u e  em b ed d in g s   f o r   ea ch   wo r d   in   a  g iv e n   s en ten ce .   T h ese  em b ed d i n g s   ar e   s u b s eq u en tly   u tili ze d   in   d o wn s tr ea m   task s .   I n   co n tr ast,  B E R T   i s   a  m o r e  co m p lex   m o d el  with   m o r e   p ar am eter s ,   af f o r d i n g   it   en h a n ce d   r ep r esen tatio n al  ca p a b ilit ies.  No tab ly ,   B E R T   g o es  b ey o n d   p r o v i d in g   m er e   wo r d   em b ed d i n g s ;  it  ca n   b e   s ea m less ly   in teg r ated   i n to   s p ec if ic  task s   an d   f in e - tu n e d   f o r   e n h an ce d   task - s p ec if ic  p er f o r m a n ce .   Ov er all ,   B E R T   h as   d em o n s tr ated   s u p er io r   p er f o r m an ce   co m p ar e d   to   E L Mo   an d   n o n - co n tex tu al  em b ed d i n g s   ac r o s s   v ar io u s   ap p licatio n s ,   in clu d in g   th o s e  in   th e  m ed ical  f iel d   [ 1 8 ] .   W ith   th ese   ad v an ce m e n ts ,   we  f o cu s   e x clu s iv ely   o n   B E R T   [ 2 ]   in   th is   wo r k ,   o m itti n g   E L M o   [ 1 7 ]   an d   n o n - c o n tex t u al   em b ed d in g   m eth o d s .   T h e  f r a m ewo r k   f o r   au to m atic  d e - id en tific atio n   o f   clin ical  d o cu m en t   im ag es  is   s h o wn   in   Fig u r e  1 ,   c o m p r is in g   s ev e r al  s tep s   wh ich   ar e  ex p lain ed   in   t h is   s ec tio n .             Fig u r e  1 .   Fra m ewo r k   o f   clin ic al  d o cu m e n t im ag e  d e - id en tifi ca tio n       2 . 1 .     I ma g e - to - t e x t   c o nv er s io n    B E R T   m o d els  p r o ce s s   o n ly   t ex t  d ata,   s o   th e  clin ical  d o cu m en t  im ag e  m u s t  b e  co n v er t ed   to   tex t   u s in g   T ess er ac t  OC R .   T ess er a ct  OC R   co n v er ts   th e  im ag e   to   tex t  an d   p r o v id es  tex t   as  to k e n s ,   p r o v id in g   ea ch   to k en   l o ca tio n   in   t h e  in p u t  im ag e.   T h ese  to k e n   lo ca tio n s   ar e   u s ef u l   wh ile  r em o v in g   to k en s   f r o m   th e   im ag e   if   to k en s   ar e  id e n tifie d   as PHI   to k en s .       2 . 2 .     P re - pro ce s s ing     Var io u s   tex t  p r e - p r o ce s s in g   t ask s   ar e  p er f o r m e d   in   th is   s tep   to   clea n   th e  co n v er ted   tex t.   T h e  task s   p er f o r m ed   ar e  r em o v i n g   p u n ctu atio n   m ar k s   f r o m   th e  tex t,   s u ch   as  co m m as,  p er io d s ,   q u esti o n   m ar k s ,   etc.   Pu n ctu atio n   r em o v al  h elp s   to   elim in ate  u n n ec ess ar y   s y m b o ls   an d   m ak e  th e  te x t  m o r e  clea n   an d   s im p le .   No r m aliza tio n   o f   te x t  b y   p e r f o r m in g   ca s e   co n v er s io n   h e lp s   r ed u ce   tex t   v ar iab ilit y   a n d   m a k e  it   m o r e  Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 7 2 2 - 2 5 8 6   I AE S  I n t  J   R o b   &   A u to m ,  Vo l .   14 ,   No .   2 ,  J u n e   20 2 5 :   2 73 - 2 80   276   co n s is ten t.  C o r r ec tin g   s p elli n g   er r o r s   o r   ty p o s   h el p s   im p r o v e   tex t  q u ality   a n d   r ea d ab ilit y   an d   av o id s   co n f u s io n   o r   m is u n d er s tan d in g .     2 . 3 .     De - identif ica t io n     Her e,   we  ad o p ted   t h e  m o d el  ar ch itectu r e  o f   B E R T   with   ad d itio n al  co m p o n e n ts .   T o   id en tify   PHI   to k en s ,   th e   r esu lt  o f   t h e  f i n al  l ay er   o f   B E R T   is   g iv e n   to   a  f u lly   co n n ec ted   d en s e  lay e r   wit h   s ev en   o u t p u ts   f o r   p er f o r m in g   n am ed   en tity   r ec o g n itio n ,   wh er e  s ev e n   in cl u d e  t h e  s ix   PHI   ca te g o r ies  as  s p ec i f ied   in   T ab le  2   p lu s   o n e  n o n - PHI   ty p e.   Ou r   ex p er i m en t  aim s   to   ev alu ate  th e  p er f o r m an ce   o f   v ar io u s   p r e - tr ain ed   B E R T   m o d els  in   id en tify in g   PHI   T o k e n s   o f   clin ical  d o cu m en ts .   T ab le   1   lis ts   th e  v a r io u s   B E R T   m o d els  u ti lized   in   th is   wo r k .   T h e  s eq u en ce   o f   p r e - p r o ce s s ed   tex t  to k en s   is   f e d   to   th ese  p r e - tr ain ed   B E R T   m o d els  to   r e co g n ize  wh et h er   a   to k en   is   o n e  o f   th e  s ix   PHI   ca teg o r ies  o r   a  n o n - PHI   ty p e.   I f   a  to k en   is   id en tifie d   as  PHI ,   it  is   r em o v ed   f r o m   th e  clin ical  d o cu m en t  im a g e   with   th e  h elp   o f   th e  T o k e n   lo ca tio n   s to r ed   at  th e  tim e  o f   im ag e - to - tex t  co n v er s io n .   T h ese  id en tifie d   PHI   to k en s   ar e  s to r e d   in   a  tex t  f ile  f o r   f u t u r e  r e - id en tific atio n .       T ab le  1 .   Pre - tr ai n ed   m o d els em p lo y ed   in   th is   wo r k   Pre - t r a i n e d   m o d e l   D e scri p t i o n   B ER T ba s e   [ 2 ]   B a se   B E R T  i s  p r e - t r a i n e d   w i t h   1 1 0   mi l l i o n   p a r a me t e r s  w i t h   u n c a se d   t o k e n s,   a l so   p r e - t r a i n e d   w i t h   B o o k s C o r p u s   ( 8 0 0 M   w o r d s)   [ 1 9 ]   a n d   En g l i s h   W i k i p e d i a   ( 2 . 5   B   w o r d s)   B i o B E R T   [ 2 0 ]   I t   i s p r e - t r a i n e d   w i t h   P u b M e d   a b st r a c t s a n d   C e n t r a l   a r t i c l e s   S c i B ER T   [ 2 1 ]   I t   i s p r e - t r a i n e d   w i t h   a c a d e mi c   c o r p u s   f r o m  t h e   se ma n t i c   s c h o l a r   C l i n i c a l B ER T  [ 2 2 ]   I t   i s p r e - t r a i n e d   w i t h   M I M I C - I I I   v   1 . 4   d a t a b a s e   R o B E R Ta   [ 2 3 ]   Pre - t r a i n e d   w i t h   C C - N EWS   [ 2 4 ] ,   O p e n W e b Te x t ,   a n d   S t o r i e s  [ 2 5 ]   B ER T  b y   Jo h n so n   [ 1 3 ]   Pre - t r a i n e d   w i t h   i 2 b 2   2 0 0 6   C o r p u s  [ 5 ] ,   i 2 b 2   2 0 1 4   C o r p u s  [ 6 ] ,   P h y si o N e t   C o r p u s  [ 2 6 ] ,   a n d   D e r n o n c o u r t _ l e e   C o r p u s  d a t a se t s  [ 9 ]       3.   RE SU L T S AN D  D I SCU SS I O N      3 . 1 .     Clini ca l  do cum ent   im a g e  da t a s et   A  s y n th etic  d ataset  h as  b ee n   cr ea ted   f o r   ex p e r im en tal  p u r p o s es,  co n s is tin g   o f   clin ical   d o cu m e n t  im ag es  o b tain e d   f r o m   v ar io u s   h o s p ital  p atien ts .   T h e   r e p o r ts   wer e  a cq u ir e d   with   th e  p atien t ’ s   ex p licit  p er m is s io n ;  n o n eth eless ,   th e  d ataset  r em ain s   in ac ce s s ib le  to   th e  g en er al  p u b lic  o win g   to   th e  co n f id en tial   n atu r e  o f   th e  d ata.   T h e  d ataset  u s ed   in   th is   wo r k   is   a  s y n t h etic  co llectio n   c o n s is tin g   o f   5 5 0   im a g es  o b tai n ed   f r o m   4 6   in d iv id u als.  T h is   d ataset  en co m p ass es  a   v ar iety   o f   d o cu m en t  ty p es,  s u ch   as  d i s ch ar g e  s u m m ar ies,   r ad io lo g y   r ep o r ts ,   b io ch em is tr y ,   h em ato lo g y ,   lab o r ato r y   f in d in g s ,   an d   m o r e.   T h e  f iles   ar e  a cc ess ib le  as  J PEG   im ag es,  em p lo y i n g   t h e  R GB   co lo r   s y s tem .   T h e   s tr u ct u r e  o f   th e  clin ical   d o c u m en t  im ag e  ex h ib its   a  co n s id er ab le  d eg r ee   o f   co m p le x ity .   T h e   lay o u t  o f   ea ch   im ag e   is   d is tin ct  an d   c o n tin g e n t  u p o n   th e  s p ec if ic   ty p e   o f   r ep o r t,  with   r ep o r ts   o r i g in atin g   f r o m   th e  s am e  o r g an iz atio n   ex h ib itin g   d iv er s e  p atte r n s .   I m p lem en tin g   HI PAA - co m p lian t  s u b s titu tio n s   an d   d eletin g   p er s o n ally   i d en tifia b le  h ea lth   in f o r m atio n   ( PHI )   id e n tifie r s   in s id e  th e  d ataset  en h an ce s   i ts   ap p r o p r iaten ess   f o r   au to m ated   d e - id e n tific atio n   in   NL P  r esear ch .   T ab le  2   p r esen ts   th e  d ataset ’ s   p r o b a b ilit y   d is tr ib u tio n   o f   PHI .       T ab le  2 .   PHI   d is tr ib u tio n s   o f   c lin ical  d o cu m en t im a g e  d atase t   C a t e g o r y   S u b - c a t e g o r y   N o   o f   t o k e n s     C a t e g o r y   S u b - c a t e g o r y   N o   o f   t o k e n s   N a me   P a t i e n t   5 5 0     A g e   A g e   5 5 0     D o c t o r   4 9 5     D a t e   D a t e   7 8 4     H o sp i t a l   3 7 8     C o n t a c t   P h o n e   2 4 5     O r g a n i z a t i o n   1 7 2       M o b i l e   4 3 8   Lo c a t i o n   D n o   1 2 6       F a x   47     S t r e e t   4 1 2       Emai l   3 8 9     C i t y   5 5 0     ID   P a t i e n t   I D   2 4 1     S t a t e   3 1 6       UHID   2 4 3     C o u n t r y   1 4 9       I P N O   3 8 8     P i n c o d e   4 7 8               3 . 2 .     E v a lua t i o n   T h e  p er f o r m an ce   o f   th e  d if f er en t  m o d els  is   ass es s ed   b y   co m p u tin g   ess en tial  m etr ics  s u ch   as   F1   Sco r e,   p r ec is io n ,   an d   r ec all .   Of   th e   m etr ics  c o n s id er ed ,   s e n s itiv ity   is   r eg ar d e d   as  t h e  m o s t  cr itical  in d icato r   f o r   p atien t  d e - id en tific atio n   s in ce   it  s h o ws  th e   p r o p o r tio n   o f   ac cu r ately   id en tifie d   in d iv id u als  th at  th e  m o d el   ap p r o p r iately   an n o tates.  T h e  p r e - p r o ce s s in g   an d   e v alu atio n   o f   in d iv id u al  p r e - tr ain e d   B E R T   m o d els  wer e  co n d u cte d   u s in g   th e  C lin ical  Do cu m en t  I m ag es  d ataset,   with   all  co m p u tatio n s   p er f o r m ed   o n   a  s in g le  Evaluation Warning : The document was created with Spire.PDF for Python.
I AE S  I n t  J   R o b   &   A u to m   I SS N:   2722 - 2 5 8 6       E xp erimen ta l e va lu a tio n   o f b i d ir ec tio n a l e n co d er rep r esen ta tio n s   …   ( R a vich a n d r a   S r ir a m )   277   NVI DI A  Qu ad r o   GV  1 0 0   2 4   GB   GP U.   T h e  ev alu atio n   o f   v ar io u s   p r e - t r ain ed   m o d els,  in clu d in g   B E R T base ,  B io B E R T ,   Sci B E R T ,   C lin ical B E R T ,   R o B E R T a,   an d   th e   B E R T - b ased   m o d el   p r o p o s ed   b y   [ 1 3 ] ,   is   co n d u cted   u s in g   a  d ataset  o f   clin ical  d o cu m en t  im ag es.  T h e  f in d in g s   o f   clin ical  d o cu m en t  im ag e  d e - id en tific atio n   ar e   d ep icted   i n   Fig u r e  2 .   T h e  ta b u latio n   o f   t h e  p er f o r m an ce   o u tco m es  o f   th e   d e - id e n tific atio n   ap p r o ac h   m a y   b e   s ee n   in   T a b le  3 .   B E R T   b y   J o h o n s o n   [ 1 3 ]   m o d el  ac h iev ed   F1   S co r e  o f   9 2 . 4 .   As  s tated   i n   th e  liter atu r e  r ev iew,   n o   r esear ch er   h as  y et  to   d e - id en tify   clin ical  d o cu m en t  i m ag es.  Pre v io u s ly ,   all  r esear ch   f o cu s ed   o n   d e - id en tify in g   clin ical  f r ee   tex t  o r   elec tr o n ic  r ec o r d s .   W ith   th is   p r o p o s ed   m o d el,   we  ca n   d e - id en tify   clin ical   d o cu m e n t im ag es a n d   u s e  th e m   f o r   clin ical  r esear c h .           Fig u r e  2 .   Sam p le  o u tp u ts   o f   cl in ical  d o cu m e n t im ag e  de - id e n tific atio n   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 7 2 2 - 2 5 8 6   I AE S  I n t  J   R o b   &   A u to m ,  Vo l .   14 ,   No .   2 ,  J u n e   20 2 5 :   2 73 - 2 80   278   T ab le  3 .   Per f o r m an ce   o f   de - id en tific atio n   o n   cli n ical  d o cu m en t im ag es d ataset   Pre - t r a i n e d   m o d e l   P r e c i s i o n   R e c a l l   F1   S c o r e   B ER T ba s e   [ 2 ]   8 4 . 5 6   8 3 . 1 5   8 4 . 7 8   B i o B E R T   [ 2 0 ]   8 6 . 8 7   8 5 . 2 1   8 6 . 0 5   S c i B ER T   [ 2 1 ]   9 1 . 4   8 7 . 4   8 9 . 3 6   C l i n i c a l B ER T  [ 2 2 ]   8 8 . 9   9 2 . 1   9 0 . 4 5   R o B E R Ta   [ 2 3 ]   9 0 . 7 5   8 9 . 5   9 0 . 1 2   B ER T  b y   Jo h n so n   [ 1 3 ]   9 3 . 8 9   9 1 . 0 6   9 2 . 4 5       3 . 4 .     Dis cus s io n    T h e  o v er all  p er f o r m a n ce s   o f   all  p r e - tr ain e d   m o d els  ex ce p t   B E R T   b y   J o h o n s o n   [ 1 3 ]   ar e  n ea r b y   an d   h av e  a   d if f e r en ce   o f   1 %  with   r esp ec t  to   all  m etr ics.  B E R T   b y   J o h n s o n   [ 1 3 ]   m o d el   h as  a  h ig h   F1   Sco r e   o f   9 2 . 4 5 %.   C o m p ar e d   to   o th e r   p r e - tr ain ed   m o d els,  B E R T   b y   J o h n s o n   [ 1 3 ]   is   a   tr ain ed   m o d el  o n   to p   o f   B E R T base   by  [ 2 ]   with   d e - id en tific atio n   d atasets   o f   i2 b 2   2 0 0 6   co r p u s   [ 5 ] ,   i2 b 2   2 0 1 4   co r p u s   [ 6 ] ,   Ph y s io n et  co r p u s   [ 2 6 ]   an d   Der n o n co u r t - lee  c o r p u s   [ 9 ] .   T h is   clin ical - r elate d   s p ec if ic  tr ain in g   g av e  t h e  b est  p e r f o r m an ce .   B u t  B E R T   by  [ 1 3 ]   h ad   ac h iev ed   an   F1   S co r e  o f   9 8 . 8 2   o n   th e  i2 b 2   2 0 1 4   ch allen g e  [ 6 ]   test   s et.   T h e  clin ical  in f o r m atio n   o n   th ese  d o cu m en t  im a g es  is   n o t  u n if o r m ly   s tr u ctu r ed .   T h e  lay o u ts   o f   th ese   d o c u m en ts   ch an g e   f r o m   o n e   h ea lth   in s titu te  to   a n o th er ,   an d   s o   d o   th e   ty p es  o f   r e p o r ts .   W h en   im ag es   ar e  c o n v er te d   to   t ex t,  th e  i n f o r m atio n   is   n o t  ex ac tly   tr an s f er r e d .   T h e   tex t  in   th ese  d o c u m en ts   m a y   h av e  d i f f er en t   f o n t  s ty les  an d   s izes.  Als o ,   th e  tex t  is   n o t u n if o r m ly   alig n e d .   So m e  is s u es  in   ca p tu r in g   p h y s ical  d o cu m e n ts   in to   im ag es in clu d e  th e  d eg r ad atio n   o f   a  f ew  d o cu m en ts   d u e  to   ag e.   T h e  h ea d er   an d   f o o ter   o f   th ese  d o cu m en t  im ag es  h av e  th e  h ea lth   in s titu te ’ s  n am e,   ad d r ess ,   co n tact  d etails,  an d   lo g o ,   with   d if f er en t  f o n t  s ty les  an d   s izes.  C ap tu r in g   in f o r m atio n   f r o m   th ese  lo ca tio n s   is   th e  m ajo r   c h allen g e.   T h e  p er f o r m an ce   o f   B E R T   b y   J o h n s o n   [ 1 3 ]   f o r   i n d iv id u al   en titi es  o f   PHI   ca teg o r ies  is   in   T ab le  4 .   I t  s h o ws  th e  r ea s o n   f o r   th e  lo w  p er f o r m an ce   o f   B E R T   b y   J o h n s o n   [ 1 3 ]   co m p ar ed   to   t h e  i2 b 2   2 0 1 4   ch allen g e.   I d en tify in g   lo ca tio n   a n d   co n tact  en tity   t y p es  is   less   ac cu r ate  d u e  to   th e   n atu r e  o f   th ese  clin ical  d o c u m en t im ag es.       T ab le  4 .   PHI   ca teg o r y - wis e  p e r f o r m a n ce   o f   p r e - tr ai n ed   B E R T   b y   J o h n s o n   [ 1 3 ]   En t i t y   Ty p e   P r e c i s i o n   R e c a l l   F 1   S c o r e   N a me   9 6 . 4   9 8 . 5   9 7 . 4   Lo c a t i o n   8 3 . 5 6   7 8 . 7 1   8 1 . 0 5   A g e   9 7 . 2 5   9 5 . 5 5   9 6 . 3 8   D a t e   9 6 . 4 5   9 8 . 6 5   9 7 . 5   C o n t a c t   8 6 . 5   8 3 . 3 5   8 4 . 9   ID   9 8 . 4   9 6 . 6 7   9 7 . 5       4.   CO NCLU SI O N    T h is   wo r k   in tr o d u ce s   a   co m p r eh en s iv e   f r am ewo r k   f o r   d e - id en tify in g   clin ical   d o c u m e n t  im ag es   u tili zin g   m u ltip le  p r e - tr ain e d   B E R T   m o d els.  T h e  m eth o d o lo g y   c o n s is ts   o f   th r ee   ess en tial  s tep s :  f ir s t,   tr an s f o r m in g   im ag es  i n to   tex t;  s ec o n d ,   p r ep a r in g   t h e  tex t   to   en h an ce   its   f o r m at   f o r   a n aly s is ;  an d   th ir d ,   em p lo y in g   a  p r e - tr ain e d   B E R T   m o d el  t o   d etec t  a n d   r e d ac t  PHI   to k en s .   W e  g en er ated   a  s y n th etic  d ataset  o f   5 5 0   clin ical  d o cu m e n t  im a g es  f r o m   m an y   h ea lth ca r e  o r g an izatio n s   to   v alid ate  th e  ex p er im e n t.  Ou r   co m p ar ativ e   an aly s is   o f   p u b licly   av ailab le   p r e - tr ain ed   B E R T   m o d els  r ev ea led   n o tab le  v ar iatio n s   in   p er f o r m an ce ,   with   th e  B E R T   b y   J o h n s o n   m o d el  ac h iev i n g   t h e  h ig h est  F1   S co r e  o f   9 2 . 4 5 %.  T h is   p er f o r m an ce   is   p ar ticu lar ly   s ig n if ican t  wh e n   co n tr asted   with   r esu lts   f r o m   estab lis h ed   d atasets   u s ed   in   th e  i2 b 2   2 0 0 6   an d   i2 b 2   2 0 1 4   d e - id e n tific atio n   c h allen g es.  T h e  s u p er io r   p er f o r m an ce   o f   th ese  d atasets   s u g g ests   th at  th e  B E R T   b y   J o h n s o n   m o d el  m ay   o f f er   en h an ce d   ca p ab ilit ies  f o r   h a n d lin g   th e  s p ec if ic  ch alle n g es  p r esen ted   b y   clin ical  d o cu m e n t  im ag es.  Ho wev er ,   t h e  co m p le x   lay o u ts   ty p ical  o f   clin ical  d o cu m e n ts   h in d er e d   co n v er tin g   im ag es  to   tex t,  wh ich   o f ten   led   to   in c o m p lete  o r   in ac cu r ate  tex t  ex t r ac tio n .   T h is   lim itatio n   u n d er s co r es  a  cr itical  ar ea   f o r   f u tu r e   r esear ch .   Su b s eq u en t  ef f o r ts   s h o u ld   aim   to   en h an c e  th e  OC R   p h ase  to   b etter   m a n ag e  th e   in tr icac ies  o f   v ar ied   d o cu m e n t  lay o u ts ,   e n s u r in g   a  m o r e  ac cu r ate  tex t  e x tr ac tio n .   Ad d itio n ally ,   f u t u r e   wo r k   will  ex p lo r e   ad v an ce d   tech n iq u es  f o r   au to m atica lly   ex tr ac tin g   an d   d e - i d en tify in g   PHI   f r o m   th ese  c o m p lex   d o c u m en ts ,   p o ten tially   in v o lv in g   in teg r atin g   AI - d r iv en   lay o u t  a n aly s is   to o ls   with   B E R T - b ase d   tex t  p r o ce s s in g   m eth o d o l o g ies.  B y   ad v an cin g   th ese  ar ea s ,   th e   f ield   ca n   m o v e  clo s er   to   f u lly   a u to m at ed ,   h ig h ly   ac c u r ate   s y s tem s   f o r   th e  s ec u r e  h an d l in g   o f   s en s itiv e  h ea lth   in f o r m atio n ,   th er eb y   ex p a n d in g   t h e  p o s s ib ilit ies  f o r   clin ical  r esear ch   wh ile  r ig o r o u s ly   s af eg u ar d in g   p atien t p r iv a cy .       Evaluation Warning : The document was created with Spire.PDF for Python.
I AE S  I n t  J   R o b   &   A u to m   I SS N:   2722 - 2 5 8 6       E xp erimen ta l e va lu a tio n   o f b i d ir ec tio n a l e n co d er rep r esen ta tio n s   …   ( R a vich a n d r a   S r ir a m )   279   F UNDING   I NF O R M A T I O N   No   f u n d in g   was r ec eiv e d .       AUTHO R  CO NT RI B UT I O NS ST A T E M E N T   T h is   jo u r n al  u s es  th e  C o n tr ib u to r   R o les  T ax o n o m y   ( C R ed iT)   to   r ec o g n ize  in d iv id u al  au th o r   co n tr ib u tio n s ,   r ed u ce   au th o r s h ip   d is p u tes,  an d   f ac ilit ate  co llab o r atio n .     Na m e  o f   Aut ho r   C   M   So   Va   Fo   I   R   D   O   E   Vi   Su   P   Fu   R av ich an d r a  Srir am   ✓   ✓   ✓           ✓               Siv a  Sath y a  Su n d ar am         ✓     ✓       ✓     ✓     ✓     S.  L o u r d u Ma r ie  So p h ie           ✓   ✓   ✓       ✓             C   :    C o n c e p t u a l i z a t i o n   M   :    M e t h o d o l o g y   So   :    So f t w a r e   Va   :    V a l i d a t i o n   Fo   :    Fo r ma l   a n a l y si s   I   :    I n v e st i g a t i o n   R   :    R e so u r c e s   D   :   D a t a   C u r a t i o n   O   :   W r i t i n g   -   O r i g i n a l   D r a f t   E   :   W r i t i n g   -   R e v i e w   &  E d i t i n g   Vi   :    Vi s u a l i z a t i o n   Su   :    Su p e r v i si o n   P   :    P r o j e c t   a d m i n i st r a t i o n   Fu   :    Fu n d i n g   a c q u i s i t i o n         CO NF L I C T   O F   I N T E R E S T   ST A T E M E NT     Au th o r s   s tate  n o   co n f lict o f   in t er est.       DATA AV AI L AB I L I T Y   T h e  d ata  th at  s u p p o r t  th e  f in d in g s   o f   th is   s tu d y   ar e  av aila b le  o n   r eq u est  f r o m   th e  co r r esp o n d in g   au th o r ,   R av ich an d r a  Srir am .   T h e  d ata,   wh ich   co n tain   in f o r m atio n   th at  co u ld   co m p r o m is e  th e  p r iv ac y   o f   r esear ch   p ar ticip an ts ,   ar e   n o t  p u b licly   av ailab le  d u e  to   ce r tain   r estrictio n s .   T h e  d ata  th at  s u p p o r t  th e  f i n d in g s   o f   t h is   s tu d y   ar e  av ailab le  f r o m   th e  c o r r esp o n d i n g   au th o r ,   R av ich an d r a  Srir am ,   u p o n   r ea s o n ab le  r eq u est.       RE F E R E NC E S   [ 1 ]   G o v I n f o ,   “ H e a l t h   i n s u r a n c e   p o r t a b i l i t y   a n d   a c c o u n t a b i l i t y   a c t   o f   1 9 9 6 .   P u b l i c   L a w   1 0 4 - 1 9 1 , ”   1 9 9 6 .   [ 2 ]   J.  D e v l i n ,   M . - W .   C h a n g ,   K .   L e e ,   a n d   K .   T o u t a n o v a ,   “ B ER T :   p r e - t r a i n i n g   o f   d e e p   b i d i r e c t i o n a l   t r a n sf o r m e r s  f o r   l a n g u a g e   u n d e r s t a n d i n g , ”   i n   Pr o c e e d i n g s  o f   t h e   2 0 1 9   C o n f e r e n c e   o f   t h e   N o rt h ,   2 0 1 9 ,   p p .   4 1 7 1 – 4 1 8 6 .   d o i :   1 0 . 1 8 6 5 3 / v 1 / N 1 9 - 1 4 2 3 .   [ 3 ]   M .   S a e e d   e t   a l . ,  “ M u l t i p a r a me t e r   i n t e l l i g e n t   m o n i t o r i n g   i n   i n t e n si v e   c a r e   I I :   a   p u b l i c - a c c e ss  i n t e n s i v e   c a r e   u n i t   d a t a b a se , ”   C r i t i c a l   C a r e   M e d i c i n e ,   v o l .   3 9 ,   n o .   5 ,   p p .   9 5 2 – 9 6 0 ,   M a y   2 0 1 1 ,   d o i :   1 0 . 1 0 9 7 / C C M . 0 b 0 1 3 e 3 1 8 2 0 a 9 2 c 6 .   [ 4 ]   A .   E .   W .   J o h n s o n   e t   a l . ,  “ M I M I C - I I I ,   a   f r e e l y   a c c e ss i b l e   c r i t i c a l   c a r e   d a t a b a s e , ”   S c i e n t i f i c   D a t a ,   v o l .   3 ,   n o .   1 ,   p .   1 6 0 0 3 5 ,   M a y   2 0 1 6 ,   d o i :   1 0 . 1 0 3 8 / sd a t a . 2 0 1 6 . 3 5 .   [ 5 ]   O .   U z u n e r ,   Y .   Lu o ,   a n d   P .   S z o l o v i t s ,   “ Ev a l u a t i n g   t h e   s t a t e - of - t h e - a r t   i n   a u t o ma t i c   d e - i d e n t i f i c a t i o n , ”   J o u r n a l   o f   t h e   Am e ri c a n   Me d i c a l   I n f o rm a t i c s   Ass o c i a t i o n ,   v o l .   1 4 ,   n o .   5 ,   p p .   5 5 0 – 5 6 3 ,   S e p .   2 0 0 7 ,   d o i :   1 0 . 1 1 9 7 / j a mi a . M 2 4 4 4 .   [ 6 ]   A .   S t u b b s  a n d   Ö .   U z u n e r ,   “ A n n o t a t i n g   l o n g i t u d i n a l   c l i n i c a l   n a r r a t i v e s  f o r   d e - i d e n t i f i c a t i o n :   Th e   2 0 1 4   i 2 b 2 / U TH e a l t h   c o r p u s, ”   J o u rn a l   o f   Bi o m e d i c a l   I n f o rm a t i c s ,   v o l .   5 8 ,   p p .   S 2 0 -- S 2 9 ,   D e c .   2 0 1 5 ,   d o i :   1 0 . 1 0 1 6 / j . j b i . 2 0 1 5 . 0 7 . 0 2 0 .   [ 7 ]   A .   S t u b b s,  M .   F i l a n n i n o ,   a n d   Ö .   U z u n e r ,   “ De - i d e n t i f i c a t i o n   o f   p s y c h i a t r i c   i n t a k e   r e c o r d s :   o v e r v i e w   o f   2 0 1 6   C EG S   N - G R I D   sh a r e d   t a s k s  Tr a c k   1 , ”   J o u rn a l   o f   Bi o m e d i c a l   I n f o rm a t i c s ,   v o l .   7 5 ,   p p .   S 4 -- S 1 8 ,   N o v .   2 0 1 7 ,   d o i :   1 0 . 1 0 1 6 / j . j b i . 2 0 1 7 . 0 6 . 0 1 1 .   [ 8 ]   R .   S r i r a m,  S .   S .   S u n d a r a m,  a n d   S .   L.   S o p h i e ,   “ D e e p   l e a r n i n g   m o d e l s   f o r   a u t o ma t i c   d e - i d e n t i f i c a t i o n   o f   c l i n i c a l   t e x t , ”   i n   I n t e r n a t i o n a l   C o n f e re n c e   o n   C o m p u t e r,   C o m m u n i c a t i o n ,   a n d   S i g n a l   Pr o c e ssi n g ,   2 0 2 3 ,   p p .   1 1 6 – 1 2 7 .   d o i :   1 0 . 1 0 0 7 / 9 7 8 - 3 - 0 3 1 - 3 9 8 1 1 - 7 _ 1 0 .   [ 9 ]   F .   D e r n o n c o u r t ,   J.   Y .   L e e ,   O .   U z u n e r ,   a n d   P .   S z o l o v i t s ,   “ De - i d e n t i f i c a t i o n   o f   p a t i e n t   n o t e s  w i t h   r e c u r r e n t   n e u r a l   n e t w o r k s, ”   J o u rn a l   o f   t h e   Am e ri c a n   Me d i c a l   I n f o rm a t i c s  Asso c i a t i o n ,   v o l .   2 4 ,   n o .   3 ,   p p .   5 9 6 – 6 0 6 ,   M a y   2 0 1 7 ,   d o i :   1 0 . 1 0 9 3 / j a mi a / o c w 1 5 6 .   [ 1 0 ]   G .   La m p l e ,   M .   B a l l e st e r o s,   S .   S u b r a man i a n ,   K .   K a w a k a mi ,   a n d   C .   D y e r ,   “ N e u r a l   a r c h i t e c t u r e s  f o r   n a m e d   e n t i t y   r e c o g n i t i o n , ”   i n   Pro c e e d i n g s  o f   t h e   2 0 1 6   C o n f e re n c e   o f   t h e   N o r t h   Am e r i c a n   C h a p t e r  o f   t h e   Ass o c i a t i o n   f o r  C o m p u t a t i o n a l   L i n g u i st i c s:   H u m a n   L a n g u a g e   T e c h n o l o g i e s ,   2 0 1 6 ,   p p .   2 6 0 – 2 7 0 .   d o i :   1 0 . 1 8 6 5 3 / v 1 / N 1 6 - 1 0 3 0 .   [ 1 1 ]   T.   A h m e d ,   M .   M .   A l   A z i z ,   a n d   N .   M o h a mm e d ,   “ De - i d e n t i f i c a t i o n   o f   e l e c t r o n i c   h e a l t h   r e c o r d   u si n g   n e u r a l   n e t w o r k , ”   S c i e n t i f i c   Re p o r t s ,   v o l .   1 0 ,   n o .   1 ,   p .   1 8 6 0 0 ,   O c t .   2 0 2 0 ,   d o i :   1 0 . 1 0 3 8 / s4 1 5 9 8 - 0 2 0 - 7 5 5 4 4 - 1.   [ 1 2 ]   R .   C a t e l l i ,   V .   C a s o l a ,   G .   D e   P i e t r o ,   H .   F u j i t a ,   a n d   M .   Es p o s i t o ,   “ C o m b i n i n g   c o n t e x t u a l i z e d   w o r d   r e p r e se n t a t i o n   a n d   s u b - d o c u me n t   l e v e l   a n a l y s i s  t h r o u g h   B i - LST M + C R F   a r c h i t e c t u r e   f o r   c l i n i c a l   d e - i d e n t i f i c a t i o n , ”   K n o w l e d g e - Ba s e d   S y st e m s ,   v o l .   2 1 3 ,   p .   1 0 6 6 4 9 ,   F e b .   2 0 2 1 ,   d o i :   1 0 . 1 0 1 6 / j . k n o s y s. 2 0 2 0 . 1 0 6 6 4 9 .   [ 1 3 ]   A .   E.   W .   J o h n s o n ,   L.   B u l g a r e l l i ,   a n d   T.   J.  P o l l a r d ,   “ D e i d e n t i f i c a t i o n   o f   f r e e - t e x t   me d i c a l   r e c o r d s  u si n g   p r e - t r a i n e d   b i d i r e c t i o n a l   t r a n sf o r mers , ”   i n   Pro c e e d i n g s   o f   t h e   A C M   C o n f e re n c e   o n   H e a l t h ,   I n f e ren c e ,   a n d   L e a rn i n g ,   A p r .   2 0 2 0 ,   p p .   2 1 4 – 2 2 1 .   d o i :   1 0 . 1 1 4 5 / 3 3 6 8 5 5 5 . 3 3 8 4 4 5 5 .   [ 1 4 ]   T.   M i k o l o v ,   K .   C h e n ,   G .   C o r r a d o ,   a n d   J.  D e a n ,   “ D i s t r i b u t e d   r e p r e s e n t a t i o n s   o f   w o r d s  a n d   p h r a ses   a n d   t h e i r   c o mp o s i t i o n a l i t y , ”   N e u ra l   i n f o rm a t i o n   p r o c e ssi n g   sy st e m s ,   v o l .   1 ,   p p .   1 – 9 ,   2 0 0 6 .   [ 1 5 ]   J.  P e n n i n g t o n ,   R .   S o c h e r ,   a n d   C .   M a n n i n g ,   “ G l o v e :   g l o b a l   v e c t o r s  f o r   w o r d   r e p r e s e n t a t i o n , ”   i n   Pr o c e e d i n g s   o f   t h e   2 0 1 4   C o n f e re n c e   o n   Em p i ri c a l   Me t h o d s  i n   N a t u r a l   L a n g u a g e   Pro c e ss i n g   ( EM N L P) ,   2 0 1 4 ,   p p .   1 5 3 2 – 1 5 4 3 .   d o i :   1 0 . 3 1 1 5 / v 1 / D 1 4 - 1 1 6 2 .   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 7 2 2 - 2 5 8 6   I AE S  I n t  J   R o b   &   A u to m ,  Vo l .   14 ,   No .   2 ,  J u n e   20 2 5 :   2 73 - 2 80   280   [ 1 6 ]   P .   B o j a n o w s k i ,   E.   G r a v e ,   A .   J o u l i n ,   a n d   T .   M i k o l o v ,   “ E n r i c h i n g   w o r d   v e c t o r s  w i t h   su b w o r d   i n f o r ma t i o n , ”   T r a n s a c t i o n s  o f   t h e   Asso c i a t i o n   f o r   C o m p u t a t i o n a l   L i n g u i st i c s ,   v o l .   5 ,   p p .   1 3 5 – 1 4 6 ,   D e c .   2 0 1 7 ,   d o i :   1 0 . 1 1 6 2 / t a c l _ a _ 0 0 0 5 1 .   [ 1 7 ]   M .   P e t e r s  e t   a l . ,  “ D e e p   c o n t e x t u a l i z e d   w o r d   r e p r e s e n t a t i o n s , ”   i n   Pro c e e d i n g s  o f   t h e   2 0 1 8   C o n f e re n c e   o f   t h e   N o r t h   Am e ri c a n   C h a p t e r   o f   t h e   Ass o c i a t i o n   f o r  C o m p u t a t i o n a l   L i n g u i st i c s:   H u m a n   L a n g u a g e   T e c h n o l o g i e s,   V o l u m e   1   ( L o n g   Pa p e rs) ,   2 0 1 8 ,   p p .   2 2 2 7 – 2 2 3 7 .   d o i :   1 0 . 1 8 6 5 3 / v 1 / N 1 8 - 1 2 0 2 .   [ 1 8 ]   Y .   S i ,   J .   W a n g ,   H .   X u ,   a n d   K .   R o b e r t s,   “ E n h a n c i n g   c l i n i c a l   c o n c e p t   e x t r a c t i o n   w i t h   c o n t e x t u a l   e m b e d d i n g s, ”   J o u r n a l   o f   t h e   Am e ri c a n   Me d i c a l   I n f o rm a t i c s A ss o c i a t i o n ,   v o l .   2 6 ,   n o .   1 1 ,   p p .   1 2 9 7 – 1 3 0 4 ,   N o v .   2 0 1 9 ,   d o i :   1 0 . 1 0 9 3 / j a mi a / o c z 0 9 6 .   [ 1 9 ]   Y .   Zh u   e t   a l . ,  “ A l i g n i n g   b o o k s   a n d   mo v i e s :   t o w a r d s   st o r y - l i k e   v i su a l   e x p l a n a t i o n s  b y   w a t c h i n g   m o v i e s   a n d   r e a d i n g   b o o k s , ”   i n   2 0 1 5   I EE E  I n t e r n a t i o n a l   C o n f e r e n c e   o n   C o m p u t e r  Vi s i o n   ( I C C V) ,   D e c .   2 0 1 5 ,   p p .   1 9 – 2 7 .   d o i :   1 0 . 1 1 0 9 / I C C V . 2 0 1 5 . 1 1 .   [ 2 0 ]   I .   B e l t a g y ,   K .   L o ,   a n d   A .   C o h a n ,   “ S c i B ER T :   a   p r e t r a i n e d   l a n g u a g e   mo d e l   f o r   s c i e n t i f i c   t e x t , ”   i n   Pr o c e e d i n g s   o f   t h e   2 0 1 9   C o n f e re n c e   o n   Em p i r i c a l   M e t h o d s  i n   N a t u r a l   L a n g u a g e   Pr o c e ssi n g   a n d   t h e   9 t h   I n t e rn a t i o n a l   J o i n t   C o n f e r e n c e   o n   N a t u r a l   L a n g u a g e   Pr o c e ssi n g   ( EM N L P - I J C N L P) ,   2 0 1 9 ,   p p .   3 6 1 3 – 3 6 1 8 .   d o i :   1 0 . 1 8 6 5 3 / v 1 / D 1 9 - 1 3 7 1 .   [ 2 1 ]   J.  Le e   e t   a l . ,  “ B i o B ER T:   a   p r e - t r a i n e d   b i o m e d i c a l   l a n g u a g e   r e p r e se n t a t i o n   m o d e l   f o r   b i o me d i c a l   t e x t   m i n i n g , ”   B i o i n f o rm a t i c s ,  v o l .   3 6 ,   n o .   4 ,   p p .   1 2 3 4 – 1 2 4 0 ,   F e b .   2 0 2 0 ,   d o i :   1 0 . 1 0 9 3 / b i o i n f o r ma t i c s/ b t z 6 8 2 .   [ 2 2 ]   E.   A l s e n t z e r   e t   a l . ,  “ P u b l i c l y   a v a i l a b l e   c l i n i c a l   B E R T  e m b e d d i n g s , ”   a rX i v   p rep r i n t   a rX i v : 1 9 0 4 . 0 3 3 2 3 ,   2 0 1 9 .   [ 2 3 ]   Y .   Li u   e t   a l . ,  “ R o B ER Ta :   a   r o b u st l y   o p t i m i z e d   B ER T  p r e t r a i n i n g   a p p r o a c h , ”   a rXi v   p r e p r i n t   a rX i v : 1 9 0 7 . 1 1 6 9 2 ,   2 0 1 9 ,   [ O n l i n e ] .   A v a i l a b l e :   h t t p : / / a r x i v . o r g / a b s / 1 9 0 7 . 1 1 6 9 2   [ 2 4 ]   J.  M a c k e n z i e ,   R .   B e n h a m ,   M .   P e t r i ,   J.  R .   Tr i p p a s,  J .   S .   C u l p e p p e r ,   a n d   A .   M o f f a t ,   “ CC - n e w s - e n , ”   i n   Pro c e e d i n g s  o f   t h e   2 9 t h   AC M  I n t e rn a t i o n a l   C o n f e r e n c e   o n   I n f o rm a t i o n   &  K n o w l e d g e   Ma n a g e m e n t ,   O c t .   2 0 2 0 ,   p p .   3 0 7 7 – 3 0 8 4 .   d o i :   1 0 . 1 1 4 5 / 3 3 4 0 5 3 1 . 3 4 1 2 7 6 2 .   [ 2 5 ]   A .   G o k a s l a n   a n d   V .   C o h e n ,   “ O p e n   w e b   t e x t   c o r p u s, ”   G i t H u b ,   2 0 1 9 .   h t t p s: / / sk y l i o n 0 0 7 . g i t h u b . i o / O p e n W e b Te x t C o r p u s /   ( a c c e sse d   Jan .   1 6 ,   2 0 2 4 ) .   [ 2 6 ]   I .   N e a mat u l l a h   e t   a l . ,  “ A u t o ma t e d   d e - i d e n t i f i c a t i o n   o f   f r e e - t e x t   m e d i c a l   r e c o r d s, ”   BM C   Me d i c a l   I n f o rm a t i c s  a n d   D e c i si o n   Ma k i n g ,   v o l .   8 ,   n o .   1 ,   p .   3 2 ,   D e c .   2 0 0 8 ,   d o i :   1 0 . 1 1 8 6 / 1 4 7 2 - 6 9 4 7 - 8 - 3 2 .       B I O G RAP H I E S O F   AUTH O RS         Ra v icha n d r a   S r ira m           is  p r e se n tl y   a   re se a rc h   sc h o lar  i n   th e   De p a rtme n t  o f  Co m p u ter  S c ien c e   a t  P o n d ich e r ry   Un i v e rsity ,   P u d u c h e rry .   He   c o m p lete d   h is  B. Tec h   in   In fo rm a ti o n   Tec h n o l o g y   fr o m   S wa rn a n d h ra   Co ll e g e   o f   En g i n e e rin g   a n d   Tec h n o lo g y ,   Na rsa p u r  in   2 0 0 7   a n d   M . Tec h   i n   Co m p u ter  S c ien c e   a n d   Tec h n o lo g y   a t  An d h ra   Un i v e rsity ,   Visa k h a p a tn a m   i n   2 0 1 0 .   He   wo rk e d   a s   a n   a ss istan t  p ro fe ss o r   a t   S h ri  Vis h n u   En g in e e rin g   Co ll e g e   fo r  Wo m e n ,   B h ima v a ra m   fro m   2 0 1 1   t o   2 0 1 9 .   His  re se a rc h   in tere sts  in c l u d e   c o m p u ter   v isio n ,   n a tu ra l  lan g u a g e   p ro c e ss in g ,   a n d   d e e p   lea rn i n g .   He   h a s  a u th o re d   a n d   c o - a u t h o re d   so m e   p u b li c a ti o n s  wh ic h   i n c lu d e   jo u r n a ls  a n d   i n tern a ti o n a l  c o n fe re n c e s  in   t h e   fiel d   o f   c o m p u ter sc ien c e .   He   c a n   b e   c o n t a c ted   a t  ra v ich a n d ra srira m @g m a i l. c o m .         S iv a   S a t h y a   S u n d a r a m           c o m p lete d   h e r  M . Tec h   a n d   P h . D.  i n   Co m p u ter  S c ien c e   a n d   En g in e e rin g   fr o m   P o n d ich e r ry   Un iv e rsit y .   S h e   h a s  2 5   y e a rs  o f  tea c h i n g   e x p e rie n c e   a n d   sp e c ialize s  in   e v o lu ti o n a r y   a n d   b i o - in sp ired   c o m p u ti n g ,   sp a ti o - tem p o ra l  d a ta  m in i n g ,   VA NET  a n d   n a tu ra l  lan g u a g e   p ro c e ss in g .   S h e   is   UG C  NET  q u a li fied   a n d   h a s  p u b l ish e d   se v e ra l   re se a rc h   a rti c les   in   re p u ted   j o u r n a ls.  S h e   is  t h e   re c ip ien t  o f  th e   Na a ri  S h a k th i   Aw a rd   2 0 1 7   fro m   th e   P re sid e n t  o f  I n d ia  fo r  h e r  m o b il e   In n o v a ti o n   “ M I TRA ”   f o r  W o m e n   sa fe ty .   S h e   h a s  a lso   re c e iv e d   th e   Ch a irma n ’ s Distin c ti o n   a wa rd   in   S o u t h   As ia ’ s m Bil l io n th   M o b il e   In n o v a ti o n   c o n tes t.   S h e   c a n   b e   c o n tac ted   a t  s siv a sa th y a @p o n d iu n i. a c . in   o r  ss i v a sa th y a @g m a il . c o m .         S .   Lo u r d u Ma r ie  S o p h ie          is  p re se n tl y   a   re se a rc h   sc h o lar  in   th e   De p a rtme n t  o f   Co m p u ter  S c ien c e   a n d   E n g i n e e rin g   a t  P o n d ich e rry   Un i v e rsity ,   P u d u c h e rry .   S h e   c o m p lete d   h e r  B. Tec h   in   Co m p u ter  S c ien c e   a n d   En g i n e e rin g   fr o m   M a n a k u la  Vin a y a g a r  In stit u te  o f   Tec h n o l o g y ,   P u d u c h e rry   i n   2 0 1 5   a n d   h e r  M . Tec h .   in   C o m p u ter  S c ien c e   a n d   En g i n e e rin g   a t  P o n d ich e rry   Un iv e rsity ,   P u d u c h e rry   i n   2 0 1 9 .   S h e   wo rk e d   a s   a n   A ss istan t  S y ste m   En g in e e r   a t   Tata   Co n s u lt a n c y   S e rv ice ,   Ch e n n a i  fro m   2 0 1 5   t o   2 0 1 7 .   S h e   a l so   h a s  a   y e a r  o f   tea c h in g   e x p e rien c e   a s  a   g u e st  fa c u lt y   at   P o n d ich e rry   Un iv e rsity   i n   2 0 1 9 - 2 0 2 0 .   S h e   h a s  q u a li fied   f o r   th e   UG C  NET  e x a m in a ti o n   in   2 0 1 9 .   He r  re se a rc h   in tere sts  in c lu d e   n a tu ra l  lan g u a g e   p ro c e ss in g ,   m a c h in e   lea rn i n g ,   a n d   d e e p   lea rn in g .   S h e   h a s  a u t h o re d   a n d   c o - a u th o re d   m o re   t h a n   1 0   p u b li c a ti o n s   wh ich   i n c lu d e   jo u rn a ls  a n d   in ter n a ti o n a l  c o n fe re n c e s  in   t h e   fiel d   o f  c o m p u ter   sc ien c e .   S h e   c a n   b e   c o n tac ted   a t  l o u r d u m a ries o p h ie1 5 @ g m a il . c o m .       Evaluation Warning : The document was created with Spire.PDF for Python.