I nte rna t io na l J o urna l o f   E lect rica l a nd   Co m pu t er   E ng ineering   ( I J E CE )   Vo l.   14 ,   No .   6 ,  Dec em b er   20 24 ,   p p .   6 9 6 9 ~ 6 9 8 0   I SS N:  2088 - 8 7 0 8 ,   DOI : 1 0 . 1 1 5 9 1 /ijece. v 14 i 6 . pp 6 9 6 9 - 6 9 8 0           6969     J o ur na l ho m ep a g e :  h ttp : //ij ec e. ia esco r e. co m   Co mpa ra tive a na ly sis  of deep  S ia mes e   mo dels for  me dica l  repo rts tex t  sim il a rity       Dia n K urnia s a ri 1, 2 ,   M u s t o f a   Usm a n 2 ,   Wa rso no 2 ,  F a v o rise n Ro s y k ing   L um ba nra j a 3   1 D o c t o r a l   P r o g r a m ,  F a c u l t y   o f   M a t h e mat i c s  a n d   N a t u r a l   S c i e n c e s,  U n i v e r s i t a s  La m p u n g ,   La m p u n g ,   I n d o n e s i a   2 D e p a r t me n t   o f   M a t h e m a t i c s ,   F a c u l t y   o f   M a t h e mat i c s   a n d   N a t u r a l   S c i e n c e s,   U n i v e r s i t a s L a mp u n g ,   L a m p u n g ,   I n d o n e si a   3 D e p a r t me n t   o f   C o m p u t e r   S c i e n c e ,   F a c u l t y   o f   M a t h e ma t i c s   a n d   N a t u r a l   S c i e n c e s,   U n i v e r si t a s  La m p u n g ,   La m p u n g ,   I n d o n e s i a       Art icle  I nfo     AB S T RAC T   A r ticle  his to r y:   R ec eiv ed   Feb   2 7 ,   2 0 2 4   R ev is ed   J u l 2 5 ,   2 0 2 4   Acc ep ted   Au g   6 ,   2 0 2 4       Ev e n   t h o u g h   m e d ica l  re p o r ts h a v e   b e e n   d i g it ize d ,   th e y   a re   g e n e ra ll y   tex t  d a ta   a n d   h a v e   n o t  b e e n   u se d   o p ti m a ll y .   Ex trac ti n g   in f o rm a ti o n   fro m   th e se   re p o rts   is  c h a ll e n g in g   d u e   to   th e ir  h ig h   v o l u m e   a n d   u n str u c tu re d   n a tu re .   An a ly z in g   th e   e x trac ti o n   o f  re lev a n t  a n d   h i g h - q u a li t y   i n fo rm a ti o n   c a n   b e   a c h iev e d   b y   m e a su rin g   se m a n ti c   tex tu a l  sim il a rit y   (S TS ) .   Co n se q u e n tl y ,   th e   p r ima ry   a im  o f  th is  st u d y   is  to   d e v e lo p   a n d   e v a lu a te  th e   p e rfo rm a n c e   o f  f o u r  m o d e ls:   S iam e se   M a n h a tt a n   c o n v o l u ti o n   n e u ra l  n e two rk   ( CNN ) ,   S iam e se   M a n h a tt a n   lo n g   sh o rt - term   m e m o ry   ( LS TM ) ,   S iam e se   M a n h a tt a n   h y b rid   CN N - LS TM ,   a n d   S iam e se   M a n h a tt a n   h y b rid   LS TM - CNN ,   i n   d e term in i n g   S T S   b e twe e n   se n ten c e   p a irs  in   m e d ica l  re p o rts .   P e rfo rm a n c e   c o m p a riso n s  we re   c o n d u c ted   u sin g   C o sin e   S imilarit y   a n d   wo r d   m o v e r' s  d istan c e   (W M D)  m e th o d s .   Th e   re su lt s  in d ica te  th a t  t h e   S iam e se   M a n h a tt a n   h y b ri d   LS T M - C NN   m o d e l   o u t p e rfo rm s  th e   o th e r  m o d e ls,  wi th   a   sim il a rit y   sc o re   o f  1   f o r  e a c h   se n ten c e   p a ir,   sig n if y in g   i d e n ti c a l  se m a n ti c   m e a n in g .   K ey w o r d s :   B io m ed ical  n atu r al  lan g u ag e  p r o ce s s in g   B io W o r d Vec   Hy b r id   L STM - C NN   Me d ical  r ep o r t   Sem an tic  tex t similar ity   Siam ese  Ma n h attan     T h is i s  a n   o p e n   a c c e ss   a rticle   u n d e r th e   CC B Y - SA   li c e n se .     C o r r e s p o nd ing   A uth o r :   Mu s to f a  Usma n   Dep ar tm en t o f   Ma th em atics,  Facu lty   o f   Ma th e m atics a n d   Na tu r al  Scien ce s ,   Un iv er s itas   L am p u n g   Pro f .   Su m an tr i Bro j o n eg o r o   s t r ee t  No . 1 ,   Ged o n g   Me n en g ,   B an d ar   L am p u n g ,   L am p u n g ,   I n d o n esia   E m ail:  u s m an _ alf h a@ y ah o o . c o m       1.   I NT RO D UCT I O N    Ov er   th e  p ast  d ec ad e,   th er e  h as  b ee n   ab u n d an t  tex tu al  d ata  a cr o s s   v ar io u s   f ield s ,   in clu d in g   b io m ed ical   r esear ch   [ 1 ] .   Ho wev er ,   th ese  v alu ab le  r eso u r ce s   h av e  o f ten   g o n e  u n d e r u tili ze d .   Fo r   in s ta n ce ,   m u ch   m ed ical   r ep o r t  te x t  d ata  r e m ain s   ar c h iv ed   a n d   u n ex p l o r ed ,   ev en   af ter   d ig itizatio n .   T h is   d ata' s   s h ee r   v o l u m e  an d   u n s tr u ctu r ed   n atu r e   m ak e  e x tr ac tin g   r elev an t,  h ig h - q u ality   i n f o r m atio n   d if f icu lt.     On e  p r ac tical  ap p r o ac h   t o   ex tr ac tin g   r elev an t,  h ig h - q u ality   in f o r m atio n   f r o m   m ed ical  r e p o r t  tex ts   in v o lv es  m ea s u r in g   s em an tic  tex tu al  s im ilar ity   ( STS) .   STS   is   a  f o u n d atio n al  n atu r al  lan g u ag e  p r o ce s s in g   ( NL P)  task   th at  as s ess e s   h o w  clo s ely   two   s en ten ce s   co n v ey   th e  s am e  m ea n in g   [ 2 ] .   I n   b io m e d ical  NL P  ( B io NL P),   ST S   p lay s   a  p iv o tal  r o le  in   e n s u r in g   th e  ac c u r ate  in ter p r etatio n   an d   r etr iev al  o f   in f o r m atio n   f r o m   b io m e d ical  d o cu m e n ts   [ 3 ] .   T h at  is   d u e  to   i ts   n u m er o u s   d ir ec t  ap p licatio n s   in   in f o r m atio n   e x tr ac tio n ,   s u ch   as  in   b io m ed ical   s en ten ce   s ea r ch   an d   class if icatio n ,   as  well  as  in d ir ec t  ap p li ca tio n s   lik e  b io m ed ical  q u esti o n   an s wer in g   a n d   d o cu m e n t  lab ellin g   [ 4 ] .   T h e  s ig n if ican ce   o f   STS  in   th ese  ap p licatio n s   is   h eig h ten ed   b y   th e  f ac t  th at  m an y   b io m ed ical  ter m s   ca n   h av e  d if f er en t m ea n i n g s   d ep e n d in g   o n   th e  tex t' s   co n tex t  [ 5 ] .   R esear ch er s   ty p ically   em p lo y   th r ee   m ain   ap p r o ac h es  to   ca lcu late  STS:  C o r p u s - b ased ,   k n o wled g e - b ased ,   an d   s tr in g - b ased   m eth o d s .   R esear ch   b y   Su n ilk u m a r   an d   Sh aji  [ 6 ]   in d icate s   th at   th e  C o r p u s - b ased   ap p r o ac h ,   i n   p ar ticu lar ,   is   wid ely   ad o p ted   an d   s h o ws  p r o m is in g   r esu lts .   T h e  C o r p u s - b ased   m eth o d   c o m p r is es  two   s tatis t ically   d is tin ct  ap p r o ac h es.  T h e  f ir s t  ap p r o ac h   u tili ze s   tr ad itio n al  s tatis tica l  an aly s is   tech n iq u es  lik e  laten t  s em an tic  an aly s is   ( L S A) ,   wh ich   co u n ts   wo r d   f r eq u en cies  in   th e  tex t  b u t  d o es  n o t  d elv e  d ee p l y   in to   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 8 - 8 7 0 8   I n t J E lec  &   C o m p   E n g ,   Vo l.   14 ,   No .   6 ,  Dec em b e r   20 24 :   6 9 6 9 - 6 9 8 0   6970   s em an tic  in f o r m atio n   ex t r ac tio n .   On   th e  o th e r   h an d ,   th e  s ec o n d   ap p r o ac h   e m p lo y s   d ee p   lear n in g   ( DL )   to   g en er ate  wo r d   em b e d d in g s   th at  ca p tu r e  co n tex tu al  m ea n in g s   in   tex t,  ass ess in g   s im ilar it y   u s in g   m u ltil ay er   p er ce p tr o n s   ( ML Ps )   to   d eter m in e  lab el  s im ilar ities   [ 7 ] .   W ell - k n o wn   wo r d   em b ed d in g   m o d els  lik e  W o r d 2 Vec ,   Glo Ve,   an d   Fas tTe x t  ar e  co m m o n ly   em p lo y ed   f o r   STS  a n d   tr ain ed   o n   g en er al - d o m ain   co r p o r a.   Ho wev e r ,   ap p ly in g   C o r p u s - b ased   STS  m eth o d s   in   B io NL P   r esear ch   n ec ess itates s p ec ializ ed   ap p r o ac h es,  s u ch   as  u s in g   d o m ain - s p ec if ic  b io m e d ical  co r p o r a  o r   b io m ed ical   k n o wled g e  s o u r ce s .   Desp ite  th ese  ef f o r ts ,   th eir   ad o p tio n   w ith in   th e  b io m ed ical  d o m ain   r em ain s   lim ited   [ 8 ] .  Fu r th er m o r e ,   th e  an n o tatio n   p r o ce s s   in   b io m ed ical  r esear ch   d em an d s   th e  ex p e r tis e  o f   m e d ical  p r o f ess io n als  [ 7 ] ,   [ 8 ] ,   lea d in g   to   a  s ca r city   o f   lab elled   d atasets   an d   h in d er i n g   p r o g r ess   in   b io m ed ical  ST S.   Me asu r in g   th e  C o s in e   s im ilar ity   ( C S)  an d   wo r d   m o v er ' s   d is tan ce   ( W MD )   b etwe en   two   s en ten ce s   is   wid ely   r ec o g n ized   as  th e  s im p lest   an d   m o s t  f r eq u en tly   ap p li ed   m eth o d   f o r   ev alu atin g   STS  in   u n lab eled   d ata.   Ho wev er ,   C S  o f ten   ex h ib its   lo wer   p er f o r m an ce   lev els  [ 9 ] – [ 1 2 ] .   C o n v er s ely ,   W MD   m eth o d s   s tr u g g le  to   d if f er en tiate  s en ten ce s   th at  s h a r e  id en tical  ter m s   b u t  p o s s ess   d is tin ct  s em an tic  m ea n in g s ,   p r im ar ily   d u e   to   th eir   d is r eg ar d   f o r   wo r d   o r d er   [ 1 3 ] .   An o th er   wid ely   ad o p ted   an d   h ig h ly   r e g ar d ed   a p p r o ac h   in   t h is   d o m ain   is   th e  DL   m o d el  u tili zin g   th e   Siam ese  n eu r al  n etwo r k   ar c h itectu r e  in tr o d u ce d   b y   Mu e ller   an d   T h y ag a r ajan   [ 1 4 ] .   T h e  Siam ese  m o d el  ar ch itectu r e  in v o lv es  two   id en tical  n eu r al  n etwo r k s   o p er atin g   in   p ar allel,   ex tr ac tin g   wo r d   r ep r esen tatio n s   f r o m   in p u t  v ec to r s .   T h e  f i n al  o u tp u t  is   ty p ically   co m p ar ed   u s in g   C o s in e  d is tan ce   to   d eter m in e  STS  [ 1 5 ] ,   [ 1 6 ] .  Su b s eq u en t  r esear ch   b y   Sh i  et  a l.   [ 1 7 ]   in d icate d   th at  th e  Ma n h attan   s im ilar ity   m etr ic  o f f er s   f aster   co n v er g en ce   an d   h ig h er   ac c u r ac y   t h an   o th e r   m etr ics,  in clu d in g   C o s in e  d is tan ce .   Hen ce f o r th ,   th is   m o d el  is   r ef er r ed   to   as th e  Siam ese  Ma n h attan .   T h e  is s u e  tack led   in   th is   p a p er   is   th e  u n d e r u tili za tio n   a n d   d if f icu lty   o f   tr a n s f o r m in g   lar g e  v o lu m es  o f   u n s tr u ctu r ed   m e d ical  r ep o r t  t ex t  d ata  in to   ac tio n ab le  in f o r m atio n .   T h e  p r o p o s ed   s o lu tio n   in   th is   p ap er   is   to   im p lem en t  th e  Siam ese  Ma n h attan   ar ch itectu r e  in   DL   to   as s ess   B io m ed ical  ST S  u s in g   u n lab eled   leu k em ia   m ed ical  r ep o r t  d ata  an d   a   C o r p u s - b ased   s tr ateg y   with   b io m ed ical  d o m ain - s p ec if ic  co r p o r a  k n o wn   as  B io W o r d Vec .   T h e  m o d el  in c o r p o r ates  two   d is tin ct  lab ellin g   p r o ce s s es  u tili zin g   th e  C S  an d   W MD   m eth o d s .   T h e  p a p er   aim s   t o   d e m o n s tr at e  th e  ef f ec tiv en ess   o f   th e  Sia m ese  Ma n h attan   m o d el  i n   ac c u r ately   in ter p r etin g   an d   r etr iev in g   in f o r m atio n   f r o m   b io m ed ical  d o cu m e n ts ,   ad d r ess in g   th e  p r o b lem   o f   u n d er u tili ze d   tex tu al  d ata  in   th e  b io m e d ical  f ield .     T h e  s tr u ctu r e  o f   th is   p ap er   is   as  f o llo ws:   s ec tio n   2   will  r ev iew  r elate d   wo r k   o n   STS.  Sectio n   3   will  d etail  th e  m eth o d o lo g y   em p l o y ed   in   th is   s tu d y ,   wh ile  s ec tio n   4   will  p r esen t  th e  r esu lts   an d   d is cu s s io n .   Fin ally ,   s ec tio n   5   will su m m ar ize  th e  c o n clu s io n s   d r awn   f r o m   th e  r es ea r ch   f in d in g s .       2.   P RO P O SE D  M E T H O D   Acc o r d in g   to   d e  So u za   [ 1 8 ] ,   th e  Siam ese  Ma n h attan   ar c h itectu r e  en a b les  th e  c u s to m izatio n   o f   n etwo r k s   f o r   s p ec if ic  task s ,   lev er ag in g   d ee p   lear n in g   m o d el s   lik e  co n v o lu tio n al  n eu r al  n e two r k s   ( C NN)   an d   lo n g   s h o r t - te r m   m em o r y   ( L S T M) .   R ec en t  ad v an ce m e n ts   in   STS  task s   u s in g   DL   h av e  b e en   ac h iev ed   th r o u g h   C NN  an d   L STM   m o d els,  wh ich   an aly ze   wo r d s   an d   s en ten c es  to   ca p tu r e  b o th   m ea n in g   an d   s tr u ctu r al  asp ec ts   f o r   STS  ca lcu latio n   [ 1 9 ] .   Sev e r al  s tu d ies  h av e  ex p lo r ed   th e  i m p lem en tatio n   o f   Siam ese  Ma n h attan   ar c h itectu r e  in   DL   m o d els,  s u ch   as  th e  r es ea r ch   b y   R an asin g h e  et  a l.   [ 1 5 ] ,  wh ich   p r o p o s es  th e  im p lem en tatio n   o f   Siam ese  Ma n h attan   o n   s ev er al  r ec u r r e n t  n eu r o n   n etwo r k   ( R NN) - b a s ed   m o d els,  in clu d in g   L STM   to   ca lcu late  STS  b etwe en   tex t   p air s   i n   Sem E v a l  d ata.   T h eir   r esu lts   s h o wed   th at  th eir   m o d el   p er f o r m e d   b etter   th an   th e   Siam ese   n eu r al  n etwo r k   m o d el  f ir s t p r o p o s ed   b y   Mu eller   an d   T h y ag ar ajan   [ 1 4 ] .   Z h en g   et  a l.   [ 2 0 ]   in tr o d u ce d   a   C NN - b ased   m o d el  to   d etec t  s em an tic  s im ilar ities   in   m ed ica l  im ag in g   r ep o r ts   ( e. g . ,   u ltra s o u n d ,   MRI )   an d   p ath o lo g y .   T h ey   en h an ce d   th e  m o d el' s   s em an tic  u n d er s tan d in g   th r o u g h   em b ed d in g   tech n iq u es,  o u tp e r f o r m in g   tr ad itio n al  ap p r o ac h es  lik e  k ey wo r d   m ap p in g ,   L SA,  laten t  Dir ich let   allo ca tio n   ( L DA) ,   an d   Siam ese  L STM .   Similar ly ,   Sh i  et   a l.   [ 1 7 ]   em p lo y ed   Siam ese  C NN  t o   ev alu ate   s en ten ce   s im ilar ity   in   C h in ese,   co m p ar in g   C o s in e  an d   Ma n h attan   s i m ilar ity   m etr ics.  T h eir   f in d in g s   in d icate   th at  th e   Ma n h attan   s im ilar ity   m etr ic  o u tp er f o r m s   o th er   m etr ics,  h ig h lig h tin g   its   ef f ec tiv en ess   in   th i s   co n tex t.   T r an   et  a l.   [ 2 1 ]   u tili ze d   a  Siam ese  n eu r al  n etwo r k   ar ch itec tu r e  au g m en ted   with   s em an ti c  f ea tu r es   ex tr ac ted   f r o m   a  k n o wled g e  g r ap h ,   ter m ed   Siam ese  KG - L STM ,   in   co n ju n ctio n   with   B io W o r d Vec   em b ed d i n g s ,   to   p r ed ict   s y n o n y m o u s   an d   n o n - s y n o n y m o u s   p air s   o f   b io m e d ical  ter m s   with in   T h e  u n if ie d   m ed ical  la n g u a g e  s y s tem   ( UM L S).   T h e  UM L S,  d ev elo p e d   b y   th e  U. S.  Natio n a l  L ib r ar y   o f   Me d icin e,   en h an ce s   co m p u ter   s y s tem s '  b io m ed ical  an d   h ea lt h   lan g u a g e  co m p r eh en s io n .   T h eir   s tu d y   d em o n s tr ated   im p r ess iv e  p e r f o r m a n ce   m etr ics:   9 8 . 2 3 %   ac cu r ac y ,   9 8 . 3 7 %  r ec a ll,  9 7 . 4 0 %  p r ec is io n ,   a n d   an   F 1 - s co r e  o f   9 6 . 4 1 %  f o r   s y n o n y m   an d   n o n - s y n o n y m   p r ed ictio n .   L i  an d   He  [ 2 2 ]   c o n s tr u cted   an   R NN  m o d el  u s in g   a  Siam ese  n eu r al  n etwo r k   ar ch itectu r e  with   W o r d 2 Vec   f o r   p r o ce s s in g   wo r d   v ec to r s .   T h e y   ev alu ated   s e m an tic  s im ilar ity   o n   a  d ataset  o f   2 2 , 6 5 5   p air s   o f   eth n ic  m ed ical  q u esti o n s   u s i n g   E u clid ea n ,   C o s in e,   an d   Ma n h attan   d is tan ce s .   T h e  s tu d y   f o u n d   th at  th e   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J E lec  &   C o m p   E n g     I SS N:   2088 - 8 7 0 8         C o mp a r a tive  a n a lysi s   o f d ee p   S ia mese   mo d els fo r   med ica l rep o r ts   text  s imila r ity  ( Dia n   K u r n ia s a r i)   6971   Ma n h attan   d is tan ce   ac h iev e d   th e  h ig h est  s im ilar ity   ( F 1 - s co r e  o f   9 7 . 3 4 %),   f o llo wed   b y   C o s in e  ( 9 6 . 9 3 %)  an d   E u clid ea n   d is tan ce s   ( 9 4 . 1 3 %).   A  r ec en t  s tu d y   b y   Ya n g   et   a l.   [ 2 3 ]   em p lo y e d   a   Siam ese   n e u r al  n etwo r k – C NN  to   p r ed ict   d r u g - d r u g   in ter ac tio n   ( DDI )   e v en ts   b y   tr ea tin g   ea ch   d r u g   s ep a r ately   w ith   two   C NN  s u b - n etwo r k s   s h ar in g   p ar a m eter s   to   lear n   m u ltimo d al  d r u g   in f o r m atio n .   Me r g e d   f ea tu r e   r ep r e s en tatio n s   wer e  f ed   in to   a  m u ltil ay er   p er ce p tr o n ,   en ab lin g   ac c u r ate  ca teg o r izatio n   o f   DDI   ev en ts   f r o m   m u lti m o d al  d ata.   Pre v io u s   s tu d ies o n   th e   Siam ese  Ma n h attan   m o d el  h av e   f o cu s ed   o n   its   im p lem en tatio n   with in   s in g le - m o d el  ar ch itectu r es  s u ch   as  C NN  o r   L STM .   I n   co n tr ast,  o u r   r esear ch   ex p lo r es  its   ap p licati o n   in   h y b r i d   C NN - L STM   an d   L STM - C NN  m o d els.  T h is   in teg r atio n   r ep r esen ts   a  n o v el  co n tr ib u tio n   to   o u r   s tu d y .   Fu r th er m o r e,   we  in tr o d u ce   t h e  ad ap tatio n   o f   th e  Siam ese  Ma n h attan   ar c h itectu r e  with   B io W o r d Vec   a n d   a  d u al  lab ellin g   p r o ce s s   u s in g   C S  an d   W MD ,   s p ec if ically   f o r   th e  b io m e d i ca l  d o m ain ,   wh ich   ad d r ess es  th e  ch allen g es  o f   co n t ex tu al  m ea n in g   a n d   wo r d   o r d er   i n   b io m e d ical  tex ts .       3.   M E T H O D   T h is   s tu d y   i n t r o d u c es   C NN   a n d   L S T M   m o d e ls   u s i n g   t h e   Si a m ese   Ma n h att a n   a r c h it ec t u r e .   Fu r th e r m o r e ,   we  s u g g est  c o m b i n i n g   t h ese  m o d els   C NN - L ST M  a n d   L S T M - C NN   b y   i n t e g r ati n g   t h e   Siam ese   Ma n h a tta n   ap p r o ac h   t o   m o d el   S T S  in   m e d ic al   r e p o r ts .   Se v e r al   s t u d ies   [ 2 4 ] – [ 2 6 ]   s h o w   t h a t  th is   h y b r id   a p p r o ac h   h ar n ess e s   C NN  a n d   L ST M  s tr en g t h s   t o   e n h a n c e  S T S  ac cu r a c y   an d   p r ec is io n .   T h e  d ataset  u s ed   in   th is   r e s ea r ch   is   th e  GE NI A  B io m ed ical  ev en t  tr ain   d ata,   wh ich   co m p r is es  u n lab eled   m ed ical  r ep o r ts   d etailin g   th e  ef f ec ts   o f   d r u g   u s e  o n   in d iv id u als  aim ed   at  id en tify i n g   s p ec if ic  m ed ical  co n d itio n s .   T h is   d ataset  in clu d es 4 , 9 5 7   r ec o r d s   wit h   f o u r   v ar iab les:   s en ten ce ,   T r ig g er W o r d ,   T r ig g er W o r d L o c,   an d   E v e n tTy p e.   Ho wev er ,   t h is   s tu d y   f o cu s es  o n   t h r ee   v a r iab les:   s en ten ce   ( b io m ed ical  t ex t) ,   T r ig g er W o r d   ( tr ig g er   wo r d   in   a  s en ten ce ) ,   a n d   E v en tTy p e  ( ty p e  o f   b i o m ed ical  ev en t  r elate d   to   th e  T r ig g er W o r d ) .   E ac h   p air :  s en ten ce - T r ig g er W o r d ,   s en ten ce - E v en tT y p e,   an d   T r ig g er W o r d - E v en tT y p e ,  will  b e  an aly ze d   f o r   s em an ti c   s im ilar ity ,   r esu ltin g   in   4 , 9 5 7   p air s   f o r   ea ch   c o m b in atio n .   Fig u r e  1   illu s tr ates th e  r esear ch   m eth o d o lo g y .           Fig u r e  1 .   R esear ch   m eth o d o l o g y       3 . 1 .   P re pro ce s s ing   A  m ed ical  r ep o r t  is   an   o f f icial  d o cu m en t  a u th o r e d   b y   m ed ical  p r o f ess io n als  th at  co n tain s   co m p r eh e n s iv e  d etails  ab o u t  a  p atien t' s   d iag n o s is ,   tr ea tm en t,  an d   th er ap y .   Ho wev er ,   m an y   m ed ical  r ep o r ts   s u f f er   f r o m   p o o r   s en ten ce   g r am m ar   [ 2 7 ] ,   u n s tr u ct u r ed   f o r m attin g   [ 2 8 ] ,   an d   lar g e  f ile  s izes.  C o n s eq u en tly ,   p r ep r o ce s s in g   is   e s s en tial  to   f ac ilit ate  m o r e  ef f icien t  an aly s is .   T h e  tex t  p r ep r o ce s s in g   s te p s   ap p lied   to   th ese   m ed ical  r ep o r ts   in clu d e:   a.   L o wer ca s in g :  C o n v er tin g   all  u p p er ca s e  letter s   to   lo wer ca s e  is   cr u cial  b ec au s e  co m p u ter   p r o g r am s   in ter p r et  v ar iatio n s   in   ca p italizatio n   ( e. g . ,   L eu k em ia  v s   leu k e m ia )   as  d i s tin ct  wo r d   v ec to r s ,   lea d in g   to   d if f er en t   r esu lts   [ 2 9 ] .   b.   R em o v e  p u n ctu atio n :   Pu n ctu at io n   m ar k s   s u ch   as   p er io d s ,   co m m as,  ex clam atio n   m ar k s ,   an d   q u esti o n   m ar k s   ar e  r em o v e d   b ec au s e  co m p u te r   p r o g r am s   d o   n o t  co m p r eh e n d   p u n ct u atio n ,   an d   th eir   p r esen ce   in   th e  tex t  is   tr ea ted   as n o is e.   c.   Sto p   wo r d   r e m o v al :  T h is   s tep   elim in ates  m ea n in g less   wo r d s ,   b io m e d ical  d o m ai n - s p e cif ic  wo r d s ,   o r   co m m o n p lace   wo r d s   in   th e  tex t.  Ad d itio n ally ,   r ar e   wo r d s   ar e  r em o v ed   as  th e y   ar e   to o   n u m er o u s   an d   d o   n o t   co n tr ib u te  s ig n if ica n tly   to   ST S task s .   d.   L em m atiza tio n :  T h is   c r u cial   s tep   tr an s f o r m s   wo r d s   in to   th eir   b ase  m o r p h o lo g ical  f o r m s   ( lem m as),   en h an cin g   th e  co n s is ten cy   an d   ac cu r ac y   o f   tex t a n aly s is   [ 3 0 ] .   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 8 - 8 7 0 8   I n t J E lec  &   C o m p   E n g ,   Vo l.   14 ,   No .   6 ,  Dec em b e r   20 24 :   6 9 6 9 - 6 9 8 0   6972   Af ter   u n d er g o in g   v ar i o u s   s tep s   an d   tr an s f o r m atio n s   to   en s u r e  its   clea n lin ess ,   s tr u ctu r e,   an d   r ea d in ess   f o r   f u r t h er   an aly s is ,   th e  in itially   4 , 9 5 7   s en ten ce   p air s   o f   te x tu al  d ata   h a v e  n o w   b ee n   r ed u ce d   to   o n ly   1 , 4 0 9   p air s   f o r   ea c h   co m b in atio n .       3 . 2 .   L a bellin g   STS  task s   n ec es s itate  lab elle d   d ata,   th er e b y   r e q u ir in g   th e  an n o tatio n   o f   th is   d ata.   T h e  an n o tatio n   p r o ce s s   in v o lv es  u tili zin g   C S  an d   W MD   m eth o d s .   C S  ca lcu lates  th e  s im ilar ity   b et wee n   two   o b jects,  r ep r esen ted   b y   v ec to r s   o f   d o cu m en t  k ey wo r d s .   T h e  s im ilar ity   s co r e  in   C S  r an g es  f r o m   0   to   1 :  0   s ig n if ies   co m p lete  d is s im ilar ity   b etwe en   th e  o b jects,  wh er ea s   1   i n d ica tes  th eir   id en tity   o r   ex ac t  s im il ar ity   [ 3 1 ] .  As  s h o wn   in   ( 1 )   is   em p l o y ed   t o   co m p u te  th e  s im ilar ity   s co r e  u s in g   C S.            ( , ) = ( . ) ‖ ‖ . ‖ ‖   ( 1 )     wh er e   ‖ ‖   is   len g th   o f   v ec to r     an d   ‖ ‖   is   len g th   o f   v ec to r     I n   co n tr ast,  W MD   is   a  m et r ic  f o r   q u an tify i n g   t h e  d is s im ilar it y   b etwe en   two   d o cu m en ts   b y   co m p u tin g   th e  m in im u m   d is tan ce   r eq u i r ed   to   co n v er t  o n e  d o cu m e n t' s   v o ca b u lar y   in to   an o th er   [ 3 2 ] .   T h e  s p ec if ic   f o r m u latio n   o f   W MD   is   d etailed   in   ( 2 ) .      ( , ) = ‖ − ‖ 2   ( 2 )     w h er e      is   wo r d   m o v er ' s   d is tan ce   an d     is   d o cu m en t  weig h t .   T h e  C S  an d   W MD   m eth o d s   s u cc ess f u lly   lab elled   1 , 4 0 9   s en te n ce - T r ig g e r W o r d   p air s ,   1 , 409  s en ten ce - E v en tTy p e  p air s ,   an d   1 , 4 0 9   T r ig g er W o r d - E v en tT y p e  p air s .   An   ex am p le  d em o n s tr atin g   th e  r esu lts   o f   th is   lab ellin g   p r o ce s s ,   ex p licitly   u s in g   th e  C S  m eth o d ,   ca n   b e  f o u n d   in   T a b le  1 .   T h is   tab le  s h o wca s es  h o w  th e  C S   m eth o d   ca teg o r izes  s en ten ce - T r ig g er W o r d   p air s ,   h ig h lig h ti n g   its   ef f ec tiv en ess   in   lab ellin g .       T ab le  1 .   L a b ellin g   u s in g   C S   S e n t e n c e   Tr i g g e r W o r d   La b e l   d o w n r e g u l a t i o n   i n t e r f e r o n   r e g u l a t o r y   f a c t o r   4   g e n e   l e u k e m i c   c e l l   d u e   h y p e r met h y l a t i o n   C p G   m o t i f   p r o m o t e r   r e g i o n   d o w n r e g u l a t i o n   1   f i r st   t r e a t me n t   I R F 4   n e g a t i v e   l y mp h o i d   m y e l o i d   m o n o c y t i c   c e l l   l i n e   m e t h y l a t i o n   i n h i b i t o r   d e o x y c y t i d i n e   r e su l t   t i m e   c o n c e n t r a t i o n   d e p e n d e n t   i n c r e a se   I R F 4   m R N A   p r o t e i n   l e v e l   n e g a t i v e   1   sec o n d   u se   r e st r i c t i o n   P C R   a s sa y   b i s u l f i t e   se q u e n c i n g   i d e n t i f y   s p e c i f i c a l l y   met h y l a t e d   C p G   si t   I R F 4  n e g a t i v e   I R F 4   p o s i t i v e   c e l l   n e g a t i v e   1   t h i r d   c l e a r l y   d e t e r m i n e   p r o m o t e r   m e t h y l a t i o n   m e c h a n i s m  I R F 4   d o w n r e g u l a t i o n   v i a   r e p o r t e r   g e n e   a ss a y   d e t e c t   a sso c i a t i o n   m e t h y l a t i o n a l   s t a t u s m R N A   DNA   m e t h y l t r a n sf e r a ses  M e t h y l - C p G - b i n d i n g   p r o t e i n   d o w n r e g u l a t i o n     1   t o g e t h e r   d a t a   s u g g e st   C p G   si t e   sp e c i f i c   i r f 4   p r o m o t e r   me t h y l a t i o n   p u t a t i v e   mec h a n i sm   d o w n r e g u l a t e d   I R F 4  l e u k e mi a   d o w n r e g u l a t e d   1       3 . 3 .   Da t a   s pli t t ing   At  th is   s tag e,   th e  d ata  is   d iv id ed   in to   tr ain in g   a n d   test in g   s ets,  a  p r o ce s s   k n o wn   as  d ata  s p litt in g .   T h e   tr ain in g   d ata  is   u s ed   to   b u ild   lear n in g   m o d els,  wh ile  th e  test in g   d ata  is   u s ed   to   ev al u ate  m o d el  p er f o r m a n ce   [ 3 3 ] .   C o n s eq u en tly ,   th e  p r o p o r tio n   o f   tr ain in g   d ata  m u s t  b e  m o r e  s ig n if ican t  th an   th at  o f   test in g   d ata  to   p r e v en t  o v er f itti n g .   T h e   d ata  s p litt in g   s tag e  also   in clu d es  th e   d ata   d i v is io n   in to   th e  ' lef t'   an d   ' r ig h t'   in p u t  s id es  to   alig n   with   th e  in p u t r e q u ir em e n ts   o f   th e  Siam ese  n etwo r k .   T h is   s tu d y ' s   d ata  is   d iv id ed ,   with   7 5 % a llo ca ted   f o r   tr ain in g   an d   2 5 % f o r   test in g .   T h is   7 5 /2 5   s p lit is   a  s tan d ar d   a p p r o ac h   in   m ac h in e   lear n in g .   I t   is   b alan cin g   th e   n ee d   f o r   c o m p r eh en s iv e   tr ain in g   with   e n o u g h   d ata   to   test   an d   v alid ate  th e  m o d el' s   p er f o r m a n ce   r ig o r o u s ly .     3 . 4 .   B io Wo rdVec   B io W o r d Vec ,   d ev elo p e d   b y   Z h an g   et   a l.  [ 3 4 ] ,   is   in teg r ate d   i n to   o u r   m o d el  as in p u t e m b ed d in g   lay e r s   to   an aly ze   th e  s p ec if ic  an d   lo ca l  co n tex t  o f   wo r d s   with in   m ed ical  r ep o r ts .   T h is   wo r d   em b ed d in g   is   tr ain ed   u s in g   b io m ed ical  c o r p o r a  f r o m   b i o m ed ical  liter atu r e   an d   m e d ical  s u b ject  h ea d in g s   ( Me SH)   d o m ain   k n o wled g e.   Z h an g   et  a l.   [ 3 4 ]   u tili ze d   a  s u b wo r d   em b ed d i n g   m o d el  t o   im p r o v e  u n d e r s tan d in g   o f   tex t  s eq u en ce s   an d   m ed ica l   ter m in o lo g y   in   Me SH,  en h an c in g   b io m e d ical  wo r d   r ep r esen t atio n s   an d   s em an tic  co m p r eh e n s io n .   B io W o r d Ve c  i s   c at eg o r i ze d   i n to   in tr in s i c  an d   ex tr in s i c  ty p es .   I n tr in s i c  B io W o r d V ec   i s   co m m o n ly   u s ed   to   p r ed ic t  s em an t ic  s im i lar ity   am o n g   wo r d s ,   t er m s ,   o r   s en t en ce s .   C o n v e r s ely ,   ex tr i n s ic  B io W o r d Ve c  s er v e s   a s   f ea tu r e  in p u t  in   v ar io u s   N L P  ta s k s ,   s u ch   a s   r el a t io n   ex tr a ct io n   an d   t ex t   cl a s s i f ic at io n .   T h i s   d u a l   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J E lec  &   C o m p   E n g     I SS N:   2088 - 8 7 0 8         C o mp a r a tive  a n a lysi s   o f d ee p   S ia mese   mo d els fo r   med ica l rep o r ts   text  s imila r ity  ( Dia n   K u r n ia s a r i)   6973   f u n ct io n a l ity   m ak e s   B i o W o r d Vec   a  v er s a t il e  to o l  f o r   b o o s t in g   th e  p er f o r m an ce   o f   NL P  ap p l ic at io n s   in   th e   b io m ed ic al   f i eld .     3 . 5 .     Sem a ntic   s im ila rit y   m o dels   3 . 5 . 1 .   C o nv o lutio na l neura l  net wo rk s   ( CNN)   a nd   lo ng   s ho rt - t er m   m e m o r y   ( L ST M )   A  C NN  DL   alg o r ith m   id en tifi es  s en ten ce   p atter n s   an d   s em an tic  r elatio n s h ip s   th r o u g h   a  c o n v o lu ti o n al   lay er   lin k ed   to   lo ca l  f ea tu r es.  T y p ically ,   a  C NN  co n s is ts   o f   m u ltip le  lay er s :  in p u t,  co n v o lu tio n al,   p o o lin g ,   f u lly   co n n ec ted ,   an d   o u t p u t  lay e r s   [ 3 5 ] .   C NN  h as  s u cc ee d e d   in   v a r io u s   NL P  task s ,   s u ch   as  s en te n ce   r ep r esen tatio n ,   s ea r ch   q u er y   r etr iev al,   a n d   s e m an tic  p ar s in g .   T h ey   ar e  p ar ti cu lar ly   ef f ec tiv e  i n   id en tify i n g   s em an tic  s im ilar itie s   b etwe en   tex t  p air s ,   ex ce llin g   in   task s   r elate d   to   STS  [ 2 0 ] .   Ho wev er ,   C NNs  h av e  a  lim itati o n :  th eir   ar ch itectu r e   d o es  n o t  ac co u n t  f o r   wo r d   o r d er   r elatio n s h ip s   in   s en ten ce s ,   wh ich   m ea n s   th ey   ca n n o t  an al y ze   th e  s eq u en ce   o f   wo r d s .     3 . 5 . 2 .   L o ng   s ho rt - t er m m e mo ry   ( L ST M )   Un lik e  C NN,   th e  L STM   ar ch itectu r e  is   s p ec if ically   d esig n ed   f o r   p r o ce s s in g   s eq u en ce   d ata.   L STM   ef f icien tly   d is ca r d   ir r elev an t  i n f o r m atio n   an d   r etain s   o n ly   ess en tial  in f o r m atio n ,   s eq u en t ially   ca p tu r in g   th e  ess en ce   o f   s en ten ce s   th r o u g h   ce ll  s tates   an d   g ates  [ 3 6 ] .   T h is   ca p ab ilit y   m ak es  L STM   p ar ticu lar ly   well - s u ited   f o r   task s   in v o lv in g   s em an tic  s im ilar ity ,   as th ey   ca n   u n d er s tan d   th e  co n tex t a n d   m ea n i n g   o f   wo r d s   in   s en ten ce s   s eq u en tially .     3 . 5 . 3 .   H y brid  m o del    T h e  h y b r id   m o d el  a n aly ze s   w o r d s   f r o m   b o th   g e n er al  a n d   lo ca l  co n tex ts .   T er m s   ar e   in ter p r eted   u s in g   wo r d   em b ed d in g   f o r   g e n er al  c o n tex t  an d   s p ec if ic  s em an tic  a n d   s y n tactic  f ea t u r es  f o r   lo ca l  co n tex t.  T h er e  ar e   two   h y b r id   m o d els:   C NN - L STM   an d   L STM - C NN.   Hy b r i d   C NN - L STM   an d   L STM - C NN  m o d els  p r o ce s s   d ata   in   d if f er e n t  s eq u en ce s .   I n   th e  h y b r id   C NN - L STM   m o d el,   C NN  f ir s t  ex tr ac ts   th e  lo ca l  co n tex t  o f   ea ch   w o r d   i n   a  s en ten ce ,   f o llo wed   b y   L ST M  to   c h ec k   wo r d   o r d er .   C o n v er s ely ,   in   th e   h y b r id   L STM - C NN  m o d el,   L STM   in itially   ch ec k s   th e  wo r d   o r d e r ,   an d   th e n   C NN  ex tr ac ts   th e  lo ca l c o n tex t  [ 1 9 ] .     3 . 5 . 4 .   H idd en  la y er   Hid d en   lay er s   a r e  cr u cial  f o r   i m p r o v i n g   ac c u r ac y   an d   m an a g in g   tim e  c o m p lex ity   in   lear n i n g   m o d els.   R esear ch   b y   Uza ir   an d   J am il  [ 3 7 ]   in d icate s   th at  th r ee   h id d en   lay er s   o f f er   o p tim al  p er f o r m an ce .   Ho wev er ,   u s in g   m o r e  th an   th r ee   h id d en   lay er s   d ir ec tly   af f ec ts   th e  m o d el' s   ac cu r ac y   n e g ativ ely .     3 . 6 .   E v a lua t io n   Mo d el  p e r f o r m an ce   is   e v alu at ed   u s in g   th e  c o n f u s io n   m at r ix   [ 3 8 ] ,   wh e r e  ac c u r ate  STS  ca lcu latio n s   ap p ea r   al o n g   th e  d iag o n al.   E r r o r s   in   STS  ca lcu latio n s   ar e  r e p r esen ted   o u ts id e  th is   d ia g o n a l  lin e.   T h is   m eth o d   p r o v id es a   clea r   an d   s tr u ct u r ed   ev alu atio n   o f   h o w  well  th e  m o d el  p r e d icts   tex tu al  s im ilar iti es.       4.   RE SU L T S AN D  D I SCU SS I O N   T h is   s ec tio n   p r esen ts   th e  r esu lts   ac h iev ed   th r o u g h   th e  p r o p o s ed   m eth o d .   Var io u s   p air s   o f   s en ten ce s   wer e  ev alu ated   f o r   STS,  in clu d in g   s en ten ce - T r ig g er W o r d ,   s en ten ce - E v e n tTy p e,   an d   T r ig g er W o r d - E v e n tTy p e.   T h e  co m p a r is o n   o f   ea ch   m o d e l's   r u n tim e  is   illu s tr ated   in   Fig u r e s   2 ( a)   to   2 ( c)   r esp ec tiv ely .   Ap p ly in g   th e  Siam ese  Ma n h at tan   ar ch itectu r e  to   f o u r   d if f er e n t  DL   m eth o d s   y ield ed   id e n tical  r esu lts   with   1 0 0 %  ac c u r ac y   an d   v al id atio n   ac cu r ac y .   Ho wev er ,   e ac h   m o d el  v a r ies  in   th e   tim e  r eq u ir e d   f o r   STS   ca lcu latio n s .   C NN  em er g es  as  th e  m o s t  tim e - ef f icien t  m o d e l  f o r   tr ain in g   c o m p ar e d   to   o th er s .   Mo d els  lik e  C NN - L STM   an d   L STM - C NN  h y b r i d s   also   ex h ib it g o o d   ef f icien c y .   I n   co n tr ast,  th e  s in g le  L STM   m o d el  p r o v es  less   ef f icien t  d u e  to   lo n g er   p r o ce s s in g   tim es.  Dete r m in in g   th e  o p tim al  m o d el  is   ch allen g in g   wh en   co n s id er in g  ac cu r ac y ,   v alid atio n   ac c u r ac y ,   an d   tr ain in g   d u r atio n   al o n e.   An   alter n ativ e  m eth o d   to   ev al u ate  m o d el  p er f o r m an ce   in v o l v es  an aly zin g   th e  lo s s   g r ap h .   L o s s   g r ap h s   in d icate   wh eth er   a  m o d el  is   u n d er f itti n g ,   well - f itted ,   o r   o v e r f itti n g .   Un d er f itti n g   s ig n if ies  p o o r   p er f o r m an ce   d u r in g   tr ain i n g   o r   test in g .   A  well - f itted   m o d e l  d is p lay s   co n s is ten t  p er f o r m an ce   ac r o s s   tr ain in g   an d   test in g   p h ases ,   wh er ea s   o v er f itti n g   m an if ests   as  a  s ig n if ican t   g a p   b etwe en   tr ain in g   an d   test in g   r esu lts .   T h e   in itial    m o d el  ex am i n ed   th r o u g h   lo s s   g r ap h s   was  th e  C NN  m o d el  ap p lied   to   s en te n ce - T r ig g er W o r d   p air s .   Deta iled   co m p ar is o n s   o f   th ese  g r ap h s   a r e  d ep icted   in   Fig u r es 3 ( a )   to   3 ( d ) .   Ov er all,   am o n g   C NN  m o d els  ev alu ated   f o r   STS  in   s en ten ce - T r ig g er W o r d   p air s ,   th e  m o d el  u s in g   th r ee   h id d en   lay er s   with   th e   W MD   lab ellin g   m eth o d   s tan d s   o u t  as th e  m o s t  s u itab le.   T h is   c o n clu s io n   is   d r awn   f r o m   th e  lo s s   g r ap h   an aly s is ,   wh er e  b o th   lo s s   an d   v alid atio n   lo s s   v alu es  co n v er g e  ef f ec tiv ely .   I n   co n tr ast,  o th e r   C NN  m o d els,  as  d ep icted   in   Fig u r e  3 ,   s h o w  s ig n s   o f   u n d er f itti n g   as  th ey   f ail  to   co n v er g e.   I n te g r atin g   th e  W MD   m eth o d   with   th r ee   h id d en   lay e r s   p r o v es b e n ef icial,   en h a n cin g   o v er all  m o d el  p e r f o r m an ce   s i g n if ican tly .   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 8 - 8 7 0 8   I n t J E lec  &   C o m p   E n g ,   Vo l.   14 ,   No .   6 ,  Dec em b e r   20 24 :   6 9 6 9 - 6 9 8 0   6974   T h e  n ex t  m o d el  u n d er   ev alu a tio n   in   th e  lo s s   g r ap h   is   th e  C NN - L STM   h y b r id   m o d el,   il lu s tr ated   in   Fig u r es  4 ( a)   to   4 ( d ) .   T h e  lo s s   g r ap h s   in   Fig u r es  4 ( a )   an d   4 ( b )   illu s tr ate  th at  th e  C NN - L STM   h y b r id   m o d el,   u tili zin g   two   h i d d en   lay er s   wit h   d if f e r en t la b ellin g   m et h o d s ,   ex p er ien ce s   a   d ec r ea s in g   lo s s   v alu e  ac co m p an ied   b y   a n   in c r ea s in g   v alid atio n   lo s s   v alu e,   i n d icatin g   o v e r f itti n g .   C o n s eq u en tly ,   t h is   m o d el   m ay   n o t  g e n er alize   well   to   n ew   d ata  f o r   d eter m i n in g   STS.  C o n v er s ely ,   th e   C NN - L STM   h y b r id   m o d els   d ep icted   in   Fig u r es  4 ( c)   an d   4 ( d )   ex h ib it  m o r e  b ala n ce d   lo s s   g r a p h s ,   wh er e   th e  lo s s   an d   v alid at io n   lo s s   v alu es  ar e   clo s ely   alig n ed .   H o w e v e r ,   e v e n   w i t h   t h es e   i m p r o v e m e n ts ,   t h ese   m o d e l s   s t il l   f a il   t o   d e te r m i n e  S T S   ac c u r a t e l y .   T h e  l as t   m o d e l   a n a l y z e d   t h r o u g h   t h e   l o s s   g r a p h   i s   t h e   L S T M - C N N   h y b r i d   m o d e l ,   d i s p l a y e d   i n   F i g u r e s   5 ( a )   t o   5 ( d ) .   B as e d   o n   F i g u r e s   5 ( a )   t o   5 ( d ) ,   t h e   l o s s   a n d   v a li d a t i o n   l o s s   v a l u e s   o f   t h e   L S T M - C NN   h y b r i d   m o d e l   c o n v e r g e   c o n s is t e n tl y   a c r o s s   v a r i o u s   l a b el l i n g   m e t h o d s   a n d   h i d d e n   l a y e r   c o n f i g u r a t i o n s .   T h is   co n v er g e n c e  s ig n if ies  th at  th e  m o d el  d em o n s tr ates  r o b u s t   p er f o r m an ce   an d   g e n er aliza b il ity   d u r in g   tr ain in g   an d   wh en   a p p lied   to   n ew  d ata.         ( a)       ( b )       ( c)     Fig u r e  2 .   C o m p a r is o n   o f   r u n n i n g   tim e  s en ten ce   p ai r s   o n   ( a )   s en ten ce - T r ig g er W o r d ,   ( b )   s en t en ce - E v en t T y p e,   an d   ( c)   T r ig g e r W o r d - E v en t T y p e   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J E lec  &   C o m p   E n g     I SS N:   2088 - 8 7 0 8         C o mp a r a tive  a n a lysi s   o f d ee p   S ia mese   mo d els fo r   med ica l rep o r ts   text  s imila r ity  ( Dia n   K u r n ia s a r i)   6975       ( a)   ( b )           ( c)   ( d )     Fig u r e  3 .   C NN  m o d el  lo s s   g r a p h   o n   s en ten ce - T r i g g er W o r d   u s in g   ( a)   2   L ay er +CS ,   ( b )   2   L ay er +WMD,     ( c)   3   L a y er +CS ,   an d   ( d )   3   L ay er +WMD           ( a)   ( b )           ( c)   ( d )     Fig u r e  4 .   C NN - L STM   h y b r id   m o d el  lo s s   g r ap h   o n   s en ten ce - T r ig g er W o r d   u s in g   ( a )   2   L a y e r +CS ,     ( b )   2   L ay er +WMD,   ( c)   3   L ay e r +CS ,   an d   ( d )   3   L ay e r +WMD   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 8 - 8 7 0 8   I n t J E lec  &   C o m p   E n g ,   Vo l.   14 ,   No .   6 ,  Dec em b e r   20 24 :   6 9 6 9 - 6 9 8 0   6976       ( a)   ( b )           ( c)   ( d )     Fig u r e  5 .   L STM - C NN  h y b r id   m o d el  lo s s   g r ap h   o n   s en ten ce - T r ig g er W o r d   u s in g   ( a )   2   L a y e r +CS ,     ( b )   2   L ay er +WMD,   ( c)   3   L ay e r +CS ,   an d   ( d )   3   L ay e r +WMD       B ased   o n   th e   an al y s is   o f   t h e  l o s s   g r ap h ,   it  is   ev id en t   th at  m o r e  c o m p lex   m o d els  with   m o r e  th an   two   h id d en   lay e r s   o u tp er f o r m   th o s e  with   o n ly   two   lay er s .   Fu r th er m o r e,   th e  ch o ice  o f   th e  lab ellin g   m eth o d   s ig n if ican tly   im p ac ts   th e  tr ain in g   tim e,   with   th e  W MD   m e th o d   p r o v in g   s u p er io r   to   C S  d u e  to   its   f aster   co n v er g en ce .   I n   th e  L STM - C NN  h y b r id   m o d el,   th e  lo s s   g r a p h   r em ain s   s tab le  ac r o s s   d if f er en t  lab ellin g   m eth o d s   an d   h id d en   la y er   co n f ig u r atio n s .   T h u s ,   t h e  L STM - C NN  h y b r id   m o d el  is   o p tim al  f o r   d eter m in in g   STS  in   s en ten ce - T r ig g er W o r d ,   s en ten ce - E v en tTy p e,   an d   E v e n tTy p e - T r ig g er W o r d   p air s .   T h ese  f in d in g s   u n d e r s co r e   th e  m o d el' s   co n s is ten cy   an d   ef f ec tiv en ess   ac r o s s   v ar ied   s en te n ce   p air in g s .   T h e  STS  ca lcu latio n   r esu lts   f r o m   th e  L STM - C NN  h y b r id   m o d el,   id en tifie d   as  th e  m o s t  ef f ec t iv e  m o d el   f o r   d eter m i n in g   s em an tic  s im ilar ities   ac r o s s   th e  th r ee   s en ten ce   p air s ,   ar e  p r esen ted   in   th e  co n f u s io n   m at r ices  s h o wn   in   Fig u r es  6 ( a)   to   6 ( c) .   T h ese  m atr ices  illu s tr ate  th e   p er f o r m an ce   o f   t h e  L STM - C NN  h y b r id   m o d el,   wh ich   f ea tu r es  a   s o p h is ticated   ar ch itectu r e   an d   u tili ze s   th e  o p tim al  lab ellin g   m eth o d ,   W MD .   Fig u r e  6 ( a)   illu s tr ates  th at  th e  s en ten ce - T r ig g er W o r d   p air   ac h iev es  a  s i m ilar ity   s co r e  o f   1 ,   in d icatin g   id e n tical  s em an tic  m ea n in g   b etwe en   t h e  s en ten ce   an d   T r ig g e r W o r d   v ar iab les.  T h e  s en ten ce   v ar iab le   co m p r is es  s en ten ce s   r elate d   to   leu k em ia ,   en c o m p ass in g   g en etic  r eg u latio n ,   in ter - p r o tei n   in ter ac tio n s ,   g e n es  o r   p r o te in s ,   an d   ass o ciate d   b io lo g ical  p r o ce s s es.  I n   co n tr a s t,  th e  T r ig g er W o r d   v a r iab le  c o n tain s   d escr ip tiv e  ter m s   as  in d icato r s   o r   k ey wo r d s   to   id en tif y   s p ec if ic   b io m e d ica l  ev en ts   with in   th e   s en ten ce   a n d   esti m ate  th ei r   tim in g .   T h er ef o r e,   b ased   o n   th e   STS  ca lcu latio n s   f o r   th e  s en ten ce - T r ig g e r W o r d   p air ,   th e  m o d el  ef f ec tiv el y   ex tr ac ts   m e an in g f u l  i n f o r m atio n   an d   cr u cial  elem e n ts   f r o m   b io m ed ical  tex ts   p er tin en t to   le u k em ia   r esear ch .     Similar ly ,   Fig u r e  6 ( b )   r ev ea l s   th at  th e  s en ten ce - E v en tTy p e  p air   ac h ie v es  a  s im ilar ity   s co r e  o f   1 ,   in d icatin g   id e n tical  s em an tic  m ea n in g   b etwe en   t h ese  v ar iab les.  Alo n g s id e  m atch in g   th e  T r ig g e r W o r d ' s   s em an tic  m ea n in g ,   th e   s en ten ce   v ar iab le   alig n s   clo s ely   with   th e   E v en tT y p e   v ar iab le,   wh ich   d en o tes  s p ec if ic   b io lo g ical  ac tiv ities   with in   th e  co n tex t o f   leu k em ia .   STS c alcu latio n s   in   th ese  p air s   f ac ilit ate  th e  id en tific atio n   o f   co r r elatio n s   b etwe en   v ar i o u s   b io m ed ical  ev en ts   an d   leu k e m ia ,   aid in g   r esear ch er s   an d   m ed ical  p r o f ess io n als.  Fu r th er m o r e ,   an aly zin g   s em an tic  r elatio n s h ip s   b etwe en   th ese  b io m ed ical  ev en ts   a n d   tex ts   en h an ce s   u n d er s tan d i n g   o f   h o w   leu k e m ia   tr ea tm en ts   in f l u en ce   s p ec if ic  b io lo g ical  p ath way s   an d   r elate d   b io m ed ica l   p h en o m en a.   T h is   ap p r o ac h   co n tr ib u tes  d e ep er   in s ig h ts   i n to   leu k e m ia   th er a p y   an d   its   im p licatio n s   f o r   b io m ed ical  r esear ch   a n d   tr ea t m en t  s tr ateg ies.   L astl y ,   b ased   o n   Fig u r e  6 ( c) ,   th e   T r ig g er W o r d - E v en tTy p e  p air   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J E lec  &   C o m p   E n g     I SS N:   2088 - 8 7 0 8         C o mp a r a tive  a n a lysi s   o f d ee p   S ia mese   mo d els fo r   med ica l rep o r ts   text  s imila r ity  ( Dia n   K u r n ia s a r i)   6977   ac h iev es  a  s im ilar ity   s co r e  1 ,   in d icatin g   a  s o lid   s em an tic   r elatio n s h ip   b etwe en   all  tr i g g er   wo r d s   in   th e   T r ig g er W o r d   v ar iab le  a n d   th e  b io m ed ical  ev e n t  ty p es  in   th e  E v en tT y p e  v a r iab le.   T h is   an aly s is   r ev ea ls   s ig n if ican t in s ig h ts   in to   th e  b i o lo g ical  m ec h a n is m s   ass o ciate d   with   leu k em ia   d is ea s e.           ( a)   ( b )       ( c)     Fig u r e  6 .  C o n f u s io n   m atr i x   o n   ( a)   s en ten ce   –   T r ig g e r W o r d ,   ( b )   s en ten ce   –   E v en tT y p e,   a n d     ( c)   T r ig g er W o r d   –   E v en tT y p e       T h e  to p - p er f o r m in g   m o d el  i n   th is   r esear ch   s tu d y   is   b en c h m ar k ed   a g ain s t  C NN,   L STM ,   a n d   h y b r i d   C NN - L STM   m o d els  an d   m o d els  p r o p o s ed   in   p r ev io u s   s tu d i es.  Ho wev er ,   it  is   wo r th   n o tin g   th at  p r io r   s tu d ies   o f ten   d id   n o t  ex clu s iv ely   f o c u s   o n   th e  b io m e d ical  d o m ai n   d u e  to   its   r elativ ely   lim ited   r esear ch   v o l u m e   co m p ar ed   to   o th e r   f ield s .   T h is   b en ch m ar k in g   is   p r esen ted   in   T ab le  2 .   T h e  p r o p o s ed   m eth o d   e x h ib its   s u p er io r   p er f o r m an ce   co m p ar ed   to   p r ev io u s   m o d els,  as  ev i d en ce d   b y   th e  co m p ar ativ e   r esu lts   p r ese n ted   in   T ab le   2 .   Am o n g   t h ese,   T r an   et   a l.  [ 2 1 ]   ac h iev ed   n o tab le  s u cc ess   u s in g   B io W o r d Vec   to   p r ed ict  s y n o n y m s   an d   n o n - s y n o n y m s   in   th e   b io m ed ical  d o m ain   with   an   a cc u r ac y   ex ce e d in g   9 8 %.  T h is   s tu d y ,   al o n g s id e  T r an   et  a l.   [ 2 1 ] ,   u n d er s co r es   th e  ef f ec tiv en ess   o f   em p lo y i n g   p r e - tr ain ed   wo r d   em b ed d in g s   tailo r ed   to   s p ec if i c  r esear ch   d o m ain s ,   s u ch   as B io W o r d Vec .   Sp ec if ically   tr ain ed   o n   d atasets   f r o m   Pu b Me d   an d   Me SH,  B io W o r d Vec   en h an ce s   th e   STS  m o d el's  p er f o r m a n ce   b y   p r o v id in g   d o m ai n - s p ec if ic   em b ed d in g s   r elev an t  to   t h e  b io m ed ical  d ata  u s ed   in   t h is   r esear ch .   Mo r e o v er ,   th e  h ig h   ac cu r a cy   ac h iev ed   i n   th is   s tu d y   is   also   at tr ib u tab le  to   th e  s elec tio n   o f   ap p r o p r iate  s im ilar ity   m etr ics,  p ar ticu lar ly   h ig h lig h ted   in   T ab le  2 ,   wh er e  th e  Ma n h attan   m etr ic  is   s h o wn   to   p o ten tially   im p r o v e  th e  STS m o d el' s   ac cu r ac y   s ig n if ican tly .     Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 8 - 8 7 0 8   I n t J E lec  &   C o m p   E n g ,   Vo l.   14 ,   No .   6 ,  Dec em b e r   20 24 :   6 9 6 9 - 6 9 8 0   6978   T ab le  2 .   B en ch m a r k in g   an aly s is   o f   STS c alcu latio n s   Ti t l e   A u t h o r s   M e t h o d s   P e r f o r ma n c e   U n l a b e l e d   s h o r t   t e x t   si m i l a r i t y   w i t h   LST M   e n c o d e r   Y a o   e t   a l .   [ 3 9 ]   a.   D a t a :   M S R   p a r a p h r a s e   a n d   Q u o r a   d a t a set   ( U n l a b e l e d )   b.   La b e l l i n g :   c o s i n e   s i mi l a r i t y   c.   D o ma i n :   g e n e r a l   d.   W o r d   e m b e d d i n g :   W o r d 2 V e c     M o d e l :   LST M   e n c o d e r   A c c u r a c y   M S R :   8 8 , 0 0 %   R e c a l l   M S R :   8 7 , 0 0 %     A c c u r a c y   Q u o r a :   8 5 , 0 0 %   R e c a l l   Q u o r a :   9 2 , 0 0 %   S TS w i t h   S i a m e se  n e u r a l   n e t w o r k s    R a n a s i n g h e   e t   a l .   [ 1 5 ]   a.   D a t a :   S e m Ev a l   2 0 1 7   d a t a set   ( l a b e l e d )   b.   D o ma i n :   b i o me d i c a l   c.   W o r d   e m b e d d i n g :   c u s t o m - t r a i n e d   e m b e d d i n g     M o d e l :   S i a mes e   M a n h a t t a n   –   LS TM   A c c u r a c y :   8 6 , 5 1 %   D e t e c t i o n   o f   m e d i c a l   t e x t   sema n t i c   s i m i l a r i t y   b a s e d   o n   c o n v o l u t i o n a l   n e u r a l   n e t w o r k   Zh e n g     e t   a l .   [ 2 0 ]   a.   D a t a :   i ma g i n g   a n d   p a t h o l o g y   r e p o r t - p a i r s  ( l a b e l e d )   b.   D o ma i n :   b i o me d i c a l   c.   W o r d   e m b e d d i n g :   C M ESH   M o d e l :   S i a mes e   n e u r a l   n e t w o r k   –   C N N   u si n g   LI M E  a l g o r i t h m f o r   s i mi l a r i t y   o u t p u t   R e c a l l :   9 3 , 7 0 %   P r e c i s i o n :   9 4 , 5 0 %   F1 - S c o r e :   9 4 , 1 0 %   A   S i a m e se  C N N   a r c h i t e c t u r e   f o r   l e a r n i n g   C h i n e s e   se n t e n c e   si mi l a r i t y   S h i   e t   a l .   [ 1 7 ]   a.   D a t a :   C h i n e se  se n t e n c e   p a i r s (l a b e l e d )   b.   D o ma i n :   g e n e r a l   c.   W o r d   e m b e d d i n g :   c u s t o m - t r a i n e d   e m b e d d i n g     M o d e l :   S i a m e se  n e u r a l   n e t w o r k   –   C N N   w i t h   t w o   d i f f e r e n t   me t r i c   d i s t a n c e s   ( C o si n e   a n d   M a n h a t t a n )   A c c u r a c y   C o s i n e :   7 7 , 0 5 %   A c c u r a c y   M a n h a t t a n :   7 7 , 3 1 %     S i a mes e   K G   –   LS TM :   a   d e e p   l e a r n i n g   m o d e l   f o r   e n r i c h i n g   U M LS  M e t a   t h e sa u r u s   sy n o n y my   Tr a n   e t   a l .   [ 2 1 ]   a.   D a t a :   t h e   U M LS  d a t a se t   ( l a b e l e d )   b.   D o ma i n :   b i o me d i s   c.   W o r d   e m b e d d i n g :   B i o W o r d V e c   M o d e l :   S i a mes e   M a n h a t t a n   -   LSTM   w i t h   k n o w l e d g e   g r a p h   A c c u r a c y :   9 8 , 2 3 %   R e c a l l :   9 3 , 8 7 %   P r e c i s i o n :   9 7 , 8 6 %   F1 - S c o r e :   9 6 , 4 1 %   S i mi l a r i t y   ma t c h i n g   o f   me d i c a l   q u e st i o n s  b a se d   o n   S i a mese   n e t w o r k   Li   a n d   H e   [ 2 2 ]   a.   D a t a :   e t h n i c   me d i c a l   Q u e s t i o n   d a t a se t   ( l a b e l e d )   b.   D o ma i n :   B i o me d i s   c.   W o r d   e m b e d d i n g :   W o r d 2 V e c     d.   M o d e l :   S i a mes e   n e u r a l   n e t w o r k   –   R N N   w i t h   M a n h a t t a n   d i s t a n c e   F1 - S c o r e   E u c l i d e a n :   9 4 , 1 3 %   F1 - S c o r e   C o s i n e :   9 6 , 9 3 %   F1 - S c o r e   M a n h a t t a n :   9 7 , 3 4 %     P r o p o se d   m e t h o d     K u r n i a sar i   e t   a l .     a.   D a t a :   G EN I A   e v e n t   d a t a se t   ( u n l a b e l e d )   b.   La b e l i n g :   C S   a n d   W M D   c.   W o r d   e m b e d d i n g :   B i o W o r d V e c   M o d e l :   S i a mes e   M a n h a t t a n - h y b r i d   L S TM   C N N   A c c u r a c y :   1 0 0 %   R e c a l l :   1 0 0 %   P r e c i s i o n :   1 0 0 %   F1 - S c o r e :   1 0 0 %       5.   CO NCLU SI O N    T h is   r esear ch   id en tifie s   th e  o p tim al  m o d el  f o r   d etec tin g   s em an tic  s im ilar ity   am o n g   leu k e m ia - r elate d   b io m ed ical  ter m s ,  a   h y b r id   L STM - C NN  m o d el  c o m b in in g   Si am ese  Ma n h attan   an d   L STM - C NN  ar ch itectu r es.  R esu lts   in d icate   s u p er io r   p er f o r m an ce   co m p ar ed   to   m o d els   p r o p o s ed   in   p r ev io u s   r esear ch   d esp ite  d if f er in g   d o m ain s   b etwe en   s tu d ies.   T h e  r esear ch   aim s   to   aid   r esear ch er s   an d   m ed ical  p r o f ess io n als  in   u n co v er i n g   co r r elatio n s   b etwe en   v ar io u s   b io m ed ical  ev en ts   an d   leu k e m ia ,   u n d er s tan d i n g   s em an tic  co n n ec tio n s   b etwe en   tr ig g er   wo r d s   an d   b io m ed ical  ev en ts ,   an d   au to m atica lly   ex tr ac tin g   cr itical  in f o r m atio n   f r o m   b io m ed ical  tex ts   to   en h an ce   leu k em ia - r elate d   i n f o r m atio n   r etr iev al.   Mo r eo v e r ,   th e  s tu d y   s ee k s   to   d ee p en   u n d er s tan d in g   o f   h o w   l eu k em ia   tr ea tm en ts   im p ac t  s p ec if ic  b io lo g ical  p ath way s   an d   s u b s eq u en t  b io m ed ical  p r o ce s s es.   Fu tu r e  r esear ch   d ir ec tio n s   co u ld   ex p lo r e  f u r th er   ad v an ce m en ts   in   th e  STS ta s k   b y   ex tr ac tin g   r elatio n s h ip s   b etwe en   b i o m ed ical   en titi es,  th er eb y   en h an cin g   in s ig h ts   in to   leu k em ia   a n d   its   b io m ed ical  im p licatio n s .       ACK NO WL E DG E M E NT S    T h is   r esear ch   r ec eiv ed   f u n d in g   f r o m   a   Facu lty   o f   Ma th em atic s   an d   Natu r al  Scien ce s   g r a n t  f o r   th e  2 0 2 3   ac ad em ic  y ea r .       RE F E R E NC E S   [ 1 ]   A .   C h a v e s ,   C .   K e s i k u ,   a n d   B .   G a r c i a - Za p i r a i n ,   “ A u t o m a t i c   t e x t   su mm a r i z a t i o n   o f   b i o m e d i c a l   t e x t   d a t a :   A   sy st e ma t i c   r e v i e w , ”   I n f o rm a t i o n ,   v o l .   1 3 ,   n o .   8 ,   A u g .   2 0 2 2 ,   d o i :   1 0 . 3 3 9 0 / i n f o 1 3 0 8 0 3 9 3 .   [ 2 ]   Y .   W a n g ,   S .   F u ,   F .   S h e n ,   S .   H e n r y ,   O .   U z u n e r ,   a n d   H .   Li u ,   “ T h e   2 0 1 9   n 2 c 2 / O H N LP  t r a c k   o n   c l i n i c a l   sem a n t i c   t e x t u a l   si m i l a r i t y :   O v e r v i e w , ”   J MIR  Me d i c a l   I n f o rm a t i c s ,   v o l .   8 ,   n o .   1 1 ,   N o v .   2 0 2 0 ,   d o i :   1 0 . 2 1 9 6 / 2 3 3 7 5 .   [ 3 ]   F .   A l a m ,   M .   A f z a l ,   a n d   K .   M .   M a l i k ,   “ C o m p a r a t i v e   a n a l y s i s  o f   se ma n t i c   s i mi l a r i t y   t e c h n i q u e s  f o r   me d i c a l   t e x t , ”   i n   2 0 2 0   I n t e r n a t i o n a l   C o n f e re n c e   o n   I n f o rm a t i o n   N e t w o r k i n g   ( I C O I N ) ,   J a n .   2 0 2 0 ,   v o l .   2 0 2 0 - Ja n u a ,   p p .   1 0 6 – 109 ,   d o i :   1 0 . 1 1 0 9 / I C O I N 4 8 6 5 6 . 2 0 2 0 . 9 0 1 6 5 7 4 .   [ 4 ]   Q .   C h e n ,   J.  D u ,   S .   K i m,  W .   J.  W i l b u r ,   a n d   Z.   L u ,   “ D e e p   l e a r n i n g   w i t h   se n t e n c e   e m b e d d i n g s  p r e - t r a i n e d   o n   b i o me d i c a l   c o r p o r a   i mp r o v e s  t h e   p e r f o r ma n c e   o f   f i n d i n g   si mi l a r   s e n t e n c e s  i n   e l e c t r o n i c   me d i c a l   r e c o r d s , ”   B MC   Me d i c a l   I n f o rm a t i c s  a n d   D e c i s i o n   Ma k i n g ,   v o l .   2 0 ,   n o .   S 1 ,   A p r .   2 0 2 0 ,   d o i :   1 0 . 1 1 8 6 / s1 2 9 1 1 - 0 2 0 - 1 0 4 4 - 0.   Evaluation Warning : The document was created with Spire.PDF for Python.