I AE S In t er na t io na l J o urna l o f   Art if icia l In t ellig ence   ( I J - AI )   Vo l.   14 ,   No .   1 ,  Feb r u ar y   2 0 2 5 ,   p p .   385 ~ 396   I SS N:  2 2 5 2 - 8 9 3 8 ,   DOI : 1 0 . 1 1 5 9 1 /ijai.v 14 .i 1 . p p 3 8 5 - 3 9 6          385     J o ur na l ho m ep a g e :  h ttp : //ij a i . ia esco r e. co m   M a chine learning  f o r men tal hea lth :  predi cting  trans itions  f ro m  a ddiction to ill nes s       Ali A lk ha zr a j i 1 ,   F a t i m a   Als a f i 1 ,   M o ha m ed  Dbo uk 1 ,   Z ein A l A bid i n Ib ra him 1,   2 ,   I ha b Sbeity 1,   3   1 D e p a r t me n t   o f   C o m p u t e r   S c i e n c e ,  F a c u l t y   o f   S c i e n c e s,  L e b a n e s e   U n i v e r si t y ,   H a d a t   C a mp u s,   B e i r u t ,   Le b a n o n   2 D e p a r t me n t   o f   C o m p u t e r   a n d   C o mm u n i c a t i o n s  En g i n e e r i n g ,  F a c u l t y   o f   En g i n e e r i n g ,   L e b a n e se   I n t e r n a t i o n a l   U n i v e r si t y ,     B e i r u t ,   L e b a n o n   3 D e p a r t me n t   C o m p u t e r   S c i e n c e ,  F a c u l t y   o f   S c i e n c e s ,   L e b a n e se   I n t e r n a t i o n a l   U n i v e r si t y ,   B e i r u t ,   L e b a n o n       Art icle  I nfo     AB S T RAC T   A r ticle  his to r y:   R ec eiv ed   Mar   30 ,  2 0 2 4   R ev is ed   J u l   27 ,  2 0 2 4   Acc ep ted   Au g   30 ,  2 0 2 4       Th e   i n c re a sin g   p re v a len c e   o f   in fe c ti o n - c a u sin g   d ise a se s  d u e   t o   e n v i ro n m e n tal   fa c to rs  a n d   l ifes ty le  c h o ice s  h a s  stra in e d   t h e   h e a lt h c a re   sy ste m ,   n e c e ss it a ti n g   a d v a n c e d   tec h n iq u e s  to   sa v e   li v e s.  Dise a se   p re d ictio n   p la y s  a   c ru c ial  ro le  in   id e n ti f y in g   in d iv id u a ls  a t  r isk ,   e n a b li n g   e a rl y   trea tme n t,   a n d   b e n e fit in g   g o v e r n m e n ts  a n d   h e a lt h   i n su ra n c e   p ro v i d e rs.  Th e   c o l lab o ra ti o n   b e twe e n   b io m e d ici n e   a n d   d a ta  sc ien c e ,   p a rti c u larly   a rti ficia l  in telli g e n c e   a n d   m a c h in e   lea rn in g ,   h a s  led   to   si g n ifi c a n t  a d v a n c e m e n ts  in   t h is  fiel d .   Ho we v e r,   re se a rc h e rs  fa c e   c h a ll e n g e s  re late d   to   d a ta  a v a il a b il it y   a n d   q u a li t y .   Cli n ica l  a n d   h o sp it a l  d a ta,  c ru c ial  fo r  a c c u ra te  p re d ictio n s,  a re   o ften   c o n f i d e n ti a l  a n d   n o t  fre e l y   a c c e ss ib le.  M o re o v e r,   h e a lt h c a re   d a ta  is  p re d o m in a n tl y   u n stru c t u re d ,   re q u iri n g   e x ten siv e   c lea n in g ,   p re p ro c e ss in g ,   a n d   la b e li n g .   Th is   stu d y   a ims   to   p re d ict  th e   li k e li h o o d   o f  p a ti e n ts  tran sit io n in g   to   m e n tal  il ln e ss   b y   m o n i to ri n g   a d d ictio n   c o n d it io n s  a n d   c o n str u c ti n g   trea tme n t  p r o t o c o ls,  wit h   th e   g o a l  o f  m o d ify i n g   th e se   p ro t o c o ls  a c c o rd i n g l y .   We  fo c u s  o n   p re d ictin g   su c h   tra n sfo rm a ti o n s  t o   i ll u m i n a te  th e   u n d e rly in g   fa c to rs   b e h in d   sh ift s   in   m e n tal  h e a lt h .   T o   a c h iev e   th is   o b j e c ti v e ,   d a ta  fr o m   a n   Ira q i   h o sp it a l   h a s  b e e n   c o ll e c ted   a n d   a n a ly z e d   y ield i n g   p ro m isin g   re su lt s.     K ey w o r d s :   Dis ea s e  p r ed ictio n   Ma ch in e  lear n in g   Me d ical  p r o f ile   Me n tal  illn ess   W o r d   em b ed d in g   T h is i s  a n   o p e n   a c c e ss   a rticle   u n d e r th e   CC B Y - SA   li c e n se .     C o r r e s p o nd ing   A uth o r :   Z ein   Al  Ab id in   I b r ah im   Dep ar tm en t o f   C o m p u ter   Scie n ce ,   Facu lty   o f   Scien ce s ,   L eb a n ese  Un iv er s ity   Had at  C am p u s ,   B eir u t,  L eb an o n   E m ail:  ze in . ib r ah im @ u l.e d u . lb       1.   I NT RO D UCT I O N   I n   t o d a y ' s   d i g i ta l   e r a ,   t e c h n o l o g i c a l   a d v a n c e m e n t s   h a v e   b r o u g h t   a b o u t   s i g n i f i c a n t   c h a n g e s   in   l i f e s t y l es ,   c o n t r i b u t i n g   t o   t h e   s p r e a d   o f   d i s e as es   a l o n g   w i t h   p o l l u t i o n .   T h e   h e a l t h c a r e   s e ct o r   i s   n o w   f ac e d   w i t h   t h e   u r g e n t   t a s k   o f   a d a p t i n g   t o   t h e s e  c h a ll en g e s   t o   e n s u r e   t h e  w el l - b e i n g   o f   i n d i v i d u a l s   a n d   t h e  o v e r a l l   p r o s p e r i t y   o f   n at i o n s .   R is i n g   h e a lt h c a r e   c o s ts   a n d   t h e   i n c r e a s i n g   p r e v al e n c e   o f   p h y s ica l   a n d   m e n t a l  i ll n e s s es   h a v e   m ad e   i t   m o r e   d i f f ic u l t  f o r   g o v e r n m e n t s   a n d   h e a l t h   i n s u r a n c e   p r o v i d e r s   t o   e f f e ct i v e l y   a d d r e s s   t h e s e  i s s u es .   T h e   d i g it i za t i o n   a n d   p r o c e s s i n g   o f   v a s t   a m o u n t s   o f   d a t a   h a v e   o p e n e d   n e w   p o s s i b il i ti e s   f o r   d i s e as e   p r e d i c t i o n ,   e a r l y   i n te r v e n t i o n ,   a n d   t h e   d e v e l o p m e n t   o f   i n n o v a t i v e   t r e a t m e n t   o p t i o n s .   U t il i zi n g   c o m p l e x   c o m p u t a t i o n   t e c h n o l o g i e s ,   p a r t i c u l a r l y   a r ti f i c i al  i n t e l li g e n c e   a n d   m a c h i n e   l e a r n i n g   a l g o r i t h m s ,   h e a l t h c a r e   p r o f e s s i o n a l s   c a n   l e v e r a g e   v a r i o u s   d a t a   s o u r c e s   s u c h   as  i m a g e s ,   te x t ,   a n d   s o u n d s   t o   p r ed i c t   d i s e a s e   s y m p t o m s   a n d   t a k e   p r e v e n t i v e   m e a s u r es   w el l   i n   ad v a n c e .   T h e  co llab o r atio n   b etwe en   t h e   b io m ed ical  f ield   a n d   d ata  s cien ce   h as  led   to   s ig n if ica n t  ad v a n ce m en ts   in   d is ea s e  p r ed ictio n   m o d els  an d   d atasets   o v er   th e  p ast  f e w  y ea r s .   Du e  to   th e   g lo b al  r is e  in   ad d ictio n   r ates,  r esear ch er s   m u s t seek   s o lu tio n s   to   ad d r ess   th i s   p r e v alen t iss u e.   Ad d itio n ally ,   ad d icts   ar e  u n d er g o in g   tr ea tm e n t   p r o to co ls   an d   u tili zin g   s p ec ia lized   s y s tem s   f o r   d r u g   d is p o s al.   Ho wev er ,   s o m e  in d iv id u al s   with in   th is   g r o u p   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8 9 3 8   I n t J Ar tif   I n tell ,  Vo l.   14 ,   No .   1 ,  Feb r u ar y   2 0 2 5 :  385 - 3 9 6   386   m ig h t  e x p er ien ce   a   s h if t  in   d i ag n o s is   f r o m   a d d ictio n   to   an o th er   p s y c h o lo g ical   d is o r d er .   T h is   ch an g e   p r esen ts   n ew  ch allen g es  in   im p lem en tin g   ef f ec tiv e  th er ap e u tic  p r o to co ls ,   as  th e  u n d er ly i n g   r ea s o n s   f o r   th is   tr an s f o r m atio n   r em ain   u n k n o wn .   Hen ce ,   ac cu r ately   p r ed ic tin g   th e  p r o g r ess io n   f r o m   ad d ictio n   to   an o t h er   p s y ch iatr ic  co n d itio n   wo u l d   en ab le  s k illed   d o cto r s   to   p r o ac t iv ely   im p lem en t p r ev e n tiv e  m ea s u r es a n d   p r o v id e   r esear ch er s   with   th e  o p p o r tu n ity   to   in v esti g ate  th is   p h en o m en o n .   T h e  aim   o f   th is   wo r k   is   to   ad d r ess   th ese  am b ig u o u s   ca s es a n d   p r o v id e  in s ig h ts   in to   p r ed ictin g   an d   u n d er s tan d in g   th e  tr a n s f o r m atio n s   th at  o cc u r   d u r in g   th e  tr ea tm en t  o f   ad d icts ,   s h ed d in g   lig h t  o n   th e  u n d er ly in g   f ac to r s   b eh in d   th ese  s h if ts   in   m en tal  h ea lth .   B y   lev er ag in g   t h e  p o we r   o f   a r t if i cial  in tellig en ce   an d   m ac h in e   l e a r n i n g ,   t h i s   r e s ea r c h   e n d e a v o r s   t o   c o n t r i b u t e   t o   i m p r o v e d   a d d i c t i o n   t r e a t m e n t   s t r a t e g i es   a n d   p a t i e n t   o u t c o m e s .   T h e  r em ain in g   s ec tio n s   o f   th e  ar ticle  will  b e  o r g an ized   as  f o llo ws:   Sectio n   2   will  b e  d ed icate d   to   p r ev io u s   wo r k   in   th e  d o m ain   o f   d is ea s e  p r ed ictio n .   I n   s ec tio n   3 ,   we  will  p r esen t  an   o v e r v iew  o f   wo r d   em b e d d in g   ( W E )   m eth o d s   u s ed   in   NL P  th r o u g h o u t  th is   s tu d y .   Sectio n   4   will  o u tlin e  th e  p r o p o s ed   p ip elin e,   w h ile   ex p er im en ts   will  b e  p r esen ted   in   s ec tio n   5 ,   co n clu d in g   in   s ec tio n   6   with   p r o p o s ed   f u tu r e  ex t en s io n s   to   th e  wo r k .         2.   P RE VIOU S WO RK S   I n   th is   s ec tio n ,   s in ce   n o   p r ev i o u s   wo r k s   h a v e  ad d r ess ed   th i s   d is ea s e  y et,   we  will  p r esen t  a  liter atu r e  r ev iew  o f   d is ea s e  p r e d ictio n   in   g e n er al.   L iter at u r e  ca n   b e  o r g an ized   in   v ar io u s   way s .   Fo r   ex am p le,   we  ca n   ca teg o r ize  th em   b ased   o n   t h e  d is ea s e  th ey   ad d r e s s ,   s u ch   as h ea r t a ttack ,   an d   co r o n a   v ir u s ,   o r   b ased   o n   th e  ty p e  o f   m eth o d   u s ed ,   s u ch   as  tr a d itio n al  m ac h in e   lear n in g - b ased   o r   d ee p   lear n in g - b ased   m eth o d s .   I n   o u r   wo r k ,   w e   will a d o p t th e  s ec o n d   ty p e  o f   o r g an izatio n .       2 . 1 .     T ra ditio na l  m a chine - lea rning - ba s ed  m et ho ds   A   f i r s t   t y p e  o f   m e t h o d s   i n   t h i s   c a t e g o r y   i s   t h e   o n e  p r o p o s e d   b y   M a l l  e t   a l .   [ 1 ]   w h o   d e v el o p e d   a   s y s t e m   t o   p r o c e s s   X - r a y   i m a g es   f o r   b o n e   f r a c t u r e   d e t ec t i o n ,   e m p l o y i n g   t h e   t r a d i ti o n a l   m a c h i n e  l e a r n i n g   m e t h o d s .   I n i ti a l l y ,   t h e y   a n a l y z e d   a n d   p r o c ess e d   t h e   i m a g es ,   e m p h a s i z i n g   f ea t u r e   e x t r a c t i o n   u s i n g   t h e  g r a y   l e v el   co - o c c u r r e n c e   m a t r i x   ( G L C M )   m e t h o d .   S u b s e q u e n tly ,   t h e y   u t i l i z e d   a   v a r i e t y   o f   m a c h i n e   l e a r n i n g   m e t h o d s ,   w it h   t h e   m o s t   o p t i m a l  p e r f o r m a n c e   o b s e r v e d   w i t h   t h e  r a d i a l   b a s i s   f u n c ti o n   ( R B F )   s u p p o r t   v e c t o r   m a c h i n e   ( S V M )  m e t h o d .     Sy m o n s   et  a l   ex p lo r es  in   [ 2 ] .   T h e  p r ed ictio n   o f   alco h o l  ad d i ctio n   tr ea tm en t  u s in g   a  co m p a r ativ e  s tu d y   b etwe en   clin ical  p s y c h o th er a p is ts   an d   m ac h in e   lear n in g .   On e  n o tab le   f in d i n g   i n   th eir   wo r k   is   th at  tr ea tm en t   is   co n s id er ed   s u cc ess f u l  if   th e  p atien t  co m p letes  a  m in im u m   o f   7 8   o u t  o f   8 4   d ay s .   W h ile  n eu r al  n etwo r k s   h av e   s h o wn   s ig n if ican t  p r o g r ess ,   th ey   wer e  n o t  u tili ze d   d u e  to   ch allen g es  in   h an d lin g   d if f er e n tly   o r g a n ized   an d   u n ex p lain a b le  d ata   as  s tated   i n   th eir   wo r k .   T h e   r esear ch e r s   d id   n o t  d el v e  in to   ex p lo r in g   a n d   wo r k in g   o n   th is   is s u e .   I n s tead ,   th ey   em p lo y ed   a  tr ad itio n al   m ac h in e   lear n in g   s y s tem ,   s p ec if ically   r a n d o m   f o r est  an d   lo g is tic   r eg r ess io n   m eth o d s .   B o th   m eth o d s   y ield e d   alm o s t  e q u al  a n d   h ig h   r esu lts ,   alth o u g h   th e  p r ec is e  d etails  o f   th e   d ata  p r o ce s s in g   m eth o d   wer e   n o t e lab o r ate d   u p o n   in   th e  ar ti cle.   S V M   a n d   k - m e a n s   w e r e   u s e d   b y   S i n h a   a n d   S h a r m a   [ 3 ] .   M o r e   p r e c i s e l y ,   t h e y   u s e d   S V M   a s   w e l l   a s   m o d i f i e d   K - m e a n s ,   w i t h   s o m e   m i n o r   d i f f e r e n c e s   r e p r e s e n t e d   b y   a d d i n g   a n   R B F   k e r n e l   t o   w o r k   o n   s e l e c t i n g   t h e   g o o d   f e a t u r e   t o   u s e   a n d   y i e l d s   t o   s a t i s f a c t o r y   r e s u l t s   i n   t h e   d e t e c t i o n   o f   c o r o n a r y   a r t e r y   d i s e a s e .   A t   t h e   t i m e   w h e n   m o d i f i e d   K - M e a n s   p r o v e d   t o   b e   e f f e c t i v e   i n   t h e   w o r k ,   s i n c e   t h e   d a t a   w a s   n o n - l i n e a r ,   t h i s   r e s u l t   i n d i c a t e s   t h e   v a l i d i t y   o f   t h i s   m e t h o d   w i t h   u n s t r u c t u r e d   d a t a .   S V M ,   k - m e a n s ,   a n d   7   o t h e r   c l a s s i f i e r s   w e r e   u s e d   i n   [ 4 ]   i n   o r d e r   t o   p r e d i c t   t h e   c o r o n a r y   a r t e r y   d i s e a s e   o f   p a t i e n t s   b a s e d   o n   t h r e e   t y p e s   o f   r e p r e s e n t a t i o n s   o f   m e d i c a l   h i s t o r y   o f   p a t i e n t s   w i t h   t h e   h e l p   o f   B i o B e r t .   T h e   r e s u l t s   o b t a i n e d   s h o w e d   t h e   p o w e r   o f   B i o B e r t   t o   r e p r e s e n t   m e d i c a l   t e x t   h i s t o r y   o f   p a t i e n t s .   B y   an aly zin g   an   elec tr o en ce p h alo g r am   ( E E G )   with   th e  h elp   o f   r an d o m   f o r est  class if ier ,  Min   et  a l.   [ 5 ]   p r esen ted   a  s tu d y   to   p r ed ict  in d iv id u al  r esp o n s es  to   elec tr o c o n v u ls iv e  th e r ap y   ( E C T )   in   s c h izo p h r e n ia  p atien ts .   Usi n g   tr an s f er   en tr o p y   ( T E )   ex tr ac ted   f r o m   E E G  d ata,   a  r an d o m   f o r est  class if ier   with   f ea tu r e  s elec tio n   ac cu r ately   class if ied   E C T   r esp o n d er s   an d   n o n - r esp o n d er s ,   ac h iev in g   8 5 . 3 %  b alan ce d   ac cu r ac y .   Hig h e r   ef f ec tiv e  co n n ec tiv ity   in   f r o n tal  ar ea s   m ay   in d icate   a  f av o r ab le  E C T   r esp o n s e,   o f f er in g   p o ten tial  f o r   p er s o n alize d   E C T   d ec is io n s   in   clin ical  p r ac tice.   Sleep   a p n ea   d etec tio n   p r o b le m   was  ad d r ess ed   b y   J ez zin i  et   a l .  [ 6 ] .   I n   th is   s tu d y ,   a u to m at ed   m eth o d s   f o r   d etec tin g   s leep   ap n ea   u s in g   elec tr o ca r d io g r am   ( E C G ) ,   aim in g   to   o v er co m e   th e  lim itatio n s   o f   p o ly s o m n o g r ap h y   ( PS G) .   B y   co m p ar in g   ex is tin g   ap p r o ac h e s   an d   ex p lo r in g   v ar io u s   class i f ier s ,   th e  r esear ch   ev alu ates  th e  ef f icac y   o f   a r tific ial  in tellig en ce   alg o r ith m s   in   s leep   ap n ea   d etec tio n .   R esu lts   d em o n s tr ate  th at   th e   K - n ea r est  n eig h b o r s   ( KNN )   c lass if ier   ac h iev es  a   r em ar k ab l e  ac cu r ac y   o f   9 8 . 7 %,  s u r p ass in g   o th er   class if ier s   p r ev io u s ly   u tili ze d   in   liter atu r e.   T h e  KNN  class if ier ,   alo n g   with   o th er   class if ier s ,   was  ev alu ated   f o r   p r ed ictin g   t h e  r is k   o f   d ev elo p in g   co r o n a r y   h ea r t  d is ea s e  ( C H D)   in   th e  n ex t  ten   y ea r s   in   th e  s tu d y   co n d u cted   b y   Min o u   et  a l   [ 7 ] .   Data   p r ep r o ce s s in g   in clu d ed   clea n i n g   th e  d ata  b y   r em o v in g   m is s in g   v alu es,  ad d r ess in g   im b al an ce d   class es,  an d   ap p ly in g   th e  s y n th etic  m in o r it y   o v e r s am p lin g   tech n iq u e   ( SMOT E )   to   p r e v en t  o v er f itti n g   an d   d ata  l o s s .   R esu lts   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J Ar tif   I n tell     I SS N:   2252 - 8 9 3 8       Ma ch in e  lea r n in g   f o r   men ta l  h ea lth :   p r ed ictin g   tr a n s itio n s   fr o m  a d d ictio n   to   illn ess   ( A li A lkh a z r a ji)   387   in d icate d   th at  th e  d ec is io n   tr ee   alg o r ith m   p er f o r m e d   b etter   th an   m o s t  class if ier s ,   ex ce p t  f o r   n aiv e  B ay es,  KNN,   an d   SVM,   wh ich   also   d em o n s tr ated   ac ce p tab le  p e r f o r m an ce .   KNN  also   s h o wed   its   ef f ec tiv e n ess   to   p r ed ict  h ea r t  d is ea s e  in   [ 8 ] .   T h e  r esear ch e r s   an aly ze   v a s t  m ed ical   d ata  to   p r ed ict  h ea r t  d is ea s e,   u tili zin g   s u p er v is ed   lear n in g   alg o r ith m s   lik e  n aïv e  B ay es,  d ec is io n   tr ee ,   KNN ,  an d   r an d o m   f o r est.  Usi n g   a   d ataset  f r o m   th e  C lev elan d   d atab ase  co m p r is in g   3 0 3   in s tan c es  an d   7 6   attr ib u tes,   th is   s tu d y   f o cu s es  o n   1 4   k e y   attr ib u tes  to   ass ess   alg o r ith m   p er f o r m an ce .   KNN  d e m o n s tr ates  th e  h ig h est   ac cu r ac y   s co r e,   o f f e r in g   i n s ig h ts   in to   h ea r t d is ea s e  d ev elo p m en t p r o b ab ilit ies.    R ep ak a  et  a l .   [ 9 ]   d ev el o p ed   a   m o b ile  ap p licatio n   ca lled   s m ar t  h ea r t  d is ea s e  p r ed ictio n   ( S HDP )   th at   u s es  m ac h in e  lear n in g   tech n iq u es,  s p ec if ically   th e  n aiv e  B ay es  class if ier ,   to   p r ed ict  h ea r t  d i s ea s e  b ased   o n   p r io r   p atien t d ata.   T h e  a p p licatio n   a im s   to   id en tify   r is k   f ac t o r s   f o r   h ea r t d is ea s e  b y   ca teg o r izin g   u s er - s u b m itted   d at a   u s in g   tr ad itio n al  m ac h in e  lea r n in g   m eth o d s .   T h e  team   o b tain ed   b asic  d ata  f r o m   U C I   wh ich   was  d er iv ed   f r o m   in f o r m atio n   o n   p r e v io u s   p atie n ts .   T h e  ev alu atio n   o f   th e  s y s tem ' s   ac cu r ac y   r ate  tak es  less   t h an   0 . 0 1   s ec o n d s   an d   y ield s   a  r esu lt o f   8 8 . 7 7 %   [ 9 ] .     Du r in g   th e  co r o n av ir u s   d is ea s e  2 0 1 9   ( C OVI D - 19 )   p an d em ic,   wh er e   in ten s iv e  ca r e  u n it   ( I C U )   r eso u r ce s   ar e   s tr ain ed ,   a  m ac h i n e  lear n i n g - b ased   r is k   p r io r itiz atio n   to o l   was  d ev el o p ed   to   f o r ec ast  I C U  tr an s f er s   with in   2 4   h o u r s ,   aid in g   f r o n tlin e  h ea lth ca r e  wo r k er s   in   ef f icien t  r eso u r ce   allo ca tio n   an d   h o s p ital  f lo w  m an ag em en t   [ 1 0 ] .   T h e  wo r k   u s es  tim e  s er ies  d ata  f r o m   n o n - I C U  C OVI D - 1 9   ad m is s io n s ,   a  r an d o m   f o r est  m o d el  th at  was  tr ain ed   an d   ev alu ated   o n   a  r etr o s p ec tiv e  co h o r t  o f   1 9 8 7   p atien ts .   T h e  p r o p o s ed   m o d el  d em o n s tr ated   7 2 . 8 %  s en s itiv ity ,   7 6 . 3 %  s p ec if icity ,   7 6 . 2 %  ac cu r ac y ,   a n d   7 9 . 9 %  ar ea   u n d er   th e  r ec eiv er   o p er atin g   ch ar ac ter is tics   cu r v e,   o f f er in g   a  v alu ab le   s cr ee n in g   to o l   f o r   im m in en t   I C U  tr an s f er s   an d   en h an cin g   h o s p ital  r eso u r ce   allo ca tio n   a n d   p atien t   th r o u g h p u t p lan n i n g   d u r in g   th e  C OVI D - 1 9   cr is is .   C h en g   et  a l .   [ 1 0 ]   co n d u cted   r e s ea r ch   to   p r e d ict  a  p atien t' s   n ee d   to   b e   ad m itted   to   th e  with i n   2 4   h o u r s   b ased   o n   th e  h ea lth   in f o r m atio n   s to r ed   in   th eir   h ea lth   f ile.   T h e  d ataset  in clu d es  d ata  f o r   1 9 7 8   p atien ts .   Usi n g   th e  tr ad itio n al   m ac h i n e  lear n i n g   a p p r o ac h   an d   th e   r an d o m   f o r est  class if ier ,   th e   ev alu atio n   r esu lts   s h o wed   an   ac cu r ac y   r ate  o f   6 7 . 2 %.  T h e   a im   o f   th e   r esear ch   was  to   en ab le  tim ely   in ter v en tio n   an d   c o n tr o l  o f   th e   p atien t' s   co n d itio n   b ef o r e  it wo r s en s .   A  d if f er en t   ty p e  o f   m ac h in e  l ea r n in g   m eth o d   ( m u lti - lay er   p er ce p tr o n   ( ML P) )   was  u s ed   with   o th er   alg o r ith m s   to   p r ed ict  co v i d - 1 9   o u tb r ea k s .   Ar d ab ili  et  a l.   [ 1 1 ]   ex p l o r es  th e  lim itatio n s   o f   s tan d ar d   ep id em io lo g ical   m o d els  f o r   p r ed ictin g   C OVI D - 1 9   o u tb r e ak s   an d   p r o p o s es  m ac h i n e  lear n in g   an d   s o f t   co m p u tin g   m o d els  as  alter n at iv es.  Am o n g   v ar io u s   m o d els  ex am in ed ,   th e  ML P  a n d   a d ap tiv e  n etwo r k - b ased   f u zz y   in f e r en ce   s y s tem   ( ANFI S)  s h o w  p r o m is e  in   p r e d ictin g   o u t b r ea k s .   T h e  s tu d y   ad v o ca tes  f o r   m ac h in e   lear n in g ' s   ef f ec tiv en ess   in   m o d elin g   th e  co m p lex   an d   v ar ie d   n atu r e  o f   C OVI D - 1 9   o u t b r e ak s ,   s u g g esti n g   its   in teg r atio n   with   tr a d itio n al  SE I R   m o d els f o r   e n h an ce d   p r e d i ctiv e  ca p ab il ities .   L a s t l y ,   P r i y a   a n d   J i n n y   [ 1 2 ]   p r e s e n t s   a n o t h e r   t y p e   o f   a p p l i c a t i o n s   o f   t h e   m a c h i n e   l e a r n i n g   a l g o r i t h m s .   T h i s   w o r k   e v a l u a t e s   m a c h i n e - l e a r n i n g   t e c h n i q u e s ,   i n c l u d i n g   s u p p o r t   v e c t o r   m a c h i n e s ,   g r a d i e n t   b o o s t i n g ,   e x t r e m e   g r a d i e n t   b o o s t i n g ,   a n d   r a n d o m   f o r e s t ,   t o   p r e d i c t   i n   v i t r o   f e r t i l i z a t i o n   ( I V F )   p r e g n a n c y   o u t c o m e s   u s i n g   D o p p l e r   a n d   c l i n i c a l   p a r a m e t e r s .   A m o n g   t h e s e   t e c h n i q u e s ,   g r a d i e n t   b o o s t i n g   c o m b i n e d   w i t h   r a n d o m   f o r e s t   i m p o r t a n c e   f e a t u r e   s e l e c t i o n   d e m o n s t r a t e d   t h e   h i g h e s t   p e r f o r m a n c e ,   a c h i e v i n g   a n   a c c u r a c y   o f   8 2 . 3 % .   T h e   r e s u l t s   h i g h l i g h t   t h e   s i g n i f i c a n c e   o f   u l t r a s o u n d   m e a s u r e m e n t   p a r a m e t e r s ,   p a r t i c u l a r l y   D o p p l e r   p a r a m e t e r s ,   i n   i n f l u e n c i n g   I V F   o u t c o m e s .     2 . 2 .     Deep - lea rning - ba s ed  met ho ds   Deep - lear n in g   m eth o d s   s tar te d   to   en ter   in   th e  d o m ain   o f   h e alth ca r e  esp ec ially   f o r   d is ea s e  p r e d ictio n .   Z h an g   et  a l.  [ 1 3 ]   in tr o d u ce   a   m eth o d   f o r   d is ea s e  p r ed ictio n   an d   ea r ly   i n ter v en tio n   u s in g   a   s en ten ce   s im ilar ity   m o d el.   T h e  ap p r o ac h   in co r p o r ates  WE   an d   co n v o lu tio n al  n e u r al  n etwo r k s   ( C NN)   to   ex tr a ct  s en ten ce   v ec to r s   f r o m   p atien t  d ata,   f o cu s in g   o n   s y m p to m   s im ilar ity   a n aly s is .   T h e  m o d el  i n teg r ates  s y n ta ctic  tr ee   an d   n e u r al   n etwo r k   co m p u tatio n s   to   en h an ce   ac cu r ac y .   Utilizin g   th e  Mic r o s o f t  R esear ch   Par ap h r ase  I d en tific atio n   ( MSR P)  d ataset,   th e  m o d el  ac h iev ed   8 3 . 9 %  F1   s co r e  a n d   ac cu r ac y ,   d em o n s tr atin g   its   ef f ec tiv en ess   in   p r ed ict in g   d is ea s es  an d   en a b lin g   ea r ly   in ter v en tio n .   Ad d itio n ally ,   ex p e r im en ts   o n   t h e  s em an tic  tex tu al  s im ilar ity   t ask   s h o wed   p r o m i s in g   r esu lts ,   in d icatin g   th e  m o d el' s   ca p ab ilit y   to   ex tr ac t  k ey   in f o r m ati o n   f r o m   s en ten ce s   f o r   d is ea s e  p r ed ictio n   an d   ea r ly   in ter v en tio n .   C N N   wa s   a ls o   u s e d   i n   [ 1 4 ]   w h i c h   p r e s e n t s   a   m e t h o d   l e v e r a g in g   r e a l - l i f e   i n t e r n a t i o n a l   c l ass if i c a t i o n   o f   d i s e as e s   ( I C D ) - c o d e d   e le c t r o n i c   m e d i c a l   r ec o r d s   ( E MR )   f r o m   A f r i c a   ( 2 0 1 8 - 2 0 1 9 )   t o   d e v e l o p   a   d i s e as e   r is k   p r e d i c t i o n   m o d e l .   Us i n g   C N N ,   t h e   m o d e l   p r o c e s s e s   E M R   d ata   i n t o   m u l t i - s t e p   ti m e - s e r i es   f o r e c a s ti n g   d a t a   a n d   p r e d i c t s   f u t u r e   d is e a s e   r i s k   b as e d   o n   d e m o g r a p h i c   a n d   m e d i c a l   h is t o r y .   E x p e r i m e n t a l   r esu l t s   d e m o n s t r a t e   a n   8 0 . 7 3 %   a c c u r a c y   i n   p r e d i c t i n g   i n d i v i d u a l   d i s e as e   r is k .   T h e  m o d e l   o f f e r s   p o t e n t i al   c o s t   s a v i n g s ,   p r e - e m p t i v e  c o r r e c t i v e   a ct i o n s ,   a n d   c a p a c it y   p l a n n i n g   i n s i g h t s   f o r   h o s p i t a ls ,   p r o v i d i n g   p e a c e   o f   m i n d   r e g a r d i n g   p e r s o n a l   h e al t h .   T h e  p o wer   o f   d ee p - lear n in g - b ased   m eth o d s   was  h ig h lig h t ed   in   [ 1 5 ]   in   w h ich   a  co m p ar is o n   o f   th e   r esu lts   o f   ap p ly in g   tr ad itio n al  m ac h in e - lear n i n g - b ased   a n d   d ee p - lear n in g - b ased   al g o r ith m s   f o r   m o r tality   esti m atio n s   was c o n d u cted .   T h e  r esear ch   c o n d u cted   a  c o m p r eh en s iv e  an aly s is   o f   C OVI D - 1 9   s p r ea d   d y n am ics   an d   m o r tality   esti m atio n s   in   So u th   Ko r ea .   Utilizin g   d iv er s e  d ata  s ets  in clu d in g   d em o g r ap h ic,   lo ca tio n ,   an d   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8 9 3 8   I n t J Ar tif   I n tell ,  Vo l.   14 ,   No .   1 ,  Feb r u ar y   2 0 2 5 :  385 - 3 9 6   388   ep id em io lo g ical  in f o r m atio n ,   th e  s tu d y   r e v ea led   s ig n if ican t  tr en d s   in   p a n d em ic  p r o g r ess io n .   T h e  an al y s is   h ig h lig h ted   a  p ea k   i n   m o r tality   r ates  d u r in g   th e  in itial  an d   m id - p h ases   o f   th e   o u tb r ea k ,   f o llo wed   b y   a   d ec lin e  s u g g esti n g   in cr ea s ed   in d iv i d u al  r esil ien ce .   Mo r eo v er ,   th e  s t u d y   em p h asized   th e  elev ated   r is k   am o n g   eld er l y   in d iv id u als  an d   m ales.  Fu r th e r m o r e,   t h e  r esear ch   e m p lo y e d   v ar io u s   ar tific ial  in tellig en ce - b ased   m o d els  f o r   p r ed ictiv e  an aly s is   o f   q u ar an ti n ed   C OVI D - 1 9   ca s es.  L o g is tic  r eg r ess io n ,   SVM,   an d   d ee p   lear n in g   s eq u e n tial  m o d els  ac h iev ed   h i g h   ac cu r a cy   r ates,  with   th e  d ee p   lear n i n g   m o d el  y ield in g   th e  h ig h es t  ac cu r ac y   o f   9 9 %  th r o u g h   m eticu lo u s   p ar am eter   tu n in g   an d   p r e v en tio n   o f   o v e r f itti n g .   T h ese  f in d in g s   p r o v id e  v alu ab le  in s ig h ts   f o r   h ea lth ca r e  p r ac ti tio n e r s   to   en h an ce   th eir   p r e p ar ed n ess   an d   r esp o n s e  s tr ateg ies.   T h e  p o wer   o f   d ee p - lear n i n g - b ased   alg o r ith m s   h as  p r o v e n   th eir   ef f icien cy   also   b u t  th is   tim e  in   th e   p r ed ictio n   o f   ac u te  k id n ey   in j u r y   ( AKI )   [ 1 6 ] .   T h is   s tu d y   ai m ed   to   co m p ar e  th e  p r ed ictiv e  ac cu r ac y   o f   two   m o d els  f o r   AKI   d ev elo p m en t  in   I C U  p atie n ts .   Utilizin g   u r in e  o u tp u t   tr en d s ,   a  d ee p   l ea r n in g   m o d el   was  ev alu ated   ag ain s t  lo g is tic  r eg r ess io n   f o r   AKI   p r e d ictio n .   R e s u lts   f r o m   3 5 , 5 7 3   I C U  p atien ts   r ev ea led   th e  d ee p   lear n in g   m o d el  ac h iev ed   h ig h er   ac cu r ac y   ( AUC=0 . 8 9 ,   s en s itiv ity =0 . 8 ,   s p ec if icity =0 . 8 4 )   th a n   lo g is tic   r eg r ess io n .   R em ar k a b ly ,   th e   d ee p   lear n in g   m o d el  an ticip ate d   8 8 %  o f   AKI   ca s es  o v er   1 2   h o u r s   p r io r   to   o n s et,   d em o n s tr atin g   its   p o te n tial f o r   ea r ly   in ter v e n tio n   a n d   p r ev en t io n   in   I C U  s ettin g s .   W h en   it  co m es  to   an aly s in g   m ed ical  im ag es  s u ch   as  X - r ay   o r   C T   im a g es,  h e r e  co m es  th e  p o wer   o f   d ee p   C NN - b ased   n etwo r k   as  u s ed   in   [ 1 7 ] .   I n   th is   wo r k ,   au th o r s   p r o v e  th e  u tili ty   o f   d ee p   lear n in g - b ased   f ea t u r e  ex tr ac tio n   f r am ew o r k s   f o r   a u to m atic  C OVI D - 1 9   class if ic atio n ,   g iv en   t h e  ab s en ce   o f   clin ically   ap p r o v e d   tr ea tm en ts .   Var io u s   d ee p   C NN ,   in clu d in g   Mo b ileNet,   Den s eNe t,  an d   R esNet,   wer e  ev alu ated   to   ex tr ac t  f ea t u r es   f r o m   ch est  X - r ay   an d   C T   im ag es.  T h ese  f ea tu r es  wer e  th en   in p u tted   in to   m ac h in e  lea r n in g   class if ier s   to   d if f er en tiate  C OVI D - 1 9   ca s es  f r o m   c o n tr o ls .   No ta b ly ,   th e   Den s eNe t1 2 1   f ea t u r e  ex tr ac to r   p a ir ed   with   a  B ag g in g   tr ee   class if ier   d em o n s tr ated   th e  h ig h est  p e r f o r m an ce ,   ac h iev in g   9 9 %  class if icatio n   ac cu r ac y ,   f o llo wed   clo s ely   b y   a  h y b r i d   R esNet5 0   f ea tu r e  ex tr ac to r   tr ain ed   with   L ig h tG B M,   ac h iev in g   9 8 %  ac cu r ac y .   T h is   ap p r o ac h   h o ld s   p r o m is e  f o r   en h a n cin g   ea r ly   d etec tio n   an d   m o n ito r i n g   o f   C OVI D - 1 9 ,   p o ten tially   r ed u cin g   m o r tality   r ates.       2 . 3 .     Na t ura l la ng ua g e  pro ce s s ing   Me d ical  d ata  an d   r ec o r d s   co n tain   v ar io u s   ty p es  o f   in f o r m atio n ,   in clu d in g   tex tu al  r e p o r ts   an d   d escr ip tio n s ,   wh ich   h o ld   ess en tial  in f o r m atio n   f o r   a n aly s is .   Ho wev er ,   m ac h in e  lear n in g   alg o r ith m s   ty p ically   r eq u ir e  n u m e r ic  in p u t  d ata   f o r   p r o ce s s in g .   T o   b r id g e  th is   g a p ,   n atu r al  lan g u ag e   p r o ce s s in g   ( NL P)  tec h n iq u es  o f f er   a  s o l u tio n   b y   tr an s f o r m in g   tex t  in to   n u m er ical  v ec to r s   t h r o u g h   em b ed d in g s   tech n iq u e s .   T h ese  tech n iq u es  co n v er t  tex t u al  in f o r m atio n   in to   h ig h - d im en s io n al  v ec t o r s ,   e n ab lin g   alg o r ith m s   to   in ter p r e t  an d   an aly ze   tex t - b ased   d ata  ef f ec tiv el y .   I n   th e  f o llo win g ,   we  will g iv e  a n   o v e r v iew  o f   em b e d d in g   tech n iq u es in   th e  liter atu r e :   −   W o r d 2 V e c   [ 1 8 ] :   W o r d 2 V e c  en c o d e s   t h e   m ea n i n g   o f   w o r d s   i n t o   c o m p a c t   a n d   d e n s e   v e ct o r s ,   c al l e d   WE .  T h e s e   e m b e d d i n g s   r e p r e s e n t   wo r d s   i n   a   c o n t i n u o u s   v e c t o r   s p a c e ,   w h e r e   w o r d s   w i t h   s i m il a r   m e a n i n g s   h a v e  v e c t o r s   t h at   a r e   cl o s e  t o g e t h e r ,   o f t e n   m e a s u r e d   b y   c o s i n e   s im i l a r i t y .   W h il e   W o r d 2 V e c   m o d e l s   c o n s i d e r   c o n t e x t   d u r i n g   t r a i n i n g   b y   e x a m i n i n g   n e i g h b o r i n g   w o r d s ,   e a c h   w o r d   i n   t h e   v o c a b u l a r y   i s   r e p r e s e n t e d   b y   a   s i n g l e   v ec t o r .   H o w e v e r ,   t h i s   a p p r o a c h   m a y   n o t   f u l l y   c a p t u r e   a ll   t h e   n u a n c es   o f   w o r d   m e a n i n g s   a n d   c o n te x t s .   −   Glo Ve   [ 1 9 ] :   Glo Ve  lev er ag es  t h e  co - o cc u r r en ce   s tatis tics   o f   wo r d s   in   a  co r p u s   to   ca p tu r e  g l o b al  co n tex t u al  in f o r m atio n   b y   c o n s tr u ctin g   a   wo r d - wo r d   co - o cc u r r e n ce   m atr ix   b ased   o n   th e  e n tire   co r p u s .   I t  ex h ib its   n o tab le  p er f o r m a n ce   in   task s   s u ch   as  wo r d   an alo g y   an d   n am ed   en tity   id e n tific atio n .   W h ile  Glo Ve   co m p etes  with   W o r d 2 Vec   i n   ce r tain   task s ,   its   p er f o r m a n ce   m ay   s u r p ass   th at   o f   W o r d 2 Vec   in   o th er s ,   u n d er s co r i n g   its   v er s atility   an d   ef f ec tiv en ess   in   ca p t u r in g   s e m an tic  r elatio n s h ip s   in   tex tu al   d ata.   −   E m b e d d i n g s   f r o m   l a n g u a g e   m o d e l s   ( E L Mo )   [ 2 0 ] :   E L M o   r e p r e s e n t s   a   d i f f e r e n t   a p p r o a c h   t o   WE   c o m p a r e d   t o   G l o V e   a n d   W o r d 2 V e c .   I n s t e a d   o f   r e p r e s e n t i n g   e a c h   w o r d   w i t h   a   s i n g l e   v e c t o r   r e g a r d l e s s   o f   i t s   c o n t e x t ,   E L M o   c a p t u r e s   t h e   c o n t e x t   o f   t h e   w o r d   w i t h i n   t h e   e n t i r e   s e n t e n c e   o r   p h r a s e .   I t   a c h i e v e s   t h i s   b y   p r o d u c i n g   d i f f e r e n t   e m b e d d i n g s   f o r   t h e   s a m e   w o r d   u s e d   i n   d i f f e r e n t   c o n t e x t s   a c r o s s   v a r i o u s   s e n t e n c e s .   T h i s   c o n t e x t u a l i z e d   w o r d   r e p r e s e n t a t i o n   e n a b l e s   E L M o   t o   c a p t u r e   n u a n c e s   i n   m e a n i n g   a n d   s y n t a c t i c   s t r u c t u r e s   m o r e   e f f e c t i v e l y .   −   B id ir ec tio n al  en co d er   r e p r ese n tatio n s   f r o m   tr an s f o r m er s   ( B E R T )   [ 2 1 ] :  B E R T   is   d e s ig n ed   to   d ev el o p   m o d els  f o r   s p ec if ic  task s   s u ch   as  q u esti o n - an s wer in g   an d   lan g u ag e  in f er en ce .   I t  in co r p o r ate s   an   ad d itio n al   o u tp u t   lay er   f o r   f in e - tu n in g ,   al lo win g   f o r   a d ap tatio n   to   d if f e r en t  task s   an d   d atasets .   B E R T   is   co n s id er ed   m o r e  s tr aig h t f o r wa r d   an d   ef f ec tiv e  co m p ar ed   to   tr a d itio n a l  lan g u ag e  m o d elin g   ap p r o ac h es  d u e  to   its   b id ir ec tio n al  ar c h itectu r e  an d   co n tex tu alize d   em b ed d i n g s .   −   B io B E R T   [ 2 2 ] :   B io B E R T   is   a  p r e - tr ain e d   m o d el  s p ec if i ca lly   d esig n ed   f o r   r ep r esen ti n g   b io lo g ical   lan g u ag e  i n   b io m ed ical  tex t  m in in g   ap p licatio n s .   Un lik e  B E R T ,   wh ich   is   p r e - tr ain e d   o n   g en er ic  co r p o r a   s u ch   as  W ik ip ed ia  an d   b o o k s ,   B io B E R T   i s   tr ain ed   o n   b io m ed ical  co r p o r a,   in clu d in g   Pu b Me d   ab s tr ac ts   an d   PMC   f u ll - tex t   ar ticles.  I n   a  s tu d y   b y   L ee   et  a l .  [ 2 2 ] ,   B io B E R T   was  f in e - tu n ed   o n   th r ee   b io m e d ical  tex t  m in in g   task s :  n am ed   en tity   r ec o g n itio n   ( B io NE R ) ,   r elatio n   ex tr ac tio n   ( B io R E ) ,   an d   q u esti o n   an s wer in g   ( B io QA) .   T h e  m o d el's  weig h ts   ar e  in it ialized   f r o m   B E R T ,   r esu ltin g   in   n o tab le  p er f o r m a n ce   im p r o v em e n ts :  B io NE R   s aw  a  0 . 6 2 %  i n cr ea s e  in   F1   s co r e,   B io R E   im p r o v ed   b y   2 . 8 0 %  in   F1   s co r e,   a n d   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J Ar tif   I n tell     I SS N:   2252 - 8 9 3 8       Ma ch in e  lea r n in g   f o r   men ta l  h ea lth :   p r ed ictin g   tr a n s itio n s   fr o m  a d d ictio n   to   illn ess   ( A li A lkh a z r a ji)   389   B io QA  ac h iev ed   a  1 2 . 2 4 %  m e an   r ec ip r o ca l  r an k   ( MRR )   im p r o v em en t.   T h ese  r esu lts   h ig h lig h t  B io B E R T ' s   ef f ec tiv en ess   in   v ar io u s   b io m e d ical  tex t m in in g   task s .   −   Fu s i n g   B i o B E R T   [ 2 3 ] :   T h e  m o d el  f o r   B io NE R   in te g r at es   d ee p   co n t ex tu al - le v el  WE ,  c o m p r is i n g   an   atte n t io n - b ase d   b id ir ec t io n al  l o n g   s h o r t - te r m   m e m o r y   ( B i L S T M) - co n d it io n al  r a n d o m   f iel d   ( C R F)   la y e r ,   a   r e p r ese n t ati o n   la y er ,   a n d   a n   i n p u t   la y e r .   B y   co m b i n i n g   B i o B E R T ,   W o r d 2 Ve c   f o r   WE ,   B i L ST M   f o r   ch ar ac t er   e m b e d d in g ,   a n d   c o n tex tu al  em b e d d i n g   ( E L M o ) ,   n o ta b l e  i m p r o v e m e n ts   w e r e  o b s er v e d   ac r o s s   v a r i o u s   d at asets .   S p ec i f i ca l ly ,   f o r   d a tas ets  r e lat ed   t o   d r u g s   a n d   c h em ica ls   ( B C 5 C D R - C h e m   a n d   B C 4 C HE M D) ,   t h e   p e r f o r m a n ce   r ati o   in cr ea s ed   b y   0 . 7 %   a n d   0 . 9 5 %,   r es p e cti v el y .   S im i la r ly ,   f o r   d at asets   lin k e d   t o   g e n es  a n d   p r o te in s   ( J NL PB A   a n d   B C 2 G M) ,   t h e   m o d el   e n h a n ce d   t h e   p er f o r m a n ce   r at io   b y   1 . 7 %.   I n   d atas ets   ass o c iat e d   wit h   d is e ases   ( B C 5 C DR - d is ea s e   a n d   N C B I   d is ea s e   d atas ets ) ,   th e   m o d el   a ch ie v e d   a n   im p r o v e d   p er f o r m a n ce   r ati o   o f   2 . 0 %  an d   2 . 1 %,   r es p e cti v e ly .   −   C lin ical  B E R T   [ 2 4 ] :   C lin ical  B E R T   is   em p lo y ed   t o   p r ed ict  a  3 0 - d ay   h o s p ital r ea d m is s io n   ac r o s s   v ar io u s   ad m is s io n   tim es.  I n itially   tr ai n ed   o n   clin ical  n o tes,  B E R T   is   th en   f i n e - tu n e d   u s in g   th e   m ed ic al  in f o r m atio n   m ar t  f o r   in ten s iv e  ca r e  I I I   ( MI MI C - I I I )   d ataset,   s p ec if ically   f o cu s in g   o n   h o s p ital  r ea d m is s io n .   T h is   m o d el   ex h ib its   v er s atility   b ey o n d   r e ad m is s io n   p r ed ictio n ,   p r o v in g   u s ef u l  in   d iag n o s in g   co n d itio n s ,   esti m atin g   m o r tality   r is k ,   an d   ass ess in g   th e  d u r atio n   o f   s tay .   I ts   ef f icac y   e x ten d s   to   en h a n cin g   p er f o r m an ce   ac r o s s   m u ltip le  d atasets ,   in clu d in g   d is ea s es  s u ch   as  B C 5 C D R - d is ea s e  an d   NC B I   d is ea s e  ( 2 %  an d   2 . 1 %,  r esp ec tiv ely ) ,   d r u g   d atasets   lik e  B C 5 C D R - C h em   an d   B C 4 C HE MD   ( 0 . 7 %  an d   0 . 9 5 %,  r esp ec tiv ely ) ,   a n d   g en e/p r o tein   d atasets   lik e  J NL PB A  an d   B C 2 GM   ( 1 . 7 6 % a n d   1 . 9 6 %,  r esp ec tiv el y ) .   −   B io Alb er t   [ 2 5 ] :   T h e  B io Alb er t  m o d el  em p lo y s   two - p ar a m eter   r ed u ctio n   tech n iq u es  to   ad d r ess   th e  ch allen g es  ass o ciate d   with   s ca lin g   p r e - tr ain ed   m o d els  lik e  B E R T ,   wh ich   ten d   to   h a v e  a  lar g e  n u m b er   o f   p ar am eter s ,   r esu ltin g   in   p r o lo n g ed   tr ai n in g   tim es.  B io Alb er t,  p r e - t r ain ed   o n   b io m e d ical  d ata,   u tili ze s   in itial  weig h ts   f r o m   Alb e r t,  l ev er ag in g   Pu b Me d ,   an d   PMC   d atasets .   Du r in g   th e  B io N E R   f in e - tu n in g   p h ase,   th e  m o d el  d em o n s tr ates  s u p er io r   p er f o r m a n ce   ac r o s s   v ar io u s   d atasets ,   o u tp er f o r m in g   o th er   ap p r o ac h es.  No tab ly ,   in   eig h t  d atas ets,  B io Alb er t  co n s is te n tly   d eliv er s   im p r ess iv e  r esu lts ,   s u r p ass in g   co m p etin g   m o d els,  as h ig h lig h ted   in   th e  f o r th co m in g   c o m p ar is o n .   −   B i L S T M   +  W E   +  c h a r a c t e r   e m b e d d i n g   ( CE )   [ 2 6 ] :   A   s y s t e m   d e v i s e d   f o r   e x t r a c t i n g   c h e m i c a l   n a m e s   f r o m   b i o m e d i c a l   t e x t   i n t e g r a t e s   d y n a m i c   r e c u r r e n t   n e u r a l   n e t w o r k s   ( R N N s ) ,   C R F s ,   a n d   B i L S T M .   E v a l u a t i o n   o n   t h e   N C B I   c o r p u s ,   J N L P B A   c o r p u s ,   a n d   B i o C r e a t i v e   I I   G M   c o r p u s   ( g e n e )   ( d i s e a s e )   d e m o n s t r a t e d   n o t a b l e   p e r f o r m a n c e ,   p a r t i c u l a r l y   e x c e l l i n g   i n   t h e   J N L P B A   c o r p u s   f o r   F 1   s c o r e .   H o w e v e r ,   B i o B e r t   a n d   B i L S T M - C R F   s u r p a s s e d   i t   i n   B i o C r e a t i v e   I I   G M   c o r p u s   a n d   N C B I   c o r p u s ,   a c h i e v i n g   s c o r e s   o f   8 9 . 9 8   a n d   9 0 . 8 4 ,   r e s p e c t i v e l y .   −   C o m p ar in g   F1   s co r es   in   th e   NC B I   d is ea s e  d ataset  am o n g   f o u r   m o d els — B io B er t ,   f u s io n   o f   B io B E R T ,  B iLST M+ W E +CE,   an d   B io A lb er t — B io Alb er t  ac h iev ed   th e  h ig h est  r esu lt  ( 9 7 . 1 8 %)  c o m p ar ed   to   th e   o th er s .   T r ad itio n al  m o d els  m en tio n ed   ea r lier   ( W o r d 2 Vec ,   E L Mo ,   an d   Glo Ve)   wer e  o u t p er f o r m ed   b y   B E R T   ac co r d in g   to   th e  s tate - of - th e - a r t  b en ch m a r k s   m en tio n ed .   Ad d itio n ally ,   C lin icalBer t,  ap p lied   to   a  d is tin ct  d ataset,   s h o wed   p r o m is in g   r esu lts   with   a  7 1 . 4 %  A UR O C   b en ch m ar k .   C o n s eq u e n tly ,   B io Alb er t  em er g es a s   th e  to p - p er f o r m in g   m o d el  am o n g   t h o s e  ev alu ated .       3.   P RO P O SE D  AP P RO ACH   T h e  o b jectiv e  o f   o u r   s tu d y   is   to   ascer tain   wh eth er   an   ad d ict  m ay   r ec eiv e  a  d is tin ct  d iag n o s is   b ased   o n   th eir   m ed ical   p r o f ile.   W e  will  wo r k   with   two   d is tin ct  o r g an izatio n s   o f   t h e  s am e   d ataset:  o n e  o r g an ize d   " b y   p atien ts "  an d   th e  o th er   "b y   v is its ".   I n   th e   f o r m er ,   all  p atien t  v is its   ar e  ag g r e g ated   in to   a   s in g le  d ataset  with o u t  d u p licatio n .   C o n s eq u en tly ,   ea ch   p atien t is r ep r esen ted   b y   a  s in g le  d ata  f ile  co n tain in g   th ei r   p r o f ile,   b u t n o t th e   d etails  o f   in d iv i d u al  v is its .   I n   co n tr ast,  th e  latter   d ataset  r etain s   a ll  v is it - s p ec if ic  in f o r m ati o n   f o r   ea c h   p atien t.   T h e  ex p e r im en tal  p r o ce s s   co m p r is es f o u r   s tep s   as sh o w n   in   F ig u r e  1 .           Fig u r e  1 .   Pro p o s ed   a p p r o ac h   p ip elin e       3 . 1 .     P r o po s ed  a pp ro a ch  pip eline   3 . 1 . 1 .   Da t a   co llect io n   W e  u tili ze d   au th en tic  d ata  s o u r ce d   f r o m   th e   I b n   R o s h d   Ho s p ital  f o r   Me n tal  I lln ess   an d   Ad d ictio n   T r ea tm en t  in   B ag h d ad ,   I r aq .   T h e  d ataset  co n tain s   in d iv i d u al  p atien t   p r o f iles   alo n g   with   th eir   r esp ec tiv e   d iag n o s es.  T h r ee   E x ce l sh ee ts   wer e  co llected :   −   Ma in : T h is   s h ee t e n co m p ass es th e  p atien t p r o f iles .   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8 9 3 8   I n t J Ar tif   I n tell ,  Vo l.   14 ,   No .   1 ,  Feb r u ar y   2 0 2 5 :  385 - 3 9 6   390   −   Su b _ T ab le:  I t  p r o v i d es d etailed   in f o r m atio n   a b o u t e ac h   p atie n t v is it.   −   Diag n o s is : T h is   s h ee t lis t s   th e  d iag n o s is   n am es a n d   t h eir   co r r esp o n d in g   co d es.   a)   Pro f iles   T h e  p atien ts ’   p r o f iles   f r o m   af o r em en tio n e d   I r a q i  h o s p ital  co m p r is e  a  co llectio n   o f   p e r s o n al  an d   m ed ical   d ata  s tr u ctu r ed   as f o llo ws:   1.   PAT_ I D:  Patien t I D   2.   GNDR: Ge n d er   3.   B R T H:  B ir th   Date   4.   VI SIT _ DAT E : D ate  o f   ea ch   p atien t v is it   5.   L AB _ T E ST:  L ab   test s   co n d u c ted   b y   th e   p atien t d u r in g   e ac h   v is it   6.   HSTRY:  Patien t ' s   m ed ical  h is t o r y   7.   E C T : I n d icate s   if   th e  p atien t is u n d er g o in g   elec tr o s h o c k   th er ap y   ( 0   o r   1 )   8.   T R E AT ME NT : M ed icatio n   ad m in is ter ed   to   th e  p atien t d u r i n g   ea ch   v is it   9.   DI AGNO SIS: D iag n o s is   a s s ig n ed   to   th e   p atien t d u r in g   e ac h   v is it   10.   C ONDI T I ON:  Pat ien t’ s   s tatu s   d u r in g   ea ch   v is it   b)   Diag n o s is   E a c h   d i a g n o s i s   is   a c c o m p a n i e d   b y   a   c e r t i f i e d   c o d e   f r o m   t h e   W o r l d   H e a l t h   O r g a n i z a ti o n ' s   d i a g n o s t i c   l is ts   o f   d i s e as e s ,   k n o w n   as   ( I C D 9 ) ,   w h i c h   s h o u l d   b e   u ti l iz e d   o n   t h e   m a i n   s h e e t .   F u r t h e r m o r e ,   t h e   d i a g n o s es   a r e  d o c u m e n t e d   i n   A r a b i c .   T h e  p a ti e n t s   w e   a r e   a n a l y z i n g ,   w h o   a r e   a d d i c ts ,   a r e   as s i g n e d   c o d e s   r a n g i n g   f r o m   F 1 0   t o   F 1 9 .   T a b l e   1   p r e s e n ts   t h e   n u m er i c a l   i n f o r m a t i o n   o f   t h e   d a ta s et   w h i l e   T a b l e   2   l is t s   s o m e   s t a ti s t ic s   a b o u t   t h e   d a t as e t .         T ab le  1 .   Sam p le  o f   d ata   ID   B R TH   GNDR   EC T   LA B   V S T_ D G N S _ M D C N   2 7 7 5   1 9 9 4   F   0     < 2 0 1 0 - 12 - 0 4 > F 0 0 < 2 0 1 0 - 12 - 1 9 > G 4 0 < 2 0 1 1 - 02 - 1 3 > G 4 0 < 2 0 2 1 - 07 - 0 4 > F 4 4   2 7 7 7   1 9 6 8   F   0     < 2 0 1 1 - 06 - 2 0 > F 3 2 < 2 0 1 3 - 03 - 2 8 > F 5 1 < 2 0 1 3 - 04 - 2 9 > F 5 1 < 2 0 1 3 - 05 - 2 8 > F 5 1 < 2 0 1 6 - 04 - 0 3 > F 3 4 < 2 0 2 0 - 11 - 1 5 > F 4 1 < 2 0 2 0 - 11 - 1 9 > F 4 1   2 7 7 8   1 9 5 5   M   0     < 2 0 1 1 - 08 - 1 4 > F 2 0   O l a n z a p i n e < 2 0 1 1 - 11 - 1 5 > F 2 0   O l a n z a p i n e < 2 0 1 2 - 06 - 2 6 > F 2 0   O l a n z a p i n e   C i t a l o p r a m (as   H B r ) < 2 0 1 3 - 09 - 1 7 > F 2 0   O l a n z a p i n e < 2 0 1 4 - 06 - 0 1 > F 2 0   Q u e t i a p i n e < 2 0 1 4 - 10 - 1 4 > F 2 0 Q u e t i a p i n e < 2 0 1 5 - 01 - 2 2 > F 2 0 E c i t a l o p r a m < 2 0 1 6 - 03 - 2 4 > F 2 0 O l a n z a p i n e C h l o r d i a z e p o x i d e < 2 0 2 0 - 0 9 0 3 > F 2 0 C h l o r d i a z e p o x i d e O l a n z a p i n e   2 7 7 9   1 9 7 9   M   0     < 2 0 1 1 - 08 - 1 4 > F 1 9   F l u o x e t i n e   H C l   C h l o r d i a z e p o x i d e   2 7 8 0   1 9 8 2   M   0     < 2 0 1 1 - 08 - 1 4 > F 1 3 C a r b a ma z e p i n e   C i t a l o p r a m (as  H B r )       T ab le  2.   Statis tical  in f o r m atio n   ab o u t   d ataset   P a t i e n t s   9 4 0 9   P a t i e n t s V i si t s   5 7 5 7 2   A d d i c t s   1 7 8 5   A d d i c t s Vis i t s   8 0 8 0   S w a p p e d   P a t i e n t s   1 0 4   S w a p p e d   V i s i t s   1 1 7 4       3 . 1 . 2 .     Da t a   prepro ce s s ing   W e  em p lo y   d ata  p r ep r o ce s s in g ,   a   d ata  m in in g   tech n i q u e,   to   r ef in e  th e   r aw   d ata  f o r   f u r th er   p r o ce s s in g ,   en s u r in g   it   is   p r esen ted   in   a   m ea n in g f u l   an d   ef f ec tiv e   f o r m at .   Giv en   t h at  th e  u tili za tio n   o f   n o is y   d ata  ca n   lead   to   in f er i o r   f in d in g s   d esp ite   em p lo y in g   r o b u s t  alg o r ith m s ,   th i s   p r ep r o ce s s in g   s tep   is   c r itical  f o r   ac h iev in g   m o r e  p r ec is e  r esu lts .   T h e  f o llo win g   m ea s u r es will b e  im p lem en ted   to   ac h iev e  th is   g o al.   a)   Data   clea n in g   T h e  f o llo win g   s tr ateg ies ar e  e m p lo y ed   to   ad d r ess   th e  ch allen g es p o s ed   b y   m is s in g   an d   n o i s y   d ata:   −   Miss in g   d ata:  T o   m an ag e  m is s in g   d ata,   we  h av e  two   o p tio n s :  we  ca n   eith er   ex clu d e  th e  en tire   tu p le   co n tain in g   m is s in g   v alu es,  o r   we  ca n   r ep lace   th e  m is s in g   v al u es  with   eith er   th e  attr ib u te  m e an   o r   th e  m o s t   p r o b a b le  v alu e.   I n   o u r   d ataset,   we  h av e  d ec id ed   to   d is ca r d   t h e   two   co lu m n s   lab elled   L ab   ( 6 3 9 2 /8 0 8 0 )   an d   C o n d itio n   ( 7 2 6 6 /8 0 8 0 )   d u e  to   th e  s ig n if ican t  n u m b er   o f   m is s in g   v alu es  th ey   co n tain .   Fo r   t h e  r em ain in g   co lu m n s ,   an y   m is s in g   v alu es  will b e  s u b s titu ted   with   0 .   −   No is y   d ata:  Ma ch i n es  ar e   in c ap ab le  o f   i n ter p r etin g   m ea n in g less   d ata,   o f ten   r ef er r e d   to   a s   n o is y   d ata.   Ho wev er ,   th is   asp ec t w as n o t  co n s id er ed   in   o u r   an aly s is .   b)   Data   tr an s f o r m atio n   T h is   s tag e  aim s   to   tr an s f o r m   th e  d ata  in to   a  f o r m at  s u itab le  f o r   th e  m in i n g   p r o ce s s .   T h e  f o llo win g   s tep s   will b e  u n d er tak en   t o   ac h iev e  th is :   −   No r m aliza tio n :  T h is   in v o lv es  s ca lin g   th e  d ata  to   a  s tan d ar d   r an g e .   I n   o u r   ca s e,   we  will  p er f o r m   th e   f o llo win g   u p d ates:   i)   T r an s late  th e  "Ag e"   co lu m n   f r o m   g en d er   ( M,   F)  to   n u m er ical  v alu es  ( 0 ,   1 ) ;  an d     ii)  No r m alize   th e  "Bi r th   Date "  co lu m n .   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J Ar tif   I n tell     I SS N:   2252 - 8 9 3 8       Ma ch in e  lea r n in g   f o r   men ta l  h ea lth :   p r ed ictin g   tr a n s itio n s   fr o m  a d d ictio n   to   illn ess   ( A li A lkh a z r a ji)   391   −   C r ea tio n   o f   n ew  attr ib u tes :  W e  will  g en er ate  n ew   attr ib u tes  b ased   o n   th e   p r o v id ed   lis t.  Fo r   c o lu m n s   co n tain in g   d i v er s e  in f o r m atio n   s u ch   as  "h is to r y , "  "d iag n o s tic, "  an d   "th er ap y , "  we  will  s p li t  th e  d ata  in to   d is tin ct  co lu m n s ,   u tili zin g   an   ap p r o ac h   s im ilar   to   th e  o n e  ap p lied   f o r   o th er   r elev an t c o lu m n s .   T h ese  s tep s   will e n s u r e  th at  th e  d ata  is   ap p r o p r iately   p r ep ar e d   f o r   t h e  s u b s eq u e n t m in in g   p r o ce s s .     3 . 1 . 3 .   F ea t ure  e x t ra ct i o n   T h e  p r o ce s s   o f   e x t r ac t in g   ess e n ti al   i n f o r m ati o n   f r o m   r aw   d at a  f o r   d i v e r s e   a p p li ca t io n s   is   ca l led   f e at u r e  ex t r ac ti o n .   Gi v en   t h at   m o s t   d at a  p o s s ess   n u m e r i ca l a ttr ib u t es,   v a r i o u s   m et h o d s   e x is t   t o   co n v e r t  te x t u al   d at a  i n t o   n u m er i ca l  v e ct o r s ,   ali g n i n g   wit h   t h e   o b jec ti v es  o f   m a ch i n e   le ar n i n g   al g o r i th m s .   W o r d   v ec t o r iz ati o n ,   N L P  tec h n i q u e,   f a cil ita tes   t h e   c o n v e r s i o n   o f   w o r d s   i n t o   v e ct o r s .   W o r d s   ar e   m ap p ed   o n t o   v ec to r   s p a ce s   u s i n g   a   r a n g e  o f   la n g u a g e  m o d els .   W it h i n   t h i s   v e ct o r   s p ac e,   ea c h   w o r d   is   d e p ic te d   b y   a  v ec t o r   c o n s is t in g   o f   r e al  n u m b e r s ,   s u c h   as  ‘ m an ’   a n d   ‘ w o m a n ’   f o r   n o u n s   o r   ‘ w al k i n g ’   a n d   ‘ wa lk e d ’   f o r   v e r b s ,   as   s h o w n   i n   F ig u r e   2 .             M a le - F e m a le   Ve rb   ten se     Fig u r e  2 . S im ilar   wo r d   v ec to r i za tio n       Sev er al  m o d els,  p ar ticu lar ly   th o s e  tailo r ed   f o r   th e  b io m ed ical  d o m ain ,   a r e  task ed   with   th is   r esp o n s ib ilit y ,   as  d is cu s s ed   i n   th e  NL P  s ec tio n .   T o   in co r p o r ate  o u r   d ata,   we  h av e   o p t ed   f o r   B io B er t  an d   B io Alb er t.  T h e  th r ee   attr ib u te s   u tili ze d   in   th is   ap p r o ac h   ar e   h is to r y ,   tr ea tm en t,   an d   d iag n o s is .   T h e  f o llo win g   s tep s   will b e  tak en :   −   L o ad in g   p r e - tr ai n ed   m o d els :  W e  will  lo ad   th e  p r e - tr ai n ed   m o d els  f o r   B io B er t  [ 2 7 ]   an d   B io Alb er t  [ 2 8 ]   u s in g   th e  h u g g in g   f ac e  a p p lica tio n   p r o g r am m i n g   in ter f ac e  ( API ) .   −   Ob tain in g   em b ed d in g s :  W e  w ill  u tili ze   s p ec if ic  f u n ctio n s   f r o m   B E R T   an d   AL B E R T   [ 2 8 ] ,   [ 2 9 ]   to   o b tai n   em b ed d in g s   an d   c h ar ac ter is tics .   I t   i s   w o r t h   n o t i n g   t h a t   t h e   f e a t u r e   c o u n t s   e x t r a c t e d   f r o m   t h e   t w o   m o d e l s   d i f f e r   ( s e e   T a b l e   3 ) .   E a c h   f e a t u r e   i s   i d e n t i f i e d   b y   i t s   a s s o c i a t e d   a t t r i b u t e   n a m e   a n d   u n i q u e   n u m b e r ,   s u c h   a s   " H S T R   i , "   " T R E A T M E N T   i , "   a n d   " D G N S   i " .     Hen ce ,   we  n o w  p o s s ess   th e  f in alize d   d ata  r ea d y   f o r   ap p lic atio n   in   th e  s u b s eq u en t  p h ase,   n am ely   class if icatio n .   T h e  tex tu al  att r ib u tes  h av e  b ee n   r ep lace d   with   th eir   co r r esp o n d i n g   ch a r ac ter is tics ,   an d   th e   ca teg o r ical  attr ib u te  h as  b ee n   en co d ed   as ( 0 . 1 ) .   Ad d itio n ally ,   th e  attr ib u te  "Ag e"   h as r ep la ce d   th e  b ir th   d ate.       T ab le  3 .   Nu m b er   o f   ex tr ac te d   f ea tu r es   M o d e l   F e a t u r e s   B i o B e r t   7 6 8   B i o A l B e r t   4 0 9 6       3 . 1 . 4 .     Cla s s if ica t io n   I d en tify in g   an d   p ar titi o n in g   d i f f er en t  d ata  class es  an d   co n ce p ts   th r o u g h   a  m o d el  is   a  cr u ci al  s tep   in   th e  d ata  m in in g   p r o ce s s ,   k n o w n   as  class if icat io n .   T h e  g o al  is   to   ac cu r ately   p r e d ict  th e  tar g et   class   f o r   ea ch   ca s e   b ased   o n   th e   av ailab le  d ata.   T h is   task   was a cc o m p lis h ed   th r o u g h   t h e  f o llo win g   s tep s ,   as d ep icted   in   Fig u r e  3 .   Step s :   −   E n s u r e  th e  d ata  is   p r ep ar e d   ac co r d in g   to   ea r lier   p h ases .   −   Select  v ar io u s   class if ier s .   −   E m p lo y   th e   cr o s s - v alid atio n   a p p r o ac h   to   tr ain   an d   ass ess   th e  m o d els u s in g   5 - f o ld   v alid atio n .           Fig u r e  3 .   C lass if icatio n   ac tio n s   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8 9 3 8   I n t J Ar tif   I n tell ,  Vo l.   14 ,   No .   1 ,  Feb r u ar y   2 0 2 5 :  385 - 3 9 6   392   Af t er   we  tr a n s f o r m ed   te x t u a l  d at a  i n t o   n u m e r ic al  o n e  u s i n g   B io B E R T   a n d   B i o A L B E R T   em b e d d i n g   tec h n i q u es.   w e   t h e n   u tili ze d   t h is   d at a  in   tw o   d is ti n ct   w a y s .   First ly ,   b y   a n al y zi n g   p ati en t   I Ds  r e g a r d less   o f   th e   n u m b e r   o f   th ei r   v is its   a n d   c h a n g es.   S ec o n d l y ,   we   c o n s id e r e d   t h e   p ati en t' s   f r e q u e n t   v is its   a n d   th e  co r r es p o n d i n g   d ia g n o s is   at   ea ch   v is it.   W e   an aly ze d   t h e   r es u l ts   u s i n g   b o th   b ala n c ed   a n d   u n b al an ce d   d at a,   i g n o r i n g   t h e   d at e   at   all   p r ev io u s   s t ag es   a n d   f o c u s i n g   o n   t h e   s w a p   as   t h e   c lass   f ea tu r e .   T h e   t wo   o r g an iz ati o n s   o f   t h e  d a ta   a r e   as   f o l lo ws .   a)   B y  p atien ts   Un d er   th is   v er s io n ,   two   s am p l es  o f   d ata   will  b e  ca teg o r ized :   o n e   with   b alan ce d   class es  an d   an o t h er   with   u n b alan ce d   class es.  B o t h   s am p les  will  in co r p o r ate  f ea tu r es  d er iv ed   f r o m   B io B er t  an d   B io Alb er t.  I t  is   im p o r tan t to   h ig h lig h t th at  th e  class if ier   "stack "  in teg r ates S VM ,   r an d o m   f o r est ,   a n d   n e u r a l n etwo r k s .   i)   Un b alan ce d   class if icatio n   B y   u s in g   th e  two   m o d els  o f   WE   ( B io B E R T   an d   B io AL B E R T ) ,   d ata  wh e n   th e  ta r g et  class es  in   a  d ataset  ar e  u n e n ly   d is tr ib u te d .   T ab le   4   d elin ea tes  th e  d i f f er in g   n u m b er s   o f   s wap p e d   an d   n o n - s wa p p ed   p atien ts   in   th is   s ce n ar io .   −   B io B er t:  T ab le  5   r ev ea ls   lo w  p r ec is io n   an d   r ec all  v alu e s   f o r   class   1 .   Sp ec if ically ,   th e  SVM  m o d el  d em o n s tr ates  a  m a x im u m   p r e cisi o n   o f   0 . 8 3   b u t  a  r elativ el y   lo w  r ec all  o f   0 . 3 6 .   C o n v e r s ely ,   th e  Naiv e   B ay es  m o d el  ac h iev es  a  m ax im u m   r ec all  o f   0 . 8 7 ,   b u t  its   p r e cisi o n   is   ap p r o x im ately   ze r o .   Hen ce ,   t h e   f in d in g s   o f   th is   ex p er im e n t m a y   n o t b e  r o b u s t.       T ab le  4 .   Statis tical  in f o r m atio n   ab o u t   u n b alan ce d   d ata   M o d e l s   N o t   S w a p p e d   S w a p p e d   B i o B e r t   1 6 0 0   82   B i o A l b e r t   1 6 6 8   99       T ab le  5 .   B y   p atien ts - u n b alan c ed - B io B er t,  B io Alb er t r esu lts   p er   class   1       No tab ly ,   h ig h   ac cu r ac y   is   o b s er v ed   f o r   th e  " n o t  s wap p ed "  cl ass ,   wh ich   is   ex p ec ted   g iv e n   it s   m ajo r ity   r ep r esen tatio n   i n   th e   d ataset.   Mo s t m o d els ex h i b it e x ce llen t   o u tco m es,   with   p r ec is io n   an d   r ec all  s co r es a r o u n d   0 . 9 7   a n d   0 . 9 8 ,   r esp ec tiv ely .   −   B io Alb er t:  I n   c o n tr ast,  t h e  r esu lts   f o r   B io Alb er t  m o d els  in d ica te  r elativ ely   p o o r   p r ec is io n   an d   r ec all  v alu es   ac r o s s   th e  b o ar d .   Fo r   in s tan ce ,   th e  r an d o m   f o r est  m o d el  a ch iev es  a  m ax im u m   p r ec is io n   o f   0 . 6 1   a n d   a   r ec all  o f   0 . 2 2 .   Similar ly ,   n aiv e  B ay es  ac h iev es   a  m ax im u m   r ec all  o f   0 . 8 7   b u t  m in i m al  p r ec is io n .   Nev er th eless ,   th e  in clu s io n   o f   class   0   co n tr ib u tes to   h ig h   ac c u r ac y .   −   C o m p ar is o n :  Desp ite  em p l o y i n g   v ar io u s   class if icatio n   s tr ate g ies,  b o th   th e  B io B er t  an d   B io Alb er t  m o d els  y ield ed   p o o r   r esu lts   o v er all.   Ho wev er ,   th e  B io B er t  m o d el  d em o n s tr ated   s lig h tly   h i g h er   ac cu r ac y   co m p ar ed   t o   th e  B io Alb er t m o d el,   with   a  m ar g in al  d i f f er en c e  o f   0 . 0 2   in   m a x im u m   ac cu r ac y   b etwe en   th e   two   m o d els.   −   Dis cu s s io n : T h e  p o o r   p er f o r m an ce   o f   b o th   m o d els ca n   b e   attr ib u ted   to   t h e  im b alan ce   d is tr ib u tio n   o f   ea c h   class   with in   th e  d ataset.   T h e   alg o r ith m s   d em o n s tr ate  a  te n d en cy   to war d s   f r eq u en t  clas s ,   with   lo wer   p er f o r m an ce   o n   t h e  m in o r ity   class .   E s s en tially ,   th e  a lg o r ith m s   p r io r itize  p r ed ictin g   th e   m o s t  f r eq u en t   class ,   wh ich   lead s   to   ex ce llen t  o v er all   r esu lts   b u t   at  th e   ex p en s e  o f   m is class if y in g   m i n o r ity   in s tan ce s .   Ho wev er ,   it' s   im p o r tan t  to   n o t e  th at  th e  m is clas s if icatio n s   ar e  n o t  n ec ess ar ily   in d icativ e  o f   th e  alg o r ith m   wea k n ess es,  b u t r ath er   s tem   f r o m   th e  r a r ity   o f   i n s tan ce s   in   th e  m in o r ity   class .   I n   o u r   e x p er im e n tatio n ,   we  in itially   u tili ze d   7   m o d els  in   th e   u n b ala n ce d   class if icatio n   s ettin g .   Su b s eq u en tly ,   we  au g m en ted   th e  n u m b er   o f   m o d els in   th e  b ala n ce d   class if icatio n   s ettin g .   ii)   B alan ce d   class if icatio n   I n   th is   ex p er im en t,  th e   class   d is tr ib u tio n   is   eq u al  ( 8 2   s wap p e d   an d   8 2   n o t  s wap p ed   p atien ts ) ,   u tili z in g   ( B io B er t a n d   B io Alb er t)   with   r esu lts   in   T ab le  6 .   B i o A l b e r t   B i o B e r t   M o d e l   A c c u r a c y   ( o v e r   t h e   t w o   c l a sses)   P r e c i s i o n   R e c a l l   M o d e l   A c c u r a c y   ( o v e r   t h e   t w o   c l a sses)   P r e c i s i o n   R e c a l l   A d a B o o st   0 . 9 3   0 . 3 8   0 . 3 5   A d a B o o st   0 . 9 5   0 . 4 8   0 . 5 4   G r a d i e n t   B o o st i n g   0 . 9 4   0 . 5 9   0 . 2 8   G r a d i e n t   B o o st i n g   0 . 9 6   0 . 6 1   0 . 5 3   Lo g i s t i c   R e g r e ssi o n   0 . 9 4   0 . 5 5   0 . 2 9   Lo g i s t i c   R e g r e ssi o n   0 . 9 6   0 . 6 6   0 . 5 1   N a i v e   B a y e s   0 . 4 8   0 . 0 8   0 . 8 7   N a i v e   B a y e s   0 . 5 2   0 . 0 8   0 . 8 7   N e u r a l   N e t w o r k   0 . 9 4   0 . 4 4   0 . 2 6   N e u r a l   N e t w o r k   0 . 9 6   0 . 6 8   0 . 5 1   R a n d o m F o r e s t   0 . 9 4   0 . 6 1   0 . 2 2   R a n d o m F o r e s t   0 . 9 6   0 . 6 7   0 . 5 3   S V M         S V M      0 . 9 6   0 . 8 3   0 . 3 6   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J Ar tif   I n tell     I SS N:   2252 - 8 9 3 8       Ma ch in e  lea r n in g   f o r   men ta l  h ea lth :   p r ed ictin g   tr a n s itio n s   fr o m  a d d ictio n   to   illn ess   ( A li A lkh a z r a ji)   393   −   B io B er t:   F o r   clas s   1 ,   th e  g r ad i en t  b o o s tin g   m o d el  ac h iev es  t h e  h ig h est  ac cu r ac y   o f   0 . 8 5   an d   p r ec is io n   o f   0 . 9 0 .   Alth o u g h   t h e  r ec all  ( 0 . 8 0 )   is   s lig h tly   lo wer ,   it  s til l  co m p ar es  f av o r ab ly   t o   o th er   m o d els,  m ak in g   th is   m o d el  th e  s tan d o u t  p e r f o r m er   in   th e  ex p er im en t.  Fo r   class   0 ,   g r a d ien t  b o o s tin g   also   ex ce ls   ac r o s s   all   m etr ics with   Acc u r ac y ,   Pre cisi o n ,   An d   R ec all  v alu es o f   0 . 8 5 ,   0 . 8 2 ,   an d   0 . 9 1   r esp ec tiv ely .   −   B io Alb er t:  F o r   class   1 ,   Gr a d ien t  B o o s tin g   s im ilar ly   d e m o n s tr ates  th e  h ig h est  ac cu r ac y   ( 0 . 8 5 )   an d   p r ec is io n   ( 0 . 8 8 ) ,   with   r ec all  ( 0 . 8 0 )   b ein g   clo s e  b eh in d .   Ag ain ,   g r ad ien t  b o o s tin g   em er g es  as  th e  to p - p er f o r m in g   m o d el  f o r   th is   clas s .   Fo r   clas s   0 ,   g r ad ien t b o o s tin g   ac h iev es m ax im u m   v alu es with   ac cu r ac y ,   p r ec is io n ,   an d   r ec all  o f   0 . 8 5 ,   0 . 8 2 ,   an d   0 . 8 9   r esp ec tiv ely .       T ab le  6 .   B y   p ate n ts - b alan ce d - B io b er t,  B io Alb er t r esu lts   p er   class 1   B i o b e r t   B i o A l b e r t   M o d e l   A c c u r a c y   P r e c i s i o n   R e c a l l   M o d e l   A c c u r a c y   P r e c i s i o n   R e c a l l   A d a B o o st   0 . 7 8   0 . 7 9   0 . 7 6   A d a B o o st   0 . 7 2   0 . 7 5   0 . 6 7   K N N   0 . 5 2   0 . 5 2   0 . 5 3   K N N   0 . 4 9   0 . 4 9   0 . 5 0   G r a d i e n t   B o o st i n g   0 . 8 5   0 . 9 0   0 . 8 0   G r a d i e n t   B o o st i n g   0 . 8 5   0 . 8 8   0 . 8 0   Lo g i s t i c   R e g r e ssi o n   0 . 8 1   0 . 8 1   0 . 8 1   Lo g i s t i c   R e g r e ssi o n   0 . 8 1   0 . 8 2   0 . 7 8   N a i v e   B a y e s   0 . 7 2   0 . 6 7   0 . 8 5   N a i v e   B a y e s   0 . 7 1   0 . 6 7   0 . 8 2   N e u r a l   N e t w o r k   0 . 8 2   0 . 8 4   0 . 8 0   N e u r a l   N e t w o r k   0 . 7 3   0 . 7 2   0 . 7 6   R a n d o m F o r e s t   0 . 8 4   0 . 8 7   0 . 8 1   R a n d o m F o r e s t   0 . 7 9   0 . 8 1   0 . 7 5   S V M   0 . 7 9   0 . 8 0   0 . 7 9   S V M   0 . 7 4   0 . 7 3   0 . 7 7   Tr e e   0 . 7 8   0 . 7 9   0 . 7 8   Tr e e   0 . 7 4   0 . 7 6   0 . 7 0       C o m p ar is o n :  B o th   B io B er t  an d   B io Alb er t  m o d els  ac h iev e  th eir   h ig h est  p er f o r m a n ce   with   th e  g r ad ien t   b o o s tin g   class if ier .   W ith   a  s lig h t  d if f er en ce   o f   0 . 0 2   in   p r ec is io n   f o r   B io B er t.  Ho wev e r ,   o th er   m o d els  s h o w   lar g er   d is cr ep a n cies,  with   d if f er en ce s   o f   ar o u n d   0 . 1 .   Dis cu s s io n :  W h ile  th e  r esu lts   in   th is   p h ase  ar e  s o m ewh at  ac ce p tab le,   th ey   a r e  n o t  o p tim al .   T h is   ca n   b e  attr ib u ted   to   th e  s m all  s ize   o f   th e  d ataset . W ith   o n ly   8 2   p atien ts   f o r   ea ch   class ,   wh ich   m ay   n o t b e  s u f f icien t   f o r   tr ain in g   m o d els to   ac h iev e  h ig h   ac cu r ac y .   Sectio n   d is cu s s io n :  C o m p ar in g   p r ec is io n   an d   r ec all  b etwe en   th e  im b ala n ce d   a n d   b alan ce d   class if icatio n s   r ev ea ls   a  s ig n if i ca n t  ad v an tag e  f o r   th e  b alan ce d   class if icatio n .   I n   m o s t  m o d els,  th e  d if f er en ce   is   s u b s tan tial,  ex ce p t  f o r   SVM  an d   n aiv e   B ay es,  wh er e  th e  u n b alan ce d   class if icatio n   o u tp e r f o r m s   in   p r ec is io n   an d   r ec all  r esp ec tiv ely .   T h is   d is cr ep an cy   is   p r im ar ily   d u e  to   th e  s u b s tan tial  cla s s   im b al an ce   in   th e  d ataset,   wh ich   im p ac ts   th e  ac cu r ac y   o f   th e  m o d els,  as d is cu s s ed   p r ev io u s ly .   b)   B y  v is its   Her e,   in   th is   ex p er im en t,  we  u t ilized   th e  s ec o n d   d er iv ed   d ataset  o r g an ized   b y   v is its .   C la s s if i ca tio n   was   co n d u cte d   s o lely   o n   b alan ce d   d ata,   in co r p o r atin g   f ea tu r es  e x tr ac ted   f r o m   B io B er t  an d   B io Alb er t.  T h e   n u m b er   o f   v is its   in   ea ch   f ile  is   d ep icte d   in   T ab le  7.     ‒   B io B er t:  I n   T ab le  8 ,   f o r   class   1 ,   g r ad ie n t  b o o s tin g   o u tp er f o r m s   all  o th er   m o d els  b y   ac h iev in g   m ax im u m   v alu es a cr o s s   all  m etr ics : 0 . 9 8   in   ac cu r ac y ,   p r ec is io n ,   an d   r e ca ll.  Similar ly ,   f o r   class   0 ,   g r ad ien t b o o s tin g   attain s   th e  b est r esu lts   with   m ax im u m   v al u es   ac r o s s   all  m etr ics:   0 . 9 8   f o r   all.   ‒   B io Alb er t:  Acc o r d in g   to   th e  r esu lts   in   T ab le  8 ,   f o r   class   1 ,   g r ad ien t  b o o s tin g   s u r p ass es  all  o th er   m o d els  b y   ac h iev in g   m a x im u m   v alu es   in   all  m etr ics :  0 . 9 9   in   ac cu r ac y   an d   p r ec is io n ,   an d   0 . 9 8   in   r e ca ll.  L ik ewise,   f o r   class   0 ,   g r ad ie n t  b o o s tin g   a ttain s   th e  h ig h est  v al u es:  0 . 9 9   i n   ac cu r ac y   an d   r ec all,   an d   0 . 9 8   in   p r ec is io n .         T ab le  7 .   S tatis tical  in f o r m atio n   ab o u t   b y   v is its   d ata   M o d e l s   V i si t s   B i o B e r t   2 3 0 0   B i o a l b e r t   2 2 9 8       T ab le  8 .   B y  v is its - b alan ce d - B i o B er t,   B io Alb er t r esu lts   p er   class 1   B i o B e r t   B i o A l b e r t   M o d e l   A c c u r a c y   P r e c i s i o n   R e c a l l   M o d e l   A c c u r a c y   P r e c i s i o n   R e c a l l   A d a B o o st   0 . 9 4   0 . 9 1   0 . 9 7   A d a B o o st   0 . 9 4   0 . 9 1   0 . 9 7   K N N   0 . 8 6   0 . 8 2   0 . 9 3   K N N   0 . 8 6   0 . 8 1   0 . 9 4   G r a d i e n t   b o o s t i n g   0 . 9 8   0 . 9 8   0 . 9 7   G r a d i e n t   b o o s t i n g   0 . 9 9   0 . 9 9   0 . 9 8   Lo g i s t i c   r e g r e ssi o n   0 . 9 2   0 . 9 1   0 . 9 4   Lo g i s t i c   r e g r e ssi o n   0 . 8 3   0 . 8 6   0 . 7 9   N a i v e   B a y e s   0 . 7 2   0 . 7 1   0 . 7 3   N a i v e   B a y e s   0 . 7 1   0 . 7 2   0 . 6 7   N e u r a l   n e t w o r k   0 . 9 5   0 . 9 5   0 . 9 6   N e u r a l   n e t w o r k   0 . 9 5   0 . 9 5   0 . 9 6   R a n d o m  f o r e s t   0 . 9 6   0 . 9 6   0 . 9 5   R a n d o m  f o r e s t   0 . 9 6   0 . 9 7   0 . 9 5   S V M   0 . 5 0   0 . 5 0   0 . 3 0   S V M   0 . 5 5   0 . 6 2   0 . 2 6   Tr e e   0 . 9 3   0 . 9 2   0 . 9 4   Tr e e   0 . 9 3   0 . 9 1   0 . 9 6   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8 9 3 8   I n t J Ar tif   I n tell ,  Vo l.   14 ,   No .   1 ,  Feb r u ar y   2 0 2 5 :  385 - 3 9 6   394   C o m p ar is o n :  I n   th is   ex p er im e n t,  two   m o d els  n a m ely   B io Al b er t  an d   B io B er t   wer e  test ed   t o   m ea s u r e   th eir   ac cu r ac y .   T h e  r esu lts   s h o w  th at  B io Alb er t  m o d el  s lig h tly   o u tp er f o r m s   B io B er t.  W ith   a  m ar g in al  d if f er en ce   o f   0 . 0 1   b etwe en   th eir   m a x im u m   ac cu r ac ies.   Sectio n   Dis cu s s io n :  T h e  ac h ie v ed   r esu lts   ar e  v er y   p r o m is in g .   W ith   g r ad ien t   b o o s tin g   atta in in g   h ig h   ac cu r ac y   s co r es  clo s e  to   1 .   T h is   s u cc ess   ca n   b e  attr ib u ted   to   th e  b alan ce d   n atu r e  o f   th e   d at aset  an d   th e  wea lth   o f   p atien t in f o r m atio n   av ailab l e.       4.   DIS CU SS I O N   W e  co n d u cted   ex p e r im en ts   o n   d atasets   o r g an ized   b o th   "b y   P atien ts "  an d   "b y   Vis its , "  with   v ar iatio n s   in   class   b alan ce .   W h ile  th e  r es u lts   f o r   u n b alan ce d   d ata  wer e  p o o r   d u e  to   th e  s ca r city   o f   clas s   1   in s tan ce s ,   th o s e   f o r   b alan ce d   d ata  wer e   ac ce p t ab le  b u t  n o t  o p tim al.   T h e  lim ited   d ataset  s ize,   with   o n ly   8 2   p atien ts   p er   class ,   m ay   h av e  h i n d er e d   th e  m o d el s '  ab ilit y   to   ac h iev e  h ig h er   ac cu r ac y .   Su b s eq u en tly ,   f o cu s in g   o n   th e  d etails  o f   ea ch   p atien t  v is it  in   th e  "b y   Vis its "  ap p r o ac h   y ield ed   n o ta b ly   h ig h   an d   n ea r ly   p er f ec t  r esu lts ,   s u r p ass in g   th e  "b y   Patien ts "  ap p r o ac h .   T h is   em p h asizes th e  ef f icac y   o f   co n s id er in g   v is it - lev el  d etails f o r   p r ed i ctiv e  p u r p o s es.   R eg ar d in g   th e   B io B er t  an d   B io Alb er t  m o d els,  b o th   e x h ib ited   co m p ar ab le  p er f o r m an ce ,   with   B io Alb er t  s lig h tly   ed g i n g   a h e ad   in   th e  " b y   Vis its "  ap p r o ac h .   Ho wev er ,   in   p r e v io u s   e x p er i m en ts ,   B io B er t  h ad   a  s lig h t  ad v an tag e  in   s ev er al  in s tan ce s .   Ov er all,   th e  p er f o r m an ce   o f   th e  two   m o d els  was  ap p r o x im ately   eq u al .   Sev er al  class if ier s   wer e  em p l o y ed   in   t h e  class if icatio n   p h a s e,   with   g r a d ien t  b o o s tin g   co n s is ten tly   ac h iev in g   h ig h   s co r es  ac r o s s   m o s t  ex p er i m en ts .   T h is   s u g g ests   th at  g r ad i en t  b o o s tin g   is   th e  m o s t  ef f icie n t  cla s s if ier   am o n g   th o s e  u tili ze d   wh en   X  ax is   r ep r esen ts   n o .   o f   p atien ts   an d   Y  a x is   r ep r esen ts   n o .   o f   r esu lts   as sh o wn   in   F ig u r e   4 .             Fig u r e  4 .   Fin al  r esu lts       5.   CO NCLU SI O N  AND  F U T U RE   WO RK S   Ou r   r es ea r c h   f o c u s e d   o n   d is ea s e  p r ed ict io n   wit h i n   t h e   d o m ai n   o f   a d d i cti o n .   W e  co lle ct ed   r ea l  d at a  f r o m   a  h o s p it al  in   I r aq - B a g h d a d ,   co m p r is in g   p r o f iles   o f   p a tie n ts   wit h   v a r i o u s   a il m e n ts .   H o we v er ,   o u r   s t u d y   s p e ci f ic all y   t ar g ete d   p a tie n ts   wit h   a d d ic ti o n   is s u e s .   T h e   o b ject iv e  w as  t o   p r e d ic t  i n s ta n c es  o f   r e la p s e  u s i n g   v a r i o u s   NL P   m o d els   f o r   te x t   an al y s is   a n d   a   r a n g e   o f   cl ass i f ier s   f o r   p r e d i cti o n .   W e   d iv id e d   t h e   d a ta   i n t o   t wo   s am p les :  "b y   Pat ie n ts "  a n d   " b y   Vis its . "   T h e   " b y   Pat ie n ts "   v er s i o n   lac k ed   d et ails   r e g a r d i n g   in d i v i d u a l  p at ie n t  v is i ts ,   u n li k e   t h e   l att e r .   W e   e x p l o r e d   b o t h   b al an ce d   a n d   u n b a lan ce d   d at asets   i n   t h e  "b y   P ati en ts "   v er s io n ,   w h il e   ex cl u s i v el y   f o cu s in g   o n   b al a n c ed   d at a  f o r   th e  " b y   V is its "   d a tas et.   P r e p r o ce s s i n g   s ta g es   w e r e   e m p lo y ed   t o   p r ep ar e   th e   d ata s ets   f o r   te x t   c lass i f i ca t io n .   W e   d is c u s s e d   d i f f er e n t   WE   te ch n i q u es   a n d   u l ti m at el y   s e lect e d   B io B er t   a n d   B io Al b er t   f o r   f ea tu r e   e x t r ac ti o n .   S u b s e q u e n tl y ,   c lass i f i er   m o d els   w er e  tr ai n e d   u s in g   c r o s s - v al id ati o n   te ch n i q u e   (5 - f o ld s )   f o r   t h e  p r e d i cti o n   p r o c ess .   I n   th e   " b y   Pat ie n ts "   d at aset ,   u n b a la n c ed   d a ta   y ie l d e d   u n f av o r a b l e   r esu lts ,   wh e r e as   t h e   b a la n c ed   d a tase t   p er f o r m e d   s i g n if ic an tl y   b ett er .   Ho w ev er ,   w h e n   c o m p a r e d   t o   t h e  "b y   V is its "   d atas et,   th e   l att er   e x h i b it ed   s u p er io r   p e r f o r m a n ce .   B o t h   B io B er t   a n d   B io Al b er t   m o d e ls   ac h ie v ed   s i m il ar   r esu lts .   A m o n g   th e   cl ass i f ie r s   test ed ,   g r a d i en t  b o o s ti n g   e m e r g e d   as   t h e  m o s t  ef f ic ie n t  m o d el .   Ul ti m at el y ,   o u r   p r o p o s e d   p r e d ic ti o n   m o d el   ca n   a id   m e d i ca l   p r o f ess io n als   i n   a n t ici p ati n g   th e  li k el i h o o d   o f   a n   a d d ic t  r ela p s i n g .   T h is   a p p r o ac h   o f f e r s   th e   p o te n t ial   t o   i n te r v e n e   a n d   s u p p o r t   i n d iv id u als  s tr u g g li n g   w ith   a d d i cti o n ,   t h u s   m it ig ati n g   t h e  r is k   o f   d ev el o p i n g   f u r t h er   ill n ess es .   N u m e r o u s   p o te n t ial   a v e n u es   f o r   f u t u r e  r es ea r c h   w er e  id en ti f ie d ,   i n c l u d i n g   e x p e r i m e n ts   wit h   d i f f er e n t   N L P   m o d els ,   c o n s i d er i n g   p ati e n t   v is its   as   s e q u e n t ial   d at a,   r e f i n i n g   t h e   p r o d u c e d   e m b e d d in g s ,   a n d   in c o r p o r a ti n g   a d d it io n al  f e at u r es.  Ou r   t h esis   la y s   t h e   g r o u n d wo r k   f o r   f u r t h e r   ex p l o r at io n   i n   th is   ar ea ,   p r o v i d i n g   v al u ab le   t o o ls   f o r   a n a ly zi n g   d i v e r s e   d is e ases   u s in g   r ea l - w o r l d   d atas ets.   Evaluation Warning : The document was created with Spire.PDF for Python.