Int ern at i onal  Journ al of Ele ctrical  an d  Co mput er  En gin eeri ng   (IJ E C E)   Vo l.   15 ,  No.   1 ,  Febr uary   20 25 , pp.  10 27 ~ 1037   IS S N:  20 88 - 8708 , DO I: 10 .11 591/ij ece.v 15 i 1 . pp 1027 - 10 37           1027       Journ al h om e page :  http: // ij ece.i aesc or e.c om   Integr ation o f we b scrapi ng, fin e - t un i ng, a nd data enri ch m ent  in a cont inuous m on it ori ng cont ext via  lar ge lan guage mo del  operatio ns       Anas B odor 1 , Meri em   Hnid a 1,2 , Na jima  Daoudi 1,3   1 IT QAN  T ea m ,  Ly Rica   Lab,  I n for m at io n  Sciences Sch o o l,  Rab at,  Moro cc o   2 RIME   Tea m ,  Mo h am m ad ia  Scho o l of E n g in eers, Mo h am m ed  V  Un iv ersi ty ,  Rab at,  Moro cc o   3 SSLab, E NSIA S,  Moh am m ed  V  Un iv ersity ,  Rab at,  Moro cco       Art ic le  In f o     ABSTR A CT   Art ic le  history:   Re cei ved   M a y 23,  2024   Re vised  Sep 1 6,   2024   Accepte d  Oct  1,   2024       Thi s  pape r   pre s ent s  and  discus ses  a  fra m ework  tha t  le v era ges   la rge - sc ale   la nguag e  mod els   (LL Ms )  for  dat a  enr i chm en t  and  continuous   moni tori ng   em phasi zi ng  i ts  essenti a l  rol e  i n  opti m iz ing  th e  per for ma nc e  of  depl oyed   mode ls.   It  int ro duce s  a   com pr e hensive   la r ge  la ngua ge  m odel   op e rati ons   ( LL MO ps )   met hodology  bas ed   on  cont inuous   moni tori ng   a nd   continuous   im prove m ent  of   the  da ta,  t he   pri ma ry  d eterm in a nt  of   the  mod el ,   in  o rde r   to   opti mize   th e   pr edi c ti on   of   a   g ive n   phenomen on.   To   thi s   en d,   f irst   we  exa m ine   th e  use   of  real - time  we b   scra ping  usin g  tool s  such  as  Kafka   and   Spark  Strea m ing   for  dat a  ac qu isit ion  and  proc essing.   In  addition ,   we  expl o re   the   integra ti on  o f  LL MO ps  for  com ple t e  l ife cy cle  ma n age m ent   o f  ma ch ine   le arn ing  mode ls .   Focusing   on  co nti nuous  mon it o ring  and  im prov em en t,  we   highl ight  th e  importance  of   th is  appr oac h   for   ens uring  opt im a l   pe rform ance   of  depl oyed   m odel s  base d  on   dat a   and   ma c hine   l ea rn ing   ( ML )   mode l   moni tori ng .   W e  al so  illus tra t e  th i s  me thodol ogy  t hrough  a  c ase   st udy  base d  on  re al  da ta  fro m  sev era l   r eal  esta t e  li sting   sit es,   dem onstra ti ng   h ow  MLflow   ca n   be   in te gr a te d   int o   an  L LMOps   pipe l in e  to   guar an tee   co mpl e te   deve lop me n t  trace ab il i ty,   pro ac t ive   de te c ti on  of   per forma n ce   d egr adation s   and  eff ective m o del   li fe cycle   manage m ent .   Ke yw or d s :   Con ti nu ou s  m onit or i ng   Data  en rich me nt   Fine - t un i ng   LLM O ps   M L Op s   Web  scra ping   This   is an  open   acc ess arti cl e   un der  the  CC  BY - SA   l ic ense .     Corres pond in g  Aut h or :   An as  Bo dor   ITQA N  Tea m, LyRi ca La b,   I nfo rmati on Scie nces  Scho ol   Ra bat,  M or occ o   Emai l:   anas. bo dor@ e si.ac.ma       1.   INTROD U CTION   M ac hin e  le ar ni ng   op e rati ons   ( M L O ps ) ,  st ands  f or   a  m et hodo l ogy  for  ef fici ently  mana ging  the  dev el opment ,  dep l oyment   an d  mana geme nt   proce sses  of  machine   le ar ni ng  ( M L )  mode ls,  an d  la rg e   la ngua ge  model  op e rati on s   ( LL M O ps )   [1] ,  w hich   e xten ds   t hese  pri nciple s   sp eci fical ly  to   la ng uag e   m odel s  s uch  as   gen e rati ve  pr e - trai ne d  tra ns f ormer  ( GPT ) ,   ta kin g  i nto   a ccount  their  uniq ue  re qu i re ments  [ 2] ,  co mb ini ng   con ti nu ous  m onit or i ng   [ 3] ,   model  ex plica bili ty  an d  s ys t emat ic   mana ge ment  of   t he  M L  model  li f ecycle ,  pro vid e   a   co m pr e he ns ive   s olu ti on  for   opti mizi ng  the   performa nce   of   de ploye d  model s.  This   a ppro a ch   reli e s   on   t he  use   of  a dv a nce d  te ch nolo gies  su c h  as   real - ti me  we b   scrap i ng,  Ka f ka   and   Sp a r k  St reamin g  f or  ef f ic ie nt   data  acq uisit ion   an d  processi ng.   T he  chall e ng e  of  co ntin uous  m on it ori ng  li es  in  en suring  t he  reli abili ty  an d  performa nce   of  M L   m od el s   i n  pro du ct i on.  This  e ntail s  c onsta nt   m on it ori ng  of  the   res ul ts  ge ner at e d  by  t hese   models,  as   w el l  as  the  pr oa ct ive  detect io n  of   pe rforma nce  dr ifts  or  undesira ble  be hav i or s .   By   pl aci ng   con ti nu ous  monit or i ng  a nd  model  e xp li ca bili ty  at   the   he art  of   our   me thodo l ogy,  we   ai m  t o  guara ntee  the   Evaluation Warning : The document was created with Spire.PDF for Python.
                          IS S N :   2088 - 8708   In t J  Elec   &  C omp E ng,  V ol.  15 , No .  1 ,  Febr uary   20 25 :   1027 - 1037   1028   reli abili ty  of   pr edict ion s ,  w hile  meet in g  t he   needs  of  oth e r  app li cat io n  do mains.   T his  a ppr oac h  t hu s   prov i des  a  s olid  f ounda ti on  f or  in f ormed   decisi on - making,   es sent ia l  in  a   c onte xt   w her e   data  pl ays  a n  inc rea sing l y  cru ci al  role i n st rategic c ho ic es.   This  pap e r  i ntr oduces   an   in novative  fr a mew ork  t hat  co mb i nes  M L O ps   a nd  LL MO ps   to   imp rove  M L   models  th r ough  data  e nr ic hme nt  a nd  co ntin uous  m on it ori ng.  For  i ns ta nce ,  the   f rame wor k  us es   la rge  la ngua ge   models   ( LL Ms)  f or   data  e nri chme nt  of   re al - ti me  data  a cqu isi ti on  a nd  processi ng  to   facil it at e  pr e dicti ve  accurac y  a nd  e ff ic ie nc y.  We   furthe r  validat e  the  fr a mew ork's   ef fecti ve ne ss  th rou gh  a  case  stu dy  in   t he  real  est at e  sect or,  sh owcasi ng  it s  capaci ty   to   r efine  model  predic ti ons  ac r os s  va rio us   fi el ds .  More ove r,   our   fr ame w ork  e nsures   the  pe rformance   of  dep l oy e d  models  vi a  rig orous  m onit or i ng  an d  li f ecycle   ma na ge ment,   set ti ng   a  ne w   sta nd a rd   for  inf or me d  decisi on - ma king  a nd   si gn i ficantl y  ad va ncin g  the  mac hin e  le arn i ng  op e rati on s  domain.   The  remain de r   of  this  arti cl e  is  orga nized  as   s ect ion   2  rev i ews  r el at ed  w orks ,  sit uatin g  our  a ppr oac h  within   the  ex ist ing   la ndsca pe  of  M L Op s ,  LL MOp s,  a nd  c on ti nu ou s   m on it ori ng  pr act ic es.   Sect ion  3   introd uces  our  theo reti cal   fr a mew ork,   detai li ng   t he  un derpi nn i ngs  of  LL M   f or  da ta   en richme nt ,  LL MOps   f or   mana ging  t he  li fecy cl e  of  la r ge  la ng ua ge  m od el s ,  a nd  the   crit ic al   ro le   of  c on ti nu ou s   monit or i ng  in  model   op ti miza ti on.  S ect ion   4  desc ri bes  t he  pro pos ed  fr a mew ork   for  dyna mic  op ti miza ti on   of  M L   m od el s,   outl ining   our  m ulti - ste p  meth odolog y  that  inclu des   data  ac qu isi ti on ,   prep r oces sing,  ex plorat ion,  m odel   bui lding,   evaluati on,   an d  dep l oyme nt  with  c on ti nuou s  m on it ori ng.   Sect ion   5  pres ents  a  ca se  stu dy  to  de monst rate  the  pr act ic al   a ppli cat ion  an d  ef f ect iveness   of  our   f rame wor k  in   im pro ving  real  est at e   pri ce   pr e dicti on  m od el s .   Finall y,   s ect io n  6  co nclu des  the  arti cl e  by  s um ma rizi ng  our  fin dings  a nd  disc us si ng   t he   impli cat ion s  of   ou r   researc h for t he  f ie ld  of mac hi ne  le ar ning  operati on s  in  c on ti nu ousl y  c hangin g data en vir onments .       2.   RELATE D  W ORKS   In  the   c on te xt   of  arti fici al   int el li gen ce  (AI),   co ntin uous  m od el   m on it ori ng  play s  a   vital   r ole.  This   process   in volv es  c on sta nt  obser vatio n  of  the  perf or ma nc e  of   de ploye d  models   to   qu ic kly  ide ntif y  a ny   deterio rati on  i n  t he  acc ur ac y  or  reli abili ty  of  pre dicti on s   [4] .   H oweve r,  the  su cce ss  of  this   m onit or i ng  is  cl os el y  dep e nd ent  on  the  qua li ty  of   th e  un de rlying  data,  wh ic h  un der li ne s  the  im port ance  of   data  qual it y .   P oor - qual it y  da ta   can  c omp r om ise   t he  e ff i ci ency  an d  val idit y  of   model   res ults  [ 5] .  F ur t her m ore,  MLO ps   pr act ic es  [ 6] ,  a imed  at   opti mizi ng   the  de ployme nt  an d  ma nag e ment  of   machine  le a rn i ng   models,  as  well   as   LLM O ps   pract ic es  [ 7]   a pp li e d  t o  LL M  m odel s  [ 8] ,  [ 9]   dea li ng  with   natu r al   la ngua ge   pr ocessin g  ( NLP )  [10 ] ,  [11] ,  are  al s o  c ru ci al   in  this  c on te xt  to  bri ng   dev el opment  and   pro duct ion  env i ronme nts  even   cl os er  t oget her .   In te gr at in g  the se  aspects  hel ps   mai ntain  model  qual it y  an d  performa nce  [ 12] ,  wh i ch  is  esse ntial   in  a n  env i ronme nt  wh e re  da ta   an d  co ndit ion s  can  cha nge  ra pid ly  [ 13] .  T hus,  unde rstan di ng   the  relat io ns hi p  betwee n  c on ti nuous  m onit ori ng ,   data  qual it y,   M L Op s   an d  LL MOp s  pr act ic es  is  essenti al   to  ens ure   reli able   pr e dicti on s  a nd informed  d eci sion - ma king in  d ive rse  a ppli cat ion   domains .   Seve ral  stud ie s   hav e  highli ghte d  the  c urren t  ecos ys te m  of  too ls  that  s uppo rt  the  M L  pip e li ne.   These   too ls  play   an   e ssentia l  r ole  in   the  e ff ect ive   impleme ntati on  of  c on ti nu ous   monit ori ng,  da ta   qual it y,   MLO ps  pr act ic es  a nd  LLM O ps .  T hei r  av ai la bili ty  and  us e   ena ble  te ams  to  de velop  an d  de ploy  arti fici al   intel lig ence   models  faster   and   more  re li ably.   F or   e xa mp le ,  in  t he   fiel d  of  co nt inuous  m on it ori ng,  to ols  s uc h  as   Pr ome the us   [ 14] ,  G raf a na   [ 14]   a nd   te nsor   bo a rd   [ 15]   pro vid e  a dvanc ed  feat ur es  for  monit ori ng  model   performa nce   in  real  ti me.   T hese  t oo ls   e na ble  te ams   to   c losely  m on it or   ke y  metri cs   [ 16]   su c h  as  preci sion ,   rec al l an d  F - s c or e , a nd quickl y detec t an y de viati on   fro m  predefi ned thre sholds .   Wh e n  it   c om e s  to  data  qual it y,   to ols  s uc h  as  g reat   e xpect at ion s   [17] ,  d a ta   r obot   [ 18] ,   and  Trif act a   [19]   offer   feat ur es  t o  eval uate,  cl ean  an d  va li date  data  be fore  it   is  us ed  in  M L  m odel s.   These  to ols  id entify   ou tl ie rs,   dupli cat es,  missi ng   values  a nd  inco ns ist encies   in  dataset s,  helping  to  im pro ve  the  qu a li ty  an d  reli abili ty  of  model  pr e dicti on s .   I n  t he  a re a  of  M L O ps   a nd  LL MOp s  pract ic es,  platfo rms  su c h  as   K ub e flo w   [20] ,  ML   flo w   [ 21]   a nd  S el don   c or e   [22 ]   pro vid e   functi onal it y  t o  aut oma te   a nd  or c he strat e  the   de pl oy me nt,  mana geme nt a nd m on it ori ng  of   M L  m od el s .  Th ese  platf orms en a ble tea ms to  c ollab orat e eff ic ie ntly , t rack  t he  evo l ution  of  models  a nd  guara ntee  th ei r   co ns ist enc y  and  re li abili ty   in  pro duct io n  e nviro nm e nt s.   By  unde rstan ding   the  la nd sca pe   of  a vaila ble  t ools,   te ams   can   c hoos e   the   s ol ution s   that   be st  meet   their   s pecific  needs,  a nd  im pl ement  rob us t  processes   to   guara ntee  t he  qual it y  a nd  reli abili ty  of  arti fic ia l  intel li gen ce   m od el   pr e dicti on s .       3.   THE ORETI C AL F RAME WORK   Be fore  ex ploring   t he  detai ls  of   the  fr a mew ork  that  integ r at es  LLM  a nd   M L  m odel s  wi th  real - ti m e   data  processi ng,   as  outl ined   in  sect io n  4,  it   is  im portant   to  first  e sta blish  it s  releva nce   withi n  t he  broad e r   con te xt o f  o ur  r esearc h.  T his f rame w ork   is n ot o nl y  a  te c hnic al   co ntributi on but  al s o  a ddr esses  c riti cal   ga ps  in   Evaluation Warning : The document was created with Spire.PDF for Python.
In t J  Elec  &  C omp E ng     IS S N:   20 88 - 8708         I ntegr atio n of  we b  scr apin g,  f ine - tu ning,  an d d ata  e nr ic hm e nt in a c onti nu ou s   m onit or in g   …   ( An as   Bo dor )   1029   current  meth odol og ie s  by  offe rin g  a  nove l  appro ac h  t o  ha nd li ng  dyna mic  data.  T o  fu ll y  ap preci at e  the  sign ific a nce  of  this  i nteg rati on ,   ke y  c onc epts  relat e d  t o  bo t h  m achi ne  le ar ning  a nd  nat ur al   la ngua ge   processi ng,  as   well   as  their   ro le s  in  mod ern   data - dr i ve n  en vir onme nts,  nee d  to  be   unde rstood.  These  fou nd at io nal id eas will  h el p high li ght t he  im porta nce  of   our   con t rib ution t o ad van ci ng r es earch  i n  t his f i el d.     3.1.    LL M  f or  data enri chmen t   The  L LM   ap proac h  is  im po rtant  f or  e xtra ct ing   in f or mat ion   from   te xtua l  descr i ptions   due  to   it s  con te xtu al   un der sta nd i ng   ca pab il it ie s.  LL M s   [ 23]   li ke  GP T,  bid i recti on al   e ncode r  represe nta ti on s   fro m   trans forme rs   ( BER T )   a nd  Ba rd   [ 24] ,  [ 25]   a re  tr ai ne d  on  e xtensi ve  te xt  da ta set s,  e nab li ng  th em   to   gra sp  the  con te xt  of  a  giv e n  te xtu al   descr i ption.  T his  c on te xtu al   co mprehe ns i on  al lo ws   them   to  ca pture   impli ci t  meanin gs,  w hi ch  is  c ru ci al   f or  preci se  in f ormat ion   e xtracti on.  LL M s   can  eff ic ie ntly  pro cess  la rge  volu mes  o f   te xt  acro s s  a  w ide  ra ng e  of   do mains  a nd   s ubje ct s.  The y  can  be  re fine d  o r  c us to mize d  f or  sp eci fic  in form at ion  extracti on  ta s ks.  B y  pro vid in g  a ddit ion al   t r ai nin g  data  or  sp eci fic  i ns tr uc ti on s,   us ers   c an  a da pt  the   m od el   to   extract  desire d  in formati on   more  acc urat el y  f or  pa rtic ula r  a ppli cat ion s   or  domains.   T hese   qual it ie s  make  LL M s   val ua ble  too ls   f or  a  wide  ra ng e   of  app li cat io ns ,  from  nat ur al   la ngua ge  unde rst and i ng  to   kn owle dge   mana geme nt.   LLMs are  u se d i n vari ou s  lan gu a ge - relat ed  a pp li cat io ns   [26 ] :   a.   A ut om a t i c   t r a ns l a t i on   [ 27 ] :   L L Ms   c a n  t r a ns l a t e   t e xt s   f rom   o ne   l a ng u a ge   t o  a no t he r   w i t h  i m pr e s s i ve   a c c ur a c y.   b.   T e xt   g e ne r a t i on   [ 2 8] :   L L Ms   c a n  ge ne r a t e   bl og   a r t i c l e s ,   s um m a r i e s ,   or   pr od uc t   de s c r i pt io ns   ba s e d  on   a   s e t   of   ke yw or ds   o r   i np ut   t e xt .   c.   Q ue s t i on   a ns w e r i ng   [ 2 9] :   L L Ms   c a n  pr ov i de   a c c u r a t e   a ns w e r s   t o  c om pl e x  qu e s t i on s   ba s e d  on   t he   i nf or m a t i on   a v a i l a bl e  i n  t he   i np ut   t e xt s .   d.   I nt e l l i ge nt   pe r s on a l   a s s i s t a nt   [30 ] :   L L Ms   c a n  f u nc t i on   a s   c on ve r s a t i on a l   a ge nt s   t o  a s s i s t   us e r s   i n  va r i o u s   t a s ks   s uc h  a s   n ot e - t a ki ng ,   i nf o r m a t i on   r e t r i e v a l ,   or   e ve nt   pl a nn i n g.   Data  en rich me nt  is  a  cr ucial   process  t hat  e nh a nces  t he  va lue  of  data  by  re fini ng   a nd   au gm e nting   them  with  a ddit ion al   at trib ute s.  By   e nr ic hi ng  data,  we  gai n  dee per  insig hts  int o  our  da ta set .  Data  e nr i chme nt   involves  se ve r al   commo n  ta sk s ,  i nclu ding  add i ng   data,  s egme ntati on,  de riving  at trib ut es,  data  im pu t at ion ,   entit y  e xtracti on,  a nd  data  c at egorizat ion .   In  this  c onte xt ,   N LP   [ 31]   a nd  ma chi ne  le a rn i ng  te ch niqu es  are  of te n  em ploye d,   par ti c ularly   with  models   su c h  as   la ng uag e   m od el   f or   data  e nr ic hme nt  (LL M ) ,  wh ic h  automate  and e nh a nce t hese  proces ses.     3.2 .     LL MOp s  for  au t om at i ng LL Ms  li fecyc le   LLM O ps   is  a n  emer ging  met hodolo gy  that  ai ms  to  strea m li ne  an d  a uto m at e  the  li fecy cl e  of  LL M s   in  pro du ct io n,  as  this   ty pe  of   ML  model  ca n  ge ner at e   res ults  in   human   la nguag e .  It  is   a  s pecial iz at ion  of  M L Op s   a da pted   to   the   s pe ci fic  ch al le nges  of  LL M s .   LL MOps  focuses   s pecific al ly  on  the   li fecy cl e   mana geme nt of lar ge  la ng uage model s, suc h as t hose  us e d   i n  a uto mati c  N LP.   It inclu des speci al iz ed  to ol s an d   pr act ic es tai lor ed  to the u niqu e chall eng e s pose d  by LL M s,  includ i ng  t he mana geme nt of m assiv e m odel s,  the   gen e rati on  of  qu al it y  te xt,  a nd  the   detect io n  of  biases  a nd  error s .   S pecifi c  aspects  of  L LMOps   m a y  i nclu de  li ng uisti c  data  mana geme nt,  l angua ge  mode l  op ti miza ti on,   co ntr olled  te xt   ge ner at io n  a nd  li nguisti c  qual it y  assessme nt.   An   im porta nt  par t  of   our  met hodolo gy   is  t o  integrate  LL MOps  f or   e ff ic ie nt  man age men t  of   the  M L   model  li fecy cl e.  We   detai l  th e  dif fer e nt  ph a ses  of  th e  m od el   li fecy cl e,  from  e xperime nt at ion   to   pr oduc ti on ,   includi ng  c onti nuous   m on it or ing  an d  ver si on  man age ment .  We   hi gh li ght   the   key  feature s  of  LL MOp s   that  facil it at e task au tomati on  an d t he  imple ment at ion   of m od el   dev el opment  best  p r act ic es.     3.3 .     Continu ous  m on it orin g   f or opt im iz at i on   of  ML m od el s   Con ti nu ou s  m on it ori ng  [ 32]   of   M L  m odel s  ai ms  to  m on it or  in  real - ti me  the  pe rfo rma nc e,  be hav i or,  and  data  qual it y  of  de ployed   models.   This   i nvolv e s  s ys te mati cal ly  colle ct ing   releva nt  metri cs  a nd  m on it ori ng  input  data  to   detect   cha ng e s ,  data  qu al it y  degra dation,  or  co nce ptu al   dri fts.   T his  a ppro ac h  ai ms  t o  ens ur e   con ti nu ous  qua li ty  an d  reli abi li ty  of  M L   m odel s  by  e na blin g  real - ti me   adj us tme nts  a nd  i mpro veme nts,   wh ic h  helps  maintai n  their ef fecti ve ne ss and  releva nc e in  op e rati on al  en vi ronme nt s.   Emphasiz in g  it s  essenti al   r ole  in  opti mizi ng  the  pe rforman ce  of  de ploye d  models.  We  di scuss  key   performa nce  metri cs  to  m onit or,  an om al y  analysis  te ch niques  an d  c onti nuous  im prov e ment  strat e gies  to  ens ur e  acc urat e  an d  reli able  pr e dicti on s .   T hanks  t o  real - ti me  loggin g  c apab il it ie s,  pe r forma nce  met r ic s  and   model  ch aract erist ic s  can  be   co ntinuo us ly   monit or e d.  T hi s  ena bles  pr oa ct ive  pro blem   detect io n  a nd  ra pid   feedbac k  to   de velo pm e nt  a nd  operati ons   te ams.  M et rics   s uch  as  mean   s qu a re  e rro r  ( M SE ),  coe ff ic i ent  of   determi nation  (R²)   an d  mea n  ab so l ute  e rror  ( MAE)   c a n  be   m on it or e d  a nd  a nalyze d  in   real   ti me  t o  a sses s   model pe rfo rm ance.       Evaluation Warning : The document was created with Spire.PDF for Python.
                          IS S N :   2088 - 8708   In t J  Elec   &  C omp E ng,  V ol.  15 , No .  1 ,  Febr uary   20 25 :   1027 - 1037   1030   a.   Data  m on it or in g   −   Data  sta ti sti cs  tracki ng :  m onit or  desc ripti ve  sta ti sti cs  of   the  data,  s uc h  as   mea n,   m edian,  sta nda r d  dev ia ti on t o de te ct  sign ific a nt ch a ng e s in  the  d at a  distrib ution.   −   Anomal y  d et ec ti on :  i de ntify o utli er poin ts  in t he  data t hat c ould im pact  model pe rfo rma nc e.   −   Data  q ualit y  m onit or i ng :  m on it or  t he  pr e s ence  of  missi ng  values ,  i nconsiste ncies,   an d  oth e r  qual it y  issues i n  the  d a ta .   b.   M odel   m onit ori ng   −   M odel   pe rform ance   trac king :  m onit or   me an  s quare d  er r or   ( M S E),  c oe ff ic ie nt  of  dete rmin at io n  (R²) ,   and o t her eval uation met rics   on the test  set   and pr oductio n data.   −   Pr e dicti on   m onit or i ng :  m on i tor  t he  model   predict io ns   a nd  ide ntify  ca ses  w he re  pr e dicti on s   are   aberrant  or  ina ccur at e.   −   M odel   sta bili ty  trac king:  m on it or  the  e vo luti on   of   mod el   coef fici e nts  and   i de ntify   sign s  of  m od e l   degra dation.     3.4.    Enablin g  A I  e xpl aina bil ity   i n a r tifici al in t el li gence   Ex plainable  ar ti fici al   intelli gen ce  ( XAI)   [ 33] ,  [34]   i nv e sti gates  the  exp la ina bili ty  of  mac hine   le arn in g  mode ls  br i dgin g  th e  ga p  betwee n  c omplex   m od el   co mputat ion s   an d  hum an  i nterpreta bi li ty .   Emb e ddin g  a n  exp la ina bili ty  com pone nt  int o  the  la rg e - sca le   mu lt i   obje ct ive  op ti miza ti on  prob le m s   ( L M O P s )   workflo w  br in gs   s ub sta ntial   ben e fits  that   enh a nce  the  f unct ion al it y  an d  unde rstan ding  of   m achi ne  le arn i ng   models.  T his  a dd it io n  e nab le s  a  dee per  gras p  of   t he  lo gic  beh i nd  each   pr edict ion ,   facil it at ing   m ore  nu anced  and  in f ormed   decisi on - ma ki ng  processes .   It  helps   in   un c ov e rin g  an d  a ddressi ng  po te n ti al   inacc ur ac ie s  an d  biases  within  t he  m odel 's  out pu ts ,  th us   e nh a ncin g  the   cre dib il it y  an d  dep e nd a bili ty  of  th e  res ults.  Mo re ov e r,   the  pro visio n  of  cl ear  ex plana ti on s  al lo ws  f or  a  bette r  a ppr eci at ion   of  the   model' s  inter na l  dynamics  a nd  the   pivotal   facto r s   dr i ving  it s  pr edict ion s .  S uc h  tra nspare nc y  an d  insi gh t  si gn i ficantl y  bo os t  use r  tr us t  in  the  model' s  ou t pu t s and  fo ste r gr e at er accepta nce  and a pp li cat io n of t he mo del  acro s s  var io us  domains .   In te gr at in g  t he   ex plaina bili ty  m odule  i nto  the  M L O ps   pipe li ne  al lows  for  a utomat ic   ge ner at io n  o f   exp la natio ns   f or   eac h  new   predict io n.   E xpla nations  are  st or e d  with  pre di ct ion s  an d  othe r  metri cs,  e na bling   furthe r  a nalysi s.  T he  c hoic e  of  ex planati on   meth od  a nd  visu al iz at ion  de pends   on  sp e ci fic  nee ds   a nd  us er   pr e fer e nce s.  It   is  cru ci al   to  e ns ure  that  e xp l anati ons  are  cl ear,  c on ci se,  a nd   eas y  to  unde rstan d.   T he  use   of  interact ive  visua li zat ion  to ols  can als o  ma ke e xp la natio ns  m or e  enga ging a nd easie r  t o  e xplo re.   M L   m od el   ex planati ons   can   be   cat eg or iz e d  i nto  tw o  m ai n  ty pes :  l oc al   ex planati on s  an d  gl ob a l   exp la natio ns   [35] ,  [ 36] .    a.   Local  ex planat ion s  pro vid e  de ta il s  abo ut  a n  ind ivi du al   pr e dicti on .  Tw o  c om m only  us e d  te chn iq ues  for  pro vid in g  loca l  exp la na ti on s  a re  S hap le y  a dd it ive  e xpla na ti on s  ( SHAP )   and   l ocal  inte rpretable   m od el - agnostic  e xp la nations  ( LI M E )   [ 37] .   b.   SHAP :  S H AP   cal culat es  the  i mporta nce  of  e ach  feature   (a r ea   an d   lo cat ion)  f or  a  giv e n  pr ic e  pr e dicti on.  It  then vis ualiz es the im pact  of   each  featu re  on the  pr e dicte d pr ic e  us in g SH AP   bar c har ts.   c.   LI M E:  LI M E   gen e ra te s  loc al   ex planati ons  ba sed  on  sim ple  li near   models  for  eac h  pr e dic ti on .  It  ide ntifi es  the m os t i m por ta nt f eat ures  f or a  giv e n pr e di ct ion  a nd expla ins their  contri bu ti on.   d.   An c hor  e xpla na ti on : I de ntifie s the  data exa mp le s cl os est  t o  a  giv e n pr e di ct ion  a nd e xpla ins wh y  the y w ere   pr e dicte d  i n  th e same  wa y.   e.   Global   ex plana ti on s  ai m   to  e xpla in  the   ge ne r al   functi onin g  of   t he  m odel   a nd  the  facto rs  mo st  im portant   to   it s  pr e dicti ons .  T wo  te ch ni qu e s  c ommo nl y  us ed   to   pro vid e   gl obal   ex planati ons   are   pe rm utati on  importa n ce  and  par ti al  d e pe ndence  p l ots.   f.   Perm utati on   i mporta nce:   Pe rm utati on   im porta nce  meas ures  the  im porta nce  of   eac h  fe at ur e  by  pe rtu r bing  it s  orde r  a nd  obser ving   the   impact   on  mod el   pe rformanc e.  T his  helps   i den ti f y  w hich   featur e s  ha ve  t he   gr eat est  im pact  on ov e rall  m odel  p e rfo rma nc e.   g.   Partia l  dep e nd ence  pl ots:  Par ti al   dep en de nc e  plo ts  al lo w  you  t o  vis ualiz e  the  eff ect   of   a   featur e  on  pri ce  pr e dicti on   w hile  ho l ding  ot her   featu res  c on sta nt.  T he y  help  t o  un de rstan d  the  i nteracti on   betw ee n  diff e re nt  cha ra ct erist ic s an d t heir  im pact  on  pr ic e.   The  e xpla inabi li ty  modu le   ca n  be  us e d  in   two  disti nct  wa ys :  as  a   se par a te   com pone nt  or   i nteg rated   directl y  int o  th e  model.  As  a  separ at e  c omp on e nt,  it   act s  a s  an  in de pende nt  too l  for  a nalyzin g  the  pr e di ct ion s   of   a n  al rea dy  t raine d  m od el .  This  a ppro ac h  offer s  great   fle xib il it y,   as  t he  modu le   ca n  be   us e d  wit h  di fferent  models  with out  re qu i rin g  major  m od ific at ion s.  O n  th e  oth e r  hand,  w hen   t he  e xpla inabili ty  m odule  i s   integrate d  int o  the  m od el   du rin g  trai ni ng,  i t  can  g e ne rate  ex planati ons  directl y  from  t he  m odel   it sel f.   T his  integrati on  e na bles  a  dee per   analysis  of   the   decisi ons  ma de   by   t he  mode l  and   a  de epe r   underst an ding   of   it s  inn e r worki ngs .     Evaluation Warning : The document was created with Spire.PDF for Python.
In t J  Elec  &  C omp E ng     IS S N:   20 88 - 8708         I ntegr atio n of  we b  scr apin g,  f ine - tu ning,  an d d ata  e nr ic hm e nt in a c onti nu ou s   m onit or in g   …   ( An as   Bo dor )   1031   3.5 .     Fine - t unin g  p rocess  wit hin  LL Mo p s   We   the n  e xplo re  data   capt ur e   a nd  e nr ic hm e nt  us in g  descr i ptions  a sso ci at ed   with   eac h  r ecord.   We   descr i be  the  pr ocess  of   fine - t un i ng   [ 38] ,  [ 39]   M L  m od el s   to  inc orp or at e   this  ad diti on al   inf ormat ion   i nt o  our  dataset ,  in  or de r  to  imp r ov e  the  accu racy   of  our  pr e dicti on  m od el .   In   t he   process  of   de ployin g  a  la ngua ge  model - based  a pp li cat io n  as  e xp la ine d  by  th e  Fig ur e  1,  se ve ral  ke y  ste ps   mu st  be  ca refu ll y  orchest rated  [ 40] .  Firstl y,   sel ect ing   a n  a ppr opriat e  base  m od e l  [41]   is  a  f un dame ntal  ste p.  These  base  m od el s ,  pret rain ed  o n  la rg e  dataset s,  pro vid e  a  so li d  fou nd at io n  f or  a  var ie ty  of  s ub s eq ue nt  ta sks.  Gi ven  the  c omplexit y  a nd   high   cost of traini ng su ch mo dels fro m scr at c h,   only a  few  i ns ti tuti ons h a ve  the  n ecessa ry   res ources t o  suc ces sfu ll y  unde rtake   this   chall eng i ng  ta s k.  Sec ondly,   once  t he   base   model  is   sel ec te d,   a   c ru ci al   s te p  is   to   fi ne - t un e   it   sp eci fical ly  for   the  e nv isi on e d  dow ns trea m  t asks.  T his  fi ne - tu ning  al lo ws  custo mizi ng  th e  model  to   me et   the  sp eci fic  nee ds   of  the  a ppli cat ion   i n  quest ion.  O nce  t he  fine - tu ning  is  c omplet ed,   it   is  i m per at ive   to  c on du ct   rig orous  e valu at ion   of  t he  m od el   to   e ns ure   it s  perf or m anc e  an d  reli abili ty  i n  real - w or ld   co ndit ion s .  Finall y,   the  la st  ste p  of   the  proce ss  in volves  de ployin g  a nd   c onti nuously  monit ori ng  the  model  in  pro du ct io n.   For  thi s   monit or i ng,  s pecial iz ed  to ol s  are  emer gi ng,  su c h  as  Why L a bs   or   Human Lo op,  al lowing  trac ki ng   a nd   analyzi ng   the   model' s  be havi or   i n  a n  ope r at ion al   e nv i ronme nt,  t hus  e ns uri ng   opti m al   pe rformanc e  an d  proacti ve dete c ti on   of potenti a l degra dation.           Figure  1.   Fine - tun in g  p ro ces s  within t he  L L M   f ra mew ork       4.   PROP OSE D FRA MEW O RK   In  this   sect io n,  we   descr i be   th e  met hodolo gy  that   we   hav e   a dopted   to   buil d  a  predict io n  m od el   f or  a   sp eci fic  phe nomen on :  dynam ic   op ti miza ti on   of  ML  m od el s  via  M L Ops  and   L LMO ps  ( integ rati on  of   we b   scrap i ng,  fine - tun in g,  a nd  da ta   en richme nt   in  a   c on ti nu ous  m onit or i ng  c on te xt ).  T he   pur pose  is   op ti mizi ng  model p re di ct ion t hro ugh a  da ta  en ric hm e nt step usin g LL M s a nd c on ti nuous  m on it ori ng.   Ba sed on a m ul ti - ste p  w orkf l ow that e ncom passes  t he foll ow i ng stages:   a.   Data  ac qu isi ti on :  This   sta ge   invol ves  c ollec ti ng   data  fro m  the   ta r get  web sit e.   T his  can  be  done   usi ng   te chn iq ues  su c h  as  w e b  sc ra pin g t o  e xtract  re le van t i nf ormat ion   from  the  w ebsite  au t om at ic al ly.   b.   Data  pr e - proce ssing :   O nce   th e  da ta   has   bee n  c ollec te d,  it   needs  t o  be   cl e aned  a nd  prep ared  for  anal ysi s.   This  i n cl udes   the  rem oval   of  ou tl ie rs,  mana geme nt  of  missi ng  da ta ,  data  nor m al iz at ion   an d  oth e r     pre - pr ocessin g t echn iq ues  to  e ns ure t he qu al i ty of t he data  used i n  the  m odel .   c.   Data  e xp l or at i on :   T his  sta ge  involves   e xp l ori ng  a nd  a naly zi ng  the   data  t o  unde rstan d  it s  str uctu re,   tre nd s   and  relat ion s hi ps .   T his   ma y  i nvolv e   us in g  e xp l or at ory   data   a nalysis   te ch ni qu es   s uc h  a s  data  visu al iz at ion   and stat ist ic al  modeli ng to  id entify  k e y patt ern s  and i ns ig ht s.   d.   M odel   bu il di ng:  O nce  the  da ta   has  bee n  pre - processe d  a nd   e xplo red,  a   pr e dicti on   model  is  buil t  us ing  appr opriat e  ML  te ch niques   s uch  as   li nea r  r egr es sio n,  deci sion  trees ,  a nd   ne ural   netw orks.  T he  c hoic e   of  model  will   de pend  on  t he  c har act erist ic s  of  the  data  a nd  the   ty pe  of  analysis  re qu i r ed.   The   ch oic e  of  mo del w il l  depend o n  t he  c harac te risti cs o f  th e d at a a nd the   pr e dicti on obje ct ive.   e.   M odel   e valuati on :  On ce  t he  model  has  bee n  buil t,  it   is  evaluated  usi ng  a ppr opriat e  perf ormance  meas ur es   su c h  as  mean   sq ua re  e rro r  ( M SE )   a nd  c oe ff ic ie nt  of  dete rmin at io n  (R²) .   This  al l ow s   us  to  deter mine  the   eff ect ive ness   of  the   m odel .   T his  determi nes   the   m od el 's  ef fici enc y  a nd  it s  a bili ty  to  ma ke   acc urat e   pr e dicti on s .   f.   Dep l oyment a nd m onit or i ng :  Finall y,   once t he  m odel  h a s bee n  e valuate d and vali date d,  i t can  be depl oye d  in  a  pr od uction  en vir onment   to  make   real - ti me  pr e dicti on s .  It   is  al so  im porta nt  to   put  i n  place   co ntin uous   monit or i ng   m echan is ms  to   ensure  that  the  model  re mains  accu rat e  and   reli able  under   c ha ngin g  conditi ons.   Evaluation Warning : The document was created with Spire.PDF for Python.
                          IS S N :   2088 - 8708   In t J  Elec   &  C omp E ng,  V ol.  15 , No .  1 ,  Febr uary   20 25 :   1027 - 1037   1032   This  F rame w ork  pro vid es   a   struct ur e d  a nd  re pro duci bl e   fr a mew ork  f or   t he  devel opme nt  an d  evaluati on  of  M L  m odel s,  guara nteei ng  th e  trans par e nc y  and   reli abili ty  of   the  res ults  ob ta ine d.   The  diag ram   sh ow n  in  Fi gur e   2  re pr ese nts  a  mu lt i - sta ge  workflo w  f or  the  de velo pm e nt   and   e valuati on  of  a  predict i ve  ML  model.   I n  our   appr oach,  at   t he   bl ock  le vel   ( data  e n ric hm e nt)  t he  us e   of  a   LL M   t o  e xplo it   te xtu al   descri ption s   and  e nr ic h  dataset s  can   be   se en  as   a n  a dap t able  s olu ti on  f or  va rio us  ap pl ic at ion   domain s.  T his  meth od  ma kes   it   po ssi ble  to   ta ke  a dvanta ge  of  f ree  de scri ptio ns   i n  any  domai n  t o  s uppleme nt   dataset   in f ormat ion .   Con se quently ,  wh et her  in  fina nce,  healt hca re ,  ed ucati on  or  oth e r  sect or s   [ 42] ,   this  a ppr oa ch  ca n  be  a pp li ed  to   impro ve  t he   qual it y  a nd  dive rsity   of  a vail able  data.   By   integrati ng   the   ad va nce d  ca pa bili ti es  of  la ngua ge   models,  t his  method   pro ves   to   be  a   fle xi ble  a nd  ada pta ble  s olu ti on  t o  meet   the   s pe ci fic  re qu ir em ents  of   diff e re nt d at a a nalysis  pro ble ms.           Figure  2.   O ptimi zi ng   model  pr e dicti on : a  fr amew ork  i nteg rati ng  LL M   a nd  M L  models  with  real - ti me  data  processi ng       5.   C A S E   S T U D Y :   I M P R O V E M E N T   O F   P R I C E   P R E D I C T I O N   M O D E L   T R O U G H   L L M ,   L L M O p s   W I T H   R E A L - T I M E   D A T A   P R O C E S S I N G   As  e xp la i ned   i n  the   prece ding  par a gr a ph,  t o  e nh a nce  t he  pr e dicti on s   of  the  real  est at e  pr ic e  model   [43] ,  we  a dopt ed  a   m ulti - ste p  ap proac h  deta il ed  in  t he  F ig ur e   3.  Fi rstly,   we  mer ged  the   inf or mati on  e xtracted   by   t he  LL M s  model  with  the   existi ng   feature s,  thus  en richi ng   t he  dataset   with  rele van t  t extual  data.  Ne xt,  we   trai ned  a  new  pr ic e  model  usi ng   al gorithms   su c h  as   gradi ent  bo os ti ng  re gr ess or  or   oth e rs,   i ncor porati ng  th e   enr ic hed   featu res.   Fi nally,  w e  evaluate d  th e  perf or ma nce   of   t he  new   pr ic e  model  an d  com par e d  it s  resu lt s   with  t hose  of  t he  ori gin al   m odel .   This   met hodolo gy  al lowe d  us  to   te st   th e  ef fecti ve ness   of   integ rati ng   te xtu al   data ext racted  by the  LL M s  model i n  e nha ncin g  the  pre dicti on   performa nce  of the  real  est at e p rice  model.   In te gr at in g  a n  M L Op s   f rame work  base d  on  M L flo w  into  a  streami ng  da ta   env ir onme nt  represe nts  a   sign ific a nt  a dvance ment   in   ma nag i ng  th e  li fecy cl e  of   ML  m odel s.   MLfl ow,   a n  ope n - s ource   platfo rm  ded ic at e d  to  t his  ta sk ,  offe r s  a  mu lt it ud e   of   functi onal it ie s  that  can  be  ta il or e d  to  meet   the  s pecific   requireme nts  of  streami ng   dat a.  By  c ombini ng   M L flo w  with  streami ng   da ta   too ls  s uch   as  A pach e  Ka f ka  an d  Sp a rk  Streami ng  [ 44] ,   it   be c om es   possi ble  to  capt ur e   an d  proces s  data  in  real - ti me   [ 45]   w hile  maint ai nin g   com plete   trace abili ty  of  the   model  li fec ycl e.  T his   integ r at ion  not  only   ena bles   real - ti me  m onit or in g  a nd   mana geme nt  of  model  perf ormance   but   al so   facil it at es  con ti nu ous  de plo yme nt   an d  updates   of  m odel s  i n  streami ng  e nviro nm e nts.  P roviding  a  c ompre he ns ive  s ol ution   f or   ma na ging  M L  m odel s  in  a  stre aming   env i ronme nt,  t his  ap proac h  c on t rib utes  to  in creasin g  the  e f fici ency   a nd  re li abili ty  of   ML   sy ste ms  dep l oyed  i n   real - ti me  sce na rios.   B y  us in g  M L flo w  t o  ma nag e   m odel   de ployme nt  a nd  updates,   we  ca n  quic kly  de plo y  new   ver si ons  in   res pons e   to  c ha nges  i n  data  or  busines s  requ irements.   M Lf low  pipe li nes  can  be  c onfi gure d  t o  Evaluation Warning : The document was created with Spire.PDF for Python.
In t J  Elec  &  C omp E ng     IS S N:   20 88 - 8708         I ntegr atio n of  we b  scr apin g,  f ine - tu ning,  an d d ata  e nr ic hm e nt in a c onti nu ou s   m onit or in g   …   ( An as   Bo dor )   1033   automate  t he  proces s  of  m odel   dep lo yme nt  and   r ollback ,  e ns uri n g  a gile  and   s m oo t h  up da te s  in  a  co ntinuo us  streami ng  data  env i ronme nt.           Figure  3. Im pr ov e ment  of  pr i ce p red ic ti on  model t r ough  LLM , LL M Ops w it h real - ti m e d at a  processi ng       We  ha ve  place d  a  str ong  f ocus  on  data  moni toring  us in g  great   exp ect at io ns  an d  Da ta R obot,  as  well   as  m od el   mon it or in g  us in g  Pr ome the us   a nd  Gr a fan a .  T hi s  com pr e he nsi ve  ap proac h  ens ur es   not  only  th e   eff ect ive   ma na geme nt  of  model  li fecy cl e  but  al so  the  c on ti nu ous   m on it ori ng  a nd  opti m iz at ion   of   both   data   and  m od el   pe rformance   in   real - ti me  sc enar i os .   W he n  pr e dicti ng  apar tme nt  rea l  est at e  pr ic e s  fro m  con ti nu ously  s treami ng  data,   us in g  gr eat   e xp ect at io ns   to   monit or   data  qual it y  can  be  par ti cula rly  use fu l  in   ens ur in g  reli ab le   pr e dicti on s .   Indee d,   gr eat   exp ect at io ns   offe r   the  possib il it y  of   pr of il ing   data  in  real   ti me,   making  it   poss ible  to  i den ti f y  an d  m easu re  t he  esse ntial   ch aracte risti cs  of   inco min g  data   streams .  B y  s et ti ng   sp eci fic  e xpec ta ti on s  on  the se  data   stream s,  s uch  as   the   prese nce  of  key  var ia bles   and  acce ptable   val ue  ranges,   an d  re gu l a rly  validat ing   t hese  e xp e ct at ion s,  this  e ns ures  t hat  onl y  hi gh - qu al it y  data  is  us e d  t o  dr i ve  pr e dicti ve  m od el s.  Furthe rm ore,  by  trig ge rin g  al erts  i n  the   even t  of  dev ia t ion s  fro m  thes e  ex pectat ion s ,   gr e at  exp ect at io ns   guara ntee   the   re li abili ty  and  c on sist e ncy  of  t he  data  use d  in  pro per ty   pri ce  predict io n  models,   wh ic h  is es sent ia l fo r  acc ur at e  and  reli able re su lt s in o ur f ie ld  of ap plica ti on .   To  il lust rate  t he  pr act ic al   ut il i ty  of  t he  e xp la ina bili ty  modu le ,   le t's  examine   tw o  po te ntial   us e   scenari os  i n  th e real est at e  domain:   a.   Local  e xpla nat ion s   f or r eal   es ta te   agen ts:   A   r eal   est at e  age nt   can   le ve ra ge  l ocal  e xp la natio ns   t o  unde rstan d  the  unde rlying   reas ons  f or  a   sp e ci fic  pr ic e   pre dicti on  f or  a   pr op e rty .  Fo r   e xam ple,   if  a  pro pe rty   is   pr e dicte d  at   a   high  pr ic e,   the   age nt  can   us e   local   ex planati on s   to  i den ti f y  ke y  feat ur e s  t hat  co ntri bu te d  to  this  est imat e.   This  ma y  i nclud e   facto rs  suc h  a s  pro per t y  siz e,   locat io n,  an d  s urrou nd i ng  am eniti es.   Su c h  inf or mati on  ca n  assist  t he  a ge nt in bett er a dv isi ng  cli ents  and ju sti fy in g p r opos e d pr ic es .   b.   Global   ex plan at ion s  f or  in ve stors :  A n  in ves tor  see king  to  acqu i re  real  es ta te   in  a  sp eci f ic   reg io n  ca n  use   global  ex plana ti on s  t o  gai n  i ns ig hts  int o  th e  mo st  i nf l uent ia l  factor s  on  pro per ty   pri ces   in  that  a rea.  F or   exam ple,  by  analyzin g  global  ex planati ons,  a n  i nv est or   may   disc over  t hat  pro xi mit y  to  publ ic   trans portat ion  or  the  a vaila bi li ty  of  qual it y  sch oo ls  a re  ma jor  deter mina nt s  of  pr ic es  i n  that  re gion.  Th is  inf or mati on  ca n gu i de  in vest ment  decisi ons  by hig hligh ti ng ma r ket tre nds and  pote ntial  o pp or t un it ie s.   By  com bin i ng  local   and   glob al   exp l anati ons ,  sta kehold ers  in  the  real  est a te   sect or   can  make  m ore  inf ormed   decisi ons,  t hereby ma ximizi ng thei r  c han ce s  of s uccess i n  a  co m plex  and  dyn a mic ma rk et .     Evaluation Warning : The document was created with Spire.PDF for Python.
                          IS S N :   2088 - 8708   In t J  Elec   &  C omp E ng,  V ol.  15 , No .  1 ,  Febr uary   20 25 :   1027 - 1037   1034   6.   DISCU SSI ON   Af te r   c ollec ti ng  the   i niti al  data   f r om  r eal   est at e  li sti ng  we bs it es  thr ough  we b  scra pi ng,  w e   encou ntere d  t he   reali ty   of   ra w,  oft en   inc omplet e  data.  To   ov e rc om e   this   li mit at ion   an d  enh a nce   the   qual it y  of   our   dataset ,   w e  em barke d  on  t he   s ub se qu ent  phase   de di cat ed  t o  e xtra ct ing  inf ormat ion  f r om  the   t extual  descr i ptions  as so ci at ed  with   e ach  l ist ing  s hown  in   F ig ure  4.  By   usi ng  t he  GP T   A PI ,   in   si mp le   te r ms,   w e  we re   able  to   extra ct   valua ble  de ta il s  su ch   as   sp eci fic   pro per t y  feat ur e s,   avail able  a m eniti es,  surr ou nd i ng  conve niences ,  and  m ore.  This   ap proac h  t o  e nr ic hm e nt,  bas ed  on  NLP ,  sig nificantl y  im prov e d  the   qual it y  a nd   dep t h  of   our  da ta set .  Con se quently ,  it   pa ve d  the  wa y  f or  more  co mpre he ns ive  a naly se s  an d  m or e   rel evan t  resu lt s  in  the  l at er  sta ges  of  our  resea rc h.   Fu rt hermo re,  t o  kee p  our  dat aset   up   to  date ,  we  im pleme nted  a  con ti nu ous  sc r apin g  p r ocess  us in g  Kafka  a nd  S park  Strea ming,  e nsuring   that  our   datas et   consi ste ntly  ref le ct s   the evolvi ng r e al  estat e mar ke t.   Subseque ntly,   we  opte d  for   the  us e  of   t he  A utoML  [ 46] ,  [47]   platf orm,  a  po werfu l  to ol  that   automa te s  a  si gn i ficant  porti on   of   t he  mac hin e  le ar ning  model  de velo pme nt  proc ess.  Among  the  numer ou s   avail able  opti ons  s uch   a s  G oogle  Au t oML,  H2O. ai ,  A uto - sk le ar n,   a nd   T PO T  [48 ] ,  we  chose  aut o - s kl earn   t o   address   this   re gr essi on  pro blem.  This   platf orm  opti mize s  model  perf or m ance  t o  meet   our   e valuati on   c rite ria.   Howe ver, it  is cru ci al  to  em phasi ze that  d es pite t he  ease o f  u se of  Au t oML  [49 ] , a  f unda mental  und e rst and i ng   of   machi ne  le arn i ng   [50 ]   co ncep ts  remai ns  ind is pen sa ble   for  inter pret ing   a nd   f ully  l ever a ging  the   resu lt s  pro du ce d  by   t hese  to ols.  In   our  case,   sinc e  stock  pri ce  pr e dicti on   is  e ssentia ll y  a  re gr essi on  pro bl em,  w e   evaluate  our   m od el s   us i ng  me tric s  su c h  a s  root  mea n  s quare d  e rror  (R M SE ),   mean   ab so l ut e  per ce ntag e  e rror   % (MA PE), a nd  the  co e ff ic ie nt of  determi na ti on   (R2),  pr eci se meas ur es  of  pr e dicti on accu racy.           Figure  4.   Datas et  en ric hm e nt from c om me nts  u si ng an LL M mo del       The   impleme nt at ion   of  this   use   case   withi n  an   M L Op s   framew ork   has   enab le d  us  to   con ti nu ously   monit or   t he  he al th  of   our  ca pt ur e d  data  a nd   the  predict io n  qu al it y  of   our  machine  le a rn i ng   model.  T o  a chieve   this,  we   inte grat ed  se ve ral  es sentia l  to ols.   F irstl y,  MLfl ow   wa s  us e d  f or  t rack i ng  a nd  tr aci ng  the   trai ni ng  of   our  m odel ,  pr ov i ding  preci s e  tracea bili ty  of   eac h  it erati on   a nd  it s  perf ormance  highl igh te d  i n  Fig ure  5.   I n  par al le l,  we  e sta blished  a   c on ti nu ous  inte gr at io n/co ntin uous  dep l oyme nt  (C I/CD)   pip el ine  f or  the   sou rce  cod e ,  en surin g  sm oo t h  int egr at io n  of   u pd at es  a nd  modific at ions   into  our  pr oductio n  en vi ronme nt.   Additi on al l y,   t o  proacti vely   monit or  the  he al th  of  ou r  s ys te m  a nd  det ect   po te ntial   issues,   we   de pl oy e d  Pr ome the us  an d  Grafa na.  T he se  to ols  al l ow  us  to   disp la y  a nd  monit or   esse ntial   metr ic s  in   real - t im e,  wh il e  config ur i ng  al erts  to   insta ntly  noti fy  us  of  de viati ons  or  crit ic al   sit uations.  T hus,   th is  M L O ps   ap proac h  pro vid es   us  with  a  r obus t  fr a mew ork  t o  e ffec ti vely  ma na ge   our   m odel   de velo pm e nt  c yc le ,  w hile  e ns ur ing  the   reli abili ty and  performa nce  of ou r  ML a pp li c at ion s.   Evaluation Warning : The document was created with Spire.PDF for Python.
In t J  Elec  &  C omp E ng     IS S N:   20 88 - 8708         I ntegr atio n of  we b  scr apin g,  f ine - tu ning,  an d d ata  e nr ic hm e nt in a c onti nu ou s   m onit or in g   …   ( An as   Bo dor )   1035       Figure  5. Ex pe riment  opti miza ti on  a nd metri c analy sis wit h ML flo w       7.   CONCL US I O N   In   c oncl us i on,   the  inte gr at io n  of   M L O ps   i nto   a  co ntin uous   strea min g  data  en vir onm ent  offe rs  a   com pr e he ns ive  an d  a gile appr oach   for  ma na ging ML mode ls. By m onit ori ng   model pe rfo rma nce in  r eal - ti me,   qu ic kly   detect ing   a nomali es,   and   e nab li ng  agile   updates,   M L Op s  al lo ws  org anizat io ns   to  mai ntain   hi gh - qu al it y  m od el s  an d  ma ke  i nformed   decis ion s   in   a  dyna mic  an d  ev ol ving  e nviro nm ent.   T hro ugho ut  this  arti cl e,  we  ha ve  ex pl or e d  th e  chall en ges  of  co ntin uous   s treami ng  data  and   t he  s olu ti on s   pro vid e d  by   our   fr ame w ork,  w hich  c ombine s   M L flo w  a nd  oth e r  m onit ori ng  to ols  f or   M L   m od el   mana geme nt  i n  s uch  env i ronme nts.   By   integ rati ng  M L Op s   pri nciples  a nd  model  ma na ge ment  t oo ls   into   a  data  st reamin g  workflo w,  org anizat ion s   ca n  maximize   t he   value   of   their   inv e stments   in   M L   an d  maint ai n  op e rati onal   agili ty   in  a   co ns ta nt l y  c ha ng i ng  da ta   la ndscape .   Additi on al l y,   def i ning  metri cs  an d  co ntin uous  m on it or i ng  are   ind is pen sa ble  f or  tran sit ion in g  from  a   tra diti on al   e xplo rato r y  e nv i ronme nt  to  a  high - pro duct ion  en vir on ment.  By  est a blishin g  cl ea r  metri cs ,  orga nizat ion s   can   bette r  un der sta nd  m ode l  pe rformance ,   set   be nchmar ks ,   a nd  ens ur e  co ntin uous  imp rove ment.   Co ntin uous  m on it ori ng  en sures  t ha t  an y  dev ia t ion s   f rom  e xpect ed  performa nce  a re  quic kly   i de ntifie d  a nd  a ddress ed ,  mai ntaining  the  reli abili ty  an d  e f fecti ven es s  of  M L   models.   Com bin in g  re al - ti me  we b  scra ping,  Kafka,  Sp a rk   St reami ng,  an d  M L Op s  i nteg rati on,  our  method ology  offer s  a   co mprehe ns ive   ap proach  to  op ti mi zi ng   t he  real  e sta te   pr ic e  pre dicti on   proces s.  We   emp hasize  the   imp or ta nce  of   c onti nuous   monit ori ng  a nd  co ntin uous  impro v eme nt   to  mai ntain  high - performi ng ML m od el s t hat  are tai lore d  t o  t he  c hangin g re qu i reme nts of t he real  estat e  mar ket.       REFERE NCE S   [1]   C .   S h i ,   P .   L i a n g ,   Y .   W u ,   T .   Z h a n ,   a n d   Z .   J i n ,   “ M a x i m i z i n g   u s e r   e x p e r i e n c e   w i t h   L L M O p s - d r i v e n   p e r s o n a l i z e d   r e c o m m e n d a t i o n   s y s t e m s , ”   A p p l i e d   a n d   C o m p u t a t i o n a l   E n g i n e e r i n g ,   v o l .   6 4 ,   n o .   1 ,   p p .   1 0 1 – 1 0 7 ,   M a y   2 0 2 4 ,   d o i :   1 0 . 5 4 2 5 4 / 2 7 5 5 - 2 7 2 1 / 6 4 / 2 0 2 4 1 3 5 3 .   [2]   A.  Bo d o r,   M.   Hn i d a,  an d   D.  Naji m a ,  “M LOps :  o v erview  o f  cu rr en t  stat e  an d   futu re  d i rect io n s,”  in   Inn o va tio n s  in   S ma rt  Cities   App lica tio n s Volume  6 ,  Ch a m : Sprin g er  Internatio n al P u b lish in g ,  2 0 2 3 ,  p p .  1 5 6 – 1 6 5 .   [3]   A.  Bo d o r,   M.   Hn id a,  an d   D.   Naji m a,   “From  d ev elo p m e n t  to   d ep lo y m en t:  an   ap p roach   to   M LOps   m o n ito ring   f o r  m achi n e  l earnin g   m o d el  o p eration ali zatio n ,”  in   2 0 2 3   1 4 th   Inter n a tio n a l  Co n feren ce  o n   Intellig en t  S ystems :   T h eo ries   a n d   App lica tio n s  (SITA) ,   No v .   2 0 2 3 ,  p p .  1 – 7 ,  d o i:  10 .11 0 9 /SIT A6 0 7 4 6 .20 2 3 .10 3 7 3 7 3 3 .   [4]   E.   Zi m elewi cz   et   a l. ,  “ ML - en ab led   sy stems  m o d el  d e p lo y m en t  an d   m o n ito ring :  st atu s  q u o   an d   p rob lem s,”   in   Lectu re  No tes   i n   Bus in ess  I n fo rma tio n  P ro cess in g ,  v o l .  5 0 5  L NBIP ,  2 0 2 4 ,  p p .  1 1 2 – 1 3 1 .   [5]   M.   Priestley ,   F.   O ’do n n ell,  an d   E.   S im p erl,   “A   su rvey   o f  d ata   q u ality   re q u irem en ts  th at  m atter  in   M L  d ev el o p m en t  p ip elin es,”  Jo u rn a l of Da ta  a n d  I n fo rma tio n  Quality ,  v o l.  1 5 ,  n o .  2 ,  p p .  1 – 3 9 ,  Ju n .  2 0 2 3 ,  d o i: 10 .11 4 5 /3 5 9 2 6 1 6 .   [6]   S.  J.  W arnett  an d   U.  Zdu n ,  “On   th e  u n d erstand ab il ity   o f  ML Op s  sy stem  ar ch itectu res ,”  IE EE   Tra n sa ctio n s  o n   S o ftware  Eng in eerin g ,  v o l.  5 0 ,  n o .  5 ,  p p .  1 0 1 5 – 1 0 3 9 ,  May 2 0 2 4 ,  d o i: 10 .1109 /TSE .20 2 4 .3 3 6 7 4 8 8 .   [7]   A.  Ku lk arni,  A.   S h iv an an d a,  A.  Ku lk arni,  an d   D.   Gu d i v ad a,  “L LM s   for  en terprise  an d   L L MOps ,”   in   App lied   Gen era tive   AI   fo r   Begin n ers ,  Berk ele y ,  CA: Ap ress ,  2 0 2 3 ,  p p .  1 1 7 – 154.   [8]   A.  Ku lk arni,  A .  S h iv an an d a,  A.  Ku lk arni,  an d   D.  Gu d iv ad a,  “Im p le m en t   LL Ms  u sin g   Sk learn,”  in   App lied   Gen era tive  AI   fo r   Begin n ers , B erkele y ,  CA: Ap ress ,  2 0 2 3 ,  p p .  1 0 1 – 116.   [9]   V.  Ko zo v ,  G.  Iva n o v a,  an d   D.  Atan aso v a,  “Practica l   ap p licatio n   o f  A I  an d   large  lan g u ag e  m o d els  in   so f tware  en g in eering   ed u catio n ,”  Inter n a tio n a l  Jo u rn a l   o f  Adva n ced  Co mp u ter  S cien ce  a n d   App lica tio n s ,  v o l.  1 5 ,  n o .   1 ,  2 0 2 4 ,  d o i:  1 0 .14 5 6 9 /IJACSA.2 0 2 4 .0 1 5 0 1 6 8 .   [10 ]   G.  G.   Krish n a,  “ Multilin g u al  NLP, ”  Inter n a tio n a l  Jo u rn a l  o f  Adva n ce d   Eng in eerin g   a n d   Na n o   Tech n o lo g y ,  v o l.  1 0 ,  n o .  6 ,     p p .  9 – 1 2 ,  Ju n .  2 0 2 3 ,  d o i: 10 .35 9 4 0 /ij aent .E 4 1 1 9 .06 1 0 6 2 3 .   Evaluation Warning : The document was created with Spire.PDF for Python.
                          IS S N :   2088 - 8708   In t J  Elec   &  C omp E ng,  V ol.  15 , No .  1 ,  Febr uary   20 25 :   1027 - 1037   1036   [11 ]   S.  Ka m ath   Bark u r ,   P.  Sita p a ra,   S .  L e u sch n er,   an d   S.  Sc h acht ,  “Magen ta:  m etri cs  an d   ev alu atio n   fr am e wo rk  fo r  g en erative  ag en ts  b ased   o n   LL Ms,”   Intellig en t  Hu ma n   S ystems   Integ ra tio n   (I HS I   2 0 2 4 ):   Integ ra tin g   Pe o p le  a n d   Intellig en t  S ystems ,   2 0 2 4 ,    d o i: 10 .5494 1 /ah fe 1 0 0 4 4 7 8 .   [12 ]   L.  Bu d ach  et al. ,  “ The ef fects of  data  qu ality  on  M L - m o d el perf o r m an ce,”   Co RR  ab s/2 2 0 7 .1 4 5 2 9 ,   2 0 2 2 .   [13 ]   R.  Ma rpu   an d   B.  Manju la,  “St rea m in g   m achi n e  lea rnin g   alg o rithms  with   strea m in g   b ig   d ata  sy stems,”  Bra zilia n   Jo u rnal   o f   Develop men t ,  v o l.  1 0 ,  n o .  1 ,  p p .  3 2 2 – 3 3 9 ,  Jan .  2 0 2 4 ,  d o i : 10 .34 1 1 7 /b jd v 1 0 n 1 - 021.   [14 ]   M.   Y.   E .  Sap u tra,   No p rianto ,  S.   No o r  Ar ief,   V .  N.   W ijay an in g rum,   a n d   Y.  W .  Sy ai fud in ,  “Real - tim e  se r v er  m o n ito ring   an d   n o tification   sy stem  with   p ro m eth eu s,  Gr afana,   an d   Telegra m   in te g ration ,”  in   2 0 2 4   ASU  Int ern a tio n a l  Co n feren ce   in     Emerg in g   Tech n o lo g ies  fo r  S u s ta in a b ility  a n d   Intellig en t  S ystems   (I C ETSIS ) ,   Jan .  2 0 2 4 ,  p p .  1 8 0 8 – 1 8 1 3 ,  d o i:   1 0 .11 0 9 /ICET SIS 6 1 5 0 5 .20 2 4 .10 4 5 9 4 8 8 .   [15 ]   S.  C.  Hu an g  and  T .  H.  L e ,  Prin cip les  a n d  lab s fo r d eep l ea rn in g .  Un ited  King d o m : A cademic  Press, 20 2 1 .   [16 ]   A.  Bo d o r,   M .  Hn i d a,  an d   N.  D ao u d i,  “Ma ch in e  learnin g   m o d els  m o n ito ri n g   in   ML Op s  co n tex t:  m et rics  an d   to o ls,”  Inter n a tio n a l   Jo u rn a l of Inter a ct ive Mob ile Techn o lo g ies (iJI M) ,  v o l.  1 7 ,  n o .  2 3 ,  p p .  1 2 5 – 1 3 9 ,  Dec.  2 0 2 3 ,  d o i: 10 .39 9 1 /ij im .v1 7 i2 3 .4 3 4 7 9 .   [17 ]   “Gre at  exp ectatio n s , ” http s://g reate x p ectatio n s.io / ( acces sed  Aug .  0 1 ,  2 0 2 4 ) .   [18 ]   J.  Kr zy wan sk i  et   a l. ,  “Au to ML ‐bas ed   p redictiv e  f ra m ewo rk  for  p r ed ictiv e  an aly sis   in   ad so rptio n   co o lin g   an d   d esalin atio n   sy stems,”  Ener g y Scien ce & Eng i n eerin g ,  v o l.  1 2 ,  n o .  5 ,  p p .  1 9 6 9 – 1 9 8 6 ,  May 2 0 2 4 ,  d o i: 10 . 1 0 0 2 /ese3 .1 7 2 5 .   [19 ]   D.  P etrov a - An to n o v a  an d   R.   Tanch e v a,  “Da ta  cleanin g :  a   case   stu d y   with   o p en ref in e  an d   tri facta   wr an g ler, ”   in   Co mmu n ica tio n s  in  Co mp u ter a n d  I n fo rma tio n  Scien c e ,  v o l.  1 2 6 6  CCIS,   2 0 2 0 ,  p p .  3 2 – 40.   [20 ]   A.  P an d ey ,  M .  So n awane,  an d   S .  M am tan i,   “Deplo y m en t  o f  ML   m o d els   u sin g   k u b eflow  o n   d iff er en t  clo u d   p rov id ers,”  a rXiv  p rep rin t ar Xiv: 2 2 0 6 .13 6 5 5 ,  2 0 2 2 .   [21 ]   L.  Be rberi,  V.  Koz lo v ,  K.  Alib ab aei ,  an d  B.  Esteb an ,  “ ML flow  and  its us ag e,”  a rXiv pr ep ri n t ar Xiv ,  2 0 2 2 .   [22 ]   “Seld o n , ” http s://www.seld o n .io/ (acc ess ed  Aug .  0 1 ,  2 0 2 4 ).   [23 ]   A.  H.   Ali,   M .  Al ajan b i,  M .  G.   Ya seen ,  an d   S .  A .  Ab ed ,  “Ch atg p t4 ,  DA LL ·E ,   Bard ,   Clau d e,  BERT:   o p en   p o ss ib ilities,”  Bab ylo n ia n  Journ a l of Ma ch in e Lear n in g ,  v o l.  2 0 2 3 ,  p p .  1 7 – 1 8 ,  Mar .  2 0 2 3 ,  d o i: 10 .58 4 9 6 /B JML/20 2 3 /0 0 3 .   [24 ]   F .   A l h a j ,   A .   A l - H a j ,   A .   S h a r i e h ,   a n d   R .   J a b r i ,   “ I m p r o v i n g   a r a b i c   c o g n i t i v e   d i s t o r t i o n   c l a s s i f i c a t i o n   i n   t w i t t e r   u s i n g   B E R T o p i c , ”   I n t e r n a t i o n a l   J o u r n a l   o f   A d v a n c e d   C o m p u t e r   S c i e n c e   a n d   A p p l i c a t i o ns ,   v o l .   1 3 ,   n o .   1 ,   2 0 2 2 ,   d o i :   1 0 . 1 4 5 6 9 / I J A C S A . 2 0 2 2 . 0 1 3 0 1 9 9 .   [25 ]   E.   Yu lian ti,   N.   Pa n g estu ,  an d   M.   A .   Jiwan g g i,  “ Enh an ced  tex trank   u sin g   weig h ted   wo rd  e m b ed d in g   for  tex t   su m m ari zatio n ,”   Inter n a tio n a l  Jo u rn a l  o f  Electric a l  a n d   Co mp u ter  Eng in eerin g ,  v o l.  1 3 ,   n o .  5 ,  p p .  5 4 7 2 – 5 4 8 2 ,  Oct.  2 0 2 3 ,  d o i:   1 0 .11 5 9 1 /ijece.v1 3 i5 .pp 5 4 7 2 - 5 4 8 2 .   [26 ]   D.  Dillio n ,  N.  Ta n d o n ,  Y.  Gu ,  an d   K.  Gray,  “Can   AI  lan g u ag e  m o d els  replace  h u m an   p articipan ts?,”  T ren d s  in   C o g n itiv e   S cien ces ,  v o l.  2 7 ,  n o .  7 ,  p p .  5 9 7 – 6 0 0 ,  Ju l.  2 0 2 3 ,  d o i: 10. 1 0 1 6 /j.tics.20 2 3 .0 4 .00 8 .   [27 ]   Z.   He   et  a l. ,  “Ex p lo ring   h u m an - lik e  trans latio n   strat eg y   with   large  la n g u ag e  m o d els,”  Tra n sa ctio n s  o f  th e  Asso cia tio n   fo r  Co mp u ta tio n a l Lin g u istics ,  v o l.  1 2 ,  p p .  2 2 9 – 2 4 6 ,  Mar .  2 0 2 4 ,  d o i: 10 .1 1 6 2 /t acl_ a_ 0 0 6 4 2 .   [28 ]   I.   O.  W ill iam   a n d   M.   Alt am i m i,  “L arge  lan g u ag e  m o d el  for  crea t iv e  w riting   an d   article  g en eration ,”  Inter n a tio n a l  Jo u rnal  o f  Adva n ced N a tu ra l  S cien ces a n d  E n g i n eerin g  R esea rch es ,  p p .  7 4 1 – 7 4 8 ,  2 0 2 4 .   [29 ]   D .   H u a n g   e t   a l . ,   “ D S Q A - L L M :   d o m a i n - s p e c i f i c   i n t e l l i g e n t   q u e s t i o n   a n s w e r i n g   b a s e d   o n   l a r g e   l a n g u a g e   m o d e l , ”   i n   C o m m u n i c a t i o n s   i n   C o m p u t e r   a n d   I n f o r m a t i o n   S c i e n c e ,   2 0 2 4 ,   v o l .   1 9 4 6   C C I S ,   p p .   1 7 0 – 1 8 0 ,   d o i :   1 0 . 1 0 0 7 / 9 7 8 - 981 - 99 - 7587 - 7 _ 1 4 .   [30 ]   M.   Sk o riko v ,  K.   N.  J.  Om ar,   an d   R.  Kh an ,  “Vo ic e - c o n trolled   in tellig en t  p erso n al  ass istan t,”  in   S ma rt  Inn o va tio n ,  S ystems   a n d   Tech n o lo g ies ,  v o l.  2 7 3 ,  2 0 2 2 ,  p p .  5 7 – 65.   [31 ]   F.  An to n iu s  et  a l. ,  “Inco rpo rating   n atu ral  lan g u ag e  p rocess in g   in to   v irtual  ass istan ts:  an   in tellig en t  ass ess m en t  stra teg y   for   en h an cin g   lan g u ag e  co m p rehen sio n ,”   Inter n a tio n a l  Jo u rn a l  o f  Adva n ced  Co mp u ter  S cien ce  a n d   App lica tio n s ,   v o l.  1 4 ,  n o .  1 0 ,   2 0 2 3 ,  d o i: 1 0 .14 5 6 9 /IJACSA.2 0 2 3 .0141 0 7 9 .   [32 ]   R.  Bag ai,  A.  Masr an i,  P.  Ran jan ,  an d   M.   Najana,   “I m p lem en tin g   co n tin u o u s  in teg ratio n   an d   d ep lo y m en t  (CI/CD)  fo r  m a ch in e  learnin g   m o d els   o n   AW S,”   Int ern a tio n a l  Jo u rnal  o f  Glo b a l  In n o va tio n s  a n d   S o lu tio n s  (I JGIS) ,   May   2 0 2 4 ,  d o i:  1 0 .21 4 2 8 /e9 0 1 8 9 c 8 .9cb 3 9 c5 5 .   [ 33]   T. - C.  T.   Ch en ,  “ Exp lain ab le  artif i cial  in tellig en ce  ( XAI)   with   ap p licatio n s,”  in   Expla in a b le  Ambien t  In tellig en ce  (X A mI )  Expla in a b le A rtificia l I n tellig en ce A p p lica tio n s in  Sma rt  Life ,  Sp ring er,  20 2 4 ,  p p .  2 3 – 3 8 .   [34 ]   S.  Ro y ,  G .  L ab er g e,  B.  Ro y ,  F .  Kh o m h ,  A.   Nik an ja m ,  an d   S.  Mon d al,  “Wh y   d o n ’t  XA I  tech n iq u es  ag ree ?  ch arac t erizing   th e  d isag reem en ts  b etween  p o st - h o c  ex p lan atio n s  o f  d ef ect  p redictio n s,”  in   2 0 2 2   IE EE   Int ern a tio n a l  Co n fer en ce  o n   S o ftw a re  Ma in ten a n ce and Ev o lu tio n  ( ICS ME ) ,  O ct.  2 0 2 2 ,  p p .  4 4 4 – 4 4 8 ,  d o i: 10 .1 1 0 9 /ICSME 5 5 0 1 6 .2 0 2 2 .0005 6 .   [35 ]   X.  Ko n g ,  S.   Liu,  a n d   L.   Zhu ,  “ Towar d   h u m an - cent ered  XAI  in   p r actice:  a  su rvey ,”  Ma ch in e  Intellig en ce  Resea rch ,  v o l.  2 1 ,  n o .  4 ,  p p .  7 4 0 – 7 7 0 ,  Au g .  20 2 4 .   [36 ]   S.  Ala m   an d   Z.   Al tip arm ak ,   “XA I - CF - ex am in in g   th e  r o le  o f  ex p lain ab le  artif ici al  in tellig en ce  in   cy b er  forens ics,”  a rXiv  p rep rin t   a rXiv:24 0 2 .02 4 5 2 ,  20 2 4 .   [37 ]   L.   S ch u lte,  B.  Led el,  an d   S.   He rbo ld ,  “Stu d y in g   th e  ex p lan atio n s  for  th e  au to m ated   p redicti o n   o f  b u g   an d   n o n - b u g   iss u es  u sing   LI M E  an d  SH AP,”   Empir ica l So ftwa re Eng in eerin g ,  v o l.  2 9 ,  n o .  4 ,  Ju l.  2 0 2 4 ,  d o i: 10 .10 0 7 /s106 6 4 - 0 2 4 - 1 0 4 6 9 - 1.   [38 ]   A.  Lóp ez - Lóp ez,   J .  M .  G arcıa - Go r r o stieta,  an d   S.   Go n zález - Lóp ez,   “E m o tio n   d etectio n   i n   ed u catio n al  d ialo g u es  b y   trans fer   learnin g ,”  Jo u rn a l of Intellig en t & Fuz zy S ystems ,  p p .  1 – 1 1 ,  Mar .  20 2 4 ,  d o i : 10 .32 3 3 /JIFS - 2 1 9 3 4 0 .   [39 ]   X.  Li,   Y .  Zhan g ,  an d   E.   C.  Ma lth o u se,  “Exp lo ri n g   fine - tu n in g   C h atGPT  for  n ews   recom m en d atio n ,”  a rXiv  p rep rin t  a rXiv:23 1 1 .05 8 5 0 . ,  2 0 2 3 .   [40 ]   K.  I.   Ro u m elio tis,   N.  D.  Tselik as,  a n d   D.  K.  Nasio p o u lo s,  “Next - g en era tio n   sp am   filter in g :  co m p arative  fine - tu n in g   o f  LL Ms,   NLPs,  an d   CN N  m o d els  for   em ail  sp a m   class ification ,”  E lectro n ics ,  v o l.  1 3 ,  n o .  1 1 ,   May  2 0 2 4 ,  d o i:  1 0 .33 9 0 /electron ics1 3 1 1 2 0 3 4 .   [41 ]   M.   S eiranian ,  “La rge  lan g u ag e  m o d el  p ara m ete r  ef fici en t  fine - tu n in g   for  m ath em at ical  p r o b lem   so lv in g   final  p roject  repo rt, ”   2024 ,   d o i: 1 0 .13 1 4 0 /RG.2 .2.2 8 2 6 2 .8 4 8 0 6 .   [ 42]   A.  Sh a rm a ,  K.  K.   Up m an ,   D.   Sain i ,  an d   A .  Raj ,  “ N LP  an d   it ’s  all   a p p licatio n   in   AI, ”   Tu ijin   Jish u /Jo u rn a l  o f  Pro p u lsio n   Tech n o lo g y ,  v o l.  4 3 ,  n o .  4 ,  p p .  1 8 0 – 1 8 3 ,  No v .  2 0 2 3 ,  d o i : 10 .52 7 8 3 /tjjp t.v43.i4 .23 2 8 .   [43 ]   S.  Ab d u l - Rah m an ,  N.  H .  Zulk ifley ,  I.   Ibrahi m ,  an d   S.  Mutalib ,  “ Ad v an ced  m achi n e  learnin g   alg o rithms  for  h o u se  p rice  p redictio n :  case  stu d y   in   Ku ala  Lumpu r, ”  Inter n a tio n a l   Jo u rn a l  o f  Adva n ced  Co mp u ter  S cie n ce  a n d   App lica ti o n s ,  v o l.  1 2 ,  n o .  1 2 ,  2 0 2 1 ,  d o i: 1 0 .14 5 6 9 /IJACSA.2 0 2 1 .0121 2 9 1 .   [44 ]   D.  S.  Mph a sis   an d   D.  Se en iv asan ,  “ Real - ti m e  d ata  p ro cess in g   with   strea m in g   ET L, ”  Articl e  in   Inter n a tio n a l  Jo u rn a l  o f  S cien ce   a n d  R esea rch ,  v o l.  1 2 ,  p p .  2 1 8 5 – 2 1 9 2 ,  2 0 2 3 ,  d o i: 10 .2 1 2 7 5 /SR246 1 9 0 0 0 0 2 6 .   [45 ]   N.  B.   Kilaru,   “Des ig n   real - ti m e  d ata   p rocess in g   sy stems  for  ai   ap p licatio n s,”  Inter n a tio n a l  Jo u rn a l  fo r  Resear ch   Pub lica tio n   a n d   S emin a r ,  v o l.  1 5 ,  n o .  3 ,  p p .  4 7 2 – 4 8 1 ,  Sep .  2 0 2 4 ,  d o i: 10 . 3 6 6 7 6 /jrps .v1 5 .i3. 1 5 3 8 .   Evaluation Warning : The document was created with Spire.PDF for Python.