I A E S  I n t e r n at io n al  Jou r n al  of  A r t if ic ia l  I n t e ll ig e n c e  ( I J - AI )   V ol .   13 , N o.   4 ,  D e c e m be r   2024 , pp.  3727 ~ 37 38   I S S N :  2252 - 8938 ,   D O I :  10.11591/ ij a i. v 13 .i 4 .pp 3727 - 37 38           3727     Jou r n al  h om e page :  ht tp : // ij ai . ia e s c or e .c om   M e t h od ol ogy ap p l i e d  t o c om p u t e r  au d i t  w i t h  ar t i f i c i al   i n t e l l i ge n c e :   a   sys t e m at i c  r e vi e w       S h e yl a R e ym u n d e z  S u ar e z , B r yan  M ar t ín e z  H u am an i ,  M ar ía  A c u ñ a M e lé n d e z , C h r is t ia n  O val le   D e pa r t a m e nt o de  I nge ni e r í a , F a c ul t a d de  I nge ni e r í a ,   U ni ve r s i da d T e c nol ógi c a  d e l  P e r ú, L i m a , P e r ú       A r t ic le  I n f o     A B S T R A C T   A r ti c le  h is to r y :   R e c e iv e d   J a n 7, 2024   R e vi s e d  M a r  3, 2024   A c c e pt e d  M a r  21, 2024       This  systematic  review  focused  on  evaluating  the  impact   of  the  m achine   learning  operations  (MLOps)  methodology  on  anomaly   detection  a nd  the  integration  of  artificia l  intelligence   (AI)  projects  in   computer  auditin g.  Data  collecti on  was  carried  out  by  searching  for  articles  in  databases,   s uch  as  Scopus  and  PubMed,  covering  the   period  from   2018  to  2024.   The  ri gorous  applicati on  of  the  preferred   reporting  items  for   systematic  reviews   and   meta - analyses  ( PRISMA )   methodology   allow ed  88  significant   records   to  be   selected  from  an  initial   set  of   1 , 389,  highlighting   the  completen ess   of  the  selection  phase.  Both  quantitative  and  qualitative  analysis  of  th e  data  obtained  revealed  emerging  trends   in  the  research   and  provided   key  i nsights  into  the  implementation  of  MLOps  in   AI   projects,  especially  in   resp onse  to  increasin g  complexity,  whereby   the  adoption   of  the   MLOps  metho dology  stands  out  as  a  crucial  component  to  optimize  anomaly  detection  and  improve  integration  in  the  context  of  informat ion  technology  auditin g.  This  systematic  approach  not  only   consolidates  current   knowledge  but   a lso stands  as  an  essential  guide  for   researcher s  and  practitioners,  and   the  infor mation  derived  from  this  systematic  review  provides  valuable   guidance  for   future  practices  and  decisions  at  the  intersection  of  AI   and  information  technology   auditin g.   K e y w o r d s :   A nom a li e s   de te c ti on   C A E S A R 8   I nf or m a ti on t e c hnol ogy a udi t   M a c hi ne  l e a r ni ng ope r a ti ons   P r e di c ti ve  m ode l   This is an  open  acce ss artic le unde r the  CC BY - SA   license.     C or r e s pon di n g A u th or :   C hr is ti a n O va ll e   D e pa r tm e nt o de  I nge ni e r ia ,  U ni ve r s id a d T e c nol ógi c a  de l  P e r ú   L im a , P e r ú   E m a il :  dova ll e @ ut p.e du.pe       1.   I N T R O D U C T I O N   I n t h e  c ur r e nt   bu s in e s s  l a nd s c a p e , w h e r e   di g it i z a ti o n i s  om ni pr e s e nt , e n s ur i ng t he   in t e gr it y  a n d  s e c ur it y   of   in f or m a ti on   e m e r ge s  a s  a  c r it ic a l  pi l la r   to   e ns ur e   t he  c o nt i nu it y  a nd e f f i c i e n c y   of  or g a n iz a t io n s .  A c c or di n g  t o   G oe s   [ 1] ,  he   r e v e a l   th a t  12%   of  c o m p a ni e s   h a v e   e xp e r i e n c e d  s ig ni f i c a nt  s e c u r it y i n c id e n t s  i n   t he  l a s t  12   m ont h s ,   ge n e r a ti ng e c o nom ic  l o s s e s   th a t  r e a c h a n   a ve r a g e  of   5 %   of   th e ir  a nn ua l  r e v e n ue .  F ur th e r m or e ,  t he y s u gg e s t  th a t  th e   r e put a t io n a l   im pa c t   of   th e s e   in c i de nt s   c a n  b e   e v e n  m or e   d a m a gi ng,   a f f e c ti ng   th e   tr u s t  of   c u s t om e r s   a nd   bu s in e s s   p a r tn e r s .   I n   th e   f a c e   of   t he   in c r e a s in g   c om pl e xi t y   of   in f or m a ti on   s y s t e m s ,   in t e r n a l   i nf or m a ti o n  te c hn ol o gy  a u di t in g  is   e m e r gi n g  a s   a n  i nd is pe n s a bl e   to ol   f o r   a s s e s s in g  th e   e f f e c ti v e n e s s   of   t he   s e c ur i ty   m a n a g e m e n t  in   pl a c e .  H a ll e r   [ 2]   in d ic a t e   t ha t  80%   of   c om p a ni e s   c o ns id e r   i nt e r n a l  a ud it i ng  a s   a n  e s s e nt i a l   c om po ne nt   of   t he i r   r i s k   m a n a g e m e nt   s tr a t e g y.   H ow e v e r ,   c h a ll e n ge s   r e m a in ,  w it h   35 %   of   or g a n iz a t io n s   r e p or ti ng  di f f ic ul ti e s   in   a d a p ti n g  th e ir   a u di t  pr oc e d ur e s  t o  t h e  r a pi d e vo lu t io n  of  t e c hno lo g y   [ 3] .   I n  th is   c ont e xt ,  e a r ly   a nom a ly   de te c ti on  a nd  th e   im pl e m e nt a ti on  of   m a c hi ne   le a r ni ng  ope r a ti ons   ( M L O ps )   pr a c ti c e s   a r e   pr e s e nt e d  a s   in nova ti ve   s tr a te gi e s   th a t   s tr e ngt he n  in f or m a ti on  s e c ur it y  a nd  im pr ove   th e   e f f ic ie nc y  of   a udi ti ng  pr oc e s s e s .  A ls a gh e e r   e t  al .  [ 4]   in d ic a te   th a t  or ga ni z a ti ons   th a t  a dopt   a dva nc e d   a ppr oa c he s ,  s u c h  a s   M L O ps   in te gr a ti on,  e xpe r ie nc e   up  to   45%   f e w e r   s e c ur it y  in c id e nt s ,  r e duc in g  a s s oc ia te d   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I S S N :   2252 - 8938   I nt  J  A r ti f   I nt e ll ,  V ol .   13 , N o.   4 ,  D e c e m be r   2024 :   3727 - 37 38   3728   c os ts   by  30% .  I n  a ddi ti on,   N e gha w i  e t  al .  [ 5 ]   f ound   th a t  65%   of   s e c ur it y  pr of e s s io na ls   be li e ve   th a t  a r ti f ic ia l   in te ll ig e nc e  ( A I )  a nd ma c hi ne  l e a r ni ng ( M L )  w il l  pl a y a  c r uc ia l  r ol e  i n t he  f ut ur e  of  i n f or m a ti on s e c ur it y. D ue   to   th e   r is in g  nu m be r   of   c ybe r   th r e a ts ,  or ga ni z a ti ons   a r e   a dopt in g  a dva nc e d  a ppr oa c he s   to   s a f e gua r d  th e ir   di gi ta l  a s s e ts .  I t  is   a ppr e c ia te d  th a t  m os t  c om pa ni e s   ha v e   e xpe r ie nc e d  a n  in c r e a s e   in   a tt e m pt e d  c ybe r - a tt a c k s   c om pa r e d t o t he  pr e vi ous  ye a r .   T he   c om bi na ti on  of   th e s e   a ppr oa c he s ,   a lo ng  w it h   th e   a s s e s s m e nt   u s in g  th e   c ont in uous   a gi le   e nt e r pr is e   s e c ur it y  a r c hi te c tu r e   r e vi e w   in   8  dom a in s   ( C A E S A R 8)   m ode l,   pr ovi de s   a   c om pr e he ns iv e   f r a m e w or k t ha t  e nha nc e s  r e s il ie nc e  a g a in s t  pot e nt ia l  th r e a ts  a n d opti m iz e s  i nt e r na l  a udi t  pr oc e dur e s . P r e vi ous   im pl e m e nt a ti ons   ha ve   s how n   a n  im pr ove m e nt   in   th e   e f f ic ie nc y   of   a udi t  pr oc e s s e s   w he n  us in g  th e  C A E S A R 8  m ode l  a s   a n a s s e s s m e nt   to ol   [ 6] .  T he r e f or e ,  th e   que s ti on  a t  ha n d  is :  H ow   doe s   th e   im pl e m e nt a ti on  of   M L O ps   m e th odol ogy f or  a nom a ly  i de nt if ic a ti on a f f e c t  th e  i nt e gr a ti on o f   AI   pr oj e c ts  a ppl ie d i n c om put e r  a udi ti ng?  T o  c om pr e he ns iv e ly   a ddr e s s   th is   qu e s ti on,  w e   a im   to   a na ly z e   th e   e f f e c ti ve ne s s   of   pr e di c ti ve   a nom a ly   m ode ls   in   e a r ly   th r e a t  de te c ti on  in   pr oduc ti on  pr oj e c t   e nvi r onm e nt s .  R e c e nt   s tu di e s ,   A m in i  e t  al .  [ 7]   ha ve   s how n  th a t  th e s e   m ode ls   a c hi e ve   a n  80%   de te c ti on  r a te   c om pa r e d  to   tr a di ti ona l  m e th ods .  A ls o,  a   25%   de c r e a s e   in   th e   im pa c t  of   pr e vi ous ly   unde te c te d  in c id e nt s   ha s   be e n  ob s e r ve d .  T he r e f or e ,  our   obj e c ti ve   is   to   e va lu a te   th e   e f f e c t  of   th e   in te gr a ti on   of   M L O ps   on  th e   e f f e c ti ve   m a na ge m e nt   of   th e s e   m ode ls ,  pa r ti c ul a r ly   in   th e   c ont e xt   of   in te r na l   in f or m a ti on   t e c hn ol o gy   a udi ti ng.  P e lt one n  a nd  D i a s   [ 8]   s ugg e s t  th a t  or ga ni z a ti ons   th a t  a dopt   M L O ps   e xpe r ie nc e   im pr ove d  m ode l  a da pt a bi li ty ,  r e s ul ti ng  in   in c r e a s e d  e f f e c ti ve ne s s   dur in g  une xpe c te d   th r e a t  s it ua ti ons .  I n a ddi ti on,  th e y  in di c a t e   th a t  or ga ni z a ti ons   i m pl e m e nt in g  M L O ps   e xp e r ie nc e  a   r e duc ti on  in   ti m e   s pe nt   on  m a nua l  a udi ti ng  ta s ks   [ 9] .  F in a ll y,  th e y  c r it ic a ll y  e xa m in e   th e   va li di ty   a nd  a ppl ic a bi li ty   of   th e   C A E S A R 8  m ode l  a s   a n  a s s e s s m e nt   to ol   in   th is   a r e a .  A c c or di ng  to   L of t  e t  a l.   [ 10] ,   a   pos it iv e   c or r e la ti on  of   85%   w a s   f ound  b e twe e n  th e   e va lu a ti ons   c ondu c te d  u s in g  th e   C A E S A R 8  m ode l  a nd   th e   e f f e c ti ve n e s s   of   th e   im pl e m e nt e d s e c ur it y c ont r ol s , i ndi c a ti ng i ts  us e f ul ne s s   a s  a n e va lu a ti on  s ta nda r d.   T o   s y s t e m a t ic a ll y  a d dr e s s   t he   pr op os e d   obj e c ti v e s ,   w e   w il l   c o ndu c t   a   c om pr e h e n s i ve   r e vi e w   o f   t he   a c a d e m ic  l it e r a tu r e . T he  s e a r c h  f or   r e l e v a n t  s tu di e s  w i ll   b e   p e r f o r m e d i n da ta ba s e s ,  f o ll o w i ng s p e c if i c   i nc lu s io n  c r it e r i a   th a t   f oc u s   on   w or k s   t ha t  im p le m e nt   pr e d ic t iv e   m o de ls   of   a n om a li e s   a nd   M L O p s ,   e va l u a te d   u s i ng   th e   C A E S A R 8   m o de l  i n  th e   c o nt e xt   of   i nt e r n a l   in f or m a ti on   t e c hn o lo gy   a u di ti ng .  S tu d y  s e l e c ti o n,   d a t a   e x tr a c t io n ,  a nd   qu a li t y   a s s e s s m e nt   w i ll   b e   c ond uc te d  to   e n s ur e   th e   in te gr it y   a n d  obj e c ti vi t y  of   th e   pr oc e s s .   T hi s   m e t hod ol ogy  w il l  pr ovi de   a   s tr o ng  f oun d a ti on  f or   c o m pr e h e ns iv e ly   a d dr e s s i ng  t he   r e s e a r c h  qu e s ti on  a nd   r e a c h in g  m e a ni ngf ul   c on c lu s i on s   w i th i n  th e   pr op o s e d  s c o pe   o f   s tu dy   [ 11] – [ 1 5] .   I t   i s   im p or t a nt   t o  not e   th a t   c om put e r   s e c ur it y  a nd  a ud it   e f f i c i e n c y  a r e   not   onl y  r e la te d  to   t e c hn ol o gy  but   a l s o  to   s t a f f   tr a i ni n g.   M u kho pa dh ya y  a n d  J a in   [ 16 ]   s t a t e   t ha t  7 0%   of   s e c ur it y  br e a c h e s   a r e   c a u s e d  b y  hum a n   e r r or ,   e m p ha s i z i ng  th e   s i gni f ic a n c e   of   c ont i nu ou s   tr a i ni ng  pr ogr a m s .  T h e r e f or e ,  a   c o m pr e he n s iv e   a p pr o a c h  t ha t  i nc lu d e s   p e r s o nn e l   tr a i ni n g  a n d  a w a r e n e s s   c a n   a l s o  be ne f it   th e   im p le m e nt a ti o n  of   pr e di c ti v e   m o de ls   a nd   M L O p s .  I n   t he   l a s t  t w o   ye a r s ,   th e r e   ha s   b e e n  a n   in c r e a s e   in   th e   a dop ti o n  of   A I - b a s e d   a ppr o a c h e s   i n  in t e r n a l   a ud it i ng   [ 17] .  T hi s   tr e nd   e m p ha s iz e s   t he   im por ta nc e   a n d  i n c r e a s in g  a c c e p ta nc e   of   a d va n c e d  t e c hn ol ogi e s   i n  a u di t   e nvi r on m e nt s .   W he n  im pl e m e n ti n g   M L O p s ,   it   i s   c r u c i a l   to   not e   t ha t  60%   of   or g a ni z a ti on s   th a t   ha ve   a d opt e d   M L O p s   r e por t   a   3 0%   im pr o v e m e nt   i n   c ol l a b or a ti o n   b e tw e e n   s e c ur it y  a nd   d e v e l opm e nt   t e a m s   [ 1 8] .   T h i s   f in di n g   un de r s c or e s   th e   s i gni f ic a n c e   of   c r o s s - f un c ti on a l  c ol la bor a ti on  f or   t he   s uc c e s s   of   ML - b a s e d  s e c u r it y   in it i a ti ve s .  R e t ur n in g  to   t h e   C A E S A R 8  m od e l,   it   ha s   b e e n  ob s e r v e d  t ha t  it s   a p pl i c a ti o n  ha s   l e d  to   a   s ig ni f i c a nt   im pr ov e m e nt   in   t h e   a li gnm e n t  of   in t e r na l  a u di t   pr a c ti c e s   w it h  in t e r n a t io n a l ly   r e c ogn iz e d   s e c ur it y   s t a n da r ds .   L of t   e t   al .   [ 10]   s h ow s   th a t  80%   of   or g a n iz a t io n s   r e p or t   im pr o ve d   a li g nm e nt   w it h  s e c ur it y   f r a m e w or k s   s uc h   a s   I S O   27 00 1  a f t e r   im pl e m e n ti n g  C A E S A R 8.   M or e o ve r ,  da ta   s ho w s   t ha t  i m pl e m e n ti ng   ML   p r o c e s s e s   t hr ou gh   M L O p s   c a n   l e a d  to   a   1 5%   r e d uc ti o n  i n  o pe r a t io n a l   c o s t s   r e l a t e d  t o  s e c ur it y  m a n a g e m e nt   f or   70%   of   or g a n iz a ti on s   [ 19] .  T h e   in t e gr a ti on  of   pr e d ic ti v e   a n om a ly   m od e l s   s upp or t e d  by  M L O p s ,  e v a l ua te d  u s i ng  th e   C A E S A R 8  m od e l,   r e pr e s e nt s   a   c o m pr e h e n s i ve   a p pr o a c h  t o  s tr e ng th e ni ng  i nf or m a ti on  t e c hn ol o gy   s e c ur it y  a nd  o pt i m i z in g  in te r na l  a ud it   pr o c e s s e s .       2.   M E T H O D O L O G Y   I n  th e   dyna m ic   e nvi r onm e nt   o f   in te r na l  in f or m a t io n  te c h no lo g y   a udi ti ng,  w he r e   c ons ta nt ly   e vol vi ng   in f or m a ti on  s e c ur it y  th r e a ts   de m a nd   th e   im pl e m e nt a ti on   of   a d va nc e d  te c hnol ogi e s   to   s a f e gua r d  th e   in te gr it y  a nd  s e c ur it y  of   s ys te m s ,  a   r ig or ous   m e th odol ogy  is   pr opos e d  t o  pr ot e c t  th e   in te gr it y   a nd  s e c ur it y  of   s ys te m s   a ga in s t  c on s ta nt ly   e vol vi ng  in f or m a ti on  s e c ur it y  th r e a ts . T he   m e th odol ogy  f ol lo w s   a   s tr uc tu r e d  a ppr oa c h  th a t  be gi ns   w it h  th e   pr e c is e   f or m ul a ti on  o f   th e   r e s e a r c h  que s ti on.  T he   in te gr a ti on  of   th e   M L O ps   m e th odol ogy  f o r   a nom a ly  i de nt if ic a ti on i n  AI   pr oj e c ts  a ppl ie d t o c om put e r  a udi ti ng, t oge th e r  w it h s pe c ia li z e d t ool s  s uc h a s  t he   C A E S A R 8 m ode l,  i s  e m e r gi ng a s  a  pot e nt ia ll y i nnova ti ve  s tr a te gy.       Evaluation Warning : The document was created with Spire.PDF for Python.
I nt  J  A r ti f   I nt e ll     I S S N :   2252 - 8938       M e th odol ogy  appli e d t o c om put e r  audit  w it h ar ti fi c ia l  in te ll ig e nc e   …   ( She y la  R e y m unde z  Suar e z )   3729   2.1.   R e s e ar c h  q u e s t io n   T h e   r e s e a r c h qu e s ti o n  f or  t hi s  s y s t e m a ti c   r e vi e w   f o c u s e s  on   un de r s t a n di n g t h e  i m p a c t  of  i m p le m e nt i ng   th e   M L O p s   m e th od ol o gy  on   a nom a l y  i d e nt if i c a t io n  d ur i ng  th e   in t e gr a ti on   of   A I   pr o je c t s   a ppl ie d  i n  c om pu te r   a ud it i ng .  T h e   a c r on ym   pop ul a ti on,   in te r ve nt i on ,  c om pa r is on ,  o ut c om e   ( P I C O )   pr ovi de s   a   lo g ic a l   s tr u c t ur e   f or   br e a ki ng  do w n  th e   r e s e a r c h  q ue s t io n .  I n  th is   c ont e x t,   t h e   po pu la t io n  ( P )   i s   de f in e d  a s   AI   pr o je c t s   a p pl i e d  in   c om put e r   a u di t in g , t he  i n te r ve nt i on ( I )  r e f e r s   to  t he  a ppl ic a t io n  of  t h e   M L O p s   m e th o do lo g y i n t he s e  pr oj e c ts , t he   c om pa r i s on  ( C )   c o ul d  in v ol v e   p r oj e c t s   th a t  do  n ot   u s e   M L O p s   or   us e   o th e r   m e th od s ,  a nd  t he   out c o m e   ( O )   f oc us e s   o n  t he   id e n ti f i c a ti on  of   a no m a li e s   dur in g   th e   in t e gr a t io n  of   th e s e   pr o je c t s .   A   ta bl e   h a s   b e e n  c r e a t e d  to   pr ov id e   a   s y nt h e s i s   vi s ua ll y   a n d   c on c i s e ly ,   th i s   t a b le   i nc lu d e s   r e l e v a n t   c om p on e nt s   s u c h   a s   th e   r e s e a r c h  que s ti o n,  th e   P I C O   b r e a k do w n,   a nd   th e   ke y  s o ur c e s   u s e d  i n  th e   r e vi e w .   T a bl e   1  s e r v e s   a s   a   vi s ua l  r e s our c e   t o  f a c il i ta t e  a  qu ic k  a n d  c l e a r  un de r s ta ndi ng  of  t h e   e s s e nt i a l  e l e m e n t s   of  t he  r e s e a r c h.       T a bl e  1. R e s e a r c h  s ynt he s i s   R e s e a r c h  que s t i on   ¿ H ow  doe s  t he  i m pl e m e nt a t i on of  t he  M L O ps  m e t hodol ogy a f f e c t  t he  i de nt i f i c a t i on of  a nom a l i e s  i n t he  i nt e gr a t i on of   AI   pr oj e c t s  a ppl i e d i n c om put e r  a udi t i ng?   P E A K   br e a kdow n   P :  T hi s  r e vi e w   f oc us e s  on  s pe c i f i c   AI   pr oj e c t s  a p pl i e d  i n c om p ut e r  a u di t i ng,  a d d r e s s i ng .    I :  i m p l e m e nt a t i on  o f   t he  M L O ps  m e t h od ol o gy  c o m pa r e d  t o  p r oj e c t s  t ha t  d o n ot  us e  M L O ps   o r  a ppl y  ot he r  m e t hod ol og i e s .   C :  c om p a r i s o n w i l l   i nc l u de   a s pe c t s   of  e f f i c i e nc y,  pe r f o r m a nc e , a nd  a no m a l y  de t e c t i o n  du r i ng  i n t e g r a t i on .    O :   ob j e c t i v e  i s  t o  e va l ua t e   t he  i m pa c t   of  M L O ps  o n t he   e f f e c t i ve  i d e n t i f i c a t i o n o f   a no m a l i e s   i n  t h e s e   pr oj e c t s   K e y  s our c e s   -   A kki ne ni   e t   al .   [ 3]   f ound  t ha t   t he   s uc c e s s f ul   i m pl e m e nt a t i on  of   M L O ps   s i gni f i c a nt l y  i m pr ove d  t he   l i f e c yc l e   e f f i c i e nc y of   AI   m ode l s , s ugge s t i ng a  pos i t i ve  i m pa c t  on  i nf or m a t i on t e c hnol og y   a udi t  pr oj e c t s .   -   S pe t h  e t  al .   [ 20]  unde r l i ne  t he  ne e d t o a da pt   M L O p s  t o t he   s pe c i f i c  c ha r a c t e r i s t i c s  of  c om put e r  a udi t i ng, hi ghl i ght i ng   t he  i m por t a nc e  of  c ons i de r i ng t he  pa r t i c ul a r  a s pe c t s  of  t hi s  di s c i pl i ne  dur i ng i m pl e m e nt a t i on.   -   M i ñon  e t   al .   [ 21]   pr ovi de   a   c om pr e he ns i ve   c om pa r a t i ve   r e vi e w   of   va r i ous   m e t hodol ogi e s   u s e d   i n  AI   pr oj e c t s ,   of f e r i ng a  ba s i s  f or  c ont r a s t i ng t he  e f f e c t i ve ne s s  of  M L O ps  w i t h ot he r  c om m on  pr a c t i c e s .   -   G ur s e s   a nd  M ont i   [ 22]   pr e s e nt   c a s e   s t udi e s   t ha t   e xpl or e   a nom a l y  de t e c t i on  a nd  pe r f or m a nc e   i m pr ove m e nt   i n   s i m i l a r   AI   pr oj e c t s , pr ovi di ng va l ua bl e  i ns i ght s  f or  i m pa c t  e va l ua t i on.       I n  a ddi ti on,  a   c om pa r a ti ve   ta bl e   ha s   b e e n  c r e a te d  to   out li ne   th e   ke y  a s pe c ts   c ove r e d  by   th e   f our   s e le c te d  s tu di e s :  A kki ne ni   e t  al .   [ 3 ] ,  S pe th   e t   al .   [ 20] ,  M iñ on  e t  al .   [ 21 ] ,  a nd  G ur s e s   a nd  M ont i  [ 22 ] .  T a bl e   2   pr e s e nt s   c om pr e he n s iv e   in f or m a ti on  on  th e   im pa c t  of   M L O ps ,  th e   a da pt a ti on  of   M L O ps   to   c om put e r   a udi ti ng,  a   c om pa r is on  w it h  o th e r   m e th odol ogi e s ,  a nd  th e   in c lu s io n  of   c a s e   s tu di e s .  T he   ta bl e   pr e s e nt s   th e   s pe c if ic   c ont r ib ut io ns   of   e a c h   s tu dy,   s e r vi ng  a s   a   qui c k  r e f e r e nc e   to ol   to   a s s e s s   th e ir   pe r s pe c ti ve s   a nd  li m it a ti ons .  I n  a   w a y,  th e   c om pa r a ti ve   ta bl e   hi ghl ig ht s   th e   di ve r s it y  of   a ppr oa c he s   a nd  c onc lu s io ns   in   th e   li te r a tu r e   r e vi e w e d,  pr ovi di ng  a   s ol id   ba s is   f or   unde r s t a ndi ng  t he   a ppl ic a ti on  of   M L O p s   in   A I   pr oj e c ts   in   th e   e xa c t  f ie ld  of  c om put e r  a udi ti ng.       T a bl e  2. Q ui c k ove r vi e w  of  t he  ke y  a s pe c ts  a ddr e s s e d   A s pe c t s   A ut hor s '  a ppr oa c he s  a nd f i ndi ngs   I m pa c t  of   M L O p s   T he   f i ndi ngs   of   A kki ne ni   e t   al .   [ 3]   r e ve a l   a   s i gni f i c a nt   pos i t i ve   i m pa c t   of   t he   i m pl e m e nt a t i on  of   t he   M L O ps   m e t hodol ogy   on t he  l i f e  c yc l e  e f f i c i e nc y   of  A I  m ode l s .   I n  t he   s t udy  by  S pe t h  e t   al .   [ 20] ,  t he   i m por t a nc e   of   a da pt i ng  t he   M L O p s   m e t hodol ogy  t o  t he   s pe c i f i c   c ha r a c t e r i s t i c s   of   c om put e r   a udi t i ng  i s   e m pha s i z e d.   M i ñon  e t   al .   [ 21]   of f e r   a   de t a i l e d  c om pa r a t i ve   r e vi e w   of   va r i ous   m e t hodol ogi e s   us e d  i n  A I   pr oj e c t s .   T he   r e s e a r c h  by  G ur s e s   e t   al .   [ 22]   pr ovi de s   s pe c i f i c   c a s e   s t udi e s   t ha t   e xpl or e   a nom a l y   de t e c t i on  a nd  pe r f or m a nc e   i m pr ove m e nt  i n A I  pr oj e c t s .   A da pt a t i on t o  i nf or m a t i on  t e c hnol ogy   a udi t   A l t hough  A kki ne ni   e t   al .   [ 3]   do  not   s pe c i f y  de t a i l s   a bout   t he   a da pt a t i on  of   M L O p s   t o  c om put e r   a udi t i ng,  t he   pos i t i ve   r e s ul t s   s ugge s t   t ha t   t he   m e t hodol ogy  c a n  be   a ppl i e d  e f f e c t i ve l y  i n  t hi s   c ont e xt .   S pe t h  e t   al .   [ 20]   hi ghl i ght   t he   ne e d  t o  a da pt   M L O p s   t o  t he   pa r t i c ul a r i t i e s   of   c om put e r   a udi t i ng,  unde r l i ni ng  t he   i m por t a nc e   of   c ons i de r i ng  t he   s pe c i f i c   a s pe c t s   of   t hi s   di s c i pl i ne   w he n  i m pl e m e nt i ng  t he   m e t hodol ogy.   T he   a da pt a t i on  of   M L O p s   t o  c om put e r   a udi t i ng   i s   not   de t a i l e d   i n  t he   c om pa r a t i ve   r e vi e w   by  M i ñon  e t  al .   [ 21] .   N o  s pe c i f i c   i nf or m a t i on   on  t he   a da pt a t i on  of   M L O ps   t o   i nf or m a t i on  t e c hnol ogy   a udi t i ng  i s   pr ovi de d  i n  t he   s t udy by G ur s e s   e t  al .   [ 22 ] .   C om pa r i s on  w i t h ot he r   m e t hodol ogi e s   A kki ne ni   e t   al .   [ 3 ]   do  not   de t a i l   t he   c om pa r i s on  of   M L O p s   w i t h  ot he r   m e t hodol ogi e s   i n  t he i r   s t udy.  T he   a bs e n c e   of   t hi s   i nf or m a t i on  c oul d  be   c ons i de r e d  a   l i m i t a t i on  of   t he  s t udy.   S pe t h  e t   al .   [ 20]   do  not   s pe c i f i c a l l y  a ddr e s s   a   c om pa r i s on  w i t h  ot he r   m e t hodol ogi e s   i n  t he i r   s t udy,  f oc us i ng  on  t he   i m por t a nc e   of   a da pt i ng   M L O p s   t o  c om put e r   a udi t i ng.   M i ñon  e t   al .  [ 21]   of f e r   a   de t a i l e d  c om pa r a t i ve   r e vi e w   of   va r i ous   m e t hodol ogi e s   us e d  i n  A I   pr oj e c t s .   T he   r e s e a r c h  by  G ur s e s   e t   al .   [ 22]   doe s   not   i nc l ude   a   di r e c t   c om pa r i s on  w i t h  ot he r   m e t hodol ogi e s   i n  t he i r   c a s e   s t udi e s .  H ow e v e r ,  t he   c a s e   s t udi e s   of f e r   va l ua bl e   i ns i ght s   i nt o  t he   e f f e c t i ve ne s s   of   M L O p s   i n  i de nt i f yi ng  a nom a l i e s  i n A I  pr oj e c t s .   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I S S N :   2252 - 8938   I nt  J  A r ti f   I nt e ll ,  V ol .   13 , N o.   4 ,  D e c e m be r   2024 :   3727 - 37 38   3730   2.2.  S e ar c h  s t r at e gy   T he   m a in   obj e c ti ve   of   th e   s e a r c h  s tr a te gy  f or   th is   s ys te m a ti c   r e vi e w   is   to   c ol le c t  r e le va nt   e vi de nc e   c om pr e he ns iv e ly   f r om   two  k e y  da ta b a s e s :  P ubM e d   a nd   S c opus ,  us in g  th e   P I C O   m e th odol ogy  to   s tr uc tu r e   th e   s e a r c h  e f f e c ti ve ly   a nd  a n s w e r   th e   r e s e a r c h  que s ti on.  T a bl e   3  pr e s e nt s   th e   P I C O   c om pone nt s   w it h  th e ir   a s s oc ia t e d  ke yw or d s ,  w hi c h   a ll ow s   th e   id e nt if ic a ti on  of   th e   e s s e nt ia l  te r m s   th a t  w il l  de f in e   th e   s e a r c h  in   th e   s e le c te d  da ta b a s e s .  A c c or di ng  to   th e   popula ti on,  th is   r e f e r s   t o  s pe c if ic   pr oj e c ts   of   AI   a ppl ie d  to   c om put e r   a udi ti ng,  w hi le   th e   in te r ve nt io n  c ove r s   th e   a ppl ic a ti on  of   th e   M L O ps   m e th odol ogy.  T he   c om pa r is on  in c lu de s   pr oj e c ts   w it hout   M L O ps   or   w it h  o th e r   m e th odol ogi e s ,  a nd  th e   r e s ul t  f oc us e s   on  th e   r e c ogni ti on  of   a nom a li e s   in   th e   uni on  of   th e s e   pr oj e c ts . T a bl e   4  di s pl a ys   th e   s e a r c h e qua t io n  f or   e a c h  P I C O   c om pone nt   in   P ubM e d a nd  S c opus   da ta ba s e s . T he   e qu a ti ons   w e r e   c a r e f ul ly   de ve lo pe d  w it h  lo gi c a l  ope r a to r s   a nd  r e la te d   te r m s   to   e xpa nd   s e a r c h c ove r a g e .       T a bl e  3. P I C O  c om pone nt s  w it h ke yw or ds   C om pone nt   K e yw or ds   P   I nt e r na l   c om put e r   a udi t or s ,  a udi t   t e a m s ,  a udi t   e xpe r t s ,  i nf or m a t i on  s e c ur i t y  pr of e s s i ona l s ,  i nf or m a t i on  s e c ur i t y   e xpe r t s   I   P r e di c t i ve   a nom a l y  m ode l ,  pr e di c t i ve   a nom a l y  s y s t e m ,  i r r e gul a r i t y  de t e c t i on  a l gor i t hm ,  M L O p s ,  ope r a t i ona l   pr a c t i c e s   of   ML ,  C A E S A R 8  m ode l ,  C A E S A R 8  a ppr oa c h,  i m pl e m e nt a t i on,  de pl oym e nt ,  e xe c ut i on,  a ppl i c a t i on,  i nt e r na l  c om put e r  a udi t , i nt e r na l  r e vi e w  of  c om put e r  s ys t e m s , s e c ur i t y i nt e r na l  a udi t   C   T r a di t i ona l   a udi t   m e t hods ,  c onve nt i ona l   a udi t   t e c hni que s ,  c onve nt i ona l   a ppr oa c he s   t o   a nom a l y  de t e c t i on,  t r a di t i ona l   m e t hods   f or   de t e c t i ng  i r r e gul a r i t i e s ,  c onve nt i ona l   t e c hni que s   f or   a nom a l y  de t e c t i on,  c onve nt i ona l   c om put e r   a udi t ,   t r a di t i ona l  a udi t  pr a c t i c e s , c onve nt i ona l  a udi t  m e t hods   O   P r e c i s i on,  a c c ur a c y,  r e l i a bi l i t y,  r i gor ,  e f f i c i e nc y,  pr oduc t i vi t y,  pe r f or m a nc e ,  e f f e c t i ve ne s s ,  i m pa c t ,  r e s ul t s ,  a nom a l y   de t e c t i on,  i de nt i f i c a t i on  of   i r r e gul a r i t i e s ,  de t e c t i on  of   i s s ue s ,   i m pr ove m e nt   i n  t he   e f f e c t i ve ne s s   of   c om put e r   a udi t ,   opt i m i z a t i on of  e f f i c i e nc y i n a udi t , i nc r e a s e  i n e f f e c t i ve ne s s  i n c om put e r  r e vi e w       T a bl e  4. S e a r c h e qu a ti on by P I C O  c om pone nt  i n P ubM e d a nd S c opus   S e a r c h e qua t i on by c om pone nt   P ubM e d   S c opus   ( T I T L E - A B S - K E Y   ( " I n t e r na l  c o m pu t e r  a udi t o r s "  O R  "A ud i t   t e a m s " O R   "A u di t  e xpe r t s " O R  " I n f or m a t i o n   s e c ur i t y  p r of e s s i o na l s "  O R  "I nf o r m a t i on  s e c u r i t y  e xpe r t s " )   A N D   T I T L E - A B S - K E Y  ( " P r e d i c t i v e   a n om a l y   m od e l "   O R   "P r e di c t i ve   a n om a l y   s ys t e m "   O R   " I r r e gu l a r i t y  de t e c t i o n  a l g or i t hm "   O R   "M L O ps "  O R   "O pe r a t i ona l   p r a c t i c e s   o f   ML "   O R   "C A E S A R 8 m od e l "   O R   " C A E S A R 8  a pp r o a c h"  O R  "I m p l e m e n t a t i o n"   O R   " D e p l o ym e nt "  O R   " E xe c ut i o n"   O R   "A pp l i c a t i on "   O R   " I n t e r na l   c om pu t e r   a u di t "  O R   " I n t e r na l   r e vi e w   of   c o m p ut e r   s ys t e m s "   O R   " S e c u r i t y   i nt e r na l   a u di t " )   O R   T I T L E - A B S - K E Y   ( " T r a di t i ona l   a ud i t   m e t h ods "   O R   "C on ve n t i on a l   a udi t   t e c h ni que s "  O R   " C o nve nt i o na l   a pp r oa c h e s   t o  a nom a l y  de t e c t i o n"  O R   "T r a di t i o na l   m e t ho ds   f o r   de t e c t i n g  i r r e gu l a r i t i e s "   O R   "C o nve nt i on a l   t e c hn i q ue s   f or   a no m a l y  de t e c t i o n"   O R   "C o nve nt i o na l   c o m p ut e r   a ud i t "  O R   " T r a d i t i on a l   a u di t   p r a c t i c e s "  O R   "C on v e nt i on a l   a ud i t   m e t h ods " )   A N D   T I T L E - A B S - K E Y   ( "P r e c i s i on "  O R   " A c c u r a c y"   O R   "R e l i a bi l i t y"   O R   "R i g or "   O R   " E f f i c i e nc y"   O R   "P r od uc t i vi t y"   O R   "P e r f o r m a n c e "  O R   "E f f e c t i ve n e s s "  O R   " I m pa c t "   O R   " R e s ul t s "  O R   " A n om a l y   de t e c t i on "   O R   " I de nt i f i c a t i on   of   i r r e gu l a r i t i e s "   O R   "D e t e c t i on   of   i s s ue s "  O R   " I m p r ov e m e nt   i n   t he   e f f e c t i v e ne s s   o f  c o m p ut e r   a ud i t " O R  "O pt i m i z a t i o n o f   e f f i c i e nc y i n a udi t "  O R  " I n c r e a s e  i n e f f e c t i v e ne s s   i n   c om put e r   r e v i e w "   ) )   26   112   ( T I T L E - A B S - K E Y   ( " I n t e r na l  c o m pu t e r  a udi t o r s "  O R  "A ud i t   t e a m s " O R   "A u di t  e xpe r t s " O R  " I n f or m a t i o n   s e c ur i t y  pr o f e s s i ona l s "  O R   " I n f or m a t i on  s e c u r i t y   e x pe r t s " )   O R   T I T L E - A B S - K E Y   ( "P r e di c t i ve   a no m a l y   m od e l "   O R   "P r e di c t i ve   a n om a l y   s ys t e m "   O R   " I r r e gu l a r i t y  de t e c t i o n  a l g or i t hm "   O R   "M L O ps "  O R   "O pe r a t i ona l   p r a c t i c e s   o f   ML "   O R   "C A E S A R 8 m od e l "   O R   " C A E S A R 8  a pp r o a c h"  O R  "I m p l e m e n t a t i o n"   O R   " D e p l o ym e nt "  O R   " E xe c ut i o n"   O R   "A pp l i c a t i on "   O R   " I n t e r na l   c om pu t e r   a u di t "  O R   " I n t e r na l   r e vi e w   of   c o m p ut e r   s ys t e m s " O R  "S e c u r i t y  i nt e r na l   a ud i t ")   A N D   T I T L E - A B S - K E Y  ( " T r a di t i ona l  a ud i t  m e t hods "   O R   "C on ve n t i on a l   a udi t   t e c h ni que s "  O R   " C o nve nt i o na l   a pp r oa c h e s   t o  a nom a l y  de t e c t i o n"  O R   "T r a di t i o na l   m e t ho ds   f o r   de t e c t i n g  i r r e gu l a r i t i e s "   O R   "C o nve nt i on a l   t e c hn i q ue s   f or   a no m a l y  de t e c t i o n"   O R  "C onv e nt i o na l  c o m p ut e r  a u di t "  O R  " T r a di t i ona l  a ud i t  p r a c t i c e s " O R  "C on ve n t i o na l  a udi t   m e t ho ds " ) )   1072   179       T hi s   s tr a te gy  s e e k s   to   c om pr e he ns iv e ly   a ddr e s s   th e   r e s e a r c h   que s ti on,  e ns ur in g  th e   in c lu s io n  of   r e le va nt   a nd  c ur r e nt   s tu di e s   th a t  c ont r ib ut e   to   th e   a na ly s is   of   th e   im pl e m e nt a ti on  of   M L O ps   in   A I   p r oj e c ts   in   c om put e r   a udi ti ng.  T he   s e a r c h  s tr a te gy   im pl e m e nt e d  f or   th is   s ys te m a ti c   r e vi e w   w a s   gui de d  by   th e   pr e f e r r e d  r e por ti ng  it e m s   f or   s ys te m a ti c   r e vi e w s   a nd  m e ta - a na ly s e s   ( P R I S M A )   m e th odol ogi c a l  gui de li ne s ,  e ns ur in g  a   s tr uc tu r e d  a nd  tr a ns pa r e nt   a ppr oa c h  a t  a ll   s ta ge s   of   th e   pr oc e s s .  T h e   c om pr e he ns iv e   li te r a tu r e   s e a r c h  w a s   c onduc te d  in   two  k e y  da ta ba s e s ,  P ubM e d   a nd  S c opu s ,  us in g  c a r e f ul ly   s e le c te d  s e a r c h  te r m s   a c c or di ng  to   th e   P I C O   c om pone nt s .  I nc lu s io n  a nd   e xc lu s io n   c r it e r ia   w e r e   de f in e d  to   e n s ur e   th e   r e le va nc e   a nd  qu a li ty   of   th e   s e le c te d   s tu di e s .   W e   in c lu de d  pr im a r y  s tu di e s ,  s ys te m a ti c   r e vi e w s ,  a nd   m e ta - a na ly s e s   th a t  di r e c tl y  a ddr e s s e d   th e   im pl e m e nt a ti on  of   th e   M L O p s   m e th odol ogy  in   AI   pr oj e c t s   a ppl ie d  to   c om put e r   a udi ti ng.  I n  a ddi ti on,  th e   s e a r c h  w a s   li m it e d  to   s tu di e s   publ is h e d  be tw e e n  2018   a nd  2024   in   E ngl is h  a nd   S pa ni s h  to   m a in ta in   r e le va n c e   a nd  ge ogr a phi c   di ve r s it y.  T a bl e s   5  a nd  6  di s c us s   th e   in c lu s io n   a nd  e xc lu s io n  c r it e r ia   a nd  pr ovi de   a   de ta il e d   Evaluation Warning : The document was created with Spire.PDF for Python.
I nt  J  A r ti f   I nt e ll     I S S N :   2252 - 8938       M e th odol ogy  appli e d t o c om put e r  audit  w it h ar ti fi c ia l  in te ll ig e nc e   …   ( She y la  R e y m unde z  Suar e z )   3731   ove r vi e w   of   th e   r u le s   a ppl ie d  dur in g  s our c e   s e le c ti on.  E xc lu s io n  c r it e r ia   w e r e   a ppl ie d  to   e xc lu de   e di to r ia ls ,   c om m e nt a r ie s ,  a nd  s tu di e s   not   di r e c tl y  r e la te d  to   th e   a ppl ic a ti on  of   M L O ps   in   th e   c ont e xt   o f   c om put e r   a udi ti ng.   T hi s   pr oc e s s   e ns ur e d  c om pl e te ne s s   a nd  c on s is te n c y  i n  th e   s e le c ti on  of   s tu di e s ,  c ont r ib ut in g  to   th e   m e th odol ogi c a l  s oundne s s   of   th e   s ys te m a ti c   r e vi e w .  F ig ur e   1  s how s   th e   a ppl ic a ti on  of   th e   P R I S M A   m e th odol ogy  a nd  th e   m e ti c ul ous   a tt e nt io n  to   th e   e s ta bl is he d  in c lu s io n  a nd  e xc lu s io n  c r it e r ia ,  w hi c h  a ll ow e d   th e  i de nt if ic a ti on of  r e le va nt  s our c e s  t ha t  w il l  s uppor t  th e  obj e c t iv e s  of  t hi s  s ys te m a ti c  r e vi e w .       T a bl e  5. I nc lu s io n  c r it e r ia   a nd i t   i s  j us ti f ic a ti on   I nc l us i on  c r i t e r i a   J us t i f i c a t i on   -   I nc l ude  pr i m a r y s t udi e s , s y s t e m a t i c  r e vi e w s , a nd m e t a - a na l ys e s .   P r i m a r y  s t udi e s   pr ovi de   de t a i l e d  i nf or m a t i on,   w hi l e   s ys t e m a t i c   r e vi e w s   pr ovi de  a n ove r vi e w  of  t he   e xi s t i ng l a nds c a pe .   -   I nc l ude  s t udi e s  publ i s he d be t w e e n 2018 a nd 2024.   T hi s  t i m e  r a nge  gua r a nt e e s  t he  i nc l u s i on of  r e c e nt   s t udi e s  r e l e va nt  t o t he   c ur r e nt  M L O ps  m e t hodol ogy.   -   I nc l ude  s t udi e s  i n E ngl i s h a nd S pa ni s h.   T he   i nc l us i on  of   m ul t i pl e   l a ngua ge s   e xpa nd s   t he   g e ogr a phi c a l   a nd   l i ngui s t i c  di ve r s i t y of  t he  r e vi e w .   -   D i r e c t l y  a ddr e s s   t h e   i m pl e m e nt a t i on  of   M L O p s   i n  AI   pr oj e c t s  i n c om put e r  a udi t i ng.   T he   a i m   i s   t o   e ns ur e   t he   r e l e va n c e   a nd   f oc us   of   t he   i nc l ud e d  s t udi e s   i n   r e l a t i on t o t he  r e s e a r c h que s t i on.       T a bl e  6. E xc lu s io n  c r it e r ia   a nd i t   i s  j us ti f ic a ti on   E xc l us i on  c r i t e r i a   J us t i f i c a t i on   -   E xc l ude   e di t or i a l s ,  c om m e nt s   a nd   s t udi e s   not   r e l a t e d  t o   t he   i m pl e m e nt a t i on of  M L O ps  i n c om put e r  a udi t i ng.   S our c e s   t ha t   do  not   di r e c t l y  c ont r i but e   t o  t he   e va l ua t i on  of   t he   i m pa c t  of  M L O ps   a r e  e xc l ude d.           F ig ur e  1. I de nt if ic a ti on of  s tu di e s  t hr ough P R I S M A  da ta ba s e  a n d r e gi s tr ie s       T he   s e a r c h  s tr a te gy,  a li gne d   w it h  th e   P R I S M A   m e th odol ogy,  w a s   de ve lo pe d   in   th r e e   f unda m e nt a l  pha s e s   to   e n s ur e   th e   c om pl e te ne s s   a nd  qu a li ty   of   th e   s ys t e m a ti c   r e vi e w   [ 23] .  I n  th e   f ir s t  id e nt if ic a ti on  pha s e ,   ke y  da ta ba s e s   w e r e   s e le c te d,  s u c h  a s   P ubM e d  a nd  S c opus ,  r e c ogni z e d  f or   th e ir   br e a dt h  a nd  r e le va nc e   in   th e   f ie ld   of   AI   a nd  c om put e r   a udi ti ng.  T hi s   s tr a te gi c  c hoi c e   e n s ur e d  th e   in c lu s io n  of   a   r e pr e s e nt a ti ve  s pe c tr um   of   a va il a bl e   li te r a tu r e ,  e s s e nt ia l  to   a ddr e s s   th e   c om pl e xi ty   of   im pl e m e nt in g  M L O ps   in   c om put e r   a udi t  pr oj e c ts .   I n  a ddi ti on,  dupl ic a te   r e c or ds   w e r e   e li m in a te d  to   opt im iz e   s o ur c e   s e le c ti on  a nd  e n s ur e   th e   in te gr it y  of   th e   pr oc e s s .  T he   s e c ond  pha s e ,  s c r e e ni ng,  f oc us e d  on  th e   a ppl ic a ti on  of   pr e vi ous ly   de f in e d  in c lu s io n  a nd  e xc lu s io n  c r it e r ia   [ 23] ,  f or   th is ,  a n  in it ia l  s c r e e ni ng  ba s e d  on  ti tl e s   a nd  a bs tr a c ts   w a s   pe r f or m e d,  w hi c h  Evaluation Warning : The document was created with Spire.PDF for Python.
                      I S S N :   2252 - 8938   I nt  J  A r ti f   I nt e ll ,  V ol .   13 , N o.   4 ,  D e c e m be r   2024 :   3727 - 37 38   3732   e f f e c ti ve ly  e xc lu de d s tu di e s  t ha t  di d not m e e t  th e  e s ta bl is he d r e le va nc e  c r it e r ia . D ur in g t hi s  pha s e , r e por ts  not   r e tr ie ve d  w e r e   a l s o  a n a ly z e d   to   e n s ur e   a nd   ta ke   in to   a c c ount   a ll   r e le va nt   s our c e s .  I n  th e   th ir d  pha s e ,  w e   c onduc te d  a   c om pr e he ns iv e   r e vi e w   of   th e   r e m a in in g  a r ti c le s ,  s ys te m a ti c a ll y  a ppl yi ng  th e   in c lu s io n  a nd  e xc lu s io n  c r it e r ia .  T hi s   f in a l  ph a s e   a ll ow e d  u s   to   id e nt if y  a nd   s e le c t   th e   s tu di e s   th a t   m e t  a ll   th e   e s t a bl is he d   c r it e r ia ,  e ns ur in g  th e   qua li ty   a nd  r e le va nc e   of   th e   e vi de nc e   c ol le c te d.  T hi s   m e th odol ogi c a ll y  r ig or ous   a ppr oa c h  pr ovi de s   a   s ound  a nd  r e li a bl e   ba s is   f or   s ys te m a ti c   r e vi e w ,  f ol lo w in g  P R I S M A   gui de li ne s   [ 23] .  T hr ough  th e   a c c e pt a nc e   of   a   tr a ns pa r e nt   a nd   s tr uc tu r e d  s tr a te gy,  th e   r e pr oduc ib il it y  a nd  va li di ty   of   th e   pr oc e s s   a r e   pr om ot e d,  c ont r ib ut in g  to   th e   ge ne r a ti on  of   knowle dge   in   th e   f ie ld   of   M L O ps   im pl e m e nt a ti on  in   in f or m a ti on t e c hnol ogy   a udi t  pr oj e c ts .       3.   R E S U L T S  A N D  D I S C U S S I O N   I n  th is   s ys te m a ti c   r e vi e w ,  a   c om pr e he ns iv e   a na ly s i s   of   va r io u s   r e s e a r c h  s our c e s   w a s   c a r r ie d  out   to   e va lu a te   a nd  s ynt he s i z e   th e   a va il a bl e   e vi de nc e   in   th e   f ie ld   of   M L O ps   a ppl ie d  to   a nom a ly   de te c ti on  in   de ve lo pm e nt  pr oj e c ts  i n t he  s pe c if ic  c ont e xt  of   in f or m a ti on t e c hnol ogy   a udi ti ng. T he  r e s ul ts  obt a in e d r e ve a l  a   di ve r s e   r a nge   of   a ppr oa c he s   a nd  pr a c ti c e s   in   th e   im pl e m e nt a ti on  of   M L O ps   m e th odol ogi e s ,  hi ghl ig ht in g  th e   ne e d t o a da pt  t he s e  s tr a te gi e s  t o a ddr e s s  t he  c om pl e xi ti e s  i nhe r e nt  i n t he  i nt e gr a ti on  of   AI   pr oj e c ts  i n  t he  f ie ld   of   a udi ti ng.  I n  a ddi ti on,   br e a c he s   a nd  a r e a s   of   oppor tu ni ty   w e r e   id e nt if ie d  th a t   c oul d  gui de   f ut ur e   r e s e a r c h,  in c lu di ng pr oc e s s  opt im iz a ti on, s ta nda r di z a ti on of  pr a c ti c e s , a nd i nc or por a ti on o f  a dva nc e d  ML   te c hni que s  t o   im pr ove   a nom a ly   de te c ti on   a nd  c om put e r   a udi ti ng.  T he s e   f in di ngs   pr ovi de   a   c om pr e he n s iv e   ove r vi e w   of   th e   c ur r e nt   s ta te   of   th e   a r t  in   th e   im pl e m e nt a ti on  of   M L O ps   m e th odol ogi e s ,  s e r vi ng  a s   a   ba s i s   f or   th e   de ve lo pm e nt   a nd  r e f in e m e nt   of   e f f e c ti ve   s tr a te gi e s   in   th e   f ie ld   of   c om put e r   a udi ti ng  ba s e d  on   th e   im pl e m e nt a ti on of   AI .   T a bl e   7   pr e s e nt s   a   de ta il e d   s ynt he s is   of   th e   im pl e m e nt a ti ons   of   M L O ps   in   th e   in c or por a ti on  of   AI   pr oj e c ts .  T hi s   or ga ni z a ti ona l  s tr uc tu r e   a ll ow s   f or   a   c le a r   a nd   hi e r a r c hi c a l  vi e w   of   how   M L O ps   ha s   be e n   e m pl oye d  to   a ddr e s s   s pe c if ic   c ha ll e nge s   in   va r io us   dom a in s ,   f r om   c lo ud  c om put in g  s e c ur it y  to   in f or m a ti on  s e c ur it y  a nd  a udi ti ng.  T he   a na ly s is   id e nt if ie d  s e ve n  th e m a ti c   c lu s te r s ,  e a c h  f oc us e d  on  s pe c if ic   M L O ps   im pl e m e nt a ti ons .  I n  th e   gr oup   f oc us e d  on  s e c ur it y  in   C lo ud  a n d  L a bor a to r y   C om put in g,  va lu a bl e   in s ig ht s   on   how   M L O ps   is   a ppl ie d  to   e ns ur e   te c hni c a l  a nd  or ga ni z a ti ona l  s e c ur it y  in   c lo ud - ba s e d  la bor a to r y  e nvi r onm e nt s   a r e   pr ovi de d   [ 24] .   I n  th e   e nt e r pr is e   I T   gove r na n c e   gr oup,  th e   P ubM e d  s tu dy  [ 25]   hi ghl ig ht e d   th e  i m por ta nc e  of  M L O ps  i n t he  e f f ic ie nt  m a na ge m e nt  of   AI   m ode ls  i n t he  I T  gove r na nc e  f r a m e w or k. F or  t he   ML   m ode l  de ve lo pm e nt   a nd   de pl oym e nt   gr oup,  m ul ti pl e   r e gi s tr ie s   s u c h  a s   [ 26] – [ 55]   c ont r ib ut e d  to   a   c om pr e he ns iv e   vi e w   of   how   M L O ps   opt im iz e s   th e   e nt ir e   li f e c yc le   of   m ode ls ,  f r om   in it ia l  de v e lo p  pm e nt   to   de pl oym e nt   in   pr oduc ti on  e nvi r onm e nt s .  I n   th e   c ont e xt   of   dr ug  di s c ove r y,  Y a da v  a nd  T ha kka r   [ 56]   hi ghl ig ht e d  th e   s pe c if ic   a ppl ic a ti on  of   M L O ps   in   th e   th e   ne ur a l   os c il la ti on  a tt e nt io n  lo ng  s hor t - te r m   m e m or y   ( N O A - L S T M )   a r c hi te c tu r e   f or   ti m e   s e r ie s   f or e c a s ti ng.  H ow e ve r ,  m ul ti pl e   r e c or ds   [ 4] ,  [ 17] ,  [ 56] – [ 67 ]   hi ghl ig ht   th a t  th e   im pl e m e nt a ti on  f oc us e s   on  e f f e c ti ve   ti m e   s e r ie s   da ta   m a n a ge m e nt ,  opt im iz a ti on,  a nd  im pl e m e nt a ti on  of   de pl oym e nt   pi pe li ne s   th a t  e na bl e   s e a m le s s   i nt e gr a ti on  in   th e   di s c ov e r y  dom a in .  T h e   gr oup  f oc us e d  on  a ppl ic a ti on s   in   I nf or m a ti on  s e c ur it y  a nd  pol ic y  c om pl ia nc e ,  in   [ 60]   de ta il e d  th e   c r e a ti on  of   de e pc he c k s ,  a   li br a r y  th a t  u s e s   M L O ps   to   te s t  a nd   va li da te   ML   m ode ls   a nd   da ta   li ke w is e ,   th e   ot he r   r e c or ds  a s   [ 67] – [ 82]   s how   th a t  th is   ty pe   of   im pl e m e nt a ti on  a ddr e s s e s   c r it ic a l  s e c ur it y  a nd  c om pl ia nc e   c onc e r ns   by   pr ovi di ng  a ut om a te d  to ol s   to   a s s e s s   th e   in te gr it y  a nd  e th ic s   of   AI   m ode ls   us e d  in   di f f e r e nt   a ppl ic a ti ons .  T he   D e vO ps - r e la te d  gr oup  on  s of twa r e   e ngi ne e r in g  a nd  a nom a ly   d e te c ti on  s how e d  how   th e   pa pe r   [ 83]   out li ne d  a   c om pl e te   AI   li f e c yc le ,  in te gr a ti ng  M L O ps   f or   e f f ic ie nt   a nom a ly   de te c ti on  th r oughout  th e   de ve lo pm e nt   a nd   pr oduc ti on  pr oc e s s .  F in a ll y,  th e   gr oup  li nke d  to   c yb e r s e c ur it y  a nd  a udi ti ng  r e ve a le d  th e   s pe c if ic   a ppl ic a ti on  of   M L O ps   in   th e   c ybe r s e c ur it y  de c i s io n  s uppor t  m ode l   [ 84 ] ,  pr ovi di ng  to ol s   f or   r is k  id e nt if ic a ti on  a nd   m a na ge m e nt   in   c ybe r   e nvi r onm e nt s .  T hi s   s ys te m a ti c   a na ly s i s   pr ovi de s   a   c om pr e he ns iv e   ove r vi e w   of   th e   va r io us   im pl e m e nt a ti ons   of   M L O ps   in   s p e c if ic   c ont e xt s ,  hi gh li ght in g  th e ir   c r uc ia l  r ol e   in   th e   opt im iz a ti on   a nd s e c ur it y of   AI   pr oj e c ts  a ppl ie d i n c om put e r  a udi ti ng.       T a bl e  7. S pe c if ic   im pl e m e nt a ti ons   of  M L O ps  i n t h e   in te gr a ti on of  A I  pr oj e c ts   #   I m pl e m e nt a t i ons   R e f e r e nc e   1   C l oud C om put i ng a nd L a bor a t or y S e c ur i t y   [ 24]   2   G ove r na nc e  of  I nf or m a t i on T e c hnol ogi e s  i n C ol om bi a n C om pa ni e s   [ 25]   3   D e ve l opm e nt  a nd D e pl oym e nt  of   ML   M ode l s   [ 26] – [ 55]   4   M L O p s  M e t hodol ogy i n D r ug D i s c ov e r y   [ 4] , [ 17] , [ 56] – [ 66]   5   A ppl i c a t i ons  i n  I nf or m a t i on S e c ur i t y a nd P ol i c y C om pl i a nc e   [ 67] – [ 82]   6   D e vO ps  i n S of t w a r e  E ngi ne e r i ng a nd A nom a l y D e t e c t i on   [ 83] , [ 85] – [ 89]   7   C ybe r s e c ur i t y a nd A udi t   [ 10] , [ 84] , [ 90] – [ 104]   Evaluation Warning : The document was created with Spire.PDF for Python.
I nt  J  A r ti f   I nt e ll     I S S N :   2252 - 8938       M e th odol ogy  appli e d t o c om put e r  audit  w it h ar ti fi c ia l  in te ll ig e nc e   …   ( She y la  R e y m unde z  Suar e z )   3733   T h e   t a bl e   hi gh li gh t s   t h e   d i ve r s i ty   of   a pp li c a t io n s   of   M L O p s   i n   v a r io u s   A I - r e l a t e d   c o nt e xt s .   T he   s p e c i f i c   i m pl e m e nt a ti on   f or   e a c h   g r o up   pr e s e n t s   u ni qu e   a p pr o a c h e s ,  d e m on s tr a t in g   t h e   a d a p ta b il it y  of   t h e   M L O p s   m e th o do lo g y  to   di v e r s e   pr o bl e m s .   T h i s   d iv e r s i ty   r e ve a l s   t he   r i c h ne s s   of   M L O p s   im pl e m e nt a ti on   in   c u r r e n t   r e s e a r c h  on   A I   pr oj e c t  in t e gr a ti on .   C o n s e q u e n tl y,   T a bl e   8   p r e s e nt s   a   s y nt h e s i s   o f   a lt e r n a t iv e   m e t h od ol o gi e s   a nd  e f f i c i e n c y   d if f e r e n c e s   in   AI   pr oj e c t s   i n  c om p ut e r   a u di ti ng ,   e a c h   of   th e m   c h a r a c t e r iz e d .  I n  t he   f ir s t   gr o u p,  c o m po s e d  of   r e c or d s   s u c h  a s   th e   d e v e l op m e n t   a n d  d e pl oy m e n t  of   ML   m o d e l s ,   t h e   im pl e m e n t a t io n   of   a   s pe c if i c   M L O p s   a r c h it e c t ur e   i s  pr o po s e d   t o  e f f ic i e n tl y  c o or di n a t e  t h e  de v e l o pm e nt  a nd  d e p lo ym e nt  of  m o d e l s ,   o pt im i z i ng  o p e r a ti on a l   e f f i c i e n c y  i n  th e   m a n a ge m e n t   o f   c om pu t e r   a u di t   p r o j e c t s   [ 26 ] ,   [ 6 0] .  T h e   s e c o nd   gr ou p ,  w hi c h   i n c l u de s   r e gi s tr ie s   s u c h   a s   p a t i e n t - l e v e l   e x pl a in a bl e   ML   t o  pr e d i c t   m a jo r   a dv e r s e   c a r di ov a s c ul a r   e v e nt s   f r om   s i n gl e   p ho to n   e m i s s i on   c o m p ut e d  to m o gr a ph y  ( S P E C T )   m yo c a r di a l  pe r f u s i on   i m a g in g  ( M P I )   a nd   c o r o n a r y  c o m pu te d t o m o gr a ph y a ng io gr a ph y  ( C C T A )   im a g e s , h ig hl ig ht s   th e   a p pl ic a ti on   o f  a n i n t e r pr e t a bl e   ML   a p pr o a c h,  i m pr o v in g  e f f i c ie n c y  in   t h e   i d e n ti f i c a t io n  of   c a r di ov a s c ul a r   e v e nt s   a t  th e   p a ti e nt   l e v e l   [ 30 ] ,   [ 36 ] ,   [ 56 ] .   T h e   th ir d   g r o u p,   p r e s e nt in g  r a d io lo gi c a l  im a ge s   a n d  ML   i n  tr e nd s ,  p e r s pe c t i ve s ,  a n d  pr o j e c t io n s ,   p r o p o s e s   t h e   a pp li c a t io n  o f   a d va n c e d   ML   t e c hn iq u e s   t o  m e d i c a l   i m a g e s   t o   im pr o ve   th e   i de n ti f i c a t io n   o f   p a t ho l og ie s ,   t h u s   op ti m i z in g   t h e   d e t e c t io n  of   a no m a li e s   i n  c o m p ut e r   a u di ti n g   [ 34] ,  [ 4 3] ,  [ 60 ] .  T he   f o ur t h  gr ou p,   w hi c h  in c l u d e s   l og s   a s   i t e r a t iv e   p r o c e s s e s   i n   a   r e v i e w   of   s e m i - s up e r vi s e d   ML   i n   r e h a bi li t a t io n   s c ie n c e ,   h ig hl ig h t s   th e   im pl e m e nt a ti on   of   it e r a t i ve   a n d  s e m i - s u pe r v i s e d  pr o c e s s e s   i n  ML   t o  i m p r o v e   e f f i c i e n c y  in   c o m pu t e r   a ud it in g  pr o j e c t s   w it h  l im it e d  d a t a   s e t s   [ 38 ] ,   [ 44 ] ,   [ 63] .   T h e   f i f t h  gr ou p  s e e s   t h e   c o m pa r i s on   of   di f f e r e n t  s u pe r v i s e d   ML   a lg or it hm s   f or   a n om a l y  or   d i s e a s e   pr e di c ti on  a nd  s u gg e s t s  t he  c om p a r i s o n   of  s u pe r v i s e d  a l go r i th m s   t o   o p ti m i z e   e f f ic i e n c y   i n   c o m p ut e r  a ud it   p r o j e c t s   r e l a t e d  to   pr e di c t i on   [ 3 1] ,  [ 39 ] ,   [ 5 9] .  I n  th e   s i xt h  g r o u p,  th e   a pp li c a ti on   of   d e c e n tr a l i z e d  g ov e r n a n c e   of   ML ,  a s   e v id e n c e d   i n  l og s   s u c h   a s   M L O p s ,   i s   p r e s e n te d   t o  im pr o ve   e f f i c i e n c y   i n  c om p ut e r   a u di t  pr oj e c t   m a n a g e m e n t   [ 4 ] ,   [ 3 3] ,   [ 6 6] .   F i n a l ly ,   t h e   s e v e nt h   gr o up ,   [ 24] ,   [ 6 7] ,   [ 81 ] ,   pr e s e n t s   t e c hn ic a l   a n d   or g a n i z a t io n a l  s e c u r i ty   c o n s i d e r a t io n s   f o r   la b or a t or y  c lo ud   c o m p ut in g ,  a ddr e s s e s   s e c ur it y  a nd   c o m p li a nc e   i n  M L O p s   pr oj e c t s ,  a n d   o pt im i z e s  e f f i c i e n c y   i n c om p ut e r  a u di t  s e c ur i t y i n   l a bo r a t or y   c l o ud  e n vi r o nm e nt s . T h i s  d e t a i l e d  c l a s s if ic a ti on  a n d  a n a l y s i s   pr ov id e s   a   c om pr e he n s i v e  v ie w  o f   a lt e r n a t iv e  m e t h od o lo gi e s   a n d  o b s e r v e d  d if f e r e n c e s   in   e f f ic i e n c y.       T a bl e  8. M a tr ix  of  a lt e r na ti ve  m e th odol ogi e s  a nd dif f e r e nc e  i n e f f ic ie nc y i n M L O ps  pr oj e c ts   #   A l t e r na t i ve  m e t hodol ogy   D i f f e r e nc e  i n e f f i c i e nc y   R e f e r e nc e   1   I m pl e m e nt   a   s pe c i f i c   M L O ps   a r c hi t e c t ur e   t o  e f f i c i e nt l y   c oor di na t e   t he   de ve l opm e nt   a nd  d e pl oym e nt   of   ML   m ode l s   i n  i nf or m a t i on t e c hnol ogy   a udi t  pr oj e c t s .   O pt i m i z e   l a bor a t or y  c l oud  s e c ur i t y  by  a ppl yi ng  M L O p s ,  t he r e by  i m pr ovi ng  ope r a t i ona l   e f f i c i e nc y  i n pr oj e c t  m a na ge m e nt .   [ 26] , [ 60]   2   U s e   a n  i nt e r pr e t a bl e   ML   a ppr oa c h  t o  pr e di c t   c a r di ova s c ul a r   e ve nt s   f r om   S P E C T   M P I   a nd  C C T A   i m a ge s ,  pr ovi di ng  a   c l e a r  unde r s t a ndi ng of  m ode l  de c i s i ons .   I m pr ove   e f f i c i e nc y  i n  t he   i de nt i f i c a t i on  of   a dve r s e   c a r di ova s c ul a r   e ve nt s   a t   t he   p a t i e nt   l e ve l ,  t hus   opt i m i z i ng  de c i s i on  m a ki ng  i n  he a l t h - r e l a t e d  c om put e r  a udi t s .   [ 30] ,  [ 36] , [ 56]   3   A ppl y  a dva nc e d  ML   t e c hni que s   t o  r a di ol ogi c a l   a nd   pa t hol ogi c a l   i m a ge s   t o  i m pr ove   pa t hol ogy  i de nt i f i c a t i on  i n   t he  c ont e xt  of  pa t hol ogy.   O pt i m i z e   t he   de t e c t i on  of   a nom a l i e s   i n  c om put e r   a udi t i ng  t hr ough  m or e   a c c ur a t e   i nt e r pr e t a t i on  of   m e di c a l  i m a ge s .   [ 34] ,  [ 43] , [ 60]   4   I m pl e m e nt  i t e r a t i ve  a nd s e m i - s upe r vi s e d pr oc e s s e s  i n   ML   t o   opt i m i z e   e f f i c i e nc y  i n  r e ha bi l i t a t i on  s c i e nc e ,   e s pe c i a l l y  i n   l i m i t e d da t a  s e t s .   I m pr ove   e f f i c i e nc y  i n  c om put e r   a udi t   pr oj e c t s   w he r e   da t a   s e t s   a r e   l i m i t e d,  t h r ough  i t e r a t i ve   a nd   s e m i - s upe r vi s e d pr oc e s s e s .   [ 38] ,  [ 44] , [ 63]   5   C a r r y  out   t he   c om pa r i s on  of   di f f e r e nt   s upe r vi s e d  ML   a l gor i t hm s   f or   di s e a s e   pr e di c t i on,  s e l e c t i ng  t he   m os t   e f f e c t i ve  one .   O pt i m i z e   e f f i c i e nc y  i n  c om put e r   a udi t   pr oj e c t s   r e l a t e d  t o  m e di c a l   e va l ua t i on  t hr ough  c a r e f u l   s e l e c t i on of  di s e a s e  pr e di c t i on a l gor i t hm s .   [ 31] ,  [ 39] , [ 59]   6   I m pl e m e nt   de c e nt r a l i z e d  gove r na nc e   of   ML ,  pr ovi di ng  a n  ove r vi e w   a nd  ove r c om i ng  c ha l l e nge s   t o  i m pr ove   e f f i c i e nc y  i n m a na gi ng  i nf or m a t i on t e c hnol ogy   a udi t  pr oj e c t s .   O pt i m i z e   i nf or m a t i on  t e c hnol ogy   a udi t   pr oj e c t   m a na ge m e nt   by  de c e nt r a l i z i ng  M L O ps   a nd   a ddr e s s i ng s p e c i f i c  c ha l l e nge s .   [ 4] , [ 33] ,  [ 66]   7   A ddr e s s  t e c hni c a l  a nd or ga ni z a t i ona l   s e c ur i t y c on s i de r a t i ons   f or  l a bor a t or y c l oud c om put i ng i n M L O ps  pr oj e c t s .   I m pr ove   t he   s e c ur i t y  e f f i c i e nc y  of   i nf or m a t i on   t e c hnol ogy   a udi t   pr oj e c t s   i n  l a bor a t or y  c l oud  e nvi r onm e nt s   t hr ough  a   de t a i l e d   f oc us   on  t e c hni c a l   a nd or ga ni z a t i ona l  s e c ur i t y.   [ 24] ,  [ 67] , [ 81]       U pon  e xa m in in g  th e   ta bl e ,  it   be c om e s   a ppa r e nt   th a t  e a c h  gr ou p  of   r e gi s tr ie s   ha s   a dopt e d  a   di ve r s e   r a nge   of   a ppr oa c he s   a nd  s tr a te gi e s .  E a c h  a lt e r na ti ve   m e th odo lo gy  is   ta il or e d  to   th e   s pe c if ic   na tu r e   of   th e   a na ly z e d  pr oj e c ts ,  e m pha s iz in g  c r uc ia l  a s pe c ts   s uc h  a s   in te r pr e ta bi li ty   in   ML ,  th e   a ppl ic a ti on  of   a dva nc e d  te c hni que s   in   m e di c a l  im a gi ng,   a nd  de c e nt r a li z e d  gov e r na nc e   i n  M L O ps . T he  e f f ic ie nc y  di f f e r e nc e   i s   e vi de nt   in   how   e a c h  a ppr oa c h  e nha nc e s   ope r a ti ona l  e f f ic ie nc y  a nd  s e c ur it y  in   va r io us   in f o r m a ti on  te c hnol ogy   a udi t   c ont e xt s .  T he   va r ie ty   of   a ppr oa c he s   hi ghl ig ht s   th e   s ig ni f ic a nc e   of   ta il or in g  th e   m e th odol ogy  to   th e   s pe c if ic s   of  e a c h pr oj e c t,  e na bl in g e f f ic ie nt  opt im iz a ti on of  a nom a ly  i de nt if ic a ti on.   T a bl e   9   pr e s e nt s   a   c la s s if i c a ti on  of   8 8  a r ti c le s   s e l e c t e d  f r om   P ubM e d  a n d  S c opu s   da t a b a s e s   in to   6   gr oups   th a t   a ll ow   a   s tr uc t ur e d  a n a ly s is   of   im p a c t   m e a s ur e m e n t  in   pr oj e c t s   w it h  a nd  w it hout   M L O ps ,   f oc u s in g  on  e f f ic ie n c y,  pe r f or m a nc e ,  a nd  a nom a ly   d e te c ti on .  T he   f ir s t  gr oup,  c om po s e d  of   a r ti c l e s   [ 4] ,  [ 26] ,  [ 29] ,   [ 32] ,  [ 34] ,  [ 43] ,  [ 51] ,  [ 60] ,  [ 63] ,  [ 66] ,   [ 72] ,  [ 7 7] ,  [ 83] ,  [ 86] ,  e f f i c i e nc y   in   pr oj e c t s   w it h  M L O p s   w a s   e x pl or e d ,  Evaluation Warning : The document was created with Spire.PDF for Python.
                      I S S N :   2252 - 8938   I nt  J  A r ti f   I nt e ll ,  V ol .   13 , N o.   4 ,  D e c e m be r   2024 :   3727 - 37 38   3734   e va lu a ti ng  d e ve lo pm e nt   ti m e ,  r e s our c e   ut il iz a t io n  a n d  a da pt a bi li ty   in   th e s e   c ont e xt s .  I n  th e   s e c on d  gr oup,   c om po s e d   of   a r ti c l e s   [ 17] ,   [ 27] ,   [ 28] ,   [ 30] ,  [ 3 3] ,  [ 35] ,  [ 37] ,   [ 3 9] ,  [ 41] ,   [ 42] ,  [ 4 5] ,  [ 4 8] – [ 50] ,  [ 52] ,  [ 5 3] ,  [ 55] ,   [ 56] ,  [ 58] - [ 61] ,  [ 68] ,  [ 69] ,  [ 71] ,  [ 7 3] – [ 75] ,  [ 78] – [ 8 2] ,  [ 85] ,  [ 86] ,  [ 88] ,  [ 90] ,  [ 92] – [ 94] ,  [ 1 05] ,  [ 106] ,  e xa m i ne d   th e   pe r f or m a nc e   i n  pr o je c ts   w it h  M L O p s ,   a n a ly z in g   a c c ur a c y ,  pr o c e s s i ng   s p e e d ,   a nd   s c a l a bi li t y.   T he   th ir d   gr oup,  c om p os e d  of   p a pe r s   [ 1 0] ,  [ 2 4] ,  [ 25] ,  [ 31] ,   [ 36] ,   [ 38] ,   [ 4 0] ,  [ 44] ,   [ 46] ,   [ 47] ,   [ 54] ,  [ 57] ,  [ 6 2] ,  [ 6 4] ,  [ 65] ,  [ 67] ,  [ 70] ,  [ 76] ,  [ 84] ,  [ 91] ,  [ 95] – [ 1 04] ,  f oc u s e d  on  a n om a ly   de t e c ti on  i n  pr oj e c ts   w it h  M L O ps ,  e va lu a ti ng  th e   a bi li ty   of   th e   m o de l s   to   id e nt if y  u nc on ve nt i ona l   be ha vi or s .  G r oup s   4,   5,  a nd   6  p e r f or m e d   s i m il a r   m e a s ur e m e nt s   but   on   pr oj e c t s   w it hout   M L O p s ,   a n a ly z in g  e f f i c ie n c y,  pe r f or m a nc e ,  a nd  a nom a ly   de t e c ti o n,  r e s p e c t iv e ly .   T he   r e s ul t in g  t a bl e   w il l  pr ovi d e   a   de t a il e d   a nd   c o m pa r a ti v e   a na ly s i s   of   im pa c t  m e a s ur e m e nt   in   di f f e r e nt   ke y  a s pe c ts ,  pr ovi d in g  a  s ol id  b a s is  f or  t he   di s c u s s i on a nd c on c lu s io n s  of   th is  s y s t e m a ti c  r e vi e w .   T he   ta bl e   pr e s e nt s   a   c om pr e he ns iv e   ove r vi e w   of   how   th e   im pl e m e nt a ti on  of   M L O ps   a f f e c ts   e f f ic ie nc y,  pe r f or m a nc e ,  a nd  a nom a ly   de te c ti on  in   A I   pr oj e c ts   a ppl ie d  to   c om put e r   a udi ti ng.   T he   r e s ul ts   de m ons tr a te   th e   pos it iv e   im pa c t  of   M L O ps   on   ke y  a s pe c t s   of   pr oj e c t  d e ve lo pm e nt ,  e m pha s iz in g   it s   im por ta nc e   in   e nha nc in g  ope r a ti ona l  e f f ic ie nc y,  m ode l  pe r f or m a nc e ,  a nd  th e   a bi li ty   to   id e nt i f y  a nd  m a na ge   a nom a li e s .  I n  a ddi ti on,  th e   c om pa r is on  b e twe e n  pr oj e c t s   w it h   a nd  w it hout   M L O ps   hi ghl ig ht s   th e   pot e nt ia l  li m it a ti ons   a s s oc ia te d  w it h  th e   a bs e nc e   of   th is   m e th odol ogy.  T he s e   f in di ngs   pr ovi de   a   s ol id   ba s is   f or   th e   di s c us s io n a nd c on c lu s io ns  of  t he  s ys t e m a ti c  r e vi e w , e m pha s iz i ng t he  i m por ta nc e  of  i m pl e m e nt in g M L O ps  i n   th e  c ont e xt  of  c om put e r  a udi ti ng a nd A I .       T a bl e  9. M e a s ur in g t he   im pa c t  of  M L O ps  i n  AI   pr oj e c ts  f or  c o m put e r  a udi t:  e f f ic ie nc y, pe r f or m a nc e , a nd  a nom a ly  de te c ti on   #   I m pa c t  m e a s ur e m e nt   R e f e r e nc e   1   E f f i c i e nc y  i n  p r oj e c t s   w i t h M L O ps   [ 4] , [ 26] , [ 29] , [ 32] , [ 34 ] , [ 43] , [ 51] , [ 60 ] , [ 63] , [ 66] , [ 72] , [ 77 ] , [ 83] , [ 86]   2   P e r f or m a nc e   i n  p r oj e c t s   w i t h  M L O ps   [ 17] , [ 27] , [ 28] , [ 30] , [ 33 ] , [ 35] , [ 37] , [ 39 ] , [ 41] , [ 42] , [ 45] , [ 48 ] – [ 50] , [ 52] , [ 53 ] , [ 55] , [ 56] ,    [ 58] - [ 61] , [ 68] , [ 69] , [ 71] , [ 73 ] – [ 75] , [ 78] – [ 82] , [ 85 ] , [ 87] , [ 88] , [ 90 ] , [ 92] – [ 94] , [ 105] ,  [ 106]   3   D e t e c t i on  of   a nom a l i e s   i n  pr oj e c t s   w i t h M L O p s   [ 10] , [ 24] , [ 25] , [ 31] , [ 36 ] , [ 38] , [ 40] , [ 44 ] , [ 46] , [ 47] , [ 54] , [ 57 ] , [ 62] , [ 64] , [ 65 ] , [ 67] , [ 70] , [ 76 ] ,  [ 84] , [ 91] , [ 95]   –   [ 104]   4   E f f i c i e nc y  i n  p r oj e c t s   w i t hout  M L O ps   [ 10] , [ 25] , [ 28] , [ 29] ,  [ 33 ] , [ 34] , [ 37] , [ 43 ] , [ 44] , [ 51] , [ 54] , [ 56 ] , [ 59] , [ 60] , [ 61 ] , [ 63] , [ 65] , [ 67 ] ,  [ 72] , [ 75] , [ 78] , [ 80] , [ 83 ] , [ 85] , [ 88] , [ 89 ] , [ 91] – [ 93] , [ 95] – [ 105 ]   5   P e r f or m a nc e   i n  p r oj e c t s   w i t hout   M L O ps   [ 4] , [ 17] , [ 24] , [ 26] , [ 27 ] , [ 30] – [ 32] , [ 35 ] , [ 36] , [ 38] – [ 42] , [ 45 ] – [ 50] , [ 52] , [ 53 ] ,  [ 55] , [ 57] , [ 58] ,  [ 60] , [ 64] , [ 66] , [ 68] – [ 71 ] , [ 73] , [ 74] , [ 76 ] , [ 77] , [ 79] , [ 81] , [ 82 ] , [ 86] , [ 87] , [ 90 ] , [ 106]   6   A nom a l y  de t e c t i on  i n  pr oj e c t s   w i t hout   M L O ps   [ 10] , [ 87] , [ 92] , [ 94] – [ 104 ]       4.   C O N C L U S I O N S   T hi s  s y s te m a ti c  r e vi e w  f ol lo w s  a  s ound me th odol ogy tha t  in c lu de s  f or m ul a ti ng t he  r e s e a r c h que s ti on  us in g  th e   P I C O   a ppr oa c h  a nd  a ppl yi ng  th e   P R I S M A   m e th od ol ogy.  T he   r e s ul ts   s ig ni f ic a nt ly   c ont r ib ut e   to   unde r s ta ndi ng  th e   im pl e m e nt a ti on  of   th e   M L O ps   m e th odol og y  in   id e nt i f yi ng  a nom a li e s   in   in te gr a ti ng  AI   pr oj e c ts   in   c om put e r   a udi ti ng.  T he   in it ia l  s e a r c h  s tr a te gy,  w hi c h  c ove r e d  1098  P ubM e d  a nd  291  S c opus   r e c or ds ,  w a s   r e f in e d  by  in c lu s io n  a nd  e xc lu s io n  c r it e r ia ,  r e s ul ti ng  in   a   f in a l  s a m pl e   of   88  r e le va nt   r e c or ds .   T hi s  s e l e c ti on pr oc e s s  r e s ul te d i n a  r e te nt io n r a te  of  8% , hi ghl ig ht in g t he  r ig or  a ppl ie d t o e ns ur e  t he  r e le va nc e   of   th e   da ta   a na ly z e d.  T h e   bi bl io m e tr ic   a na ly s i s   r e ve a le d   ke y  tr e nds   in   th e   li te r a tu r e   r e vi e w e d.   I n  r e c e nt   ye a r s ,   th e r e  ha s  be e n a   s te a dy i nc r e a s e  i n t he  publi c a ti on of  r e s e a r c h o n M L O ps  a nd  AI   pr oj e c ts  a ppl ie d i n c om put e r   a udi ti ng.  I n  a ddi ti on,  w e   id e nt if ie d  s pe c if ic   to pi c   a r e a s   th a t  h a ve   r e c e iv e d  in c r e a s e d  a tt e nt io n,  pr ovi di ng  a   qua nt it a ti ve   vi e w   of   th e   m os t  pr om in e nt   a r e a s   of   f oc us .  A t  th e   le ve l  of   ha ndw r it te n  r e s ul ts ,  e a c h  of   th e   88  s e le c te d  lo gs   c ont r ib ut e d  e s s e nt ia l  qua li ta ti ve   da ta .  I n  th is   c ont e xt ,  th e   qua nt it a ti ve   f ig ur e s   s uppor t  th e   r obus tn e s s   of   th e   f in di ngs   a nd  pr ovi de   a   s ol id   ba s i s   f or   c onc lu s io ns .  A ls o,  th e   di ve r s it y  a nd  de pt h  of   th e   qua li ta ti ve  da ta  e xt r a c te d f r om  t he  l ogs  c ont r ib ut e  t o a  m o r e  c o m pl e te  unde r s ta ndi ng of  t he   im pa c t  of  M L O ps   on  a nom a ly   id e nt if ic a ti on  in   th e   in te gr a ti on  of   AI   pr oj e c t s   in   c om put e r   a udi ti ng.  T he s e   r e s ul ts   s uppor t  th e   im por ta nc e   of   c ons id e r in g  M L O ps   m e th odol ogy  a s   a   c r uc ia l  c om pone nt   in   A I   pr oj e c ts   in   c om put e r   a udi ti ng,  pr ovi di ng  ta ngi bl e   da ta   a nd  qua li ta ti ve   in s ig ht s   to   in f or m   f u tu r e   r e s e a r c h  a nd  pr a c ti c a l  de c i s io ns   in   th is   dyna m ic  f ie ld .       A C K N O WL E D G M E N T S   O ur   de e pe s t   gr a ti tu de   to   th e   T e c hnol ogi c a l  U ni ve r s it y  of   P e r u   f or   be in g  a   f unda m e nt a l  pi ll a r   in   th e   de ve lo pm e nt   of   th is   r e s e a r c h  s in c e   th e ir   a s s is ta n c e ,  bot h  in   te r m s   of   li te r a tu r e   a nd  la bor a to r y  f a c il it ie s ,  ha s   be e n  c r uc ia l  to   a c hi e vi ng  th e   pr opos e d  obj e c ti ve s ,  a nd  th e ir   m a na ge m e nt   a nd  s uppor t  ha s   m a de   pos s ib le   th e   s ig ni f ic a nt  pr ogr e s s  of  t hi s  r e s e a r c h.   Evaluation Warning : The document was created with Spire.PDF for Python.
I nt  J  A r ti f   I nt e ll     I S S N :   2252 - 8938       M e th odol ogy  appli e d t o c om put e r  audit  w it h ar ti fi c ia l  in te ll ig e nc e   …   ( She y la  R e y m unde z  Suar e z )   3735   R E F E R E N C E S   [ 1]   M .  V.   D.   G oe s ,  “ S c a l i ng  e nt e r pr i s e   r e c om m e nde r   s y s t e m s   f or   de c e nt r a l i z a t i on ,”   i n  F i f t e e nt h  A C M   C onf e r e nc e   on  R e c o m m e nde r   Sy s t e m s , N e w  Y or k, U S A :  A C M , S e p. 2021, pp. 592 – 594 , doi :  10.1145/ 34602 31.3474616.   [ 2]   K . H a l l e r ,  M anagi ng A I  i n t he   E nt e r pr i s e . B e r ke l e y,  C A :  A pr e s s , 2022 , doi :  10.1007/ 978 - 1 - 4842 - 7824 - 6.   [ 3]   A .  A kki ne ni ,  S .  K oohbor f a r dha ghi ghi ,  a nd  S .  S i ngh,  “ C e nt r a l i t y  of   A I   qua l i t y  i n  M L O P s   l i f e c yc l e   a nd  i t s   i m pa c t   on  t he   a dopt i o n   of   A I / M L   s ol ut i ons ,”  i n  I nt e l l i ge nt  Sy s t e m s  D e s i gn and A ppl i c at i ons , 2023, pp. 436 – 448 , doi :  10.1007/ 978 - 3 - 031 - 35510 - 3_42.   [ 4]   D .  A l s a ghe e r ,  L .   X u,  a nd   W .  S hi ,  “ D e c e nt r a l i z e d  m a c hi ne   l e a r ni ng  gove r na nc e :   ove r vi e w ,  oppor t uni t i e s ,  a nd   c ha l l e nge s ,”   I E E E   A c c e s s , vol . 11, pp. 96718 – 96732, 2023, doi :  10.1109/ A C C E S S .2023.3311713.   [ 5]   E .  N e gha w i ,  Z .  W a ng,  J .  H ua ng,  a nd  Y .   L i u,  “ L i nki ng  t e a m - l e ve l   a nd  or ga ni z a t i on - l e ve l   gove r na nc e   i n  m a c hi ne   l e a r ni ng  ope r a t i ons   t hr ough  e xpl a i na bl e   A I   a nd  r e s pons i bl e   A I   c onn e c t or ,”   i n  2023  I E E E   47 th   A nnual   C om put e r s ,  Sof t w ar e ,  and   A ppl i c at i ons  C onf e r e nc e  ( C O M P SA C ) , I E E E , J un. 2023, pp. 1223 – 1230 , doi :  1 0.1109/ C O M P S A C 57700.2023.00185.   [ 6]   S .   S .  S o unc hi o ,  L .  G e ne s t e ,   B .   K .  - F og ue m ,  C .  B é l e r ,  S .   N .   A r a gh i ,  a nd   M .   R .   N a qv i ,   “ A n  e nt e r pr i s e   a r c h i t e c t u r e   f o r   i n t e r pe r s ona l   a c t i vi t y  kn ow l e d ge   m a n a ge m e n t ,”  i n  K now l e dg e  G r ap hs  a nd  Se m an t i c   W e b , 2 02 3 , p p.  66 – 81 ,  do i :   10 .10 07 / 9 78 - 3 - 0 31 - 4 774 5 - 4_ 6.   [ 7]   L .  A m i ni ,   E .   H .   E .   K a r n i ,   M .   O ube na l i ,  H .   E .   O ua f y ,  M .   M ba r k i ,   a nd   B .  E .   O ua di ,   “ P r e d i c t i v e   s t u dy ,   us i ng   d e ns i t y   f u nc t i o na l   t h e o r y   a nd  t i m e   de pe n de n t   f un c t i on a l   t he or y,  o n  t he   s t r uc t ur e - pr ope r t y  q ua n t i f i c a t i o n  o f   m e t h yl e ne   b l ue   a nd  m e t hy l   r e d  dye s   f o r   t he   a pp l i c a t i on  i n o r g a n i c  s ol a r   c e l l s ,”   C ur r e nt  C he m i s t r y   L e t t e r s ,  v ol .  1 3,  no . 1 ,  pp.  1 87 – 198 ,  202 4,  do i :  1 0.5 26 7/ j .c c l . 20 23. 7. 002 .   [ 8]   E .   P e l t o ne n   a nd   S .   D i a s ,   “ L i nk E d ge :   ope n - s ou r c e d  M L O ps   i nt e gr a t i on   w i t h   I o T   e d ge , ”   i n   T he   3 r d   E c l i ps e   Se c ur i t y ,   A I ,   A r c h i t e c t ur e   and  M ode l l i n g C onf e r e nc e  o n C l o ud  t o   E dg e   C o nt i n uum , N e w   Y o r k,  U S A :  A C M , 2 023 ,  pp.  6 7 – 76 ,  do i :  1 0.1 14 5/ 362 44 86. 36 244 96 .   [ 9]   E .  D .  C a ne do  e t   al . ,  “ I nf or m a t i on  a nd  c om m uni c a t i on  t e c hnol ogy  ( I C T )   gove r na nc e   pr oc e s s e s :   a   c a s e   s t udy ,”   I nf or m at i on ,  vol .   11, no. 10, S e p. 2020, doi :  10.3390/ i nf o11100462.   [ 10]   P .  L of t ,  Y .  H e ,  I .  Y e vs e ye va ,  a nd  I .  W a gne r ,  “ C A E S A R 8:   A n  a gi l e   e nt e r pr i s e   a r c hi t e c t ur e   a ppr oa c h  t o  m a na gi ng  i nf or m a t i on  s e c ur i t y r i s ks ,”   C om put e r s   and   S e c ur i t y , vol . 122, N ov. 2022, doi :  10.1016/ j .c o s e .2022.102877.   [ 11]   R .  C ohe n,   “ D i gi t a l   s t r a t e gy,  m a c hi ne   l e a r ni ng,  a nd  i ndu s t r y  s ur ve y  of   M L O ps ,”   i n  D i gi t al   St r at e gi e s   and   O r gani z at i onal   T r ans f or m at i on , 2023, pp. 137 – 150 , doi :  10.1142/ 9789811271984_0008.   [ 12]   S .  B hut a d  a nd  K .   P a t i l ,  “ A   nove l   s y s t e m   f or   pot e nt i a l   m os qui t o  br e e di ng  hot s pot   i nt i m a t i on  a nd  m oni t or i ng  us i ng  M L O p s   a n d   i m pr ove d Y ol oV 3,”   I ns t r um e nt at i on M e s ur e  M é t r ol ogi e , vol . 22, no. 1, pp. 35 – 40, F e b. 2023, doi :  10.18280/ i 2m .220105.   [ 13]   J .  P ool ,  S .  A khl a ghpour ,  F .  F a t e hi ,  a nd   A .  B .  - J one s ,  “ A   s y s t e m a t i c   a na l y s i s   of   f a i l ur e s   i n   pr ot e c t i ng  pe r s ona l   h e a l t h  da t a :   A   s c opi ng r e vi e w ,”   I nt e r nat i onal  J our nal  of  I nf or m at i on M anage m e nt , vol . 74, F e b. 2024, doi :  10.1016/ j .i j i nf om gt .2023.102719.   [ 14]   M .  S a f da r   e t   al . ,  “ F unda m e nt a l   r e qui r e m e nt s   of   a   m a c hi ne   l e a r ni ng  o pe r a t i ons   pl a t f or m   f o r   i ndus t r i a l   m e t a l   a ddi t i ve   m a nuf a c t ur i ng,”   C om put e r s  i n I ndus t r y , vol . 154, J a n. 2024, doi :  10.1016/ j .c om pi nd.2023.104037.   [ 1 5]   J .   D .  - A r c a y a ,   A .  I .   T .  - B a s t i d a ,   R .  M i ñ ó n,   a nd  A .  A l m e i d a ,   “ O r f e on :   a n  A I O ps   f r a m e w o r k   f o r   t he   g oa l - d r i ve n  o pe r a t i on a l i z a t i o n  of   d i s t r i b u t e d  a n a l y t i c a l  p i p e l i ne s ,”   F ut ur e   G e ne r at i on  C om pu t e r   Sy s t e m s ,  v ol .  1 40 ,  pp .  1 8 – 3 5,   20 23 ,  d o i :  1 0 .1 01 6 / j . f ut u r e .2 0 22 .1 0 .0 08 .   [ 16]   A .  M ukhopa dhya y  a nd  S .  J a i n,  “ A   f r a m e w or k  f or   c ybe r - r i s k  i ns ur a nc e   a ga i ns t   r a ns om w a r e :   A   m i xe d - m e t hod  a ppr oa c h,”   I nt e r nat i onal  J our nal  of  I nf or m at i on M anage m e nt , vol . 74, F e b. 2024, doi :  10.1016/ j .i j i nf om gt .2023.102724.   [ 17]   L .  S undbe r g  a nd  J .  H ol m s t r öm ,  “ D e m oc r a t i z i ng  a r t i f i c i a l   i nt e l l i ge nc e :   H ow   no - c ode   A I   c a n  l e ve r a ge   m a c hi ne   l e a r ni ng   ope r a t i ons ,”   B us i ne s s  H or i z on s , vol . 66, no. 6, pp. 777 – 788, N ov. 2023, doi :  10 .1016/ j .bus hor .2023.04.003.   [ 18]   S .  M or e s c hi ni ,  D .   H ä s t ba c ka ,  a nd  D .   T a i bi ,  “ M L O ps   pi pe l i ne   de ve l opm e nt , ”   i n  P r oc e e di ngs   of   t he   I nt e r nat i onal   C onf e r e nc e   on   R e s e ar c h i n A dapt i v e  and C onv e r ge nt  Sy s t e m s , N e w  Y or k, U S A :  A C M , A ug. 2 023, pp. 1 – 8 , doi :  10.1145/ 3599957.3606211.   [ 19]   A .  K a t hol e ,  S .   S hi nde ,  a nd   L .   W a dhw a ,   “ I nt e gr a t i ng  M L O ps   a nd   E E G   t e c hni que s   f or   e nha n c e d  c r i m e   d e t e c t i on  a nd   pr e ve nt i on, ”   M ul t i di s c i pl i nar y  Sc i e nc e  J ou r nal , vol . 6, no. 1, J ul . 2023, doi :  10.31893/ m ul t i s c i e nc e .2024009.   [ 20]   F . S pe t h, C . H a r t m a nn, U . K e bs c hul l , D . S a ba t h,  a nd F . S e l l m a i e r , “ T ow a r ds  t r a ns pa r e nt  A I - s ys t e m s :  b e ne f i t s   of  M L O p s   pi pe l i ne s   f or  s pa c e  s ys t e m  de v e l opm e nt ,”  i n  P r oc e e di ng s  of  t he   I nt e r nat i onal  A s t r onaut i c al  C ongr e s s , I A C , 2022.   [ 21]   R .  - M i ñon , J . D . D .   - A r c a ya , A .  I . T .  - B a s t i da ,  a nd P . H a r t l i e b, “ P a nge a :  A n   m l ops  t ool  f or  a ut om a t i c a l l y ge n e r a t i ng i nf r a s t r uc t ur e   a nd de pl oyi ng a na l yt i c  pi pe l i ne s  i n e dge , f og a nd c l oud l a y e r s ,”   Se n s or s , vol . 2 2, no. 12, J un. 2022, doi :  10.3390/ s 22124425.   [ 22]   G .  G .  - T r a n  a nd  A .  M ont i ,  “ A dv a nc e s   i n  t i m e   s e r i e s   f or e c a s t i ng  de v e l opm e nt   f or   pow e r   s ys t e m s ’   ope r a t i on  w i t h  M L O p s , ”   F or e c as t i ng , vol . 4, no. 2, pp. 501 – 524, M a y 2022, doi :  10.3390/ f or e c a s t 40200 28.   [ 23]   D .  V .  - C r uz ,  J .  P .   M .  - C há ve z ,  a nd  R .  G .  G .  - C ont r e r a s ,  “ T ow a r ds   t he   unde r s t a ndi ng  of   c ons um e r   be ha vi or   i n  t he   m e t a ve r s e ,”   i n  I G I  G l obal , 2023, pp. 1 – 21 , doi :  10.4018/ 978 - 1 - 6684 - 7029 - 9.c h001.   [ 24]   N .  K r um m ,  “ O r ga ni z a t i ona l   a nd  t e c hni c a l   s e c ur i t y  c ons i de r a t i ons   f or   l a bor a t or y  c l oud  c om put i ng ,”   T he   J our nal   of   A ppl i e d   L abor at or y  M e di c i ne , vol . 8, no. 1, pp. 180 – 193, J a n. 2023, doi :  10.1093/ j a l m / j f a c 118.   [ 25]   G .  M .  - G óngor a   a nd  D .  A pont e ,   “ D a t a s e t   a bout   i nf or m a t i on  t e c hnol ogy   gove r n a nc e :   A   s ur ve y  i n  C ol om bi a n  e nt e r pr i s e s ,”   D at a  i n  B r i e f , vol . 50, O c t . 2023, doi :  10.1016/ j .di b.2023.109480.   [ 26]   J .  A .  P r une s ki   e t   al . ,  “ T he   de ve l opm e nt   a nd  de pl oym e nt   of   m a c hi ne   l e a r ni ng  m ode l s ,”   K ne e   Sur ge r y ,  Spor t s   T r aum at ol ogy ,   A r t hr os c opy , vol . 30, no. 12, pp. 3917 – 3923, D e c . 2022, doi :  10.1007/ s 00167 - 022 - 07155 - 4.   [ 27]   J .  R .  V e r bi e s t ,  B .  B onne c hè r e ,  W .   S a e ys ,  P .  V a n  de   W a l l e ,  S .  T r ui j e n,  a nd  P .  M e yns ,  “ G a i t   s t r i de   l e ngt h  e s t i m a t i on  us i n g   e m be dde d m a c hi ne  l e a r ni n g,”   Se n s or s , vol . 23, no. 16, A ug. 2023, doi :  10.3390/ s 23167166.   [ 28]   A .  R a nj ba r ,  F .  M ont a z e r i ,  M .  V .  F a r a s ha h,  V .  M e hr nous h,  F .  D a r s a r e h,  a nd  N .  R ooz be h,  “ M a c hi ne   l e a r ni ng - ba s e d  a ppr oa c h   f or   pr e di c t i ng l ow  bi r t h w e i ght ,”   B M C  P r e gnanc y  and C hi l dbi r t h , vol . 23, no. 1, N ov. 2023, doi :  10.1186/ s 12884 - 023 - 06128 - w.   [ 29]   D .  W ol f   e t   al . ,  “ S e l f - s upe r vi s e d  pr e - t r a i ni ng  w i t h  c ont r a s t i ve   a nd  m a s k e d  a ut o e nc ode r   m e t hods   f or   de a l i ng  w i t h  s m a l l   da t a s e t s   i n   de e p l e a r ni ng f or  m e di c a l  i m a gi ng,”   Sc i e nt i f i c  R e por t s , vol . 13, no. 1, N ov. 202 3, doi :  10.1038/ s 41598 - 023 - 46433 - 0.   [ 30]   F .  A l a hda b,  R .  E l   S ha w i ,  A .  I .  A hm e d,  Y .  H a n,  a nd  M .  A l - M a l l a h,  “ P a t i e nt - l e ve l   e xpl a i na bl e   m a c hi ne   l e a r ni ng  t o  pr e di c t   m a j or   a dve r s e   c a r di ova s c ul a r   e v e nt s   f r om   S P E C T   M P I   a nd  C C T A   i m a gi ng,”   P L O S  O N E ,  vol .  18,  no.   11,  N ov.  2023,   doi :   10.1371/ j our na l .pone .0291451.   [ 31]   S .  U ddi n,  A .  K ha n,  M .  E .  H os s a i n,  a nd  M .  A .  M oni ,  “ C om pa r i ng  di f f e r e nt   s upe r vi s e d  m a c hi ne   l e a r ni ng  a l gor i t hm s   f or   di s e a s e   pr e di c t i on,”   B M C  M e di c al  I nf or m at i c s  and D e c i s i on M ak i ng , vol . 19, no. 1, D e c . 2019, doi :  10.1186/ s 12911 - 019 - 1004 - 8.   [ 32]   O .  S pj ut h,  J .  F r i d,  a nd  A .   H e l l a nde r ,  “ T he   m a c hi ne   l e a r ni ng  l i f e   c yc l e   a nd  t h e   c l oud:   i m pl i c a t i ons   f or   dr ug  di s c ove r y,”   E x pe r t   O pi ni on on D r ug D i s c ov e r y , vol . 16, no. 9, pp. 1071 – 1079, S e p. 2021, doi :  10. 1080/ 17460441.2021.1932812.   [ 33]   H .  P a r k  a nd  J . - H .   S on,  “ M a c hi ne   l e a r ni ng  t e c hni que s   f or   T H z   i m a gi ng  a nd  t i m e - dom a i n  s pe c t r os c opy ,”   Se ns or s ,  vol .  21,  no.  4,   F e b. 2021, doi :  10.3390/ s 21041186.   [ 34]   Z .  Z ha ng  a nd  E .  S e j di ć ,  “ R a di ol ogi c a l   i m a ge s   a nd  m a c hi ne   l e a r ni ng:   T r e nds ,  p e r s pe c t i ve s ,  a nd  pr os pe c t s ,”   C o m put e r s   i n  B i ol ogy   and M e di c i ne , vol . 108, pp. 354 – 370, M a y 2019, doi :  10.1016/ j .c om pbi om e d.2019.02.017.   [ 35]   V .  Z i nc huk  a nd  O .   G .  ‐ Z i nc huk,  “ M a c hi ne   l e a r ni ng  f o r   a na l ys i s   of   m i c r os c opy  i m a ge s :   a   pr a c t i c a l   gui de   a nd  l a t e s t   t r e nds ,”   C ur r e nt  P r ot oc ol s , vol . 3, no. 7, J ul . 2023, doi :  10.1002/ c pz 1.819.   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I S S N :   2252 - 8938   I nt  J  A r ti f   I nt e ll ,  V ol .   13 , N o.   4 ,  D e c e m be r   2024 :   3727 - 37 38   3736   [ 36]   S .  A .  Z .  - F r e gos o  e t   al . ,  “ U s i ng  a r t i f i c i a l   i nt e l l i ge nc e   t o   de ve l op   a   m ul t i va r i a t e   m ode l   w i t h  a   m a c hi ne   l e a r ni ng  m ode l   t o  pr e di c t   c om pl i c a t i ons   i n  M e xi c a n  di a be t i c   pa t i e nt s   w i t hout   a r t e r i a l   hype r t e ns i on  ( na t i ona l   ne s t e d  c a s e - c ont r ol   s t udy) :   m e t f or m i n  a nd  e l e va t e d nor m a l  bl ood pr e s s ,”   J ou r nal  of  D i abe t e s  R e s e ar c h , pp. 1 – 11, F e b. 20 23, doi :  10.1155/ 2023/ 8898958.   [ 37]   M .  R om a now i c z   e t   al . ,  “ M a c hi ne   l e a r ni ng  i de nt i f i e s   s m a r t w a t c h - ba s e d  phys i ol ogi c a l   bi om a r ke r  f or   p r e di c t i ng  di s r upt i ve   be ha vi or   i n  c hi l dr e n:   a   f e a s i bi l i t y  s t udy ,”   J ou r nal   of   C hi l d  and  A dol e s c e nt   P s y c hopha r m ac ol ogy ,  vol .  33,  no.  9,  pp.  387 – 392,  N ov.  2023,   doi :  10.1089/ c a p.2023.0038.   [ 38]   E . A . K r i ngl e , E . C . K nut s on, C .  E ngs t r om , a nd L .  T e r hor s t , “ I t e r a t i ve  pr oc e s s e s :  a  r e vi e w  of   s e m i - s upe r vi s e d m a c hi ne  l e a r ni ng i n   r e ha bi l i t a t i on  s c i e nc e ,”   D i s abi l i t y   and  R e habi l i t at i on:   A s s i s t i v e   T e c hnol ogy ,  vol .  15,  no.  5,  pp.  515 – 520,  J ul .  2020,  doi :   10.1080/ 17483107.2019.1604831.   [ 39]   A .  Z .  W ol da r e ga y  e t   al . ,  “ D a t a - dr i ve n  m ode l i ng   a nd  pr e di c t i on  of   bl ood  gl uc os e   dyna m i c s :   M a c hi ne   l e a r ni ng  a ppl i c a t i ons   i n  t ype   1 di a be t e s ,”   A r t i f i c i al  I nt e l l i ge nc e  i n M e di c i ne , vol . 98, pp. 109 – 134, J ul . 2019, doi :  10.1016/ j .a r t m e d.2019.07.007.   [ 40]   R .  C a s t a l do,  C .  C a va l i e r e ,  A .  S or i c e l l i ,  M .  S a l va t or e ,  L .  P e c c hi a ,  a nd  M .  F r a nz e s e ,  “ R a di om i c   a nd  ge nom i c   m a c hi ne   l e a r ni ng   m e t hod  pe r f or m a nc e   f or   pr os t a t e   c a n c e r   di a gnos i s :   s ys t e m a t i c   l i t e r a t ur e   r e vi e w ,”   J our nal   of   M e di c al   I nt e r ne t   R e s e a r c h ,   vol .  23,   no. 4, A pr . 2021, doi :  10.2196/ 22394.   [ 41]   S .  K a ddour a ,  D .  E .  P ope s c u,  a nd   J .  D .  H e m a nt h,  “ A   s ys t e m a t i c   r e vi e w   on  m a c hi ne   l e a r ni ng  m ode l s   f or   onl i ne   l e a r ni ng  a n d   e xa m i na t i on s ys t e m s ,”   P e e r J   C om put e r  S c i e nc e , vol . 8, 2022, doi :  10.7717/ pe e r j - c s .986.   [ 42]   R .  C uoc ol o  e t   al . ,  “ M a c hi ne   l e a r ni ng  f o r   t he   i de nt i f i c a t i on  o f   c l i ni c a l l y  s i gn i f i c a nt   pr os t a t e   c a nc e r   on  M R I :   a   m e t a - a na l ys i s ,”   E ur ope an R adi ol ogy , vol . 30, no. 12, pp. 6877 – 6887, D e c . 2020, doi :  10.1007/ s 00330 - 020 - 07027 - w.   [ 43]   J .  H .  H a r r i s on  e t   al . ,  “ I nt r oduc t i on  t o  a r t i f i c i a l   i nt e l l i ge nc e   a nd  m a c hi ne   l e a r ni ng  f or   pa t hol ogy ,”   A r c hi v e s   of   P at hol ogy   and   L abor at or y  M e di c i ne , vol . 145, no. 10, pp. 1228 – 1254, O c t . 2021, doi :  10.5858 / a r pa .2020 - 0541 - C P .   [ 44]   F .  F a br i s ,  J .  P .  D.   M a ga l hã e s ,  a nd  A .  A .  F r e i t a s ,  “ A   r e vi e w   of   s upe r vi s e d  m a c hi ne   l e a r ni ng  a ppl i e d  t o   a ge i ng  r e s e a r c h,”   B i oge r ont ol ogy , vol . 18, no. 2, pp. 171 – 188, A pr . 2017, doi :  10.1007/ s 10522 - 017 - 9683 - y.   [ 45]   S .  K i s t ki ns   e t   al . ,  “ C om pa r a t i ve   a na l ys i s   of   pr e di c t i ve   i nt e r s t i t i a l   gl uc os e   l e v e l   c l a s s i f i c a t i on  m ode l s ,”   Se n s or s ,  vol .  23,  no.  19,   O c t . 2023, doi :  10.3390/ s 23198269.   [ 46]   K .  C a o,   K .  V e r s poor ,  S .  S a he bj a da ,   a nd   P .  N .  B a i r d,  “ A c c ur a c y  of   m a c hi ne   l e a r ni ng  a s s i s t e d  de t e c t i on   of   ke r a t oc onus :   a   s ys t e m a t i c  r e vi e w  a nd m e t a - a na l ys i s ,”   J our nal  of  C l i ni c al  M e di c i ne , vol . 11, no . 3, J a n. 2022, doi :  10.3390/ j c m 11030478.   [ 47]   F .  V.   D.   S om m e n  e t   al . ,  “ M a c hi ne   l e a r ni ng  i n  G I   e ndos c opy:   pr a c t i c a l   gui da n c e   i n  how   t o  i nt e r pr e t   a   nove l   f i e l d,”   G ut ,  vol .  69,   no. 11, pp. 2035 – 2045, N ov. 2020, doi :  10.1136/ gut j nl - 2019 - 320466.   [ 48]   C .  C a r us o,   “ M a c hi ne   l e a r ni ng  m od e l s   I D   c a nc e r   dr i ve r s ,”   C anc e r   D i s c ov e r y ,  vol .  11,  no.   10,  pp.   2361 – 2362,  O c t .   2021,  doi :   10.1158/ 2159 - 8290.C D - N B 2021 - 0376.   [ 49]   F .  M ohr ,  M .  W e ve r ,  A .  T or ne de ,  a nd  E .  H ul l e r m e i e r ,  “ P r e di c t i ng  m a c hi ne   l e a r ni ng  pi pe l i ne   r unt i m e s   i n  t he   c ont e xt   of   a ut om a t e d   m a c hi ne   l e a r ni n g,”   I E E E   T r ans ac t i ons   on  P at t e r n  A nal y s i s   and  M ac hi ne   I nt e l l i ge nc e ,  vol .  43,  no.  9,  pp.  3055 – 3066,  S e p.  2021 ,   doi :  10.1109/ T P A M I .2021.3056950.   [ 50]   D .  F a l l a ,  V .  D e ve c c hi ,  D .  J .  - G r a nde ,  D .  R üga m e r ,  a nd  B .  X .  W .   L i e w ,   “ M a c hi ne   l e a r ni ng  a ppr oa c he s   a ppl i e d  i n  s pi na l   pa i n   r e s e a r c h,”   J our nal  of  E l e c t r o m y ogr aphy  and  K i ne s i ol ogy , vol . 61, D e c . 2021, d oi :  10.1016/ j .j e l e ki n.2021.102599.   [ 51]   D .  L e de s m a ,  S .  S ym e s ,  a nd  S .  R i c ha r ds ,  “ A dva nc e m e nt s   w i t hi n  m ode r n  m a c hi ne   l e a r ni ng  m e t hodol ogy:   i m pa c t s   a nd  p r os pe c t s   i n   bi om a r ke r   di s c ove r y,”   C u r r e nt   M e di c i nal   C h e m i s t r y ,  vol .  28,   n o.  32,  pp.  6512 – 6531,   O c t .  2021,   doi :   10.2174/ 0929867328666210208111821.   [ 52]   R .  R .  G upt a ,  “ A ppl i c a t i on  of   a r t i f i c i a l   i nt e l l i ge nc e   a nd  m a c hi ne   l e a r ni ng  i n  dr ug  di s c ove r y ,”   i n  A r t i f i c i al   I nt e l l i ge nc e   i n  D r ug   D e s i gn , 2022, pp. 113 – 124 , doi :  10.1007/ 978 - 1 - 0716 - 1787 - 8_4.   [ 53]   J .  R a m a n,  S .  V e nka t e s h,  a nd  R .   B e l l om o,  “ M a c hi ne   l e a r ni ng  i n  r i s k  pr e di c t i on  f or   c a r di a c   s ur ge r y - a n  e m e r gi ng  t r e nd? ”  H e ar t ,   L ung and C i r c ul at i on , vol . 30, no. 12, pp. 1790 – 1791, D e c . 2021, doi :  10.1016/ j .hl c .2021.09.007.   [ 54]   D .  J a nc a r c z yk,  M .  B e r na ś ,  a nd  T .  B oc z a r ,  “ C l a s s i f i c a t i on  of   l ow   f r e que nc y  s i gna l s   e m i t t e d  by  pow e r   t r a ns f or m e r s   us i ng  s e n s or s   a nd m a c hi ne  l e a r ni ng m e t hod s ,”   Se n s or s , vol . 19, no. 22, N ov. 2019, doi :  10.3390/ s 19224909.   [ 55]   J .  D .  E l ha i   a nd  C .  M ont a g,  “ T he   c om pa t i bi l i t y  of   t he or e t i c a l   f r a m e w or ks   w i t h  m a c hi ne   l e a r ni ng  a na l ys e s   i n  ps yc hol ogi c a l   r e s e a r c h,”   C u r r e nt  O pi ni on i n P s y c hol ogy , vol . 36, pp. 83 – 88, D e c . 2020, doi :   10.1016/ j .c ops yc .2020.05.002.   [ 56]   H .  Y a da v  a nd  A .  T ha kka r ,  “ N O A - L S T M :   A n   e f f i c i e nt   L S T M   c e l l   a r c hi t e c t ur e   f or   t i m e   s e r i e s   f or e c a s t i ng,”   E x pe r t   Sy s t e m s   w i t h   A ppl i c at i ons , vol . 238, M a r . 2024, doi :  10.1016/ j .e s w a .2023.122333.   [ 57]   J .  C .  G .  M e j i a ,  F .  A .  V .  A gude l o,  M .  M .  R i va s ,  a nd  I .  A .  D e l ga do,  “ M e t hod  t o  m a na ge   t he   s e c ur i t y  of   i n f or m a t i on  a s s e t s   ( i n  S pa ni s h:   m é t odo  pa r a   ge s t i ona r   l a   s e gur i da d  de   a c t i vos   de   I nf or m a c i ón) ,”   R e v i s t a  I be r i c a  de   Si s t e m as   e   T e c nol ogi as   de   I nf or m ac c ao , pp. 252 – 266, 2023.   [ 58]   Y .  A i   e t   al . ,  “ A   de e p  l e a r ni ng  a ppr oa c h  on  s hor t - t e r m   s pa t i ot e m por a l   di s t r i bu t i on  f or e c a s t i ng  of   doc kl e s s   bi ke - s ha r i ng  s ys t e m ,”   N e ur al  C om put i ng and A ppl i c at i ons , vol . 31, no. 5, pp. 1665 – 1677, M a y 2019,  doi :  10.1007/ s 00521 - 018 - 3470 - 9.   [ 59]   D .  K r e uz be r ge r ,  N .  K ühl ,  a nd   S .  H i r s c hl ,  “ M a c hi ne   l e a r ni ng  ope r a t i ons   ( M L O ps ) :   ove r vi e w ,  de f i ni t i on,  a nd  a r c hi t e c t ur e ,”   I E E E   A c c e s s , vol . 11, pp. 31866 – 31879, 2023, doi :  10.1109/ A C C E S S .2023.3262138.   [ 60]   S .  C hor e v  e t   al . ,  “ D e e pc he c ks :   a   l i br a r y  f or   t e s t i ng  a nd  va l i da t i ng  m a c hi ne   l e a r ni ng  m ode l s   a nd  da t a ,”   J our nal   of   M ac hi ne   L e ar ni ng R e s e ar c h , vol . 23, 2022.   [ 61]   P .  R uf ,  M .  M a da n,  C .  R e i c h,  a nd  D .  O .  - A bde s l a m ,  “ D e m ys t i f yi ng  M L O ps   a nd  pr e s e nt i ng  a   r e c i pe   f or   t he   s e l e c t i on  of   ope n - s our c e  t ool s ,”   A ppl i e d Sc i e nc e s , vol . 11, no. 19, S e p. 2021, doi :   10.3390/ a pp11198861.   [ 62]   A . M .   D.   R í o, I . S .  R a m i r e z ,  M . P a pa e l i a s , a nd  F . P . G .  M á r que z , “ P a t t e r n r e c o gni t i on ba s e d on  s t a t i s t i c a l  m e t hods   c om bi ne d w i t h   m a c hi ne  l e a r ni ng i n r a i l w a y s w i t c he s ,”   E x pe r t  Sy s t e m s  w i t h A ppl i c at i ons , vol . 2 38, M a r . 2024, doi :  10.1016/ j .e s w a .2023.122214.   [ 63]   D .  J .  K e dz i or a ,  T . - D .  N guye n,   K .  M us i a l ,  a nd  B .  G a br ys ,  “ O n  t a ki ng  a dva nt a ge   of   oppor t uni s t i c   m e t a - know l e dge   t o  r e duc e   c onf i gur a t i on  s pa c e s   f or   a ut om a t e d  m a c hi ne   l e a r ni ng,”   E x pe r t   S y s t e m s   w i t h  A ppl i c at i ons ,  vol .   239,  A pr .  2024,   doi :   10.1016/ j .e s w a .2023.122359.   [ 64]   Z .  Z ha ng,  Y .  L i ,  S .  Y a ng,  Z .  Z ha ng,  a nd   Y .  L e i ,  “ C od e - a w a r e   f a ul t   l oc a l i z a t i on  w i t h  pr e - t r a i ni ng  a nd  i nt e r pr e t a bl e   m a c hi ne   l e a r ni ng,”   E x pe r t  Sy s t e m s  w i t h A ppl i c at i ons , vol . 238, M a r . 2024, doi :  10.1016/ j .e s w a .2023.121689.   [ 65]   K .  F i l i ppou,  G .  A i f a nt i s ,  G .  A .  P a pa kos t a s ,  a nd  G .  E .  T s e kour a s ,  “ S t r uc t ur e   l e a r ni ng  a nd  hype r pa r a m e t e r   opt i m i z a t i on  us i ng  a n  a ut om a t e d m a c hi ne  l e a r ni ng   ( A ut oM L )   pi pe l i ne ,”   I nf or m at i on , vol . 14, no. 4, A pr . 2023, doi :  10.3390/ i nf o14040232.   [ 66]   K .  L e f e vr e   e t   al . ,   “ M ode l O p s   f or   e nha nc e d  de c i s i on - m a ki ng  a nd  gove r na nc e   i n  e m e r ge nc y  c ont r ol   r oom s ,”   E nv i r onm e nt   Sy s t e m s   and D e c i s i ons , vol . 42, no. 3, pp. 402 – 416, S e p. 2022, doi :  10.1007/ s 10669 - 02 2 - 09855 - 1.   [ 67]   N . F ong a nd  S . B .  - O r e , “ C on s i de r a t i ons   f or  c om pl i a n c e  w i t h  t he  i nf or m a t i on s e c ur i t y pol i c y  ( i n S pa ni s h:   C ons i de r a c i one s  pa r a  e l   c um pl i m i e nt o  de   l a   pol í t i c a   de   s e gur i da d  de   l a   i nf or m a c i ón ) ,”   R e v i s t a  I be r i c a  de   Si s t e m a s   e   T e c nol ogi a s   de   I nf or m ac c ao ,  pp.   528 – 539, 2022.   Evaluation Warning : The document was created with Spire.PDF for Python.