I A E S  I n t e r n at io n al  Jou r n al  of  A r t if ic ia I n t e ll ig e n c e  ( I J - A I )   V ol 10 , N o.  4 D e c e m be r   202 1 , pp.  1091 ~ 1102   I S S N 2252 - 8938 ,   D O I 10.11591/ ij a i. v 10 .i 4 .pp 1091 - 1102          1091       Jou r n al  h om e page ht tp : // ij ai . ia e s c or e .c om   sys t e m at i c  l i t e r a t u r e  r e vi e w  o f  m ac h i n e  l e ar n i n m e t h od s i n   p r e d i c t i n g c ou r t  d e c i si on s       N u r  A q il ah  K h ad i j ah  R os il i 1 , N oor  H id ayah   Z ak ar ia 2 , R oh a yan t H as s an 3 , S h ah r e e n  K as im 4   F ar id  Z am an C h e  R os e 5 , T ol e  S u t ik n o 6   1, 2, 3 School o f Comput ing, Fac ulty of  Engine ering,  Unive rsiti Te knologi  Malays ia Johor, Malaysia   4 Faculty  of Comp uter Sc ience  and I nforma tion Syste m, Unive rsiti Tu n Husse in Onn Johor, Malaysia   5 School o f Math ematic al Scie nces,  Unive rs i ti Sains   Malaysia Penang Malaysia   6 Department of Electical En gineering, Universit as Ahmad Dahlan, Yogyakarta,  Indonesia       A r t ic le  I n f o     A B S T R A C T   A r ti c le  h is to r y :   R e c e iv e J un 12, 20 21   R e vi s e S e p 30 , 20 21   A c c e pt e O c 13 , 20 21       Envisaging  legal  cases’  outcomes  can   assist  the  judicial   decision - making  process.  Prediction  is  possible   in  various   cases,  such  as   predicting  the   o utcome  of  construction  litigation,  crime - related  cases,   parental  rights,  worker   types,   divorces,  and  tax  law.   the   machine  learning  me thods   can  function  as   support  decision  tools  in  the  legal  system  with  artificial  intelligence’s  advancement.  This  study  aimed  to  impart  systematic   literature  review  (SLR)   of  studies  concerning  the  predicti on  of  court  decision via  machine  learning  m ethod s.   T he  review  determines  and  analyses   the  machine  learning   methods  used  in  predicting  court  decisions.  Th is  review  utilised   RepOrting   Standard for  Systema tic Evi dence  Synthes es  ( ROSES )  publication standard.  Subseq uently,  22  relevant  studies  that  most   comm only  predicted   the  judgement   results  involving   binary  classification  were  chosen  from  significant  databases:  Scopus  and  Web  of  Sciences.  According   to  the  SLR’s   outcomes,  various  machine  learning  methods  can  be  used   in  predicting  court   decisions.  Additiona l ly,  the  performance  is  acceptable  since  most   methods  achieved  more   tha 70%  accuracy.  Nevertheles s,  improvem ents   can  be  m ade  on  the   types  of   j udicial  decisions predicted using the existing machine learning methods .   K e y w o r d s :   J udi c ia c a s e s   L e ga s ys te m   M a c hi ne  l e a r ni ng    P r e di c ti ng c our de c is io n   P r e di c ti ve  m ode l   ROSES     This is an  open  acce ss artic le unde r the  CC BY - SA   license.     C or r e s pon di n g A u th or :   N ur  A qi la h K ha di ja h R os il i   S c hool  of  C om put in g, F a c ul ty  of  E ngi ne e r in g U ni ve r s it T e knol ogi  M a la ys ia   S ul ta n I br a hi m  C ha nc e ll e r y B ui ld in g, J a la n I m a n, 81310 S kuda i,  J ohor , M a la ys ia   E m a il a qi la hr os il i@gma i l .c om       1.   I N T R O D U C T I O N   T he  gl oba li s e d w or ld   to da y de m a nds  s pe e dy a nd e f f ic ie nt  ha nd li ng of  e ve r y a c ti on   [ 1] [ 3 ] .   T he   f a s t - m ovi ng  a c ti ons   a r e   e s s e nt ia l   in   e ns ur in th a th e   s e r vi c e s   c a be   im pl e m e nt e in   li ne   w it th e   r a pi de ve lo pm e nt   of   te c hnol ogy  a nd  in f or m a ti on,  in c lu di ng  in   th e   le ga s ys te m   [ 4] [ 20] J udge s   a nd   la w ye r s   ge ne r a ll ha ndl e   le ga c a s e s but   th e   he lp   of   te c hnol ogy  is   c r it ic a ll e s s e nt ia due   to   th e   m a s s iv e   num be r s   of   c a s e s   da il y.   T he   e f f e c of   de la in   ju s ti c e   m a le a d   to   va r i ous   c ons e que nc e s s uc a s   w it ne s s   hos ti li ty unf it ne s s  of  t he  pl a in ti f f  or  a c c us e d a nd othe r  a dve r s e  i m pa c ts   [2 1] .   L e ga pr of e s s io na ls   c ur r e nt ly   f oc us   on  a r ti f ic ia in te ll ig e nc e   [ 22] .   A c c or di ng  to   hi s to r ic a d a ta s e ts   in   th e   le ga c ont e xt ju di c ia de c is io n s   pr e di c ti on  is   s ta nda r a nd  w id e ly   pr a c ti s e in   th e   w or ld w id e   le ga s ys t e m M a c hi ne   le a r ni ng  is   a   budding  s c ie nt if ic   a lg or it hm s   s tu dy,  a nd  s ta ti s ti c a m ode ls   a r e   a r ti f ic ia in te ll ig e nc e s   pa r ts  t ha e na bl e  s y s te m s  t o a ut om a ti c a ll y l e a r n a nd i m pr ovi s e  e xpe r ie nc e  f r om  t he  t e s da ta   [ 23] [ 30] .   T he   le ga s y s te m s   a dva nc e m e nt   vi a   th e   us a ge   of   th e   m a c hi ne   le a r ni ng  a lg or it hm   is   c r uc ia in   r e duc in g   th e   w or kl oa of   le ga pr of e s s io ns   a nd  s a ve s   th e   ti m e   to   s e tt le   pe ndi ng  c a s e s   dur in th e   C ovi d - 19  pa nde m ic   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I S S N :   2252 - 8938     I nt  J  A r ti f   I nt e ll V ol 10 , N o.  4 D e c e m be r   20 2 1   1091     1102   1092   [ 21] , [ 31 ] [ 33] .  T he r e f or e , t hi s  s tu dy a im e d t o  i nve s ti ga te  t he  e xi s ti ng ma c hi ne  l e a r n in g m e th od de ve lo pe d t o   pr e di c ju di c ia de c is io ns .   th e   c a s e s   th a us e th is   a ppr oa c w e r e   id e nt if ie d,  a nd  th e   m e th ods   pe r f or m a nc e   w a s   m oni to r e d t o s tu dy t he  m e th ods  e f f e c ti ve ne s s .       2.   M E T H O D   2 .1.    T h e   R e vi e w  P r ot oc ol - R O S E S   T he   R O S E S   r e vi e w   pr ot oc ol   le a th e   c ur r e nt   r e s e a r c h.   T he   R O S E S   pr ot oc ol   is   de v e lo pe f or   s ys te m a ti c   r e vi e w   a nd  e nvi r onm e nt   m a na ge m e nt   f ie ld   m a ps   [ 34] [ 45] A ddi ti ona ll y,   th e   R O S E S   p r ot oc ol   a ls o   e nc our a ge s   r e s e a r c he r s   to   gua r a nt e e   th a th e of f e r   th e   c or r e c in f or m a ti on  w it e xpl ic it   de ta il s .   T h e   r e s e a r c he r s   be ga n t he  S L R  by f or m ul a ti ng r e s e a r c h que s ti ons  a c c or di ng t o t he  r e vi e w s  pr ot oc ol   [ 46] [ 48] . S ubs e que nt ly ,   th e   r e s e a r c he r s   w e r e   r e qui r e to   d e s c r ib e   th e   s y s te m a ti c   s e a r c hi ng  s tr a te gy  th a c on s is ts   of   th r e e   pr oc e s s e s ,   s uc a s   id e nt if ic a ti on,  s c r e e ni ng  a nd  e li gi bi li ty .   th e   r e s e a r c h e r s   w e r e   a ls o   r e qui r e to   pe r f or m   a   qu a li ty   a ppr a is a l   of   th e   s e le c te a r ti c le s L a s tl y,  th e   a ut hor s   e la bor a te on  th e   o ut c om e s   ge ne r a te f r om   th e   c hos e pr in c ip a l   a r ti c le s .     2 . 2   F or m u la t io n  of  R e s e ar c h  Q u e s t io n s     T he   r e s e a r c que s ti ons   f or   th is   s tu dy  w e r e   f or m ul a te a c c or di ng  to   th e   e le m e nt s   of   P opul a ti on   o r   P r obl e m   ( P ) I n te r e s ( I )   a nd  C ont e xt   ( C o) or   P I C o.   T he   P I C is   a   to ol   to   he lp   r e s e a r c he r s   to   c on s tr uc r e s e a r c que s ti ons   f or   th e   r e vi e w .   T he   P I C o c ont e xt   e n c om pa s s e s   th e   f o ll ow in a s pe c t s   in   th i s   r e s e a r c h:   i)   P opul a ti on:   M a c hi ne   L e a r ni ng ii )   I nt e r e s t:   P r e di c ti on a nd  i ii )   C ont e xt :   J udi c ia D e c is io n T he   f or m ul a te r e s e a r c que s ti ons  w e r e :   1) .   W ha ty pe s  of  j udi c ia de c is io n s  ha ve  b e e n pr e di c te d us in g t he   m a c hi ne  l e a r ni ng me th od?   2) .   W ha a r e  t he  m a c hi ne  l e a r ni ng me th ods  us e d t o pr e di c ju di c ia de c is io ns ?   3) .   H ow  w a s  t he  pe r f or m a nc e  of  t he  m a c hi ne  l e a r ni ng me th od us e d  t o pr e di c ju di c ia de c is io ns ?     2 . 3   S ys t e m at ic  S e ar c h in g S t r at e gi e s     T he   s e a r c hi ng  pr oc e s s   in   S L R   c om pr is e s   th r e e   m a in   s te ps i)   id e nt if ic a ti on,  ii )   s c r e e ni ng,  a nd  ii i)   e li gi bi li ty   [ 7 ] .   T he   w hol e   pr oc e s s   w a s  s um m a r is e in   th e   f lo w  di a gr a m   de pi c te in   F ig ur e   1 a nd   e xpl a in e in   th e  be lo w  s e c ti on s .     2 . 3 . 1.     I d e n t if ic at io n     T he   pur pos e   of   th e   id e nt if ic a ti on  pr oc e s s   is   to   m a xi m is e   th e   n um be r   of   ke yw or ds   to   be   s e a r c he in   da ta ba s e s .   T he   k e yw or ds   a r e   de ve lo pe d   ba s e on   th e   r e s e a r c q ue s ti ons   f or m ul a te d.   T he   v a r ia ti on  of   ke yw or ds   r e li e s   on  a onl in e   th e s a ur us   to   id e nt if s ynonym s   a nd  r e la te te r m s ke yw or ds   us e in   pr e vi ous   s tu di e s   a nd   s ugge s te by   da ta ba s e s   a nd  e xpe r ts .   N e ve r th e le s s th e   m a in   ke y w or ds   us e in   th is   s tu dy  a r e   pr e di c ti on,  ju di c ia de c is io n a nd m a c hi ne  l e a r ni ng. T hi s  s tu dy r e f e r s  t o t w m a jo r  i nde xe d da ta ba s e s , na m e ly  S c opus  a nd W e b of   S c ie nc e . T he s e  da ta b a s e s  w e r e  c ho s e n due  t s e ve r a a dva nt a ge s   F ir s t,   th e   da ta ba s e s  c ont r ol   th e   a r ti c le s   qua li ty  a nd  c ons i s of   a r ti c le s   f r om   va r io us   m ul ti di s c ip li na r f ie ld s S e c ond,  th e   da ta ba s e s   pr ovi de   c om pr e he ns iv e   a nd  a dva nc e   s e a r c hi ng  f unc ti ons .   T he   r e s e a r c he r s   c ons tr uc te a   f ul s e a r c s tr in us in th e   B ool e a ope r a to r   A N D   a nd  O R phr a s e   s e a r c hi ng,  tr unc a ti on  a nd  w il d c a r d pr ovi de d i n both  da ta ba s e s ,  a s   T a bl e  1 .  F ur th e r m or e , t he  i de nt if ic a ti on pr oc e s s   a ls o i nc lu d e d m a nua l   s e a r c hi ng  to   id e nt if r e le va nt   a r ti c le s   in   pr e di c ti ng   ju di c ia de c is io ns   us in m a c hi ne   le a r ni ng.  T hi s   pr oc e s s   m a na ge d t o r e tr ie ve  94 a r ti c le s  f r om  S c opus  a nd 32 a r ti c le s  f r o m  W e b of  S c ie nc e .     2 . 3 . 2.     S c r e e n in g   T he   s c r e e ni ng  pr oc e s s   w a s   unde r ta ke f or   a ll   th e   s e le c te a r ti c le s   in   th e   id e nt if ic a ti on  pr oc e s s .   T he   pur pos e  of  t he  s c r e e ni ng pur pos e  i s  t o i nc lu d e  a nd e xc lu de   a r ti c le s  ba s e d on th e  c r it e r ia  de te r m in e d.   th e   in it ia s c r e e ni ng pr oc e s s  r e s tr ic ts  t he  t im e li ne  t o b e  i n a  s pe c if ic  i nt e r va r e c om m e nde d by  O kol   [ 49] .   T he   s e a r c hi ng   pr oc e s s   w a s  l im it e d t o a r ti c le s  publi s he d  f r om  t he  ye a r  2000 to  2021 only. Ne ve r th e le s s ,  t he  s e a r c hi ng pr oc e s s   w a s   s ta r te d   in   M a r c 2021,  a nd  th e   ye a r   ha s   not   c om e   to   a e nd.  T hus th e   f in di ngs   w e r e   li m it e to   M a r c 2021.   th e   s e c ond  in c lu s io c r it e r io w a s   th e   la ngu a ge   us e in   th e   publ is he a r ti c le s   or   jo ur na ls A ll   non - E ngl is la ngua ge   a r ti c le s   w e r e   e xc lu de du e   to   po s s ib le   tr a n s la ti on  di f f ic ul ti e s .   T h e   in c lu s io n   a nd  e x c lu s io c r it e r ia   a r e   e nl is te d i n T a bl e  2.     2 . 3 . 3.     E li gi b il it y   T he   f in a pr oc e s s   in   th e   s ys te m a ti c   s e a r c hi ng  pr oc e dur e   is   e li gi bi li ty T hi s   pr oc e s s   w a s   unde r ta ke n   m a nua ll to   r e vi e w   th e   a r ti c le s   by  r e a di ng  a ll   th e   a r t ic le s   ti tl e s   a nd  a bs tr a c ts   th or oughly.   T he   e li gi bi li ty   s te p   Evaluation Warning : The document was created with Spire.PDF for Python.
I nt  J  A r ti f  I nt e ll   I S S N 2252 - 8938       A  s y s te m at ic  l it e r at u r e  r e v ie w  of  m ac hi n e  l e ar ni ng m e th od s  i pr e di c ti ng    ( N ur  A qi la h K hadi ja h R os il i)   1093   e ns ur e s  t ha a ll  t he  s e le c te d a r ti c le s  c om pl ie d w it h t he  pr e - de te r m in e d c r it e r ia .   th e   e li gi b il it y p r oc e s s  i nc lu de 20 a r ti c le s  r e tr ie ve d f r om  S c opus  a nd 14 a r ti c le s  f r om  W e b of   S c ie nc e  a f te r  m a nua ll y r e vi e w e d.       T a bl e  1.   T he   s e a r c s tr in gs   D a t a ba s e   S e a r c h S t r i ng   S c opus   T I T L E - A B S - K E Y ( ( "pr e di c t *" O R  "pr e di c t i on*" O R  "pr e di c t i ng*" O R  "f or e c a s t *")  A N D  ( "c our t   de c i s i on*" O R  "le g a l  de c i s i on*" O R  "la w  de c i s i on*" O R  "judi c i a l   c a s e *")  A N D  ( "ma c hi ne  l e a r ni ng*" O R   "a r t i f i c i a l  i nt e l l i ge nc e *" O R  "A I *" O R  "s upe r vi s e * m a c hi ne  l e a r ni ng*") )   W e b of  S c i e nc e   ( T S  = ( ( "pr e di c t i on*" O R  "pr e di c t *" O R  "pr e di c t i ng")  A N D  ( "c our t  de c i s i on*" O R  "judi c i a l  de c i s i on*" O R   "le ga l  de c i s i on*")  A N D   ( "ma c hi ne  l e a r ni ng" O R  " A I ") ) )       T a bl e   2 .   T he   in c lu s io n a nd  e xc lu s io n c r it e r ia   C r i t e r i a   I nc l us i on   E xc l us i on   T i m e l i ne   2000 - 2021   B e f or e  2000   L a ngua ge   E ngl i s h   N on - E ngl i s h   M e t hods   M a c hi ne  l e a r ni ng   O t he r  t ha n m a c hi ne  l e a r ni ng         F ig ur e  1.   T he   f lo w  di a gr a m   [ 50]       2 . 4   Q u al it y A p p r ai s al     T he   pur pos e   of   c on s tr uc ti ng  Q ua li ty   A s s e s s m e nt   ( Q A )   is   to   d e c id e   c on c e r ni ng  th e   c hos e n   s tu di e s   ove r a ll   qua li ty   [ 22 ] T hus th e   f ol lo w in g   qua li ty   c r it e r ia   w e r e   u ti li s e to   e va lu a te   th e   c hos e s tu di e s   to   f ig ur e   out  t he  s tr e ngt h of  t he  s tu di e s  f in di ngs   Q A 1.   D oe s  t he   s tu dy r e la te  t o t he  r e s e a r c h obje c ti ve s ?   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I S S N :   2252 - 8938     I nt  J  A r ti f   I nt e ll V ol 10 , N o.  4 D e c e m be r   20 2 1   1091     1102   1094   Q A 2.   D oe s  t he  s tu dy me nt io n t he  m e th od or  a ppr oa c h u s e d i n p r e di c ti on?   Q A 3.   I s  t he  r e s e a r c h m e th odol ogy c le a r ly  e xpl a in e d?   Q A 4.   I s  t he  da ta  c ol le c ti on me th od de s c r ib e d?   Q A 5.   D oe s  t he  pe r f or m a nc e  of  t he  m e th od us e d h a ve  be e n di s c us s e d?   T he   26  s e le c te s tu di e s   w e r e   e xa m in e th r ough  th e   f iv e   Q A   qu e s ti ons   to   de te r m in e   th e   r e s e a r c he r s   c onf id e nc e   in   th e   c hos e n   s tu di e s   c r e di bi li ty T w e xp e r ts   w e r e   in vi te to   a ppr a is e   th e   Q A   to   de te r m in e   th e   a r ti c le s   c ont e nt   qua li ty .   th e   r e vi e w e r   r a nke d   th e   a r ti c le s   in to   th r e e   le ve ls lo w ,   m ode r a te a nd  hi gh,  a s   s ugge s te d   b y   [ 51] .   T he   a r ti c le s   r a nke a s   m ode r a te   a nd  hi gh  w e r e   e li gi bl e   f or   r e vi e w   in   th e   f ol lo w in g   pr oc e s s .   T he   r e s e a r c he r s   a da pt e th e   s c or in s tr a te gy  e m pl oye d   by   [ 52]   to   a s s e s s   th e   a r ti c le s   qua li ty .   T he   s c or in of   th e   qua li ty   e va lu a ti on  w a s   s tr uc tu r e a s i)   poi nt   r e pr e s e nt s   Y e s ii )   0.5  poi nt   r e pr e s e nt s   P a r tl y’ a nd  ii i)   poi nt   r e pr e s e nt s   N o’ T he   s c or in poi nt   r a nke th e   a r ti c le s   in to   th r e e   c a te gor ie s i)   z e r ( 0 )   to   two  ( 2 )   poi nt s   w e r e   c ons id e r e a s   lo w ii )   two - poi nt - f iv e   ( 2.5)   to   th r e e   ( 3)   poi nt s   w e r e   c ons id e r e a s   m ode r a te a nd  ii i)   th r e e - poi nt - f iv e   ( 3.5)   to  f iv e   ( 5)   poi nt s   w e r e   c ons id e r e a s   hi gh.  F in a ll y,  onl 22  a r ti c le s   w e r e   e li gi bl e   f or   Q A   a f te r   s c or in g   w a s  unde r ta ke n.       3.   R E S U L T S   A N D  D I S C U S S I O N   T he   out c om e s   of   th e   c hos e n   s ig ni f ic a nt   s tu di e s vi s ua li s a ti on  of   publ ic a ti on  ye a r   a nd  th e   out li ne   of   th e   Q A  f in di ngs  a r e  s um m a r is e d i n t he  f ol lo w in g s e c ti on s .     3.1 S e le c t e d  P r im ar y S t u d ie s   T w e nt y - two  s tu di e s   w e r e   c ho s e th r ough  th e   S L R   to   id e nt if t he   ty pe s   of   le ga l   ju dge m e nt   c a s e s   th a t   e m pl oy  th e   m a c hi ne   le a r ni ng  m e th od  to   e nvi s a g e   th e   f in di ngs .   S ubs e que nt ly th e   m a c hi ne   l e a r ni ng  m e th ods   us e d a r e  l is t e d, a nd t he  p e r f or m a nc e  of  e a c h m e th od i s  di s c us s e d. T a bl e  3  s um m a r is e s   th e   s e le c te s tu di e s   a nd   c ons is ts   of   th e   s tu di e s   id e nt it ( I D ) th e   publ ic a ti ons   ti t le s th e   a r ti c le s   a ut hor s   a nd  th e   a r ti c le s   publ ic a ti on  ye a r .       T a bl e   3 S um m a r y of  s e le c te d pr im a r y s tu di e s   I D     T i t l e   A ut hor s   Y e a r   S1   P r e di c t i ng   t he   O ut c om e  of   C ons t r uc t i on L i t i ga t i on U s i ng B oos t e D e c i s i on T r e e s   D a vi d A r di t i  &   T ha ve e por n P ul ke t   2005   S2   P r e di c t i ng   t he   O ut c om e  of  C ons t r uc t i on L i t i ga t i on U s i ng P a r t i c l e  S w a r m  O pt i m i s a t i on   K W  C ha u   2005   S3   P r e di c t i on of  C ons t r uc t i on L i t i ga t i on O ut c om e   -   A  C B R  A ppr oa c   K W  C ha u   2006   S4   P r e di c t i ng   t he   O ut c om e  of  C ons t r uc t i on L i t i ga t i on U s i ng a n I nt e gr a t e d A I  M od e l   D a vi d A r di t i  &   T ha ve e por n P ul ke t   2010   S5   L i t i ga t i on O ut c om e  P r e di c t i on of  D i f f e r i ng S i t e  C ondi t i on D i s put e s  T hr ough M a c hi ne   L e a r ni ng M ode l s   T a r e k M a hf ouz  &  A m r   K a ndi l   2012   S6   S t udy   of   T e r m i na t i on  of   P a r e nt a l  R i ght s :   A A na l ys i s   of   I s r a e l i  C our t  D e c i s i on s   i F a vour   or   A ga i ns t  T e r m i na t i on   of   P a r e nt a l  R i ght s     V e r e d B e n - D a vi d   201 6   S7   P r e di c t i ng J udi c i a l  D e c i s i ons   of  t he   E ur ope a n C our t   of   H um a n R i ght s :  A   N a t ur a l   L a ngua ge  P r oc e s s i ng P e r s pe c t i ve   N i kol a os  A l e t r a s   e t  al   2016   S8   L e a r ni ng   t P r e di c t  C ha r ge s   f or   C r i m i na l  C a s e s   w i t L e ga l   B a s i s   B i ngf e ng L uo  e t  al   2017   S9   A  G e ne r a l  A ppr oa c h   f or   P r e di c t i ng   t he   B e ha vi our   of  t he   S upr e m e  C our t   of  t he   U ni t e S t a t e s     D a ni e l  M a r t i n K a t z   e t   al   2017   S 10   P r e di c t i ng   t he   O ut c om e   of   A ppe a l  D e c i s i ons   i G e r m a ny’ s  T a L a w   B e r nha r d W a l t l   e t  al   2017   S 11   L e ga l  j udge m e nt  pr e di c t i on vi a  t opol ogi c a l  l e a r ni ng   H a oxi  z hong  e t  al   2018   S 12   R e s e a r c h a nd  D e s i gn on C ogni t i ve   C om put i ng F r a m e w or k f or  P r e di c t i ng  J udi c i a l  D e c i s i on   J i a j i ng L i   e t  al   2018   S 13   U s i ng M a c hi ne   L e a r ni ng   t P r e di c t  D e c i s i on s   of  t he   E C H R   M a s ha   M e dve de v a   e t   al   2019   S 14   P r e di c t i ng  O ut c om e s   of   L e ga l  C a s e s   B a s e d   on  L e g a l  F a c t or s  U s i ng C l a s s i f i e r   R a f e  A t ha r  S he i kh  e t  al   2019   S 15   P r e di c t i ng D i s e nga ge m e nt   f r om   J udi c i a l  P r oc e e di ngs   by  F e m a l e  V i c t i m s   of   I nt i m a t e   P a r t ne r  V i ol e nc e   i S pa i n:  A  S ys t e m a t i c  R e pl i c a t i on  w i t P r os pe c t i ve  D a t a   M a r i a   G a r c í a - J i m é ne z   e t  al   2019   S 16   P r e di c t i ng O ut c om e s   of   J udi c i a l  C a s e s   a nd  A n a l ys i s  U s i ng M a c hi ne  L e a r ni ng   P r of  P r i ya nka  B hi l a r e   e t  al   2019   S 17   A  D e e p L e a r ni ng M e t hod   f or   J udi c i a l  D e c i s i on S uppor t   B a ogui  C he e t  al   2019   S 18   D e t e r m i ni ng W or ke r  T ype   f r o m   L e ga l  T e xt  D a t a  U s i ng M a c hi ne  L e a r ni ng   Y i f e i  Y i e t  al   2020   S 19   D e e p L e a r ni ng A l gor i t hm   f or   J udi c i a l  J udge m e nt  P r e di c t i on B a s e d   on  B E R T   Y ongj un W a ng  e t  al   2020   S 20   P r e di c t i ng   t he   L i t i ga t i on O ut c om e   of   PPP   P r oj e c t  D i s put e s  B e t w e e n P ubl i c  A ut hor i t y   a nd  P r i va t e  P a r t ne r  U s i ng   a E ns e m bl e  M ode l   X i a oxi a o Z he ng  e t  al   2020   S 21   A  N ove l  A ppr oa c h   on  A r gum e nt  B a s e L e ga l  P r e di c t i on M ode l  U s i ng M a c hi n e  L e a r ni ng   R i ya  S i l   e t  al   2020   S 22   T w o - L a ye r e d F uz z y L ogi c   B a s e M ode l   f or   P r e di c t i ng C our t  D e c i s i ons   i C on s t r uc t i on  C ont r a c t  D i s put e s   N a vi d B a ghe r i a n - M a r a ndi   e t  al   2021       Evaluation Warning : The document was created with Spire.PDF for Python.
I nt  J  A r ti f  I nt e ll   I S S N 2252 - 8938       A  s y s te m at ic  l it e r at u r e  r e v ie w  of  m ac hi n e  l e ar ni ng m e th od s  i pr e di c ti ng    ( N ur  A qi la h K hadi ja h R os il i)   1095   3. 2   P u b li c at io n  Y e ar s   T he   c ho s e n   s tu di e s   w e r e   publ is he b e twe e n   2000  a nd   2021.  N e v e r th e le s s th e   e a r li e s s tu dy   publ is he d   on  th is   to pi c   w a s   f r om   2005.  F ig ur e   di s pl a y s   th e   num be r   of   s tu di e s   publ is he d   w it hi th e   s e le c te ti m e li ne N e ve r th e le s s , t he  gr a ph i s  not  pl ot te d f or  t he  ye a r  2021, a s  t he   r e s e a r c h f or  t he  pa r ti c ul a r  ye a r  i s  s ti ll  ongoing.   O ve r a ll , t he  onl y l a te s s tu dy w a s  publi s he in  J a nua r y 2021, w hi le  f our  a r ti c le s  w e r e  publi s he d i n 2020.  F iv e   a r ti c le s  w e r e  publi s he d  i n 2019,  t w o i n 2018,  t hr e e  i n 2017  a nd  two in 2016. Only  one  a r ti c le  w a s  publi s he d i n   2012,  2010,  a nd  2006,  w he r e a s   two  a r ti c le s   w e r e   publ is he in   2005.  B a s e on  th e   r e s ul ts m a ny  s tu di e s   w e r e   obs e r ve to   ha ve   be e publ is he in   th e   la s f iv e   ye a r s T he r e f or e th e   m a c hi ne   le a r ni ng  m e th od  c a f unc ti on  a s   one  of  t he  a ppr oa c he s  i n i m pr ovi ng t he  l e ga s y s te m  by pr e di c ti ng outc om e s .         F ig ur e   2 N um be r  of  s e le c te s tu di e s  ove r  t he  y e a r s       3.3 QA Re s u lt   T he   c ho s e s tu di e s   w e r e   a s s e s s e b a s e on   th e   Q A   qu e s ti ons   e xp la in e in   S e c ti on  2.4,  a nd  th e   a na ly s i s   is  pr e s e nt e d i n T a bl e  4.   T he   ta bl e  de m ons tr a te s  t ha 17 s tu di e s  r e c e iv e d hi gh s c or e s  be twe e n t he  t ot a s c or e  of   th r ee - poi nt - f iv e  ( 3.5)  t o f iv e  ( 5) , w he r e a s  f iv e  s tu di e s  obt a in e d   a  m ode r a te   s c or e  of  3.  C onve r s e ly , f our  s tu di e s   th a obt a in e d l ow  s c or e s  w e r e  e xc lu de d f r om  t he  r e vi e w .       T a bl e   4 Q A  r e s ul ts   S t udy I D     QA1   Q A   QA3   QA4   QA5   S c or e     R a t i ng   S1   1   0.5   0.5   0.5   0.5   3   M ode r a t e   S2   1   0.5   0.5   0.5   0.5   3   M ode r a t e   S3   1   0.5   0.5   0.5   0.5   3   M ode r a t e   S4   1   1   1   1   1   5   H i gh   S5   1   1   0.5   1   0.5   4   H i gh   S6   1   0.5   0.5   0.5   0.5   3   M ode r a t e   S7   1   0.5   0.5   0.5   0.5   3   M ode r a t e   S8   1   1   1   1   1   5   H i gh   S9   1   1   1   1   1   5   H i gh   S 10   1   1   0.5   0.5   1   4   H i gh   S 11   1   1   0.5   1   1   4.5   H i gh   S 12   1   1   1   1   1   5   H i gh   S 13   1   1   1   1   1   5   H i gh   S 14   1   1   0.5   0.5   1   4   H i gh   S 15   1   1   0.5   0.5   0.5   3.5   H i gh   S 16   1   1   0.5   1   1   4.5   H i gh   S 17   1   1   1   1   0.5   4.5   H i gh   S 18   1   1   1   1   1   5   H i gh   S 19   1   1   1   0.5   1   4.5   H i gh   S 20   1   1   0.5   1   1   4.5   H i gh   S 21   1   1   0.5   1   1   4.5   H i gh   S 22   1   1   1   1   1   5   H i gh       0 0 0 0 0 2 1 0 0 0 1 0 1 0 0 0 2 3 2 5 4 0 1 2 3 4 5 6 2 0 0 0 2 0 0 1 2 0 0 2 2 0 0 3 2 0 0 4 2 0 0 5 2 0 0 6 2 0 0 7 2 0 0 8 2 0 0 9 2 0 1 0 2 0 1 1 2 0 1 2 2 0 1 3 2 0 1 4 2 0 1 5 2 0 1 6 2 0 1 7 2 0 1 8 2 0 1 9 2 0 2 0 P ubl i cat i on  y ear Y e a r Evaluation Warning : The document was created with Spire.PDF for Python.
                      I S S N :   2252 - 8938     I nt  J  A r ti f   I nt e ll V ol 10 , N o.  4 D e c e m be r   20 2 1   1091     1102   1096   Th e s e   b e lo w   s e c ti on s   pr ovi de   a   br e a kdown  of   th e   r e s ul t s   a c c or di ng  to   th e   r e s e a r c que s ti ons   id e nt if ie in   S e c ti on  2.2.   T he   d e s c r ip ti on  of   th e   f in di ngs   f r om   e a c r e s e a r c que s ti on  i s   pr e s e nt e in   s e p a r a te   s ub s e c ti on s .   th e   r e s e a r c h que s ti ons  a r e  a bbr e vi a te a s  R Q  he r e a f te r .     3. 4   T yp e s  of  Ju d ic ia D e c i s io n   T he   r e s e a r c que s ti ons   a r e   di s c u s s e in   th is   s e c ti on.   T h e   f ir s r e s e a r c que s ti on  th a w a s   a ddr e s s e d:   ( R Q 1 )   W ha ty pe s  of  j ud ic ia de c is io ns  ha ve  be e n pr e di c te d us in g t he  m a c hi ne  l e a r ni ng me th od?   I n t he  w o r ld   of   th e   le ga s ys te m ju dge m e nt   c ons is ts   of   va r io us   s ubt a s ks   th a ha ve   to   be   c ons id e r e d.   T he   le ga s ys te m   is   di f f ic ul to   be   unde r s to od  by  th e   c iv il ia ns   a s   th e   le g a pr oc e s s e s   in c lu de   in te r a c ti ng  w it a   la w ye r hi r in th e   la w ye r pr oc e e di ng  de c i s io ns  a nd  th e   le g a l   de c is io n s   c ons e que nc e s   a nd   th e   im pl ic a ti ons   of  w or ds   in   th e  c a s e   f il e s   [ 53] T hi s   s tu dy  in ve s ti ga te how   m a c hi ne   le a r ni ng  c a b e   us e in   c our pr oc e e di ng s   to   pr e di c ju di c ia l   de c is io ns .   th e   pr e di c ti on  c a n   be   of   va r io us   ty pe s s uc a s   pr e di c ti ng  th e   le ga ju dge m e nt s   out c om e   or   th e   c ha r ge s   th a r e qui r e   m ul ti la be te xt   c la s s if ic a ti on.  M ul ti pl e   s u bt a s ks   in   le ga ju dge m e nt   ty pi c a ll c om pr is e   c om pr e he ns iv e   a nd  c om pl e x   s ub - c la u s e s ,   s uc h   a s   c ha r ge s pe n a lt te r m s a nd   f in e s   [ 52] N e v e r th e le s s ,   m os t   r e s e a r c e xpe r im e nt e w it a   bi na r ta s th a c la s s if ie s   onl t w pos s i bl e   out c om e s B e s id e s   pr e di c ti ng  th e   out c om e   of   ju di c ia de c is io n,  s e ve r a c ount r ie s   th a ut il is e   th e   c iv il   la w   s ys te m s u c a s   G e r m a ny,  F r a nc e   a nd  C hi na de e m e th a th e   pr e di c ti on  of   r e le va nt   a r ti c le s   i s   a   f un da m e nt a s ubt a s th a gui de s   a nd  s uppor ts   th e   pr e di c ti on  [ 52] .   I n t hi s  S L R , s e ve n r e s e a r c h pa pe r s  w e r e  f ound to have  di s c us s e d e nvi s a gi n g c ons tr uc ti on l it ig a ti on’ s   out c om e A r di ti   a nd  P hu lk e t   [ 54]   m e n ti one th a c ons tr uc ti on  l it ig a ti on  is   or di na r y   in   num e r ous   c ons tr uc ti on   pr oj e c ts e xpl ic it ly   in vol vi ng  la r ge   c ont r a c ts M is c om m uni c a ti on,  in s uf f ic ie nt   s pe c if ic a ti ons   a nd  pl a ns r ig id   c ont r a c ts c ha nge s   in   s it e   c ondi ti ons non - pa ym e nt c a tc up  pr of it s li m it e w or kf o r c e in s uf f ic ie nt   to ol s   a nd   e qui pm e nt in e f f e c ti ve   s upe r vi s io n,  not ic e   r e qui r e m e nt s c on s t r uc ti ve   c ha nge s   not   a c knowl e dge by  ow ne r de la ys a nd  a c c e le r a ti on  m e a s ur e s   pr ovoking  c la im s   a nd  c a u s in di s put e s T he r e f or e A r di ti   a nd  P hul ke [ 54 ]   pr opos e a   to ol   to   pr e di c th e   out c om e   of   l it ig a ti on  to   m in im is e   c o ns tr uc ti on  di s put e s   c a u s e by  di s a gr e e m e nt s   th a a r e  c om pl ic a te d t o be  s e tt le d w it hout  e nga gi ng i n l e ga a c ti ons   [ 54] , [ 55] .     L e ga a c ti on  r e qui r e s   a   hi ghe r   s e tt le m e nt   c os be c a us e   th e   li ti ga ti on  pr oc e s s   is   c os tl a s   th e   pr oc e s s   in vol ve s  c om pl e x i s s ue s . A ddi ti ona ll y, t he  di s a gr e e m e nt  be twe e n c li e nt  a nd c ont r a c to r  m a y l e a d t o r e put a ti o n   da m a ge   on   bot s id e s   [ 54] .   I a ddi ti on,  le ga a c ti on  i s   ti m e - c on s um in f or   c om pl e c on s tr uc ti on  di s put e s  a nd  m a ta ke   two  to   s ix   ye a r s   be f or e   tr ia l,   de pe ndi ng  on   th e   ju r is di c ti on  [ 56] T he r e f or e th e   r e s e a r c he r s   r e c om m e nd   s e ve r a m a c hi ne   le a r ni ng  m e th ods   to   e n s ur e   th e   a c c ur a c of   pr e d ic ti ng  a   di s put e   r e s ol ut io n’ s   out c om e   in   c our ts .   th e   m e th ods   c a n   e f f ic ie nt ly   de c r e a s e   th e   num b e r   of   di s put e s   t ha r e qui r e   hi ghe r   s pe ndi ng  c o s ts   th r ough  th e   li ti ga ti on pr oc e s s   [ 51] .   A c c or di ng  to   th e   c ur r e nt   s tu dy’ s   f in di ngs ni ne   r e s e a r c h   pa pe r s   pr e di c te th e   out c om e   f or   c r im e - r e la te c a s e s N e ve r th e le s s c r im e - r e la te c a s e s   c a n   be   di vi de d i nt f e w   c a te gor ie s . A le tr a s   pr e s e nt e th e   f ir s t   s ys te m a ti c   s tu dy t ha pr e di c te d t he  out c om e  of  c a s e s  i n t he  E ur ope a n C our of  H um a n R ig ht s  ba s e d on te xt ua l   a na ly s is   [ 57] .   T he   a ut hor s   c la s s if ie th e   pr e di c ti on  out put s   in to   vi o la ti on’   a nd  non - vi ol a ti on’   ba s e on  te xt   e xt r a c te f r om   pr e vi ous   c a s e s F ur th e r   s tu di e s   w e r e   c onduc t e by  im pr ovi ng  th e   num b e r   of   a r ti c le s   a nd   di f f e r e nt   va r ia bl e s   us in th e   s a m e   da ta s e [ 58] T hi s   pr opo s a c a be ne f it   la w ye r s   a nd   ju dge s   a s   a   s uppor ti ng  to ol  t o i de nt if y c a s e s  a nd e xt r a c te xt  t ha gui de s  de c i s io n - m a ki ng  [ 57]   L uo   [ 59]   a s s e r te th a th e   te c hni que   of   a na ly s in te xt ua f a c is   c r uc ia f or   le ga a s s is ta nt   s y s te m s   w he r e   c iv il ia n s   unf a m il ia r   w it le ga te r m s   c a f in s im il a r   c a s e s   or   po s s ib le   p e na lt ie s   by   de s c r ib in a   c a s e   w it h t he ir  ow n  w or ds  a nd unde r s ta nd t he  l e ga ba s is  of  t he ir  s e a r c h c a s e s . F ur th e r m or e , L uo   [ 59]   pr opos e d a n   a tt e nt io n - ba s e d ne ur a ne twor k m e th od a s  a  s ta nd a r d m e th od t o pr e di c c ha r ge s  a nd e xt r a c r e le v a nt  a r ti c le s  i n   a   uni f ie f r a m e w or k.   T he   f in di ngs   de m ons tr a te th a pr ov i di ng  r e la te a r ti c le s   c a e nha nc e   th e   c ha r ge   pr e di c ti on r e s ul ts  a nd e nvi s a g e  c ha r ge s  f or  c a s e s  w it h di ve r s e  e xpr e s s io n s ty le s  e f f e c ti ve ly   Z hong  e t.   al .   [ 60]   pr opos e a   di f f e r e nt   a ppr oa c h   in   m ode ll in th e   ju dge m e nt   pr e di c ti on  f r a m e w or th a ut il is e s   m ul ti pl e   s ubt a s k s   by  c la im in th a pr e vi ous   s tu di e s   onl de s ig ne a ppr oa c he s   f or   pa r ti c ul a r   s ubt a s ks   s e a nd  di f f ic ul to   s c a le   to   ot he r   s ubt a s ks   a lt hou gh  de ve lo pe to   pr e di c la w   a r ti c le s   a nd  c ha r ge s   s im ul ta ne ous ly A ddi ti ona ll y,   it   f oc us e on  m ur de r   r e la te c a s e s   by  unde r ta ki ng  s u c a na ly s is E xt r a c ti on  of   le ga ju dge m e nt   c a be   ut il is e to   id e nt if th e   de ta il s   of   c a s e - s pe c if ic   le ga f a c to r s   but   doe s   no in vol ve   e a s y   w or a nd  is   ti m e - c ons um in g.   T he r e f or e e s s e nt ia f a c to r s   th a w i ll   a f f e c th e   pr e di c ti on  f or   m u r de r   r e la te c a s e s   a r e   e va lu a te by  pr e pa r in a   da ta s e to   de te r m in e   th e   f a c to r s   a s   de s c r ip to r s   f or   pr e di c ti on  out c om e s .   T he   out c om e   pr e di c ti on  is   vi e w e a s   a   bi na r c la s s if ic a ti on  f or   c la s s e s   a s   a c qui tt a l’   a nd  c onvi c ti on’   of   th e   a c c us e pe r s on.   T he   c ur r e nt   s tu dy’ s   f in di ng  i s   f ur th e r   di s c u s s e d   w it c a s e s   th a t   d not   in vol ve   c iv il   la w   a nd  s p e c if ic a ll f oc us   on  f a m il la w   c a s e s A m ong  th e   hi ghl ig ht e c a s e s   a r e   di s e nga ge m e nt di vor c e pa r e nt a r ig ht s   a nd  dow r y.    B e n - D a vi d   [ 61]   c onduc te a  c r uc ia s tu dy r e ga r di ng c our de c is io ns  i n ‘ f a vour  or  ‘ a ga in s t’  t he  t e r m in a ti on o f   pa r e nt a r ig ht s   th a f ound   th e   ba la nc e   be twe e th e   c hi ld s   be s in te r e s t,   th e   p a r e nt s   r ig ht   a nd  th e   pr iv a c of   th e   Evaluation Warning : The document was created with Spire.PDF for Python.
I nt  J  A r ti f  I nt e ll   I S S N 2252 - 8938       A  s y s te m at ic  l it e r at u r e  r e v ie w  of  m ac hi n e  l e ar ni ng m e th od s  i pr e di c ti ng    ( N ur  A qi la h K hadi ja h R os il i)   1097   f a m il uni [ 62]   L e t.   al .   [ 63]   pr opos e a   pr e di c ti on   m ode f or   di vor c e .   th e   r e s e a r c obj e c ti ve s   w e r e   to   pr e di c th e  de c is io ns  f or  di vor c e  c a s e s  w it h di ve r s e  e xpr e s s io n s ty le s  a nd pr ovi de   a n e a s y unde r s ta ndi ng t o t he  publi c   r e ga r di ng t he  r e s ul ts   [ 60]   I a ddi ti on,   G a r c ía - J im é ne z   e t.   al .   [ 34]   s tu di e di s e ng a ge m e nt   pr e di c ti on  w he r e   th e   r e s e a r c he r s   e xa m in e th e   v a r ia bl e   ne e de by   vi c ti m s   f r om   le ga l   pr oc e e di ng s   be f or e   m ode ll in th e   pr e di c ti on  m ode l.   T hi s   s tu dy  de ve lo pe a   bi na r lo gi s ti c   r e gr e s s io m ode th a pr e di c ts   di s e ng a ge m e nt   w it two  va r ia bl e s   th a a r e   d if f e r e nt   f r om   p r e vi ous   a ppr oa c he s .   th e   f ir s va r ia bl e   is   th e   c ont a c w it th e   a bus e r w he r e a s   th e   s e c ond  va r ia bl e   is   th e   in te r a c ti on  be twe e n   th e   c ont a c a nd  th ought  of   r e uni ti ng  w it th e   a bus e r .   T he   pa pe r   a im e to   pr e di c t   di s e nga ge m e nt   by   pr ot e c ti ng  w om e f r om   be in oppr e s s e by  c our de c is io ns T he b e li e ve th a t   ot he r   f a c to r s   s houl not   in f lu e nc e   c our de c is io ns   in   di s e nga g e m e nt   c a s e s s u c a s   not   gr a nt e a   pr ot e c ti on  or de r not   f e e li ng   s uppor te d by la w ye r s  or  unc onvi nc in g r e s pon s e s  f r om  pr of e s s io na ls  dur in g pr oc e e di ngs   [ 64]   B e ne f ic ia r ie s   in   I ndi a   s pe nt   a   lo ng  ti m e   w a it in to   g e de c i s io ns   f r om   th e   c our due   to   th e  s c a r c it of   s ki ll e w or kf or c e   a nd  in f r a s tr uc tu r e   [ 21] .   T he   pr ol onge le ga pr oc e e di ng  m a le a to   va r io us   c on s e que nc e s .   S il   e al pr opos e d a   m ode th a t   w il a s s is le g a pr of e s s io n a ls   i a na ly s in g a nd  pe r f or m in pr e di c ti ons   to   gi ve   a out c om e   a s   gui lt y’   or   not   gui lt y’   de pe ndi ng  on   th e   p a r a m e te r s   of   de a th - r e la te dow r c a s e s   [ 21] A   w or ke r   ty pe   a ppr oa c ha s   a l s be e n   pr opos e in   pr e di c ti ng  c our de c is io ns   f or   e m pl oym e nt   r ig ht s   a nd   pr ot e c ti on  pur pos e s   [ 65] .   T he   out c om e   of   va r io us   ty pe s   of   c a s e s   ha s   b e e e xpl or e in   pr e di c ti ng  th e   out c om e   of   c our t   de c is io ns   u s in m a c hi ne   le a r ni ng,  le a di ng  to   a   c onc lu s io th a t he r e   a r e   s ti ll   oppor tu ni ti e s   a nd  r oom   f or   ot he r   c a s e s   to   a d a pt   th e   m a c hi ne   le a r ni ng  m e th od   a s   a   s upp or ti ng  to ol   in   de c is io n - m a ki ng.  F ut ur e   s tu di e s   c a n   in c lu de   a e xt e ns iv e   s tu dy  on  c a s e s   th a r e qui r e   m a c hi ne   le a r ni ng  a s   a   pr e di c ti on  m ode to   le s s e d e c is io n - m a ki ng  ti m e .     3.5   M e t h od s  of  M ac h in e  L e a r n in g   I th is   s e c ti on,  th e   f ol lo w in r e s e a r c que s ti on  is   di s c u s s e d:   ( R Q 2 W ha a r e   th e   m a c hi ne   le a r ni ng  m e th ods   us e to   pr e di c ju di c i a de c i s io ns ?   L e ga pr of e s s io n a ls   a r e   c ur r e nt ly   f oc us e on  a r ti f ic ia in te ll ig e nc e   [ 66] . E nvi s a gi ng   ju di c ia de c is io n s  ba s e d on  hi s to r ic a d a ta s e t s  i n t he  l e ga l  doma in  i s  not  ne w  a nd w id e ly  us e d   in   th e   le ga s ys te m   gl oba ll y.  M a c hi ne   le a r ni ng  is   a e m e r gi ng  s c ie nt if ic   s tu dy  of   a lg or it hm s   a nd   s ta ti s ti c a l   m ode ls   th a a r e   pa r of   a r ti f ic ia in te ll ig e nc e e na bl in th e   s y s te m   to   le a r a ut om a ti c a ll a nd  im pr ove   th e   e xpe r ie nc e   f r om   te s da ta T h e   c or e   r e s e a r c a s pe c ts   in   a ppl yi ng  m a c hi ne   le a r ni ng  in   ju r is pr ude nc e   a r e   th e   e xt r a c ti on  of   in f or m a ti on  a n a na ly s is   on  e xi s ti ng  le ga doc um e nt s .   in   pr e vi ous   pr a c ti c e s la w ye r s  a nd  ju dge s   ha ve   to   do  a ll   th e   w or ks   m a nua ll y.  H ow e ve r m a c hi n e   le a r ni ng  ha s   ta ke th e   s tr e a m   of   s oc ie ty   to   be c om e   m or e   in te ll ig e nt  by i nt e r pr e ti ng t he  t e xt  doc um e nt s  a nd e xt r a c ti ng t he   doc um e nt s  c ont e nt   [ 53] .   T he   r e s e a r c he r s   ob s e r ve th e   pr opos e m a c hi ne   le a r ni ng  in   th is   S L R   by  de te r m in in th e   ty pe s   a nd   na m e s   of   th e   c la s s if ie r   us e in   pr e di c ti ng  ju di c ia de c is io ns .   t he   m a jo r it of   s tu di e s   a tt e m pt e to   e xt r ic a te   e f f ic ie nt   f e a tu r e s   f r om   te xt   c ont e nt   or   c a s e   a nnot a ti ons   ( da te s te r m s lo c a ti ons a nd  ty pe s )   [ 1] N e ve r th e le s s ,   Z hong  e al .   [ 60]   a s s e r te th a th e   c onve nt io na m e th od s   c ou ld   onl e m pl oy  s ha ll ow   te xt ua f e a tu r e s   a nd  m a nua ll de s ig ne d   f a c to r s .   th e   f e a tu r e s   a nd  f a c to r s   ne e e nor m ous   hum a e f f or ts   a nd   r e gul a r ly   unde r g o   ge ne r a li s a ti on  pr obl e m s   w he a ppl ie in   ot he r   s c e na r io s .   th e   a c hi e ve m e nt   of   ne ur a ne twor ks   on  na tu r a l   la ngua ge   pr oc e s s in ( N L P )   ta s k s   in s pi r e th e   r e s e a r c he r s   to   s ta r ha ndl in le ga ju dg e   pr e di c ti on  by   in te gr a ti ng  ne ur a m ode ls   w it le ga l   knowle dge   [ 59] L uo   [ 59]   la id   out   a a tt e nt io n - ba s e n e ur a ne twor th a jo in tl m ode ls   c ha r ge   pr e di c ti on  a nd  r e le v a nt   a r ti c le   e xt r a c ti on .   N one t he le s s ,   th e s e   m ode ls   a r e   de s ig ne f or   s p e c if ic   s ubt a s ks T he r e f or e non - tr iv ia e le m e nt s   s houl be   w id e ne to   ot he r   s ubt a s ks   of   le ga ju dge   pr e di c ti on  w it h   c om pl e x de pe nde nc ie s .   T he   c ur r e nt  s tu dy  r e s e a r c he r s  c la s s if ie th e   m e th od s   us in g   two typ e s s in gl e   c la s s if ie r   a nd  c om bi ne d   c la s s if ie r S ubs e que nt ly th e   r e s e a r c he r s   id e nt if ie th e   na m e   of   th e   c la s s if ie r ( s )   in vol ve a s   th e   pr e di c ti on  m ode l.   th e   s in gl e   c la s s if ie r   r e f e r s   to  a in di vi dua m ode of   m a c hi ne   le a r ni ng  th a i s   u s e in   th e   pr e di c ti on.   I c ont r a s t,   c om bi ne c la s s if ie r s   r e f e r   to   a e ns e m bl e   m ode t ha us e m or e   th a one   c la s s if ie r   in   m a ki ng  pr e di c ti ons A s   s how in   T a bl e   5,  th e   m os c om m on  c la s s if ie r   is   th e   s uppor ve c to r   m a c hi ne   ( S V M ) A c c or di ng   to  t he  c ur r e nt  S L R , s ix  pa pe r s  pr opos e d S V M  a s  t he  pr e di c ti on  m ode in  va r io us  c a s e s   N e ve r th e le s s , t hi s  f in di ng c a nnot  be  c on c lu de d a s  t he  pr e f e r r e d m e th od i n pr e di c ti on a s  ot he r  m ode ls   a ls o di s pl a ye d a  good pe r f or m a nc e  i n pr e di c ti ng j udi c ia de c is io ns  de pe ndi ng on c a s e s .   T he   e n s e m bl e  m e th od  pr o vi de s   a e nha nc e a ppr oa c w he c om pa r e w it a not he r   a ppr oa c h.  T hus th e   r e s e a r c he r s   c onc lu de th a th is  r e s e a r c h  a r e a  i s  s ti ll  n e w  a nd  ope n f or  e xpl or a ti on.  T hi s  r e s e a r c h i s   s ti ll  a c ti ve ly  ongoing  i n t he  r e c e nt  f iv e   ye a r s a s   obs e r ve in   F ig ur e   2.  T he r e f or e a   gr e a oppor tu ni ty   is   pr e s e nt   f or   f u r th e r   r e s e a r c c onc e r ni ng  im pl e m e nt in g m a c hi ne  l e a r ni ng me th ods  i n pr e di c ti ng c our de c is io ns .           Evaluation Warning : The document was created with Spire.PDF for Python.
                      I S S N :   2252 - 8938     I nt  J  A r ti f   I nt e ll V ol 10 , N o.  4 D e c e m be r   20 2 1   1091     1102   1098   T a bl e   5 S um m a r y of  m e th ods  us e d   T ype s  of  c a s e s   M e t hod   C l a s s i f i e r ( s )  i nvol ve d   S t udy I D   C ons t r uc t i on  L i t i ga t i on   S i ngl e  C l a s s i f i e r   B oos t e d D e c i s i on T r e e  ( B D T )   S1   P a r t i c l e  S w a r m  O pt i m i s a t i on ( P S O )   S2   C a s e   B a s e   R e a s oni ng ( C B R )   S3   I nt e gr a t e d P r e di c t i on M ode l  ( I P M )   S4   S uppor t  V e c t or  M a c hi ne  ( S V M )   S5   T w o - L a ye r e d F uz z y L ogi c   S 22   C om bi ne C l a s s i f i e r   G r a di e nt  B oos t i ng D e c i s i on T r e e  ( G B D T ) , k - ne a r e s t  ne i ghbour   ( K N N ) , M ul t i l a ye r  P e r c e pt r on ( M L P )   S 20   C r i m e   S i ngl e  C l a s s i f i e r   S uppor t  V e c t or  M a c hi ne  ( S V M )   S 7, S 8, S 13, S 16   R a ndom  F or e s t  ( R F )   S9   M ul t i  T a s k L e a r ni ng ( M T L )   S 11   C l a s s i f i c a t i on a nd  R e gr e s s i on T r e e s  ( C A R T )   S 14   C onvol ut i ona l  N e ur a l  N e t w or k ( C N N )   S 17   C om bi ne C l a s s i f i e r   B i di r e c t i ona l  E nc ode r  R e pr e s e nt a t i on f r om  T r a ns f or m e r   ( B E R T )  +  C onvol ut i ona l  N e ur a l  N e t w or k ( C N N )   S 19   W or ke r  t ype   S i ngl e  C l a s s i f i e r   e xt e nde d M ul t i l a ye r  P e r c e pt r on ( e M L P )   S 18   D i s e nga ge m e nt   L ogi s t i c  R e gr e s s i on ( L R )   S 15   T a x L a w   N a ï ve  B a ye s  ( N B )   S 10   P a r e nt a l  R i ght   L ogi s t i c  R e gr e s s i on ( L R )   S6   D i vor c e   C ogni t i ve  C om put i ng F r a m e w or k ( C C F )   S 12   D ow r y   S uppor t  V e c t or  M a c hi ne  ( S V M )   S 21       3.6   P e r f or m an c e  o f  t h e  M ac h in e  L e ar n in g M e t h od s   T he   f ol lo w in r e s e a r c que s ti on  is   a ddr e s s e in   th i s   s e c ti on:   ( RQ 3 H ow   w a s   th e   p e r f or m a nc e   of   m a c hi ne   le a r ni ng  m e th ods   u s e to   pr e di c ju di c i a de c is io n s ?   T he   p e r f or m a nc e   of   th e   pr e di c ti on  m ode pr opos e d s houl d be  a s s e s s e d pr io r  t o unde r s ta ndi ng t he  a ppr oa c h us e d.   th e   e f f ic ie nc y of  a ny ma c hi ne  l e a r ni ng  m ode c a be   m e a s ur e th r ough  k - f ol c r os s - va li da ti on,  a c c ur a c y,  s e ns it iv it y,  s pe c if ic it y,  r e c a ll pr e c is io n,  a nd   F - m e a s ur e   [ 63] B a s e on  th e   obs e r va ti ons   f r om   th e   22  r e vi e w e pa pe r s m os r e s e a r c h e r s   us e a c c ur a c y,   pr e c is io n,  r e c a ll   a nd  F - m e a s ur e   in   e va lu a ti ng  t he   pe r f o r m a nc e   o f   th e ir   m ode ls F - m e a s ur e pr e c is io a nd r e c a ll   a r e   f r e que nt ly   ut il is e in   e xt r a c ti ng  in f or m a ti on  a s   pe r f or m a nc e   m e a s ur e m e nt   s in c e   m a c hi ne   le a r ni ng   pe r f or m a nc e  a s s e s s m e nt s  i nc lu de  s p e c if ic  t r a de - of f  l e ve ls  be tw e e n t r ue  pos it iv e  a nd t r ue  ne g a ti ve  r a te s   [ 63]   T a bl e  6 s um m a r is e s  t he  i nf or m a ti on r e ga r di ng  a c c ur a c y, pr e c is io n, r e c a ll  or  s e ns it iv it y a da pt e d f r om   [ 21] T he r e   a r e   f our   im por ta nt   te r m s   us e in   m e a s ur in th e   pe r f or m a nc e   m e tr ic s na m e ly   tr ue   po s it iv e   ( tp ) tr ue   ne ga ti ve   ( tn ) f a ls e   pos it iv e   ( f p)   a nd  f a ls e   ne ga ti ve   ( f n)   [ 21] E a r li e r   r e s e a r c ( S 1,  S 2,  S a nd  S 4)   us e di f f e r e nt   a ppr oa c he s   in   e va lu a ti ng  th e   pe r f or m a nc e   of   th e   m e th ods   us e d.   th e   a ve r a ge   pr e di c ti on  r a te   ge ne r a te in   th e   r e por te s tu dy  is   w it hi n   th e   r a nge   o f   80 %   to   91% N e ve r th e le s s th e   s tu dy  w a s   e xpa nde in to   th e   ne xt   s ta ge   by   a dj us ti ng t he  numbe r  a nd f or m a of  a tt r ib ut e s  a nd t he  numbe r  of  c a s e s  u s e d t o be tt e r  pr e di c r a te s   [ 67] .       T a bl e   6 P e r f or m a nc e  m e tr ic s  f or m ul a   M e a s ur e  of   P e r f or m a nc e   D e s c r i pt i on   F or m ul a   A c c ur a c y   T he  r a t i o of  a  c or r e c t l y pr e di c t e r e s ul t  t o t he  t ot a l  a c t ua l  r e s ul t   tp + tn tp + tn + fp + fn   P r e c i s i on   T he  r a t i o of  a  c or r e c t l y pr e di c t e d pos i t i ve  r e s ul t  t o t he  t ot a l  pos i t i ve   pr e di c t e d r e s ul t   tp tp + fp   R e c a l l  of   S e ns i t i vi t y   T he  r a t i o of  a  c or r e c t l y pr e di c t e d pos i t i ve  r e s ul t  t o t he  t ot a l   r e s ul t   tp tp + fn   F 1 S c or e   T he  w e i ght e d a ve r a ge  of  pr e c i s i on a nd r e c a l l  i f  t he  c l a s s  di s t r i but i on i s   une ve   2 ( r e c a l l p r e c i s i on ) r e c a l l + p r e c i s i on       T he  m o s in tr ig ui ng f in di ng of  t he  S L R  f ound  i s  t ha t  16 out  of  t he  22  s e le c te d  r e vi e w  p a pe r s  obt a in e m or e   th a n 80%  of  a c c ur a c y, pr e c is io n or  pr e di c ti on r a te  t hr ough the  e va lu a ti on pr oc e s s . O nl y f our  pa pe r s  ( S 7,  S 10  S 15  a nd S 22)   obt a in e d t he   r a nge   of   a c c ur a c or   pr e c is io o f   50%   to   70% .   C onve r s e ly two  pa pe r s   ( S a nd   S 13)   di not   di s c u s s   th e   pe r f or m a nc e   of   th e i r   pr e di c ti on  m od e ls   in   d e ta il .   th e   s um m a r of   th e   pe r f or m a nc e   r e s ul ts  of  t he  22  r e vi e w e d  pa pe r s  i s  pr e s e nt e d i n  T a bl e  7.  T hi s  a ppr oa c h e xpl ic it ly  obs e r ve d t ha th e  pr e di c ti on  m ode c oul d be  a  r e li a bl e  s uppor ti ng t ool  i n de te r m in in g c our de c is io ns  a s  t he  m ode l s  pe r f or m a nc e  a c hi e ve d   m or e  t ha n 70%  ove r a ll  a c c ur a c y.       Evaluation Warning : The document was created with Spire.PDF for Python.
I nt  J  A r ti f  I nt e ll   I S S N 2252 - 8938       A  s y s te m at ic  l it e r at u r e  r e v ie w  of  m ac hi n e  l e ar ni ng m e th od s  i pr e di c ti ng    ( N ur  A qi la h K hadi ja h R os il i)   1099   T a bl e   7 R e s ul ts  of  pe r f or m a nc e   S t udy I D   M ode l   R e s ul t s   A c c ur a c y   P r e c i s i on   R e c a l l   F 1 S c or e   P r e di c t i on r a t e   S1   B D T           90   S2   PSO           80   S3   CBR           84   S4   I P M           91   S5   S V M   98   98   98   98     S6   LR             S7   S V M   79           S8   S V M     98   95   97     S9   RF     70   70   69     S 10   NB     57   57   57     S 11   M T L   95.6   75.9   69.6   70.9     S 12   CCF     71.22   74.17   72.65     S 13   S V M             S 14   C A R T   91.86   92.86   90.7   91.76     S 15   LR   74.7   74.4   76.2       S 16   S V M     92   91   91     S 17   C N N     88.75     86.27     S 18   e M L P   91.7   89.4   90.6   90     S 19   B E R T , C N N     89.7   89.7   89.6     S 20   G B D T , K N N , M L P   96.42   96.66   96.38   96.03     S 21   S V M   93   93   93   92     S 22   T w o - l a ye r e d F uz z y L ogi c   73.9               4.   C O N C L U S I O N   T hi s   s tu dy  ha s   pr e s e nt e d   a in ve s ti ga ti on  r e ga r di ng  pr e di c ti ng  c our de c is io ns   u s in m a c hi ne   l e a r ni ng  m e th ods .   T he   im por ta nc e   of   pr e di c ti ng  ju di c ia de c is io ns   c a n   be   id e nt if ie in   va r io us   c a s e s   a nd  f r om   th e   r e s e a r c out c om e   obt a in e d.  T hi s   a ppr oa c h   c a im pr ovi s e   th e   l e ga s ys t e m   by  m a ki ng  it   m or e   s y s te m a ti c   a nd  r e li a bl e .   th e   m e th ods   a nd  f e a tu r e s   de r iv e f r om   th e   f in di ngs   c oul f il th e   e xi s ti ng  ga ps   in   th e   s tu dy  a r e a   f or   f ut ur e   s c hol a r ly   w or k.  T hi s   s ys te m a ti c   r e vi e w   s tu dy  i s   e xp e c t e to   c ont r ib ut e   to   th e   body   of   knowle dge   by  pr ovi di ng a n ove r vi e w  r e ga r di ng e x is ti ng mode ls  us e d i n pr e di c ti ng j udi c ia de c is io ns , t he  pe r f or m a nc e  of  t he   pr e di c ti ng  m ode a nd  di s c us s io on  s e v e r a ty pe s   of   c a s e s   in   th e   le ga s y s te m   th a a da pt e th i s   a ppr oa c h.   T he   r e vi e w   a ls of f e r s   s e ve r a r e c om m e nda ti ons   f or   f u tu r e   s tu di e s in c lu di ng  ne w   ty pe s   of   c a s e s   f or   p r e di c ti ng   ju di c ia de c is io ns   a nd  a   ne w   m a c hi ne   le a r ni ng  m e th od  th a r e qui r e s   a   c om bi ne c la s s if ie r   to   im pr ove   th e   pr e di c ti ng t ool s  pe r f or m a nc e .       A C K N O WL E D G E M E N T S     T he   a ut hor s   w oul li ke   to   th a nk  U ni ve r s it T e knol ogi   M a la ys ia U ni ve r s it T un  H us s e in   O nn,   U ni ve r s it S a in s  M a la y s ia  a nd U ni ve r s it a s  A hm a d D a hl a n t o s u ppor th is  c ol la bor a ti ve  r e s e a r c h .       R E F E R E N C E S   [1]   D.  M.  Katz,  M.  J.  Bommarito,  and  J.  Blackman,   “A  general  appr oac for  predicting  the  behavior  of  the  Supreme   Court of  the Unite d States,”   PLoS One , vol. 12, no. 4, pp. e0174698 e0174698 , 2017.   [2]   N.  Kamaruddin,  R.  D.   Safiyah,  and   A.  Wahab,  “Small   and  medi um  enterprise  business  solutions   using  dat a   visualization,”  B ulletin  of  Electrical  Engineering  and  Informatics vol.  9,  no.  6.  pp.  2562 2568,  2020,  doi:  10.11591/eei.v9i6.2463.   [3]   J.  Shetty,  B.  Sathish  Babu,   and  G.  Shobha,  “Proactive   cloud  service  assurance  framework  for  fault  remediation  i n   cloud  environment,”  Int ernatio nal  Journal   of  Electrica and   Comput er  Engineeri ng vol.  10,   no.  1.  pp.   987 996,  2020, doi: 10.11591/ijece.v10i1.pp987 - 996.   [4]   A.  Zadgaonkar  and   A.  J.  Agrawal,   “An  overview   of  information  extr action  techniques  for  legal   document  analysi s   and  proc essing, ”  Internati onal  Journal  of   Electrical  and  Computer   Eng ineering vol.  11,  no.  6.  pp.   5450 5457,  2021,  doi: 10.11591/ijece.v11i6.pp5450 - 5457.   [5]   I. E. Olufem i, A.  A. Adebiyi ,  F. A. Ibi kunle,  M. O.  Adebiyi,  and  O. O.  Oludayo, “R esearch trends on  CAPTC HA: A   systematic literatur e,”  Internati onal Journ al  of Electr ical  and Comp ute r Engineeri ng , vol. 11,  no. 5. pp.  4300 4312,  2021, doi: 10.11591/ijece.v11i5.pp4300 - 4312.   [6]   A.  Murugan,  T.  Chechare,  B.   Muruganantham,  and  S.   Ganesh  Kum ar,  “Healthcare  informat ion  exchange  usin g   blockchain technology,”  Internati onal Journ al  of Electr ical and  Comp uter Engi neering , vol. 10,  no. 1. pp.  421 426,  2020, doi: 10.11591/ijece.v10i1.pp421 - 426.   [7]   V. Siddesh P adala, K. Gandhi, and D.  V Pushpalatha, “Machi ne  learni ng: The  new language for applica tions,”  IAES  Internati onal Journ al of Ar tificial  Intellig ence , vol. 8, no. 4. pp. 411 4 21, 2019, doi: 10.11591/ijai.v8.i4.pp411 - 421.   [8]   A.  M.  Muad,  N.  S.  M.  Bahaman,  A.   Hussain,  and  M.  Y.  P.   M.  Yusof,  “Tooth  segmentation  using  dyna mic  Evaluation Warning : The document was created with Spire.PDF for Python.
                      I S S N :   2252 - 8938     I nt  J  A r ti f   I nt e ll V ol 10 , N o.  4 D e c e m be r   20 2 1   1091     1102   1100   programming - gradient  inverse  coefficient  of  variation,”  Bulletin  of  Electrical  Engineering  and  Informatics vol.  8,   no. 1. pp. 253 260, 2019, doi: 10.11591/eei.v8i1.1446.   [9]   G.  Hima  Bindu,  C.  Anuradha,  and  P.  S.  R.  Chandra  Murty,  “A  survey  on  multimedia  content  protection  mechanisms,”   Internati onal  Journal  of  Electrical  and  Computer  Engineering vol.  8,  no.  6.  pp.  4204 4211,  2018,  doi:   10.11591/ijece.v8i6.pp.4204 - 4211.   [10]   S.   K.  Srivastava,  “Artifi cial  intelligence:   Way  forward   for  India, ”  IAES  International  Journal  of  Artificial   Intelligen ce , vol. 7, no. 1. pp. 19 32, 2018, doi: 10.11591/ijai.v7.i1.pp19 - 32.   [11]   N. Madhusudan and L.  Manjunatha Rao, “Ins ights  on extent of effe cti veness, trend, and gap in existing framew ork s   for  e - procurement  system,”  Internati onal  Journal  of  Electrical  and  C omputer  Engineering vol.  6,  no.  2.  pp.  751 758, 2016, doi: 10.11591/ijece.v6i2.9028.   [12]   O.  J.  Ayangbekun,  O.  F.   Bankole,  and  B.   A.  Saka,   “Analysi s   of  security   mechanism in  Nigeria  E - banking   platform,”  Internati onal  Journal  of  Electrical  and  Computer  Engineering vol.  4,  no.  6.  pp.  837 847,  2014,  [Online].  Available:  https://www.scopus.com/inward/record.uri?eid= 2 - s2.0 - 84928530364&partnerID = 40&md5= fa9dcf0ac0f9e 8933c4121ec469d9adf.   [13]   Z.  Anna  and  E.   Vladimir,  “State   regulation  of   the  IoT   in  the   Russia Federation:  Fundamentals  and   challenges,”  Internati onal  Journal  of  Electrical  and  Computer   Engineering v ol.  11,  no.  5.  pp.  4542 4549,  2021,   doi:  10.11591/ijece.v11i5.pp4542 - 4549.   [14]   P.  Anki  and  A.  Bustamam,  “Measuring  the  accur acy  of  LSTM  and  B iLSTM  models  in  the  application  of  artificial   intelligence  by applying c hatbot progr amme,”  Indonesian  Journal of  Electrical  Engineerin g and Com puter  Science vol. 23, no. 1. pp. 197 205, 2021, doi: 10.11591/ijeecs.v23.i1.pp197 - 205.   [15]   I.  Odun - Ayo,  O.  Alagbe,  and  J.  Yahaya,  “A   systematic  mapping  stu dy  of  security,  trust  and  privacy  in  clouds,   Bulletin  of  Electrical  Engineering  and  Informatics vol.  1 0,  no.  3.  pp.  1598 1610,  2021,  doi:   10.11591/eei.v10i3.1887.   [16]   N.  Nizamuddin  and  A.  A bugabah,   “Blockchain  for  automotive:   An  in sight  towards  the  IPFS  blockchain - based   auto  insurance   sector,”   Internati onal  Journal  of  Electrical   and  Computer  Engineering vol.  11,  no.  3.  pp.  2443 2456,   2021, doi: 10.11591/ijece.v11i3.pp2443 - 2456.   [17]   I.  Veik sa,  “Protection  of  computer - generated   works  in  the   era  of   new  technologies,”  IAES  International  Journal  o f   Artificial Intellig ence , vol. 10, no. 1. pp. 234 243, 2021, doi: 10.11591/ijai.v10.i1.pp234 - 243.   [18]   S.  Nasir,  S.  M.   Al - Qaraawi,  and  M.   S.  Croock,   QR  based  mana gement  system  for  plants   shopping  center,”   Indonesian  Journal  of  Electrical   Engineering   and   Computer  Scien ce vol.  19,  no.   2.  pp.   931 939,  2020,  doi :   10.11591/ijeecs.v19.i2.pp931 - 939.   [19]   V.  Kasinathan,  A.  Mustapha,  M.  F.  C.  Abdul   Rani,  and  S A.  Mostafa, “The  role  of  chatterbots  in  enhancing  tourism :   case  study  of  Penang  tourism  spots,”  IAES  International  Journal  of  Artificial  Intelligence vol.  9,  no.  4.  pp.  569 575, 2020, doi: 10.11591/ijai.v9.i4.pp569 - 575.   [20]   A.  Zharova,  “The  protect  m obile   user  data  in   Russia,”  Internati onal   Jou rnal  of  Electrical  and  Computer  Engineering vol. 10, no. 3. pp. 3184 3192, 2020, doi: 10.11591/ijece.v10i3.pp3184 - 3192.   [21]   P.  Bhilare,  N.  Parab,  N.  Soni,  and  B.  Thakur,  “Predicting  outcome  of  judicial  cases  a nd  analysis  using  machin e   learning,”   Int. Res. J.  Eng. Techno l. , vol. 6, no. 3, pp. 326 330, 2019.   [22]   B.  Kitchenham  et  al. ,   “Systematic  literature  reviews   in  software   engin eering -- tertiary  study,”  Inf.   Softw.  Technol. vol. 52, no. 8, pp. 792 805, 2010 .   [23]   K.  J.  Danjuma,  “Performance  evaluation  of  machine  learning  algorithms  in  post - operative  life  expectancy  in  the  lung  cancer patien ts,”  arXiv Prepr. arXiv1504.04646 , 2015.   [24]   Hertina  et al. , “Data mining applied about polygamy using sentiment  a nalys is on twitters  in indonesian  perce ption,”   Bulletin  of  Electrical  Engineering  and  Informatics vol.  1 0,  no.  4.  pp.  2231 2236,  2021,  doi:   10.11591/EEI.V10I4.2325.   [25]   A.  Al  Mamun,  P.  P.  Em,  and  J.  Hossen,  “Lane  marking   detection   using  simple  encode  decode  d eep  learning  technique:  SegNet,”  Internati onal  Journal   of  Electrical   and  Compute Engineering vol.  11,   no.  4.   pp.  3032 3039 ,   2021, doi: 10.11591/ijece.v11i4.pp3032 - 3039.   [26]   R.  Usha  and  K.  Perumal,  “A  modified   fractal  texture  image  analysis  ba sed  on  gray scale  morphology  for  multi - mode l   views  in  MR  Brain,”  Indonesian  Journal  of  Electrical   Engineering   an Computer  Science vol.  21,  no.  1.  pp.   154 163, 2021, doi: 10.11591/ijeecs.v21.i1.pp154 - 163.   [27]   J.  Y.  W.  Jien,  A.  Baharum,  S.  H.  A.  Wahab,  N.  Saad,  M.   Om ar,  and  N.  A.  M.  Noor,  “Age - based  facial  recognition   using  convoluted  neural  network  deep  learning   algorithm,”  IAES  Inter national  Journal  of  Artificial  Intelligence vol .   9, no. 3. pp. 424 428, 2020, doi: 10.11591/ijai.v9.i3.pp424 - 428.   [28]   A.  Al - Imam,  M.  A.   Motyka,  and   M.  Z.   Jędrzejko,  “Conflicting  opinions   in  connection  with   digital  superintelligence,   IAES  International  Journal  of   Artificial  Intelligence ,   vol.  9,   no.  2.   pp.  3 36 348,  2020,  doi:  10.11591/ijai.v9.i2.pp336 - 348.   [29]   L.  M.  Shi,  A.  Mustapha,  and  Y.  M.  M.  Hassim,  “Predicting  fatalities  am ong  shark  attacks:  Comparison  of  classifiers,   IAES  International  Journal  of   Artificial  Intelligence ,   vol.  8,   no.  4.   pp.  3 60 366,  2019,  doi:  10.11591/ijai.v8.i4.pp360 - 366.   [30]   S.  A.  Diw an,  “Proposed  study   on  evaluating  and  forecasting   the   resident  property  value  based  on   specific   determinants  by  case  base  reasoning   and  artificial  neur al  network  approach,”  Indonesian  Journal  of  Electrical   Engineering and Computer Science , vol. 17, no. 3.  pp. 1467 1473, 2019, doi: 10.11591/ijeecs.v17.i3.pp1467 - 1473.   [31]   H.  A.  Razak,  M.  A.  M.  Saleh,  and  N.  M.  Tahir,  “Review  on  anomalous  gait  behavior  detection  using  machine  learning   algorit hms,”  Bulletin  of  Electrical  Engineering  and  Informatics vol.  9,  no 5.  pp.  2090 2096,  2020,  doi:   Evaluation Warning : The document was created with Spire.PDF for Python.