I n t ern a t i o n a l  J o u rn a l  o f  E l ect ri ca l  a n d  C o m p u t er E n g i n eeri n g  ( I J E C E )   V o l.   11 ,  N o.   6 D ecem b er   202 1 ,  pp.   54 50 ~ 5 457   I S S N :  2088 - 8708 D O I :  10. 11 591/ i j ece . v1 1 i 6 . pp 54 50 - 545 7          5450       Jou r n al  h om e p age h ttp : //ije c e . ia e s c o r e . c o m   A n o v erv iew  o f  inf o r m a t io n  ex t ra ct io n t echni ques  f o r  leg a do cu m e nt  a na ly s is  a nd pro ces s ing       A s h w i n i  V .   Z ad gaon k ar 1 ,  A vi n as h  J.  A gr aw al 2   1, 2 D ep ar t m e nt  of   I nf or m a t i on T e c hno l og y ,   S hr i  R a m de oba ba  C ol l e g e  of  E ng i ne e r i ng  a nd M a na g e m e nt ,  N a g pur ,  I n di a   2 D ep ar t m en t  o f   C o m p u t er  S ci en ce a nd E ng i ne e r i ng ,   S hr i  R a m de ob a ba  C ol l e g e  of  E ng i ne e r i ng  a nd   M a na g e m e nt ,  N a g pur ,   I ndi a       A rt i cl e I n f o     AB S T RAC T     A r tic le  h is to r y :   R ecei v ed   J a n   2,  2021   Re v i se d   Ap r   17 , 2 0 2 1   A ccep t ed   M a y   11 , 2 0 2 1       I n a n I ndi a n l a w  s y s t e m ,  di f f e r e nt  c our t s  pu bl i s h t he i r  l e g a l  pr oc e e di ng s   ev er y   m o n t h  f o r   f u t u r e r e f er en ce o f  l eg al  e x p er t s  an d  co m m o n  p eo p l e.   E x t en s i v m an u al  l ab o r  an d  t i m e ar e r eq u i r ed  t o  an al y ze  an d  p r o ces s  t h e   i nf or m a t i on s t or e i n  t he s e  l e n g t hy  c o m pl e x  l e ga l  doc um e nt s .  A ut om a t i c   l e g a l  doc um e nt  pr oc e s s i ng  i s  t he   s ol ut i on  t ov e r c om e  dr a w ba c k s   of   m a nua l   pr oc e s s i ng  a nd  w i l l  be  v e r y  he l pf ul  t o t he  c om m on m a n f o r  a  be t t e r   unde r s t a n di ng  of  a  l e ga l  dom a i n.  I n t hi s   pa pe r ,  w e  a r e   e x pl or i ng  t he  r e c e nt   ad v an ces   i n t he  f i e l d of  l e g a l  t e x t  pr oc e s s i ng  a nd pr ov i de  a  c om pa r a t i ve   a na l y s i s  of  a ppr oa c he s  us e d f or  i t .  I n t hi s  w or k ,  w e  ha v e  di v i de d t he   ap p r o ach es  i n t o  t h r ee cl as s es  N L P  b as ed ,   d eep  l ear n i n g - ba s e d a nd,   K B P   ba s e d a ppr oa c he s .  W e  ha v e  put  s pe c i a l  e m pha s i s  on t h e K B P  ap p r o ach  as  w e   s t r o n g l y  b el i ev e t h at  t h i s  ap p r o ach  can  h an d l e t h e c o m p l ex i t i es  o f  t h e l eg al   dom a i n w e l l .  W e  f i na l l y  di s c us s  s om e  of  t he  pos s i b l e  f ut ur e  r e s e a r c h   di r e c t i ons  f or  l e g a l  d oc um e nt  a na l y s i s  a nd pr oc e s s i ng .   Ke y wo rd s :   D eep  l ear n i n g   I n f o r ma t i o n e xt r a c t i o   I n f o r m a tio n  r e tr ie v a l   K n o w l e dg e  ba s e  popu l a t i on   L e g a l te x t p r o c e s s in g   T hi s  i s   an  ope n ac c e s s  ar t i c l e  u nd e r  t he   CC B Y - SA   l i cen s e.     Co rre sp o n d i n g  Au t h o r :   A s h w i ni  V .   Z a d ga o nka r     D ep ar t m en t  o f   I nf or m a t i o n  T e c h n ol ogy   S hr i  R a m d e o b a b a  C o l l e ge  o f   E ngi ne e r i ng a nd  M a na ge m e nt   N a g pu r ,  440013 ,  I n di a   E m ai l :  as h w i n i zad g ao n k ar 2 4 @ g m ai l . co m       1.   I NT RO D UCT I O N     N o w ad a y s  a l o t  o f  i n f o r m at i o n   i s  av ai l ab l e o n  t h i nt e r ne t  i n a  s t r uc t ur e d  a nd  u ns t r uc t ur e d  f o r m   s t or e d i n  m u l t i pl e  doc um e n t s .   T h i s  i nf or m a t i o n  be l on gs  t o di f f e r e n t  do m a i ns  a n d n e e ds  t o be  a n a l y z e d a n p r o ces s ed  t o  ex t r act  t h e d es i r e d  p i ece o f  i n f o r m a t i o n   f o r  a p ar t i cu l ar  t as k .  M an u al  p r o ces s i n g  a n d  an al y s i s  o s u c h  a  l a r g e  r e pos i t or y  of  doc um e n t s  de m a n d t oo m u c h  e f f or t s  a n d i t   w i l l  be  v e r y   m u c h  t i m e  c on s um i ng  a l s o.   T o  o v er co m e t h e s e p r o b l em s ,  au t o m at i c i n f o r m at i o n  p r o ces s i n g  a n d  an al y s i s  i s  t h n eed  o f  t h e h o u r .   I nf o r m a t i o r e t r i e va l  a nd  i nf o r m a t i o n e xt r a c tio n   ar e t h e t as k s  r eq u i r ed   f o r  au t o m at i d o cu m en t  a n al y s i s .   I nf o r m a t i o e x tr a c tio n   d e a ls   w it h   a u to m a t ic a ll y   e x tr a c ti n g  r e le v a n t i n f o r m a tio n   f o r   a  p a r tic u la r  a p p lic a tio n   pr obl e m  f r o m   t h e av ai l ab l e co r p u s  an d  r ep r es en t s  i t  i n  a s t r u ct u r ed   m ach i n e - r ead ab l f or m a t .  I nf or m a t i on  r et r i ev al   g et s  r el ev a n t  i n f o r m at i o n  s o u r ces   w h er eas   i n f o r m a tio n  e x tr a c tio n   a u to m a tic a ll y   ex t r act s  r el e v a n t   in f o r m a tio n   f r o m   t h o s s o u r ce s  i n  a  s t r u ct u r ed   f o r m at .  T o  d i f f er en t i a t e b et w een   i n f o r m a t io n  r e tr ie v a ( IR )   a nd   i n f o r m a tio n  e x tr a c tio n   ( IE )   o n e can  s a y  t h at  I R  i s  a t a s k  t h at   w i l l  l o cat e t h e d es i r ed  d o cu m e n t   f o r m  a l ar g e   co l l ect i o n   w h er eas   I E   f o c u s es   o n   ex t r act i n g   t h ex act   p i ec o f   i n f o r m at i o n   f r o m   a d o cu m en t   t o   s o l v u s er   q u e r y.   G e ne r a l l y,  I E  p r o c e s s e s   hu m a n l a ng ua ge   te x t s  e m p lo y i n g   na t ur a l  l a ng ua ge   p r o c e s s i ng  (N L P t ech n i q u es .   A u t o m at i c d o cu m en t  an al y s i s  i s  d es i r ed  b y  d i f f er en t  d o m ai n s  l i k b io m e d ic a l,  a d m i n is tr a tio n ,   f i n a n c ia l,  lite r a tu r e ,  j o u r n a lis m ,  an d   m a n y   m o r e.  R e s ear ch er s  al l  o v er  t h w o r l d  ar e u s i n g  a co m b i n at i o n  o f   Evaluation Warning : The document was created with Spire.PDF for Python.
In t  J  E l e c  &  C o m p  E n g     I S S N :  2088 - 8708       A n ov e r v i e w  of  i nf or m at i on e x t r ac t i on t e c hni que s  f or  l e gal   d oc um e nt     ( A s hw i ni  V .  Z adga onk ar )   5451   d i ffe r e nt   A I  t e c h ni q ue s  s uc h a s   n at u r al  l an g u ag e p r o ces s i n g   a n d un de r s t a n di ng ,   n a m e d   e n tit y  r e c o g n itio n R e la tio n   e x tr a c tio n s ,   S e m a n ti c   r o le   la b e lin g ,   d e pe n de n c y   pa r s i ng ,   a n v a r i ous   m a c hi ne   l e a r ni n m ode l s   o f   c la s s i f ic a tio n  to  d e s ig n  a n d  i m p le m e n t a u to m a tic  d o c u m e nt  a na l ys i s  s ys t e m s .         2.   LE G A L D O C U M EN AN A LY S IS   A U TO M A TIO N     A l e g al  d o m ai n  e x p er t  can  e x t r act  d es i r ed  i n f o r m a t i o n   f r o m   l en g t h y  l e g al  d o cu m en t s  i r r es p ect i v e o f   i t s  t y p e ,   s t r uc t ur i ng,  l a yo ut  a s   p e r  o ne s  d o m a i n e xp e r t i s e  b u t  i t  i s  a  t i m e  c o ns u m i n g a nd   e rro r - pr on e  pr oc e s s .   S o  a u to m a tic  i n f o r m a tio n  e x t r a c tio n  f r o m  le g a l d o c u m e n ts  is   h ig h l y  d e s ir e d .  I n f o r m a t io n  e x tr a c tio n   f r o m   le g a l d o c u m e n ts   w i ll b e  d ir e c te d  b y   in d i v id u a l  b u s i n e s s  r e q u ir e m e n ts .  T h e e x t r act ed  i n f o r m at i o n  ca n  b e :     i)  s to r e d  in  d a t ab as es  f o r   f u t u r e r ef er en ces ,   ii)  f o r  a n a l y s is   a n d de c i s i on - m a ki ng m e c ha ni s m ,   iii)  a s  a n  in p u t to   s o m e  o t he r  l e ga l  u nd e r s t a nd i n g t a s k.     2. 1.   N e e d  f or  l e gal  d oc u m e n t  au t om at i on   L e g a l d o c u m e n ts  e x i s t i n  d i f f e r e n t  f o r m s  l ik e   le g a l  c o n tr a c ts ,  la w  c o m m is s io n  r e p o r ts ,  tr i b una l s ,   c a s e  j ud g m e nt s ,  d i f f e r e nt  a c t s ,  o nl i ne  c o nt r a c t s ,  a nd   m a n y   m o r e  f o r m s .  I n I nd i a ,  d i f f e r e nt  c o ur t s  p ub l i s h t he i r   l eg al  p r o ceed i n g s  e v er y   m o n t h  f o r  f u t u r e r ef er en ce o f  p e o p l e.   T h e n u m b er  o f   m an u al  ef f o r t s  a n d  t i m e   r eq u i r ed  t o  p r o ces s  t h es e h e t er o g en e ous ,  un s t r u c t u r e d,  v ol um i n ou s  l e g a l  doc um e nt s  i s  t oo   m u c h .  S o t h e r e  i s  a   n e e d  f o r  a u to m a t io n   f o r  a n a l y z in g  le g a l d o c u m e n ts   f r o m  I n d ia n  la w   s y s te m s  b e n e f ic ia f o r  le g a l p r a c titio n e r s   as   w e l l  as  a co m m o n   m a n  f o r  a b et t er  u n d er s t an d i n g  o f  t h e l eg al  d o m ai n .     W h en e v er  a l eg al  ex p er t  p r ep ar es  a cas f i l f o r  a g i v en  ca s e t h e n  i t  b eco m es   m a n d at o r y  t o  r ef er  t o   t h e  pr e v i ous  j u dgm e n t s   g i v e n by  di f f e r e n t  c ou r t s  t o b u i l d a  s t r on g c a s e   f oun da t i on .   M a n ua l l y go i n g t hr o ug t h ous a n ds  of  de c l a r e d c ou r t  j u dgm e nt s  a n d i de nt i f yi n g t he   r e l e va nt  i n f o r m a t i o f o r  t he  c a s e  i n  ha nd  i s  ve r y   m u c h  t i m e  c ons um i ng  a n d l a bor - i n t en s i v e t as k .  I n  t o d a y s   i n t er n e t  er a,  t h er e ar e s o m e g o o d  s ear ch  en g i n es   av ai l ab l e t o  ef f ec t i v e s ear c h  i n  t h e l eg al  d o m ai n .  I n  d i s cu s s i o n   w i t h  l e g al  ex p er t s ,   w e co m e   t o  kno w  t ha t  l e ga l   s ear ch  i s   g en er al l y  d r i v e n  b y  t h e f o l l o w i n g  p ar a m et er s ,  a s  s h o w n i n F i g ur e  1 .   a.   S p eci f i a c t,   s e c tio n ,   a r tic le ,   r ul e  o r  a o r d er  o f  an  act w h i l e p r ep ar i n g  f o r  a cas e a l a w y e r  n eed  t o  r ef er   t o  a p ar t i cu l ar  act  n o  o r  ar t i cl e n o  an d   w a n t s  t o  e x t r act  j u d g e m e n t s  g i v e n  b as ed  o n  t h es e   a c t s o r   a r tic le   n o.   b.   A p p e lla n t/ r e s p o nd e nt   na m e :   t h er w er s o m l a n d m ar k   j u d g e m e n t s   ex i s t s  i n   l e g al  d o m ai n   w h i c h   ar w e ll  k n o w n  b y  a p p e lla n t n a m e s .  S o   l eg al  ex p er t   m a y   w a n t  t o  s ear ch   s uc h   r el e v an t  ca s es .   c.   S u b j ect s / f act s / p h r a se s/ k e yw or ds :   l eg al   s ear ch  b as ed  o n   s o m f act s  o r   k e yw or ds   or  dom a i n  ph a s e s  a r e   hi g hl y d e s i r e d  i n l e ga l  d o m a i n .   d.   J ud ge s   n am es :   T h er e ar e s o m m ills to n e   c a s e s   w e ll k n o w n  f o r  its   j ud ge m e nt s   gi ve n b y   f a m o u s  j ud ge s   w h ic h  is  r e p e titi v e l y  r e f e r  b y   l a wy e r s   fo r  a   r el ev an t   d o ma i n .   e.   H ead - no t e  o f  t he  j ud g m e nt s :   h ead  n o t e s  o f  a p ar t i c u l ar  cas e act s  a s  a  s u m m ar y  a n d   g en e r al l y   m a n u al l y   cr eat ed .  S o   w h i l e p r ep ar i n g   cas e n o t es   br o w s i ng   t h r oug h h e a d n ot e s   w ill  h e lp  le g a p r a c titio n e r s   to   i d en t i f y  r el e v an t  ca s es .   f.   T i m e f r a m e:   l eg al  e x p er t  t r y  t o  i d en t i f y  r ecen t  r el ev an t  cas e s  t o  p r e p ar e i m p r es s i v e cas e n o t es  f o r   w h i ch   s ear ch i n g  b as ed  o n  cas y ear  i n  i m p o r t an t .           F i g ur e  1 .   D if f e r e n l e g al  s ear c h  p ar a m et er s   Leg a l  S ea r c h   p a r a m et er s A c t ,  S e c t io n ,   A rt ic le ,  R u le Ap p e lla n t  /   R e s po nde nt T i me  Fr ame He a d - n ot e  of   t he  j udg m e nt s Su b je c t s / Fac t s   /P h r a s e s K e y w o rd s J udg e s  N a m e s Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SSN :   20 88 - 8708   In t  J  E l e c  &  C o m p  E n g ,   V o l.   11 , N o 6 D ecem b er  2 0 2 1   :   5 450   -   54 57   5452   2 .2   H o w  l eg a l   t ex t  d i f f ers ?   A u t o m a t i c l e g al  d o cu m en t  p r o ces s i n g  s y s t e m s   m u s t   u n d e r s t an d  s o m e p ecu l i ar  c h ar act er i s t i cs  o f   dom a i n  c or pus  be f or e   f u r t h e r   pr oc e s s i n g .  E v e r y   y e a r  l e g a l  i n s t i t u t i on s  pr odu c e  t h o u s a n ds   of  doc um e n t s  i n   t he   f o r m  o f  le g a l c o n tr a c ts ,   l a w  c om m i s s i o n  r e por t s ,  t r i bun a l ,  c a s e  j u dgm e nt s ,  a c t s ,  o n l in e  c o n tr a c ts ,  c i ta tio n s . I n   c o u n tr ie s  l ik e  I n d ia ,  th e  S u p r e m e  C o u r t o f  I n d ia ,  d if f e r e n t s ta te   h i g h  c o u r ts ,  h u n d r e d s  o f  d is tr ic t c o u r t s   p ub l i s h  t he  l e ga l  p r o c e e d i ng s   i n t he  p ub l i c  d o m a i n e ve r m o nt h.  B ut  t hi s  l a r ge  vo l u m e  o f  p ub l i c l y a va i l a b l e   l eg al  d at a i s   n o t  p r o ces s ed  ef f ect i v e l y   t o  p r o v i d e l eg al   i n f o r m at i o n  t o  co m m o n  p eo p l e.  O n e o f  t h m ai n   r eas o n s  b eh i n d  t h i s   i s  a co m p l i cat ed  s t r u ct u r e an d  l ac k  o f   k n o w l ed g e ab o u t  l e g al  l a n g u a g e b y  co m m o n   pe opl e .   S o m e o f  t h e d i s t i n g u i s h i n g  f eat u r es  o f  a l eg al  t ex t  i n  co m p ar i s o n  t o  o t h er  d o m ai n  t ex t s  ar e as   s ho w n   in  b e lo w .   a.   L e g a l  doc um e n t s  a r e  t oo l on g  a s  c o m pa r e d t o doc u m e n t s  i n   ot h e r  dom a i n s .   b.   L e g al  d o cu m e n t s  ar e h av i n g   a co m p l e x  i n t er n al  s t r u ct u r e co n t ai n i n g   a d es cr i p t i o n  o f  d i f f er en t  act s ,   c ita tio n s ,  a n d  h ie r a r c h ic a f o r m .   c.   T h e v o cab u l ar y  o f  l e g al  d o cu m en t s  co n s i s t s  o f  s e v er al  d o m ai n - s p e c if ic  te r m i n o lo g ie s  t h a m a y   n o t b e   f a m ilia r  w it h   th e  n o n - l e ga l  c o m m u ni t y.   d.   A m b i gui t y d o e s  e xi s t   i n l e ga l   d o c u m e n t s  i n t he   f o r m  o f   th e   d if f e r e n t i n te r p r e ta tio n s  o f  t h e  s a m e  c o n te n d e p e nd i ng o n t he  h i e r a r c h y  o f   d i f f e r e nt  c o ur t s ,  j ud ge s ,  o r  l a w ye r s .   C i t at i o n s  ar e v er y  i m p o r t an t  i n  t h e l e g al  d o m ai n  as  co m p ar e d  t o  o t h er  d o m ai n s  an d  h i g h l i g h t s  o f  t h at   p ar t i cu l ar  cas e T h e  l e g a l  do m a i n  i s  qui t e  pr o m i s i ng f or  i nf or m a t i on r e t r i e v a l  a n d i nf or m a t i on  e x t r a c t i on  d u e   t o  t h e l ar g e av a i l ab l e co r p u s .  A s  l e g al  d o m ai n  d o cu m en t s  f o l l o w  a p ecu l i ar  l a y o u t ,  N L P  t ech n i q u es  ca n   p r o ces s  i t  b et t er  t h a n  e x t r em el y  i n f o r m al   n e w s  a n d  s o ci al   m ed i a  t ex t .  H e n ce,  a  k n o w l ed g e b as e   f o r   a u to m a t ic a ll y   m a n a g in g  le g a d o c u m e n ts   w il l b e  h e lp f u f o r  a ll t y p e s  o f   u s e r s .         3.   LI TER A TU R E R EV I EW   T h e ap p r o ach es  u s ed   f o r   IE   f r o m  l e g al  d o cu m en t s  ar e b r o ad l y  c l as s i f i ed  i n t o  t h r ee cat e g o r i es  an d   d if f e r e n t le g a l d o c u m e n t  p r o ces s i n g   s y s t e m s  d ev el o p ed  u s i n g  t h e s e ap p r o ach es  ar e d i s cu s s ed  b el o w .     3. 1.     N LP   t e c hni que s   f o r l eg a l  t ex t  p ro ces s i n g   B y  c o m bi n i ng  t h e  po w e r  of   a r tif ic ia l i n te ll ig e n c e  a n d  c o m p u ta t io n a l li n g u i s tic s ,   na t ur a l  l a n gua ge   p r o c e s si n g   ( N L P )  t ech n i q u e s  h el p   m ac h i n es   t o  “ r ead ” t ex t   b y  s i m ul a t i n g t h e   hum a n   a b ilit y  to   u n d e r s ta n d   l an g u a g e.  S o m e o f  t h e ap p l i cat i o n s  d ev el o p ed  u s i n g  N L P  t ech n i q u e s  ar m a c hi ne  t r a n s la t io n ,  a u to m a tic   s u m m a r iz a tio n ,  s e n ti m e n ta l a n a l y s i s ,  te x c la s s if ic a tio n ,   q u e s tio n   a n s w e r in g .   N L P  r ep r es en t s   t h e au t o m a t i c   h an d l i n g  o f  n at u r al  h u m an   l an g u a g es  l i k e s p eech  o r  t ex t .  T h e L a w  d o m a i n  can  b e r ep r es en t ed  as  a   c o m b i na t i o n o f  l a ng ua ge ,  l o gi c ,   an d  co n cep t u al  r el at i o n s h i p s ,  an d  t h e i r  an a l y s i s  [ 1 ] .  S o ,  t h er e i s  a   w i d s co p o f  a p p l yi n g N L P  t e c hn i q ue s   f o r  l e ga l  i n f o r m a t i o m i ni ng.       K an ap al e t  a l.   [ 2 ]  p r o vi d e d  a  s ur ve y o f  d i f f e r e nt  t e xt   s u m m a r i z a t i o n  t e c hni q ue s  r e c e nt l us e d   f o r   le g a l te x pr oc e s s i ng .   T h is  s u r v e y   f o c u s e s  o n   s in g le  a s   w e ll  a s   m u ltip le  d o c u m e n t s u m m a r iz a tio n  te c h n iq u e s .   T h es e t ech n i q u e s   w er t es t ed   o n  d i f f er en t  d at as et s  l i k A u s t L I I ,  H O L J ,  F ed er al  C o u r t  o f   C an ad a j u d g m e n t s T he  t e c hni q ue s   s ur ve y e d  i n t hi s  p a p e r  a r e  d i vi d e d  i nt o  f o u r  cat eg o r i es   n a m e l y   t h L i n g u i s t i c F eat u r e - b as ed   ap p r o ach ,   Gr a p h - b as ed  ap p r o ach ,   S e m a n tic  r o le  la b e lin g   ba s e d a ppr oa c h ,  a n C la s s if ic a ti o n   b as ed  ap p r o ach .   P ad ay ach y   e a l.   [ 3 ]   p r o p o s e d   an   ap p r o ach   t o   d es i g n   co m p r e h e n s i v m o d el   t o   as s i s t   l eg al   r es ear ch er s   i n   acces s i n g   l eg al  d at a f o r  t h m o s t  ap p l i ed  cas e.  T h e p r o p o s ed  ap p r o ach  i s  i m p l e m e n t ed   u s i n g   L eg al C o .  T h l eg al  d at ab as i s  pr ov i de d by   t h e  or g a n i z a t i on .  T h e  pr op os e d s y s t e m  i s  c o m pos e d of   f ou r  di f f e r e nt   m odu l e s   n am el y   i n f o r m a tio n  r e tr ie v a l w h e r e  q u er y - d ep en d en t   r an k i n g  a n d  r et r i ev al  o f  t h e d o cu m en t  i s  p er f o r m ed   u s i ng   t h e  V S M   m ode l  f ol l o w e by   th e   in f o r m a tio n   e x tr a c t io n   m o d u l w h i c h   ex t r act s  t h f act s  u s i n g   N L P   t ech n i q u es  f o r   n a m e d  e n tit y   r e c o g n itio n ,  r e la tio n  e x tr a c t io n ,  a n d  e v e n t e x tr a c tio n ,  t h ex t r act ed  f act s  ar s to r e d  in   g r ap h  d at ab as e as  l a b el ed  p r o p er t y  g r ap h  ( u s i n g  N eo 4 j  p y t h o n  l i b r ar y ) .  T h e l as t  m o d u l w i l l  r et u r n   t h e r eco m m e n d at i o n s  i n  t h f o r m  o f  t h m o s t  ap p l i ed  cas e b y  d o i n g  a Q u er y - i nd e p e nd e nt   r a nki n g o f  o b t a i ne d   r e s u l t s.     S u r d ean u   e t a l.   [4 ]   p r o p o s e d  a   m e t h o d  f o r  e x tr a c ti n g  te x t  r e le v a n t to  li tig a tio n  c la i m s   a n d  e n tit y   m en t i o n s  i n  each  cl ai m  f r o m  h i er ar ch i cal  an n o t at ed  l eg al  d o m ai n  d at a.   T h e y  ad o p t ed  a s e m i - s up e r vi s e d   bot t om - u p  ap p r o ach  f o r  b u i l d i n g  a j o i n t  h i er ar ch i cal  co n d i t i o n al  r an d o m  f i e l m ode l  u s i ng  a  c om bi n a t i on  of   ps e u do - l i k e l i h ood a n d G i bbs  s a m pl i ng  a n d pr ov e d t h a t   t h e s e   m ode l s  pe r f or m  be t t e r  i n  c o m pa r i s on   w i t h   m ode l  a da pt i n g   t op - d o w n a p p r o a c h.  C o ns t a nt i no   e t a l.   [ 5]   pr op os e s  a   C L I E L  s ys t e m  f o r   a nno t a t i ng l e ga l   doc um e nt s  us i n g   X M L  t ag s  t o  f aci l i t at e I E  o f  d at a p o i n t  i n s t an ces  s u ch  as  d at e o f  t h e d o cu m en t ,  n a m e o f  t h e   p a r ty ,   g o v e r n i n g   la w ,  a n d   m a n y   m o r e .  T h e  s y s te m  i s  te s te d  o n  th e  S e t o f  9 7  d ig itiz e d  c o m m e r c ia la w   doc um e nt s  of  di f f e r e n t   f or m a t s ,  s t r u c t u r e s ,  a n d l a y o u t s .   C L I E L  s ys t e m   i s  u s i ng   N L P  t e c hni q ue s ,   j av a nno t a t i o n p a t t e r n e n gi ne   ( J AP E ) r ul e - b as ed  l a y o u t  d et ect i o n  t r ee   ( R L D T )   f o r  in f o r m a ti o n  e x tr a c tio n   f r o m   Evaluation Warning : The document was created with Spire.PDF for Python.
In t  J  E l e c  &  C o m p  E n g     I S S N :  2088 - 8708       A n ov e r v i e w  of  i nf or m at i on e x t r ac t i on t e c hni que s  f or  l e gal   d oc um e nt     ( A s hw i ni  V .  Z adga onk ar )   5453   A n n o t at ed  X M L  d o cu m en t  g e n er at ed  f o r  each  co m m er ci al  l a w  d o cu m e n t  a n d  s t o r e i t  i n  a  d at ab as e f o r  f u t u r e   r ef er en ce.   M ar í e t a l.   [ 6]  pr e s e n t  a n  a pp r oa c h  f oc us e d on   v a l i da t i n g a n d i m pr ov i ng  t h e  qu a l i t y  of  t he  r e s u l t s  of   a n  I E  s y s t e m  ba s e d on  t h e  us e  of  on t ol ogy  t h a t  s t or e  dom a i n  kn o w l e dg e .   T h e  pr op os e a ppr oa c h  w or ks  on  t h e  ou t pu t  pr odu c e d by  t h e   AI S   s y s t e m ,  a n  IE   s y s t e m   s p eci a l i zed  i n  an al y z i n g  S p an i s h  l e g al  d o cu m en t s .   T hi s   a ppr oa c h  i s  us i n g   O nt ol ogy  s pe c i a l l y  de s i gn e d f or  t h e   l e g a l  do m a i n a n d at a  cu r at i o n  p r o ces s   to  v a lid a te  th e   r e s u lt s  o b ta in e d  f r o m   A IS   a nd s t o r e  f o r  f ut ur e  r e f e r e nc e  t hr o ug h t he   e nt i t y  a l i gne r   m o d ul e .   B o m m a r ito   e t a l.   [ 7]  de v e l ope Le x N LP ,   P y t h o n  p ack a g e f o r  ex t r act i n g  i n f o r m at i o n  f r o m   f o r  l eg al  an d  r eg u l at o r y  t e x t .  T h o b j ect i v e b eh i n d  t h e d ev el o p m en t  i s  t o  s u p p o r t  acad em i r es ear ch  as   w el l  as  i n d u s t r i al  ap p l i cat i o n s .  I t  i s   de v e l ope d u s i ng  N L P   t ech n i q u es  a n d   m ac h i n e l ear n i n g   m e ch an i s m s  t o  p r o v i d e f ea t u r es  l i k e l e g al  d o cu m en t   s e g m e n ta tio n ,  e x tr a c ti n g   s tr u c tu r e d  in f o  f r o m  t h e  te x t,  N E R ,  c o n v e r ti n g  te x t in to   f e a t u r e  v e c to r s   f o r  th e   m a c hi n e   l e a r ni ng   m ode l .   T h e   m ode l  i s  bu i l t   f r o m   r e a l  doc um e n t s   f r o S E C   E D G AR   a n d i s  ope n   s ou r c e .   S av el k e t  a [ 8]  pr opos e d a  f r a m e w or k f or  e x t r a c t i n g i m por t a n t   s e n t e n c e s   f r o m  c ou r t  j u d gm e nt s  s o t h a t  us e r s   n e e n ot   r e f e r   t l e ng t hy   c a s e   doc um e n t s   f or   u n de r s t a n di ng   s t a t ut or y   t e r m s .   T h e y   a dopt e t e c h ni qu e s   l i k e   m eas u r i n g   s i m i l ar i t y  a m o n g   t h e cas s en t e n ces  an d   u s er  q u er i es ,  u s i n g  t h e co n t e x t   m o d el   f o r  s en t e n ces ,  q u er y   o p tim iz a tio n s ,  a n d  id e n t if y   n o v e l s e n te n c e s   f o r  u s e r  q u e r ie s .   T h e p r o p o s ed  f r am e w o r k  i s  t es t ed  o n  t h e l ab el ed   d at as et  o f  4 , 6 3 5  s en t en ce s  f o r  t h r ee s ta tu to r y   q u er i es .   Ku m a r   e t a l.   [ 9]   w or k e d on  f i n di ng  s i m i l a r i t y  a m o n t h e co u r t  j u d g m e n t s  b y   u s i n g  I R  t ech n i q u es  an d   s ear ch  e n g i n m ec h an i s m .   T h e y   h av co m p ar ed  al l  t er m   v er s u s  l eg al  t er m   co s i n e s i m i l ar i t y   m et h o d  t o   p r o v t h at   t h l eg al   t er m   co s i n s i m i l ar i t y   m et h o d pe r f or m s   b e tte r .     3. 2.     D eep   l e a r ni ng   t e c hni que s   f o r l eg a l  t ex t  p ro ces s i n g   R ecen t l y ,   G oodf e l l o w   e t a l.   [ 1 0 ]  b eco m es  t h e p o p u l ar   ch o i ce o f  r e s ear ch er s   f o r  h a n d l i n g  t h e   c o m p l e x a nd  he t e r o ge ne o us   l e ga l  d o m a i n d o c u m e nt s .   G ol dbe r g   [ 1 1 ]   p r o v i d es  an  ef f i ci en t  ap p r o ach  t o   o u tp e r f o r m  tr a d itio n a l  r u le - b as ed ,  d i ct i o n ar y - ba s e d,  a n m a c hi n e  l e a r n i n g   m ode l s  b y s u ppor t i ng   m u l t i - l a y e r i n g,  no n - l i n ear  act i v at i o n  f u n c t i o n s ,  a n d  cap ab l e o f   cap t u r i n g  l o n g - t er m  d ep en d en ci es .  D eep   ne ur a l   n e t w or ks   pr o v i d es  ex cel l en t  a n al y t i cal  a n d  p r o ces s i n g  cap ac i t y  t o  cap t u r e l a n g u a g s e m a n t i cs  an d  s y n t a x  t h u s   be c om i ng   cl o s er   to  h u m a n  s o p h is t ic a tio n .   C ha l ki d i s   a n d K a m pa s   [ 12]  i n  a  s u r v e y  di s c u s s e s  a ppl i c a t i on s  of   d eep  l ear n i n g  f o r  p r o ces s i n g  l eg a l   t e xt - ba s e of  t h r e d i f f er en t   N L P   t as k s  n a m el y   te x t c la s s i f ic a tio n ,   in f o r m a tio n   e x tr a c ti o n ,   a n d  in f o r m a tio n   r e tr ie v a l.   T h i s   w o r k   i s  p r i m ar i l y   f o cu s i n g  o n  s e m a n t i f eat u r e r ep r es en t at i o n   f o r  d eep  l ear n i n g   m o d el s .  O n e   o f  th e  i m p o r ta n t c o n tr ib u tio n s  o f  t h e ir  r e s e a r c h  is  t h e  le ga l   w or d e m be ddi ng  da t a s e t  us i ng  t h e   w or d2v e c   m o d e l c o n ta in i n g  le g i s la tio n s   f r o m  E u r o p e a n  c o u n tr ie s .  B a n s a e t a l.   [ 1 3]  pr o vi d e s  t he  c o m p a r a t i ve  a na l ys i s   o f  d if f e r e n t le g a l  ta s k s  s u c h  a s  c la s s if ic a tio n ,   s u m m a r iz a tio n ,  c a s e  r e v ie w s ,  a n d  p r e d ic tio n s  u s i n g  d e ep   l e a r ni n m o d e l s   na m e l y   CN N s,  RN N s ,   L S T M ,  a n d  G RU .  T h e ir  s tu d y   is  b a s e d  o n   th e   c la s s i f ic a tio n  o f  t h e   l e ga l  t a s i nt o  t hr e e  s ub d o m a i ns   vi z .   d a ta  s e a r c h ,  le g a l te x t a n a l y tic s ,  a n d  le g a l i n te lli g e n t i n te r f a c e s .  T h e f oun d t h a t  de e p l e a r n i n g   m ode l s  pr ov i de  s t at e o f  t h e ar t  p er f o r m an ce  f o r  t h m aj o r i t y  o f  t h s t u d i ed  s y s t e m s .   L ip p e t a l.   [1 4 ] ,   [ 15]  pr o pos e d a  m e t h odol ogy  t o i de nt i f y  l o oph ol e s  f r o m  onl i n e   s e r v i c e  a g r e e m e n t s   in  th e   f o r m  o f   u n f a ir  c la u s e s .  T h e y  f o r m u la te d  th e  p r o b le m  o f  id e n t if ic a tio n  o f   u n f a ir   cl au s e a s e n t e n ce  cl as s i f i cat i o n  p r o b l em   w i t h  t h e ex p er i m e n t al  s et u p  u s i n g   s uppor t  v e c t or  m a c hi n e s   [ 16] ,  c om bi n e w i t h  de e l ear n i n g  ar ch i t ect u r e i . e .   c onvol u t i on  n e u r a l  n e t w or ks   [1 7 a nd  l o ng - s h or t   t e r m  m e m or y  n e t w or ks   [1 8 ].  T h i s   w o r k  i s  av ai l ab l e a s  a co m m e r c i a l  t ool  f or  dom a i n  us e r s .   X ia   e t a l.   [ 1 9 ]  i n  t h ei r   w o r k  em p h as i ze s  t h e n eed  f o r  i n t el l i g e n t  j u s t i ce t h r o u g h  ef f ec t i v e d eep   le a r n in g  te c h n iq u e s .   C o n s id e r in g  t h e  c o m p le x  s tr u c t u r e  o f  l e g a l d o c u m e n t s ,  s i m ila r it y  a n a l y s i s  is  a  d if f ic u lt   t a s k .  T o a ddr e s s  t h i s  di f f i c u l t y ,  t h e y  pr opos e d a n  a ppr oa c h   us i n g t he  c o m b i na t i o n o f  W o r d 2 ve c   w i t h l e ga l   doc um e nt  c or pu s  t o i m pr ov e  t h e  a c c u r a c y  of   s i m i l a r i t y  a n a l y s i s  of  l a w  doc um e n t s  a n d de m o ns t r a t e d t h a t   t h e i r   a ppr oa c h  i s  s h o w i ng  i m pr ov e d pe r f or m a n c e .     N an d e t a l.   [ 20]  e xt e n de d t h e i r   w or k  ba s e u ns u pe r v i s e d l e x ic a l a n d  s e m a n tic  s i m ila r it y   t e c h n iq u e s   [2 1 ] ,   [ 2 2 ]  to  e v a lu a te   m u lti lin g u a le g a l c o r p u s  o f  E u r o p e a n  d ir e c tiv e s  a n d   n a tio n a l le g i s l a tio n  ( f r o m  I r e la n d ,   L u x e m bou r g ,  a n d I t a l y ) .  T h e y  us e d s h a l l o w  n e u r a l  n e t w or k s  t o de v e l ope w or d a n d pa r a g r a ph  e m be ddi ng  m ode l s   f or  t h e  c or pu s .  P r opos e w or k de v e l ops   un s u pe r v i s e d a s   w e l l  a s   s u pe r v i s e s e m a n t i c  s i m i l a r i t y   m ode l   t o  i d en t i f y  t r an s p o s i t i o n s  an d  t h ei r  p er f o r m an ce i s  ev a l u at ed   o n  v ar i o u s  f eat u r e s et s .   M ar q u es   e t  a l.   [ 23]  pr e s e n t e d a  s c or i n m e c h a n i s m   t o r a nk t h e   m o s t r e le v a n t le g a l c ita ti o n  i n  c a s e   j ud g m e nt s  t o   s up p o r t  t he  l e ga l  a r gu m e nt .  T he  s c o r i n m e c ha ni s m  d e ve l o p e d  f o r  t he  s ys t e m  i s   u s i n g a   f e a t ur e   m at r i x  as  eac h  ca s e ar t i cl e as   a f eat u r e t o  cl as s i f i er  f o r  r eco m m en d at i o n s .   A n o t h er   s co r e v al u e  i s   m a k i n g  u s e   of   w o r d  e m b ed d i n g   t ex t  s i m i l ar i t y  t ec h n i q u es   f o r   f i n d i n g  r el ev an t  ci t at i o n s .   R es ear c h er s  h av e  cl ai m ed  t h a t   t h ei r  p r o p o s ed  t ech n i q u e i s  b et t er  i n  co m p ar i s o n  t o  b as el i n e t ech n i q u e s  f o r  r an k i n g  ev al u at i o n  o f  r el ev a n ce   c r ite r ia .     Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SSN :   20 88 - 8708   In t  J  E l e c  &  C o m p  E n g ,   V o l.   11 , N o 6 D ecem b er  2 0 2 1   :   5 450   -   54 57   5454   3. 3   K no w l e dg e   ba s e  po pul a t i o n   f o r l eg a l  t ex t  p ro ces s i n g   K no w l e d ge   b as e i s  a  m ach i n e - r ead ab l e d at a r ep o s i t o r y  i n  a s t r u ct u r ed  f o r m at .  S o m e o f  t h e p o p u l ar   co m m er ci al l y   u s ed   k n o w l ed g e  b as es  p r o j ect s  i n cl u d e W i k i d at a   [ 24] ,  D B pe di a   [ 2 5 ] ,  F r eeb as e   [ 2 6 ] .  T he   gr a p is  a   w e ll - s u i t ed  d at a s t r u ct u r e s t o r es  f act u al  i n f o r m at i o n  i n  t h f o r m  o f  r el at i o n s h i p s  b et w een  en t i t i es .   K no w l e d ge   ba s e  popu l a t i on   ( K B P )  s y s t e m s  [ 2 7 ]  ex t r act   k n o w l ed g f r o m  a v ai l ab l r es o u r ces  an d  g e n er at kno w l e d ge   b a s e  b c o n s i d e r i ng   s e m a nt i c  a nd   c o nt e xt ua l  i nf o r m a t i o n  f r o m   t he   r e s o ur c e s .   K no w l e d ge   b as e   p o p u la tio n  s y s te m s  o b j e c tiv e  is   to  a u to m a tic a ll y  id e n t if y  e n ti tie s  f r o m   u n s tr u c t ur e d  t e xt  d o c u m e nt s  a nd   d i s co v er i n g  t h f act s  ab o u t  t h o s e au t o m at i cal l y  e x t r act ed  e n t i t i e s  a n d  r ep r es en t  i t   i n  a  s t r u ct u r ed  k n o w l ed g b as e f o r m at .   A  s p eci f i c K B P  s y s t e m  g o al  s h o u l d  b e t o  u s e l o g i cal  r eas o n i n g   f o r  d r aw i n g  i n f er e n ces  b as ed  o n   th e  lo g ic a l c o nt e n t s  of  t h e  i npu t  da t a .   K B P  i n v o l v es  t w o  s ep ar at e s u b - t a s ks ,   e nt i t y l i n ki ng,  a nd   s lo f illi n g .   T he   e nt i t y l i n ki n ta s k   [2 8 a lig n s  te x t u a m e n tio n  o f  a   n a m e d - e nt i t y   t o  i t s  a p p r o p r i a t e  e nt r y i n t he   kno w l e d ge   b as e o r   d et er m i n es   t h at   t h e n t i t y  d o es   n o t  ex i s t  i t he   K B .   T he   s lo t f illin g   t a s k  [ 29]   c o lle c ts  in f o r m a tio n   r e g a r di n g c e r t a i n a t t r i bu t e s  o f   a n  e n t i t y   f r o m   t h e  c or pu s .  I f  t h e  c or pu s  doe s  n ot  pr ov i de  a ny  i nf or m a t i on  f or  a   gi ve n a t t r i b ut e ,  t he  s ys t e m   w i l l  ge ne r a t e  a  N I L  r e s p o ns e .   I n f o r m a tio n  E x tr a c tio n   i s  n ece s s ar y  a n d  cr u ci al   f o r   s u c c e s s f ul l y  popu l a t i ng  kn o w l e dg e  ba s e s .     T h e  ob j e c t i v e  of  I E   f r o m  t e x t   c or pu s  i s  t o e x t r a c t  a n d r e pr e s e n t  i nf or m a t i on i n  a  t u pl e  of   t w e n titie s   an d   a r el at i o n s h i p  b et w ee n  t h e m .   T h t as k  o f   e x t r act i n g   i n f o r m at i o n  f r o m  a  l ar g n of  doc um e n t s  i n   t h e   ab s en ce o f  a L ab el ed  d at a s et  i s  t er m ed  as  o p en  i n f o r m a t i o n  ex t r act i o n  [ 3 0 ] .   T h i s  p ar ad i g m  i s  cl ai m ed  t o  b p o r t ab l acr o s s  d i f f er e n t   d o m ai n s .   O n ca n   p r ef er  o p en   i n f o r m at i o n   e x t r act i o n   t o   an al y z l eg al   d o cu m e n t s   t ha t  r u n a c r o s s  s e ve r al  p ag es  an d  can  as s i s t s  p r act i t i o n er s  an d  o r d i n ar y  p eo p l e t o  g et  t h e es s e n ce o f  t h e   c om pl e x  l e g a l  doc um e nt .   O n e  o f  th e  i m p o r ta n t c h a lle n g e s  o f  th e  tr a d itio n a l i n f o r m a tio n  e x tr a c tio n  a p p r o a c h   [ 3 1 ]  i s  t h e d ep en d en c y  o n  s o m e h a n d cr af t ed  d o m ai n - s p eci f i c p at t e r m a t c hi ng r ul e s .  I n f o r m a t i o e x tr a c tio n   ou t s i de  t h e  boun da r y  o f  pa t t e r n   m a t c h i ng  r ul e s  c a nn ot  be  don e   u s in g   tr a d itio n a l I E .   R e f e r  to  T a b le   1 C o m p ar at i v e  a n al y s i s  o f  t r ad i t i o n al   v er s u s   O p en  I E .   S o m e  o f  t h e er r o r  cl as s es  i d en t i f i ed   w i t h  I E  [ 3 2 ]  ar e t h e   b o u n d ar y  er r o r s  cl as s ,  u n i n f o r m at i v e ex t r act i o n  er r o r  cl as s ,  r ed u n d an t  r el at i o n s  ex t r act i o n  er r o r  cl as s ,   w r o n g   ex t r act i o n s  er r o r  cl as s .       T a bl e  1.  T r a di t i ona l  V s   o pe n I E     T r a d i ti o n a l I E   O p e n  I E   I n p u t   T e x t  +  P r ed ef i n ed  r el a t i o n s   Te x t   R e l a tio n   R e l a tio n s   n eed   t o  b e d ef i n ed  i n   ad v an c e     F r ee d i s c o v er y  o f  r el a t i o n s   E xt r a c t or   O n l y  p r e d e f i n e d  r e l a t i o n s   A ll p o s s i b le  r e la t i o n       A   v a r i e t y  of  a ppr oa c h e s   h a v e   be e n  pr opos e d t o a ddr e s s   e n tit y  li n k i n g  a n d  s lo t f illi n g .  T he s e  d i ve r s e   ap p r o ach es  ar e p r o v i d i n g  n e w   o p p o r tu n itie s   f o r  b o th  e n tit y  l in k in g  a n d  s lo f illi n g  ta s k s  o f  K B P .   T e xt R u n ne r   [3 3 a n d  S T A NF OR D OP E NI E   [ 34 i s  an  ex a m p l e o f  O I E  s y s t e m .   A  k n o w l ed g e g r ap h   i s  a v er y  ef f ect i v e   d at a s t r u ct u r e f o r  s t o r i n g  s e m an t i cal l y  r el at ed  co n cep t s   t o g et h er  e x t r act ed  b y   u s i ng ope n  i nf or m a t i o ex t r act i o n  ap p r o ach  an d  r ep r es en t ed  u s i n g  r el at i o n al   m ach i n e l ear n i n g .   S hr i ni va s a   e t a l.   [3 5 ]  d ev el o p ed  a k n o w l ed g e b as n a m ed  a s   cr i m e  b as f r o m  o n li n e  n e w s  a r tic le s  i n   l ead i n g  I n d i an   n e w s p ap er s  T i m es  o f  I n d i a an d  D ecca n  C h r o n i cl e f r o m  J a n  2018 t J u n  2018 a s  c r i m e  r e por t s   p u b l i s h ed  i n  n e w s p ap er s  ar e m o r e a u t h en t i cat e t h e n  i n f o  av ai l ab l e o n  s o ci al   m ed i c r i me   b as e co n t ai n s  cr i m e   e n titie s  f r o m  m u ltip le  m o d a lit ie s   i n  m a c h i n e - r ead ab l e f o r m   w h i c h  ca n  b e u s ef u l  t o  l a w  e n f o r ce m e n t  a g en ci e s   f o r  cr i m e act i v i t i e s  a n al y s i s  a n d  f u t u r e p r ed i ct i o n s .  T h e n o v el t y  o f   t h i s   w o r k  i s  co n s i d er i n g  t h e i m ag e a s   w el l   as  t ex t  d at f o r  t h e co n s t r u ct i o n  o f  a  k n o w l ed g e b as e.  T h cr i m e b as u s e s  d o m ai n - s p eci f i m a n u al l y  cr a f t ed   r ul e - b as ed  ap p r o ach  cr i m e en t i t i e s   e xt r a c t i o n b y  u s i n g t e c hni q ue s  l i ke  T o ke ni z a t i o n,   P O S  t a ggi n g,  N E R ,   na m e d  e nt i t y d i s a m b i g ua t i o n [ 3 6 ]   co n t ex t u al   an d  s e m a n t i c s i m i l ar i t y  m eas u r es   [ 3 7 ]  f o r  t e x t  d at a,  an d  l o w  an d   h ig h  le v e l f o r  i m a g e  d a ta .  T h e  s y s te m  v is u a liz a tio n  is  d o n  u s i n g  O W L   m o d e l [ 3 8 ] .  B o el l [ 39 ]  pr opos e d  a   l e ga l   kno w l e d ge   m a na ge m e nt  s ys t e m   f o r  t he   u nd e r s t a nd i n g  o f  l e ga l   t e r m s ,  d i f f e r e nt   no r m s ,  a nd  i nt e r r e l a t i o n   b et w ee n  t h e m .  T h i s   s y s t e m   w i l l  b e b en ef i ci al   f o r  l eg al   ex p er t s  as   w el l  as  a co m m o n   m a n   f o r  a b et t er   und e r s t a nd i n g o f  t he  l e g a l  dom a i n.   T h e   m a i n  obj e c t i v e  o f  t h e  pr opos e d w or k   w a s  t o s e m i - a u to m a te  th e   f r eq u en t l y   n eed ed  t as k s  o f  cl as s i f i cat i o n  o f  d o cu m en t s ,   g et  a cl ear   u n d er s t an d i n g  o f  l e g al  t er m s ,  e x t r act i n g   k e y  t er m s   f o r  t h e u s er  q u e r y ,  a n d   m o r e s o p h i s t i cat ed   s ear ch  o p t i o n s .  T h e  S e m ia u t o m a tic  k n o w le d g e   p o p ul a t i o n t a s k i n t he  l e ga l  d o m a i n [ 4 0 ]  pr o po s e d  i s  i m p l e m e nt e d  us i n g r ul e - b as ed ,  s t at i s t i cal  p r o ced u r es  f o r   p a r s in g   f r o m  th e  I ta lia n  le g a d a ta b a s e  o f  n o r m s  f o r  s e n te n c e  e x tr a c tio n s  f o llo w e d  b y  a p p lic a tio n  o f  p a tte r n   m a t c hi n r u le s   to   id e n t if y   n a m e d  e n titie s   f r o m  t h e  c o r p u s .   S ta ti s tic a f r a m e w o r k   a n d   le g is la tiv e   X M L  a r e   u s ed  t o  r ep r es en t  ex t r act ed  n a m ed  en t i t i es   f o r  v i s u al i zat i o n   p u r p o s e.       Evaluation Warning : The document was created with Spire.PDF for Python.
In t  J  E l e c  &  C o m p  E n g     I S S N :  2088 - 8708       A n ov e r v i e w  of  i nf or m at i on e x t r ac t i on t e c hni que s  f or  l e gal   d oc um e nt     ( A s hw i ni  V .  Z adga onk ar )   5455   3. 4.   P r op os e d  ap p r oac h e s  f or  I n d i an   l e gal   sy st e m   L e g a l i n f o r m a tio n  r e tr ie v a l s y s te m s  r e q u ir e  to  id e n t if y  c a tc h p h r a s e s   f r o m   j u dgm e nt s   a u to m a tic a ll y ,  a   m ech a n i s m   n eed s  t o   b e ex p l o r ed  i n  d ep t h .  M an d al   [ 41]   pr o pos e d a n  a ppr oa c h  u s i ng  un s u pe r v i s e d l e a r ni ng ,   f o r  e xt r a c t i o n a nd  r a n ki n g o f  c a t c hp hr a s e s  a ut o m a t i c a l l y  us i n g t he   no u n p hr a s e s   f r o m   j ud g m e nt s .  T he   pr op os e d s y s t e m   i s  c o m pa r e w i t h  di f f e r e n t   s up e r vi s e d   a nd  un s up e r vi s e d  b a s e l i ne  s ys t e m s  a nd  ge t t i n s t at i s t i cal l y  b et t er  p er f o r m a n c e o v er  t h o s e b as el i n s y s t e m s .  L i k e cat ch p h r a s e d et ect i o n ,   m eas u r i n g  s i m i l ar i t b et w ee n   d i f f er en t   l eg a l   d o cu m en t s   i s   al s o   d es i r ed   b y   I R   s y s t e m s ,   t w o   t y p es   n a m el y   g r ap h - b as ed   a n d   t ex t - b as ed  t ech n i q u es  ar e a v ai l a b l e f o r  t h e s a i d  t as k .  M a n d al   [ 42]  pr o pos e d a  s i m i l a r i t y   m e a s u r i ng  a ppr oa c h  f or   I nd i a l e ga l   d o c u m e nt s   us i n g   t e xt - b as ed   m et h ods   c o m bi n e w i t t opi c   m ode l l i ng   a n ne u r a l   n e t w or k s   f or   w or d a n d doc um e n t  e m be ddi n g   f or  be t t e r  r e s u l t s .  T h i s   w or k  pr ov e s  t h a t  t h e  e m be ddi n g  ba s e d a ppr oa c h   ou t pe r f or m s  ov e r  bot h g r a ph - b as ed  an d  t e x t  b as ed  b as el i n s y s t e m s .  B h at t ach ar y a [ 4 3 ]  p r o p o s ed  an  a ppr oa c h   f o r   au t o m at i c c  i d en t i f i cat i o n   o f  t h r h et o r i cal   r o l es  o f   s e n t en ce s  f r o m   S u p r e m C o u r t  o f   I n d i j ud g m e nt s   us i n g d e e p  ne ur a l  ne t w o r ks .   T he  s i gni f i c a nc e  o f  u s i n g d e e p  ne ur a l  ne t w o r k t he s e  s ys t e m s   w o r k b e t t e r  t ha n   m a n b a s e l i ne   s ys t e m s  w h i c h us e  ha nd c r af t ed  f eat u r es .       4.   CO NCL U S I O N     L e ga l  t e xt  d o c u m e nt s  a r e   s t r uc t ur a l l y  d i f f e r e nt   t ha n o t he r  d o m a i n t e xt s  s uc h a s   ne w s   a r t i c l e s  o r   bi oi n f or m a t i c s  do m a i ns .  S o,  t e c h n i q u e s  a da pt e d f or   in f o r m a tio n  e x tr a c tio n   fr o m  t h e   le g a d o ma i n  d e ma n d s   f or  un de r s t a n di ng  t h e   f o r m a t s  a n d  s e m a n tic s  o f  th e  le g a l d o c u m e n t.   A ls o ,  le g a l d o c u m e n t s  e x is in  d i f f e r e n t   v ar i et i es  l i k e co n t r act s ,  r ep o r t s ,  co u r t  j u d g m e n t s  eac h  o f   w h i ch  f o l l o w s  a d i f f er e n t  l a y o u t   an d  s t r u ct u r e.  F r o m   th e  s u r v e y  c o n d u c te d  f o r  I E  f r o m  le g a l te x ts ,  it is   v e r y   m uc h vi s i b l e  t ha t   no t   m uc w o r k i s  b e i ng c a r r i e d  o ut   f o r IE  f o r In d i a n   l a s y s t e m  doc um e nt s .  T h oug h t h e   N L P  a ppr oa c h  s e e m s  pr o m i s i ng   f or  l e g a l  t e xt   p r o ces s i n g ,  r ep r es en t at i o n  o f   ex t r act ed  i n f o r m at i o n  i n   m ach i n e - r ead ab l e as   w el l  as   u s er - f r i en d l y   f o r m  cr eat e s   a ch al l en g f o r  t h i s  ap p r o ach .  T h e d eep  l ear n i n g  ap p r o ach  i s   w i l d l y  ad ap t ed  b y  t h e r es ear c h er  co m m u n i t y  f o r   v ar i o u s  d o m ai n s  b u t  cr eat i n g   a t ag g ed  co r p u s  f o r  t h i s  ap p r o ach  n eed s  t o   m u c h   m a n u al  ef f o r t s  f o r  t h e co m p l e x   a nd  l e ngt h y l e ga l  d o c u m e nt s .   A f t e r  a na l y s i s  o f  a l l  t h e ap p r o ach ed  f o r  l e g al   t ex t  p r o ces s i n g   w f i n d  t h at   t h e   k n o w l ed g e b as e p o p u l at i o n  ap p r o ach  co m b i n ed   w i t h  N L P  t e ch n i q u es  ca n   g i v e p r o m i s i n g  r es u l t s   f o r  l eg al  t ex t   an al y s i s   f o r   m an y  t as k s  s u c h  as  au t o m at i c s u m m ar i zat i o n ,  f i n d i n g  t h m o s t  r el ev a nt  c a s e  j ud g m e nt s ,   cl as s i f i cat i o n  o f  l e g al  d o cu m en t s  acco r d i n g  t o  l a w s ,  ac t s  o r  an y  o t h er  p ar a m et er ,  a u t o m at i c h ead   n o t e   g en er at i o n   f o r  a cas e,  f i n d i n g   t h e r e f er en ce s   f o r  a  g i v e n  ca s e t h r o u g h  ci t at i o n s  an d   m a y   m o r e  f o r  I n d i an  l a w   s ys t e m .  T he r e  i s   no .  o f  a r eas  o p en  f o r  ex p l o r at i o n   w i t h  d i f f er en t  i s s u es  i n  l e g al  t ex t  an a l y s i s   w h er e   r e s e a r c h e r s  f r o m   th e  I n f o r m a t io n  E x tr a c tio n  c o m m u n it y  c a n  c o n tr ib u te  to  b e n e f it le g a l e x p e r ts  to  g e r i d of   t h m an u al ,  co m p l i cat ed  t i m e - co n s u m i n g  t as k  as   w el l  a s  a co m m o n   m a n  t o  b et t er  u n d er s t an d  t h e l e g al   dom a i n .   A f te r  d is c u s s in g  t h e   n e e d  o f  a u to m a tio n  in   le g a s e c to r  a  f u n d a m e n ta l q u e s tio n   a r is e s  t h a w h e th e r   a ut o m a t i o n i n l e ga l  s e c t o r   w o ul d  r e p l a c e  t he  l a w ye r  a nd  l e g a l  a na l ys t  i f ut ur e ?  T o  a ns w e r  t hi s  q ue s t i o n,  o ne   n e e ds  t un d er s t an d  t h at   l e ga l  do m a i n  i s   h i gh l y  dr i v e n by  a n a l y s i s ,  de c i s i o n   m a ki ng ,  a n d r e pr e s e nt a t i on  t ech n i q u es   w h i c h  i s  d i f f i c u l t  t o  au t o m at e.  S t i l l  t h er e ar e s o m e ar eas   i n  l eg al  d o m ai n   w h er e au t o m at i o n  i s   hi g hl y d e s i r e d .   D ue   d i l i ge nc e - c o n tr a c r ev i ew ,   l e g al  r es ea r c h c o nd uc t i o t o  s a ve   m a n ua l  e f f o r t s P r e d ic tio n   t e c hno l o g y - t p r ed i ct   t h e p r o b ab l e o u t co m e o f  t h e ca s es  b y   an al y z i n g  p r ev i o u s   j ud g m e nt s .   L e g a l   a na l yt i c s - to   g en er at e t h d at p o i n t s  f r o m  p as t   j ud g m e nt s ,  an d  i d e n t i f y  r el ev an t  cas e l a w s  t o  b u s ed   b y   l a w ye r s  i n t he i r   p r es en t  cas es .   A u to m a tio n  o f   doc um e n t a t i on - b j u s t s u b m itti n g  th e  r e le v a n t d o c u m e n ts   g e y o u r  le g a l   d o cu m en t s  r ead y .       R EF ER EN C ES     [ 1]   J . R u h l , D . M . K a t z a nd   M .  J .  B o m m ar i t o ,  “H ar n es s in g  le g a l c o m p le x it y ,   S ci en ce , v o l 355 no .  63 32 ,     pp.   13 77 - 1 37 8,  20 17 ,  do i :  10. 11 2 6/ s c i e nc e . a a g 3013.     [ 2]   A .  K an ap al a,  S .  P al ,  an d  R .   P am u l a ,  “T e x t  s u m m ar i zat i o n  f r o m  l e g al  d o cu m en t s :  a  s u r v e y , ”  Ar tific ia l I n te lli g e n c e   R evi ew ,  v ol .  5 1,   no.  3,  p p.   37 1 - 4 0 2,   2 01 9,  do i :  10. 10 07/ s 10 46 2 - 01 7 - 95 66 - 2   [ 3]   T .  P ad ay a c h y , B . S c hol t z  a n d  J .  W e s s on,  “ A n I nf or m a t i on E x t r a c t i on M o de l  U s i ng  a  G r a ph D a t a ba s e  t R eco m m en d  t h e M o s t  A p p l i e d  C as e,   20 18 I nt e r na t i o nal  C onf e r e nc e  o n C om put i ng ,  E l e c t r oni c s   &   C om m uni c a t i o ns  E ngi ne e r i ng ( i C C E C E ) ,  20 18 ,   p p.  89 - 9 4,  doi :   1 0. 110 9/ i C C E C O M E . 2 01 8. 86 5 86 59 .   [ 4]   M .  S ur de a n u,  R .  N a l l a pa t i ,  a n d C .  D .  M a nni ng ,   L e g a l C la i m  I d e n tif ic a tio n : I n f o r m a tio n  E x tr a c tio n  w ith   H i er ar ch i cal l y  L ab el ed  D at a,   P r oc e e di ngs   of  t he  L R E C  2 01 0 W or k s hop  on  t he   Se m ant i c  P r oc e s s i n g of  L e g al  T e x t s   (S P L e T - 201 0) ,  20 10 p p . 1 - 8   [ 5]   M . G . C ons t a nt i no   e t a l. “C L I E L :  co n t ex t - b as ed  i n f o r m at i o n  ex t r act i o n  f r o m  co m m er ci al  l a w  d o cu m en t s , ”  ICA IL   ' 1 7:  P r oc e e di n gs  of  t he  16t h e di t i on o f  t he  I nt e r n at i o nal  C onf e r e n c e  on A r t i c i al  I nt e l l i ge nc e  an d L aw ,   p p.   79 - 8 7,   201 7 ,  do i :  10. 11 45/ 30 86 51 2. 30 86 520 .     [ 6]   M G .  B ue y ,  A .   L .   G a r r i do,  C .  B obe d,  a nd  S .  I l a r r i T he  A I S  P r o j e c t :  B oos t i ng  I nf or m a t i on E x t r a c t i on f r om  L e g a l   D oc um e nt s  by  us i ng  O nt ol og i e s ,  i ICA A R T ,   vol .  2 ,   pp.  4 38 - 44 5,  201 6,   do i :  10. 52 20/ 00 05 75 72 04 3 804 45 .     Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SSN :   20 88 - 8708   In t  J  E l e c  &  C o m p  E n g ,   V o l.   11 , N o 6 D ecem b er  2 0 2 1   :   5 450   -   54 57   5 456   [ 7]   M .  J .  B o m m ar i t o , D . M . K a t z ,   a n d  E . M . D e t t e r ma n ,  “ L e xN L P :  N a t ur a l  l a ng ua g e  pr oc e s s i ng   a nd i nf or m a t i on   e x tr a c tio n  f o r  le g a l a n d  r e g u la to r y  te x ts , ”  ar X i v   pr e pr i nt  ar X i v : 1 80 6. 0 36 88 p p .  1 - 9 20 18 .   [ 8]   J . S a v e l k a , H . X u , a n d  K . D . A s h l e y ,   I m p r o v i n g  s en t en ce r et r i ev al   f r o m  ca s e l a w   f o r  s t at u t o r y  i n t er p r et a tio n ,   P r oc e e di ngs   of   t he   17t h I nt e r nat i on al  C onf e r e nc e  o n A r t i f i c i al  I n t e l l i ge nc e  a nd  L aw ,  I C A I L ,  pp.  113 - 1 22,   20 19 doi :  1 0. 1 14 5/ 3 32 26 40 . 3 32 67 36.     [ 9]   S . K u m a r P . K .  R e d dy ,  V .  B .  R e ddy ,  a nd A .  S i ng h,  “ S im ila r it y  a n a l y s is  o f  le g a l ju d g m e n ts ,   C om p ut e  2 01 -   4t A nn ual  A C M  B a ng al or e  C onf e r e nc e ,   v ol .  17,   p p.  1 - 4,   2 01 1,  doi :   1 7.  1 0. 11 45/ 19 80 42 2. 19 80 43 9.   [ 10 ]   I .  G oodf e l l ow ,  Y .  B e ng j o,  A .  C ou r v i l l e ,  a nd Y .  B e ng j o ,   D eep  l ear n i n g , ”  M I T  P re ss ,  C a m br i dg e  201 6.   [ 11 ]   Y .  G ol dbe r g ,   N e ur a l  ne t w or k   m e t hods  i n na t ur a l  l a ng ua g e  pr oc e ssi n g , ”  M or gan a nd C l ay po ol   P ubl i s he r s ,  S an   R af ael ,  2 0 1 7 .   [ 12 ]   I .  C h al k i d i s  an d  D ,  K am p as ,   “D eep  l ear n i n g   i n  l aw :  ear l y  ad ap t at i o n  a n d  l eg al  w o r d  em b ed d i n g s  t r ai n ed   o n  l ar g e   c or por a ,   Ar ti fic ia l  I n te lli g e n c e  a n d   L a w ,   vol .  2 7 ,   pp .  1 71 - 19 8 ,  20 19 ,  do i :  10 . 10 07 / s 10 50 6 - 0 18 - 92 38 - 9   [ 13 ]   N . B a n s a l , A . S h a r m a , a n d  R . K . S i n g h ,   A  R e v i e w  on t he  A ppl i c a t i on of  D e e p L e a r ni ng  i n L e ga l  D om a i n,   i n   I F I P  I nt e r n at i o na l  C o nf e r e nc e  on  A r t i f i c i al  I nt e l l i ge nc e  A ppl i c at i o ns  an d I n nov a t i o ns ,  vo l .   5 59 ,   p p.  374 - 3 81,  20 19,   doi :  1 0. 1 00 7/ 9 78 - 3 - 03 0 - 1 98 23 - 7_ 3 1.     [ 14 ]   L ip p i M .   e t a l. ,   A ut om a t e d de t e c t i on of  unf a i r  c l a us e s  i n onl i n e  c ons um e r  c ont r a c t s , ”  in   L e gal  K now l e d ge   a nd   I nf or m at i o n Sy s t e m s :  J U R I X  2 01 7:  T he  T hi r t i e t h A nn ua l  C o nf e r e n c e ,  L ux e m bour g ,  v ol .   3 02,   20 17 ,   pp .   1 45 - 154 .     [ 15 ]   M .  L ip p e t a l. ,   C L A U D E T T E :  an  au t o m at ed  d et ect o r  o f  p o t en t i al l y  u n f ai r  cl au s es  i n  o n l i n e t er m s  o f  s er v i ce ,”   Ar tific ia l I n te lli g e n c e  a n d   L a w v ol .  27,   n o.  2,  pp.   1 17 - 13 9,  20 19,   d oi :   1 0. 10 07/ s 10 50 6 - 01 9 - 0 92 43 - 2 .   [ 16 ]   T.   J o ach i m s , “ Te x t   cat e g o r i zat i o n  w i t h  s u p p o r t  v ect o r  m ach i n es :  L ear n i n g  w i t h   m an y  r el ev an t   f eat u r es , ”  E C M L  98,   S pr i ng e r ,  B e r l i n,  G e r m a n y ,  199 8,   pp .   13 7 - 14 2.   [ 17 ]   Y.   Ki m ,   C onv ol ut i ona l  ne ur a l  n e t w or k s   f or  s e nt e nc e  c l a s s i f i c a t i on ,   I n:   P r oc e e di ngs  of   t he  20 14 C onf e r e nc e   o n   E m pi r i c al  M e t ho ds  i n N a t ur a l  L a ngu age  P r oc e s s i ng,  E M N L P  2 01 4 , D o h a , Q a t a r , A C L 2014,   pp .   174 6 - 17 51 ,  d o i:  10. 31 15/ v 1 / D 14 - 1 18 1.     [ 18 ]   A .   G r a v e s  a nd J .  S c m i dhube r ,   F r a m e w is e  p h o n e m e  c la s s i f ic a tio n  w ith  b id ir e c tio n a l ls t m  a nd ot he r   ne ur a l  ne t w or k   ar ch i t ect u r es , ”  N eu r a l  N et w o r ks , v o l 18 ,  no.   5 pp .   6 02 - 61 0 ,  2 00 5,   doi :  1 0. 1 01 6/ j . ne u ne t . 2 00 5. 0 6. 04 2.     [ 19 ]   C . X i a , T . H e , W .  L i , Z . Q i n  a n d  Z . Z o u,  “ S i m i l ar i t y   A n al y s i s  o f   L aw  D o cu m en t s  B as ed  o n  W o r d 2 v ec,   2019 I E E E   19t h I nt e r n at i o n al  C onf e r e nc e  on Sof t w ar e  Q ual i t y ,  R e l i ab i l i t y  and Se c ur i t y  C om pa ni o ( Q R S - C) ,  2019 ,     pp.  35 4 - 357 ,  d oi :  1 0. 1 10 9/ Q R S - C . 20 19. 00 07 2 .   [ 20 ]   R .  N a nda ,   U ns u pe r v i s e d a nd  s upe r v i s e d t e x t  s i m i l a r i t y  s y s t e m s  f or  a ut om a t e d i de nt i f i c a t i on  of  na t i ona l   i m p l e m en t i n g  m eas u r es   o f  E u r o p ean  d i r ect i v es ,   Ar tific ia l I n te llig e n c e  a n d  L a w , v o l 27 , n o 2 ,  pp.  199 - 2 25,   20 19 doi :  1 0. 1 00 7/ s 1 05 06 - 0 18 - 92 36 - y.     [ 21 ]   R.  N an d a,  L .  D i  C ar o ,  an d  G .  B o el l a,  “ A  te x s i m i l a r i t y   a ppr oa c h f or  a ut om a t e d t r a ns pos i t i on de t e c t i on of  E ur o pe a n   U n io n  d ir e c tiv e s ,   I n:  2 9t h I nt e r nat i on al  c o nf e r e nc e  on  l e gal  k n ow l e dge   an d i nf or m at i o n s y s t e m s ,  J U R I X  20 16 ,     vo l .   2 94,  2 01 6,   pp.  1 43 - 14 8,   doi :  10. 32 33/ 97 8 - 1 - 6 14 99 - 72 6 - 9 - 14 3.     [ 22 ]   R .  N a nda   e t a l. ,   A  u n if y in g  s im ila r it y   m e a s u r e  f o r  a u to m a te d  id e n tif ic a tio n   o f  n a tio n a l im p le m e n ta tio n s   o f   E ur o pe a n u ni o n di r e c t i v e s , ”  In   P r oc e e di ngs   of  t he   16t h e di t i o n  of  t he  i nt e r na t i o nal  c onf e r e nc e  on ar t i f i c i al   i nt e l l i ge nc e  an d l aw .  A C M ,  2 01 7,  pp  14 9 - 158 ,  do i :   1 0. 1 14 5/ 3 08 65 12. 30 86 52 7.     [ 23 ]   M . R . S . M a r q u e s , T B i a nc o,   M .  R oo dne j a d ,  T .  B a due l   a nd C .  B e r r ou,  “ M a c hi ne  l e a r ni ng  f or  e x pl a i ni ng  a nd  r a n k in g  th e  m o s t in f lu e n tia m a tt e r s  o f  la w ,   I C A I L  ' 1 9:  P r oc e e di ngs  of  t he  Se v e nt e e nt h I nt e r nat i o nal  C o nf e r e nc e   o n  Ar t ific i al  I nt e l l i ge nc e  a nd  L aw ,   2 01 9,   pp .  2 39 - 24 3,  do i :   10 . 11 45/ 3 32 26 40 . 33 26 73 4.   [ 24 ]   D .   V r a n d eči ć   an d  M .  K r ö t zs ch ,   W i k i d at a:  a f r ee co l l ab o r at i v e k n o w l ed g e b as e ,”   C om m uni c a t i o n s  of  t he  A C M ,     vo l .   5 7,  no.   1 0 pp.  7 8 - 85 ,  20 14 .   [ 25 ]   S . A u e r , C . B i z e r , G . K o b i l a r o v , J . L e h m a n n , R . C y g a n i a k , a n d  Z . I v e s D B pe di a :   A  N uc l e us   f or  a  W e b of  O pe n   D at a ,   in   T he  Se m ant i c  W e b,   S pr i ng e r ,   Be rl i n ,   H ei d e l be r g ,  20 07 ,  v ol .  48 25,   pp.   72 2 - 73 5 ,  doi :  10 . 1 007 / 9 78 - 3 - 54 0 - 762 98 - 0_ 5 2.     [ 26 ]   K . B o l l a c k e r , C . E v a n s , P P a r i t o s h , T . S t u r g e , a n d  J . T a y l o r F r eeb as e:   a co l l ab o r at i v el y  cr eat ed  g r ap h   d at ab as e   f or  s t r uc t ur i ng  hum a n k now l e dg e ,   in   P r oc e e di ngs  of  t he  200 8 A C M  SI G M O D  i nt e r nat i on al  c onf e r e nc e  on  M ana ge m e nt  of  d at a ,   p p.  12 47 - 12 50 ,  2 00 8,   do i :  10 . 11 45 / 13 76 61 6. 13 7 67 46 .     [ 27 ]   H e ng  J i   a nd R .   G r i s h ma n ,   K now l e dge  B a s e  P op ul a t i o n:  S uc c e s s f ul   A ppr oa c he s  a nd C ha l l e ng e s ,   in   P r oc e e di ngs   of  t he  49t h a nn ual  m e e t i ng o f  t he  as s oc i at i o n f or  c om p ut at i o nal  l i ng ui s t i c s :  H um an l a ng ua g e  t e c hnol o gi e s   pp.  11 48 - 11 5 8,  20 11 .   [ 28 ]   X . L i n g , S . S i n g h , a n d  D S . W e l d ,   D e s ig n  C h a lle n g e s  f o r  En tit y   L in k in g ,   T r ans ac t i o ns  of  t he   A s s oc i at i o n f or   C om put at i on al  L i n gui s t i c s ,   vol .   3,  p p.  31 5 - 32 8,   2 01 5,  do i :   1 0. 1 16 2 / t a c l _a _0 01 41.     [ 29 ]   M.   S u r d ean u   e t a l. , “ S ta n f o r d ' s  D is ta n tly - S upe r v i s e d S l ot - F illi n g  S y s te m ,   T he or y  and A p pl i c at i o ns  of  C at e gor i e s ,   201 1 .   [ 30 ]   O .  E t z i o ni ,   M .  B a nk o,  S .   S o de r l a nd,  a nd  D .  S .  W e l d ,   O pe n i nf or m a t i on e x t r a c t i on f r om  t he   w e b ,   C o m m u n ic a tio n s  o f th e   AC M ,   v o l.   5 1,   p p.  68 - 74 ,   2 00 8,  do i :  10. 11 4 5/ 1 40 93 60. 14 09 37 8 .   [ 31 ]   D . - T .   V o a nd E .   B ag h er i , “ O p e n i nf or m a t i on e x t r a c t i on,  E nc y c l ope di a  w i t h s e m a nt i c  c om put i ng , ”  Se m ant i c   C om put i n g ,  pp.   3 - 8 20 16 ,   d oi :  10 . 11 42/ 97 89 81 32 27 92 7_ 00 01 .     [ 32 ]   R .   S ch n ei d er ,  T .   O b er h au s er ,  T .   K la tt,   F .   A.   Ge r s ,  a n d  A .   Lo s e r ,   A na l y z i ng  E r r or s  of  O pe n I nf or m a t i on E x t r a c t i o n   S ys t e m s ,”   P r oc e e di ngs  of   t he  F i r s t  W or k s hop o n B ui l di ng L i n gui s t i c al l y  G e ne r al i z a bl e  N L P  Sy s t e m s ,  Asso c i a t i o n   f or  C om put a t i ona l  L i ng ui s t i c s ,  C ope n ha g e n,  D e nm a r k ,  S e p .   20 17.   [ 3 3]   G .   A n g e li,  M .   J .   J .   P r e mk u ma r ,  a n d   C .   D .  M a nni ng ,   L e ve r a g i ng  l i ng ui s t i c  s t r uc t ur e  f or  o pe n - d om a i n i nf or m a t i on  ex t r act i o n , ” I n   P r oc e e di ngs  of  t h e  53r d  A n nu al  M e e t i n g of  t he   A s s oc i at i o n f or  C om pu t at i on al   L i n gui s t i c s   an d t he   Evaluation Warning : The document was created with Spire.PDF for Python.
In t  J  E l e c  &  C o m p  E n g     I S S N :  2088 - 8708       A n ov e r v i e w  of  i nf or m at i on e x t r ac t i on t e c hni que s  f or  l e gal   d oc um e nt     ( A s hw i ni  V .  Z adga onk ar )   5457   7t h I n t e r nat i on al  J oi nt  C on f e r e nc e  on N at ur a l  L a ng ua ge  P r oc e s s i ng v ol .  1,   pp.  34 4 35 4,  20 15 ,  do i :   10. 31 15/ v 1 / P 1 5 - 10 34 .     [ 3 4]   M . N i c k e l , K . M u r p h y , V . T r e s p ,   a nd E .  G a br i l ov i c h,   A  R ev i e w   o f  R el at i o n al  M ach i n e   L e a r ni ng  f or   K now l e dge   G r a phs ,   in   P r oc e e di n gs  of  t he  I E E E ,  v ol .  1 04,  no .  1 ,  p p.   11 - 33 ,   J a n.   2 01 6,  do i :  10. 11 09/ J P R O C . 20 15 . 24 83 59 2 .   [ 3 5]   K .  S r i n i v as a an d   P .  S .  T h i l ag a m ,  “C r i m e b as e:   T o w ar d s  b u i l d i n g  a k n o w l ed g e  b as f o r  cr i m e en t i t i es  an d  t h ei r   r e l a t i ons hi ps  f r om  onl i ne  ne w s pa pe r s ,   I nf or m at i on  P r oc e s s i ng &  M anage m e nt ,   v ol .  56 ,   no .  6,  20 19 ,     A r t .   no.  102 05 9,   d oi :   10. 10 16/ j . i p m . 2019. 10 20 59.   [ 3 6]   G . Z h u  a n d  C . A . I g l e s i a s ,   Ex p lo itin g  s e m a n tic  s i m ila r it y   f o r  n a m e d  e n tity  d is a m b ig u a tio n  in  k n o w le d g e  g r a p h s ,   E x pe r t  Sy s t e m s  w i t h A ppl i c at i ons vo l .   10 1,   pp .  8 - 24 ,   2 01 8,   d o i:  1 0 .1 01 6/ j . e s w a . 2018. 02. 01 1 .   [ 3 7]   R . Q u , Y . F a n g , W . B a i , a n d   Y .  J i an g ,   C om put i ng  s e m a nt i c  s i m i l a r i t y  ba s e d on  nov e l  m ode l s  of  s e m a nt i c   r e pr e s e nt a t i on us i ng   W i k i pe di a ,   I nf or m at i o n P r oc e s s i n &  M ana ge m e nt vo l .   54 n o . 6 pp.  1 00 2 - 102 1,   2 01 8,   d o i:  10. 10 16/ j . i pm . 20 1 8. 07 . 00 2 .   [ 3 8]   P .  B u ite la r ,   P .  C im ia n o ,  A .  F r a n k ,  M .  H a r t ung ,  a nd  S .  R a c i op pa ,  “ O nt ol og y - ba s e d i nf or m a t i on  e x t r a c t i on a nd  i nt e g r a t i on f r om  he t e r og e ne ous  da t a  s our c e s ,   I nt e r nat i o nal  J o ur n al  of  H um an - C om pu t e r  St u di e s vo l .   66 , n o 1 1 pp.  75 9 - 788 ,   2 00 8,  do i :   10. 10 16/ j . i j hc s . 2 00 8. 07. 00 7.     [ 3 9]   G .  B o el l a.  L .  D i  C ar o ,  an d  V .  L eo n e ,   S e mi - a ut om a t i c   k now l e dge  pop ul a t i on  i n a  l e g a l  d oc um e nt  m a na g e m e nt   s ys t e m ,   Ar tific ia l in te lli g e n c e  a n d  L a w ,  v ol .  2 7,   pp.  2 27 - 25 1,  20 19 ,   do i :  10. 10 07/ s 10 50 6 - 01 8 - 92 39 - 8   [ 4 0]   E . d e   M a a t , K . K r a b be n,  a nd R .   W i nk e l s ,   M a c hi ne  l e a r ni ng  v e r s us  k now l e dg e - b as ed   c la s s i f ic a tio n  o f  le g a l te x ts ,   i P r oc e e di n gs  of  l e gal  k n ow l e d ge  and i nf or m a t i o n s y s t e m s   c onf e r e nc e :   J U R I X  2010 . I O S P r e s s ,  201 0,   pp .  87 - 96 ,   doi :  1 0. 3 23 3/ 9 78 - 1 - 60 75 0 - 6 81 - 2 - 87.     [ 4 1]   A . M a n d a l , K G o s h,  A .  P a l ,  a nd S .  G hos h ,   A u t o m at i c ca t ch p h r as e i d en t i f i cat i o n   f r o m  l e g al  co u r t  cas e   doc um e nt s ,  i P r oc e e di ngs   of  t h e  201 7 A C M  o n C onf e r e nc e  o n I nf or m at i o n a nd  K now l e dge  M a n age m e nt 2 01 7,   pp.   2 18 7 - 21 90 ,  d oi :  1 0. 1 14 5/ 3 13 284 7. 31 33 10 2.     [ 4 2]   A .  M an d al ,  R .  C h ak i ,   S S a h a K . G h o s h , A . P a l , a n d  S . G h o s h ,   M e a s u r in g  s im ila r it y  a m o n g  l eg al  co u r t  cas e   doc um e nt s ,  i P r oc e e di ngs   o f  t he   10t h a nn ua l  A C M  I n di a c om p ut e  c o nf e r e nc e 2 01 7,   pp.  1 - 9 doi :   10. 11 45/ 31 40 10 7. 31 40 11 9.     [ 4 3]   P .  B ha t t a c ha r y a ,  S .   P a ul ,  K .  G hos h,   S .  G hos h,  a nd A .  W y ne r ,   I de nt i f i c a t i on  of  r he t or i c a l  r ol e s   of  s e nt en ces  i n   I n d ia n  le g a l ju d g m e n ts , ”  201 9 ar X i v  pr e pr i nt  ar X i v : 19 11. 05 40 5       B I O G RAP H I ES   O F  AUT H O RS         A s hw i ni  V .   Z a dg a o n ka r   i s  a a s s i s t a nt  pr of e s s or  i n t he  de pt  of  C S E  a t  R C O E M ,  N a g pur .  S he  i s   g r a dua t e d f r o m  B  T e c h C o m put e r  T e c hnol og y  a nd M t e c h i n C S E  f r o m  N a g pur  U ni v e r s i t y  a nd  cu r r en t l y  p u r s u i n g  h er   P h d  at  R C O E M ,  R T M N U  N ag p u r ,  I n d i a.  H er  ar ea o f  r es ear ch  i s  N L P  an d   D at a M i n i n g.                 A vi n as h  J .  A g r aw al   i s  a n a s s oc i a t e  pr of e s s or  i n t he  de pt  of  C S E  a t  R C O E M ,  N a g pur .  H e  ha s   done   hi s  B E  f r om   N a g pur  uni v e r s i t y  a nd M t e c h i n C S E  f r om   N I T  R a i pur  H e  i s  a  r e s e a r c S ch o l ar  o f  V N I T  N ag p u r .  H i s  r es ear ch  i n t er es t s  ar e t h e ar ea o f  N L P ,  D at a M i n i n g  an d  ar t i f i ci al   in te l l i g e nt .  H e   ha s  m or e  t ha n 5 0 p ubl i c a t i ons  i n r e p ut e j o ur na l s  a n d c onf e r e nc e s .         Evaluation Warning : The document was created with Spire.PDF for Python.