I AE S In t er na t io na l J o urna l o f   Art if icia l In t ellig ence   ( I J - AI)   Vo l.  8 ,   No .   3 Sep tem b er   201 9 ,   p p .   2 4 4 ~ 2 5 1   I SS N:  2 2 5 2 - 8938 ,   DOI : 1 0 . 1 1 5 9 1 /i j ai. v 8 .i 3 . p p 2 4 4 - 2 5 1          244       J o ur na l ho m ep a g e h ttp : //ia e s co r e . co m/o n lin e/in d ex . p h p /I J AI   Ex pert  ju dg m ent  Z - Nu m bers  as  a r a nk ing  in dica tor f o hiera rchica l f u zzy lo g ic sy ste m       Sh a if ul B a kh t ia bin   Ro dz ma n 1 ,   No r m a ly   K a m a l I s m a il 2 ,   Nura zz a h Abd Ra h m a n 3 ,   S y ed  Ah m a Alj un id 4 Z ulh il m i M o ha m e d No r 5 ,   K M uh a mm a d Na i m   K u K ha lif 6   1, 2, 3, 4 F a c u lt y   o f   Co m p u ter &   M a th e m a ti c a S c ien c e s,  Un iv e rsiti   Tek n o l o g M A RA ,   S h a h   A la m ,   M a la y sia   5 F a k u lt P e n g a ji a n   Q u ra n   d a n   S u n n a h ,   U n iv e rsiti   S a in s Isla m   M a la y sia ,   Ba n d a Ba ru   Nilai ,   M a lay sia   6 F a c u lt y   o f   In d u strial  S c ien c e s a n d   T e c h n o lo g y ,   Un iv e rsiti   M a lay sia   P a h a n g ,   M a lay sia       Art icle  I nfo     AB ST RAC T   A r ticle  his to r y:   R ec eiv ed   A pr   30 ,   2 0 1 9   R ev i s ed   J u l   30 ,   2 0 1 9   A cc ep ted   A u g   2 2 ,   2 0 1 9       In   th is  a rti c le,  th e   re se a rc h e rs  m a i n   c o n tri b u ti o n   is  to   in v e stig a te  th re e   f a c to rs   w h ich   m a y   c o rre late   in   im p lem e n tatio n   o f   Ex p e rt  Ju d g m e n Z - N u m b e rs  a s   n e w   F u z z y   L o g ic  Ra n k in g   In d ica to su c h   a s:  e x p e rt  re le v a n c e   ju d g m e n t   o sc o re ,   th e   e x p e rt  c o n f id e n c e   a n d   t h e   lev e o f   e x p e rti se .   T h e   Ex p e rt  Ju d g m e n t   Z - Nu m b e rs  t h e n   w il b e   a n   i n p u t   to   th e   Hie ra rc h ica F u z z y   L o g ic  S y st e m   o Do m a in   S p e c if ic  Tex Re tri e v a l,   a lo n g   w it h   o t h e i n d ica to r su c h   a s   On to l o g y   BM 2 5   S c o re ,   F a b rica t io n   Ra te,  S h ia  Ra te  a n d   P o sit iv e   Ra te  o f   h a d it h   d o c u m e n t.   T h e   re su lt sh o w e d ,   th e   p ro p o se d   sy ste m ,   w it h   th e   a d d it i o n a n e w   in d ica to o f   Ex p e rt  Ju d g m e n Z - Nu m b e rs,   m a y   i m p ro v e   th e   o rig in a BM 2 5   ra n k in g   f u n c ti o n ,   b y   y ield in g   b e tt e re su lt o n   2 6   q u e ries ,   o n   a ll   e v a lu a ti o n   m e tri c th a a r e   m e a su re d   in   th is  re se a r c h   su c h   a P @1 0 ,   % n o   m e a su re a n d   M A P ,   a n d   h a a c h iev e d   b e tt e re su lt in   2 8   q u e ries   o n   P @ 1 0   a l o n e ,   c o m p a re d   to   th e   B M 2 5   o rig in a sc o re ,   th a o n ly   y i e ld   b e tt e r   re su lt in   2   q u e ries   o n   a ll   e v a lu a ti o n   m e tri c s,  a n d   a lso   y ield   b e tt e re su lt in   4   q u e ries   o n   t h e   M A P   a lo n e .   T h e   re su lt p ro v e d   th a t h e   p ro p o se d   sy s tem   h a a   c a p a b il it y   to   u ti li z e   th e   e x p e rt  c o n f id e n c e   a n d   th e ir  re lev a n ju d g m e n th a a re   re p re se n ted   in   Z - Nu m b e r,   a a n   in d ica to to   o p ti m ize   th e   e x isti n g   ra n k in g   f u n c ti o n   sy ste m   a n d   h a a   p o ten ti a f o a   f u rth e re se a rc h   to   b e   c o n d u c ted   o n   t h e se   d o m a in s.  F o th e   f u tu re   w o rk s,  th e   re se a rc h e rs  w o u ld   li k e   to   e n h a n c e   th is  re se a rc h   b y   in c lu d i n g   a   v a riety   o f   e x p e rt’s  lev e c o n f id e n c e   a n d   t h e ir  ju d g m e n t,   a lso   a   n e w   c a lcu latio n   to   re p re se n t h e   v a lu e   o f   Z - Nu m b e rs.   K ey w o r d s :   B M2 5   m o d el   Do m ain   s p ec if i te x t r etr ie v al   E x p er t j u d g m e n t   Fu zz y   lo g ic   R an k i n g   i n d icato r   Z - N u m b er s   Co p y rig h ©   2 0 1 9   In stit u te o A d v a n c e d   E n g i n e e rin g   a n d   S c ien c e   Al rig h ts re se rv e d .   C o r r e s p o nd ing   A uth o r :   Sh ai f u l B ak h tiar   b in   R o d z m a n ,   Facu lt y   o f   C o m p u ter   &   Ma t h e m atica Sc ien ce s ,   Un i v er s iti T ek n o lo g i M A R A ,   Sh a h   A la m ,   Selan g o r   Dar u l E h s a n ,   Ma la y s ia .   E m ail:  s h ai f u l.b ak h tiar . r o d zm an @ g m ail. co m       1.   I NT RO D UCT I O N   C r o w d s o u r cin g   o f f er s   an   a f f o r d ab le  an d   s ca lab le  m ea n   to   co llect  r elev an ce   j u d g m en ts   f o r   I n f o r m a tio n   R etr iev a ( I R )   tes co llectio n s .   Ho w e v er ,   cr o w d   ass es s o r s   m a y   s h o w   h i g h er   v ar ian ce   in   j u d g m en t   q u alit y   t h a n   tr u s ted   ass e s s o r s ,   ( th at  th r esear c h er s   r ef er r e d   to   in   th is   s t u d y   as   th ex p er ts )   [ 1 ].   T h ex p lo r atio n   o f   th is   is s u e   h as  b ec o m in g   v ita l,  s in ce   t h ex p er j u d g m e n m a y   h a v e   th p o ten tial  to   b e   u tili ze d   i n   b r in g i n g   i m p r o v e m en o f   t h e x is t in g   r an k in g   f u n ct io n   o f   I n f o r m ati o n   R etr ie v al  ( I R ) .   E s p ec iall y ,   in   t h co n te x o f   Ma la y   T r an s lated   Had ith   I n f o r m atio n   R e tr iev al   as  o n e x a m p le   o f   Do m ai n   Sp ec if ic  T ex R e tr iev al t h e y   p o s s ess   e x p er tis i n   d eter m i n i n g   th r ele v a n ce   o f   h ad ith   in   s p ec if ic  to p ics  a n d   q u er ies  a n d   m o r eo v er   ass e s s in g   t h a u t h en t icit y   o f   h ad it h   d o cu m e n ts   [ 2 ] .   I n   t h is   s t u d y ,   th e   r esear ch er s   h y p o t h esize  t h at  th cr o w d   j u d g es  m a y   b h av t h r eliab ilit y   to   g i v th r elev a n j u d g m en f o r   th ce r tain   d o cu m en ts   a n d   q u er ies,  b u it   d ep en d   o n   th eir   lev el  o f   co n f id en ce s   an d   also   t h ex p er tis e.   T h lev el  o f   th e   Evaluation Warning : The document was created with Spire.PDF for Python.
IJ - AI     I SS N:  2252 - 8938       E xp ert ju d g men t Z - N u mb ers   a s   a   r a n kin g   in d ica to r   fo r … ( S h a ifu l B a kh tia r   b in   R o d z ma n )   245   cr o w d   ex p er tis an d   also   th ei r   co n f id en ce   m a y   af f ec t h q u alit y   o f   th eir   j u d g m e n an d   b r in g   th i m p ac to   p er f o r m a n ce   o f   t h I R   s y s te m   [ 1 ] ,   if   a n d   o n l y   i f   th e   v a lu e   o f   t h eir   j u d g m e n i s   ta k en   as   an   i n d icato r   o f   th r an k i n g   f u n ctio n .   T h is   v al u o f   r el ev a n ce   j u d g m e n t,  co n f id en ce   an d   t h ex p er tis ca n   b e   r ep r esen ted   in   o n e   s in g le  v al u u s in g   Z - N u m b e r ,   w h ic h   b ec o m e s   t h i n p u t   o f   t h F u zz y   L o g ic   C o n tr o ll er   to   o p ti m ize  t h e   R an k i n g   Fu n ctio n   o f   Do m ai n   Sp ec if ic  T ex t Retr ie v al.   Z ad eh   et  al.   2 0 1 1 ,   in tr o d u ce d   th e   co n ce p o f   Z - n u m b er s   to   d escr ib th u n ce r tai n   in f o r m a t io n   w h ic h   is   m o r g e n er alize d   n o tio n .   A   Z - n u m b er   is   an   o r d er ed   p ai r   o f   f u zz y   n u m b er s   ( A ,   B )   [ 3 ] .   Her e ,   A   is   v a lu e   o f   s o m v ar iab le s   a n d   B   r e p r esen t s   an   id ea   o f   ce r tain t y   o r   o th er   clo s el y   r elate d   c o n ce p t s   s u c h   as  s u r en es s ,   co n f id e n ce ,   r eliab ilit y ,   s tr e n g th   o f   tr u th ,   o r   p r o b a b ilit y   [ 4 ] .   I s h o u ld   b n o ted   th at  in   ev er y d a y   d ec is io n   m ak in g   m o s d ec is io n s   ar in   th f o r m   o f   Z - n u m b er s .   Var io u s   o f   r e s ea r ch es   w er e   e x a m in ed   in   ap p licatio n   o f   Z - n u m b er s   i n   m a n y   ar ea s   t h a in v o lv f ac to r s   t h at  ar ch ar ac ter ized   b y   n o o n l y   f u zz i n e s s ,   b u al s o   p ar tial  r eliab ilit y ,   s u ch   a s   [ 4 - 1 2 ] .   T h eir   f o c u s   m ain l y   o n   r esear ch   o f   s i n g le  o r   Mu lti - cr iter i d ec is io n - m a k i n g   p r o b lem s   a n d   it s   ap p licatio n   w it h   Z - n u m b er s .   Ot h er   r esear ch es,  b esid es   d ec is io n   m a k i n g   p r o b lem   s u c h   as   i n   [ 1 3 ]   p r o p o s th ap p licatio n   o f   Z - N u m b er   f o r   m o d eli n g   t h ef f ec t o f   P ilates e x er cise   o n   m o tiv atio n ,   a tten tio n ,   an x ie t y ,   a n d   ed u ca tio n a ac h iev e m e n t.  I n   [ 1 4 ]   p r o p o s es   Sen s o r   Data   F u s io n   w i th   Z - N u m b er s   a n d   I t s   A p p licatio n   in   Fa u lt  Dia g n o s is   u s i n g   Se n s o r   d ata  f u s io n   t ec h n o lo g y .   A p p licatio n   o f   e x p er j u d g m en ts   i n   I n f o r m a tio n   R e tr iev al  ca n   b s ee n   i n   th w o r k   o f   [ 1 5 - 1 8 ]   w h ich   f o cu s   o n   r esear ch   o f   p s eu d o   r elev a n ce   j u d g m e n ts   o r   ev id e n ce   t h at   w ill   co n tr ib u te   at   th e   en d   p ar o f   th e   i n f o r m a tio n   r etr iev al  e v al u atio n .   I n   [ 1 9 ]   p r o p o s es  to   u s t h P air w is e   P r ef er en ce   tec h n iq u to   co llect  r ele v an ce   j u d g m e n ts   f r o m   a   cr o w d s o u r ci n g   p lat f o r m   in   o r d er   to   h av b etter   u n d er s tan d in g   o f   t h u s er s '   p er ce p tio n   o f   r elev a n ce   a n d   to   co lle ct  d ata  w it h   h i g h   f id eli t y .   I n   [ 2 0 ] ,   f o cu s e s   o n   m o d ellin g   r a n d o m n e s s   in   r elev a n ce   j u d g m e n ts   an d   ev alu a tio n   m ea s u r es,  an d   r ec en tl y   i n   2 0 1 8 ,   in   [ 1 ]   s h o w s   th e   p o ten tial  o f   cr o w d   j u d g m e n t s   to   b u tili s ed   f o r   r eliab l y   r an k i n g   th e   I R   s y s te m s ,   i n   p u r p o s o f   e v al u atio n ,   an d   clo s i n g   t h g ap   o f   j u d g e m en d is a g r ee m e n t   b et w ee n   ex p er ts   a n d   cr o w d   w o r k er s .       E n d E v a l u a t i o n E V A L U A T I O N F u z z i f i c a t i o n I n f e r e n c e D e f u z z i f i c a t i o n I R   P R O C E S S D A T A S E T S t a r t R u l e   B a s e   & T e x t S u m m a r i z a t i o n &   E x p e r t J u d g m e n t Z - n u m b e r s C a l c u l a t i o n D o c u m e n t   C o l l e c t i o n   ( M a l a y T r a n s l a t e d   H a d i t h ) O u e r v   T e x t T e x t   P r e - P r o c e s s i n g ( M a l a y   S t e m m e r ) I n d e x i n g Q u e r y O p e r a t i o n R e t r i e v a l   a n d   R a n k i n g P r o c e s s F i n a l   R a n k i n g S c o r e   w i t h A d d i t i o n a l O n t o l o g y I n d i c a t o r C o m p u t a t i o n D o c u m e n t   R e t r i e v e d O n t o l o g i e s O n t o l o g y S c o r e C a l c u l a t i o n N o t e : B a s i c   P r o c e s s P r o p o s e d   M e t h o d     Fig u r 1 .   C o n ce p tu al  Fra m e wo r k   o f   FB MI R       2.   RE S E ARCH   M E T H O D   2 . 1 .     F r a m ew o rk   Fig u r 1   illu s tr ated   all  co m p o n en ts   i n   t h f r a m e w o r k   o f   th F u z z B M2 5   Ma la I n fo r ma tio n   R etri ev a l S ystem   ( F B MIR )   o f   t h is   r esear ch ,   t h at   in c lu d es   th e   b asic o f   p r o ce s s   o f   I n f o r m atio n   R etr iev al   s u c h   as   P r e - P r o ce s s in g ,   Qu ery  Op era tio n   a n d   R etri ev a a n d   R a n kin g   P r o ce s s ,   w h ic h   n e w   co n tr ib u tio n s   i n   th i s   r esear ch   ar d o n e   in   th i s   p ar ticu lar   p r o ce s s .   I n   th s aid   R etr ieva a n d   R a n kin g   P r o ce s s ,   th r esear ch er s   h a v e   o p tim ized   th B M2 5   r an k i n g   f u n ctio n ,   b y   ap p l y i n g   t h d esig n   o f   Hier ar c h ical  F u zz y   L o g ic  S y s te m   th a t   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8938   IJ - A I   Vo l.  8 ,   No .   3 Sep tem b er   201 9 :   2 4 4     2 5 1   246   in cl u d es  4   Fu zz y   L o g ic  C o n t r o ller   ( FL C ) ,   w h ich   ea c h   F L C   h a s   p r o ce s s es  s u c h   as  F u z z ifica tio n I n feren ce an d   Defu z z if ica tio n   to   p r o d u ce   th eir   o w n   o u tp u t.  4   FLC  h av th eir   o w n   in p u co n s i s o f   On to lo g y   B M2 5   Sco r e,   Fab r icatio n   R ate,   Sh ia   R ate  an d   P o s itiv R ate  o f   h ad ith   d o cu m e n t,  an d   la s tl y   to   in clu d t h E x p er t   J u d g m e n t   Z - N u m b er s   as  a   n e w   ad d itio n al  r an k i n g   i n d icato r .   T h E v alu atio n   p r o ce s s   h as  b ee n   d o n b y   ca lcu lati n g   th ev a lu at io n   m e tr ic  s u ch   a s   P @ 1 0 ,   %n o   m e asu r es  a n d   MA P ,   an d   co m p ar in g   t h r esu l ts   o f   F B MIR   w it h   B M2 5   o r ig in al  s c o r an d   V ec to r   Mo d el  s co r e.     2 . 2 .   T he  s y s t e m   T h s y s te m   i s   d esi g n ed   b ased   o n   t h e   in teg r atio n   o f   t h r e s e ar ch er s   t w o   p r ev io u s   w o r k s   w h ic h   ar e,   Do m ain   s p ec i f ic  co n ce p o n to lo g ies   a n d   tex s u m m ar izat io n   as  h ier ar c h ical  f u zz y   lo g ic  r an k i n g   i n d icato r   o n   Ma la y   tex t   co r p u s   in   [ 2 ] ,   an d   P o s itiv R ate  o f   Had it h   in   [ 2 1 ] ,   w i th   th e   n e w   ad d itio n a E x p er J u d g m e n t   w it h   Z - N u m b er s   th at   w ill   b th e   m ain   co n tr ib u tio n   i n   t h is   ar ticle .   T h d etails  o f   t h d esi g n   o f   t h is   r esear ch   w ill  b ex p lain ed   as  f o llo w s .     2 . 2 . 1 .   Da t a   co llect io n   T h s y s te m   b a s icall y   u s es   th e   d ata  o f   Ma la y   T r an s lated   Ha d ith   co r p u s   t h at  co n s i s ts   o f   2 0 2 6   Sah ih   B u k h ar tex d o cu m en t s ,   1 6 0   Fab r icate d   h ad ith s   te x d o cu m en f r o m   b o o k   o f   A l - Ma n ar   al - M u n i f   Fi  al - Sa h i h   wa - al - D h o if   b y   I b n   Qa y y i m   al - J a w z i y a h ,   1 , 2 7 0   Sh ia   Had i th s   f r o m   t h Ki th ab   Us u a n d   R au d a h   o f   Kitab   Al - K h a f i,  a n d   1 7 2 8   d o cu m e n ts   f r o m   Ki th ab   Al - Fiq h   A l - Ma n h aj Ma z h ab   A l - S y a f ie  b y   Dr   Z u l k if li  b i n   Mo h a m ad   al - B ak r i,  an d   also   t h h ad it h   d o cu m e n t s   f r o m   th ex p er t’ s   r ele v an t j u d g m e n t.       2 . 2 . 2 .   M o del f o m o difica t io n   a .     Ra nk ing   f un ct io n   T h s y s te m   w i ll   u s t h e x is ti n g   m e th o d   o f   r an k i n g   f u n ctio n   f r o m   t h r esear c h er s   p r ev io u s   w o r k s   i n   [ 2 ] ,   s u ch   a s   O n to lo g y   Sco r o f   B M2 5 ,   th at  ac t s   a s   t h f ir s in p u o f   r an k i n g   s c o r in   Hier ar ch ica l   Fu zz y   L o g ic  S y s te m ,   t h at  ex p lain   in   Sec tio n   b .   T h f o r m u la  o f   t h ca lc u la tio n   o f   t h On to lo g y   Sco r o f   B M2 5 ,   D   w ill b as:     W h ile  Q   i s   th Qu er y   th at  co n s is t th k e y w o r d s   o f   q 1   u n til q n      ( , ) =  ( ) . ( ( , ) . ( 1 + 1 ) ( , ) + 1 . ( 1 = . | |  ) ) = 1   ( 1 )     On to lo g y   B M2 5   Sco r ) ) , ( ( ) , ( Q D s c o r e O N T Q D s c o r e   ( 2 )     W h er e,   ON T ( s co r ( D,   Q) )   i s   an   A cc u mu la ted   o f O n to lo g S co r o f D o cu men ts   fo r   g iven   q u ery.     b.    H iera rc hica l f uzzy   lo g ic  s y s t e m   On ad v an tag o f   Hier ar c h ica Fu zz y   L o g ic  S y s te m   i s   its   ca p ab ilit y   to   d ec r ea s th am o u n o f   f u zz y   r u les  i n   th e   co m p lete  s y s te m ,   b y   s ep ar atin g   th e   in p u i n   d i f f er e n Fu zz y   L o g ic  C o n tr o ller   ( F L C ) ,   t h i s   ap p r o ac h   also   w il d ec r ea s th co m p u tat io n al  ti m an d   en s u r i n g   t h s y s te m s   r o b u s t n es s   an d   its   ef f icie n c y ,   m o r eo v er   p r o v en   to   ca p t u r e   an d   m an ip u late  t h e x p er k n o w led g a n d   in p u [ 2 2 ] .   I n   t h is   ar t icle,   th e   r esear ch er s   o n ce   ag ai n   u s t h d esig n   o f   Hier ar ch ical  Fu zz y   L o g ic  S y s te m ,   w h ic h   h as   b ee n   d o n in   th r esear ch er s   p r ev io u s   w o r k   i n   [ 2 ,   2 1 ] .   I n   [ 2 ] ,   th r esear ch er s   h a v e   ex p lai n ed   t h o p er atio n   F L C 1   a n d   F L C 2 ,   w h ic h   is   i n   t h F u zz y   L o g ic  C o n tr o ller   ( FLC1 )   o f   Ma m d a n Me t h o d ,   co n s is o f   t w o   in p u ts   s u c h   as  s u c h   a s   On to lo g y   B M2 5   Sco r an d   F ab r icatio n   R ate.   Fo r   t h F L C 2 ,   it  co n s is t s   o f   t w o   in p u ts   s u ch   as  t h o u tp u o f   FLC1   an d   Sh ia  R ate.   I n   [ 2 1 ] ,   th r esear ch er s   h av e x p lain e d   th co n tin u o u s   d esig n   b y   ad d in g   t h n e w   F L C 3 ,   w h ic h   co n s is ts   o f   t w o   i n p u ts   s u ch   as  th e   o u tp u o f   F L C 2   an d   P o s iti v R ate  o f   Had it h .   I n   t h i s   ar ticle,   th e   r esear ch er s   h av ad d ed   n e w   FLC4 ,   th at   r u n   a f ter   F L C 3   p r o ce s s   t h at  also   co n s i s ts   o f   t w o   in p u t s ,   s u c h   as  th e   o u tp u o f   F L C 3   a n d   E x p er J u d g m en Z - Nu m b er s ,   an d   y ie ld s   th o u tp u a s   th Fi n al  R a n k i n g   Sco r o f   t h e   d o cu m en t s h o w n   i n   Fi g u r 2 .       Evaluation Warning : The document was created with Spire.PDF for Python.
IJ - AI     I SS N:  2252 - 8938       E xp ert ju d g men t Z - N u mb ers   a s   a   r a n kin g   in d ica to r   fo r … ( S h a ifu l B a kh tia r   b in   R o d z ma n )   247       Fig u r 2 .   Hier ar ch ical  Fu zz y   L o g ic  C o n tr o ller   o f   F B MIR       Fu zz y   L o g ic  h as  ca p ab ilit y   t o   b u s ed   in   an y   r etr ie v al  m o d el  th at  p o s s e s s e s   its   o w n   r u le  b ased   an d   allo w s   th d escr ip tio n   o f   th ex p er tis in   m o r in t u iti v an d   m o r h u m a n - lik m an n er ,   esp ec iall y   f o r   f u zz y   in f er en ce   tec h n iq u o f   Ma m d an m et h o d ,   w h ic h   t h r esear c h er s   u s in   th i s   r esear c h .   I n   t h is   r esear ch ,   in   e v er y   FLC  t h at  i s   m en t io n ed   i n   t h is   s ec tio n ,   i n v o lv es   th e   F u zz y   P r o ce s s in g ,   t h at  i n cl u d es p r o ce s s es o f   F u z z ifica tio n ,   I n feren ce   an d   Defu z z ifica tio n   to   p r o d u ce   th e   r esu lt,  w e   c an   s ee   t h e x a m p le s   o f   t h ap p licatio n   o f   th i s   m et h o d   in   [ 2 3 - 2 5 ] .     F u z z ifica tio n :   T h p r o ce s s   o f   d ef in i n g   th d eg r ee   o f   m e m b e r s h ip   o f   cr is p   v alu f o r   ea ch   f u zz y   s et  an d   th m a th e m atica m ea n in g   o f   t h lin g u is t ic  v ar iab les.  I n   t h is   ar ticle,   th r esear ch er s   ex p lai n   th lin g u is t ic   v ar iab les  as  s h o w s   i n   T ab le   1   an d   T ab le  2 ,   f o r m u lat io n   an d   ca lcu la tio n   o f   n e w   E x p er J u d g m e n t   Z - n u m b er s   r esp ec ti v el y   th a will  b u s ed   i n   FLC4 .   T h d etails  o f   t h l in g u is tic   v ar iab les,  t h f o r m u latio n   an d   th ca lcu la tio n   o f   F L C 1 ,   FL C 2 ,   a n d   F L C 3   w h ic h   ca n   b s ee n   i n   t h r esear ch er s   p r ev io u s   w o r k s   in   [ 2 ,   2 1 ] .   I n   FLC4 ,   th e   m o d el  u s e s   o n i n p u w h ic h   i s   th E x p er J u d g m e n Z - N u m b er s   an d   f o u r - o u tp u v al u es o f   th Fin a l Sco r R an k i n g   w h ic h   co n s is t s   o f   t h r ee   tr ian g u lar   m e m b er s h ip   f u n ctio n s .   I t a ls o   in cl u d es  L i n g u i s tic  v ar iab le  co n s is ts   o f   F in al   R a n k i n g   S co r e,   an d   an   at tr ib u te  o f   E x p er J u d g m e n t   Z - N u m b er s ,   Fo u r - o u tp u t   v ar i ab les  an d   ei g h in p u v ar iab le s   ar id en ti f ied   a n d   ev al u ated   b y   th e   d o m ai n   ex p er t a lo n g   w i th ,   t h v ar iab le s   an d   r an g o f   p o s s ib le  v al u e.     I n feren ce :   T h p r o ce s s   o f   f o r m u lati n g   th e   m ap p i n g   f r o m   a   g i v en   i n p u to   a n   o u tp u t   u s i n g   f u zz y   lo g ic,   r ig h a f ter   t h F u zz i f icatio n   p r o ce s s .   T h m ap p i n g   t h e n   p r o v id es  b asis   f r o m   w h ic h   d ec is io n s   ca n   b e   m ad an d   g i v o u t t h v a lu f o r   th v ar iab le  o f   th f u zz y   s e t .     D efu z z ifica tio n T h v al u f r o m   t h Fu zz y   I n f er e n ce   r esu lts   w il b th i n p u f o r   Def u zz i f i ca tio n   p r o ce s s .   Def u zz if icatio n   i s   th p r o ce s s   o f   o b tain i n g   s i n g l n u m b er   ( o u tp u t)   f r o m   t h ca lcu la tio n   o f   t h a g g r e g ated   f u zz y   s et.   I n   t h i s   r esear c h ,   t h r esear ch e r s   w i ll  u s e   t h ce n ter   o f   ar ea   ( C O A )   Def u zz if icatio n   m et h o d .   T h C O A   m eth o d   b asicall y ,   r etu r n s   t h v al u o f   t h ce n ter   o f   ar ea   u n d er   th e   cu r v e,   as it s   m e th o d   is   to   p r o d u ce   th ca lc u latio n   o f   f in a l sco r o f   th r an k in g   f u n ctio n .     R u les :   Fu zz y   r u le s   ar u s ed   w ith i n   f u zz y   lo g ic  s y s te m s   to   in f er   an   o u tp u b ased   o n   in p u v ar iab les  an d   it  is   i m p o r tan as  s tar t in g   p o in o f   th F u zz y   P r o ce s s in g .   I n   th is   r esear c h ,   th r u le s   ar p r o d u ce d   b y   th e   ex tr ac tio n   p r o ce s s   o f   t h ex p e r ts   k n o w led g b y   th e x p er ts   w h ic h   ap p lie s   t h Ma m d a n T y p R u les   o f   Fu zz y   L o g ic.   T h is   ta k e s   t w o   a ttrib u tes   f o r   ea c h   Fu zz y   L o g ic   C o n tr o ller   o f   F L C 4   s u c h   a s ,   o u tp u t   o f   F L C 3   an d   E x p er t J u d g m e n t Sco r in   T a b le  3 .       T ab le  1 .   I n p u t lin g u i s tic  v ar ia b le   L i n g u i st i c   v a r i a b l e   V a l u e   R a n g e   O u t p u t   o f   F L C 3   Z e r o   [ 0 ,   0 ,   4 0 ]     L o w   [ 2 0 ,   4 0 ,   6 0 ]     H ig h   [ 4 0 ,   6 0 ,   8 0 ]     V e r y  H i g h   [ 6 0 ,   1 0 0 ,   1 0 0 ]   Ex p e r t   Ju d g me n t   S c o r e   ( ̃ , ̃ )   L o w   [ 0 ,   0 ,   4 0 ]     M e d i u m   [ 2 0 ,   4 0 ,   6 0 ]     H i g h   [ 4 0 ,   6 0 ,   8 0 ]     V e r y   H i g h   [ 6 0 ,   1 0 0 ,   1 0 0 ]       T ab le  2 .   Ou tp u t lin g u is tic  v ar i ab le   L i n g u i st i c   v a r i a b l e   V a l u e   R a n g e   F i n a l   R a n k i n g   S c o r e   Z e r o   [ 0 ,   0 ,   4 0 . 0 0 ]     L o w   [ 2 0 ,   4 0 ,   6 0 ]     H ig h   [ 4 0 ,   6 0 ,   8 0 ]     V e r y  H i g h   [ 6 0 ,   1 0 0 ,   1 0 0 ]       Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8938   IJ - A I   Vo l.  8 ,   No .   3 Sep tem b er   201 9 :   2 4 4     2 5 1   248   T ab le  3 .   R u les o f   F L C 4   C a se   R u l e s   F i n a l   R a n k i n g   S c o r e   1   i f   Ex p e r t   =   V H   &   F L C 3   =   L   H i g h   2   i f   Ex p e r t   =   V H   &   F L C 3 =   M   V e r y   H i g h   3   i f   Ex p e r t   =   V H   &   F L C 3 =   H   V e r y   H i g h   4   i f   Ex p e r t   =   V H   &   F L C 3 =   V H   V e r y   H i g h   5   I f   Ex p e r t   =   H   &   F L C 3   =   L   L o w   6   I f   Ex p e r t   =   H   &   F L C 3   =   M   H i g h   7   I f   Ex p e r t   =   H   &   F L C 3   =   H   H i g h   8   I f   Ex p e r t   =   H   &   F L C 3   =   V H   V e r y   H i g h   9   i f   Ex p e r t   =   M   &   F L C 3 =   L   L o w   10   i f   Ex p e r t   =   M   &   F L C 3 =   M   L o w   11   i f   Ex p e r t   =   M   &   F L C 3   =   H   L o w   12   i f   Ex p e r t = M   &   F L C 3 =   V H   H i g h   13   i f   Ex p e r t =   L   &   F L C 3 =   L   Z e r o   14   i f   Ex p e r t =   L   &   F L C 3 =   M   L o w   15   i f   Ex p e r t =   L   &   F L C 3 =   H   L o w   16   i f   Ex p e r t =   L   &   F L C 3 =   V H   H i g h       2 . 3 .   P r o po s ed  Ca lcula t io n o f   Z - Nu m b er s   I n   t h is   ar ticle,   t h e   r esear ch er s   in v e s ti g ate  th r ee   f ac to r s   w h ic h   m a y   co r r elate   i n   t h e   i m p le m en tatio n   o f   th is   E x p er J u d g m e n Z - N u m b er s   as  Fu zz y   L o g ic  R a n k i n g   I n d icato r   s u ch   as:  ex p er t s’   r el ev an ce   j u d g m en t   o r   s co r e ,   th e x p er t s’   co n f id en ce   an d   t h le v el  o f   e x p er ti s e.   F o llo w i n g   th is ,   w e   r ep r esen th t w o   f ac to r s   i n   Z   n u m b er s   Z ( A ,   B ) .   T ab le  4   s h o w n   t h r s co m p o n en A ,   a   r estrictio n   o n   th v al u e s ,   is   a   r ea l - v al u ed   u n ce r tai n   v ar iab le  o r   in   th is   ca se   th r esear ch er s   tak t h s co r o n   r elev an ce   j u d g m e n t   f r o m   0 . 1   ti ll  1 . 0 .   T ab le   5   s h o w n   t h s ec o n d   co m p o n en B   is   m ea s u r o f   r eliab ilit y   o f t h r s co m p o n e n t   o r   in   th is   s tu d y   we   tak th co n f id e n ce   o f   th eir   j u d g m e n t,  w h ic h   i n   m et h o d o lo g y   a s   th r esear c h er s   tak t h s ca le  an d   ap p r o ac h   by   [ 5 ] .   T h is   n u m b er   w ill  b co n v er t ed   in to   th cr is p   n u m b er   b y   u s i n g   th d ef u zz i f icati o n   ap p r o ac h   th at  is   s u g g e s ted   by   [ 9 ] :   Step   1 Dete r m in e   t h w ei g h t s   o f   ev al u atio n   cr iter ia.   T h w eig h o f   ev alu at io n   cr i te r i a r e   em p lo y ed   as  s am v alu e,   0 . 2   f o r   ea ch   c r it er io n ,   w ith   m ax i m u m   is   1 .   Step   2 C o n s tr u ct  th f u zz y   d e cisi o n   m atr ix   f o r   alter n ati v es   ev alu a tio n .       T ab le  4 .   L in g u i s tic  T er m s   an d   T h eir   C o r r esp o n d in g   Gen er al is ed   Fu zz y   Nu m b er s   [ 9 ]   L i n g u i st i c   t e r ms   G e n e r a l i se d   f u z z y   n u mb e r s   A b so l u t e l y - l o w   ( A L )   ( 0 . 0 ,   0 . 0 ,   0 . 0 ,   0 . 0 ;   1 )   V e r y - l o w   ( V L )   ( 0 . 0 , 0 . 0 ,   0 . 0 2 ,   0 . 0 7 ; 1 )   L o w   ( L )   ( 0 . 0 4 ,   0 . 1 0 ,   0 . 1 8 ,   0 . 2 3 ;   1 )   F a i r l y - l o w   ( F L )   ( 0 . 1 7 ,   0 . 2 2 ,   0 . 3 6 ,   0 . 4 2 ;   1 )   M e d i u m ( M )   ( 0 . 3 2 ,   0 . 4 1 ,   0 . 5 8 ,   0 . 6 ;   1 )   F a i r l y - h i g h   ( F H )   ( 0 . 5 8 ,   0 . 6 3 ,   0 . 8 0 ,   0 . 8 6 ;   1 )   H i g h   ( H )   ( 0 . 7 2 ,   0 . 7 8 ,   0 . 9 2 ,   0 . 9 7 ;   1 )   V e r y - h i g h   ( V H )   ( 0 . 9 3 ,   0 . 9 8 ,   1 . 0 ,   1 . 0 ;   1 )   A b so l u t e l y - h i g h   ( A H )   ( 1 . 0 ,   1 . 0 ,   1 . 0 ,   1 . 0 ;   1 )       T ab le  5 .   R eliab ilit y   L in g u is t ic   T e r m s   an d   T h eir   C o r r esp o n d in g   Z - N u m b er s   [ 5 ] .   L i n g u i st i c   t e r ms   G e n e r a l i se d   f u z z y   n u mb e r s   V e r y - l o w   ( V L )   ( 0 , 0 , 0 , 0 . 2 5 ; 1 )   L o w   ( L )   ( 0 , 2 5 , 0 . 2 5 , 0 . 5 ; 1 )   M e d i u m ( M )   ( 0 . 2 5 , 0 . 5 , 0 . 5 , 0 . 7 5 ; 1 )   H i g h   ( H )   ( 0 . 5 , 0 . 7 5 , 0 . 7 5 , 1 ; 1 )   V e r y - h i g h   ( V H )   ( 0 . 7 5 , 1 , 1 , 1 ; 1 )       Step   3 : Co n v er t t h z - n u m b er s   in to   r eg u lar   f u zz y   n u m b er s .   T h f u zz y   d ec i s io n   m atr ices o f   p r ef er en ce s   o f   z - n u m b er s   ar e   co n v er ted   an d   ag g r eg ated   u s i n g   m ai n   ( 3 )   an d   m u ltip les eq u a tio n   a n d   th eo r em   th a t s u g g ested   b y   [ 9 ] ,   th at  c an   b co m p u ted   as     18 7 , 18 ) ( 7 ) ( 2 ) ~ , ~ ( ~ 3 2 4 1 ~ ~ A A A h a a a a y x I V C   ( 3 )     Evaluation Warning : The document was created with Spire.PDF for Python.
IJ - AI     I SS N:  2252 - 8938       E xp ert ju d g men t Z - N u mb ers   a s   a   r a n kin g   in d ica to r   fo r … ( S h a ifu l B a kh tia r   b in   R o d z ma n )   249   w h er e   x ~ : th ce n tr o id   p o in t o n   t h h o r i zo n tal  x - a x is   y ~ : th ce n tr o id   p o in t o n   t h v er t ical  y - a x is   ) ~ , ~ ( y x : th ce n tr o id   co o r d in ate  o f   f u zz y   n u m b er A ~     Step   4 Z - n u m b er s   i s   a v er ag e d   an d   n o r m al ized   as  n e w   v al u o f   E x p er J u d g m e n Sco r f o r   p ar ticu lar   d o cu m en t.   I n   ap p ea r an ce   w it h   m a n y   e x p er tis e,   t h s y s te m   w i ll  ca l cu late  t h v al u o f   t h a v er ag o f   Z - n u m b er s ,   ac co r d in g   to   th eir   lev el  o f   ex p er tis e   s u ch   as  ( P h D,   Ma s ter ,   Deg r ee   an d   User ) ,   as  th f in al  Z - n u m b er s .   Fo r   ca lcu latio n   o f   th e   r an k in g   o f   th ce r tai n   d o cu m en t s ,   t h s y s te m   w ill   u ti lis th e   v al u o f   th h i g h er   le v el  o f   ex p er tis Z - n u m b er s ,   to   r ep r esen t   th e   r elev a n ce   j u d g m e n t   o f   a   p ar tic u lar   d o cu m en t .   F o r   ex a m p le,   i f   t h e   av er ag o f   Z - n u m b er s   o f   P h av ai lab le,   th e   s y s te m   w ill   u s th i s   v al u i n s tead   o f   a n o t h er   ca te g o r y .   I f   t h v alu e   f r o m   P h D   is   n o a v ailab le,   th s y s te m   w i ll  u s th e   v al u f r o m   t h Ma s ter   a n d   s o   o n .   T h p r io r ity   o f   t h i s   s elec tio n   i s   d eter m i n ed   b y   t h e   ex p er ts   o f   h ad it h s   t h at  ar p er tain i n g   to   Ma la y s ia n   s ce n ar i o .   T h ca lcu latio n   o f   av er ag o f   Z - n u m b er s   t h en   w il l b u s ed   as a n   i n p u t f o r   F u z z Lo g ic  C o n tr o ller   4   o r   F LC 4 .   Step   5 : E x p er t J u d g m e n t Sco r w ill b an   i n p u t f o r   Fu zz y   L o g ic  C o n tr o ller   4   o r   FL C 4 .   T h Z - n u m b er   is   t h en   i n v o lv e d   in   Fu zz y   P r o ce s s in g   in   F L C 4 ,   to   y ield   th r es u lt a s   th r es ea r ch er s   m e n tio n ed   in   p r ev io u s   s ec tio n .       3.   RE SU L T A ND  D I SCU SS I O N   I n   th i s   r esear ch ,   eig h e x p er ts   f r o m   f o u r   ca teg o r ies  ( P h D,   Ma s ter ,   Deg r ee   an d   User ) ,   w h ich   m ea n s ,   t w o   e x p er ts   f r o m   ea c h   ca te g o r y ,   ar i n v o lv e d   i n   t h is   r e s ea r ch   to   j u d g t h h ad ith   d o cu m en ts   o n   ei g h t   to p ics,   w h ic h   co n s i s o f   th to tal  o f   3 0   q u er ies,  w i th   av er a g th r e q u er ies  f o r   ea ch   to p ic  [ 2 ] .   T h r elev an ce   o f   th d o cu m en ts ,   p o s s ib le  r an g o f   Fu zz y   L o g ic  C o n tr o ller ,   p r io r it y   s elec tio n   o f   Z - num b er s   v a lu th a h a v b ee n   u s ed   i n   th is   r esear c h   w er d eter m i n ed   an d   ex a m i n ed   b y   t w o   e x p er ts ,   Dr   A h m ad   Y u n u s   Mo h d   No o r   f r o m   Un i v er s iti   Keb an g s aa n   Ma la y s ia  a n d   Dr   Z u l h il m i   b in   Mo h a m ed   No r   f r o m   U n i v er s iti  Sai n s   I s la m   Ma la y s ia.   T h E v alu a tio n   p r o ce s s   h as   b ee n   d o n e   b y   th e   ca lc u latio n   o f   t h e v al u atio n   m etr ic  s u c h   a s   P @ 1 0   ( P r ec is io n   at   R an k   1 0 ) ,   %n o   m ea s u r es  ( th p er ce n tag o f   t h q u er y   w i th   n o   r elev an d o cu m e n i n   th to p   ten   r etr iev ed )   an d   MA P   ( Me an   A v er a g P r ec is io n ) ,   an d   th co m ap r is o   b et w ee n   th r es u lt s   o f   F B MIR   w i th   B M2 5   o r ig in al  s co r e   an d   V ec to r   Mo d el  s co r e.   T h r esu lt s   ar s h o w n   i n   th T ab le  6   as f o llo w s .       T ab le  6 .   R esu lts   o f   E x p er i m e n t   N o .   TO P I C   FBM I P @ 10     BM 2 5   P @ 10   Ve c t o r   P @ 10   FBM I % no   BM 2 5   %n o   V e c t o r   %n o   FBM I R   M A P   BM 2 5   M AP   V e c t o r   M A P   1   Ma k a n a n   1 . 0   0 . 8   0 . 4 6 6   0   20   5 3 . 4   1 . 0   0 . 8 2   0 . 5 0 2   2   Ad a b   0 . 8 7 5   1   0 . 7 5   1 2 . 5   0   25   0 . 8 9   1   0 . 7 1 5   3   S o l a t   0 . 9   0 . 4 7 6   0 . 5 8   10   5 2 . 4   42   0 . 8 7 6 5   0 . 4 8 6   0 . 5 8 4   4   I m a n   1 . 0   0 . 4 6 6   0 . 4 4 4   0   5 3 . 4   5 5 . 6   1 . 0   0 . 4 6 3   0 . 5 6 5   5   Be rsu c i   0 . 9 5   0 . 9 3 7   0 . 5 1 3   5   6 . 3   4 8 . 7   0 . 9 5 2   0 . 9 6 8   0 . 5 3 4   6   I b a d a h   0 . 9 4 7   0 . 3 5   0 . 5 4 1   5 . 3   65   4 5 . 9   0 . 9 5 5 7   0 . 7 2 5   0 . 5 7 7   7   S i r a h   1   0 . 7 3 3   0 . 7 3 3   0   2 6 . 7   2 6 . 7   1   0 . 9 6 4   0 . 9 0 5   8   U m u m   0 . 8 9 8 0   0 . 3 3 3   0 . 3 5 3   1 0 . 2   6 6 . 7   7 4 . 7   0 . 8 5 9 6   0 . 3 2 4   0 . 3 8 2       B ased   o n   T ab le  6 ,   in   ter m   o f   T o p ics  o f   th q u er y ,   t h p r o p o s ed   s y s te m ,   w it h   t h ad d iti o n al  n e in d icato r   o f   E x p er J u d g m e n Z - N u m b er s ,   h a s   b etter   r esu lt   o n   s ev en   to p ic  s ets  s u c h   as  “M ak an a n ”, S o la t”,   “Im a n ”,”Be r s u ci”,“I b a d a h ”,   S i r a h   an d   U mu m”  o n   t h P @ 1 0   a n d   % n o   m ea s u r e s Fo r   M A P   alo n e,   F B MIR   h as  b etter   r esu lt   o n   s ix   to p ic  s ets  o f   q u er y   r esu lts   s u c h   as  Ma k a n a n ”,   S o la t”,  “Im a n ”,  “Ib a d a h ”,   S ir a h   a n d   Umu m”   o n   th e   P @ 1 0   an d   % n o   m ea s u r es B M2 5   o r ig in al  s co r o n l y   h as   b etter   r esu lt   o n   o n to p ic  s et  o f   A d a b   w h er ea s   MAP   a lo n e   h as b etter   r esu lt in   t w o   to p ic  s ets o f   A d a b ”a n d   “Be r s u ci”.   I n   ter m   o f   t h o v er all  q u er ie s ,   th p r o p o s ed   s y s te m ,   w it h   th ad d itio n al  n e w   i n d icato r   o f   E x p er J u d g m e n Z - N u m b er s ,   m a y   b r in g   t h i m p r o v e m e n to   th o r ig i n al  B M2 5   r an k in g   f u n ctio n ,   b y   y ield i n g   b etter   r esu lt s   o n   2 6   q u er ie s ,   o n   all   ev alu a tio n   m etr ics  th at  ar m ea s u r ed   in   t h i s   r esear ch   s u ch   as  P @ 1 0 ,   %n o   m ea s u r es  an d   M A P ,   an d   h as  ac h iev ed   th b etter   r esu lt s   in   2 8   q u er ies  o n   P @ 1 0   alo n e,   co m p ar ed   to   th B M2 5   o r ig in al   s co r e,   t h at  o n l y   y ield   b etter   r es u lt  i n   t w o   q u er ie s   o f   all   ev a lu atio n   m etr ic s   a n d   f o u r   q u er ies  o n   t h e   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8938   IJ - A I   Vo l.  8 ,   No .   3 Sep tem b er   201 9 :   2 4 4     2 5 1   250   MA P   alo n e.   I n   th i s   r esear ch ,   Vec to r   Sp ac Mo d el  h as  n o o u tp er f o r m ed   FB MI R   a n d   B M2 5   Or ig in al  Sco r i n   an y   q u er ies.   W it h   th ap p licat io n   o f   O n to lo g y   B M2 5   Sco r e,   Fab r icatio n   R ate,   Sh ia  R ate ,   P o s itiv o f   F L C 1 ,   FLC2   a n d   F L C 3   th a t h r ese ar ch er s   r ep o r ted   in   [ 2 1 ] ,   th e   p r o p o s ed   s y s te m   h as   b etter   r esu lt   o n   f i v to p ics   an d   2 6   q u er ies.  W ith   th ad d i tio n al  o f   t h E x p er J u d g m e n t   w it h   Z - Nu m b er s   i n   t h is   r esea r ch ,   th r es u lts   ar e   i m p r o v ed   w h en   t h p r o p o s ed   s y s te m   y ie ld s   b etter   r esu lts   o n   s ev e n   to p ics  an d   2 6   q u er ies  co m p ar ed   to   th o th er   m o d el.   On i m p o r ta n t   f i n d in g   f r o m   t h i s   ex p er i m e n i s   t h at  t h r es u lts   w ill  b d if f er en i f   t h Hier ar ch ical  F u zz y   L o g ic  ar r u n   w it h   d if f er en o r d er .   Fo r   ex a m p le,   t h r esu l ts   ar g e ttin g   w o r s i f   th e   P o s itiv R ate  is   tak e n   as  an   in p u in   F L C 1   an d   th Fab r icate d   an d   Sh ia  r ate  in   FL C 2   an d   FLC3 ,   co m p ar ed   to   th o r d er   th at  th r esear ch er s   s u g g es in   s ec t io n   2 . 2 .   Mo r eo v er ,   th r esu lts   o r   th r an k in g   li s th at  ar r etr iev ed   af ter   F L C 3 ,   w ill  m ak t h ex p er ts   ea s ier   to   j u d g e,   b ec au s th r an k in g   lis o f   h ad it h   ar o p ti m ized   ea r lier   an d   w il m a k m o s r elev a n ce   d o cu m e n t s   ar alr ea d y   i n   t h to p   o f   th li s t,  d u to   th p r o ce s s i n g   o f   F L C 1 ,   F L C 2   an d   F L C 3 .   Fo r   f u tu r w o r k s ,   t h r esear ch er s   w a n to   ap p l y   t h d if f er e n lo g ic  o r   ca lcu latio n   to   m a n ip u la te  th e   all  v al u f r o m   d if f er e n ca teg o r ies  o f   ex p er j u d g m e n t,  i n s tead   o f   u s i n g   th v al u o f   h i g h er   ca te g o r ies  o f   ex p er t th at  t h r esear ch er s   h av d o n in   th i s   p ar ticu lar   r esear ch .       4.   CO NCLU SI O N   T h is   ar ticles  p r ese n ted   t h i m p le m en ta tio n   o f   E x p er J u d g m en Z - Nu m b er s   a s   R a n k i n g   I n d icato r   f o r   Hier ar ch ical  Fu zz y   L o g ic   S y s te m .   T h r esear ch er s   h a v p r o p o s ed   th d esig n   o f   t h Hier ar ch ical  Fu zz y   L o g ic  S y s te m   w it h   t h ad d it io n al  n e w   in d icato r   s u c h   as  E x p er J u d g m e n Z - N u m b er s   th at  e n h a n ce s   th e   r esu lt s   o f   th r esear ch er s   p r e v io u s   w o r k s   i n   [ 2 ,   2 1 ] .   I n   th is   ar ticle,   th r esear ch er s   i n v e s tig a te  th r ee   f ac to r s   w h ic h   m a y   co r r elate   i n   t h i m p le m e n tat io n   o f   th is   E x p er J u d g m e n Z - N u m b er s   as  F u zz y   L o g ic  R a n k i n g   I n d icato r   s u c h   as : e x p er t r ele v an ce   j u d g m en t,  t h ex p er t c o n f id en ce   a n d   t h le v el  o f   ex p er t is e.   Fo llo w i n g   th i s ,   w r ep r esen t h t w o   f ac to r s   i n   Z   n u m b er s   Z ( A ,   B ) .   T h E x p er J u d g m e n Z - N u m b er s   t h en   w il b an   in p u to   Hier ar ch ical  Fu zz y   L o g ic  S y s te m   o f   Do m a in   Sp ec i f ic  T ex R etr ie v al,   alo n g   w it h   o t h e r   in d icato r s   s u c h   a s   On to lo g y   B M2 5   Sco r e,   Fab r icatio n   R ate,   Sh ia  R ate  an d   P o s itiv R ate  o f   h ad it h   d o cu m en t.  T h r esu lts   s h o w ed ,   t h p r o p o s ed   s y s te m ,   w ith   t h ad d itio n al   n e w   i n d icato r   o f   E x p er J u d g m e n Z - N u m b er s ,   m a y   b r i n g   th i m p r o v e m e n t to   t h o r ig i n al  B M2 5   r an k in g   f u n ctio n ,   b y   y ield   b etter   r esu l t o n   2 6   q u er ies,  o n   all  e v alu a tio n   m etr ic  t h at   m ea s u r in   t h is   r es ea r ch   s u c h   as   P @ 1 0 ,   % n o   m e asu r es   an d   M A P ,   a n d   h as  ac h i ev ed   b etter   r es u lt s   in   2 8   q u er ies  o n   P @ 1 0   alo n e,   co m p ar to   th B M2 5   o r ig in al   s co r e,   th at  o n l y   y ield   b etter   r esu lt  i n   t w o   q u er ies   o f   all  ev al u atio n   m etr ics,  a n d   also   y ield   b etter   r esu l in   f o u r   q u er ies  o n   t h M A P   alo n e.   Fo r   th f u r th er   en h a n ce m en t,  th r esear ch er   w a n to   ap p ly   a n d   p r o p o s n ew   ca lcu latio n   a n d   n e w   lo g ic  t o   m a n ip u la te  th all   v alu f r o m   d if f er en ca te g o r ie s   o f   ex p er j u d g m e n t,  i n s tead   u s t h p r io r ity   o f   v al u o f   h i g h er   ca te g o r ies  o f   ex p er th at  th r esear c h er s   h a v d o n in   th i s   p ar ticu lar   r ese ar ch .   T h r esu lts   s h o w ed   th a E x p er J u d g m e n Z - Nu m b er s   as  Fu zz y   L o g ic  R a n k in g   I n d icato r   o f f er s   p r o m i s in g   m e th o d   to   le v er ag t h cr o w d   i n   co m b i n atio n   of   tr u s ted   j u d g es,  th eir   co n f id en ce   an d   also   th eir   lev el  o f   e x p er tis f o r   ac cu r ate  an d   af f o r d ab le  b u ild in g   o f   I R   test   co llectio n s   an d   m a y   ele v at th p er f o r m a n ce   o f   r an k i n g   Fu n ctio n   f o r   Do m ai n   Sp ec if ic  T ex t Retr iev al.       ACK NO WL E D G E M E NT S   T h is   r esear ch   is   f u n d ed   b y   t h e   Min is tr y   o f   E d u ca tio n   ( MO E )   Ma lay s ia  u n d er   FR GS  R e s e ar ch   Gr an at  Un i v er s iti T ek n o lo g i M A R A ,   S h a h   A la m   ( 6 0 0 - I R MI / FR GS 5 /3   ( 0 2 1 /2 0 1 7 ) ) .       RE F E R E NC E S   [1 ]   M u c a h id   K u tl u ,   e a l. ,   " Cro w d   v s.  Ex p e rt:   W h a Ca n   Re lev a n c e   Ju d g m e n Ra ti o n a les   Tea c h   Us   A b o u A ss e ss o Disa g re e m e n t?,"   in   S IG IR  ’1 8 T h e   4 1 st  In tern a ti o n a A CM   S IG IR  Co n fe re n c e   o n   Re se a rc h   &   De v e lo p m e n in   In f o rm a ti o n   Re tri e v a l,   Ju ly   8 1 2 ,   2 0 1 8 ,   A n n   A rb o r,   M I,   U S A .   A CM ,   Ne w   Yo rk ,   NY ,   USA ,   1 0   p a g e s.   h tt p s:/ /d o i. o rg /1 0 . 1 1 4 5 /3 2 0 9 9 7 8 . 3 2 1 0 0 3 3 .   [2 ]   S h a if u Ba k h ti a b i n   R o d z m a n ,   e a l. ,   " Do m a in   sp e c if ic  c o n c e p o n to lo g ies   a n d   tex su m m a riza ti o n   a h iera rc h ica l   f u z z y   lo g ic  ra n k in g   in d ica to o n   m a la y   t e x c o rp u s,"   In d o n e si a n   J o u rn a o El e c trica En g in e e rin g   a n d   C o mp u ter   S c ien c e ,   v o l.   1 5 ,   n o .   3 ,   S e p tem b e r   2 0 1 9 .     [3 ]   Zad e h   L . A ,   A   n o te o n   Z - n u m b e rs,”  J . In f. S c i ,   v o l.   1 8 1 ,   p p .   2 9 2 3 - 2 9 3 2 ,   2 0 1 1 .   [4 ]   Yu   Ya n g   a n d   Jia n - q ian g   W a n g ,   " S M AA - b a se d   m o d e f o d e c isio n   a id in g   u sin g   re g re th e o ry   in   d isc re te  Z - n u m b e r   c o n tex t, "   Ap p l ied   S o ft   Co mp u ti n g ,   v o l.   6 5 ,   p p .   5 9 0 - 6 0 2 ,   A p ril   2 0 1 8 .   [5 ]   Bin g Yi  Ka n g   a n d   D.  W e i,   Y.  L i.   Y.  De n g ,   De c isio n   m a k in g   u sin g   Z - n u m b e rs  u n d e u n c e rtain   e n v iro n m e n t, "   J o u rn a o Co m p u t a ti o n a I n fo rm a ti o n   S y ste ms ,   v o l. 8 ,   n o . 7 ,   p p .   2 8 0 7 - 2 8 1 4 .   A p ril   2 0 1 2 .   [6 ]   R.   A .   A li e v ,   e a l. ,   " Ra n k in g   o Z - Nu m b e rs  a n d   Its  A p p li c a ti o n   in   De c isio n   M a k in g , "   In ter n a ti o n a J o u rn a o f   In fo rm a t io n   T e c h n o l o g y   &   De c isi o n   M a k i n g ,   v o l.   1 5 ,   n o .   0 6 ,   p p .   1 5 0 3 - 1 5 1 9 ,   2 0 1 6 .   Evaluation Warning : The document was created with Spire.PDF for Python.
IJ - AI     I SS N:  2252 - 8938       E xp ert ju d g men t Z - N u mb ers   a s   a   r a n kin g   in d ica to r   fo r … ( S h a ifu l B a kh tia r   b in   R o d z ma n )   251   [7 ]   L a la  M .   Zein a lo v a ,   e a l. ,   " A   Z - Nu m b e V a lu e d   Re g re ss io n   M o d e a n d   it A p p li c a ti o n ,   I n telli g e n Au t o ma ti o n   &   S o ft   Co mp u ti n g ,   DO I:  1 0 . 1 0 8 0 / 1 0 7 9 8 5 8 7 . 2 0 1 7 . 1 3 2 7 5 5 1 .   [8 ]   Da u d   M o h a m a d ,   e a l. ,   " Ord e rin g   o f   Z - n u m b e rs,"   A IP   Co n f e re n c e   P r o c e e d in g s 1 8 7 0 ,   0 4 0 0 4 9 ,   2 0 1 7 .   [9 ]   K Kh a li f ,   KM  Na im ,   e a l. ,   " H y b r id   f u z z y   M CDM  m o d e f o Z - n u m b e rs u sin g   in tu it iv e   v e c to rial  c e n tro i d ,   J o u rn a l   o In telli g e n &   Fu zz y   S y ste ms ,   2 0 1 7 .   [1 0 ]   A h m a d   S y a f a d h li   A b u   Ba k a r,   e a l. ,   " M u lt i - L a y e r   De c isio n   M e th o d o lo g y   f o Ra n k in g   Z - Nu m b e rs , "   In ter n a ti o n a l   J o u rn a o Co m p u t a ti o n a I n telli g e n c e   S y ste ms ,   v o l.   8 ,   n o .   2 ,   p p ,   3 9 5 - 4 0 6 ,   2 0 1 5 .   [1 1 ]   Ha m e d   A b o u   to ra b ,   e a l. ,   " ZBW M T h e   Z - n u m b e e x ten sio n   o f   B e st  W o rst  M e th o d   a n d   it s a p p li c a ti o n   f o su p p l ier   d e v e lo p m e n t, "   Exp e rt S y ste ms   wit h   Ap p li c a ti o n s ,   v o l.   1 0 7 ,   p p .   1 1 5 - 1 2 5 ,   Oc to b e 2 0 1 8 .   [1 2 ]   Ho n g - g a n g   P e n g   a n d   Jia n - q ian g   Wan g ,   Ou tran k in g   De c isio n - M a k in g   M e th o d   w it h   Z - Nu m b e Co g n it iv e   In f o rm a ti o n "   Co g n it ive   Co m p u t a t io n ,   v o l.   1 0 ,   n o .   5 ,   p p .   7 5 2 7 6 8 ,   Oc to b e 2 0 1 8 .   [1 3 ]   Ra f i k   A li e v   a n d   Ko n u M e m m e d o v a ,   A p p li c a ti o n   o f   Z - Nu m b e Ba se d   M o d e li n g   in   P sy c h o lo g i c a Re se a rc h , "   Co mp u t a ti o n a I n telli g e n c e   a n d   N e u ro sc ien c e ,   v o l.   2 0 1 5 ,   h tt p :/ / d x . d o i. o rg /1 0 . 1 1 5 5 /2 0 1 5 / 7 6 0 4 0 3 .   [1 4 ]   W e n   Jia n g ,   e a l. ,   " S e n so Da ta  F u sio n   w it h   Z - Nu m b e rs  a n d   Its  A p p li c a ti o n   in   F a u lt   Dia g n o sis,"   S e n so rs  2 0 1 6 ,   1 6 ,   1 5 0 9 d o i: 1 0 . 3 3 9 0 /s1 6 0 9 1 5 0 9 .   [1 5 ]   P ra b h a   Ra jag o p a l,   e a l. ,   " Re lev a n c e   Ju d g m e n ts  Ex c lu siv e   o f   Hu m a n   A ss e ss o rs  in   L a rg e   S c a le  In f o rm a ti o n   Re tri e v a Ev a lu a ti o n   Ex p e rim e n ta ti o n , "   M a la y sia n   J o u r n a l   o f   Co m p u ter   S c ien c e ,   v o l.   2 7 ,   n o .   2 ,   p p .   8 0 - 9 4 ,   2 0 1 4 .   [1 6 ]   P a r n ia  S a m i m i   a n d   S ri  De v i   Ra v a n a ,   Cre a ti o n   o f   Re li a b le  Re l e v a n c e   Ju d g m e n ts  in   In f o r m a ti o n   Re tri e v a S y ste m Ev a lu a ti o n   Ex p e rim e n tatio n   t h ro u g h   Cro w d so u rc i n g A   Re v ie w , "   Hin d a wi  P u b l ish i n g   C o rp o r a ti o n   e   S c ien ti fi c   W o rld   J o u r n a l ,   v o l.   2 0 1 4 ,   h tt p :/ /d x . d o i. o rg /1 0 . 1 1 5 5 /2 0 1 4 /1 3 5 6 4 1 .   [1 7 ]   S ri  De v Ra v a n a ,   e a l. ,   " Ra n k in g   re tri e v a s y ste m u sin g   p se u d o   re lev a n c e   ju d g m e n ts,"   A slib   J o u rn a o f   In fo rm a t io n   M a n a g e me n t ,   v o l.   6 7   n o .   6 ,   p p . 7 0 0 - 7 1 4 ,   2 0 1 5   h t tp s:// d o i. o rg / 1 0 . 1 1 0 8 /A JIM - 03 - 2 0 1 5 - 0 0 4 6 .   [1 8 ]   Da v id   E. L o sa d a ,   e a l. ,   " A   ra n k   fu sio n   a p p r o a c h   b a se d   o n   sc o re   d i strib u ti o n s   f o p ri o rit izin g   re lev a n c e   a ss e ss m e n ts   in   i n f o rm a ti o n   re tri e v a e v a lu a ti o n , "   In f o rm a ti o n   F u si o n ,   v o l.   3 9 ,   p p .   5 6 - 7 1 ,   Ja n u a ry   2 0 1 8 .   [1 9 ]   Zi y in g   Ya n g ,   Re l e v a n c e   Ju d g m e n ts:  P re f e re n c e s,  S c o re a n d   T ie s,“   in   P r o c e e d in g   S IG IR  ' 1 7   P ro c e e d in g o f   th e   4 0 t h   I n tern a ti o n a A CM   S IG IR  Co n f e re n c e   o n   Re se a rc h   a n d   De v e lo p m e n in   In f o rm a ti o n   Re tri e v a l,   p p .   1 3 7 3 - 1 3 7 3   S h in ju k u ,   T o k y o ,   Ja p a n - A u g u st 0 7 - 1 1 ,   2 0 1 7 .   [2 0 ]   M a rc o   F e rra n te,  e a l. ,   " M o d e ll i n g   Ra n d o m n e ss   in   Re lev a n c e   Ju d g m e n ts an d   Ev a lu a ti o n   M e a su re s,"   in   A d v a n c e s in   In f o rm a ti o n   Re tri e v a l.   P ro c .   4 0 th   Eu ro p e a n   Co n f e re n c e   o n   IR  Re se a rc h   ECIR,   2 0 1 8 .   [2 1 ]   S .   B.   b i n   Ro d z m a n   e a l. ,   " Ex p e r im e n w it h   Tex S u m m a riz a ti o n   a a   P o siti v e   Hie ra rc h ica F u z z y   L o g ic  Ra n k in g   In d ica to f o Do m a in   S p e c if ic  Re tri e v a o f   M a la y   T r a n sla ted   Ha d it h , "   in   2 0 1 9   IEE 9 t h   S y m p o siu m   o n   Co m p u te r   A p p li c a ti o n s &   In d u str ial  El e c tro n ics   (IS CA IE) ,   M a lay sia ,   2 0 1 9 ,   p p .   2 9 9 - 3 0 4 . d o i 1 0 . 1 1 0 9 /I S CA IE. 2 0 1 9 . 8 7 4 3 9 8 8 .   [2 2 ]   M o h a m a d   D,  e a l. ,   " Hie ra rc h ica F u z z y   L o g i c   Co n tro S y ste m   fo M a lay sia n   M o to T a riff   w it h   Risk   F a c to rs,"   Be rr y   M . ,   Hj.   M o h a m e d   A . ,   Ya p   B.   (e d s)  S o f Co m p u ti n g   in   Da ta  S c ien c e .   S CDS  2 0 1 6 .   Co m m u n ica ti o n i n   Co m p u ter a n d   I n f o rm a ti o n   S c ien c e ,   v o l,   6 5 2 .   S p rin g e r,   S i n g a p o re .   [2 3 ]   A n il   Ku m a T i w a ri,   e a l. ,   " p e rf o rm a n c e   p re d ictio n   a lg o rit h m   b a se d   o n   f u z z y   d a ta  m in in g , "   IAE S   In ter n a ti o n a l   J o u rn a o Arti fi c i a I n telli g e n c e   ( IJ - AI) ,   v o l,   8 ,   n o .   1 ,   M a rc h   2 0 1 9 .   [2 4 ]   F a rz in   P il tan ,   e a l. ,   " Qu a li ty   M o d e a n d   A rti f icia In telli g e n c e   B a se   F u e Ra ti o   M a n a g e m e n w it h   A p p li c a ti o n t o   A u to m o ti v e   En g in e , "   IAE S   In ter n a ti o n a l   J o u r n a l   o f   Arti fi c i a In tell ig e n c e   ( IJ - AI) ,   v o l.   3 ,   n o .   1 ,   M a rc h   2 0 1 4 .   [2 5 ]   T e jal   D.  A p a le,  A ja y   B.   P a ti l. , " Op ti m iza ti o n   stu d y   o f   f u z z y   p a r a m e tri c   u n c e rtain   s y ste m , "   IAE S   In ter n a ti o n a l   J o u rn a o Arti fi c i a I n telli g e n c e   ( IJ - AI) ,   v o l,   8 ,   n o .   1 ,   M a rc h   2 0 1 9 .   Evaluation Warning : The document was created with Spire.PDF for Python.