I AE S In t er na t io na l J o urna l o f   Art if icia l In t ellig ence   ( I J - AI)   Vo l.  8 ,   No .   3 ,  Sep tem b er   201 9 ,   p p .   2 4 4 ~ 2 5 1   I SS N:  2 2 5 2 - 8938 ,   DOI : 1 0 . 1 1 5 9 1 /i j ai. v 8 .i 3 . p p 2 4 4 - 2 5 1          244       J o ur na l ho m ep a g e :  h ttp : //ia e s co r e . co m/o n lin e/in d ex . p h p /I J AI   Ex pert  ju dg m ent  Z - Nu m bers  as  a r a nk ing  in dica tor f o r  hiera rchica l f u zzy lo g ic sy ste m       Sh a if ul B a kh t ia r  bin   Ro dz ma n 1 ,   No r m a ly   K a m a l I s m a il 2 ,   Nura zz a h Abd Ra h m a n 3 ,   S y ed  Ah m a d  Alj un id 4 ,  Z ulh il m i M o ha m e d No r 5 ,   K u  M uh a mm a d Na i m   K u K ha lif 6   1, 2, 3, 4 F a c u lt y   o f   Co m p u ter &   M a th e m a ti c a l  S c ien c e s,  Un iv e rsiti   Tek n o l o g i  M A RA ,   S h a h   A la m ,   M a la y sia   5 F a k u lt i  P e n g a ji a n   Q u ra n   d a n   S u n n a h ,   U n iv e rsiti   S a in s Isla m   M a la y sia ,   Ba n d a r  Ba ru   Nilai ,   M a lay sia   6 F a c u lt y   o f   In d u strial  S c ien c e s a n d   T e c h n o lo g y ,   Un iv e rsiti   M a lay sia   P a h a n g ,   M a lay sia       Art icle  I nfo     AB ST RAC T   A r ticle  his to r y:   R ec eiv ed   A pr   30 ,   2 0 1 9   R ev i s ed   J u l   30 ,   2 0 1 9   A cc ep ted   A u g   2 2 ,   2 0 1 9       In   th is  a rti c le,  th e   re se a rc h e rs  m a i n   c o n tri b u ti o n   is  to   in v e stig a te  th re e   f a c to rs   w h ich   m a y   c o rre late   in   im p lem e n tatio n   o f   Ex p e rt  Ju d g m e n t  Z - N u m b e rs  a s   n e w   F u z z y   L o g ic  Ra n k in g   In d ica to r  su c h   a s:  e x p e rt  re le v a n c e   ju d g m e n t   o r  sc o re ,   th e   e x p e rt  c o n f id e n c e   a n d   t h e   lev e l  o f   e x p e rti se .   T h e   Ex p e rt  Ju d g m e n t   Z - Nu m b e rs  t h e n   w il l  b e   a n   i n p u t   to   th e   Hie ra rc h ica l  F u z z y   L o g ic  S y st e m   o f  Do m a in   S p e c if ic  Tex t  Re tri e v a l,   a lo n g   w it h   o t h e r  i n d ica to r s  su c h   a s   On to l o g y   BM 2 5   S c o re ,   F a b rica t io n   Ra te,  S h ia  Ra te  a n d   P o sit iv e   Ra te  o f   h a d it h   d o c u m e n t.   T h e   re su lt s  sh o w e d ,   th e   p ro p o se d   sy ste m ,   w it h   th e   a d d it i o n a l  n e w   in d ica to r  o f   Ex p e rt  Ju d g m e n t  Z - Nu m b e rs,   m a y   i m p ro v e   th e   o rig in a l  BM 2 5   ra n k in g   f u n c ti o n ,   b y   y ield in g   b e tt e r  re su lt s  o n   2 6   q u e ries ,   o n   a ll   e v a lu a ti o n   m e tri c s  th a t  a r e   m e a su re d   in   th is  re se a r c h   su c h   a s  P @1 0 ,   % n o   m e a su re s  a n d   M A P ,   a n d   h a s  a c h iev e d   b e tt e r  re su lt s  in   2 8   q u e ries   o n   P @ 1 0   a l o n e ,   c o m p a re d   to   th e   B M 2 5   o rig in a l  sc o re ,   th a t  o n ly   y i e ld   b e tt e r   re su lt s  in   2   q u e ries   o n   a ll   e v a lu a ti o n   m e tri c s,  a n d   a lso   y ield   b e tt e r  re su lt s  in   4   q u e ries   o n   t h e   M A P   a lo n e .   T h e   re su lt s  p ro v e d   th a t  t h e   p ro p o se d   sy s tem   h a s  a   c a p a b il it y   to   u ti li z e   th e   e x p e rt  c o n f id e n c e   a n d   th e ir  re lev a n t  ju d g m e n t  th a t  a re   re p re se n ted   in   Z - Nu m b e r,   a s  a n   in d ica to r  to   o p ti m ize   th e   e x isti n g   ra n k in g   f u n c ti o n   sy ste m   a n d   h a s  a   p o ten ti a l  f o r  a   f u rth e r  re se a rc h   to   b e   c o n d u c ted   o n   t h e se   d o m a in s.  F o r  th e   f u tu re   w o rk s,  th e   re se a rc h e rs  w o u ld   li k e   to   e n h a n c e   th is  re se a rc h   b y   in c lu d i n g   a   v a riety   o f   e x p e rt’s  lev e l  c o n f id e n c e   a n d   t h e ir  ju d g m e n t,   a lso   a   n e w   c a lcu latio n   to   re p re se n t  t h e   v a lu e   o f   Z - Nu m b e rs.   K ey w o r d s :   B M2 5   m o d el   Do m ain   s p ec if i c  te x t r etr ie v al   E x p er t j u d g m e n t   Fu zz y   lo g ic   R an k i n g   i n d icato r   Z - N u m b er s   Co p y rig h t  ©   2 0 1 9   In stit u te o f  A d v a n c e d   E n g i n e e rin g   a n d   S c ien c e .    Al l  rig h ts re se rv e d .   C o r r e s p o nd ing   A uth o r :   Sh ai f u l B ak h tiar   b in   R o d z m a n ,   Facu lt y   o f   C o m p u ter   &   Ma t h e m atica l  Sc ien ce s ,   Un i v er s iti T ek n o lo g i M A R A ,   Sh a h   A la m ,   Selan g o r   Dar u l E h s a n ,   Ma la y s ia .   E m ail:  s h ai f u l.b ak h tiar . r o d zm an @ g m ail. co m       1.   I NT RO D UCT I O N   C r o w d s o u r cin g   o f f er s   an   a f f o r d ab le  an d   s ca lab le  m ea n   to   co llect  r elev an ce   j u d g m en ts   f o r   I n f o r m a tio n   R etr iev a l  ( I R )   tes t  co llectio n s .   Ho w e v er ,   cr o w d   ass es s o r s   m a y   s h o w   h i g h er   v ar ian ce   in   j u d g m en t   q u alit y   t h a n   tr u s ted   ass e s s o r s ,   ( th at  th e  r esear c h er s   r ef er r e d   to   in   th is   s t u d y   as   th e  ex p er ts )   [ 1 ].   T h e  ex p lo r atio n   o f   th is   is s u e   h as  b ec o m in g   v ita l,  s in ce   t h e  ex p er t  j u d g m e n t  m a y   h a v e   th e  p o ten tial  to   b e   u tili ze d   i n   b r in g i n g   i m p r o v e m en t  o f   t h e  e x is t in g   r an k in g   f u n ct io n   o f   I n f o r m ati o n   R etr ie v al  ( I R ) .   E s p ec iall y ,   in   t h e  co n te x t  o f   Ma la y   T r an s lated   Had ith   I n f o r m atio n   R e tr iev al   as  o n e  e x a m p le   o f   Do m ai n   Sp ec if ic  T ex t  R e tr iev al ,  t h e y   p o s s ess   e x p er tis e  i n   d eter m i n i n g   th e  r ele v a n ce   o f   h ad ith   in   s p ec if ic  to p ics  a n d   q u er ies  a n d   m o r eo v er   ass e s s in g   t h e  a u t h en t icit y   o f   h ad it h   d o cu m e n ts   [ 2 ] .   I n   t h is   s t u d y ,   th e   r esear ch er s   h y p o t h esize  t h at  th e  cr o w d   j u d g es  m a y   b e  h av e  t h e  r eliab ilit y   to   g i v e  th e  r elev a n t  j u d g m en t  f o r   th e  ce r tain   d o cu m en ts   a n d   q u er ies,  b u t  it   d ep en d   o n   th eir   lev el  o f   co n f id en ce s   an d   also   t h e  ex p er tis e.   T h e  lev el  o f   th e   Evaluation Warning : The document was created with Spire.PDF for Python.
IJ - AI     I SS N:  2252 - 8938       E xp ert ju d g men t Z - N u mb ers   a s   a   r a n kin g   in d ica to r   fo r … ( S h a ifu l B a kh tia r   b in   R o d z ma n )   245   cr o w d   ex p er tis e  an d   also   th ei r   co n f id en ce   m a y   af f ec t  t h e  q u alit y   o f   th eir   j u d g m e n t  an d   b r in g   th e  i m p ac t  to   p er f o r m a n ce   o f   t h e  I R   s y s te m   [ 1 ] ,   if   a n d   o n l y   i f   th e   v a lu e   o f   t h eir   j u d g m e n t  i s   ta k en   as   an   i n d icato r   o f   th e  r an k i n g   f u n ctio n .   T h is   v al u e  o f   r el ev a n ce   j u d g m e n t,  co n f id en ce   an d   t h e  ex p er tis e  ca n   b e   r ep r esen ted   in   o n e   s in g le  v al u e  u s in g   Z - N u m b e r ,   w h ic h   b ec o m e s   t h e  i n p u t   o f   t h e  F u zz y   L o g ic   C o n tr o ll er   to   o p ti m ize  t h e   R an k i n g   Fu n ctio n   o f   Do m ai n   Sp ec if ic  T ex t Retr ie v al.   Z ad eh   et  al.   2 0 1 1 ,   in tr o d u ce d   th e   co n ce p t  o f   Z - n u m b er s   to   d escr ib e  th e  u n ce r tai n   in f o r m a t io n   w h ic h   is   a  m o r e  g e n er alize d   n o tio n .   A   Z - n u m b er   is   an   o r d er ed   p ai r   o f   f u zz y   n u m b er s   ( A ,   B )   [ 3 ] .   Her e ,   A   is   a  v a lu e   o f   s o m e  v ar iab le s   a n d   B   r e p r esen t s   an   id ea   o f   ce r tain t y   o r   o th er   clo s el y   r elate d   c o n ce p t s   s u c h   as  s u r en es s ,   co n f id e n ce ,   r eliab ilit y ,   s tr e n g th   o f   tr u th ,   o r   p r o b a b ilit y   [ 4 ] .   I t  s h o u ld   b e  n o ted   th at  in   ev er y d a y   d ec is io n   m ak in g   m o s t  d ec is io n s   ar e  in   th e  f o r m   o f   Z - n u m b er s .   Var io u s   o f   r e s ea r ch es   w er e   e x a m in ed   in   ap p licatio n   o f   Z - n u m b er s   i n   m a n y   ar ea s   t h a t  in v o lv e  f ac to r s   t h at  ar e  ch ar ac ter ized   b y   n o t  o n l y   f u zz i n e s s ,   b u t  al s o   p ar tial  r eliab ilit y ,   s u ch   a s   [ 4 - 1 2 ] .   T h eir   f o c u s   m ain l y   o n   r esear ch   o f   s i n g le  o r   Mu lti - cr iter i a  d ec is io n - m a k i n g   p r o b lem s   a n d   it s   ap p licatio n   w it h   Z - n u m b er s .   Ot h er   r esear ch es,  b esid es   d ec is io n   m a k i n g   p r o b lem   s u c h   as   i n   [ 1 3 ]   p r o p o s e  th e  ap p licatio n   o f   Z - N u m b er   f o r   m o d eli n g   t h e  ef f ec t o f   P ilates e x er cise   o n   m o tiv atio n ,   a tten tio n ,   an x ie t y ,   a n d   ed u ca tio n a l  ac h iev e m e n t.  I n   [ 1 4 ]   p r o p o s es   Sen s o r   Data   F u s io n   w i th   Z - N u m b er s   a n d   I t s   A p p licatio n   in   Fa u lt  Dia g n o s is   u s i n g   Se n s o r   d ata  f u s io n   t ec h n o lo g y .   A p p licatio n   o f   e x p er t  j u d g m en ts   i n   I n f o r m a tio n   R e tr iev al  ca n   b e  s ee n   i n   th e  w o r k   o f   [ 1 5 - 1 8 ]   w h ich   f o cu s   o n   r esear ch   o f   p s eu d o   r elev a n ce   j u d g m e n ts   o r   ev id e n ce   t h at   w ill   co n tr ib u te   at   th e   en d   p ar t  o f   th e   i n f o r m a tio n   r etr iev al  e v al u atio n .   I n   [ 1 9 ]   p r o p o s es  to   u s e  t h e  P air w is e   P r ef er en ce   tec h n iq u e  to   co llect  r ele v an ce   j u d g m e n ts   f r o m   a   cr o w d s o u r ci n g   p lat f o r m   in   o r d er   to   h av e  a  b etter   u n d er s tan d in g   o f   t h e  u s er s '   p er ce p tio n   o f   r elev a n ce   a n d   to   co lle ct  d ata  w it h   h i g h   f id eli t y .   I n   [ 2 0 ] ,   f o cu s e s   o n   m o d ellin g   r a n d o m n e s s   in   r elev a n ce   j u d g m e n ts   an d   ev alu a tio n   m ea s u r es,  an d   r ec en tl y   i n   2 0 1 8 ,   in   [ 1 ]   s h o w s   th e   p o ten tial  o f   cr o w d   j u d g m e n t s   to   b e  u tili s ed   f o r   r eliab l y   r an k i n g   th e   I R   s y s te m s ,   i n   p u r p o s e  o f   e v al u atio n ,   an d   clo s i n g   t h e  g ap   o f   j u d g e m en t  d is a g r ee m e n t   b et w ee n   ex p er ts   a n d   cr o w d   w o r k er s .       E n d E v a l u a t i o n E V A L U A T I O N F u z z i f i c a t i o n I n f e r e n c e D e f u z z i f i c a t i o n I R   P R O C E S S D A T A S E T S t a r t R u l e   B a s e   & T e x t S u m m a r i z a t i o n &   E x p e r t J u d g m e n t Z - n u m b e r s C a l c u l a t i o n D o c u m e n t   C o l l e c t i o n   ( M a l a y T r a n s l a t e d   H a d i t h ) O u e r v   T e x t T e x t   P r e - P r o c e s s i n g ( M a l a y   S t e m m e r ) I n d e x i n g Q u e r y O p e r a t i o n R e t r i e v a l   a n d   R a n k i n g P r o c e s s F i n a l   R a n k i n g S c o r e   w i t h A d d i t i o n a l O n t o l o g y I n d i c a t o r C o m p u t a t i o n D o c u m e n t   R e t r i e v e d O n t o l o g i e s O n t o l o g y S c o r e C a l c u l a t i o n N o t e : B a s i c   P r o c e s s P r o p o s e d   M e t h o d     Fig u r e  1 .   C o n ce p tu al  Fra m e wo r k   o f   FB MI R       2.   RE S E ARCH   M E T H O D   2 . 1 .     F r a m ew o rk   Fig u r e  1   illu s tr ated   all  co m p o n en ts   i n   t h e  f r a m e w o r k   o f   th e  F u z z y  B M2 5   Ma la y  I n fo r ma tio n   R etri ev a l S ystem   ( F B MIR )   o f   t h is   r esear ch ,   t h at   in c lu d es   th e   b asic o f   p r o ce s s   o f   I n f o r m atio n   R etr iev al   s u c h   as   P r e - P r o ce s s in g ,   Qu ery  Op era tio n   a n d   R etri ev a l  a n d   R a n kin g   P r o ce s s ,   w h ic h   n e w   co n tr ib u tio n s   i n   th i s   r esear ch   ar e  d o n e   in   th i s   p ar ticu lar   p r o ce s s .   I n   th e  s aid   R etr ieva l  a n d   R a n kin g   P r o ce s s ,   th e  r esear ch er s   h a v e   o p tim ized   th e  B M2 5   r an k i n g   f u n ctio n ,   b y   ap p l y i n g   t h e  d esig n   o f   Hier ar c h ical  F u zz y   L o g ic  S y s te m   th a t   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8938   IJ - A I   Vo l.  8 ,   No .   3 ,  Sep tem b er   201 9 :   2 4 4   –   2 5 1   246   in cl u d es  4   Fu zz y   L o g ic  C o n t r o ller   ( FL C ) ,   w h ich   ea c h   F L C   h a s   p r o ce s s es  s u c h   as  F u z z ifica tio n ,  I n feren ce ,  an d   Defu z z if ica tio n   to   p r o d u ce   th eir   o w n   o u tp u t.  4   FLC  h av e  th eir   o w n   in p u t  co n s i s t  o f   On to lo g y   B M2 5   Sco r e,   Fab r icatio n   R ate,   Sh ia   R ate  an d   P o s itiv e  R ate  o f   h ad ith   d o cu m e n t,  an d   la s tl y   to   in clu d e  t h e  E x p er t   J u d g m e n t   Z - N u m b er s   as  a   n e w   ad d itio n al  r an k i n g   i n d icato r .   T h e  E v alu atio n   p r o ce s s   h as  b ee n   d o n e  b y   ca lcu lati n g   th e  ev a lu at io n   m e tr ic  s u ch   a s   P @ 1 0 ,   %n o   m e asu r es  a n d   MA P ,   an d   co m p ar in g   t h e  r esu l ts   o f   F B MIR   w it h   B M2 5   o r ig in al  s c o r e  an d   V ec to r   Mo d el  s co r e.     2 . 2 .   T he  s y s t e m   T h e  s y s te m   i s   d esi g n ed   b ased   o n   t h e   in teg r atio n   o f   t h e  r e s e ar ch er s ’   t w o   p r ev io u s   w o r k s   w h ic h   ar e,   Do m ain   s p ec i f ic  co n ce p t  o n to lo g ies   a n d   tex t  s u m m ar izat io n   as  h ier ar c h ical  f u zz y   lo g ic  r an k i n g   i n d icato r   o n   Ma la y   tex t   co r p u s   in   [ 2 ] ,   an d   P o s itiv e  R ate  o f   Had it h   in   [ 2 1 ] ,   w i th   th e   n e w   ad d itio n a l  E x p er t  J u d g m e n t   w it h   Z - N u m b er s   th at   w ill   b e  th e   m ain   co n tr ib u tio n   i n   t h is   ar ticle .   T h e  d etails  o f   t h e  d esi g n   o f   t h is   r esear ch   w ill  b e  ex p lain ed   as  f o llo w s .     2 . 2 . 1 .   Da t a   co llect io n   T h e  s y s te m   b a s icall y   u s es   th e   d ata  o f   Ma la y   T r an s lated   Ha d ith   co r p u s   t h at  co n s i s ts   o f   2 0 2 6   Sah ih   B u k h ar i  tex t  d o cu m en t s ,   1 6 0   Fab r icate d   h ad ith s   te x t  d o cu m en t  f r o m   b o o k   o f   A l - Ma n ar   al - M u n i f   Fi  al - Sa h i h   wa - al - D h o if   b y   I b n   Qa y y i m   al - J a w z i y a h ,   1 , 2 7 0   Sh ia   Had i th s   f r o m   t h e  Ki th ab   Us u l  a n d   R au d a h   o f   Kitab   Al - K h a f i,  a n d   1 7 2 8   d o cu m e n ts   f r o m   Ki th ab   Al - Fiq h   A l - Ma n h aj i  Ma z h ab   A l - S y a f ie  b y   Dr   Z u l k if li  b i n   Mo h a m ad   al - B ak r i,  an d   also   t h e  h ad it h   d o cu m e n t s   f r o m   th e  ex p er t’ s   r ele v an t j u d g m e n t.       2 . 2 . 2 .   M o del f o r  m o difica t io n   a .     Ra nk ing   f un ct io n   T h e  s y s te m   w i ll   u s e  t h e  e x is ti n g   m e th o d   o f   r an k i n g   f u n ctio n   f r o m   t h e  r esear c h er s ’   p r ev io u s   w o r k s   i n   [ 2 ] ,   s u ch   a s   O n to lo g y   Sco r e  o f   B M2 5 ,   th at  ac t s   a s   t h e  f ir s t  in p u t  o f   r an k i n g   s c o r e  in   Hier ar ch ica l   Fu zz y   L o g ic  S y s te m ,   t h at  ex p lain   in   Sec tio n   b .   T h e  f o r m u la  o f   t h e  ca lc u la tio n   o f   t h e  On to lo g y   Sco r e  o f   B M2 5 ,   D   w ill b e  as:     W h ile  Q   i s   th e  Qu er y   th at  co n s is t th e  k e y w o r d s   o f   q 1   u n til q n …      ( , ) = ∑  ( ) . ( ( , ) . ( 1 + 1 ) ( , ) + 1 . ( 1 − = . | |  ) ) = 1   ( 1 )     On to lo g y   B M2 5   Sco r e  ) ) , ( ( ) , ( Q D s c o r e O N T Q D s c o r e   ( 2 )     W h er e,   ON T ( s co r e  ( D,   Q) )   i s   an   A cc u mu la ted   o f O n to lo g y  S co r e  o f D o cu men ts   fo r   g iven   q u ery.     b.    H iera rc hica l f uzzy   lo g ic  s y s t e m   On e  ad v an tag e  o f   Hier ar c h ica l  Fu zz y   L o g ic  S y s te m   i s   its   ca p ab ilit y   to   d ec r ea s e  th e  am o u n t  o f   f u zz y   r u les  i n   th e   co m p lete  s y s te m ,   b y   s ep ar atin g   th e   in p u t  i n   d i f f er e n t  Fu zz y   L o g ic  C o n tr o ller   ( F L C ) ,   t h i s   ap p r o ac h   also   w il l  d ec r ea s e  th e  co m p u tat io n al  ti m e  an d   en s u r i n g   t h e  s y s te m s ’   r o b u s t n es s   an d   its   ef f icie n c y ,   m o r eo v er   p r o v en   to   ca p t u r e   an d   m an ip u late  t h e  e x p er t  k n o w led g e  a n d   in p u t  [ 2 2 ] .   I n   t h is   ar t icle,   th e   r esear ch er s   o n ce   ag ai n   u s e  t h e  d esig n   o f   a  Hier ar ch ical  Fu zz y   L o g ic  S y s te m ,   w h ic h   h as   b ee n   d o n e  in   th e  r esear ch er s ’   p r ev io u s   w o r k   i n   [ 2 ,   2 1 ] .   I n   [ 2 ] ,   th e  r esear ch er s   h a v e   ex p lai n ed   t h e  o p er atio n   F L C 1   a n d   F L C 2 ,   w h ic h   is   i n   t h e  F u zz y   L o g ic  C o n tr o ller   ( FLC1 )   o f   Ma m d a n i  Me t h o d ,   co n s is t  o f   t w o   in p u ts   s u c h   as  s u c h   a s   On to lo g y   B M2 5   Sco r e  an d   F ab r icatio n   R ate.   Fo r   t h e  F L C 2 ,   it  co n s is t s   o f   t w o   in p u ts   s u ch   as  t h e  o u tp u t  o f   FLC1   an d   Sh ia  R ate.   I n   [ 2 1 ] ,   th e  r esear ch er s   h av e  e x p lain e d   th e  co n tin u o u s   d esig n   b y   ad d in g   t h e  n e w   F L C 3 ,   w h ic h   co n s is ts   o f   t w o   i n p u ts   s u ch   as  th e   o u tp u t  o f   F L C 2   an d   P o s iti v e  R ate  o f   Had it h .   I n   t h i s   ar ticle,   th e   r esear ch er s   h av e  ad d ed   a  n e w   FLC4 ,   th at   r u n   a f ter   F L C 3   p r o ce s s   t h at  also   co n s i s ts   o f   t w o   in p u t s ,   s u c h   as  th e   o u tp u t  o f   F L C 3   a n d   E x p er t  J u d g m en t  Z - Nu m b er s ,   an d   y ie ld s   th e  o u tp u t  a s   th e  Fi n al  R a n k i n g   Sco r e  o f   t h e   d o cu m en t s h o w n   i n   Fi g u r e  2 .       Evaluation Warning : The document was created with Spire.PDF for Python.
IJ - AI     I SS N:  2252 - 8938       E xp ert ju d g men t Z - N u mb ers   a s   a   r a n kin g   in d ica to r   fo r … ( S h a ifu l B a kh tia r   b in   R o d z ma n )   247       Fig u r e  2 .   Hier ar ch ical  Fu zz y   L o g ic  C o n tr o ller   o f   F B MIR       Fu zz y   L o g ic  h as  a  ca p ab ilit y   t o   b e  u s ed   in   an y   r etr ie v al  m o d el  th at  p o s s e s s e s   its   o w n   r u le  b ased   an d   allo w s   th e  d escr ip tio n   o f   th e  ex p er tis e  in   a  m o r e  in t u iti v e  an d   m o r e  h u m a n - lik e  m an n er ,   esp ec iall y   f o r   f u zz y   in f er en ce   tec h n iq u e  o f   Ma m d an i  m et h o d ,   w h ic h   t h e  r esear c h er s   u s e  in   th i s   r esear c h .   I n   t h is   r esear ch ,   in   e v er y   FLC  t h at  i s   m en t io n ed   i n   t h is   s ec tio n ,   i n v o lv es   th e   F u zz y   P r o ce s s in g ,   t h at  i n cl u d es p r o ce s s es o f   F u z z ifica tio n ,   I n feren ce   an d   Defu z z ifica tio n   to   p r o d u ce   th e   r esu lt,  w e   c an   s ee   t h e  e x a m p le s   o f   t h e  ap p licatio n   o f   th i s   m et h o d   in   [ 2 3 - 2 5 ] .     F u z z ifica tio n :   T h e  p r o ce s s   o f   d ef in i n g   th e  d eg r ee   o f   m e m b e r s h ip   o f   a  cr is p   v alu e  f o r   ea ch   f u zz y   s et  an d   th e  m a th e m atica l  m ea n in g   o f   t h e  lin g u is t ic  v ar iab les.  I n   t h is   ar ticle,   th e  r esear ch er s   ex p lai n   th e  lin g u is t ic   v ar iab les  as  s h o w s   i n   T ab le   1   an d   T ab le  2 ,   f o r m u lat io n   an d   ca lcu la tio n   o f   n e w   E x p er t  J u d g m e n t   Z - n u m b er s   r esp ec ti v el y   th a t  will  b e  u s ed   i n   FLC4 .   T h e  d etails  o f   t h e  l in g u is tic   v ar iab les,  t h e  f o r m u latio n   an d   th e  ca lcu la tio n   o f   F L C 1 ,   FL C 2 ,   a n d   F L C 3   w h ic h   ca n   b e  s ee n   i n   t h e  r esear ch er s ’   p r ev io u s   w o r k s   in   [ 2 ,   2 1 ] .   I n   FLC4 ,   th e   m o d el  u s e s   o n e  i n p u t  w h ic h   i s   th e  E x p er t  J u d g m e n t  Z - N u m b er s   an d   f o u r - o u tp u t  v al u es o f   th e  Fin a l Sco r e  R an k i n g   w h ic h   co n s is t s   o f   t h r ee   tr ian g u lar   m e m b er s h ip   f u n ctio n s .   I t a ls o   in cl u d es  L i n g u i s tic  v ar iab le  co n s is ts   o f   F in al   R a n k i n g   S co r e,   an d   an   at tr ib u te  o f   E x p er t  J u d g m e n t   Z - N u m b er s ,   Fo u r - o u tp u t   v ar i ab les  an d   ei g h t  in p u t  v ar iab le s   ar e  id en ti f ied   a n d   ev al u ated   b y   th e   d o m ai n   ex p er t a lo n g   w i th ,   t h e  v ar iab le s   an d   r an g e  o f   p o s s ib le  v al u e.     I n feren ce :   T h e  p r o ce s s   o f   f o r m u lati n g   th e   m ap p i n g   f r o m   a   g i v en   i n p u t  to   a n   o u tp u t   u s i n g   f u zz y   lo g ic,   r ig h t  a f ter   t h e  F u zz i f icatio n   p r o ce s s .   T h e  m ap p i n g   t h e n   p r o v id es  a  b asis   f r o m   w h ic h   d ec is io n s   ca n   b e   m ad e  an d   g i v e  o u t t h e  v a lu e  f o r   th e  v ar iab le  o f   th e  f u zz y   s e t .     D efu z z ifica tio n :  T h e  v al u e  f r o m   t h e  Fu zz y   I n f er e n ce   r esu lts   w il l  b e  th e  i n p u t  f o r   Def u zz i f i ca tio n   p r o ce s s .   Def u zz if icatio n   i s   th e  p r o ce s s   o f   o b tain i n g   a  s i n g l e  n u m b er   ( o u tp u t)   f r o m   t h e  ca lcu la tio n   o f   t h e  a g g r e g ated   f u zz y   s et.   I n   t h i s   r esear c h ,   t h e  r esear ch e r s   w i ll  u s e   t h e  ce n ter   o f   ar ea   ( C O A )   Def u zz if icatio n   m et h o d .   T h e  C O A   m eth o d   b asicall y ,   r etu r n s   t h e  v al u e  o f   t h e  ce n ter   o f   ar ea   u n d er   th e   cu r v e,   as it s   m e th o d   is   to   p r o d u ce   th e  ca lc u latio n   o f   f in a l sco r e  o f   th e  r an k in g   f u n ctio n .     R u les :   Fu zz y   r u le s   ar e  u s ed   w ith i n   f u zz y   lo g ic  s y s te m s   to   in f er   an   o u tp u t  b ased   o n   in p u t  v ar iab les  an d   it  is   i m p o r tan t  as  a  s tar t in g   p o in t  o f   th e  F u zz y   P r o ce s s in g .   I n   th is   r esear c h ,   th e  r u le s   ar e  p r o d u ce d   b y   th e   ex tr ac tio n   p r o ce s s   o f   t h e  ex p e r ts ’   k n o w led g e  b y   th e  e x p er ts   w h ic h   ap p lie s   t h e  Ma m d a n i  T y p e  R u les   o f   Fu zz y   L o g ic.   T h is   ta k e s   t w o   a ttrib u tes   f o r   ea c h   Fu zz y   L o g ic   C o n tr o ller   o f   F L C 4   s u c h   a s ,   o u tp u t   o f   F L C 3   an d   E x p er t J u d g m e n t Sco r e  in   T a b le  3 .       T ab le  1 .   I n p u t lin g u i s tic  v ar ia b le   L i n g u i st i c   v a r i a b l e   V a l u e   R a n g e   O u t p u t   o f   F L C 3   Z e r o   [ 0 ,   0 ,   4 0 ]     L o w   [ 2 0 ,   4 0 ,   6 0 ]     H ig h   [ 4 0 ,   6 0 ,   8 0 ]     V e r y  H i g h   [ 6 0 ,   1 0 0 ,   1 0 0 ]   Ex p e r t   Ju d g me n t   S c o r e   ( ̃ , ̃ )   L o w   [ 0 ,   0 ,   4 0 ]     M e d i u m   [ 2 0 ,   4 0 ,   6 0 ]     H i g h   [ 4 0 ,   6 0 ,   8 0 ]     V e r y   H i g h   [ 6 0 ,   1 0 0 ,   1 0 0 ]       T ab le  2 .   Ou tp u t lin g u is tic  v ar i ab le   L i n g u i st i c   v a r i a b l e   V a l u e   R a n g e   F i n a l   R a n k i n g   S c o r e   Z e r o   [ 0 ,   0 ,   4 0 . 0 0 ]     L o w   [ 2 0 ,   4 0 ,   6 0 ]     H ig h   [ 4 0 ,   6 0 ,   8 0 ]     V e r y  H i g h   [ 6 0 ,   1 0 0 ,   1 0 0 ]       Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8938   IJ - A I   Vo l.  8 ,   No .   3 ,  Sep tem b er   201 9 :   2 4 4   –   2 5 1   248   T ab le  3 .   R u les o f   F L C 4   C a se   R u l e s   F i n a l   R a n k i n g   S c o r e   1   i f   Ex p e r t   =   V H   &   F L C 3   =   L   H i g h   2   i f   Ex p e r t   =   V H   &   F L C 3 =   M   V e r y   H i g h   3   i f   Ex p e r t   =   V H   &   F L C 3 =   H   V e r y   H i g h   4   i f   Ex p e r t   =   V H   &   F L C 3 =   V H   V e r y   H i g h   5   I f   Ex p e r t   =   H   &   F L C 3   =   L   L o w   6   I f   Ex p e r t   =   H   &   F L C 3   =   M   H i g h   7   I f   Ex p e r t   =   H   &   F L C 3   =   H   H i g h   8   I f   Ex p e r t   =   H   &   F L C 3   =   V H   V e r y   H i g h   9   i f   Ex p e r t   =   M   &   F L C 3 =   L   L o w   10   i f   Ex p e r t   =   M   &   F L C 3 =   M   L o w   11   i f   Ex p e r t   =   M   &   F L C 3   =   H   L o w   12   i f   Ex p e r t = M   &   F L C 3 =   V H   H i g h   13   i f   Ex p e r t =   L   &   F L C 3 =   L   Z e r o   14   i f   Ex p e r t =   L   &   F L C 3 =   M   L o w   15   i f   Ex p e r t =   L   &   F L C 3 =   H   L o w   16   i f   Ex p e r t =   L   &   F L C 3 =   V H   H i g h       2 . 3 .   P r o po s ed  Ca lcula t io n o f   Z - Nu m b er s   I n   t h is   ar ticle,   t h e   r esear ch er s   in v e s ti g ate  th r ee   f ac to r s   w h ic h   m a y   co r r elate   i n   t h e   i m p le m en tatio n   o f   th is   E x p er t  J u d g m e n t  Z - N u m b er s   as  Fu zz y   L o g ic  R a n k i n g   I n d icato r   s u ch   as:  ex p er t s’   r el ev an ce   j u d g m en t   o r   s co r e ,   th e  e x p er t s’   co n f id en ce   an d   t h e  le v el  o f   e x p er ti s e.   F o llo w i n g   th is ,   w e   r ep r esen t  th e  t w o   f ac to r s   i n   Z   n u m b er s   Z =  ( A ,   B ) .   T ab le  4   s h o w n   t h e  fi r s t  co m p o n en t  A ,   a   r estrictio n   o n   th e  v al u e s ,   is   a   r ea l - v al u ed   u n ce r tai n   v ar iab le  X  o r   in   th is   ca se   th e  r esear ch er s   tak e  t h e  s co r e  o n   r elev an ce   j u d g m e n t   f r o m   0 . 1   ti ll  1 . 0 .   T ab le   5   s h o w n   t h e  s ec o n d   co m p o n en t  B   is   a  m ea s u r e  o f   r eliab ilit y   o f t h e  fi r s t  co m p o n e n t   o r   in   th is   s tu d y   we   tak e  th e  co n f id e n ce   o f   th eir   j u d g m e n t,  w h ic h   i n   m et h o d o lo g y   a s   th e  r esear c h er s   tak e  t h e  s ca le  an d   ap p r o ac h   by   [ 5 ] .   T h is   n u m b er   w ill  b e  co n v er t ed   in to   th e  cr is p   n u m b er   b y   u s i n g   th e  d ef u zz i f icati o n   ap p r o ac h   th at  is   s u g g e s ted   by   [ 9 ] :   Step   1 :  Dete r m in e   t h e  w ei g h t s   o f   ev al u atio n   cr iter ia.   T h e  w eig h t  o f   ev alu at io n   cr i te r i a  a r e   em p lo y ed   as  s am e  v alu e,   0 . 2   f o r   ea ch   c r it er io n ,   w ith   m ax i m u m   is   1 .   Step   2 :  C o n s tr u ct  th e  f u zz y   d e cisi o n   m atr ix   f o r   alter n ati v es ’   ev alu a tio n .       T ab le  4 .   L in g u i s tic  T er m s   an d   T h eir   C o r r esp o n d in g   Gen er al is ed   Fu zz y   Nu m b er s   [ 9 ]   L i n g u i st i c   t e r ms   G e n e r a l i se d   f u z z y   n u mb e r s   A b so l u t e l y - l o w   ( A L )   ( 0 . 0 ,   0 . 0 ,   0 . 0 ,   0 . 0 ;   1 )   V e r y - l o w   ( V L )   ( 0 . 0 , 0 . 0 ,   0 . 0 2 ,   0 . 0 7 ; 1 )   L o w   ( L )   ( 0 . 0 4 ,   0 . 1 0 ,   0 . 1 8 ,   0 . 2 3 ;   1 )   F a i r l y - l o w   ( F L )   ( 0 . 1 7 ,   0 . 2 2 ,   0 . 3 6 ,   0 . 4 2 ;   1 )   M e d i u m ( M )   ( 0 . 3 2 ,   0 . 4 1 ,   0 . 5 8 ,   0 . 6 ;   1 )   F a i r l y - h i g h   ( F H )   ( 0 . 5 8 ,   0 . 6 3 ,   0 . 8 0 ,   0 . 8 6 ;   1 )   H i g h   ( H )   ( 0 . 7 2 ,   0 . 7 8 ,   0 . 9 2 ,   0 . 9 7 ;   1 )   V e r y - h i g h   ( V H )   ( 0 . 9 3 ,   0 . 9 8 ,   1 . 0 ,   1 . 0 ;   1 )   A b so l u t e l y - h i g h   ( A H )   ( 1 . 0 ,   1 . 0 ,   1 . 0 ,   1 . 0 ;   1 )       T ab le  5 .   R eliab ilit y   L in g u is t ic   T e r m s   an d   T h eir   C o r r esp o n d in g   Z - N u m b er s   [ 5 ] .   L i n g u i st i c   t e r ms   G e n e r a l i se d   f u z z y   n u mb e r s   V e r y - l o w   ( V L )   ( 0 , 0 , 0 , 0 . 2 5 ; 1 )   L o w   ( L )   ( 0 , 2 5 , 0 . 2 5 , 0 . 5 ; 1 )   M e d i u m ( M )   ( 0 . 2 5 , 0 . 5 , 0 . 5 , 0 . 7 5 ; 1 )   H i g h   ( H )   ( 0 . 5 , 0 . 7 5 , 0 . 7 5 , 1 ; 1 )   V e r y - h i g h   ( V H )   ( 0 . 7 5 , 1 , 1 , 1 ; 1 )       Step   3 : Co n v er t t h e  z - n u m b er s   in to   r eg u lar   f u zz y   n u m b er s .   T h e  f u zz y   d ec i s io n   m atr ices o f   p r ef er en ce s   o f   z - n u m b er s   ar e   co n v er ted   an d   ag g r eg ated   u s i n g   m ai n   ( 3 )   an d   m u ltip les eq u a tio n   a n d   th eo r em   th a t s u g g ested   b y   [ 9 ] ,   th at  c an   b e  co m p u ted   as     18 7 , 18 ) ( 7 ) ( 2 ) ~ , ~ ( ~ 3 2 4 1 ~ ~ A A A h a a a a y x I V C   ( 3 )     Evaluation Warning : The document was created with Spire.PDF for Python.
IJ - AI     I SS N:  2252 - 8938       E xp ert ju d g men t Z - N u mb ers   a s   a   r a n kin g   in d ica to r   fo r … ( S h a ifu l B a kh tia r   b in   R o d z ma n )   249   w h er e   x ~ : th e  ce n tr o id   p o in t o n   t h e  h o r i zo n tal  x - a x is   y ~ : th e  ce n tr o id   p o in t o n   t h e  v er t ical  y - a x is   ) ~ , ~ ( y x : th e  ce n tr o id   co o r d in ate  o f   f u zz y   n u m b er A ~     Step   4 :  Z - n u m b er s   i s   a v er ag e d   an d   n o r m al ized   as  a  n e w   v al u e  o f   E x p er t  J u d g m e n t  Sco r e  f o r   a  p ar ticu lar   d o cu m en t.   I n   ap p ea r an ce   w it h   m a n y   e x p er tis e,   t h e  s y s te m   w i ll  ca l cu late  t h e  v al u e  o f   t h e  a v er ag e  o f   Z - n u m b er s ,   ac co r d in g   to   th eir   lev el  o f   ex p er tis e   s u ch   as  ( P h D,   Ma s ter ,   Deg r ee   an d   User ) ,   as  th e  f in al  Z - n u m b er s .   Fo r   ca lcu latio n   o f   th e   r an k in g   o f   th e  ce r tai n   d o cu m en t s ,   t h e  s y s te m   w ill   u ti lis e  th e   v al u e  o f   th e  h i g h er   le v el  o f   ex p er tis e  Z - n u m b er s ,   to   r ep r esen t   th e   r elev a n ce   j u d g m e n t   o f   a   p ar tic u lar   d o cu m en t .   F o r   ex a m p le,   i f   t h e   av er ag e  o f   Z - n u m b er s   o f   P h D  av ai lab le,   th e   s y s te m   w ill   u s e  th i s   v al u e  i n s tead   o f   a n o t h er   ca te g o r y .   I f   t h e  v alu e   f r o m   P h D   is   n o t  a v ailab le,   th e  s y s te m   w i ll  u s e  th e   v al u e  f r o m   t h e  Ma s ter   a n d   s o   o n .   T h e  p r io r ity   o f   t h i s   s elec tio n   i s   d eter m i n ed   b y   t h e   ex p er ts   o f   h ad it h s   t h at  ar e  p er tain i n g   to   Ma la y s ia n ’   s ce n ar i o .   T h e  ca lcu latio n   o f   av er ag e  o f   Z - n u m b er s   t h en   w il l b e  u s ed   as a n   i n p u t f o r   a  F u z z y  Lo g ic  C o n tr o ller   4   o r   F LC 4 .   Step   5 : E x p er t J u d g m e n t Sco r e  w ill b e  an   i n p u t f o r   Fu zz y   L o g ic  C o n tr o ller   4   o r   FL C 4 .   T h e  Z - n u m b er   is   t h en   i n v o lv e d   in   Fu zz y   P r o ce s s in g   in   F L C 4 ,   to   y ield   th e  r es u lt a s   th e  r es ea r ch er s   m e n tio n ed   in   p r ev io u s   s ec tio n .       3.   RE SU L T S  A ND  D I SCU SS I O N   I n   th i s   r esear ch ,   eig h t  e x p er ts   f r o m   f o u r   ca teg o r ies  ( P h D,   Ma s ter ,   Deg r ee   an d   User ) ,   w h ich   m ea n s ,   t w o   e x p er ts   f r o m   ea c h   ca te g o r y ,   ar e  i n v o lv e d   i n   t h is   r e s ea r ch   to   j u d g e  t h e  h ad ith   d o cu m en ts   o n   ei g h t   to p ics,   w h ic h   co n s i s t  o f   th e  to tal  o f   3 0   q u er ies,  w i th   av er a g e  th r e e  q u er ies  f o r   ea ch   to p ic  [ 2 ] .   T h e  r elev an ce   o f   th e  d o cu m en ts ,   p o s s ib le  r an g e  o f   Fu zz y   L o g ic  C o n tr o ller ,   p r io r it y   s elec tio n   o f   Z - num b er s   v a lu e  th a t  h a v e  b ee n   u s ed   i n   th is   r esear c h   w er e  d eter m i n ed   an d   ex a m i n ed   b y   t w o   e x p er ts ,   Dr   A h m ad   Y u n u s   Mo h d   No o r   f r o m   Un i v er s iti   Keb an g s aa n   Ma la y s ia  a n d   Dr   Z u l h il m i   b in   Mo h a m ed   No r   f r o m   U n i v er s iti  Sai n s   I s la m   Ma la y s ia.   T h e  E v alu a tio n   p r o ce s s   h as   b ee n   d o n e   b y   th e   ca lc u latio n   o f   t h e  e v al u atio n   m etr ic  s u c h   a s   P @ 1 0   ( P r ec is io n   at   R an k   1 0 ) ,   %n o   m ea s u r es  ( th e  p er ce n tag e  o f   t h e  q u er y   w i th   n o   r elev an t  d o cu m e n t  i n   th e  to p   ten   r etr iev ed )   an d   MA P   ( Me an   A v er a g e  P r ec is io n ) ,   an d   th e  co m ap r is o   b et w ee n   th e  r es u lt s   o f   F B MIR   w i th   B M2 5   o r ig in al  s co r e   an d   V ec to r   Mo d el  s co r e.   T h e  r esu lt s   ar e  s h o w n   i n   th e  T ab le  6   as f o llo w s .       T ab le  6 .   R esu lts   o f   E x p er i m e n t   N o .   TO P I C   FBM I R  P @ 10     BM 2 5   P @ 10   Ve c t o r   P @ 10   FBM I R  % no   BM 2 5   %n o   V e c t o r   %n o   FBM I R   M A P   BM 2 5   M AP   V e c t o r   M A P   1   Ma k a n a n   1 . 0   0 . 8   0 . 4 6 6   0   20   5 3 . 4   1 . 0   0 . 8 2   0 . 5 0 2   2   Ad a b   0 . 8 7 5   1   0 . 7 5   1 2 . 5   0   25   0 . 8 9   1   0 . 7 1 5   3   S o l a t   0 . 9   0 . 4 7 6   0 . 5 8   10   5 2 . 4   42   0 . 8 7 6 5   0 . 4 8 6   0 . 5 8 4   4   I m a n   1 . 0   0 . 4 6 6   0 . 4 4 4   0   5 3 . 4   5 5 . 6   1 . 0   0 . 4 6 3   0 . 5 6 5   5   Be rsu c i   0 . 9 5   0 . 9 3 7   0 . 5 1 3   5   6 . 3   4 8 . 7   0 . 9 5 2   0 . 9 6 8   0 . 5 3 4   6   I b a d a h   0 . 9 4 7   0 . 3 5   0 . 5 4 1   5 . 3   65   4 5 . 9   0 . 9 5 5 7   0 . 7 2 5   0 . 5 7 7   7   S i r a h   1   0 . 7 3 3   0 . 7 3 3   0   2 6 . 7   2 6 . 7   1   0 . 9 6 4   0 . 9 0 5   8   U m u m   0 . 8 9 8 0   0 . 3 3 3   0 . 3 5 3   1 0 . 2   6 6 . 7   7 4 . 7   0 . 8 5 9 6   0 . 3 2 4   0 . 3 8 2       B ased   o n   T ab le  6 ,   in   ter m   o f   T o p ics  o f   th e  q u er y ,   t h e  p r o p o s ed   s y s te m ,   w it h   t h e  ad d iti o n al  n e w  in d icato r   o f   E x p er t  J u d g m e n t  Z - N u m b er s ,   h a s   a  b etter   r esu lt   o n   s ev en   to p ic  s ets  s u c h   as  “M ak an a n ”, “ S o la t”,   “Im a n ”,”Be r s u ci”,“I b a d a h ”,   “ S i r a h ”   an d   “ U mu m”  o n   t h e  P @ 1 0   a n d   % n o   m ea s u r e s .  Fo r   M A P   alo n e,   F B MIR   h as  a  b etter   r esu lt   o n   s ix   to p ic  s ets  o f   q u er y   r esu lts   s u c h   as  “ Ma k a n a n ”,   “ S o la t”,  “Im a n ”,  “Ib a d a h ”,   “ S ir a h ”   a n d   “ Umu m”   o n   th e   P @ 1 0   an d   % n o   m ea s u r es .  B M2 5   o r ig in al  s co r e  o n l y   h as   b etter   r esu lt   o n   o n e  to p ic  s et  o f   “ A d a b ”   w h er ea s   MAP   a lo n e   h as b etter   r esu lt in   t w o   to p ic  s ets o f   “ A d a b ”a n d   “Be r s u ci”.   I n   ter m   o f   t h e  o v er all  q u er ie s ,   th e  p r o p o s ed   s y s te m ,   w it h   th e  ad d itio n al  n e w   i n d icato r   o f   E x p er t  J u d g m e n t  Z - N u m b er s ,   m a y   b r in g   t h e  i m p r o v e m e n t  to   th e  o r ig i n al  B M2 5   r an k in g   f u n ctio n ,   b y   y ield i n g   b etter   r esu lt s   o n   2 6   q u er ie s ,   o n   all   ev alu a tio n   m etr ics  th at  ar e  m ea s u r ed   in   t h i s   r esear ch   s u ch   as  P @ 1 0 ,   %n o   m ea s u r es  an d   M A P ,   an d   h as  ac h iev ed   th e  b etter   r esu lt s   in   2 8   q u er ies  o n   P @ 1 0   alo n e,   co m p ar ed   to   th e  B M2 5   o r ig in al   s co r e,   t h at  o n l y   y ield   b etter   r es u lt  i n   t w o   q u er ie s   o f   all   ev a lu atio n   m etr ic s   a n d   f o u r   q u er ies  o n   t h e   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8938   IJ - A I   Vo l.  8 ,   No .   3 ,  Sep tem b er   201 9 :   2 4 4   –   2 5 1   250   MA P   alo n e.   I n   th i s   r esear ch ,   Vec to r   Sp ac e  Mo d el  h as  n o t  o u tp er f o r m ed   FB MI R   a n d   B M2 5   Or ig in al  Sco r e  i n   an y   q u er ies.   W it h   th e  ap p licat io n   o f   O n to lo g y   B M2 5   Sco r e,   Fab r icatio n   R ate,   Sh ia  R ate ,   P o s itiv e  o f   F L C 1 ,   FLC2   a n d   F L C 3   th a t  t h e  r ese ar ch er s   r ep o r ted   in   [ 2 1 ] ,   th e   p r o p o s ed   s y s te m   h as   a  b etter   r esu lt   o n   f i v e  to p ics   an d   2 6   q u er ies.  W ith   th e  ad d i tio n al  o f   t h e  E x p er t  J u d g m e n t   w it h   Z - Nu m b er s   i n   t h is   r esea r ch ,   th e  r es u lts   ar e   i m p r o v ed   w h en   t h e  p r o p o s ed   s y s te m   y ie ld s   b etter   r esu lts   o n   s ev e n   to p ics  an d   2 6   q u er ies  co m p ar ed   to   th e  o th er   m o d el.   On e  i m p o r ta n t   f i n d in g   f r o m   t h i s   ex p er i m e n t  i s   t h at  t h e  r es u lts   w ill  b e  d if f er en t  i f   t h e  Hier ar ch ical  F u zz y   L o g ic  ar e  r u n   w it h   d if f er en t  o r d er .   Fo r   ex a m p le,   t h e  r esu l ts   ar e  g e ttin g   w o r s e  i f   th e   P o s itiv e  R ate  is   tak e n   as  an   in p u t  in   F L C 1   an d   th e  Fab r icate d   an d   Sh ia  r ate  in   FL C 2   an d   FLC3 ,   co m p ar ed   to   th e  o r d er   th at  th e  r esear ch er s   s u g g es t  in   s ec t io n   2 . 2 .   Mo r eo v er ,   th e  r esu lts   o r   th e  r an k in g   li s t  th at  ar e  r etr iev ed   af ter   F L C 3 ,   w ill  m ak e  t h e  ex p er ts   ea s ier   to   j u d g e,   b ec au s e  th e  r an k in g   lis t  o f   h ad it h   ar e  o p ti m ized   ea r lier   an d   w il l  m a k e  m o s t  r elev a n ce   d o cu m e n t s   ar e  alr ea d y   i n   t h e  to p   o f   th e  li s t,  d u e  to   th e  p r o ce s s i n g   o f   F L C 1 ,   F L C 2   an d   F L C 3 .   Fo r   f u tu r e  w o r k s ,   t h e  r esear ch er s   w a n t  to   ap p l y   t h e  d if f er e n t  lo g ic  o r   ca lcu latio n   to   m a n ip u la te  th e   all  v al u e  f r o m   d if f er e n t  ca teg o r ies  o f   ex p er t  j u d g m e n t,  i n s tead   o f   u s i n g   th e  v al u e  o f   h i g h er   ca te g o r ies  o f   ex p er t th at  t h e  r esear ch er s   h av e  d o n e  in   th i s   p ar ticu lar   r esear ch .       4.   CO NCLU SI O N   T h is   ar ticles  p r ese n ted   t h e  i m p le m en ta tio n   o f   E x p er t  J u d g m en t  Z - Nu m b er s   a s   a  R a n k i n g   I n d icato r   f o r   Hier ar ch ical  Fu zz y   L o g ic   S y s te m .   T h e  r esear ch er s   h a v e  p r o p o s ed   th e  d esig n   o f   t h e  Hier ar ch ical  Fu zz y   L o g ic  S y s te m   w it h   t h e  ad d it io n al  n e w   in d icato r   s u c h   as  E x p er t  J u d g m e n t  Z - N u m b er s   th at  e n h a n ce s   th e   r esu lt s   o f   th e  r esear ch er s ’   p r e v io u s   w o r k s   i n   [ 2 ,   2 1 ] .   I n   th is   ar ticle,   th e  r esear ch er s   i n v e s tig a te  th r ee   f ac to r s   w h ic h   m a y   co r r elate   i n   t h e  i m p le m e n tat io n   o f   th is   E x p er t  J u d g m e n t  Z - N u m b er s   as  F u zz y   L o g ic  R a n k i n g   I n d icato r   s u c h   as : e x p er t r ele v an ce   j u d g m en t,  t h e  ex p er t c o n f id en ce   a n d   t h e  le v el  o f   ex p er t is e.   Fo llo w i n g   th i s ,   w e  r ep r esen t  t h e  t w o   f ac to r s   i n   Z   n u m b er s   Z =  ( A ,   B ) .   T h e  E x p er t  J u d g m e n t  Z - N u m b er s   t h en   w il l  b e  an   in p u t  to   Hier ar ch ical  Fu zz y   L o g ic  S y s te m   o f   Do m a in   Sp ec i f ic  T ex t  R etr ie v al,   alo n g   w it h   o t h e r   in d icato r s   s u c h   a s   On to lo g y   B M2 5   Sco r e,   Fab r icatio n   R ate,   Sh ia  R ate  an d   P o s itiv e  R ate  o f   h ad it h   d o cu m en t.  T h e  r esu lts   s h o w ed ,   t h e  p r o p o s ed   s y s te m ,   w ith   t h e  ad d itio n al   n e w   i n d icato r   o f   E x p er t  J u d g m e n t  Z - N u m b er s ,   m a y   b r i n g   th e  i m p r o v e m e n t to   t h e  o r ig i n al  B M2 5   r an k in g   f u n ctio n ,   b y   y ield   b etter   r esu l t o n   2 6   q u er ies,  o n   all  e v alu a tio n   m etr ic  t h at   m ea s u r e  in   t h is   r es ea r ch   s u c h   as   P @ 1 0 ,   % n o   m e asu r es   an d   M A P ,   a n d   h as  ac h i ev ed   b etter   r es u lt s   in   2 8   q u er ies  o n   P @ 1 0   alo n e,   co m p ar e  to   th e  B M2 5   o r ig in al   s co r e,   th at  o n l y   y ield   b etter   r esu lt  i n   t w o   q u er ies   o f   all  ev al u atio n   m etr ics,  a n d   also   y ield   b etter   r esu l t  in   f o u r   q u er ies  o n   t h e  M A P   alo n e.   Fo r   th e  f u r th er   en h a n ce m en t,  th e  r esear ch er   w a n t  to   ap p ly   a n d   p r o p o s e  n ew   ca lcu latio n   a n d   n e w   lo g ic  t o   m a n ip u la te  th e  all   v alu e  f r o m   d if f er en t  ca te g o r ie s   o f   ex p er t  j u d g m e n t,  i n s tead   u s e  t h e  p r io r ity   o f   v al u e  o f   h i g h er   ca te g o r ies  o f   ex p er t  th at  th e  r esear c h er s   h a v e  d o n e  in   th i s   p ar ticu lar   r ese ar ch .   T h e  r esu lts   s h o w ed   th a t  E x p er t  J u d g m e n t  Z - Nu m b er s   as  Fu zz y   L o g ic  R a n k in g   I n d icato r   o f f er s   a  p r o m i s in g   m e th o d   to   le v er ag e  t h e  cr o w d   i n   co m b i n atio n   of   tr u s ted   j u d g es,  th eir   co n f id en ce   an d   also   th eir   lev el  o f   e x p er tis e  f o r   ac cu r ate  an d   af f o r d ab le  b u ild in g   o f   I R   test   co llectio n s   an d   m a y   ele v at e  th e  p er f o r m a n ce   o f   r an k i n g   Fu n ctio n   f o r   Do m ai n   Sp ec if ic  T ex t Retr iev al.       ACK NO WL E D G E M E NT S   T h is   r esear ch   is   f u n d ed   b y   t h e   Min is tr y   o f   E d u ca tio n   ( MO E )   Ma lay s ia  u n d er   FR GS  R e s e ar ch   Gr an t  at  Un i v er s iti T ek n o lo g i M A R A ,   S h a h   A la m   ( 6 0 0 - I R MI / FR GS 5 /3   ( 0 2 1 /2 0 1 7 ) ) .       RE F E R E NC E S   [1 ]   M u c a h id   K u tl u ,   e t  a l. ,   " Cro w d   v s.  Ex p e rt:   W h a t  Ca n   Re lev a n c e   Ju d g m e n t  Ra ti o n a les   Tea c h   Us   A b o u t  A ss e ss o r  Disa g re e m e n t?,"   in   S IG IR  ’1 8 :  T h e   4 1 st  In tern a ti o n a l  A CM   S IG IR  Co n fe re n c e   o n   Re se a rc h   &   De v e lo p m e n t  in   In f o rm a ti o n   Re tri e v a l,   Ju ly   8 – 1 2 ,   2 0 1 8 ,   A n n   A rb o r,   M I,   U S A .   A CM ,   Ne w   Yo rk ,   NY ,   USA ,   1 0   p a g e s.   h tt p s:/ /d o i. o rg /1 0 . 1 1 4 5 /3 2 0 9 9 7 8 . 3 2 1 0 0 3 3 .   [2 ]   S h a if u l  Ba k h ti a r  b i n   R o d z m a n ,   e t  a l. ,   " Do m a in   sp e c if ic  c o n c e p t  o n to lo g ies   a n d   tex t  su m m a riza ti o n   a s  h iera rc h ica l   f u z z y   lo g ic  ra n k in g   in d ica to r  o n   m a la y   t e x t  c o rp u s,"   In d o n e si a n   J o u rn a l  o f  El e c trica l  En g in e e rin g   a n d   C o mp u ter   S c ien c e ,   v o l.   1 5 ,   n o .   3 ,   S e p tem b e r   2 0 1 9 .     [3 ]   Zad e h   L . A ,   “ A   n o te o n   Z - n u m b e rs,”  J . In f. S c i ,   v o l.   1 8 1 ,   p p .   2 9 2 3 - 2 9 3 2 ,   2 0 1 1 .   [4 ]   Yu   Ya n g   a n d   Jia n - q ian g   W a n g ,   " S M AA - b a se d   m o d e l  f o r  d e c isio n   a id in g   u sin g   re g re t  th e o ry   in   d isc re te  Z - n u m b e r   c o n tex t, "   Ap p l ied   S o ft   Co mp u ti n g ,   v o l.   6 5 ,   p p .   5 9 0 - 6 0 2 ,   A p ril   2 0 1 8 .   [5 ]   Bin g Yi  Ka n g   a n d   D.  W e i,   Y.  L i.   Y.  De n g ,   “ De c isio n   m a k in g   u sin g   Z - n u m b e rs  u n d e r  u n c e rtain   e n v iro n m e n t, "   J o u rn a l  o f  Co m p u t a ti o n a l  I n fo rm a ti o n   S y ste ms ,   v o l. 8 ,   n o . 7 ,   p p .   2 8 0 7 - 2 8 1 4 .   A p ril   2 0 1 2 .   [6 ]   R.   A .   A li e v ,   e t  a l. ,   " Ra n k in g   o f  Z - Nu m b e rs  a n d   Its  A p p li c a ti o n   in   De c isio n   M a k in g , "   In ter n a ti o n a l  J o u rn a l  o f   In fo rm a t io n   T e c h n o l o g y   &   De c isi o n   M a k i n g ,   v o l.   1 5 ,   n o .   0 6 ,   p p .   1 5 0 3 - 1 5 1 9 ,   2 0 1 6 .   Evaluation Warning : The document was created with Spire.PDF for Python.
IJ - AI     I SS N:  2252 - 8938       E xp ert ju d g men t Z - N u mb ers   a s   a   r a n kin g   in d ica to r   fo r … ( S h a ifu l B a kh tia r   b in   R o d z ma n )   251   [7 ]   L a la  M .   Zein a lo v a ,   e t  a l. ,   " A   Z - Nu m b e r  V a lu e d   Re g re ss io n   M o d e l  a n d   it s  A p p li c a ti o n , ”   I n telli g e n t  Au t o ma ti o n   &   S o ft   Co mp u ti n g ,   DO I:  1 0 . 1 0 8 0 / 1 0 7 9 8 5 8 7 . 2 0 1 7 . 1 3 2 7 5 5 1 .   [8 ]   Da u d   M o h a m a d ,   e t  a l. ,   " Ord e rin g   o f   Z - n u m b e rs,"   A IP   Co n f e re n c e   P r o c e e d in g s 1 8 7 0 ,   0 4 0 0 4 9 ,   2 0 1 7 .   [9 ]   K Kh a li f ,   KM  Na im ,   e t  a l. ,   " H y b r id   f u z z y   M CDM  m o d e l  f o r  Z - n u m b e rs u sin g   in tu it iv e   v e c to rial  c e n tro i d , ”   J o u rn a l   o f  In telli g e n t  &   Fu zz y   S y ste ms ,   2 0 1 7 .   [1 0 ]   A h m a d   S y a f a d h li   A b u   Ba k a r,   e t  a l. ,   " M u lt i - L a y e r   De c isio n   M e th o d o lo g y   f o r  Ra n k in g   Z - Nu m b e rs , "   In ter n a ti o n a l   J o u rn a l  o f  Co m p u t a ti o n a l  I n telli g e n c e   S y ste ms ,   v o l.   8 ,   n o .   2 ,   p p ,   3 9 5 - 4 0 6 ,   2 0 1 5 .   [1 1 ]   Ha m e d   A b o u   to ra b ,   e t  a l. ,   " ZBW M :  T h e   Z - n u m b e r  e x ten sio n   o f   B e st  W o rst  M e th o d   a n d   it s a p p li c a ti o n   f o r  su p p l ier   d e v e lo p m e n t, "   Exp e rt S y ste ms   wit h   Ap p li c a ti o n s ,   v o l.   1 0 7 ,   p p .   1 1 5 - 1 2 5 ,   Oc to b e r  2 0 1 8 .   [1 2 ]   Ho n g - g a n g   P e n g   a n d   Jia n - q ian g   Wan g ,   “ Ou tran k in g   De c isio n - M a k in g   M e th o d   w it h   Z - Nu m b e r  Co g n it iv e   In f o rm a ti o n "   Co g n it ive   Co m p u t a t io n ,   v o l.   1 0 ,   n o .   5 ,   p p .   7 5 2 – 7 6 8 ,   Oc to b e r  2 0 1 8 .   [1 3 ]   Ra f i k   A li e v   a n d   Ko n u l  M e m m e d o v a ,   “ A p p li c a ti o n   o f   Z - Nu m b e r  Ba se d   M o d e li n g   in   P sy c h o lo g i c a l  Re se a rc h , "   Co mp u t a ti o n a l  I n telli g e n c e   a n d   N e u ro sc ien c e ,   v o l.   2 0 1 5 ,   h tt p :/ / d x . d o i. o rg /1 0 . 1 1 5 5 /2 0 1 5 / 7 6 0 4 0 3 .   [1 4 ]   W e n   Jia n g ,   e t  a l. ,   " S e n so r  Da ta  F u sio n   w it h   Z - Nu m b e rs  a n d   Its  A p p li c a ti o n   in   F a u lt   Dia g n o sis,"   S e n so rs  2 0 1 6 ,   1 6 ,   1 5 0 9 ;  d o i: 1 0 . 3 3 9 0 /s1 6 0 9 1 5 0 9 .   [1 5 ]   P ra b h a   Ra jag o p a l,   e t  a l. ,   " Re lev a n c e   Ju d g m e n ts  Ex c lu siv e   o f   Hu m a n   A ss e ss o rs  in   L a rg e   S c a le  In f o rm a ti o n   Re tri e v a l  Ev a lu a ti o n   Ex p e rim e n ta ti o n , "   M a la y sia n   J o u r n a l   o f   Co m p u ter   S c ien c e ,   v o l.   2 7 ,   n o .   2 ,   p p .   8 0 - 9 4 ,   2 0 1 4 .   [1 6 ]   P a r n ia  S a m i m i   a n d   S ri  De v i   Ra v a n a ,   “ Cre a ti o n   o f   Re li a b le  Re l e v a n c e   Ju d g m e n ts  in   In f o r m a ti o n   Re tri e v a l  S y ste m s  Ev a lu a ti o n   Ex p e rim e n tatio n   t h ro u g h   Cro w d so u rc i n g :  A   Re v ie w , "   Hin d a wi  P u b l ish i n g   C o rp o r a ti o n   e   S c ien ti fi c   W o rld   J o u r n a l ,   v o l.   2 0 1 4 ,   h tt p :/ /d x . d o i. o rg /1 0 . 1 1 5 5 /2 0 1 4 /1 3 5 6 4 1 .   [1 7 ]   S ri  De v i  Ra v a n a ,   e t  a l. ,   " Ra n k in g   re tri e v a l  s y ste m s  u sin g   p se u d o   re lev a n c e   ju d g m e n ts,"   A slib   J o u rn a l  o f   In fo rm a t io n   M a n a g e me n t ,   v o l.   6 7   n o .   6 ,   p p . 7 0 0 - 7 1 4 ,   2 0 1 5   h t tp s:// d o i. o rg / 1 0 . 1 1 0 8 /A JIM - 03 - 2 0 1 5 - 0 0 4 6 .   [1 8 ]   Da v id   E. L o sa d a ,   e t  a l. ,   " A   ra n k   fu sio n   a p p r o a c h   b a se d   o n   sc o re   d i strib u ti o n s   f o r  p ri o rit izin g   re lev a n c e   a ss e ss m e n ts   in   i n f o rm a ti o n   re tri e v a l  e v a lu a ti o n , "   In f o rm a ti o n   F u si o n ,   v o l.   3 9 ,   p p .   5 6 - 7 1 ,   Ja n u a ry   2 0 1 8 .   [1 9 ]   Zi y in g   Ya n g ,   “ Re l e v a n c e   Ju d g m e n ts:  P re f e re n c e s,  S c o re s  a n d   T ie s,“   in   P r o c e e d in g   S IG IR  ' 1 7   P ro c e e d in g s  o f   th e   4 0 t h   I n tern a ti o n a l  A CM   S IG IR  Co n f e re n c e   o n   Re se a rc h   a n d   De v e lo p m e n t  in   In f o rm a ti o n   Re tri e v a l,   p p .   1 3 7 3 - 1 3 7 3   S h in ju k u ,   T o k y o ,   Ja p a n - A u g u st 0 7 - 1 1 ,   2 0 1 7 .   [2 0 ]   M a rc o   F e rra n te,  e t  a l. ,   " M o d e ll i n g   Ra n d o m n e ss   in   Re lev a n c e   Ju d g m e n ts an d   Ev a lu a ti o n   M e a su re s,"   in   A d v a n c e s in   In f o rm a ti o n   Re tri e v a l.   P ro c .   4 0 th   Eu ro p e a n   Co n f e re n c e   o n   IR  Re se a rc h   ECIR,   2 0 1 8 .   [2 1 ]   S .   B.   b i n   Ro d z m a n   e t  a l. ,   " Ex p e r im e n t  w it h   Tex t  S u m m a riz a ti o n   a s  a   P o siti v e   Hie ra rc h ica l  F u z z y   L o g ic  Ra n k in g   In d ica to r  f o r  Do m a in   S p e c if ic  Re tri e v a l  o f   M a la y   T r a n sla ted   Ha d it h , "   in   2 0 1 9   IEE E  9 t h   S y m p o siu m   o n   Co m p u te r   A p p li c a ti o n s &   In d u str ial  El e c tro n ics   (IS CA IE) ,   M a lay sia ,   2 0 1 9 ,   p p .   2 9 9 - 3 0 4 . d o i :  1 0 . 1 1 0 9 /I S CA IE. 2 0 1 9 . 8 7 4 3 9 8 8 .   [2 2 ]   M o h a m a d   D,  e t  a l. ,   " Hie ra rc h ica l  F u z z y   L o g i c   Co n tro l  S y ste m   fo r  M a lay sia n   M o to r  T a riff   w it h   Risk   F a c to rs,"   Be rr y   M . ,   Hj.   M o h a m e d   A . ,   Ya p   B.   (e d s)  S o f t  Co m p u ti n g   in   Da ta  S c ien c e .   S CDS  2 0 1 6 .   Co m m u n ica ti o n s  i n   Co m p u ter a n d   I n f o rm a ti o n   S c ien c e ,   v o l,   6 5 2 .   S p rin g e r,   S i n g a p o re .   [2 3 ]   A n il   Ku m a r  T i w a ri,   e t  a l. ,   " p e rf o rm a n c e   p re d ictio n   a lg o rit h m   b a se d   o n   f u z z y   d a ta  m in in g , "   IAE S   In ter n a ti o n a l   J o u rn a l  o f  Arti fi c i a l  I n telli g e n c e   ( IJ - AI) ,   v o l,   8 ,   n o .   1 ,   M a rc h   2 0 1 9 .   [2 4 ]   F a rz in   P il tan ,   e t  a l. ,   " Qu a li ty   M o d e l  a n d   A rti f icia l  In telli g e n c e   B a se   F u e l  Ra ti o   M a n a g e m e n t  w it h   A p p li c a ti o n s  t o   A u to m o ti v e   En g in e , "   IAE S   In ter n a ti o n a l   J o u r n a l   o f   Arti fi c i a l  In tell ig e n c e   ( IJ - AI) ,   v o l.   3 ,   n o .   1 ,   M a rc h   2 0 1 4 .   [2 5 ]   T e jal   D.  A p a le,  A ja y   B.   P a ti l. , " Op ti m iza ti o n   stu d y   o f   f u z z y   p a r a m e tri c   u n c e rtain   s y ste m , "   IAE S   In ter n a ti o n a l   J o u rn a l  o f  Arti fi c i a l  I n telli g e n c e   ( IJ - AI) ,   v o l,   8 ,   n o .   1 ,   M a rc h   2 0 1 9 .   Evaluation Warning : The document was created with Spire.PDF for Python.