TELKOM NIKA , Vol. 11, No. 7, July 201 3, pp. 3534 ~ 3540   e-ISSN: 2087 -278X           3534      Re cei v ed  Jan uary 28, 201 3 ;  Revi sed Ma rch 1 3 , 2013;  Acce pted Ma rch 3 0 , 2013   Effect of User’s Judging Powe r on the  Recommendation Performance      Li-Yu Mao, Yuan Guan, M i ng-Sheng S h ang*, Shi-M i n Cai  W eb Scienc es Center, Scho ol  of Computer S c ienc e an d En gin eeri ng, Un iv ersit y  of El ectronic Sci ence  a nd  T e chnolog y  of Chin a, Che n g d u  611 73 1, P.R. Chin a   *Corres p o ndi n g  author, e-ma i l : shang.mi ngs hen g@gm ail.c o m      A b st r a ct  In most B 2 C E - commerce websites, rec o mm en der system s  make recomm endations  f o r eac h   indiv i d ual  user  base d  o n  h i s / her histor ical   rating  be havi o rs. Previous  lit eratures foc u s  on th e ov era ll  perfor m ance of  recommender  system , while  the perfor m anc e   of indiv i dual level rec e iv es little attention. In  this pa per, w e  discov e r that reco mme ndati o n alg o rith ms  p e rform  better o n  users w ho h a ve stron g  ju d g in g   pow er, an d vic e  versa. W e  te st our conc lusi on o n   thre e  b e n ch mark data sets,  na mely Movie Lens,  N e tflix,   and  A m a z o n ,   w h ich further   provi de  evid en ce of th e v a li d i ty of o u r fin d i ng. Mor eover,  our  find in g  may   provi de s o me  gui danc e for  d e sig n in g rec o mme n d a tion  al gorith m s  more  efficiently  by  concer nin g  us ers'   different ju dg in g pow er.    Ke y w ords :   Re commen der sy stem, user' s  ju dgi ng p o w e r, colla bor ative filt erin g, RMSE        Copy right  ©  2013 Un ive r sita s Ah mad  Dah l an . All rig h t s r ese rved .       1.  Introducti on  The  rapi d  de velopment  of  Intern et tech nology  ma ke s u s  en co unt er l o ts  of info rmation,  e.g., tens of thou san d s of  movies in  Net f lix, m illions o f  books in Am azo n , over o n e  billion of  we b   page s collect ed by delicio us.com and  so on. How to  find the interesting p a rt a m ong them i s  a  big chall eng e .   The  t r aditio nal sea r ch e ngine   can  on ly pre s e n t all  users  with  the  sam e   re sults,  while  it cann ot provid e p e r so nali z ed  se rvice s   co n c e r ning  different  users’ inte re sts  and  ho bbi es  [1]. With su ch add re ssed  issue, the p e r so nali z ed  re comm end atio n se rvice spri ngs  up, an d  has  been inve stig ated extensiv ely [2] [3]  [4]. In  most B2C e-comm erce web s ites,  recommen d e r  system s re co mmend o b je cts for use r s b a se d on thei r past online b ehaviors (e.g. click, bro w se ,  purcha s e )  an d use r s a r e n o  longe r pa ss ive browse rs but active participant s.  A variety of person a lize d  re comm en dation al gori t hms have  been  pro p o s ed by  resea r chers,  inclu d ing  coll aborative filtering   meth od s [5] [6],  con t ent-ba s ed  m e thod s [7]  a nd  hybrid o n e s   [8]. Howeve r, previou s   work ma inly f o cu se d on t he overall p e rform a n c e s  o f   recomme ndat ion alg o rithm s , while p a id  little attention on t he  re commen dation  perfo rma n ce  of  individual lev e l. But in the real  ca se s,  there  a r e v a riou s  kind s  of use r s, a n d  they may rate   obje c ts in different ways. F o r exampl e, the user may  be som eon e who d o e s  not  taken seri ou sly  about voting,  or he/ she  ha s no  expe rien ce in th e  rela ted field an d  gives  some  irrational  ratin g s .  What’ s   worse,  some mali ciou s spam m e rs give  bia s ed ratin g s i n tentionally. We su ppo se th at  use r s have  di fferent jud g in g po we r, whi c h  may h a ve  some   certai n  impact s  o n  th e pe rform a n c es  of reco mmen dation alg o rit h ms.   There  have b een some ra nkin g  algo rith ms  wh ich ca n be u s e d  to disting u ish  u s ers by  their ju dgin g  power [9] [10] [11]. For example, in  Ref s  [9] [10 ], an iterativ e refin e ment  (IR)  algorith m  is p r opo se d. In [11], the iterative re fineme n t  algorithm is  revise d by De Kerchove a n d   Van Do oren,  whi c h a s sign  trust to ea ch i ndividual  rati ng. In this p a per, we p r op ose  an alg o rit h m  based o n  YZ LM (Yu - Zh an g-La ureti-Mo ret, see i n   Re f  [9]) to me asure  users' j u d g ing p o wer. T he  cla ssi c user-based coll ab orative  filteri ng m e thod  (CF) is u s ed  to te st the   recomme ndat ion  perfo rman ce  on differe nt use r s  with  different jud g i ng po we r. We first divide all u s ers into  different g r ou ps by thei r ju dging  po wer.  Then  we g e t the avera ge  intro-gro up  re comm end atio n  perfo rman ce   of differe nt g r oup s. Th rou g h  exten s ive  e x perime n ts o n   three ben chmark data   sets,  w e  find  th a t   C F  pe r f or ms   b e tte r  on  us er s   w h o  ha ve   s t r o ng er  ju dg in g  po w e r ,  vice  ve rs a .  In   o t h e r   words, it sho w s th at the a c cura cy pe rfo r man c e  on  e a ch  user i s  p o sitively co rre l ated with  his/ her  Evaluation Warning : The document was created with Spire.PDF for Python.
TELKOM NIKA   e-ISSN:  2087 -278X       Effect of user ’ s  judgi ng po wer on the recom m endation perform an ce  (Li-Yu Ma o)  3535 judgin g  powe r . Moreove r , our findin g  m a y provide some guid a n c e for desi gni ng more efficient  recomme ndat ion algo rithm s  co ncerni ng  each user' s  ju dging p o we r.   This pa per ta ckl es the  imp o rtant i s sue  o f  how  to  mea s ure th e u s e r ' s  ju dgin g  p o w er,  an d  find that user' s  jud g ing  po wer i nde ed h a ve a po sitive co rrelation i m pact o n  the  re comme nd ation   perfo rman ce.  The p ape r  is o r gani ze d  as follo ws. Section  1 i s  the int r od uction  part.  The  recomme ndat ion alg o rithm  and m odified  YZLM alg o rit h m are introd uce d  in  se cti on 2. Se ction  3  is abo ut the experime n tal d a ta sets a nd the re sult s  we  get. The last part is ou r co nclu sio n s.         2.  Algorithms and Metric s  2.1.   Us er- B a sed CF  Algo rithm   The ba sic id ea of CF algorithm  can  be di vided i n to two step s: (1) Calcul ate the   simila rities b e twee n the  t a rget  u s er a nd hi s/he r  ne ighbo rs throu gh thei r  histo r y be haviors;  (2 )  Predi ct the target user' s  p r eferen ce fo r an uno bserve d obje c t.  (1) Th e deg ree of similari ty between u s er  u a nd u s er v is measured by form ula (1 )  through  c o s i ne s i milarity. Here,  r u,i  is th e e x is tin g  r a ting  o f  us er  u to o b j ec t i, an d I u  denote s  th e  set of obje c ts rated by use r  u.      u v u v u , i v , i i ︵ I I ︶ 2 2 u , i v , i i I i I r * r s i m ︵ u , v ︶ r * r   (1)     (2) T he predi cted value of  the target u s e r  u to the obje c t i is cal c ulat ed by     u u v , i v . v N u , i u . v N s i m ︵ u , v ︶ * ︵ r r ︶ p r s i m ︵ u , v ︶   (2)     whe r e t he  col l ection  N u  i s  the  set of  u s e r s who  also rated the  obj e c t i. r v.   is the  averag e  ratin g   given by use r  v.    2.2.   Modified  YZML Algor ithm  Most we bsite s  su ch a s  Amazo n , MovieLen s  and  Netflix usually use the a r ith m etical  averag e of the obje c t’s rati ngs a s  the estimation of  its quality. However, it does  not con s id er the  differen c e s  o f  use r s’ j udgi ng po we r. Y Z LM al g o rith m makes a  distin ction b e t ween  users  with  different p r ofil es by th eir ju dging  po wer,  whi c h i s  p r o portion al to u s ers’  weig hts.  Users’ ju dgi ng  power is the n  used by the  weig hted arit hmetic ave r a ge to es timat e  for the objec t’s  quality. In  this   way, we can  get a more a c curate estim a tion for the ob ject’s q uality.      Suppo se  N u s ers a nd M o b ject s in a rating sy ste m . Each u s e r  ha s his/he r own j udgin g   power (d enot ed by  W u  fo r  rater  u, l a rg e r   W u   corre s p ond s to  stron ger judgi ng  p o we r) an d e a c h  obje c t has  a n  intrin sic q u a lity (indicate d by Q j  for o b ject j).  We  assume th at both the jud g i n g   power a nd int r insi c q uality are late nt.  σ 2  , u  repre s e n ts the  deviation of the ratin g  vect or of u s er  u  from the obje c t's qu ality vector, and it ha s an inverse  correl ation wi th W u . The Q j  and  σ 2  , u  will be  estimated by  q j  and V u . In YZLM alg o r ithm, the obj ect’s  quality i s  e s timated  by the wei g h t ed  arithmeti c  av erag e, wh ere  the  wei ghts  is propo rtion a l to user s’ j udgin g  po we r and th e u s ers’  judgin g  po we r are up date d  by the e s timated obj ec t s ’ qu ality. By iterative refi nement, we  can   obtain the  q j  and  V u  a s  cl o s e a s  p o ssibl e  to the hi dd en value s  Q j  and  σ 2  , u  after  converg e n c e o f   the algorith m .   The ori g inal i m pleme n tatio n  of YZLM algorithm  con s i ders only the  case wh en a ll users   have rate d all  object s , whil e it cann ot be  gene rali zed t o  handl e sparse d a ta. In order to p r o c e s s  s p ar se  da ta ,  w e   u s e  A, an  N × M ad jac e nc y ma tr ix, to  r e c o r d   the spare data. If rater  u rat e   obje c t j, A uj =1, otherwi se A uj = 0 [12].  Each  user u i s  a s sign ed  with a  weight v a lue  w u , which is initially set as 1/N.   r u, j  is the  rating  user  u  rate s to o b j e ct j. Th e qu ality of  obje c t j is  estimate d by the  wei ghted a r ithm etic  averag e.  Evaluation Warning : The document was created with Spire.PDF for Python.
                              e-ISSN:  2087 -27 8 X   TELKOM NIKA  Vol. 11, No . 7, July 2013  : 3534 – 354 0   3536 N j u j u u , j u 1 q A w r  (3)     The ratin g  varian ce of user u   is com pute d  as follo ws     u , i M 2 2 j u u u , j u , j M j 1 i 1 1 V A ︵ r q ︶ A  (4)     It should b e   noted that th e  σ 2  , u  som e tim e s may e qua l to 0. Thus,  we  con s trai n  th e   value of  σ 2  , u  to be not le ss than a  ce rtain small va lue  ε >0 to p r event u s er  weig hts from   divergin g (In  our  simulatio n s, we use  ε =10 -8 ). T he u pdated n o rm alize d  wei ght  of use r  u is t hen   given by    - u u N - v v 1 V w V  (5)     whe r e  β≥ 0. It is very obvious that  β =0  corre s po nd s to the simpl e  arithmeti c  averag e.  The highe r  β  will  bri ng the greater penalization  to  users  with larger deviation V u . Yu et  al. [9]   noted th at the  ca se  β =1/2 provides  better nu merical stability of  the  algorit h m  as well as  transl a tional  and  scale inv a rian ce,  while  in Ref [13], t he case  β =1 i s  the o p timal  from the p o int  of  view of  math ematical  stati s tics. Herein,  we  use  β =1  b e ca use it yiel ds  su peri o r p e rform a n c e,  and  t he ca se  β =1/2 doe s not alter the funda mental ch ara c ter of final re sult.  The algo rith m is initialize d  by setting the use r  wei ghts a s  w u =1/N for all users ,  then  iterates  rep e a tedly over the equ ation s  (3, 4, 5)  unti l  the chan ge  of the estima ted quality vector   betwe en two  adja c ent itera t ion step s is l e ss than a ce rtain thre sh ol d value  ∆ .        k 2 j j j ︷ k | q 0 ︸ k 1 | q q ' | ︵ q q ︶ | ︷ k | q 0 ︸ |    (6)     Note th at the  algo rithm m a y fail to con v erge if th e v a lue of th re shold  ∆  i s   set  to be too  small.  Conve r sely, too l a rge value  of thre shol d  may  disrupt the it erative p r o c e ss [9]. Th erefore   it's better to take a fe w trials to ch oo se  an approp ria t e value, and  the value is set as  ∆ =10 -6  in   our s i mulations  [14].    2.3.   Perform a nce Me trics   The  accu ra cy metric is often u s e d  to me asure the  pe rformanc es of  different  recomme ndat ion algo rithm s  [15]. The  mean a b solu te erro r (MA E ) is a wi del y used a c curacy  metric th at compute s  the  mean  ab solut e  deviati on  o f  two sequ en ce s. The  MAE of use r  lev e l,  MAE u , is  c a lculated as  follows :     u u , i u , i i T u u p r M A E T  (7)   whe r e p u,i  i s  the predi cted  rating g ene ra t ed by the alg o rithm of  CF. r u,i  is the  act ual ratin g  u s e r  u   gives to obje c t i in the probe set, and |T u  | is the numb e r of rating s o f  user u in the  probe  set.   The un evenn ess of the weights a s sign ed to  individ ual user  can  be mea s u r e d  by the   inverse pa rticipation ratio  (IPR).  Given th e use r  no rmal ized  weig hts  w u , IPR can b e  comp uted a s     2 1 u u U I P R ︵ w ︶  (8)   Evaluation Warning : The document was created with Spire.PDF for Python.
TELKOM NIKA   e-ISSN:  2087 -278X       Effect of user ’ s  judgi ng po wer on the recom m endation perform an ce  (Li-Yu Ma o)  3537 The IPR i s   reci procal to  anoth e r we ll-kn own m e asu r e, th e  Herfin dahl -Hi r schm an  con c e n tration  index (HHI). The IP R mea s ures the effe ctive numbe r  of  users with  respe c t to their  weig hts w u .  Whe n  all  wei ghts  are e q u a l, w u =1/N, th en IPR=N. B y  cont ra st, when  all  weig h t s but  one are ze ro,  IPR=1.       3.    Experime ntal Re sults   3.1.   Da tas e t s   Thre e ben ch mark data sets are u s e d  to test the algori t hms’ pe rform ances:   (1) MovieLens  (http://www.movielens .org) is   a movie recommendation webs ite, which  use s  u s e r s'  rating s to gene rate p e r so nali z ed  recom m en dati ons. Th e d a ta we u s e d  is  downloaded f r om http://www .grouplens . org/node/73.   (2)  Netflix  (http://www.ne tix . com) pr ov ides the  wo rld' s lar g e s t online v i de o renta l   servi c e, offeri ng mo re tha n  6.7 million  subscri b e r s  acce ss to  85,00 0 DVD and  a  gro w ing li bra r y  of over 4,000  full-length m o vies an d television e p iso des that a r e  available for i n stant watchi ng  on their PCs. The data we use d  is a ra n dom sa mp le that con s i s ts o f  3000 use r s who h a ve rat ed  at least 20 m o vies an d 27 79 movies h a v ing been rated by at least  one user.   (3) Amazon (http://www.amazon. com)  is a multinati onal  e-comm erce company. Th e   origin al  data  were colle cte d   from 28 Jul y   2005  to  27  Septembe r 2 005, an d the  data we u s e d  is a   rand om samp le.  The ba si c sta t istics  of thre e ben chm a rk  data sets a r e  sho w n in  Tab l e 1, in whi c h  we  can   find that they  have differe nt sizes an d  different  spa r sity. In orde r to co mprehe nsively test t h e   recomme ndat ion perfo rma n ce, the data  are ran doml y  divided into two parts: th e 80% trainin g   set (E) an d the 20% pro be set (T ). The inform ation of trainin g  set is trea ted as kn own  informatio n, while n o  information of pro be set is all o wed to u s e fo r pre d ictio n .      Table 1. Basi c statisti cs  of  the tested dat a sets  Data set  User s  O b jects  Ratings  Spar sity   MovieLens 943  1683   100000   6.30×10 - 2   Netflix 3000   2779   197248   2.37×10 - 2   Amazon 3604   4000   134679   9.34×10 - 3       Furthe rmo r e,  the distributi ons of ratin g s  are  sh o w  i n  Figure 1. It is intere sting  that th e   data of MovieLen s and Netflix share the simila r pa ttern, and differ from the data of Amazon. T he  main re ason  may be that the MovieLe ns an d Netfli x  only includ e the media  obje c ts, and  it  make s the  user  ea sily com pare  the  qu alities of  differe nt obje c ts.  Bu t the Ama z on’ s d a ta i s   highl y  spa r se and A m azo n ’s u s e r s only buy/rat e what they a c tually like.         Figure 1.   Di st ribution s  of ra tings in thre e data set s     Evaluation Warning : The document was created with Spire.PDF for Python.
                              e-ISSN:  2087 -27 8 X   TELKOM NIKA  Vol. 11, No . 7, July 2013  : 3534 – 354 0   3538 3.2.   Re sults &  Disc ussio n s   To investig ate the effect o f  users’ ju dgi ng po we r on  recomme ndat ion pe rform a nce,  we   need to co mpute their  judgin g  power by modi fied YZML algorithm. Fig u re 2 sh ows the  histog ram s  o f   σ u 's di stri b u tions for th e thre e d a ta set, in  whi c h  three   subpl ots  rep r e s ent  the  results of M o vieLen s, Netf lix and Amazon, re spe c ti vely. In three  datasets, the  cente r  pe aks of  histog ram s  a r e aro und 1 o r  0.75, whi c h  sug g e s ts t hat  most users’ ratings diffe r from the obje c t s ’  qualities.    0.5 1 . 0 1.5 2 .0 0 20 40 60 80 100 nu mber o f   u s ers e s ti ma ted      M o vieLen s 0.5 1 .0 1.5 2 . 0 0 50 100 150 200 250 nu mber o f   u s ers es tim a ted    N e t f lix 0 . 51 . 0 1 . 52 . 0 2 . 5 0 50 100 150 200 nu mber o f   u s ers e s ti ma ted    A m az on   Figure 2.   Hi st ogra m s of  σ u ' s  dist ribution s  by modified YZLM with  β =1       The val ue  of IPR  clo s ely  relate s to  th e hi stog ram s  of  σ u 's  d i s t r i b u t io ns  acc o r d in g to   equatio n (8).  The IPR valu es  dep end ent  on  β  a r e  su mmari zed  in  Table  2 fo r al l the th ree  da ta  s e ts . The  c a se  β =0  ma ke s the hom oge neou s  weig ht of use r s, whi c h le ad s to th e value s  of IPR  euqal to the total numbe r  of use r s. As  β  increa se s, IPR value gradua lly de cre a se s, indi cati ng   that YZLM algorithm can  distingui sh  betwe en  different u s ers. User s of poor judgi ng p o we r  grad ually lose the right to spea k. We  can find  that  the IPR value of  sparse r dataset  decli nes  faster,  espe ci ally in the  A m azo n . IPR  value d r op s t o  13  when   β =1. Fi gure 2   sho w s that t h e   numbe r of u s ers in the first  bin of Ama z o n  (i.e., with  σ i  clo s e to  ze ro ) is  13. Thi s  v a lue i s  eq ual  to   the value of I P R. The s e  “i deal u s e r s”  with small  esti mated  σ u ≈ε   have ver y  large w u ≈ 1/ ε (a s m all  ε =10 -8  is ch osen as a lo wer bound to avo i d the diverg e n ce of user weights). This  doe s not mea n   that the  effective numb e r  of users i s  1 3  an d  ra ting s of the  othe r users  are n egle c ted. Oth e r  use r s  cou n t for all obje c ts that have not been rat ed  by the “ideal  use r s”. Besid e s, these “id eal  use r s” corre s pond to users with a few ra tings (n ear 8 f o r  β =1). In an  extreme ca se, if a user only  rates a n  obje c t and this o b j ect is only rat ed by him, his estim a ted  σ u = ε .       Table 2. IPRs for three dat a sets  with different  β   Dataset  β =0  β =0.5  β =1  β =1.5  β =2  β =2.5  β =3  MovieLens 943  895  762  557  209  2  3  Netflix 3000   2833   2276   373  5  5  7  Amazon 3604   1242   13  127  140  137  136      With the in cre a se  of  β , “ide al users”  gra d ually app eare d   in Movielens and Netflix.  This i s   becau se YZL M  algorithm i s  a proc ess  of iterative re finement. Wh en  β  is large  enoug h, these  use r s  who in  the first iteration step with  rathe r  small  estimated  σ u   are given la rge weig ht in the  se con d  iterati on step. The n , thes e users’ rating s hav e the right to  spe a k to the estimated q u a lity  values an d f u rthe r lo we r t heir estim a te d  σ u . By re p eating th ese  iteration s ,  σ u  became   sm al ler   and sm alle r. Finally, there  may appea r some “id eal u s ers” with e s ti mated  σ u ≈ ε .   We  equally  divide all  users into te n  gro u p s  a ccordin g to th eir ju dgin g  p o we r by  desce nding  o r de r. Each g r oup con s ist s   of about 10%   of the total numbe r of use r s. We obtain  all  use r s’ MAE u  and  then co unt  avera ge the  MAE u  of ten grou ps.  Figure 3 is a  comp ari s on  of  averag e MAE u  of ea ch  gro up a nd th e a v erage  MAE u  of all  users.  The h o ri zo ntal axis indi ca tes  the averag e judgin g  power ( denote d  by grou p' s avera ge  σ u , smaller  σ u  corre s po nds to strong er  judgin g  p o we r)  of the  user group s, an d  t he ve rtical   axis d enote s  the ave r a g e  MAE u  of u s ers.  The  circle  lin e an d  solid  li ne  rep r e s ent  the intra-g r ou p ave r age  M A E u  and th e  averag e MAE u  of  Evaluation Warning : The document was created with Spire.PDF for Python.
TELKOM NIKA   e-ISSN:  2087 -278X       Effect of user ’ s  judgi ng po wer on the recom m endation perform an ce  (Li-Yu Ma o)  3539 all use r s, re spe c tively. The su bplot s sho w   the re sults of Movi eLen s, Netfli x  and Amazon,  respe c tively. In Fig u re  3, from left to  righ t, we   can  find  that the  aver age j udgi ng  p o we r of  grou ps  is g e tting  wo rse  and  the  av erag e MAE u   of group s  em erge  in  a s cen d ing t r en d. O v erall, the r e  i s  a  positively co rrelated  relati onship bet ween CF’s  M AE and gro up’s ju dgin g  powe r , i.e., the   recomme ndat ion pe rform a nce i s  relatively good i n  the group  wit h  better ju dgi ng po we r , a nd  these users with  po or  ju dgi ng  power have a g r e a t impact o n   the perfo rm ance of the  CF  algorith m .          Figure 3.   Average MAE s  of group s an d a v erage MAE s  of all users for thre e data s ets      Re comm end er  system  ca n’t meet all  u s ers’  dem and s if it treats a ll users e qual ly. The  grou p’s MAE u  is smalle r if it consist s  of users with  b e tter judgin g  power, whi c h  means that the   predi cted  rati ngs g ene rate d by reco mm endatio n algo rithm are  clo s er to the actu al rating sco r e .   But the MAE u  of group s  with lo wer j u dging  power  are  re latively highe r, whi c h mean s that  the  predi cted  rati ngs g ene rate d by the CF  are q u ite  different fro m  the actual  scores. The s e u s ers  with hi gh  MAE u  are  suspe c t to  rai s e th e  average  MA E u  of all  users  (MAE of  sy stem l e vel). S i nce  CF  can not recom m en d a c curately fo r use r s with   poor jud g ing  power,  we  can  utilize  ot her  recomme ndat ion alg o rithm s   whi c h a r e   more  in lin e  with the  u s ers' b ehavio rs  to make the s e  use r s’ MAE u  decrea s e. By  this way, the averag e MA E u  of all users will  be improved. That m a y  be our  sub s e quent re se arch conte n t.      4.  Conclusi on  In this pap er,  we firstly pro pose a natu r al ex tensio n  of the YZLM  algorith m  to g e t use r s’  judgin g  p o we r. The n   we  st udy the Int r a-grou p p e rfo r mances of  CF alg o rithm  i n  ten  group s  with  different judgi ng po wer. Th roug h expe ri ments o n   three ben chm a rk data s ets,  it sho w s that there   is a  po sitively correl ated  relation ship  b e twee n u s e r s’ judgin g  p o wer a nd th e re comm end atio n   perfo rman ce.  That's to say, users wit h  stron g  jud g ing po we r are mo re likely to get b e tter  recomme ndat ion pe rform a nce,  while th e use r s wh o  have poo r ju dging p o wer  can o n ly get bad  recomme ndat ion re sults. Besid e s, the CF algorithm  p r edi cts the ta rget user' s  preferen ce b a sed   on p r efe r en ces  of hi s/her  neigh bor s. Users with better  ju dgin g   p o w er  a c cords with  mai n st re am  prefe r en ce s,  so th e recom m endatio n p e r forma n ce i s   relatively bett e r. On  the  co ntrary, for u s ers   with p oor jud g ing  po wer,  their p r efe r e n ce s  are  mo re p e rso nali z ed a nd  hard  to be  ha ndl ed.  More over, sin c e CF   cann ot  sati sf y preferences for u s e r s with  po or j udgin g  p o we r, we  ca n ta ke   other alg o rith m to cover CF's sho r tage.  This may be  our furth e r  studie s .       Referen ces   [1]    Brin S  an d P a ge  L. T he an atom y of  a l a rg e - scale  h y p e rte x tu al  w e b   s e a r ch e ngi ne.  Com p ut. Netw.  ISDN Syst . 1998; 30: 10 7-11 7.  [2]    Resnick P and  Varian  H R. Recommender s ystems.  Commu n . ACM . 1997; 40(3): 56- 58.   [3]    Abeer Mo ham ed El-kor an y  and Sa lma M o khtar Khat ab . Ontolog y b a s ed Soci al Re commen der   Sy s t e m .  IAES International Journal of Arti ficial Intelligence ( I J-AI).  2012; 1(3): 127-1 38.   [4]    Muhamm ad W a seem C hug ht ai, Ali Bin Se la mat and  Imran  Ghani. Goal- b a s ed h y br id filter ing for user- to-user Perso n a lize d  Rec o m m end ation.  Int e rnati ona l Jour nal of El ectr ica l  and  Co mp ute r  Engin eer in g   (IJECE) . 2013;  3(3).  Evaluation Warning : The document was created with Spire.PDF for Python.
                              e-ISSN:  2087 -27 8 X   TELKOM NIKA  Vol. 11, No . 7, July 2013  : 3534 – 354 0   3540 [5 ]    R e sn i c k P, Ia co vo u N ,  Su cha k  M, Be rg stro m P an d R i ed l  J. Gro u p Len s: An   o p e n   arch i t e c tu re fo r  colla bor ative fil t ering of net ne w s .  In ACM CS CW . 1994; 17 5 - 186.   [6]    Lin den G, Smit h B, and Y o rk  J. Amazon.co m Re comme n datio ns Item-to-Item Colla bor ative F ilteri ng.   IEEE Internet Com p uting . 2 0 03; 7(1): 76-8 0 .   [7]    Pazzan i  MJ and Bil l sus D.  Content-bas ed recommendat ion system s . T he Adaptive  W eb. Berlin .   Heid el berg. 2 0 07; 432 1: 325- 341.   [8]    R Burke.  H y bri d  recomm en de r s y stems: S u rve y  an d e x per i m ents.  User M ode lin g a nd  U s er-Ada pte d   Interaction . 2 0 02; 12(4): 3 31- 370.   [9]   Yu YK, Z h a n g  YC,  Laur eti  P, an d Mor e t L. Dec odi ng  informati on  from n o is y, re d und ant, a n d   intenti o n a ll y d i st orted source s.  Physica A . 2006; 37 1: 732- 744.   [10]    Laur eti P, Moret L, Z hang Y C , and Yu YK.   Information fil t ering vi a itera t ive refinem ent .  EPL . 2006;   75(6): 10 06- 10 12.   [11]    De Kerch o ve  C, Van D oor en  P. Iterative f ilterin g for a d y n a mical re putati on s y st em.  arXiv 071 1. 396 4 ,  200 7.  [12]   De Kerch o ve C  and Van D oor en P.  Reput ati on s y stems an d non ne gativit y.  LNCIS . 2009;  389: 3-16.   [13]   Hoel PG. Introductio n  to Mathemat ic al Stati s tics. W ile y ,  N e w  Y o rk, 198 4.   [14]    Medo C M, W a keli ng J, Mir y l enka RK, et al.   Model of revi e w ers ’  b ehav ior  in peer rev i ew s . Europea n   Commun i t y .R e port numb e r: 2133 60. 20 10.   [15]    Vozal i s  E and  Margaritis   KG.  Analys is of r e c o mmen der sys tem  alg o rith ms . In Proce edi n g s of th e 6t h   Hell en ic Eur o p ean  Co nfere n c e o n  C o mput er Ma th ematic s an d its A p p licatio ns (H ER CMA-20 03),   Athens, Greec e. 2003: 1- 14.   Evaluation Warning : The document was created with Spire.PDF for Python.