T E L KO M NI K A ,  V o l. 1 4 ,  N o. 3 S ept em ber   20 1 6 ,  pp.   11 50 ~ 115 6   I S S N :  1 693 - 6 930 ac c r edi t ed  A   b D IK T I,  D e c r e e  N o 58/ D I K T I / K ep/ 2013   D O I :   10. 12928/ T E LK O M N I K A . v 1 4 i 3 . 3805      11 50       R ec ei v ed   M ar c h   1 4 ,  201 6 ;  R ev i s ed  May   3 1 ,  2 01 6 ;  A c c ept e J une   1 5 ,  20 1 6   N e w  S e m i - su p er v ised   Clu s t e r in g   A l g o r it h m  Based  o n   V ar iat io n al Ba y esian  a n d  I t A p p licat i o n       S h o u l i n  Y i n 1 ,  Ji e L i u * 2 ,   L i n  T e n g 3   S of t w ar e C ol l e ge S h eny ang N or m al   U n i ve r si t y ,   N o. 253,  H uangH B ei  S t r eet ,   H uangG u D i s t r i c t ,  S heny ang ,   P . C  1100 34  -   C hi n a   * C or r es pond i ng   aut hor , e - m ai l :   nan1 27@ s ohu. c o m * 1 ,   3 5272 0214@ q q. c om 2 153 255 4069 @ qq. c o m 3       A b st r act   B ic lu s t e r in g   a l gor i t hm  i s  pr o pos e d f or  di s c ov er i ng m at r i x  w i t h bi o l ogi c a l  s i gni f i c a nc i n gene   ex pr e s s i on  d at m at r i x   an i t   i s   us e w i de l y   i m ac hi ne  l ear ni ng  w h i c c an  c l u s t er   t he  r ow   and  c o l um o f   m at r i x .   I or der  t o  f ur t her   i m pr ov e  t he  per f or m anc e o f  b i c l us t er i ng   al gor i t hm ,  t h i s  pa per   pr opos es  a  s em i - s uper v i s ed  c l us t er i ng  al gor i t hm  bas e d on  v ar i at i ona l  B ay e s i an .  F i r s t l y ,   i t  i nt r od uc e s  s u ppl em ent a r y   i nf or m at i on  of   r ow   an c ol u m f or   b i c l us t er i n pr oc e s s   a nd  r e pr es ent s   c or r e s pon di n j oi nt   di s t r i but i o n   pr obab i l i t y   m od el .   I a ddi t i on,   i t   e s t i m at e s   t he  p ar am et er   of   j oi n t   di s t r i but i on  pr oba bi l i t y   m odel   ba s e o n   v ar i a t i on al   B ay e s i a l ear ni ng  m et hod.   F i na l l y ,   i t   es t i m at es   t he  per f or m anc of   pr op os e a l gor i t hm   t hr ou g h   s y nt he s i z ed   dat a   an d r eal  ge n e ex pr e s s i on da t a s et .  E x per i m ent s  s how  t h at   n or m al i z ed  m ut ual  i nf or m at i on   o f  t hi s  p aper s  new  m et ho d i s   bet t er   t han  r el e v a nt  bi c l us t er i n g al g or i t hm s  f or   bi c l us t er i ng a n al y s i s .     K eyw o r d s:   b i c l us t er i n g al g or i t hm ,   v ar i a t i onal  b ay es ia n ,  j o i nt  d i s t r i but i on pr o bab i l i t y ,   s e mi - s up e r v is ed  c l us t e r in g     C o p y r i g h t   ©   20 16 U n i ver si t a s A h mad   D ah l an .  A l l  r i g h t s r eser ved .       1.   I n tr o d u c ti o n   I n t h gi v e n d at a  m at r i x ,  c l us t er i n g t ec hno l o g y   [ 1]   di v i d es  d at a  i n t o s e v er al   gr oups   ac c or di ng  t t h s i m i l ar i t y   of   dat a.   I t he  d i v i s i o gr o up,   t h s i m i l ar i t y   of   t he  eac gr oup  i d at a   s et  i s   v er y   h i gh,  at   t he  s am e t i m e,  s i m i l ar i t y   of  t he  dat a  i n d i f f er ent  gr ou ps  i s  as  s m al l  as   pos s i bl e.  C l us t er i ng  t ec hn i q ue i s  t he m os t  bas i c  r es ear c h c ont en t  i n da t a m i ni n g f i el d.     T her e ar e s om e c l as s i c al  c l us t er i n g a l gor i t hm  i nc l udi ng k - m eans   [ 2,   3] ,  s p ec t r al   c lu s t e r in g   [ 4]  a nd pr oba bi l i t y  m odel i ng m et hods   [ 5]  b as ed on m i x ed m odel .  T hes e al g or i t hm s   t hat  d i v i d e dat a i n t o di f f er ent  gr ou ps  ac c or di n g t o r o w  and c o l um n of  dat m at r i x  ar e s i ng l e   c l us t er i n g al gor i t hm s .  H ow ev er ,   w h en t h e di m ens i on  of  t he  m at r i x  i s  v er y  hi gh ,  c l as s i f i c at i on   per f or m anc of   t he  s i ngl c l us t er i n al gor i t hm   i s   gr eat l y   r es t r i c t ed.   W hen  adopt i ng  bi c l us t er i ng  al g or i t hm   t c l as s i f y   d at i t he  m at r i x ,   t he  s i m i l ar i t y   bet w e en  r o w   a nd  c o l um i m at r i x   s houl be t ak en i nt o c ons i der a t i o n at  t he s am e t i m e.   T her ef or e,  i t  c an i m pr ov e   t h e per f or m anc e of   c l us t er i n g al gor i t hm   c o m m endabl y .  I n r ec om m end ed s y s t em s ,  e ac h r ow  of  t he  m at r i x   r epr es ent s  a us er ,  and e ac h c ol um n r epr es ent s  a c o m m odi t y .  T r adi t i on al  r ec om m endat i on  m et hods  t end t o f i nd  s i m i l ar  c and i dat es  ac c or di ng t o  t he s i m i l ar i t y   of  us er s .  I t ,  ne v er t h el es s ,   pr edi c t s   t hos g oo ds   bas e on   s i m i l ar   c and i da t es .   W i t b i c l us t er i ng   m et hod,   i t   c an  f i nds   s i m i l ar   goods  a nd us er s .  I n g ene  ex pr es s i on an al y s i s  of  bi oi nf or m at i c s ,  eac h r ow  i a m at r i x  dat a   r epr es ent s  a ge ne an d ea c h c ol um n r epr es ent s  a c ond i t i on,  s uc h as  nor m al  s t at e,  a bnor m al   s t at e,   c anc er   di s e as s t at e ,   et c , .   Mea n w h i l e ,   bi c l us t er i ng  al gor i t hm   c an  di v i d s i m i l ar   gene  i nt di f f er ent  gr oups   on t he s i m i l ar  c ond i t i ons ,   w hi c h  c an   b et t er  a nal y z e t he  pat i en t ' s  p at ho l og y .     T he  m ai n i dea  of  t r adi t i o na l  bi c l us t er i n g m et hod  i s  t ha t  i t  c l us t er s  t he r o w  a nd c o l u m o f   m at r i x  t hr ough t r adi t i o na l   c l us t er i n g r es pec t i v e l y   bas ed on t he s i n gl e c l us t er i n g m et hod,  and  t hen  m er ges  c l us t er i ng  r es ul t s .  T y p i c a l   c l us t er i ng  m et hod c ont ai ns   c ou pl e t w o - w a y   c lu s t e r in g   [6 ], f u z z y  c - m eans  c l us t er i n g   [ 7]  an d B i - C or r el a t i o n C l u s t er i ng a l gor i t h m  ( B C C A )  [ 8]  et c .  I n or der   t o av oi d l i m i t at i ons  of  t he t r adi t i o nal  c l us t er i ng a nd b et t er  i m pr ov e t he  ef f i c i enc y  of  t he c l us t er i ng   al g or i t hm ,  f or  ex a m pl e,   S B   H uan g [ 9 ]  pr o pos ed  a f u z z y   c o - c l us t er i ng  a l gor i t hm  w hi c h m i ni m i z ed  di s t anc es   b et w e en  obj ec t s   and  c e nt er s   of   c l us t er s   i eac f eat ur s pac e.   Z F   Y a ng  [ 1 0]   r epr es ent e f u z z y   C - m eans   c l us t er i ng  al g or i t hm   b as ed  on  t h i m pr ov ed  q uant um   par t i c l s w ar m  opt i m i z at i on.  T he l o c al  s ear c h ab i l i t y  a nd q uant um  gat es  updat e s t r at eg y   w er e i m pr ov ed   b y  m ak i ng f ul l  us of  t he ad v a nt ag es  of  f as t  c onv er g enc of  quan t um  par t i c l e s w ar m   Evaluation Warning : The document was created with Spire.PDF for Python.
T E L KO M NI K A     I S S N :  1 693 - 6 930       A  N ew  S emi - s u per v i s ed  C l us t er i ng  A l gor i t h m B as ed  o n V ar i at i o n al  B ay es i an   ( S h o u lin  Y in )   1151   opt i m i z at i o n ( Q P S O ) .  A nd  Z hou  Y  [ 1 1]  s ho w e d a s e m i - s uper v i s e d m et hod t o i m pr ov e t he   c l us t er i n g r es ul t s ,   w hi c ad j us t ed t he s i m i l ar i t y  m at r i x  bas ed o n B a y es i a n i nf or m at i on ,  an d f i x ed  t he c l as s  l ab e l s   on t he r ef er enc e of  t h e p ai r w i s e c ons t r ai nt s   at   l as t .   A l t ho ugh,  t hes e m et hods  ar pr opos e d,  t h er e ar e  s t i l l  s o m e c onv er genc pr ob l em s .     S i t hi s   pap er ,   i t   pr es e nt s   s em i - s uper v i s ed   c l us t e r i ng  al g or i t hm   bas ed on  v a r i abl dec i b el s   B a y es i an.  T hi s   ne w  a l gor i t hm  i s   on t he bas i s   of   t he  m at r i x   dat a,  aux i l i ar y   i nf or m at i on  ar e i nt r o duc ed t o i t s  r ow s  and c ol um ns   r es pec t i v e l y .  T he s t r uc t ur e o f  t he new   s c he m e i s  as   F i gur e   1.  T he i nput  d at a   i n t he  a l gor i t hm  i nc l u des   m at r i x  dat a a nd  aux i l i ar y   i nf or m at i on of   c ol um ns   and r o w s .   A ux i l i ar y   i nf or m at i on  of  c ol um ns  and r o w s  c an  be r e pr es ent e d b y  adj ac e nc y   m at r i x  of  net w or k .   T he c on s t r uc t i on  of  t hi s   pap er  i s  a s  f ol l o w s .   I n s ec t i on  2,   w e  i nt r oduc e  t h m et hod of  new  s c hem e,  i t  c ont ai ns  pr oba bi l i s t i c   m ode l  and t he pr oc es s  of  ne w s e m i - s uper v i s ed  c l us t er i n g a l gor i t hm  bas ed  on v ar i a bl e dec i be l s  B a y es i an.  I n  s ec t i o n 3,   w e m a k e ex per i m ent s  t o   s ho w  t h e ef f i c i enc y   of  our  n e w  s c hem e.  S ec t i o n 4  gi v e s  a c onc l us i on.       F i gur e   1.  S t r uc t ur e of   ne w  s c he m e       2.   T h M e th o d  o N ew  S em i - su p er v i sed   C l u s te r i n g  A l g o r i th m   A s s um i ng   N M R X ×   is   a   M ×N - d im e n s io n   m a t r ix .   A ux i l i ar y   i nf or m at i on  of   c ol um and   r o w i s   W h   and  W c   r es pec t i v e l y .   K   an L   ar e t h e nu m ber  o f  gr oups  i n t he r o w s  and c ol um ns   r es pec t i v el y .   K   a nd  L   ar e   k now w hen m a k i ng do ubl e c l us t er i n g ana l y s i s .  I n addi t i o n,   h m   r epr es ent s  t h e l a t ent   v ar i ab l e of   m - th   r o w.   z n   r e pr es ent s  t he l a t ent   v ar i ab l of   n - th   c ol um ns .  A nd   ) ( 1 M h h h = ) ( 1 N z z z = .     W e  i nt r oduc e  G aus s i a n d i s t r i but i on  2 2 2 ) ( 2 / 1 2 2 ) 2 ( ) , | ( σ µ πσ σ µ = x e x N t   di s t r i but i on    2 / 1 2 / 2 2 1 } ) ( 1 { ) ( ) 2 / ( ) 2 / 1 2 / ( ) , , ( + Γ + Γ = Γ v v x v v v v x µ λ π λ µ   and   Γ di s t r i but i o x e x x β α α α β β α Γ = Γ 1 ) ( ) , , (    t our  ne w  al gor i t hm .   W he r Γ   f unc t i on i s   +∞ = Γ 0 1 ) ( dt e t x t x   i n t he  t   di s t r i b ut i o n.      Let   dx x d x ) ( l og ) ( Γ = ϕ = = y x y x y x 0 1 ) , ( δ .  I n t hi s  p ar t ,  t h e r eas on  w h y   w e   i nt r od uc e G a us s i an  di s t r i b ut i o n a nd  t   di s t r i but i o n i s  t hat  t he y  m a k a c ont r i b ut i on t o  s ol v t he  f ol l o w i ng  pr i or   pr oba bi l i t y ,   p r i or  di s t r i but i o n an d p os t er i or  di s t r i but i on.     2. 1 .   P r o b a b i l i s ti c   M o d el  B ased   o n   A u x ilia r y  In f o r m a ti o n   F i r s t l y ,   w e es t ab l i s h t he n e w  pr oba bi l i s t i c   m odel  f or  our  s c he m e.  I f   m at r i x   X ,  l ur k i ng  v ar i ab l h   an z   ar e  r egar d ed as  dat i nf or m at i on,  t he  j oi nt  pr o bab i l i t y  c an  b e ex pr es s ed b y   t he   f ol l o w i ng f or m ul a:     ) | ( ) | ( ) , , | ( ) | , , , ( 0 0 θ θ θ θ θ p w z p h z X p h z X p h =                               ( 1)     W h er θ   i s  p ar am et er  of  t he j oi nt   di s t r i but i on ,   0 θ   i s  s uper   par am et er  v ec t or .  U nder  t he  c ondi t i o n of  k now θ h   an z ,  c on di t i o nal   di s t r i but i o n of   X   c an be ex pr es s ed  b y  G aus s i an  di s t r i b ut i on:   Evaluation Warning : The document was created with Spire.PDF for Python.
                             I SSN :  1 6 9 3 - 6 930   T E L KO M NI K A     V o l.   1 4 ,  N o 3 S ept em ber   201 6   :   11 50     1 156   1152   ) ) ( , | ( ) | ( ; ) | ( ) , , | ( 1 1 1 = = = = lk lk lk N n z h mn M m s X N X p X p h z X p n m µ θ θ θ           ( 2)     W h er ) , ( lk lk lk s µ θ = .  F or m ul a( 2)  ai m s   t o e ns ur e t hat   dou bl e c l u s t er  el em ent s  c ont ai n  t h e   s a m v al ue  i eac gr ou p.   U nder   t h c ond i t i on  of   k now z w   an h w , z w   and  h w   i s   t he  s uper   par am et er s  of  t he pr i or   k no w l e dge .  O n ac c ount  of  t he f ac t  t hat  aux i l i ar y   i nf or m at i o n i s  gr aph  s t r uc t ur e,   w e   c an   us e   M ar k ov   r andom   f i el d   t o   c al c ul at e   t h pr oba bi l i t y   of   ) | ( h w h p   a n ) | ( z w z p   r es pec t i v el y .  T her ef or e,  pr i or  pr o bab i l i t y  of  l ur k i ng v ar i a bl h   a nd  z   c a n be  r epr es ent e d b y :     = = = = = + M m m L l h l M j j i h ji h A M i l h w h h W w h h e C w h p 1 1 1 1 ) , ( ) , ( / 1 ) | ( δ δ                                        ( 3)     = = = = = + N n n K k z l N j j i z ji z A N i k z w z z W w z z e C w z p 1 1 1 1 ) , ( ) , ( / 1 ) | ( δ δ                                     ( 4 )     W h er h C   and  z C   ar e s t and ar di z ed c o ef f i c i ent ,  and t he y  c a n nor m al i z e ) | ( h w h p   and   ) | ( z w z p   as   dec i m al s   bet w ee an 1.   I f   l ur k i n v ar i a bl e   h   and   z   c a m a k m or c onnec t i on  s har i ng t hr ou gh a ux i l i ar y  g r aph i nf or m at i on  z w   and  h w ,  t h en i t  c a n ob t ai n l ar ger  c on di t i on al   pr oba bi l i t y ,   w h i c s ho w s   t h at   i t   c an  i nt r o duc aux i l i ar y   i nf or m at i on  i nt bi c l us t er i n al gor i t hm   b y   pr oba bi l i t y  d i s t r i b ut i on.   T hi s   paper   as s u m es   t hat   pr i or   di s t r i b ut i on  of   par am et er   θ i s   c onj ugat pr i or   di s t r i but i on,   nam el y :   ) , | ( ) ) ( , ( ) | ( ; ) | ( ) | ( 0 0 1 0 0 0 1 0 1 0 β α ξ µ µ θ θ θ θ θ θ lk lk lk lk K k lk L l s G s N p p p = = = =       ( 5)     2. 2 .   T h N ew  S em i - s u p e r v i s e d  C l u s te r i n g   A l g o r i th m  B a s e d   o n   V ar i a b l e D ec i b el s   B a y e si an   I t h i s   s ubs ec t i on ,   w m ai n l y   i l l us t r at t he   ne w   m et ho t hr o ugh   t h i m pr ov ed  f or m ul as .   T hi s  paper  ado pt s  m at r i x   X   an 0 θ   t o c al c u l at z h   a nd  θ   i n f or m ul a   ( 1) ,  t hen  i t   us es  j oi nt   di s t r i b ut i on t o c on duc t  d ou bl e c l us t er i ng  ana l y s i s .  H o w ev er ,   w h en us i ng  B a y es i an m et hod t s t ud y  t he ab ov par am et er s ,  t he c om put at i on al  c om pl ex i t y   i s  v er y  hi gh.   S o i t  ne eds  a k i nd of   appr ox i m at B a y es i a l ea r ni ng   m et hod.   T hi s   p aper   ado pt s   V ar i a t i o na l   B a y es   m et hod  an as s u m es  t hat  p os t er i or  di s t r i but i on  of  par am et er s  ar e i ndep end ent  of  eac ot h er .   S w e c an  get   t he f ol l o w s :     ) ) ( ( ) ) ( ( ) ) ( ( ) , , ( 1 1 1 1 = = = = = M m m N n n K k lk L l h q z q q h z q θ θ                                  ( 6)     W h er ) ( q   i s  pos t er i or  d i s t r i but i on of  V ar i at i o nal   B a y e s i an.  T hen,   w e op t i m i z V ar i at i ona l   B a y es i a di s t r i but i on  t hr o u gh m i ni m u m  t r ue pos t er i or   di s t r i b ut i on  and  K ul l bac k - Lei b l er  di f f er enc e   of   V ar i at i ona l   B a y es i an  di s t r i but i on  ac c or di ng  t t h k now i nf or m at i on.   T h e   m in im iz a t io n   m et hod i s  eq ui v a l ent  t o t he  pr ev i ous   of   m i ni m i z at i on  B a y e s i an f r ee e ner g y   [1 2 ] ( F [q ]) , n a m e l y :     ] [ ) , , ( ) | , , , ( l og ) | , , ( ) | , , , ( l og ) | ( 0 0 0 0 q F d h z q h z X p h z q d h z X p X F h z h z t = = θ θ θ θ θ θ θ θ θ θ θ θ               ( 7)   Evaluation Warning : The document was created with Spire.PDF for Python.
T E L KO M NI K A     I S S N :  1 693 - 6 930       A  N ew  S emi - s u per v i s ed  C l us t er i ng  A l gor i t h m B as ed  o n V ar i at i o n al  B ay es i an   ( S h o u lin  Y in )   1153   T he B a y es i an f r ee e ner g y ,   w hi c i s  al s o c a l l e d t h e v ar i at i o na l   s t oc has t i c  c om pl ex i t y   an c or r es ponds  t a l o w er   bou nd f or  t he  B a y es i an  ev i d en c e,  i s  a k e y  q uan t i t y  f or  m o del  s e l ec t i on.     W e  as s u m e t hat   ) ( k z q z n k n = = = n k n k z Z ) ( l h q h m l m = = = m l m l h H .   = n mn k n l m m lk X z h X = n lk k n l m m lk X z h X 2 2 .  S w e c ou l get  t he p os t er i or  d i s t r i bu t i o of  V ar i at i o nal  B a y es i an  of   lk µ   and  lk s .     ) , | ( ) ( ); , , | ( ) ( lk lk lk lk lk lk lk lk lk lk lk s s q T q β α α ξ β α µ µ µ Γ = =                          ( 8)     A nd  lk α lk β lk µ   and  lk ξ   c an b e d ef i ned  as  f ol l o w s :     k l lk Z H 2 1 0 + = α α                                                                ( 9)     } { 2 1 2 2 2 0 0 0 lk lk lk lk X µ ξ µ ξ β β + + =                                               ( 10)     lk lk lk X ξ µ ξ µ + = 0 0                                                                   ( 11)     k l lk Z H + = 0 ξ ξ                                                          ( 12)       I n ad di t i o n,  t h e p os t er i or   di s t r i but i on  of  V ar i at i ona l   B a y es i an  ) ( n z q   of   n z   i s a s:     = = = K k n nk nk e e k z q 1 / ) ( γ γ                                                ( 13)        n k γ   c an b e c al c u l at ed  b y   t he f ol l o w  f or m ul a:     = = = = = + + = L l lk lk l L l M m mn lk l m lk lk L l lk lk lk l N j z k k j z n j z Z n k H X h H w z W w 1 1 1 2 1 1 } l og ) ( { 2 1 ) ( 2 1 ) 1 ( 2 1 β α ϕ µ β α α ξ α γ      ( 14)       J us t  as  t he  abo v e,  pos t er i o r  di s t r i b ut i on of   m h   is :     = = = L l m ml ml e e l h q 1 / ) ( η η                                                      ( 15)        ml η   i s a s f o l l o w s:     = = = = = + + = K k lk lk k K k N n mn lk k n lk lk K k lk lk lk k M j h l l j h mj h A ml Z X z Z w h W w 1 1 1 2 1 1 } l og ) ( { 2 1 ) ( 2 1 ) 1 ( 2 1 β α ϕ µ β α α ξ α η       ( 16)   Evaluation Warning : The document was created with Spire.PDF for Python.
                             I SSN :  1 6 9 3 - 6 930   T E L KO M NI K A     V o l.   1 4 ,  N o 3 S ept em ber   201 6   :   11 50     1 156   1154   F i na l l y ,   w e us V ar i at i on al   B a y es i a n m et hod t o ge t   ) ( θ q ) ( z q   a nd  ) ( h q ,  and  put   z h   and  θ   i nt o f or m ul a ( 1)  t o an al y z e  B i c l us t er i n g.       3.   E xp e r i m en t al   re s u l t s an d   an al y s i s   E x per i men t  1.   I t hi s   pa per ,   V ar i at i on al   B a y es i an  s em i - s uper v i s e B i c l us t er i ng  m et hod  i s   abbr e v i at ed   as   V B S B .   W m a k e   c o m p ar i s on  t o   B a y es i a m et hod   ( B M)   and  k - m eans   m et hod.   P er f or m anc e   ev a l u at i on  c r i t er i on  us es   nor m al i z ed  m ut ual   i nf or m at i on( N MI ) ,   a l s w us s ev e r al   ex per i m ent s   t o i l l us t r at e t he n e w   al g or i t h m .     P ar am et er   s e tti n g   of   ex per i m ent s   i s   1 = = h l z k w w 2 0 = α 1 0 = β 1 0 = µ h A z A w w = .   T he y   ar e c l os el y  t o  t he  t r u e v al u es  r ang i n g f r o m  an ac c ept ab l v a l u e.   W e c o mpar e t h e t hr ee   al g or i t hm s  per f or m anc e of  s y nt h et i c  d at a s e t s .   Let   K =3 ,   L =2 ,   e ac gr ou of   bi c l us t er i n c ont a i ns   20  r ow s   an 50  c ol um ns .   F or   c ol um k ) 50 1 ) 1 ( 50 ( k n k k z n + = .   F o ro w   l ) 20 1 ) 1 ( 20 ( k m l k h m + = A f te r   gener at i ng t he gr oups ,   i t   c an pr od uc m ×n   m a t r ix mn X b y  G aus s i an di s t r i b ut i on  ) , ( 2 σ µ lk N W h er = m h l = n z k 1 1 1 = µ 0 1 2 = µ 1 1 3 = µ 0 2 1 = µ 0 2 2 = µ 5 . 0 2 3 = µ .   W us e   t he   t hr ee  p ar am et er s   in R o ut R   and   s R   t gen er at t he  c or r es pond i n aux i l i ar y   i nf or m at i on   net w or k .   W her in R   r epr es ent s   t he  pr opor t i on  of   edge  i n   one  i nt er n al   gr o up.   o ut R   denot es   t he   pr opor t i on  of   edg w i t hi m i x ed  gr oups .   s R   i s   t he  pr op or t i on  of   nodes   w i t l a be l s .   F or   c ol um n   aux i l i ar y  i nf or m at i on  z W ,  i t  pr oduc es   50 × 4 in R   i nt er n al  s i des  and  50 × 5 o ut R   m i xe d   gr oups  s i des .  F or  r o w  aux i l i ar y   i nf or m at i on  h W ,  i t  pr od uc es   20 × 1 in R   i nt er na l  s i de s  and  20× 20 × o ut R   m i x ed gr oups  s i de s .   T r eal i z e a  s em i - s uper v i s e l e ar ni ng  a l gor i t hm ,   i t   r andom l y   r em ov es   50  an 20   s i de s   f or   c ol um and  r o w   r e s pec t i v el y   w i t no  l ab el s   i nod af t er   gener at i ng a ux i l i ar y  n et w or k   z W   and  h W .     D ur i n t he  ex per i m ent s ,   w s el ec t   ( 0. 1, 1, 4) ,   ( 0. 15, 1, 3 )   and  ( 0. 1, 0. 75, 4)   as   t he  v al u of   ( o ut R , s R , 2 σ ) .  F or  eac h v a l ue ,  i t  r an dom l y  pr oduc es  1 0 dat a a nd s el ec t s  t h e av er ag e v a l ue.   F i gur e   and F i gur e   3 i s  N MI  per f or m anc e c o m par i s on of  t he r o w  an d c ol um n c l us t er i ng  w i t h t he  v a l ue ( 0. 1 , 1, 4) .  I n a dd i t i on ,  w i t h t he i nc r eas i n g of  aux i l i ar y  i nf or m at i on  w ei ght ,   N MI  of  V B S B   al g or i t hm  i nc r eas es  f i r s t  an d t he n d ec r eas es .             F i gur e   2.  R o w  c l us t er i n g c o m par i s on w i t h t he  v a l ue ( 0 . 1, 1 , 4)   F i gur e   3.  C ol um n c l us t er i ng  c om par i s on w i t t he  v a l ue ( 0 . 1, 1, 4)          F ro m   F ig ur 2,   w c an  k no w   t ha t   B an k - m eans   m et hod  r eac hes   p l at eau   at   0. 3 and  0. 3   r es pec t i v el y .   W hen  w e i gh t   i s   0. 1 ,   t he  N MI   of   V B S B   i s   ap pr ox i m at el y   0. 8,   w h i c i s   t h hi g hes t .   S i m i l ar l y ,  t he N MI   of  V B S B   i s   s uper i or   to   B M   and k - m eans  i n F ig ur 3.   Evaluation Warning : The document was created with Spire.PDF for Python.
T E L KO M NI K A     I S S N :  1 693 - 6 930       A  N ew  S emi - s u per v i s ed  C l us t er i ng  A l gor i t h m B as ed  o n V ar i at i o n al  B ay es i an   ( S h o u lin  Y in )   1155     T hen w e s e l ec t  ( 0. 1 5, 1, 3)  and ( 0. 1, 0. 75, 4)  as  t h e v al ue of  ( o ut R , s R , 2 σ ) .   R epea t  t he   abo v ex per i m ent s .  A n w e get  t he  F ig u r e   4,   5,   6,   7.             F i gur e   4.  R o w  c l us t er i n g c o m par i s on w i t h t he  v a l ue ( 0 . 15, 1, 3)   F i gur e   5.  C ol um n c l us t er i ng  c om par i s on w i t t he  v a l ue ( 0 . 15 , 1, 3)                F i gur e   6.  R o w  c l us t er i n g c o m par i s on w i t h t he  v a l ue ( 0 . 1, 0 . 75 , 4)   F i gur e   7.  C ol um n c l us t er i ng  c om par i s on w i t t he  v a l ue ( 0 . 1, 0. 75 , 4)       F ro m   F ig ur 4 - w c an   k no w   t h at   t he y   h a v t he  s i m i l ar   r es ul t s .   T he  N MI   per f or m anc e   of  V B S B  a l g or i t hm  obv i o u s l y  ex c ee ds  t ha t  i n  ot h er   t w o a l gor i t hm s  w i t h r eac h i ng p l at eau  at   c ons t ant  l ev el .  I F ig u r e   4,   5,  i f  t he  w ei g ht  of  aux i l i ar y   i nf or m at i on i s  hi gher ,  s o t he N MI   p er f or m anc of   V B S B   a l g o r i t hm   i s   pr ed i c t ed  t ex per i enc a   d ec r eas i n t r e nd.   T her ef or e,     t he   v a l ue of   2 σ   pl a y s  a s i gni f i c ant  i nf l ue nc e on  t he  al gor i t hm .  F i gur e   al s o s h o w s  t hat  N M I   per f or m anc e c o m par i s on  of   t he  r ow  c l us t er i ng  w i t h t h v al ue ( 0. 1 5, 1, 3)   i V B S B   i s   s uper i or   to   B w h i c h onl y  ac c ount s  f or  appr ox i m at el y  0. 5 and  k - m eans  w i t h n ear l y   0 . 4.   T he anal y s i s  i s   s im ila r  t o  F i gur e   7.   I ad di t i on,  V B S B   al gor i t hm  has  a f as t  c onv er ge nc e r at e .  S o  t h e n e w   al g or i t hm   has  bee n pr o v e d.     E x per i men t  2 .     I n or d er  t v er i f y   t he  ef f i c i enc y  of  V B S B  a l g or i t hm ,  w e m a k e an i nt r us i o n d et ec t i on   ex per i m ent   w i t h o ur  ne w   m et hod and m ak e a c o m par i s on  w i t h  r ef er enc e   [ 1 3] .  T he  m et hod i [ 13]   i s  t hat  i t  us es  p ar t   of  m ar k ed dat a  f r o m  t he s am pl e da t a s e t  a nd  ge ner at es  t he  S ee d s et  f or   i ni t i a l i z i ng  t he c l us t er .   B y  c al c ul at i ng t he  E uc l i d ean  di s t anc e be t w ee n m ar k ed poi nt   i n s am pl e   dat a s e t  a nd t he  av er age  v al u e of  l a be l ed  dat a i n e ac h  c l us t er  a nd  get t i ng  t h e i ni t i al  c en t er  p oi nt ,   i t  ef f ec t i v el y   a v o i ds  t h e B l i ndnes s  an d r and om nes s   w hen c ho os i n g i n i t i a l  c l us t er i ng c e nt er  b y   t r adi t i on al   c l us t er i ng   a l go r i t hm .   W i nt r oduc p er f or m anc i ndi c a t or s   t o   c o m par e t he  per f or m anc e of  al gor i t hm s  i nc l ud i n g det ec t i o n r at e ( D R )  and f al s e pos i t i v e r at e ( F P R ) .  I n t h is   ex per i m ent ,  w e s el ec t  r epr es ent at i v e 50 00 dat a.  A n d ot her  dat a ar e s el ec t e d as  i n [ 13] .  T hr ough  t es t i n t he  D R   an F P R   of   5000  a ggr es s i v da t w i t di f f er ent   al gor i t hm s ,   w c an  m eas ur t he  det ec t i on  ef f ec t  of  eac h al g or i t hm .   W e adopt  V B S B  a n d t he m et ho d  i [ 13 ]  an d ge t  t he  det ec t i on   r es ul t s  as  F i gur e   8.   Evaluation Warning : The document was created with Spire.PDF for Python.
                             I SSN :  1 6 9 3 - 6 930   T E L KO M NI K A     V o l.   1 4 ,  N o 3 S ept em ber   201 6   :   11 50     1 156   1156       F i gur e   8.  C om par i s on  w i t V B S B  an d r ef er enc e   [ 1 3]         I t  i s  c l ear l y  f r om  F i gur e   t hat  D R  of  V B S B   near l y   i s  89%   ov er  t h at  of  r ef er enc e   [1 3 abou t  8 7% .  N ev er t he l es s ,  f or  F P R ,  V B S B   onl y   ac c oun t s  f or   r oughl y  30%  and   r ef er enc e   [1 3 ] w i th   35% .   T her ef or e,   t he  r es ul t s   s how  t h at   t h ne w  s em i - s uper v i s ed  c l us t er i n al gor i t hm   bas ed on   V ar i at i ona l   B a y es i a n i s   v er y   ef f ec t i v e f or  t h e de t ec t i on  w i t a l o w er  f al s pos i t i v e r at e.       4.   C o n c l u s i o n   T hi s  paper  put s  f or w ar a  s em i - s uper v i s e d c l us t er i n g al g or i t hm   bas ed on  V ar i at i o na l   B a ye s i a n .  T he  al gor i t hm  not  o nl y  c o nt a i ns  t he t ar get  m at r i x ,  but  a l s i nt r oduc e s  t he  aux i l i ar y   i nf or m at i on  of   r ow   and  c ol u m n   i nt i t s   pr oc es s .   T he  pr opos ed  a l g or i t hm   c o m bi nes   t ar get   m at r i x   w i t h   t he   a ux i l i ar y   i nf or m at i on  as   j o i nt   d i s t r i but i o pr obab i l i t y   m odel ,   t h en  i t   ad o pt s   V ar i at i o nal   B a ye s i a n   l e ar ni n g m et hod   t o es t i m at e par am et er s  i n   t hi s  m odel .  A t  t h end  of  t hi s  p aper ,   w m a k e ex per i m ent s  t hr ough  s y n t het i c  dat a s et s  and c om par e t he V B S B  a l g or i t h m  t o B a y es i an   m et hod and  k - m eans   m et hod  t v er i f y  t h e g ood  p e r f o r m anc e of  pr opos ed  al gor i t hm .  I n t he  f ut ur e,   w e ar ex pec t e d t o s t ud y  m or e adv a nc ed s em i - s uper v i s ed c l us t er i n al g or i t hm s  t o   i m pr ov ed o ur  m et hod an d a ppl y  t hem  i nt o pr ac t i c al   en g i ne er i n g ap pl i c at i ons .       R ef er en ces   [1   P et r i ni  F ,  F e ng  W C , H o i s i e  A , e t a l T he Q uadr i c s  net w o r k  ( Q s N et ) :  hi gh - per f o r m anc e  c l us t er i n g   t ec h nol o gy .  H ot  I n t er c onn ec t s   9,  200 1 ,   I EEE.   200 1:   0 125.   [2   J i a  R Y,  G u a n  YY,   Ya - Long L I .  P ar al l el  k - m ea ns  c l us t er i ng  al gor i t h m  ba s e d on  M apR edu c m od el .   C om put er  E ng i ne er i n g &  D es i gn.   20 14.   [3   T i anhua Li u ,   S hou l i n   Y i n.   A I m pr ov ed   K - M eans   C l us t er i n g A l gor i t hm  f or   K a l m an  F i l t er .   I C I C   E x p r e ss  Let t er s ,  P ar t  B :  A pp l i c at i ons .   2 015 ;   6( 10) .   [4   Long B ,  Z ha ng Z .   S p ec t r a l c lus t e r in g  f or  m u l t i - t y p e r el at i o nal  dat a:  U S 8185 481 B 2 .  2 014.   [5   Luc c hi n i  T ,  D ' E r r i c o G ,  C ont i no F ,  et   a l .  T ow ar ds  t he U s e of  E ul er i a n F i e l d P D F  M et hod s  f o r   Co m b u s t i o n M odel i n g i I C  E n gi ne s .   C om put er  S i m ul at i o n.   2 014 ;  7( 1) .   [6   G et z  G ,  Lev i ne E ,  D om any  E .   C oupl e d t w o - w a y c l u st er i n of  gen e m i c r o ar r ay  dat a .   P r o c eedi n gs  of   t he N at i ona l  A c ade m y  of  S c i e nc e s .   20 00 ;   97.   [7   Lu  C ,   X i ao  S ,   G X .   I m pr ov i ng  f uz z y   C - m eans   c l u s t er i ng   al gor i t hm   bas ed  o de n s i ty - i nduc e d   di s t anc e m eas ur e.   J our nal  of  E ngi ne er i n g.   2 014 ;   1.   [8   B hat t a c har y a A ,  D e R K.  Bi - C or r el at i on C l u s t er i ng A l gor i t hm  ( B C C A )  f or  det er m i ni n g   a s et  of   c o - r egul a t ed gen es B i oi nf or m at i c s 20 09;   25.   [9   H uang S B ,  Y ang X X ,  S hen L S ,  e t  a l .  F u zzy c o - c l us t er i ng al gor i t h m   f or   hi gh - or d er  het er ogene ou s   dat a J our nal  on  C om m uni c at i ons .   201 4.   [1 0   Y ang  Z F ,   S hi   H S ,   S c hool   S E e a l Fu z z y   C - m eans   c l us t er i ng  al g or i t h m   bas ed  on  i m pr ov ed  Q P S O M oder n E l ec t r o ni c s  T ec h ni q ue .   2014 .   [1 1   Z hou Y ,   W a ng Y ,  C hen D ,  et  al .  S e m i - s uper v i s ed s p ec t r a l  c l u s t er i ng  a l gor i t h m  ba s ed  on  bay es i an   dec i s i on J our nal  of   C om put at i onal  I nf or m at i on  S y s t em s 20 15 ;   1 1 (4 ):   13 33 - 1 342.   [1 2   W a t an abe K ,  S hi g a M ,   W at an abe S .  U pper  bo un d f or  v ar i a t i ona l  f r e e ener gy  of  B ay es i a n net w or k s .   M ac hi ne Le ar ni n g.   2 009 ;   75( 2) :   199 - 2 15.   [1 3   X i Z G ,   W a n   L,   C ai   S Y ,   e a l A   s e m i - s uper v i s ed   c l us t er i n al gor i t h m   or i ent ed  t i nt r u s i o n   det e c t i on J our n al  o f  S ha ndon g U ni v er s i t y 20 12.   Evaluation Warning : The document was created with Spire.PDF for Python.