I n d on e s i an   Jo u r n al   o El e c t r i c al   En gi n e e r i n g   an d   C o m p u te r   S c i e n c e   V o l .   21 ,   N o .   3 M a r c 2021 ,   pp.   14 65 ~ 1 4 7 3   IS S N :   25 02 - 4752 ,   D O I :   10. 1 1591 / i j e e c s . v 21 .i 3 . pp 146 5 - 1 4 7 3             1465       Jou r n al   h o m e pa ge ht t p: / / i j e e c s . i a e s c or e . c om   N o i se - r o b u st   c l a ss i f i c a t i o n   w i t h   h y p e r g r a p h   n e u r a l   n e t w o r k       N gu ye n   Tr i n h   V u   D an g 1 Lo c   T r an 2 L i n h   T r an 3   1 ,3 H o   C hi   M i nh  C i t y ,   U ni v e r s i t y   of   T e c hno l ogy   ( H C M U T ) ,   V N U - H C M ,   H o   C h i   M i nh   C i t y ,   V i e t na m   2 L a b o r a t o i r e   C H A r t   E A 4004  E P H E - P S L   U ni v e r s i t y ,   V i e t na m       A r ti c l e   I n fo     A B S TR A C T   Ar t i c l e   h i s t or y :   R e c e i v e d   S e 23 ,   2 020   R e v i s e D e c   7 ,   2 020   A c c e pt e D e c   23 ,   2 020       T hi s   p a pe r   pr e s e nt s   a   no v e l   v e r s i o o f   h y pe r g r a ph  ne u r a l   ne t w o r m e t ho d.   T hi s   m e t ho i s   ut i l i z e t o   s o l v e   t he   no i s y   l a be l   l e a r ni ng   pr o bl e m .   F i r s t ,   w e   a ppl y   t he   P C A   di m e n s i o na l   r e duc t i o n   t e c hn i que   t o   t he   f e a t u r e   m a t r i c e s   o f   t he   i m a g e   da t a s e t s   i o r de r   t o   r e duc e   t h e   no i s e   a nd  t h e   r e du nda nt   f e a t ur e s   i n   t he   f e a t u r e   m a t r i c e s   o f   t he   i m a g e   da t a s e t s   a nd  t o   r e d uc e   t h e   r un t i m e   c o ns t r uc t i ng   t h e   hy pe r g r a ph  o f   t he   hy pe r g r a ph   ne u r a l   ne t w o r m e t h o d.   T he n ,   t he   c l a s s i c   g r a ph  ba s e s e m i s upe r v i s e l e a r n i ng   m e t ho d,   t h e   c l a s s i c   hy pe r g r a ph  ba s e s e m i - s up e r v i s e l e a r n i ng   m e t ho d,   t he   g r a ph  ne u r a l   ne t w o r k ,   t h e   hy pe r g r a ph  ne ur a l   ne t w o r k ,   a nd  o ur   pr o po s e hy pe r g r a ph  ne u r a l   ne t w o r k   a r e   e m pl o y e t o   s o l v e   t h e   no i s y   l a be l   l e a r n i ng   pr o b l e m .   T h e   a c c ur a c i e s   o f   t h e s e   f i v e   m e t ho ds   a r e   e v a l ua t e d   a n c o m pa r e d .   E x pe r i m e n t a l   r e s ul t s   s ho w   t ha t   t he   hy pe r g r a ph  ne u r a l   ne t w o r m e t ho ds   a c hi e v e   t he   b e s t   pe r f o r m a nc e   w he t he   no i s e   l e v e l   i nc r e a s e s .   M o r e o v e r ,   t he   h y pe r g r a ph  ne ur a l   n e t w o r k   m e t ho ds   a r e   a t   l e a s t   a s   g o o a s   t he   g r a p n e u r a l   n e t w o r k.   Ke y w or d s :   G ra p h   H y pe r gra p h   N e ur a l   n e t w o r k   N o i s y   l a b e l   l e a rni n g   S e m i - s upe r v i s e l e a rni n g   T hi s   i s   an   ope n   ac c e s s   ar t i c l e   u nde r   t he   C C   B Y - SA   l i c e ns e .     Cor r e s pon di n g   Au t h or :   L i nh  T ra n   D e pa rt m e n t   o f   E l e c t r o n i c s   H o   Ch i   M i nh  Ci t y   U n i v e r s i t y   of   T e c hn o l o g y   ( H CM U T ),   V N U - H CM   268  L y   T h uo n K i e t   S t r e e t ,   D i s t r i c t   10 ,   H o   Chi   M i nh  Ci t y ,   V i e t n a m   E m a i l :   l i nht ra n@ h c m ut . e d u. v n       1.   I N TR O D U C TI O N     D uri n t h e   l a s t   de c a de ,   t h e   de e c o n vo l ut i o n   n e u r a l   n e t w o rk  c a n   b e   c o n s i de r e t h e   c urr e nt   s t a t e   of  t h e   a r t   m e t h o f o r   v a r i o us   c l a s s i f i c a t i o n   t a s ks   s uc h   a s   i m a ge   r e c o gn i t i o [ 1] ,   s pe e c h   r e c o gn i t i o n   [2 ] ,   t o   n a m e   a   f e w .   R e c e n t l y ,   t o   de a l   w i t i rr e gu l a d a t a   s t r uc t u r e s ,   d a t a   s c i e n t i s t s   ha v e   ga i n e m a n y   i n t e r e s t s   i g ra p h   c o n vo l ut i o n   n e u ra l   n e t w o r m e t h o s uc h   a s   [ 3 ] .   I n   t h i s   m e t h o d,   t h e   p a i r w i s e   r e l a t i o n s hi ps   b e t w e e n   o bj e c t s   (s a m p l e s a r e   us e d.   I n   t h e   o t h e r   w o r ds ,   i t hi s   g ra p h   d a t a   s t r uc t u r e ,   t h e   e dge   o f   t h e   g r a p c a n   c o nn e c t   o n l y   t w o   v e r t i c e s .     T o   ov e r c o m e   t h e   i n f o rm a t i o n   l o s s   due   t o   o n l y   c o n s i de ri n t h e   pa i r w i s e   r e l a t i o n s h i p   b e t w e e n   ob j e c t s   of   gr a p h   d a t a   s t r uc t u r e   [4 ,   5]  ha v e   r e c e n t l y   pr o po s e t h e   h y pe r gra p h   n e u ra l   n e t w o r a pp r o a c h .   I n   t h i s   h y pe r gra p h   da t a   s t ruc t u r e ,   a n   e dge   ( h y pe r e dge c a n   c o nn e c t   m o r e   t h a t w o   ve r t i c e s .   I n   t h e   o t h e r   w o r ds ,   t h e   h y -   pe r e dge   i s   t h e   s ub s e t   o f   t h e   s e t   o f   v e r t i c e s   of   t he   h y pe r gra p h.   R e c e n t l y ,   t h i s   h y pe r gra p h   n e u ra l   n e t w o r m e t h o h a s   j us t   b e e n   e m pl oy e t o   s o l v e   c l a s s i f i c a t i o n   t a s ks   [4 ,   5]  a nd  o ut pe r f o r m s   t h e   g ra p h   n e u r a l   n e t w o r a nd  c a n   b e   c o n s i de r e t h e   c u rr e n t   s t a t e   o f   t h e   a r t   m e t h o o f   s e m i - s upe r v i s e l e a rni n a pp r o a c h .   H ow e ve r ,   t hi s   m e t h o d   h a s   a l s o   n o t   b e e n   u t i l i z e t o   s o l v e   t h e   n o i s y   l a b e l   l e a rn i n g   p r o b l e m .     In s p i r e f r o m   t h e   i de a   c o m b i ni n t h e   pa ge ra n a l go r i t h m   w i t h   t h e   g ra p h   c o n v o l ut i o n   n e u ra l   n e t w o r i n   [6],   i n   t hi s   pa pe r,   w e   pr o po s e   t h e   n o v e l   ve r s i o n   o f   h y p e r g r a p h   n e ura l   n e t w o r m e t h o c o m b i n i ng  t h e   c l a s s i c   h y pe r gra p h   b a s e s e m i - s upe r v i s e l e a rni n m e t h o [7,   8]  w i t h   t h e   h y pe r gra p h   n e u r a l   n e t w o r k     m e t h o [4,   5] .   I n   t h e   o t h e r   w o r ds ,   w e   c o m b i n e   t h e   p r o pa g a t i o n   s c h e m e   u t i l i z i n t h e   h y pe r g r a p m o de l   w i t t h e   h y pe r gra p h   n e u ra l   n e t w o r w h i c h   i s   t h e   c urr e nt   s t a t e   of   t h e   a r t   m e t h o o f   s e m i - s upe r v i s e l e a rni n Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2502 - 4752   In do n e s i a J   E l e c   E ng  &   Co m S c i ,   V o l .   21 ,   N o .   3 M a r c 2 021   :     1 4 6 5   -   1 4 7 3   1466   a pp r o a c h.   W e   f i n d   o ut   t ha t   t hi s   p r o po s e c o m b i n a t i o n   o f   t he   pr o pa g a t i o n   s c h e m e   a n t h e   h y pe r gra p h   n e u ra l   n e t w o r m e t h o s i g n i f i c a n t l y   i m pr o v e s   t h e   a c c ur a c y   of  t h e   h y pe r gra p h   n e u r a l   n e t w o r m e t h o a l o n e   e v e n   w h e n   t h e   n o i s e   p r e s e n t s   i t h e   l a b e l s .     In  t hi s   p a pe r ,   o ur  c o n t ri b ut i o n s   a r e   t hr e e - f o l ds :   a)   In  o r de r   t o   r e duc e   t h e   r u nt i m e   c o n s t r uc t i n t h e   g ra p h s   a n t he   h y pe r gra p h s   f r o m   t h e   i m a ge   d a t a s e t s ,   w e   a ppl y   t h e   di m e n s i o na l   r e duc t i o t e c hn i que   P CA   t o   t h e   i m a ge   da t a s e t s .     b)   P r o po s e   t h e   n o v e l   v e r s i o n   of   h y pe r gra p h   n e ura l   n e t w o r m e t h o c o m b i n i n t h e   c l a s s i c   h y pe r gra p b a s e s e m i - s upe r v i s e l e a rni n g   m e t h o w i t t h e   h y pe r gr a p h   n e u r a l   n e t w o r m e t h o d.     c)   Co m pa r e   t h e   a c c ura c y   pe r fo r m a n c e   m e a s u r e s   of   t h e   c l a s s i c   gra p h   b a s e s e m i - s upe r v i s e l e a rn i ng   pr o b l e m ,   t h e   c l a s s i c   h y p e r g r a p h   b a s e s e m i - s upe r v i s e l e a rn i ng  pr o b l e m ,   t h e   gra p h   n e u r a l   n e t w o r m e t h o d,   t h e   h y pe r gra p h   n e u ra l   n e t w o r m e t h o d,   a nd  o ur  p ro pos e h y pe r g r a p n e u r a l   n e t w o r m e t h o w h e n   w e   a pp l y   t h e s e   f i v e   m e t h o ds   t o   s o l v e   t h e   n o i s y   l a b e l   l e a rn i ng  p r o b l e m .     W e   w i l l   o rg a ni z e   t h e   pa pe r   a s   f o l l ow s :   S e c t i o n   w i l l   di s c us s   t h e   r e l a t e w o r k.   S e c t i o w i l l   i n t r o duc e   t h e   n o v e l   ve r s i o n   o h y p e r g r a p h   n e ura l   n e t w o r m e t h o d.   S e c t i o n   w i l l   de s c r i b e   t h e   da t a s e t s   a n d   pr e s e nt   t h e   e xpe ri m e n t a l   r e s ul t s .   S e c t i o n   w i l l   c o n c l ude   t h i s   pa p e r   a n t h e   f ut u r e   di r e c t i o n   o f   r e s e a r c h e s   w i l l   b e   di s c us s e d.         2.   R ELA TED   WO R K   L e a rn i ng  w i t h   l a b e l   n o i s e   ga i n s   m a n y   i n t e r e s t s   s i n c e   l a b e l   n o i s e   m a y   l e a t o   m a n y   un de s i ra b l e   c o n c e r n s   s uc h   a s   t h e   de c r e a s e   i n   l e a rn i ng  pe r f o r m a n c e .   T h e   c urr e n t   s t udi e s   a s s o c i a t e d   t o   t h i s   p r o b l e m   c a n   b e   a s s e m b l e i n t o   t hr e e   m a i n   g r o ups   [ 9 ]:   a)   Ro b us t   m o de l   a pp r o a c h   b)   D a t a   f i l t e r i ng  a pp r o a c h   c)   Inh e r e n t l y   n o i s e - t o l e r a n t   l e a rni n g   a pp r o a c h     2 . 1 .       R o b u s mo d e l   ap p r o ac h   T hi s   a pp r o a c h   e m pi ri c a l l y   s t udi e s   t h e   r o b us t n e s s   p r o pe rt y   of   v a r i o us   c l a s s i c a l   c l a s s i f i c a t i o a l go ri t hm s   s uc a s   N a   ̈ı v e   B a y e s   pr o b a b i l i s t i c   c l a s s i f i e r ,   C4 . 5   de c i s i o t r e e ,   t h e   S M O   s u ppo r t   v e c t o r     m a c h i n e   [9],   t o   na m e   a   f e w .   E xpe r i m e n t a l   r e s ul t s   s h o w   t h a t   t h e   N a   ̈ ı v e   B a y e s   pr o b a b i l i s t i c   c l a s s i f i e a nd  t h e   ra n do m   f o r e s t   e n s e m b l e   c l a s s i f i e r   a r e   t h e   m o s t   r o b us t   c l a s s i c a l   c l a s s i f i c a t i o s y s t e m s   a ga i n s t   n o i s e   l a b e l   [9] .   H ow e ve r ,   t h e   w e a k n e s s   of   t h e s e   c l a s s i c a l   c l a s s i f i c a t i o n   i s   v e r y   c l e a r.   F i r s t ,   t h i s   a pp r o a c i s   i na c t i v e .   I n s t e a of   r e f i n i ng  a n d   c ha n g i n t h e   c l a s s i c a l   c l a s s i f i c a t i o n   a l go r i t hm s ,   t h e y   o n l y   e xpl o r e   t h e   r o b us t n e s s   pr o p -   e r t y   of  c o m m o n l y   us e c l a s s i f i c a t i o n   s y s t e m s .   S e c o n d,   t h e   m o s t   r o b us t   c l a s s i f i c a t i o n   s y s t e m   i s   e ff e c t i v e   o n l y   w h e t h e   pe r c e nt a ge   o f   l a b e l   n o i s e   i s   m i n o r.   T h e   pe r f o r m a n c e   of   t h e   m o s t   r o b us t   c l a s s i f i c a t i o n   s y s t e m   dr o ps   s i g n i f i c a n t l y   w h e t h e   pe r c e nt a ge   o f   l a b e l   n o i s e   i s   h uge .     R e c e n t l y ,   t h e   de e n e ura l   n e t w o r ks   (i . e . ,   t h e   m o de rn  c l a s s i f i c a t i o n   s y s t e m s h a v e   b e e n   e s t a b l i s h e a n w e l l   de v e l o pe d.   F o r   e xa m pl e ,   t h e   de e c o n v o l ut i o n   n e u ra l   n e t w o r c a n   b e   c o n s i de ri n t h e   c urr e n t   s t a t e   of  t h e   a r t   a nd  t h e   b e s t   c l a s s i f i c a t i o n   s y s t e m   f o r   i m a ge   r e c o gn i t i o n   p r o b l e m   [ 1] .   H ow e ve r ,   [10 - 12 s h o w e t ha t   a   de e n e ura l   n e t w o r w i t h   h uge   e n o ugh   c a pa c i t y   c a n   m e m o r i z e   t h e   t ra i ni n s e t   l a b e l s   e ve n   w h e n   t h e y   a r e   ra n do m l y   m a de .   H e n c e ,   t h e y   a r e   m o s t l y   v ul n e r a b l e   t o   t h e   l a b e l   n o i s e .   S i m i l a r   t o   c l a s s i c a l   c l a s s i f i c a t i o s y s t e m s ,   l a b e l   n o i s e   c a n   c a us e   o v e r f i t t i n g   a n d   s i g n i f i c a nt l y   dr o t h e   de e n e u r a l   n e t w o r ks ’  pe r f o r m a n c e .     H ow e ve r ,   [1 2]  o b s e r ve t ha t   w h e t h e   l e a rni n g   r a t e   i s   hi g h,   de e n e u r a l   n e t w o r ks   m a y   pr e s e r v e   qui t e   e xt r a o rdi na r y   a c c ur a c y .   In   t h e   o t h e r   w o r ds ,   t h e   i n f l ue n c e   of   t h e   l a b e l   n o i s e   i s   n o t   i m po r t a n t .   T hi s   ob s e r v a t i o n   w a s   e m pl oy e i n   [12]  t o   pr e s e r v e   a n   a pp r o xi m a t i o n   o t h e   l a b e l s   us i n t h e   r u nni n a v e ra ge   of  de e n e u r a l   n e t w o r k’s   f o r e c a s t s   w i t h   a   h i g h   l e a rn i ng  ra t e .   T h e s e   a pp r o xi m a t i o n s   t h e n   c a n   b e   ut i l i z e a s   t h e   c o n t r o l   (o r   s upe r v i s i o n s i g na l s   t o   t ra i t h e   de e n e u ra l   n e t w o r k.   I n s p i r e by   t h e   w o r o f   [10 - 12]  a n d     [ 4 - 6 ,   1 3 ],   i n   t hi s   pa pe r,   w e   w i l l   de v e l o t h e   gra p h   a n h y pe r g ra p h   c o n v o l ut i o n   n e u ra l   n e t w o r m e t h o ds   a nd  a ppl y   t h e s e   m e t h o ds   t o   s o l v e   t h e   n o i s y   l a b e l   l e a rni n g   p r o b l e m   (us i n t h e   i m a ge   da t a s e t s   s uc h   a s   M N IS T ,   U S P S ,   a n F A S H IO N   M N IS T ).   T o   t h e   b e s t   of   o ur   k n o w l e dge ,   t h i s   w o r ha s   n o t   b e e n   i n v e s t i ga t e a n d   de ve l o pe d.     2 . 2     D at f i l t e r i n ap p r o ac h   In   t hi s   a pp r o a c h ,   t h e   s a m pl e s   w i t h   n o i s y   l a b e l s   a r e   di s t i ngui s h e a n f i xe be fo r e   t h e   t ra i ni n g   pr o c e s s .   T h e   rui n e l a b e l s   c a n   b e   m e r e l y   e l i m i na t e o r   r e l a b e l e a t   t h e   v e r y   b e gi nn i ng.   O n e   i de a   i s   t o   e m pl oy   t h e   f o r e c a s t s   f r o m   t h e   c l a s s i f i c a t i o s y s t e m   (fo r   e . g .   t h e   S V M   s y s t e m t o   de t e c t   m i s l a b e l e s a m pl e s .   T h e   c l a s s   of   t h e s e   m e t h o ds   i s   c a l l e t h e   c l a s s i f i c a t i o n   f i l t e r i ng  s y s t e m .   H ow e ve r ,   f i l t e r i n a l l   t h e   s a m p l e s   t ha t   a r e   m i s c l a s s i f i e by   t h e   c l a s s i f i c a t i o f i l t e r i ng  s y s t e m   i s   t o o   i n f l e xi b l e   a n d   r i s ky   s i n c e   t h e   c l a s s i f i c a t i o n   f i l t e r i ng  s y s t e m   l e a rn e d   f r o m   da t a   w i t h   n o i s y   l a b e l s   m i g ht   n o t   a l w a y s   b e   a c c ur a t e .     Evaluation Warning : The document was created with Spire.PDF for Python.
In do n e s i a J   E l e c   E ng  &   Co m S c i     IS S N :   2502 - 4752       Noi s e - r ob us t   c l as s i f i c at i on   w i t hy p e r gr aph   ne ur al   ne t w or k   ( Nguy e T r i nh  V u   D ang )   1467   k - nn  c l a s s i f i c a t i o n   s y s t e m s   i s   r e l a t e t o   a n o t h e r   c l a s s   o f   m e t h o ds .   k - nn   c l a s s i f i c a t i o n   s y s t e m s   a r e   s h o w n   t ha t   t h e y   a r e   v e r y   v ul n e r a b l e   t o   l a b e l   n o i s e .   H e n c e   s om e   k - n m e t h o ds   t a r ge t   a t   i m p r o v i ng  o c ha n g i n g   t h e   r u l e s   of   k - nn  a l go r i t h m s   t o   r e c o gn i z e   n o i s y   l a b e l s   a n t h e n   e l i m i na t e   o r   r e l a b e l   t h e   a s s o c i a t e s a m p l e s .   H ow e ve r ,   t h e   m e t h o ds   a s s oc i a t e t o   t h i s   c l a s s   a r e   h e u r i s t i c s   a n m i g ht   n o t   be   e ffe c t i ve   fo r   s a m pl e s   t h a t   a r e   c l o s e   t o   t h e   c l a s s i f i c a t i o n   b o un da r y .   M o r e ov e r ,   t h e   c h o i c e   of  (i . e .   t h e   n u m b e r   o f   n e i gh b o r s m i g ht   a f f e c t   t h e   pe r f o r m a n c e   o f   t h e s e   m e t h o ds   c o n s i de ra b l y .     S o m e   da t a   f i l t e r i n g   m e t h o ds   de pe n o n   s o m e   t hr e s h o l d s .   T he s e   m e t h o ds   c o m put e   t h e   s c o r e   f o r   e a c s a m pl e   by   us i n s o m e   m e a s ur e s   a n e l i m i n a t e   t h e   s a m pl e s   t ha t   a r e   a b o v e   t h e   de f i n i t e   t hr e s h o l d .   O b v i o us l y ,   t h e s e   m e t h o ds   a r e   s i m i l a r   t o   o ut l i e r   o r   a n o m a l y   o r   a b n o r m a l   de t e c t i o n   m e t h o ds   w h i c h   a r e   v e r y   h a r d   t o   s o l v e M o r e ov e r ,   i t ’s   v e r y   di ff i c ul t   t o   di f fe r e n t i a t e   t h e   a c c ura t e   e x e m pt i o n s   f r o m   t h e   m i s l a b e l e s a m p l e s .   L a s t   b ut   n o t   l e a s t ,   fo r   t h e   da t a   f i l t e r i ng  a pp r o a c h ,   t hi s   a pp r o a c h   t e n d s   t o   e l i m i na t e   a   l a r ge   a m o unt   of   s a m pl e s ,   w h i c m a y   c o n t a i n   ke y   i n f o r m a t i o n   f o r   c l a s s i f i c a t i o n .   E a s i l y ,   w e   c a n   a l s o   r e c o gn i z e   t h a t   w e   c a n   e m pl oy   t h e   fo r e c a s t s   f r o m   de e n e u ra l   n e t w o r ks   t o   de t e c t   m i s l a b e l e s a m pl e s .       2 . 3     I n h e r e n t l n o i s e - to l e r an t   l e ar n i n ap p r o ac h   In  t hi s   a pp r o a c h ,   t h e r e   a r e   t w o   w a y s   t o   a t t a c t h e   n o i s y   l a b e l   l e a rni ng   p r o b l e m   a)   F i r s t ,   t hi s   w a y   w i l l   m o de l   t h e   n o i s y   l a b e l   be fo r e   o r   du r i ng  t h e   t ra i ni n g   p ha s e   t o   t a ke   t h e   n o i s y   l a b e l   i n t o   a t t e n t i o n.   T hi s   m o de l   h o l ds   t h e   i n f o r m a t i o n   o f   t h e   n o i s e   a n c a n   b e   i n s e rt e i n t o   t h e   c l a s s i f i c a t i o   s y s t e m   [14 - 18].   H ow e v e r ,   i o r de r   t o   b ui l t h e   m o de l   f o r   n o i s y   l a b e l ,   t h e s e   m e t h o ds   r e qui r e   s uppl e m e n t a r y   pa r a m e t e r s ,   t h a t   m i g ht   i n c r e a s e   t h e   t i m e   c o m pl e xi t y   a n d   t h e   m o de l   c o m pl e xi t y .   W e   kn o w   t h a t   hi g m o de l   c o m pl e xi t y   o c c a s i o n a l l y   l e a ds   t o   o v e r - f i t t i n g .     b)   S e c o n d,   t hi s   w a y   pr o p o s e s   t h e   r o b u s t   l o s s   f un c t i o n   f o r   t h e   n o i s e - t o l e r a nt   m o de l .   F o r   e x a m p l e ,   [1 9]  e xpl o r e t h e   r o b us t n e s s   of   v a r i o us   l o s s   f un c t i o n s   s uc a s   m e a n   s qu a r e l o s s ,   m e a a b s o l ut e   l o s s ,   a n d   c r o s s   e n t r o p y   l o s s .   In  [20] ,   c o m b i n e t h e   b e n e f i t s   of   t h e   m e a a b s o l ut e   l o s s   a n d   t h e   c r o s s   e n t r o py   l o s s   t a t t a i t h e   i m p r o v e l o s s   f un c t i o n .         3.   H Y P ER G R A P H   N EU R A L   N ET WO R K   3. 1 .     P r o b l e m   fo r mu l ati o n   In   t hi s   pa pe r ,   w e   w o ul l i ke   t o   s o l ve   t h e   n o i s y   l a b e l   l e a rn i n g   p r o b l e m   [10,   21].   T hi s   p r o b l e m   c a n   a l s o   be   c a l l e t h e   l a b e l   di s t r i b ut i o n   l e a rni n g   p r o b l e m   [22],   t o   n a m e   a   f e w .   In   t h i s   p r o b l e m ,   l e t   X t r a i n = { x 1 , x 2 . . . , x l }   b e   t h e   t r a i ni n s e t ,   w h e r e   x i     m .   x i   c a n   a l s o   b e   c a l l e t h e   f e a t ur e   v e c t o r   i   o r   i n s t a n c e   i   o r   s a m p l e   i   o t h e   t r a i n i ng  s e t   w i t h   1≤i ≤l .   L e t   Y L = { y 1 ,y 2 , . . . , y C }   b e   t h e   c o m pl e t e   s e t   of   l a be l s   w h e r e   C   i s   t h e   n u m b e r   o f   c l a s s e s   i n   t h e   da t a s e t .   F o r   e a c h   s a m p l e   ,   t h e r e   i s   a   l a b e l   di s t r i b ut i o = { 1 , 2 , , } .   P l e a s e   n o t e   t h a t     i s   t h e   p r o b a b i l i t y   t h a t   t h e   s a m pl e     b e l o n gs   t o   t h e   c l a s s   c F ro m   t h e   a b ov e   d e f i n i t i o n ,   w e   kn o w   t ha t   0 1   a n d   = 1 .   T h e   o b j e c t i v e   of   t h e   n o i s y   l a b e l   l e a rni n g   p r o b l e m   i s   t o   l e a rn  a   m a ppi ng   f un c t i o :   b e t w e e n   t h e   s a m p l e   x   a nd  i t s   c o rr e s po n di n l a b e l   di s t ri b ut i o f un c t i o n   d .   I t h e   o t h e r   w o r ds ,   t h e   go a l   o f   n o i s y   l a b e l   l e a rn i ng   i s   t o   l e a rn  t h e   c o n d i t i o na l   p r o b a b i l i t y   m a s s   f u n c t i o ( | ) ,   w h e r e   , .   A s s um e   t ha t   ( | )   i s   t h e   p a ra m e t ri c   m o de l   ( | , ) ,   w h e r e     i s   t h e   p a r a m e t e v e c t o r .   G i v e n   t h e   t ra i ni n g   s e t   ,   w e   n e e t o   f i n d   (i . e . ,   s o l v e   fo r   t h a t   c a n   ge n e r a t e   t h e   di s t ri b ut i o s i m i l a r   t o     [23].     3. 2 .     P r e l i m i n ar n o tati o n   an d   d e f i n i t i o n s   G i v e n   a   h y pe r gra p h   G = ( V ,   E ) ,   w h e r e   V   i s   t h e   s e t   of  ve r t i c e s   a n E   i s   t h e   s e t   of   h y pe r - e dge s .   E a c h y pe r - e dge     i s   t h e   s ub s e t   of   V .   P l e a s e   n o t e   t h a t   t h e   c a rdi na l i t y   of   e   i s   gr e a t e r   t ha n   o e qua l   t w o .   In   t h e   o t h e w o r ds ,   | | 2 ,   f o r   e v e r y   .   L e t   w ( e )   b e   t h e   w e i gh t   o f   t h e   h y pe r - e dge   e .   T h e n   W   w i l l   b e   t h e   | | | |   di a go n a l   m a t r i c o n t a i ni n t h e   w e i gh t s   o a l l   h y pe r - e dge s   i n   i t s   di a go n a l   e n t ri e s .   T h e   i n c i de n c e   m a t r i H   o G   i s   a   | | | |   m a t ri t h a t   c a b e   de f i n e a s   f o l l ow s :     ( , ) = { 1                    0       (1)     T h e   e xa m pl e   o f   t h e   h y pe r gra p h s   i s   i l l us t ra t e i n   F i gu r e   1 .       Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2502 - 4752   In do n e s i a J   E l e c   E ng  &   Co m S c i ,   V o l .   21 ,   N o .   3 M a r c 2 021   :     1 4 6 5   -   1 4 7 3   1468       F i gu r e   1 .   H y pe r gra p e xa m pl e s   w i t 13  v e rt i c e s   a n d   4   h y pe r e dge s       F r o m   t h e   a b ov e   d e f i n i t i o n ,   w e   c a n   de f i n e   t h e   de gr e e   of   v e rt e v   a n t h e   de g r e e   of   h y pe r - e dge   e     a s   f o l l ow s :     ( ) = ( ) ( , )   (2)     ( ) = ( , )   (3)     L e t          b e   t w o   di a go na l   m a t ri c e s   c o n t a i ni n g   t h e   de g r e e s   o f   ve r t i c e s   a n d   t h e   de g r e e s   o f   h y p e r - e dge s   i n   t h e i di a go na l   e nt r i e s   r e s pe c t i v e l y .   P l e a s e   n o t e   t h a t     i s   t h e   | | | |   m a t ri a n   i s   t h e   | | | |   m a t r i x .   F r o m   t h e   a b o v e   de f i n i t i o n s ,   [ 7,   8]   de f i n e   t h e   s y m m e t ri c   n o rm a l i z e d   h y pe r gra p L a pl a c i a a s   f o l l ow s :      = 1 2  1 1 2   (4)     M o r e ov e r ,   [ 7,   8]   de f i n e   t h e   ra n do m   w a l h y pe r g r a p L a p l a c i a n   a s   f o l l ow s :      = 1  1   (5)     P l e a s e   n o t e   t h a t   t h e   t w o   t e rm s   1 2  1 1 2   a nd  1  1   i t h e   s y m m e t r i c   n o r m a l i z e h y pe r gra p h   L a pl a c i a n   a n t h e   ra n do m   w a l h y pe r g r a p L a p l a c i a r e s pe c t i v e l y   w i l l   b e   u s e i n   o ur   p r o po s e d   h y pe r gra p n e u r a l   n e t w o r m e t h o d.     3. 3   H yp e r g r ap h   b as e d   s e m i - s u p v e r v i s e d   l e a r n i n g   p r o b l e m   G i v e n   a   s e t   o f   i m a ge s   { 1 , , , + 1 , , + }   w h e r e   = | | = +   i s   t h e   t o t a l   num b e r   o f   i m a ge s   (i . e .   v e r t i c e s i n   t h e   h y pe r gr a p h   G = ( V , E ) .   T h e   m e t h o c o n s t r uc t i n t h e   i n c i de n c e   m a t r i H   f r o m   t h e   i m a ge   da t a s e t   w i l l   be   s p e c i f i e c l e a r l y   i n   t h e   E xpe ri m e n t s   a nd  Re s ul t s   s e c t i o n .   L e t   C   be   t h e   n um b e r   o c l a s s e s .   P l e a s e   n o t e   t h a t   { 1 , , }   i s   t h e   s e t   o f   a l l   l a b e l e po i n t s   a n { + 1 , , + }   i s   t he   s e t   of   a l l   u n - l a b e l e po i n t s .   L e t   | |   t h e   i ni t i a l   l a b e l   m a t ri x   f o r   n   i m a ge s   i t h e   h y pe r gra p G   b e   de f i n e a s   f o l l ow s :      = { 1               1 1                 1 0      + 1   (6)     L e t   t h e   m a t r i x   | |   b e   t h e   e s t i m a t e l a b e l   m a t r i x   fo r   t h e   s e t   o f   i m a ge s   { 1 , , , + 1 , , + } ,   w h e r e   t h e   po i n t     i s   l a b e l e a s   s i g n   (  f o r   e a c c l a s s   j   ( 1 ) O u ob j e c t i v e   i s   t o   pr e di c t   t h e   l a b e l s   o f   t h e   u n - l a b e l e po i n t s   + 1 , , + .   I n   t h e   o t h e r   w o r ds ,   w e   n e e t o   c o m put e   t h e   f i na l   s o l ut i o m a t ri F .   F r o m   [ 7,   8] ,   t h e   c l o s e f o r m   s o l ut i o n   o f   t h e   h y pe r g r a p b a s e s e m i - s upe r v i s e l e a rni n g   m e t h o c a b e   c o m put e a s   f o l l o w s :     = ( 1 ) ( 1 2  1 1 2 ) 1   (7)     w h e r e   α   i s   t h e   p a r a m e t e r .     Evaluation Warning : The document was created with Spire.PDF for Python.
In do n e s i a J   E l e c   E ng  &   Co m S c i     IS S N :   2502 - 4752       Noi s e - r ob us t   c l as s i f i c at i on   w i t hy p e r gr aph   ne ur al   ne t w or k   ( Nguy e T r i nh  V u   D ang )   1469   3. 4   H yp e r g r ap h   n e u r al   n e tw o r k   F r o m   [ 5 - 6] ,   l e t :     1 = ( 1 2  1 1 2 1 ) ( 8 )   ( 8)     2 = ( 1  1   1 )   ( 9 )   ( 9)     T h e   o ut put   o f   t h e   h y pe r gr a p h   n e u ra l   n e t w o r c a b e   de f i n e a n c o m put e d   a s   f o l l ow s :     =  ( 1 2  1 1 2 1 2 )   ( 10 )   or   = =  ( 1 1 2 2 )   ( 11 )     N o t e   t h a t   1   i s   t h e   f e a t u r e   m a t r i x   (i . e .   t h e   i m a ge   d a t a s e t ).   1 1 2   a nd  2 2   a r e   t w o   pa r a m e t e r   m a t r i c e s   t ha t   a r e   n e e de t o   b e   l e a rn e d   du r i ng  t h e   t r a i n i ng  p r o c e s s .     3. 5   O u r   p r o p os e d   h yp e r g r ap h   n e u r al   n e tw o r k   In s p i r e by   t h e   w o r i n   [ 6]   f o r   g r a p h   n e u ra l   n e t w o r k,   w e   t r y   t o   a ppl y   t h i s   w o r (i de a t o   de v e l o o ur   n o v e l   v e r s i o n   fo r   h y pe r gra p h   n e u r a l   n e t w o r m e t h o d.   I n   t hi s   n o v e l   ve r s i o n,   w e   i n i t i a l l y   c o m put e   t h e   f i n a l   s o l ut i o n   m a t r i F   o f   t h e   c l a s s i c   h y pe r g r a p h   b a s e s e m i - s u pe rv i s e l e a rni n g   m e t h o a s   i n   (7):     = ( 1 ) ( 1 2  1 1 2 ) 1   ( 12 )   (12)     In   t h i s   f i r s t   s t e p,   w e   ov e r c o m e   t h e   di f f i c ul t y   w h i c h   i s   o n l y   n e i g h b o r s   i n   t h e   t w o - h o n e i g h b o rh o o d   a r e   c o n s i de r e d   o t h e   gra p h   n e ura l   n e t w o r m e t h o a n h y pe r g ra p h   n e ura l   n e t w o r m e t h o [5 - 6].   T h e   t i m e   c o m pl e xi t y   of   t hi s   c o m put a t i o n   i s   s t i l l   l o w   s i n c e   w e   e m pl oy   t h e   s pa r s e   m a t r i c o m put a t i o n   t e c hn i que s ,   f o r   e xa m pl e s ,   t h e   c o n j uga t e   g r a d i e n t   m e t h o d,   t o   s o l ve   t h e   a b ove   s pa r s e   l i n e a s y s t e m   of   e qua t i o n s .   P l e a s e   n o t e   t h a t ,   t h i s   f i r s t   s t e c a n   a l s o   b e   c a l l e t h e   f e a t ur e   p r o pa g a t i o n   s t e o r   f e a t u r e   di f f us i o n   s t e [24 ]   (i . e .   t hi s   s t e i s   n o t   a   l a b e l   pr o pa g a t i o n   s t e p).   It s   pu rpo s e   i s   t o   s m oo t h   t h e   d a t a   ( i . e .   t h e   f e a t u r e   m a t r i x).   T hi s   m i g h t   l e a t o   t h e   hi g pe r f o r m a n c e   o f   o ur   p r o po s e h y pe r gr a p h   n e ura l   n e t w o r m e t h o d .   I a ddi t i o n,   l e t   us   de f i n e :     3 = ( 1 2  1 1 2 1 ) ( 13 )   (13)     W e   c o m put e   t h e   f i na l   o ut put   Z   o f   t h e   h y pe r gra p n e u r a l   n e t w o r by :     =  ( 1 2 1 3 2 )   ( 14 )   (14)     S i m pl y   s pe a ki n g ,   o ur  n o v e l   m e t h o i s   t h e   c o m b i na t i o n   of   t h e   c l a s s i c   h y pe r gr a p h   b a s e s e m i - s upe r v i s e l e a rni n m e t h o a n t h e   h y pe r gra p h   n e u r a l   n e t w o r m e t h o d.   T hi s   c o m b i n a t i o n   m i g h t   o ut pe r f o r m   t h e   h y pe r -   g r a p n e u r a l   n e t w o r a l o n e   (i . e .   t h e   c urr e nt   s t a t e   of   t h e   a r t   m e t h o o f   s e m i - s upe r v i s e l e a rn i ng  a pp r o a c h ) .   T h e   t w o   m a i di f f e r e n c e s   o f   o ur   p r o po s e m e t h o w i t h   t h e   m e t h o p r o po s e i [6]   a r e :     a)   Ini t i a l l y ,   t h e   i nput   f e a t u r e   m a t ri x   X   do e s   n o t   n e e t o   go   t hr o u gh  a   n e u ra l   n e t w o r k.     b)   A t   o ur   f i n a l   s t e p,   w e   c o m put e   t h e   o ut put   Z   of   h y p e r g r a ph   n e u ra l   n e t w o r s i m i l a r   t o   t h e   f o r m ul a   pr o po s e by   [5].   P l e a s e   n o t e   t h a t   [5]  pr o po s e t h e   fo r m ul a   t o   c o m put e   t h e   o ut put   of   t h e   gr a p h   n e u ra l   n e t w o r k.   I n   t h e   o t h e w o r ds ,   i t h e   m e t h o p r o po s e i n   [6],   t h e   f i n a l   s o l ut i o n   m a t r i F   o f   t h e   h y pe r gra p b a s e s e m i - s upe r v i s e l e a rni n m e t h o i s   j us t   n e e de t o   go   t hr o ug h   o nl y   o n e   l a y e r   of   t h e   n e u r a l   n e t w o r w hi c i s   t h e   s o f t m a x   l a y e r .         4.   EX P ER I M EN TA R ES U L T   In   t h i s   s e c t i o n,   w e   w i l l   a p pl y   t h e   c l a s s i c   g r a p b a s e s e m i - s upe r v i s e l e a rni n m e t h o [25],   t h e   c l a s s i c   h y p e r g r a p b a s e s e m i - s upe r v i s e l e a rn i ng  m e t h o d,   gra p n e u r a l   n e t w o r m e t h o d,   h y pe r gra p h   n e u ra l   n e t w o r m e t h o d,   a n o u r   p r o po s e h y p e r g r a p h   n e u ra l   n e t w o r m e t h o t o   s o l ve   t h e   n o i s y   l a b e l   l e a rn i n g   pr o b l e m .   I t h e   o t h e w o r ds ,   w e   w i l l   t e s t   t h e   n o i s e   r o b us t n e s s   of   t h e s e   f i ve   m e t h o ds .   T h e   t hr e e   i m a ge   da t a s e t s   Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2502 - 4752   In do n e s i a J   E l e c   E ng  &   Co m S c i ,   V o l .   21 ,   N o .   3 M a r c 2 021   :     1 4 6 5   -   1 4 7 3   1470   t h a t   w e   w i l l   us e   i n   t h e   e xpe ri m e nt s   a r e   t h e   M N IS T   da t a s e t ,   t h e   U S P S   da t a s e t ,   a nd  t h e   F A S IO N   M N IS T   da t a s e t .       4 . 1     D at as e t   M N IS T :   T h i s   i m a ge   da t a s e t   i s   t h e   d a t a s e t   c o n t a i n i ng  t h e   ha n dw ri t t e i m a ge s   f r o m   ‘0’   t o   ‘9’.   T h e r e   a r e   70, 000  i m a ge s   i n   t h e   da t a s e t .   T h e r e   a r e   60, 0 00  i m a ge s   i t h e   t ra i ni n s e t   a nd  10 , 000  i m a ge s   i n   t h e   t e s t i n g   s e t .   O bv i o us l y ,   t h e   n u m b e r   o f   c l a s s e s   i n   t h i s   M N IS T   i m a ge   da t a s e t   i s   10.   E a c h   i m a ge   i n   t h e   d a t a s e t   i s   t h e   28 - by - 28  m a t ri (g ra y   s c a l e   i m a ge ) .   O u r   f i r s t   t a s i n   t h e   p r e p r o c e s s i n s t e i s   t o   c o n v e r t   t h i s   g ra y   s c a l e   i m a ge   t 1 - by - 784  v e c t o r .   W e   a c hi e v e   t h i s   t a s by   c o n c a t e na t i ng  e v e r y   r o w s   of   t h e   gra y   s c a l e   i m a ge   t o   a   l o ng   r o w   v e c t o r .   I t h e   o t h e w o r ds ,   w e   ha v e   t h e   R 7 0 , 0 0 0 × 7 8 4   f e a t u r e   m a t ri x.     U S P S :   T h i s   i m a ge   da t a s e t   i s   a l s o   t h e   ha n dw r i t t e n   i m a ge   da t a s e t   f r o m   ‘0’  t o   ‘9’.   H ow e ve r ,   i t hi s   da t a s e t ,   t h e r e   a r e   j us t   9, 298  i m a ge s   i n   t h e   da t a s e t .   T h e r e   a r e   7, 291  i m a ge s   i n   t h e   t r a i n i ng  s e t   a n 2 , 007  i m a ge s   i n   t h e   t e s t i n s e t .   T h e   n um b e r   o f   c l a s s e s   i n   t hi s   U S P S   da t a s e t   i s   10.   E a c h   i m a ge   i n   t h e   da t a s e t   i s   t h e   16 - by - 16   m a t r i (g ra y   s c a l e   i m a ge ).   W e   c o n c a t e n a t e   e ve r y   r ow s   of  t h e   gr a y   s c a l e   i m a ge   (i n   t h i s   U S P S   da t a s e t t o   t h e   1 - by - 256  l o n g   r o w   v e c t o r .   T h us ,   f i n a l l y ,   w e   h a v e   t h e   R 9 , 2 9 8 × 2 5 6   f e a t ur e   m a t ri x.     F A S H IO N   M N IS T :   T h i s   i m a ge   da t a s e t   i s   t h e   da t a s e t   c o n t a i ni n i m a ge s   of   s h o e s ,   c l o t h e s ,   c a ps ,   e t c .   T h e r e   a r e   70, 0 00  i m a ge s   i n   t h e   da t a s e t .   T h e r e   60, 0 00  i m a g e s   i n   t h e   t r a i n i n s e t   a n 10 , 00 i m a ge s   i n   t h e   t e s t i n s e t .   T h e   n um b e r   o f   c l a s s e s   i n   t hi s   F A S H IO N   M N IS T   i m a ge   da t a s e t   i s   10 .   E a c h   i m a ge   i n   t h e   da t a s e t   i s   t h e   28 - by - 28   m a t r i (g r a y   s c a l e   i m a ge ).   W e   c o n c a t e na t e   e ve r y   r ow s   o t h e   gra y   s c a l e   i m a ge   t o   t h e   1 - by - 784   l o n g   r o w   v e c t o r .   I n   t h e   o t h e r   w o r ds ,   w e   h a v e   t h e   R 7 0 , 0 0 0 × 7 8 4   f e a t ur e   m a t ri x .   T h i s   F A S H IO N   M N I S T   i m a ge   da t a s e t   i s   c o n s i de r e t h e   h a rde s t   i m a ge   da t a s e t   t o   t e s t   i o ur  e xpe r i m e nt s .       4 . 2     Ex p e r i m e n ts   an d   r e s u l t   In   o r de r   t o   r e duc e   t h e   n o i s e   a nd  r e du nda nt   f e a t ur e s   i n   t h e   i n p u t   f e a t ur e   m a t ri c e s   a n i n   o r de r   t o   r e duc e   t h e   t i m e   c o n s t ruc t i n g   t h e   g ra p h s   a n d   h y pe r gra p h s   f r o m   t h e   t hr e e   i m a ge   d a t a s e t s ,   w e   a ppl y   t h e   di m e n s i o na l   r e duc t i o n   P CA   t e c hni que   t o   t h e   t hr e e   i n put   f e a t u r e   m a t r i c e s .   F i n a l l y ,   t h e   M N IS T   da t a s e t   i s   t r a n s f o r m e t o   t h e   R 70, 000 × 50  m a t r i x.   T h e   U S P S   da t a s e t   i s   t ra n s f o r m e t o   R 9, 298 × 50  m a t ri x.   T h e   F A S H IO N   M N IS T   da t a s e t   i s   t r a n s f o r m e t o   R 70, 000 × 300  m a t r i x .   T h e   w a y   c o n s t r uc t i n t h e   g ra p h s   f r o m   t h e   t hr e e   i m a ge   da t a s e t s   c a n   b e   fo un i n   [25 ,   2 6].   N e x t ,   w e   w i l l   di s c us s   h o w   t o   c o n s t ruc t   t h e   i n c i de n c e   m a t ri H   of   t h e   h y pe r g r a p h s   f r o m   t h e   t hr e e   i m a ge   da t a s e t s .   P l e a s e   n o t e   t ha t   t h e   n u m b e r   o f   h y pe r e dge s   i n   t h e   h y pe r gra p h   i s   e qua l   t o   t h e   n u m b e r   o i m a ge s   i n   t h e   da t a s e t   [ 27].   T h e   i m a ge   i   b e l o n gs   t h y p e r e dge   j   i f   i m a ge   i   i s   a m o n g   t h e   k - n e a r e s t   n e i g h b o o f   i m a ge   j   o i m a ge   j   i s   a m o n g   t h e   k - n e a r e s t   n e i g h b o r   o f   i m a ge   i .   I t h i s   pa pe r,   k   i s   c h o s e n   t o   b e   5.   F i na l l y ,   f r o m   t h e   c o m put e d   H ,   w e   c a c o m put e   t h e   t w o   t e rm s   ( 1 2  1 1 2 )   a n d   ( 1  1 )   i t h e   s y m m e t r i c   n o r m a l i z e d   h y pe r gra p L a p l a c i a a nd   t h e   ra n do m   w a l k   h y pe r gra p h   L a pl a c i a n   us e i n   t h e   c l a s s i c   h y pe r gra p h   b a s e s e m i - s u pe r v i s e l e a rni n m e t h o d,   t h e   h y pe r gra p h   n e u ra l   n e t w o r m e t h o d,   a n o ur   p r o po s e h y p e r g r a p h   n e u r a l   n e t w o r m e t h o d.   T h e   t w o   m a i n   d i f f e r e n c e s   of   o ur   m e t h o ds   w i t h   o t h e r   s e m i - s upe r v i s e l e a rn i ng  m e t h o ds   [28,   29]  s o l v -   i n t h e   i m a ge   c l a s s i f i c a t i o n   p r o b l e m   w i t n o i s y   l a b e l s   a r e :     a)   O t h e r   s e m i - s upe r v i s e l e a rni n m e t h o ds   j us t   us e t h e   s ub s e t s   of   t h e   M N IS T   a n d   t h e   U S P S   da t a s e t s .   F o e xa m pl e ,   i n   [2 8],   t h e   a ut h o r s   j us t   us e 10, 00 i m a ge s   f r o m   M N IS T   t o   e v a l ua t e   t h e i r   m e t h o ds .   I t h e   o t h e ha n d ,   o u r   m e t h o ds   us e   t h e   c o m pl e t e   M N IS T ,   U S P S ,   a nd  F A S H IO N   M N IS T   i m a ge   da t a s e t s .     b)   O ur   m e t h o ds   a ppl y   di r e c t l y   t h e   P CA   t e c h ni que   t o   t h e   f e a t ur e   m a t r i c e s   of   t h e   t hr e e   i m a ge   da t a s e t s   i n   o r de r   t o   r e duc e   t h e   t i m e   c o n s t r uc t i ng  t h e   g r a p h s   a n t h e   h y p e r g r a p h s   o t h e   t hr e e   i m a ge   da t a s e t s .   T o   t h e   b e s t   of   o ur   kn o w l e dge ,   t h i s   w o r ha s   n o t   b e e n   do n e   be fo r e .   T h e   e xpe r i m e nt a l   r e s ul t s   s h o w   t h a t   i f   w e   d n o t   a ppl y   t h e   P CA   t e c hn i q ue   t o   t h e   f e a t ur e   m a t r i c e s   of   t h e   t hr e e   i m a ge   da t a s e t ,   t h e   h y pe r gra p h   n e u ra l   n e t w o r s i g ni f i c a nt l y   o ut pe r fo r m s   t h e   g ra p h   n e u ra l   n e t w o rk.   If   w e   a ppl y   t h e   P CA   t e c h ni que   t o   t h e   f e a t ur e   m a t ri c e s   of   t h e   t hr e e   i m a ge   da t a s e t s ,   t h e   h y p e rgra p h   n e u ra l   n e t w o r m e t h o do e s   n o t   s i g n i f i c a n t l y   o ut pe r f o r m   t h e   g ra p h   n e u ra l   n e t w o r m e t h o d;   h o w e ve r ,   b o t h   t h e   h y pe r gra p h   n e u ra l   n e t w o r a n t h e   gra p h   n e u ra l   n e t w o r w i t h   P CA   a r e   b e t t e r   t ha n   t h e   g ra p h   a nd  h y pe r gr a p h   n e u r a l   n e t w o r w i t h o ut   us i n g   P CA   t e c hn i que .   T h e s e   c l a i m s   w i l l   b e   c l a r i f i e i T a b l e s   1,   2 ,   3 ,   4.   In  ge n e ra l ,   i t hi s   p a pe r ,   w h a t   w e   w a n t   t o   a c hi e v e   i s   c l e a r:   w e   w o ul l i ke   t o   p r o v e   t ha t   t h e   h y pe r gra p h   n e u ra l   n e t w o r ks   (t h e   c u rr e n t   s t a t e   o f   t h e   a rt   s e m i - s upe r v i s e l e a rn i ng  m e t h o a nd  o ur   p r o po s e d   m e t h o d)  a r e   a t   l e a s t   a s   go o a s   t h e   gra p h   n e u r a l   n e t w o r b u t   s o m e t i m e s   l e a t o   b e t t e r   a c c ura c y   pe r fo r m a n c e   m e a s u r e s .   W e   r u n   o u r   f i v e   m e t h o ds   (P y t h o n   c o de o n   G o o g l e   Co l a b   w i t h   N V ID IA   T e s l a   K 80  G P U   a n 1 GB   R A M .   T h e   f o l l ow i n T a b l e s   1 ,   2 ,   3,   a nd  s h o w   t h e   e xpe ri m e n t a l   r e s ul t s   o f   o ur   f i v e   m e t h o ds .     Evaluation Warning : The document was created with Spire.PDF for Python.
In do n e s i a J   E l e c   E ng  &   Co m S c i     IS S N :   2502 - 4752       Noi s e - r ob us t   c l as s i f i c at i on   w i t hy p e r gr aph   ne ur al   ne t w or k   ( Nguy e T r i nh  V u   D ang )   1471   F r o m   t h e   a b ov e   t hr e e   t a b l e s ,   w e   e a s i l y   r e c o gn i z e   i ni t i a l l y   a n d i r e c t l y   t h a t   w h e n   t h e   n o i s e   l e v e l   i n c r e a s e s ,   o ur   p r o po s e d   h y p e r g r a p h   n e u ra l   n e t w o r o ut pe r fo r m s   t h e   o t h e r   m e t h o ds   (i . e .   e s pe c i a l l y   w h e n   t h e   n o i s e   l e v e l   r e a c h e s   45%) .   S e c o n d,   f r o m   t h e   e xpe r i m e n t a l   r e s ul t s ,   w e   s e e   t ha t   t h e   h y pe r gra p n e u r a l   n e t w o r m e t h o ds   (bo t h   t h e   c urr e n t   s t a t e   of   t h e   a rt   s e m i - s u pe r v i s e l e a rn i ng  m e t h o a nd  o ur   p r o p o s e m e t h o d)  a r e   a t   l e a s t   a s   go o a s   t h e   g ra p n e u r a l   n e t w o r p r o po s e by   T h o m a s   K i pf   b ut   s o m e t i m e s   l e a t o   b e t t e r   a c c ur a c y   pe r f o r m a n c e   m e a s u r e s .   F i n a l l y ,   w e   c a n   a l s o   e a s i l y   s e e   t h a t   t h e   c l a s s i c   g ra p h   b a s e s e m i - s upe r v i s e l e a rni n g   m e t h o pe r f o r m s   w o r s t   w h e t h e   n o i s e   l e v e l   i n c r e a s e s .   L a s t   b ut   n o t   l e a s t ,   i n   t h e   F A S H IO N   M N IS T   da t a s e t ,   w e   w o ul l i ke   t o   s h o w   t h a t   i f   w e   d o   n o t   a ppl y   t h e   P CA   t e c hn i q ue   t o   t h e   f e a t ur e   m a t ri o f   t h e   F A S H IO N   M N IS T   i m a ge   da t a s e t ,   t h e   h y pe r gra p h   n e u r a l   n e t w o r s i g ni f i c a nt l y   o ut pe r f o r m s   t h e   gra p h   n e u r a l   n e t w o r k.   T h i s   c l a i m   i s   s h o w n   i n   t h e   f o l l ow i n g   T a b l e   4.       T a b l e   1 .   M N IS T   d a t a s e t :   c o m pa ri s o o f   o ur   f i v e   m e t h o ds   w i t v a r i o us   n o i s e   l e v e l s .   T h e   c l a s s i f i c a t i o a c c ur a c y   i s   r e po r t e ( %)   N o i s e   l e v e l   0%   15%   30%   45%   G ra p h   b a s e d   s e m i - s u p e r v i s e d   l e a rn -   i n g   9 7 . 7 0   9 3 . 3 3   8 0 . 9 4   5 7 . 4   H y p e r g ra p h   b a s e d   s e m i - s u p e r v i s e d   l e a rn i n g   9 7 . 6 5   9 7 . 5 6   9 7 . 5 4   8 4 . 4 9   G ra p h   n e u ra l   n e t w o rk   9 7 . 3 9   9 7 . 3 1   9 7 . 1 1   8 6 . 1 5   H y p e r g ra p h   n e u ra l   n e t w o rk   ( c u rre n t   s t a t e   o f   t h e   a rt   s e m i - s u p e rv i s e d   9 7 . 5 2   l e a rn i n g   m e t h o d )   9 7 . 5 2   9 7 . 4 0   97. 34   8 7 . 0 7   P ro p o s e d   h y p e r g ra p h   n e u ra l   n e t -   w o rk   9 7 . 7 2   9 7 . 6 9   9 7 . 3 0   9 1 . 6 5       T a b l e   2 U S P S   da t a s e t :   c o m pa ri s o o f   o ur   f i v e   m e t h o ds   w i t h   v a r i o us   n o i s e   l e v e l s .   T h e   c l a s s i f i c a t i o n   a c c ura c y   i s   r e po r t e d   (%)   N o i s e   l e v e l   0%   15%   30%   45%   G ra p h   b a s e d   s e m i - s u p e r v i s e d   l e a rn i n g   9 5 . 0 6   9 4 . 9 6   9 2 . 8 2   6 6 . 2 6   H y p e r g ra p h   b a s e d   s e m i - s u p e r v i s e d   l e a rn i n g   9 5 . 0 6   9 4 . 9 1   9 4 . 7 1   7 4 . 5 8   G ra p h   n e u ra l   n e t w o rk   9 4 . 6 6   9 4 . 4 2   9 3 . 1 2   7 0 . 0 0   H y p e r g ra p h   n e u ra l   n e t w o rk   ( c u rre n t   s t a t e   o f   t h e   a rt   s e m i - s u p e rv i s e d   9 7 . 5 2   l e a rn i n g   m e t h o d )   9 4 . 7 6   9 4 . 7 1   9 3 . 8 2   7 4 . 4 8   P ro p o s e d   h y p e r g ra p h   n e u ra l   n e t w o rk   9 5 . 0 6   9 4 . 8 1   9 4 . 3 7   8 2 . 5 1       T a b l e   3 F a s hi o M N IS T   da t a s e t :   c o m pa ri s o n   o f   o ur   f i v e   m e t h o ds   w i t h   v a ri o us   n o i s e   l e v e l s .   T h e   c l a s s i f i c a t i o a c c u r a c y   i s   r e po rt e (% )   N o i s e   l e v e l   0%   15%   30%   45%   G ra p h   b a s e d   s e m i - s u p e r v i s e d   l e a rn i n g   8 6 . 1 3   8 5 . 7 5   8 4 . 0 2   6 3 . 6 1   H y p e r g ra p h   b a s e d   s e m i - s u p e r v i s e d   l e a rn i n g   8 4 . 8 8   8 4 . 6 9   8 3 . 4 3   6 9 . 2 9   G ra p h   n e u ra l   n e t w o rk   8 6 . 7 6   8 6 . 3 5   8 5 . 1 7   6 7 . 7 9   H y p e r g ra p h   n e u ra l   n e t w o rk   ( c u rre n t   s t a t e   o f   t h e   a rt   s e m i - s u p e rv i s e d   9 7 . 5 2   l e a rn i n g   m e t h o d )   8 6 . 4 1   8 6 . 3 0   8 5 . 4 7   7 0 . 0 9   P ro p o s e d   h y p e r g ra p h   n e u ra l   n e t w o rk   8 6 . 1 4   8 5 . 9 1   8 5 . 0 2   7 5 . 8 9       T a b l e   4 F a s hi o n   M N IS T   da t a s e t :   Co m p a r i s o o f   t h e   h y pe r gra p h   n e u ra l   n e t w o r m e t h o (t h e   c u rr e n t   s t a t e   o f   a r t   s e m i - s upe r v i s e l e a rni n g   m e t h o d)  a n d   t h e   g r a p n e u ra l   n e t w o r m e t h o   N o i s e   l e v e l   0%   G ra p h   n e u ra l   n e t w o rk   ( w i t h o u t   P C A )   7 9 . 9 8   H y p e r g ra p h   n e u ra l   n e t w o rk   ( w i t h o u t   P C A )   8 5 . 0 9   G ra p h   n e u ra l   n e t w o rk   ( w i t h   P C A )   8 6 . 7 6   H y p e r g ra p h   n e u ra l   n e t w o rk   ( w i t h   P C A )   8 6 . 4 1       5.   C O N C LU S I O N   In   t hi s   pa pe r ,   w e   h a v e   pr o p o s e d   t h e   n o v e l   h y pe r gra p h   n e u r a l   n e t w o r m e t h o d.   O ur   c o n t ri b ut i o n s   a r e :   (1)  R e duc e   t h e   t i m e   c o n s t r uc t i n t h e   g r a p a n t h e   h y pe r gra ph   b y   i n i t i a l l y   a ppl y i n t h e   P CA   t e c hn i que   t o   t h e   i m a ge   da t a s e t ,   (2)   O ur   n o v e l   h y pe r gra p h   n e u r a l   n e t w o r m e t h o i s   i n   f a c t   t h e   c o m b i n a t i o n   o t h e   c l a s s i c   h y pe r gra p h   b a s e s e m i - s upe r v i s e l e a rn i ng  m e t h o a nd  t h e   h y pe r gra p h   n e u ra l   n e t w o r pr o po s e by   [4]  (i . e . ,   t h e   c urr e nt   s t a t e   o f   t h e   a r t   s e m i - s upe r v i s e l e a rni n m e t h o d).   T h e   e xpe r i m e nt a l   r e s ul t s   s h o w   t h a t   o u r   pr o po s e h y p e r g r a p n e u r a l   n e t w o r o ut pe r f o r m s   o t h e r   s e m i -   s upe r v i s e l e a rn i ng  m e t h o ds   a s   t h e   n o i s e   l e v e l   i n   t h e   t r a i ni n s e t   i n c r e a s e s   (~ 45%) .   I n   t h e   o t h e r   w o r ds ,   o ur   pr o po s e a ppr o a c h   i s   qui t e   r o b us t   t o   n o i s e   l a b e l s   t o   s o m e   e xt e n t .   M o r e o v e r ,   t h e   h y pe r gra p h   n e u ra l   n e t w o r k s   (t h e   c urr e n t   s t a t e   o f   t h e   a r t   m e t h o o f   s e m i - s upe r v i s e l e a rni n a pp r o a c h   a nd  o ur   p r o po s e m e t h o d)  a re   a t   l e a s t   a s   go o a s   t h e   gra p h   n e u r a l   n e t w o r pr o po s e by   T h o m a s   K i pf ,   b ut   s o m e t i m e s   l e a d   t o   b e t t e r   a c c ura c i e s .   L a s t   b ut   n o t   l e a s t ,   i n   t h e   f ut u r e   w o r k,   w e   w i l l   c o m b i n e   t h e   h y pe r gra p h   p - L a p l a c i a n   b a s e s e m i -   s upe r v i s e l e a rni n m e t h o w i t h   t h e   c u rr e nt   s t a t e   of  Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2502 - 4752   In do n e s i a J   E l e c   E ng  &   Co m S c i ,   V o l .   21 ,   N o .   3 M a r c 2 021   :     1 4 6 5   -   1 4 7 3   1472   t h e   a r t   s e m i - s upe r v i s e l e a rni n m e t h o (i . e .   t h e   h y -   pe r gra p h   n e u r a l   n e t w o r p r o po s e by   [4])  t o   fo r m   a   n o v e l   h y pe r gra p h   n e u ra l   n e t w o r m e t h o d.   F i na l l y ,   w e   c a n   a ppl y   t h i s   n o v e l   m e t h o t o   v a r i o us   c l a s s i f i c a t i o n   t a s ks   s uc h   a s   p r o t e i f un c t i o p r e di c t i o n ,   c a n c e c l a s s i f i c a t i o n,   a n d   s pe e c h   r e c o gn i t i o n,   t o   n a m e   a   f e w .         A C K N O WL ED G E M EN TS   T h i s   r e s e a r c h   i s   f un de d   by   H o   Ch i   M i nh   Ci t y   U n i v e r s i t y   of   T e c hn o l o g y   ( H CM U T ),   V N U - H CM ,   unde g r a n t   n u m b e r   B K - SDH - 2020 - 1970428 .       R EF ER EN C ES     [ 1]   K a r e S i m o ny a a nd  A ndr e w   Z i s s e r m a n,   V e r y   de e c o nvo l ut i o n a l   ne t w o r ks   f o r   l a r g e - s c a l e   i m a g e   r e c o g ni t i o n,   a r X i v   pr e pr i n t   a r X i v : 1409 . 1 556 ,   pp 1 - 14 ,   201 5 .   [ 2]   G .   H i n t o e t   al . ,   D e e N e ur a l   N e t w o r ks   f o r   A c o us t i c   M o de l i ng   i S pe e c R e c o g ni t i o n:   T he   S ha r e V i e w s   o f   F o ur   R e s e a r c G r o ups ,   i I E E E   S i gna l   P r oc e s s i n M aga z i ne ,   v o l .   29,   no .   6 ,   p p.   82 - 97 ,   20 12 ,   do i :   10. 1 109 / M S P . 2012 . 22 0559 7.   [ 3]   T ho m a s   N .   K i pf ,   M a x   W e l l i ng ,   S e m i - s upe r v i s e c l a s s i f i c a t i o w i t g r a ph  c o nv o l ut i o na l   ne t - w o r ks ,”   a r X i v   pr e pr i nt   ar X i v : 16 09 . 029 07 ,   p p.   1 - 14 ,   2016 .   [ 4]   Y i f a F e ng ,   H a o xua n   Y o u,   Z i z ha o   Z h a ng ,   R o ng r o ng   J i   a nd  Y ue   G a o ,   H y pe r g r a ph  ne ur a l   ne t w o r ks ,”   T he   T hi r t y - T hi r A A A I   C on f e r e nc e   on  A r t i f i c i a l   I nt e l l i ge nc e   ( A A A I - 1 9) ,   H o no l ul u,   v o l .   3 3,   no .   1,   pp .   35 58 - 3565 ,   2 019 ,   D O I :   ht t ps : / / do i . o r g / 10. 1609 / a a a i . v 33 i 01 . 330 1355 8 .   [ 5]   S o ng   B a i ,   F e i h Z h a ng ,   P h i l i p   H . S .   T o r r ,   H y pe r g r a ph  c o nv o l ut i o a nd   hy pe r g r a ph  a t t e n t i o n ,   a r X i v   p r e pr i nt   ar X i v : 1 901 . 08 150 ,   pp .   1 - 30 ,   20 20 .   [ 6]   K l i c pe r a ,   J o ha nn e s ,   A l e ks a nda r   B o j c he v s ki ,   a n d   S t e ph a n   G u   ̈nne m a nn,   P r e d i c t   t h e n   P r o pa g a t e :   G r a ph   N e u r a l   N e t w o r ks   m e e t   P e r s o na l i z e d   P a g e R a n k,   a r X i v   pr e pr i n t   ar X i v : 181 0 . 059 97 ,   v o l .   1,   20 18 .     [ 7]   [ 8]   D e ngy o ng   Z ho u,   J i a y ua H u a ng   a nd   B e r nha r d   S c ho l ko pf L e a r n i ng   w i t H y pe r g r a ph s :   C l us t e r i ng ,   C l a s s i f i c a t i o n,   a n E m b e dd i ng ,   i n   A dv anc e s   i n   N e ur al   I nf o r m a t i on  P r oc e s s i ng   Sy s t e m s   19:   P r oc e e di ngs   of   t he   2006   C on f e r e nc e ,   M I T   P r e s s ,   p p.   16 01 - 1608 ,   200 6 .   [ 8]   D e ngy o ng  Z ho u,   J i a y ua H ua ng   a nd  B e r nh a r S c ho l ko pf ,   B e y ond  pa i r w i s e   c l a s s i f i c a t i o a n c l us t e r i ng   us i ng   hy pe r g r a phs   ( T e c hn i c a l   R e po r t   1 43) .   M ax   P l an k   I ns t i t u t e   f or   B i ol o gi c a l   C y be r ne t i c s ,   T üb i ng e n ,   G e r m a ny ,   2005 .     [ 9]   Z i j i Z h a o ,   C l a s s i f i c a t i o i t he   p r e s e nc e   o f   he a vy   l a be l   no i s e :   A   M a r ko v   c ha i s a m p l i ng   f r a m e w o r k T he s e s   ( Sc hool   o f   C om pu t i ng   Sc i e nc e ) ,   S i m on   F r as e r   U n i v e r s i t y ,   2017 .   [ 10]   K .   Y i   a nd  J .   W u,   P r o ba b i l i s t i c   E nd - To - E nd  N o i s e   C o r r e c t i o f o r   L e a r ni ng   W i t N o i s y   L a be l s ,   201 I E E E / C V F   C onf e r e nc e   on  C om pu t e r   V i s i on  and   P at t e r R e c ogn i t i on   ( C V P R ) ,   L o n g   B e a c h,   C A ,   U S A ,   pp .   7010 - 70 18 ,   20 19 ,   do i :   10. 1109 / C V P R . 201 9. 0071 8.   [ 11]   C hi y ua Z ha ng ,   S a m y   B e ng i o ,   M o r i t z   H a r d t ,   B e n j a m i R e c ht ,   O r i o l   V i ny a l s ,   U nde r s t a n di ng   de e l e a r ni ng   r e qu i r e s   r e t hi n ki ng   g e ne r a l i z a t i o n,   ar X i v   p r e pr i n t   ar X i v : 16 11 . 035 3 0 ,   pp .   1 - 15,   20 1 7   [ 12]   D .   T a na ka ,   D .   I k a m i ,   T .   Y a m a s a k i   a nd  K .   A i z a w a ,   J o i nt   O p t i m i z a t i o F r a m e w o r f o r   L e a r ni ng   w i t N o i s y   L a be l s ,   2 018  I E E E / C V F   C onf e r e nc e   on  C om pu t e r   V i s i o an P at t e r R e c ogn i t i o n ,   S a l t   L a ke   C i t y ,   U T ,   pp .   55 52 - 5560 ,   2018 ,   do i :   10. 11 09 / C V P R . 2 018 . 00 582 .   [ 13]   M i k a e l   H e na f f ,   J o a B r un a   a n Y a n L e C un,   D e e c o nvo l ut i o na l   ne t w o r ks   o g r a ph - s t r uc t ur e d a t a ,   a r X i v   pr e pr i nt   ar X i v : 15 06 . 051 63 ,   p p.   1 - 10 ,   2015 .   [ 14]   J a k r a m a t e   B o o t kr a j a ng   a nd  A t a   K a n ,   L a be l - no i s e   r o bus t   l o g i s t i c   r e g r e s s i o a nd  i t s   a p pl i c a t i o ns ,   i M ac h i ne   L e ar ni n and   K now l e dge   D i s c ov e r y   i D a t a bas e s :   pr oc e e di ng  o f   J oi n t   E u r ope an  C o nf e r e nc e   on  M a c hi ne   L e ar ni n and  K now l e dge   D i s c ov e r y   i D at a bas e s S pr i ng e r ,   pp .   1 43 - 158 20 12 .   [ 15]   J a k r a m a t e   B o o t kr a j a ng ,   S up e r v i s e l e a r n i ng   w i t h   r a ndo m   l a be l l i ng   e r r o r s ,   C om put e r   Sc i e nc e ,   U n i v e r s i t y   of   B i r m i ngh am ,   20 13.   [ 16]   A .   J .   B e kke r   a nd  J .   G o l dbe r g e r ,   T r a i n i ng   de e n e ur a l - n e t w o r ks   ba s e o unr e l i a bl e   l a b e l s ,   2016  I E E E   I nt e r n at i on al   C on f e r e nc e   on  A c ous t i c s ,   Spe e c and  Si gn al   P r oc e s s i ng  ( I C A S SP ) ,   S ha ng ha i ,   pp.   2 682 - 268 6,   20 16,   do i :   10. 1109 / I C A S S P . 2 01 6. 7 4721 64 .   [ 17]   J a c o G o l dbe r g e r   a nd  E hud  B e n - R e uv e T r a i ni ng   de e ne ur a l - ne t w o r k s   us i ng   a   no i s e   a da p t a t i o l a y e r ,   5t I nt e r n at i on al   C on f e r e nc e   on   L e ar n i ng   R e pr e s e nt a t i ons ,   T o ul o n,   pp .   1 - 7 ,   20 17 .   [ 18]   A .   J .   B e kk e r ,   M .   C ho r e v ,   L .   C a r m e l   a nd  J .   G o l db e r g e r ,   A   de e p   n e ur a l   n e t w o r w i t h a r e s t r i c t e no i s y   c ha nne l   f o r   i de n t i f i c a t i o o f   f unc t i o na l   i n t r o ns ,   2 017  I E E E   27 t I nt e r na t i on al   W or k s ho on  M ac h i ne   L e ar n i ng  f or   S i gn al   P r oc e s s i ng   ( M L SP ) ,   T o k y o ,   pp.   1 - 6,   20 17 ,   do i :   10 . 110 9/ M L S P . 20 1 7. 81 6818 6.   [ 19]   A r i t r a   G ho s h ,   H i m a ns h K u m a r   a nd  P . S .   S a s t r y ,   R o bus t   l o s s   f unc t i o ns   unde r   l a be l   no i s e   f o r   de e ne u r a l   ne t w o r k s ,   T hi r t y - F i r s t   A A A I   C o nf e r e nc e   on   A r t i f i c i a l   I n t e l l i ge nc e ,   S a F r a nc i s c o ,   pp .   191 9 - 1925 ,   2017 .   [ 20]   Z hi l Z h a ng   a nd  M e r t   R .   S a bunc u,   G e n e r a l i z e c r o s s   e n t r o py   l os s   f o r   t r a i n i ng   de e n e ur a l   ne t w o r ks   w i t no i s y   l a b e l s ,   N I P S' 18:   P r o c e e di ngs   o f   t he   32nd  I n t e r nat i on al   C onf e r e n c e   on  N e ur al   I n f or m a t i on  P r oc e s s i ng  Sy s t e m s N e w   Y o r k,   p p.   87 92 - 8802 ,   201 8 .   [ 21]   B .   F r e n a y   a nd  M .   V e r l e y s e n,   C l a s s i f i c a t i o i t h e   P r e s e nc e   o f   L a be l   N o i s e :   A   S u r v e y ,   i I E E E   T r an s ac t i ons   on   N e ur al   N e t w or k s   and   L e ar n i ng   S y s t e m s ,   v o l .   25 ,   no .   5,   pp .   845 - 86 9,   201 4,   do i :   10. 1109 / T N N L S . 201 3. 2292 894 .   [ 22]   W e i   S h e n ,   K a i   Z ha o ,   Y i l G uo   a n A l a Y ui l l e ,   L a be l   d i s t r i b ut i o l e a r ni ng   f o r e s t s ,   N I P S' 17:   P r oc e e di ngs   o f   t he   31s t   I nt e r n at i on al   C on f e r e nc e   on   N e ur a l   I n f or m a t i on   P r oc e s s i ng   Sy s t e m s ,   N e w   Y o r k,   pp .   834 - 84 3 ,   2 017 .   Evaluation Warning : The document was created with Spire.PDF for Python.
In do n e s i a J   E l e c   E ng  &   Co m S c i     IS S N :   2502 - 4752       Noi s e - r ob us t   c l as s i f i c at i on   w i t hy p e r gr aph   ne ur al   ne t w or k   ( Nguy e T r i nh  V u   D ang )   1473   [ 23]   X .   G e ng ,   L a be l   D i s t r i bu t i o L e a r n i ng ,   i I E E E   T r an s ac t i ons   on   K now l e dge   and  D a t E ng i ne e r i ng ,   v o l .   28,   no .   7,   pp.   17 34 - 1748 ,   J u l y   2016,   do i :   10. 1109 / T K D E . 201 6. 2 5456 58 .   [ 24]   R y a A .   R o s s i ,   R o ng   Z h o a nd  N e s r e e K .   A hm e D e e f e a t u r e   l e a r ni ng   f o r   g r a phs ,   a r X i v   pr e pr i nt   ar X i v : 1 704 . 08 829 ,   pp .   1 - 11 ,   201 7 .   [ 25]   D e ngy o ng   Z h o u.   O l i v i e r   B o us q ue t ,   T ho m a s   N a v i L a l ,   J a s o W e s t o a nd  B e r nh a r H   S c höl ko pf ,   L e a r n i ng   w i t h   l o c a l   a nd   g l o ba l   c o ns i s t e nc y ,   N I P S' 03:   P r oc e e di ngs   of   t he   16t I nt e r na t i ona l   C onf e r e nc e   on  N e ur al   I n f or m a t i on   P r oc e s s i ng   S y s t e m s ,   v o l .   16 ,   no .   3,   pp .   321 - 32 8 ,   20 04 .   [ 26]   U l r i ke   v o L uxbur g ,   A   t ut o r i a l   o s pe c t r a l   c l us t e r i ng ,   St a t i s t i c s   and  c om put i n g ,   v o l .   17 ,   pp .   395 - 41 6 2 007 ht t ps : / / do i . o r g / 10. 1007 / s 1122 2 - 007 - 9033 - z .   [ 27]   Y .   H ua ng ,   Q .   L i u ,   S .   Z ha ng   a nd  D .   N .   M e t a xa s ,   I m a g e   r e t r i e v a l   v i a   pr o ba b i l i s t i c   hy pe r g r a ph  r a nk i ng ,   20 10  I E E E   C om put e r   Soc i e t y   C on f e r e nc e   on  C om put e r   V i s i o a nd  P at t e r R e c ogni t i o n ,   S a F r a nc i s c o ,   C A ,   pp.   337 6 - 3383 ,   2010 ,   do i :   10. 110 9/ C V P R . 20 10 . 554 0012 .   [ 28]   B .   J i a ng ,   Z .   Z h a ng ,   D .   L i n,   J .   T a ng   a nd  B .   L uo ,   S e m i - S up e r v i s e L e a r ni ng   W i t G r a ph  L e a r n i ng - C o nvo l ut i o na l   N e t w o r ks ,   2019  I E E E / C V F   C onf e r e nc e   on  C om p ut e r   V i s i on  and  P at t e r R e c ogn i t i on   ( C V P R ) ,   L o n g   B e a c h,   C A ,   U S A ,   pp.   1 1305 - 11 312 ,   2019 ,   do i :   10. 1 109 / C V P R . 2019 . 01 157 .   [ 29]   Z hi w L a nd  L i w e i   W a ng ,   N o i s e - r o bus t   s e m i - s upe r v i s e l e a r ni ng   v i a   f a s t   s pa r s e   c o di ng ,   P at t e r R e c og ni t i on   vol 48,   no .   2 ,   pp.   6 05 - 612 2015 .   Evaluation Warning : The document was created with Spire.PDF for Python.