I n d on e s i an   Jo u r n al   o f  El e c t r i c al   En gi n e e r i n g   an d   C o m p u te r   S c i e n c e   V o l .   21 ,   N o .   3 ,  M a r c h  2021 ,   pp.   14 65 ~ 1 4 7 3   IS S N :   25 02 - 4752 ,   D O I :   10. 1 1591 / i j e e c s . v 21 .i 3 . pp 146 5 - 1 4 7 3             1465       Jou r n al   h o m e pa ge :  ht t p: / / i j e e c s . i a e s c or e . c om   N o i se - r o b u st   c l a ss i f i c a t i o n   w i t h   h y p e r g r a p h   n e u r a l   n e t w o r k       N gu ye n   Tr i n h   V u   D an g 1 ,  Lo c   T r an 2 ,  L i n h   T r an 3   1 ,3 H o   C hi   M i nh  C i t y ,   U ni v e r s i t y   of   T e c hno l ogy   ( H C M U T ) ,   V N U - H C M ,   H o   C h i   M i nh   C i t y ,   V i e t na m   2 L a b o r a t o i r e   C H A r t   E A 4004  E P H E - P S L   U ni v e r s i t y ,   V i e t na m       A r ti c l e   I n fo     A B S TR A C T   Ar t i c l e   h i s t or y :   R e c e i v e d   S e p  23 ,   2 020   R e v i s e d  D e c   7 ,   2 020   A c c e pt e d  D e c   23 ,   2 020       T hi s   p a pe r   pr e s e nt s   a   no v e l   v e r s i o n  o f   h y pe r g r a ph  ne u r a l   ne t w o r k  m e t ho d.   T hi s   m e t ho d  i s   ut i l i z e d  t o   s o l v e   t he   no i s y   l a be l   l e a r ni ng   pr o bl e m .   F i r s t ,   w e   a ppl y   t he   P C A   di m e n s i o na l   r e duc t i o n   t e c hn i que   t o   t he   f e a t u r e   m a t r i c e s   o f   t he   i m a g e   da t a s e t s   i n  o r de r   t o   r e duc e   t h e   “ no i s e ”   a nd  t h e   r e du nda nt   f e a t ur e s   i n   t he   f e a t u r e   m a t r i c e s   o f   t he   i m a g e   da t a s e t s   a nd  t o   r e d uc e   t h e   r un t i m e   c o ns t r uc t i ng   t h e   hy pe r g r a ph  o f   t he   hy pe r g r a ph   ne u r a l   ne t w o r k  m e t h o d.   T he n ,   t he   c l a s s i c   g r a ph  ba s e d  s e m i s upe r v i s e d  l e a r n i ng   m e t ho d,   t h e   c l a s s i c   hy pe r g r a ph  ba s e d  s e m i - s up e r v i s e d  l e a r n i ng   m e t ho d,   t he   g r a ph  ne u r a l   ne t w o r k ,   t h e   hy pe r g r a ph  ne ur a l   ne t w o r k ,   a nd  o ur   pr o po s e d  hy pe r g r a ph  ne u r a l   ne t w o r k   a r e   e m pl o y e d  t o   s o l v e   t h e   no i s y   l a be l   l e a r n i ng   pr o b l e m .   T h e   a c c ur a c i e s   o f   t h e s e   f i v e   m e t ho ds   a r e   e v a l ua t e d   a n d  c o m pa r e d .   E x pe r i m e n t a l   r e s ul t s   s ho w   t ha t   t he   hy pe r g r a ph  ne u r a l   ne t w o r k  m e t ho ds   a c hi e v e   t he   b e s t   pe r f o r m a nc e   w he n  t he   no i s e   l e v e l   i nc r e a s e s .   M o r e o v e r ,   t he   h y pe r g r a ph  ne ur a l   n e t w o r k   m e t ho ds   a r e   a t   l e a s t   a s   g o o d  a s   t he   g r a p h  n e u r a l   n e t w o r k.   Ke y w or d s :   G ra p h   H y pe r gra p h   N e ur a l   n e t w o r k   N o i s y   l a b e l   l e a rni n g   S e m i - s upe r v i s e d  l e a rni n g   T hi s   i s   an   ope n   ac c e s s   ar t i c l e   u nde r   t he   C C   B Y - SA   l i c e ns e .     Cor r e s pon di n g   Au t h or :   L i nh  T ra n   D e pa rt m e n t   o f   E l e c t r o n i c s   H o   Ch i   M i nh  Ci t y   U n i v e r s i t y   of   T e c hn o l o g y   ( H CM U T ),   V N U - H CM   268  L y   T h uo n g  K i e t   S t r e e t ,   D i s t r i c t   10 ,   H o   Chi   M i nh  Ci t y ,   V i e t n a m   E m a i l :   l i nht ra n@ h c m ut . e d u. v n       1.   I N TR O D U C TI O N     D uri n g  t h e   l a s t   de c a de ,   t h e   de e p  c o n vo l ut i o n   n e u r a l   n e t w o rk  c a n   b e   c o n s i de r e d  t h e   c urr e nt   s t a t e   of  t h e   a r t   m e t h o d  f o r   v a r i o us   c l a s s i f i c a t i o n   t a s ks   s uc h   a s   i m a ge   r e c o gn i t i o n  [ 1] ,   s pe e c h   r e c o gn i t i o n   [2 ] ,   t o   n a m e   a   f e w .   R e c e n t l y ,   t o   de a l   w i t h  i rr e gu l a r  d a t a   s t r uc t u r e s ,   d a t a   s c i e n t i s t s   ha v e   ga i n e d  m a n y   i n t e r e s t s   i n  g ra p h   c o n vo l ut i o n   n e u ra l   n e t w o r k  m e t h o d  s uc h   a s   [ 3 ] .   I n   t h i s   m e t h o d,   t h e   p a i r w i s e   r e l a t i o n s hi ps   b e t w e e n   o bj e c t s   (s a m p l e s )  a r e   us e d.   I n   t h e   o t h e r   w o r ds ,   i n  t hi s   g ra p h   d a t a   s t r uc t u r e ,   t h e   e dge   o f   t h e   g r a p h  c a n   c o nn e c t   o n l y   t w o   v e r t i c e s .     T o   ov e r c o m e   t h e   i n f o rm a t i o n   l o s s   due   t o   o n l y   c o n s i de ri n g  t h e   “ pa i r w i s e   r e l a t i o n s h i p   b e t w e e n   ob j e c t s ”   of   gr a p h   d a t a   s t r uc t u r e   [4 ,   5]  ha v e   r e c e n t l y   pr o po s e d  t h e   h y pe r gra p h   n e u ra l   n e t w o r k  a pp r o a c h .   I n   t h i s   h y pe r gra p h   da t a   s t ruc t u r e ,   a n   e dge   ( h y pe r e dge )  c a n   c o nn e c t   m o r e   t h a n  t w o   ve r t i c e s .   I n   t h e   o t h e r   w o r ds ,   t h e   h y -   pe r e dge   i s   t h e   s ub s e t   o f   t h e   s e t   o f   v e r t i c e s   of   t he   h y pe r gra p h.   R e c e n t l y ,   t h i s   h y pe r gra p h   n e u ra l   n e t w o r k  m e t h o d  h a s   j us t   b e e n   e m pl oy e d  t o   s o l v e   c l a s s i f i c a t i o n   t a s ks   [4 ,   5]  a nd  o ut pe r f o r m s   t h e   g ra p h   n e u r a l   n e t w o r k  a nd  c a n   b e   c o n s i de r e d  t h e   c u rr e n t   s t a t e   o f   t h e   a r t   m e t h o d  o f   s e m i - s upe r v i s e d  l e a rni n g  a pp r o a c h .   H ow e ve r ,   t hi s   m e t h o d   h a s   a l s o   n o t   b e e n   u t i l i z e d  t o   s o l v e   t h e   n o i s y   l a b e l   l e a rn i n g   p r o b l e m .     In s p i r e d  f r o m   t h e   i de a   c o m b i ni n g  t h e   pa ge ra n k  a l go r i t h m   w i t h   t h e   g ra p h   c o n v o l ut i o n   n e u ra l   n e t w o r k  i n   [6],   i n   t hi s   pa pe r,   w e   pr o po s e   t h e   n o v e l   ve r s i o n   o f   h y p e r g r a p h   n e ura l   n e t w o r k  m e t h o d  c o m b i n i ng  t h e   c l a s s i c   h y pe r gra p h   b a s e d  s e m i - s upe r v i s e d  l e a rni n g  m e t h o d  [7,   8]  w i t h   t h e   h y pe r gra p h   n e u r a l   n e t w o r k     m e t h o d  [4,   5] .   I n   t h e   o t h e r   w o r ds ,   w e   c o m b i n e   t h e   p r o pa g a t i o n   s c h e m e   u t i l i z i n g  t h e   h y pe r g r a p h  m o de l   w i t h  t h e   h y pe r gra p h   n e u ra l   n e t w o r k  w h i c h   i s   t h e   c urr e nt   s t a t e   of   t h e   a r t   m e t h o d  o f   s e m i - s upe r v i s e d  l e a rni n g  Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2502 - 4752   In do n e s i a n  J   E l e c   E ng  &   Co m p  S c i ,   V o l .   21 ,   N o .   3 ,  M a r c h  2 021   :     1 4 6 5   -   1 4 7 3   1466   a pp r o a c h.   W e   f i n d   o ut   t ha t   t hi s   p r o po s e d  c o m b i n a t i o n   o f   t he   pr o pa g a t i o n   s c h e m e   a n d  t h e   h y pe r gra p h   n e u ra l   n e t w o r k  m e t h o d  s i g n i f i c a n t l y   i m pr o v e s   t h e   a c c ur a c y   of  t h e   h y pe r gra p h   n e u r a l   n e t w o r k  m e t h o d  a l o n e   e v e n   w h e n   t h e   n o i s e   p r e s e n t s   i n  t h e   l a b e l s .     In  t hi s   p a pe r ,   o ur  c o n t ri b ut i o n s   a r e   t hr e e - f o l ds :   a)   In  o r de r   t o   r e duc e   t h e   r u nt i m e   c o n s t r uc t i n g  t h e   g ra p h s   a n d  t he   h y pe r gra p h s   f r o m   t h e   i m a ge   d a t a s e t s ,   w e   a ppl y   t h e   di m e n s i o na l   r e duc t i o n  t e c hn i que   P CA   t o   t h e   i m a ge   da t a s e t s .     b)   P r o po s e   t h e   n o v e l   v e r s i o n   of   h y pe r gra p h   n e ura l   n e t w o r k  m e t h o d  c o m b i n i n g  t h e   c l a s s i c   h y pe r gra p h  b a s e d  s e m i - s upe r v i s e d  l e a rni n g   m e t h o d  w i t h  t h e   h y pe r gr a p h   n e u r a l   n e t w o r k  m e t h o d.     c)   Co m pa r e   t h e   a c c ura c y   pe r fo r m a n c e   m e a s u r e s   of   t h e   c l a s s i c   gra p h   b a s e d  s e m i - s upe r v i s e d  l e a rn i ng   pr o b l e m ,   t h e   c l a s s i c   h y p e r g r a p h   b a s e d  s e m i - s upe r v i s e d  l e a rn i ng  pr o b l e m ,   t h e   gra p h   n e u r a l   n e t w o r k  m e t h o d,   t h e   h y pe r gra p h   n e u ra l   n e t w o r k  m e t h o d,   a nd  o ur  p ro pos e d  h y pe r g r a p h  n e u r a l   n e t w o r k  m e t h o d  w h e n   w e   a pp l y   t h e s e   f i v e   m e t h o ds   t o   s o l v e   t h e   n o i s y   l a b e l   l e a rn i ng  p r o b l e m .     W e   w i l l   o rg a ni z e   t h e   pa pe r   a s   f o l l ow s :   S e c t i o n   2  w i l l   di s c us s   t h e   r e l a t e d  w o r k.   S e c t i o n  3  w i l l   i n t r o duc e   t h e   n o v e l   ve r s i o n   o f  h y p e r g r a p h   n e ura l   n e t w o r k  m e t h o d.   S e c t i o n   4  w i l l   de s c r i b e   t h e   da t a s e t s   a n d   pr e s e nt   t h e   e xpe ri m e n t a l   r e s ul t s .   S e c t i o n   5  w i l l   c o n c l ude   t h i s   pa p e r   a n d  t h e   f ut u r e   di r e c t i o n   o f   r e s e a r c h e s   w i l l   b e   di s c us s e d.         2.   R ELA TED   WO R K   L e a rn i ng  w i t h   l a b e l   n o i s e   ga i n s   m a n y   i n t e r e s t s   s i n c e   l a b e l   n o i s e   m a y   l e a d  t o   m a n y   un de s i ra b l e   c o n c e r n s   s uc h   a s   t h e   de c r e a s e   i n   l e a rn i ng  pe r f o r m a n c e .   T h e   c urr e n t   s t udi e s   a s s o c i a t e d   t o   t h i s   p r o b l e m   c a n   b e   a s s e m b l e d  i n t o   t hr e e   m a i n   g r o ups   [ 9 ]:   a)   Ro b us t   m o de l   a pp r o a c h   b)   D a t a   f i l t e r i ng  a pp r o a c h   c)   Inh e r e n t l y   n o i s e - t o l e r a n t   l e a rni n g   a pp r o a c h     2 . 1 .       R o b u s t  mo d e l   ap p r o ac h   T hi s   a pp r o a c h   e m pi ri c a l l y   s t udi e s   t h e   r o b us t n e s s   p r o pe rt y   of   v a r i o us   c l a s s i c a l   c l a s s i f i c a t i o n  a l go ri t hm s   s uc h  a s   N a   ̈ı v e   B a y e s   pr o b a b i l i s t i c   c l a s s i f i e r ,   C4 . 5   de c i s i o n  t r e e ,   t h e   S M O   s u ppo r t   v e c t o r     m a c h i n e   [9],   t o   na m e   a   f e w .   E xpe r i m e n t a l   r e s ul t s   s h o w   t h a t   t h e   N a   ̈ ı v e   B a y e s   pr o b a b i l i s t i c   c l a s s i f i e r  a nd  t h e   ra n do m   f o r e s t   e n s e m b l e   c l a s s i f i e r   a r e   t h e   m o s t   r o b us t   c l a s s i c a l   c l a s s i f i c a t i o n  s y s t e m s   a ga i n s t   n o i s e   l a b e l   [9] .   H ow e ve r ,   t h e   w e a k n e s s   of   t h e s e   c l a s s i c a l   c l a s s i f i c a t i o n   i s   v e r y   c l e a r.   F i r s t ,   t h i s   a pp r o a c h  i s   i na c t i v e .   I n s t e a d  of   r e f i n i ng  a n d   c ha n g i n g  t h e   c l a s s i c a l   c l a s s i f i c a t i o n   a l go r i t hm s ,   t h e y   o n l y   e xpl o r e   t h e   r o b us t n e s s   pr o p -   e r t y   of  c o m m o n l y   us e d  c l a s s i f i c a t i o n   s y s t e m s .   S e c o n d,   t h e   m o s t   r o b us t   c l a s s i f i c a t i o n   s y s t e m   i s   e ff e c t i v e   o n l y   w h e n  t h e   pe r c e nt a ge   o f   l a b e l   n o i s e   i s   m i n o r.   T h e   pe r f o r m a n c e   of   t h e   m o s t   r o b us t   c l a s s i f i c a t i o n   s y s t e m   dr o ps   s i g n i f i c a n t l y   w h e n  t h e   pe r c e nt a ge   o f   l a b e l   n o i s e   i s   h uge .     R e c e n t l y ,   t h e   de e p  n e ura l   n e t w o r ks   (i . e . ,   t h e   m o de rn  c l a s s i f i c a t i o n   s y s t e m s )  h a v e   b e e n   e s t a b l i s h e d  a n d  w e l l   de v e l o pe d.   F o r   e xa m pl e ,   t h e   de e p  c o n v o l ut i o n   n e u ra l   n e t w o r k  c a n   b e   c o n s i de ri n g  t h e   c urr e n t   s t a t e   of  t h e   a r t   a nd  t h e   b e s t   c l a s s i f i c a t i o n   s y s t e m   f o r   i m a ge   r e c o gn i t i o n   p r o b l e m   [ 1] .   H ow e ve r ,   [10 - 12 ]  s h o w e d  t ha t   a   de e p  n e ura l   n e t w o r k  w i t h   h uge   e n o ugh   c a pa c i t y   c a n   m e m o r i z e   t h e   t ra i ni n g  s e t   l a b e l s   e ve n   w h e n   t h e y   a r e   ra n do m l y   m a de .   H e n c e ,   t h e y   a r e   m o s t l y   v ul n e r a b l e   t o   t h e   l a b e l   n o i s e .   S i m i l a r   t o   c l a s s i c a l   c l a s s i f i c a t i o n  s y s t e m s ,   l a b e l   n o i s e   c a n   c a us e   o v e r f i t t i n g   a n d   s i g n i f i c a nt l y   dr o p  t h e   de e p  n e u r a l   n e t w o r ks ’  pe r f o r m a n c e .     H ow e ve r ,   [1 2]  o b s e r ve d  t ha t   w h e n  t h e   l e a rni n g   r a t e   i s   hi g h,   de e p  n e u r a l   n e t w o r ks   m a y   pr e s e r v e   qui t e   e xt r a o rdi na r y   a c c ur a c y .   In   t h e   o t h e r   w o r ds ,   t h e   i n f l ue n c e   of   t h e   l a b e l   n o i s e   i s   n o t   i m po r t a n t .   T hi s   ob s e r v a t i o n   w a s   e m pl oy e d  i n   [12]  t o   pr e s e r v e   a n   a pp r o xi m a t i o n   o f  t h e   l a b e l s   us i n g  t h e   r u nni n g  a v e ra ge   of  de e p  n e u r a l   n e t w o r k’s   f o r e c a s t s   w i t h   a   h i g h   l e a rn i ng  ra t e .   T h e s e   a pp r o xi m a t i o n s   t h e n   c a n   b e   ut i l i z e d  a s   t h e   c o n t r o l   (o r   s upe r v i s i o n )  s i g na l s   t o   t ra i n  t h e   de e p  n e u ra l   n e t w o r k.   I n s p i r e d  by   t h e   w o r k  o f   [10 - 12]  a n d     [ 4 - 6 ,   1 3 ],   i n   t hi s   pa pe r,   w e   w i l l   de v e l o p  t h e   gra p h   a n d  h y pe r g ra p h   c o n v o l ut i o n   n e u ra l   n e t w o r k  m e t h o ds   a nd  a ppl y   t h e s e   m e t h o ds   t o   s o l v e   t h e   “ n o i s y   l a b e l   l e a rni n g ”   p r o b l e m   (us i n g  t h e   i m a ge   da t a s e t s   s uc h   a s   M N IS T ,   U S P S ,   a n d  F A S H IO N   M N IS T ).   T o   t h e   b e s t   of   o ur   k n o w l e dge ,   t h i s   w o r k  ha s   n o t   b e e n   i n v e s t i ga t e d  a n d   de ve l o pe d.     2 . 2 .      D at a  f i l t e r i n g  ap p r o ac h   In   t hi s   a pp r o a c h ,   t h e   s a m pl e s   w i t h   n o i s y   l a b e l s   a r e   di s t i ngui s h e d  a n d  f i xe d  be fo r e   t h e   t ra i ni n g   pr o c e s s .   T h e   rui n e d  l a b e l s   c a n   b e   m e r e l y   e l i m i na t e d  o r   r e l a b e l e d  a t   t h e   v e r y   b e gi nn i ng.   O n e   i de a   i s   t o   e m pl oy   t h e   f o r e c a s t s   f r o m   t h e   c l a s s i f i c a t i o n  s y s t e m   (fo r   e . g .   t h e   S V M   s y s t e m )  t o   de t e c t   m i s l a b e l e d  s a m pl e s .   T h e   c l a s s   of   t h e s e   m e t h o ds   i s   c a l l e d  t h e   c l a s s i f i c a t i o n   f i l t e r i ng  s y s t e m .   H ow e ve r ,   f i l t e r i n g  a l l   t h e   s a m p l e s   t ha t   a r e   m i s c l a s s i f i e d  by   t h e   c l a s s i f i c a t i o n  f i l t e r i ng  s y s t e m   i s   t o o   i n f l e xi b l e   a n d   r i s ky   s i n c e   t h e   c l a s s i f i c a t i o n   f i l t e r i ng  s y s t e m   l e a rn e d   f r o m   da t a   w i t h   n o i s y   l a b e l s   m i g ht   n o t   a l w a y s   b e   a c c ur a t e .     Evaluation Warning : The document was created with Spire.PDF for Python.
In do n e s i a n  J   E l e c   E ng  &   Co m p  S c i     IS S N :   2502 - 4752       Noi s e - r ob us t   c l as s i f i c at i on   w i t h  hy p e r gr aph   ne ur al   ne t w or k   ( Nguy e n  T r i nh  V u   D ang )   1467   k - nn  c l a s s i f i c a t i o n   s y s t e m s   i s   r e l a t e d  t o   a n o t h e r   c l a s s   o f   m e t h o ds .   k - nn   c l a s s i f i c a t i o n   s y s t e m s   a r e   s h o w n   t ha t   t h e y   a r e   v e r y   v ul n e r a b l e   t o   l a b e l   n o i s e .   H e n c e   s om e   k - n n  m e t h o ds   t a r ge t   a t   i m p r o v i ng  o r  c ha n g i n g   t h e   r u l e s   of   k - nn  a l go r i t h m s   t o   r e c o gn i z e   n o i s y   l a b e l s   a n d  t h e n   e l i m i na t e   o r   r e l a b e l   t h e   a s s o c i a t e d  s a m p l e s .   H ow e ve r ,   t h e   m e t h o ds   a s s oc i a t e d  t o   t h i s   c l a s s   a r e   h e u r i s t i c s   a n d  m i g ht   n o t   be   e ffe c t i ve   fo r   s a m pl e s   t h a t   a r e   c l o s e   t o   t h e   c l a s s i f i c a t i o n   b o un da r y .   M o r e ov e r ,   t h e   c h o i c e   of  k  (i . e .   t h e   n u m b e r   o f   n e i gh b o r s )  m i g ht   a f f e c t   t h e   pe r f o r m a n c e   o f   t h e s e   m e t h o ds   c o n s i de ra b l y .     S o m e   da t a   f i l t e r i n g   m e t h o ds   de pe n d  o n   s o m e   t hr e s h o l d s .   T he s e   m e t h o ds   c o m put e   t h e   s c o r e   f o r   e a c h  s a m pl e   by   us i n g  s o m e   m e a s ur e s   a n d  e l i m i n a t e   t h e   s a m pl e s   t ha t   a r e   a b o v e   t h e   de f i n i t e   t hr e s h o l d .   O b v i o us l y ,   t h e s e   m e t h o ds   a r e   s i m i l a r   t o   o ut l i e r   o r   a n o m a l y   o r   a b n o r m a l   de t e c t i o n   m e t h o ds   w h i c h   a r e   v e r y   h a r d   t o   s o l v e .  M o r e ov e r ,   i t ’s   v e r y   di ff i c ul t   t o   di f fe r e n t i a t e   t h e   a c c ura t e   e x e m pt i o n s   f r o m   t h e   m i s l a b e l e d  s a m p l e s .   L a s t   b ut   n o t   l e a s t ,   fo r   t h e   da t a   f i l t e r i ng  a pp r o a c h ,   t hi s   a pp r o a c h   t e n d s   t o   e l i m i na t e   a   l a r ge   a m o unt   of   s a m pl e s ,   w h i c h  m a y   c o n t a i n   ke y   i n f o r m a t i o n   f o r   c l a s s i f i c a t i o n .   E a s i l y ,   w e   c a n   a l s o   r e c o gn i z e   t h a t   w e   c a n   e m pl oy   t h e   fo r e c a s t s   f r o m   de e p  n e u ra l   n e t w o r ks   t o   de t e c t   m i s l a b e l e d  s a m pl e s .       2 . 3 .      I n h e r e n t l y  n o i s e - to l e r an t   l e ar n i n g  ap p r o ac h   In  t hi s   a pp r o a c h ,   t h e r e   a r e   t w o   w a y s   t o   a t t a c k  t h e   “ n o i s y   l a b e l   l e a rni ng   p r o b l e m ” :    a)   F i r s t ,   t hi s   w a y   w i l l   m o de l   t h e   n o i s y   l a b e l   be fo r e   o r   du r i ng  t h e   t ra i ni n g   p ha s e   t o   t a ke   t h e   n o i s y   l a b e l   i n t o   a t t e n t i o n.   T hi s   m o de l   h o l ds   t h e   i n f o r m a t i o n   o f   t h e   n o i s e   a n d  c a n   b e   i n s e rt e d  i n t o   t h e   c l a s s i f i c a t i o n    s y s t e m   [14 - 18].   H ow e v e r ,   i n  o r de r   t o   b ui l d  t h e   m o de l   f o r   n o i s y   l a b e l ,   t h e s e   m e t h o ds   r e qui r e   s uppl e m e n t a r y   pa r a m e t e r s ,   t h a t   m i g ht   i n c r e a s e   t h e   t i m e   c o m pl e xi t y   a n d   t h e   m o de l   c o m pl e xi t y .   W e   kn o w   t h a t   hi g h  m o de l   c o m pl e xi t y   o c c a s i o n a l l y   l e a ds   t o   o v e r - f i t t i n g .     b)   S e c o n d,   t hi s   w a y   pr o p o s e s   t h e   r o b u s t   l o s s   f un c t i o n   f o r   t h e   n o i s e - t o l e r a nt   m o de l .   F o r   e x a m p l e ,   [1 9]  e xpl o r e d  t h e   r o b us t n e s s   of   v a r i o us   l o s s   f un c t i o n s   s uc h  a s   m e a n   s qu a r e d  l o s s ,   m e a n  a b s o l ut e   l o s s ,   a n d   c r o s s   e n t r o p y   l o s s .   In  [20] ,   c o m b i n e d  t h e   b e n e f i t s   of   t h e   m e a n  a b s o l ut e   l o s s   a n d   t h e   c r o s s   e n t r o py   l o s s   t o  a t t a i n  t h e   i m p r o v e d  l o s s   f un c t i o n .         3.   H Y P ER G R A P H   N EU R A L   N ET WO R K   3. 1 .     P r o b l e m   fo r mu l ati o n   In   t hi s   pa pe r ,   w e   w o ul d  l i ke   t o   s o l ve   t h e   “ n o i s y   l a b e l   l e a rn i n g ”   p r o b l e m   [10,   21].   T hi s   p r o b l e m   c a n   a l s o   be   c a l l e d  t h e   “ l a b e l   di s t r i b ut i o n   l e a rni n g ”   p r o b l e m   [22],   t o   n a m e   a   f e w .   In   t h i s   p r o b l e m ,   l e t   X t r a i n = { x 1 , x 2 ,  . . . , x l }   b e   t h e   t r a i ni n g  s e t ,   w h e r e   x i   ∈   m .   x i   c a n   a l s o   b e   c a l l e d  t h e   f e a t ur e   v e c t o r   i   o r   i n s t a n c e   i   o r   s a m p l e   i   o f  t h e   t r a i n i ng  s e t   w i t h   1≤i ≤l .   L e t   Y L = { y 1 ,y 2 , . . . , y C }   b e   t h e   c o m pl e t e   s e t   of   l a be l s   w h e r e   C   i s   t h e   n u m b e r   o f   c l a s s e s   i n   t h e   da t a s e t .   F o r   e a c h   s a m p l e   ,   t h e r e   i s   a   l a b e l   di s t r i b ut i o n  = { 1 , 2 , … , } ∈ .   P l e a s e   n o t e   t h a t     i s   t h e   p r o b a b i l i t y   t h a t   t h e   s a m pl e     b e l o n gs   t o   t h e   c l a s s   c .  F ro m   t h e   a b ov e   d e f i n i t i o n ,   w e   kn o w   t ha t   0 ≤ ≤ 1   a n d   ∑ = 1 .   T h e   o b j e c t i v e   of   t h e   n o i s y   l a b e l   l e a rni n g   p r o b l e m   i s   t o   l e a rn  a   m a ppi ng   f un c t i o n  : →   b e t w e e n   t h e   s a m p l e   x   a nd  i t s   c o rr e s po n di n g  l a b e l   di s t ri b ut i o n  f un c t i o n   d .   I n  t h e   o t h e r   w o r ds ,   t h e   go a l   o f   n o i s y   l a b e l   l e a rn i ng   i s   t o   l e a rn  t h e   c o n d i t i o na l   p r o b a b i l i t y   m a s s   f u n c t i o n  ( | ) ,   w h e r e   ∈ , ∈ .   A s s um e   t ha t   ( | )   i s   t h e   p a ra m e t ri c   m o de l   ( | , ) ,   w h e r e     i s   t h e   p a r a m e t e r  v e c t o r .   G i v e n   t h e   t ra i ni n g   s e t   ,   w e   n e e d  t o   f i n d   (i . e . ,   s o l v e   fo r )    t h a t   c a n   ge n e r a t e   t h e   di s t ri b ut i o n  s i m i l a r   t o     [23].     3. 2 .     P r e l i m i n ar y  n o tati o n   an d   d e f i n i t i o n s   G i v e n   a   h y pe r gra p h   G = ( V ,   E ) ,   w h e r e   V   i s   t h e   s e t   of  ve r t i c e s   a n d  E   i s   t h e   s e t   of   h y pe r - e dge s .   E a c h  h y pe r - e dge   ∈   i s   t h e   s ub s e t   of   V .   P l e a s e   n o t e   t h a t   t h e   c a rdi na l i t y   of   e   i s   gr e a t e r   t ha n   o r  e qua l   t w o .   In   t h e   o t h e r  w o r ds ,   | | ≥ 2 ,   f o r   e v e r y   ∈ .   L e t   w ( e )   b e   t h e   w e i gh t   o f   t h e   h y pe r - e dge   e .   T h e n   W   w i l l   b e   t h e   | | ∗ | |   di a go n a l   m a t r i x  c o n t a i ni n g  t h e   w e i gh t s   o f  a l l   h y pe r - e dge s   i n   i t s   di a go n a l   e n t ri e s .   T h e   i n c i de n c e   m a t r i x  H   o f  G   i s   a   | | ∗ | |   m a t ri x  t h a t   c a n  b e   de f i n e d  a s   f o l l ow s :     ℎ ( , ) = { 1                 ℎ    0    ℎ    (1)     T h e   e xa m pl e   o f   t h e   h y pe r gra p h s   i s   i l l us t ra t e d  i n   F i gu r e   1 .       Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2502 - 4752   In do n e s i a n  J   E l e c   E ng  &   Co m p  S c i ,   V o l .   21 ,   N o .   3 ,  M a r c h  2 021   :     1 4 6 5   -   1 4 7 3   1468       F i gu r e   1 .   H y pe r gra p h  e xa m pl e s   w i t h  13  v e rt i c e s   a n d   4   h y pe r e dge s       F r o m   t h e   a b ov e   d e f i n i t i o n ,   w e   c a n   de f i n e   t h e   de gr e e   of   v e rt e x  v   a n d  t h e   de g r e e   of   h y pe r - e dge   e     a s   f o l l ow s :     ( ) = ∑ ( ) ∗ ℎ ( , ) ∈   (2)     ( ) = ∑ ℎ ( , ) ∈   (3)     L e t          b e   t w o   di a go na l   m a t ri c e s   c o n t a i ni n g   t h e   de g r e e s   o f   ve r t i c e s   a n d   t h e   de g r e e s   o f   h y p e r - e dge s   i n   t h e i r  di a go na l   e nt r i e s   r e s pe c t i v e l y .   P l e a s e   n o t e   t h a t     i s   t h e   | | ∗ | |   m a t ri x  a n d    i s   t h e   | | ∗ | |   m a t r i x .   F r o m   t h e   a b o v e   de f i n i t i o n s ,   [ 7,   8]   de f i n e   t h e   s y m m e t ri c   n o rm a l i z e d   h y pe r gra p h  L a pl a c i a n  a s   f o l l ow s :      = − − 1 2  − 1 − 1 2   (4)     M o r e ov e r ,   [ 7,   8]   de f i n e   t h e   ra n do m   w a l k  h y pe r g r a p h  L a p l a c i a n   a s   f o l l ow s :      = − − 1  − 1   (5)     P l e a s e   n o t e   t h a t   t h e   t w o   t e rm s   − 1 2  − 1 − 1 2   a nd  − 1  − 1   i n  t h e   s y m m e t r i c   n o r m a l i z e d  h y pe r gra p h   L a pl a c i a n   a n d  t h e   ra n do m   w a l k  h y pe r g r a p h  L a p l a c i a n  r e s pe c t i v e l y   w i l l   b e   u s e d  i n   o ur   p r o po s e d   h y pe r gra p h  n e u r a l   n e t w o r k  m e t h o d.     3. 3 .    H yp e r g r ap h   b as e d   s e m i - s u p v e r v i s e d   l e a r n i n g   p r o b l e m   G i v e n   a   s e t   o f   i m a ge s   { 1 , … , , + 1 , … , + }   w h e r e   = | | = +   i s   t h e   t o t a l   num b e r   o f   i m a ge s   (i . e .   v e r t i c e s )  i n   t h e   h y pe r gr a p h   G = ( V , E ) .   T h e   m e t h o d  c o n s t r uc t i n g  t h e   i n c i de n c e   m a t r i x  H   f r o m   t h e   i m a ge   da t a s e t   w i l l   be   s p e c i f i e d  c l e a r l y   i n   t h e   E xpe ri m e n t s   a nd  Re s ul t s   s e c t i o n .   L e t   C   be   t h e   n um b e r   o f  c l a s s e s .   P l e a s e   n o t e   t h a t   { 1 , … , }   i s   t h e   s e t   o f   a l l   l a b e l e d  po i n t s   a n d  { + 1 , … , + }   i s   t he   s e t   of   a l l   u n - l a b e l e d  po i n t s .   L e t   ∈ | | ∗   t h e   i ni t i a l   l a b e l   m a t ri x   f o r   n   i m a ge s   i n  t h e   h y pe r gra p h  G   b e   de f i n e d  a s   f o l l ow s :      = { 1      ∈          1 ≤ ≤ − 1        ∉          1 ≤ ≤ 0      + 1 ≤ ≤   (6)     L e t   t h e   m a t r i x   ∈ | | ∗   b e   t h e   e s t i m a t e d  l a b e l   m a t r i x   fo r   t h e   s e t   o f   i m a ge s   { 1 , … , , + 1 , … , + } ,   w h e r e   t h e   po i n t     i s   l a b e l e d  a s   s i g n   (  )  f o r   e a c h  c l a s s   j   ( 1 ≤ ≤ ) .  O u r  ob j e c t i v e   i s   t o   pr e di c t   t h e   l a b e l s   o f   t h e   u n - l a b e l e d  po i n t s   + 1 , … , + .   I n   t h e   o t h e r   w o r ds ,   w e   n e e d  t o   c o m put e   t h e   f i na l   s o l ut i o n  m a t ri x  F .   F r o m   [ 7,   8] ,   t h e   c l o s e d  f o r m   s o l ut i o n   o f   t h e   h y pe r g r a p h  b a s e d  s e m i - s upe r v i s e d  l e a rni n g   m e t h o d  c a n  b e   c o m put e d  a s   f o l l o w s :     = ( 1 − ) ( − − 1 2  − 1 − 1 2 ) − 1   (7)     w h e r e   α   i s   t h e   p a r a m e t e r .     Evaluation Warning : The document was created with Spire.PDF for Python.
In do n e s i a n  J   E l e c   E ng  &   Co m p  S c i     IS S N :   2502 - 4752       Noi s e - r ob us t   c l as s i f i c at i on   w i t h  hy p e r gr aph   ne ur al   ne t w or k   ( Nguy e n  T r i nh  V u   D ang )   1469   3. 4 .    H yp e r g r ap h   n e u r al   n e tw o r k   F r o m   [ 5 - 6] ,   l e t :     1 = ( − 1 2  − 1 − 1 2 1 ) ( 8 )   ( 8)     2 = ( − 1  − 1   1 )   ( 9 )   ( 9)     T h e   o ut put   o f   t h e   h y pe r gr a p h   n e u ra l   n e t w o r k  c a n  b e   de f i n e d  a n d  c o m put e d   a s   f o l l ow s :     =  ( − 1 2  − 1 − 1 2 1 2 )   ( 10 )   or   = =  ( − 1 − 1 2 2 )   ( 11 )     N o t e   t h a t   ∈ ∗ 1   i s   t h e   f e a t u r e   m a t r i x   (i . e .   t h e   i m a ge   d a t a s e t ).   1 ∈ 1 ∗ 2   a nd  2 ∈ 2 ∗   a r e   t w o   pa r a m e t e r   m a t r i c e s   t ha t   a r e   n e e de d  t o   b e   l e a rn e d   du r i ng  t h e   t r a i n i ng  p r o c e s s .     3. 5 .    O u r   p r o p os e d   h yp e r g r ap h   n e u r al   n e tw o r k   In s p i r e d  by   t h e   w o r k  i n   [ 6]   f o r   g r a p h   n e u ra l   n e t w o r k,   w e   t r y   t o   a ppl y   t h i s   w o r k  (i de a )  t o   de v e l o p  o ur   n o v e l   v e r s i o n   fo r   h y pe r gra p h   n e u r a l   n e t w o r k  m e t h o d.   I n   t hi s   n o v e l   ve r s i o n,   w e   i n i t i a l l y   c o m put e   t h e   f i n a l   s o l ut i o n   m a t r i x  F   o f   t h e   c l a s s i c   h y pe r g r a p h   b a s e d  s e m i - s u pe rv i s e d  l e a rni n g   m e t h o d  a s   i n   (7):     = ( 1 − ) ( − − 1 2  − 1 − 1 2 ) − 1   ( 12 )   (12)     In   t h i s   f i r s t   s t e p,   w e   ov e r c o m e   t h e   di f f i c ul t y   w h i c h   i s   “ o n l y   n e i g h b o r s   i n   t h e   t w o - h o p  n e i g h b o rh o o d   a r e   c o n s i de r e d ”   o f  t h e   gra p h   n e ura l   n e t w o r k  m e t h o d  a n d  h y pe r g ra p h   n e ura l   n e t w o r k  m e t h o d  [5 - 6].   T h e   t i m e   c o m pl e xi t y   of   t hi s   c o m put a t i o n   i s   s t i l l   l o w   s i n c e   w e   e m pl oy   t h e   s pa r s e   m a t r i x  c o m put a t i o n   t e c hn i que s ,   f o r   e xa m pl e s ,   t h e   c o n j uga t e   g r a d i e n t   m e t h o d,   t o   s o l ve   t h e   a b ove   s pa r s e   l i n e a r  s y s t e m   of   e qua t i o n s .   P l e a s e   n o t e   t h a t ,   t h i s   f i r s t   s t e p  c a n   a l s o   b e   c a l l e d  t h e   “ f e a t ur e   p r o pa g a t i o n ”   s t e p  o r   “ f e a t u r e   di f f us i o n ”   s t e p  [24 ]   (i . e .   t hi s   s t e p  i s   n o t   a   “ l a b e l   pr o pa g a t i o n ”   s t e p).   It s   pu rpo s e   i s   t o   s m oo t h   t h e   d a t a   ( i . e .   t h e   f e a t u r e   m a t r i x).   T hi s   m i g h t   l e a d  t o   t h e   hi g h  pe r f o r m a n c e   o f   o ur   p r o po s e d  h y pe r gr a p h   n e ura l   n e t w o r k  m e t h o d .   I n  a ddi t i o n,   l e t   us   de f i n e :     3 = ( − 1 2  − 1 − 1 2 1 ) ( 13 )   (13)     W e   c o m put e   t h e   f i na l   o ut put   Z   o f   t h e   h y pe r gra p h  n e u r a l   n e t w o r k  by :     =  ( − 1 2 − 1 3 2 )   ( 14 )   (14)     S i m pl y   s pe a ki n g ,   o ur  n o v e l   m e t h o d  i s   t h e   c o m b i na t i o n   of   t h e   c l a s s i c   h y pe r gr a p h   b a s e d  s e m i - s upe r v i s e d  l e a rni n g  m e t h o d  a n d  t h e   h y pe r gra p h   n e u r a l   n e t w o r k  m e t h o d.   T hi s   c o m b i n a t i o n   m i g h t   o ut pe r f o r m   t h e   h y pe r -   g r a p h  n e u r a l   n e t w o r k  a l o n e   (i . e .   t h e   c urr e nt   s t a t e   of   t h e   a r t   m e t h o d  o f   s e m i - s upe r v i s e d  l e a rn i ng  a pp r o a c h ) .   T h e   t w o   m a i n  di f f e r e n c e s   o f   o ur   p r o po s e d  m e t h o d  w i t h   t h e   m e t h o d  p r o po s e d  i n  [6]   a r e :     a)   Ini t i a l l y ,   t h e   i nput   f e a t u r e   m a t ri x   X   do e s   n o t   n e e d  t o   go   t hr o u gh  a   n e u ra l   n e t w o r k.     b)   A t   o ur   f i n a l   s t e p,   w e   c o m put e   t h e   o ut put   Z   of   h y p e r g r a ph   n e u ra l   n e t w o r k  s i m i l a r   t o   t h e   f o r m ul a   pr o po s e d  by   [5].   P l e a s e   n o t e   t h a t   [5]  pr o po s e d  t h e   fo r m ul a   t o   c o m put e   t h e   o ut put   of   t h e   gr a p h   n e u ra l   n e t w o r k.   I n   t h e   o t h e r  w o r ds ,   i n  t h e   m e t h o d  p r o po s e d  i n   [6],   t h e   f i n a l   s o l ut i o n   m a t r i x  F   o f   t h e   h y pe r gra p h  b a s e d  s e m i - s upe r v i s e d  l e a rni n g  m e t h o d  i s   j us t   n e e de d  t o   go   t hr o ug h   o nl y   o n e   l a y e r   of   t h e   n e u r a l   n e t w o r k  w hi c h  i s   t h e   s o f t m a x   l a y e r .         4.   EX P ER I M EN TA L  R ES U L T   In   t h i s   s e c t i o n,   w e   w i l l   a p pl y   t h e   c l a s s i c   g r a p h  b a s e d  s e m i - s upe r v i s e d  l e a rni n g  m e t h o d  [25],   t h e   c l a s s i c   h y p e r g r a p h  b a s e d  s e m i - s upe r v i s e d  l e a rn i ng  m e t h o d,   gra p h  n e u r a l   n e t w o r k  m e t h o d,   h y pe r gra p h   n e u ra l   n e t w o r k  m e t h o d,   a n d  o u r   p r o po s e d  h y p e r g r a p h   n e u ra l   n e t w o r k  m e t h o d  t o   s o l ve   t h e   n o i s y   l a b e l   l e a rn i n g   pr o b l e m .   I n  t h e   o t h e r  w o r ds ,   w e   w i l l   t e s t   t h e   n o i s e   r o b us t n e s s   of   t h e s e   f i ve   m e t h o ds .   T h e   t hr e e   i m a ge   da t a s e t s   Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2502 - 4752   In do n e s i a n  J   E l e c   E ng  &   Co m p  S c i ,   V o l .   21 ,   N o .   3 ,  M a r c h  2 021   :     1 4 6 5   -   1 4 7 3   1470   t h a t   w e   w i l l   us e   i n   t h e   e xpe ri m e nt s   a r e   t h e   M N IS T   da t a s e t ,   t h e   U S P S   da t a s e t ,   a nd  t h e   F A S IO N   M N IS T   da t a s e t .       4 . 1 .      D at as e t   M N IS T :   T h i s   i m a ge   da t a s e t   i s   t h e   d a t a s e t   c o n t a i n i ng  t h e   ha n dw ri t t e n  i m a ge s   f r o m   ‘0’   t o   ‘9’.   T h e r e   a r e   70, 000  i m a ge s   i n   t h e   da t a s e t .   T h e r e   a r e   60, 0 00  i m a ge s   i n  t h e   t ra i ni n g  s e t   a nd  10 , 000  i m a ge s   i n   t h e   t e s t i n g   s e t .   O bv i o us l y ,   t h e   n u m b e r   o f   c l a s s e s   i n   t h i s   M N IS T   i m a ge   da t a s e t   i s   10.   E a c h   i m a ge   i n   t h e   d a t a s e t   i s   t h e   28 - by - 28  m a t ri x  (g ra y   s c a l e   i m a ge ) .   O u r   f i r s t   t a s k  i n   t h e   p r e p r o c e s s i n g  s t e p  i s   t o   c o n v e r t   t h i s   g ra y   s c a l e   i m a ge   t o  1 - by - 784  v e c t o r .   W e   a c hi e v e   t h i s   t a s k  by   c o n c a t e na t i ng  e v e r y   r o w s   of   t h e   gra y   s c a l e   i m a ge   t o   a   “ l o ng ”   r o w   v e c t o r .   I n  t h e   o t h e r  w o r ds ,   w e   ha v e   t h e   R 7 0 , 0 0 0 × 7 8 4   f e a t u r e   m a t ri x.     U S P S :   T h i s   i m a ge   da t a s e t   i s   a l s o   t h e   ha n dw r i t t e n   i m a ge   da t a s e t   f r o m   ‘0’  t o   ‘9’.   H ow e ve r ,   i n  t hi s   da t a s e t ,   t h e r e   a r e   j us t   9, 298  i m a ge s   i n   t h e   da t a s e t .   T h e r e   a r e   7, 291  i m a ge s   i n   t h e   t r a i n i ng  s e t   a n d  2 , 007  i m a ge s   i n   t h e   t e s t i n g  s e t .   T h e   n um b e r   o f   c l a s s e s   i n   t hi s   U S P S   da t a s e t   i s   10.   E a c h   i m a ge   i n   t h e   da t a s e t   i s   t h e   16 - by - 16   m a t r i x  (g ra y   s c a l e   i m a ge ).   W e   c o n c a t e n a t e   e ve r y   r ow s   of  t h e   gr a y   s c a l e   i m a ge   (i n   t h i s   U S P S   da t a s e t )  t o   t h e   1 - by - 256  “ l o n g ”   r o w   v e c t o r .   T h us ,   f i n a l l y ,   w e   h a v e   t h e   R 9 , 2 9 8 × 2 5 6   f e a t ur e   m a t ri x.     F A S H IO N   M N IS T :   T h i s   i m a ge   da t a s e t   i s   t h e   da t a s e t   c o n t a i ni n g  i m a ge s   of   s h o e s ,   c l o t h e s ,   c a ps ,   e t c .   T h e r e   a r e   70, 0 00  i m a ge s   i n   t h e   da t a s e t .   T h e r e   60, 0 00  i m a g e s   i n   t h e   t r a i n i n g  s e t   a n d  10 , 00 0  i m a ge s   i n   t h e   t e s t i n g  s e t .   T h e   n um b e r   o f   c l a s s e s   i n   t hi s   F A S H IO N   M N IS T   i m a ge   da t a s e t   i s   10 .   E a c h   i m a ge   i n   t h e   da t a s e t   i s   t h e   28 - by - 28   m a t r i x  (g r a y   s c a l e   i m a ge ).   W e   c o n c a t e na t e   e ve r y   r ow s   o f  t h e   gra y   s c a l e   i m a ge   t o   t h e   1 - by - 784   “ l o n g ”   r o w   v e c t o r .   I n   t h e   o t h e r   w o r ds ,   w e   h a v e   t h e   R 7 0 , 0 0 0 × 7 8 4   f e a t ur e   m a t ri x .   T h i s   F A S H IO N   M N I S T   i m a ge   da t a s e t   i s   c o n s i de r e d  t h e   h a rde s t   i m a ge   da t a s e t   t o   t e s t   i n  o ur  e xpe r i m e nt s .       4 . 2 .      Ex p e r i m e n ts   an d   r e s u l t   In   o r de r   t o   r e duc e   t h e   n o i s e   a nd  r e du nda nt   f e a t ur e s   i n   t h e   i n p u t   f e a t ur e   m a t ri c e s   a n d  i n   o r de r   t o   r e duc e   t h e   t i m e   c o n s t ruc t i n g   t h e   g ra p h s   a n d   h y pe r gra p h s   f r o m   t h e   t hr e e   i m a ge   d a t a s e t s ,   w e   a ppl y   t h e   di m e n s i o na l   r e duc t i o n   P CA   t e c hni que   t o   t h e   t hr e e   i n put   f e a t u r e   m a t r i c e s .   F i n a l l y ,   t h e   M N IS T   da t a s e t   i s   t r a n s f o r m e d  t o   t h e   R 70, 000 × 50  m a t r i x.   T h e   U S P S   da t a s e t   i s   t ra n s f o r m e d  t o   R 9, 298 × 50  m a t ri x.   T h e   F A S H IO N   M N IS T   da t a s e t   i s   t r a n s f o r m e d  t o   R 70, 000 × 300  m a t r i x .   T h e   w a y   c o n s t r uc t i n g  t h e   g ra p h s   f r o m   t h e   t hr e e   i m a ge   da t a s e t s   c a n   b e   fo un d  i n   [25 ,   2 6].   N e x t ,   w e   w i l l   di s c us s   h o w   t o   c o n s t ruc t   t h e   i n c i de n c e   m a t ri x  H   of   t h e   h y pe r g r a p h s   f r o m   t h e   t hr e e   i m a ge   da t a s e t s .   P l e a s e   n o t e   t ha t   t h e   n u m b e r   o f   h y pe r e dge s   i n   t h e   h y pe r gra p h   i s   e qua l   t o   t h e   n u m b e r   o f  i m a ge s   i n   t h e   da t a s e t   [ 27].   T h e   i m a ge   i   b e l o n gs   t o  h y p e r e dge   j   i f   i m a ge   i   i s   a m o n g   t h e   k - n e a r e s t   n e i g h b o r  o f   i m a ge   j   o r  i m a ge   j   i s   a m o n g   t h e   k - n e a r e s t   n e i g h b o r   o f   i m a ge   i .   I n  t h i s   pa pe r,   k   i s   c h o s e n   t o   b e   5.   F i na l l y ,   f r o m   t h e   c o m put e d   H ,   w e   c a n  c o m put e   t h e   t w o   t e rm s   ( − 1 2  − 1 − 1 2 )   a n d   ( − 1  − 1 )   i n  t h e   s y m m e t r i c   n o r m a l i z e d   h y pe r gra p h  L a p l a c i a n  a nd   t h e   ra n do m   w a l k   h y pe r gra p h   L a pl a c i a n   us e d  i n   t h e   c l a s s i c   h y pe r gra p h   b a s e d  s e m i - s u pe r v i s e d  l e a rni n g  m e t h o d,   t h e   h y pe r gra p h   n e u ra l   n e t w o r k  m e t h o d,   a n d  o ur   p r o po s e d  h y p e r g r a p h   n e u r a l   n e t w o r k  m e t h o d.   T h e   t w o   m a i n   d i f f e r e n c e s   of   o ur   m e t h o ds   w i t h   o t h e r   s e m i - s upe r v i s e d  l e a rn i ng  m e t h o ds   [28,   29]  s o l v -   i n g  t h e   i m a ge   c l a s s i f i c a t i o n   p r o b l e m   w i t h  n o i s y   l a b e l s   a r e :     a)   O t h e r   s e m i - s upe r v i s e d  l e a rni n g  m e t h o ds   j us t   us e d  t h e   s ub s e t s   of   t h e   M N IS T   a n d   t h e   U S P S   da t a s e t s .   F o r  e xa m pl e ,   i n   [2 8],   t h e   a ut h o r s   j us t   us e d  10, 00 0  i m a ge s   f r o m   M N IS T   t o   e v a l ua t e   t h e i r   m e t h o ds .   I n  t h e   o t h e r  ha n d ,   o u r   m e t h o ds   us e   t h e   c o m pl e t e   M N IS T ,   U S P S ,   a nd  F A S H IO N   M N IS T   i m a ge   da t a s e t s .     b)   O ur   m e t h o ds   a ppl y   di r e c t l y   t h e   P CA   t e c h ni que   t o   t h e   f e a t ur e   m a t r i c e s   of   t h e   t hr e e   i m a ge   da t a s e t s   i n   o r de r   t o   r e duc e   t h e   t i m e   c o n s t r uc t i ng  t h e   g r a p h s   a n d  t h e   h y p e r g r a p h s   o f  t h e   t hr e e   i m a ge   da t a s e t s .   T o   t h e   b e s t   of   o ur   kn o w l e dge ,   t h i s   w o r k  ha s   n o t   b e e n   do n e   be fo r e .   T h e   e xpe r i m e nt a l   r e s ul t s   s h o w   t h a t   i f   w e   d o  n o t   a ppl y   t h e   P CA   t e c hn i q ue   t o   t h e   f e a t ur e   m a t r i c e s   of   t h e   t hr e e   i m a ge   da t a s e t ,   t h e   h y pe r gra p h   n e u ra l   n e t w o r k  s i g ni f i c a nt l y   o ut pe r fo r m s   t h e   g ra p h   n e u ra l   n e t w o rk.   If   w e   a ppl y   t h e   P CA   t e c h ni que   t o   t h e   f e a t ur e   m a t ri c e s   of   t h e   t hr e e   i m a ge   da t a s e t s ,   t h e   h y p e rgra p h   n e u ra l   n e t w o r k  m e t h o d  do e s   n o t   s i g n i f i c a n t l y   o ut pe r f o r m   t h e   g ra p h   n e u ra l   n e t w o r k  m e t h o d;   h o w e ve r ,   b o t h   t h e   h y pe r gra p h   n e u ra l   n e t w o r k  a n d  t h e   gra p h   n e u ra l   n e t w o r k  w i t h   P CA   a r e   b e t t e r   t ha n   t h e   g ra p h   a nd  h y pe r gr a p h   n e u r a l   n e t w o r k  w i t h o ut   us i n g   P CA   t e c hn i que .   T h e s e   c l a i m s   w i l l   b e   c l a r i f i e d  i n  T a b l e s   1,   2 ,   3 ,   4.   In  ge n e ra l ,   i n  t hi s   p a pe r ,   w h a t   w e   w a n t   t o   a c hi e v e   i s   c l e a r:   w e   w o ul d  l i ke   t o   p r o v e   t ha t   t h e   h y pe r gra p h   n e u ra l   n e t w o r ks   (t h e   c u rr e n t   s t a t e   o f   t h e   a rt   s e m i - s upe r v i s e d  l e a rn i ng  m e t h o d  a nd  o ur   p r o po s e d   m e t h o d)  a r e   a t   l e a s t   a s   go o d  a s   t h e   gra p h   n e u r a l   n e t w o r k  b u t   s o m e t i m e s   l e a d  t o   b e t t e r   a c c ura c y   pe r fo r m a n c e   m e a s u r e s .   W e   r u n   o u r   f i v e   m e t h o ds   (P y t h o n   c o de )  o n   G o o g l e   Co l a b   w i t h   N V ID IA   T e s l a   K 80  G P U   a n d  1 2  GB   R A M .   T h e   f o l l ow i n g  T a b l e s   1 ,   2 ,   3,   a nd  4  s h o w   t h e   e xpe ri m e n t a l   r e s ul t s   o f   o ur   f i v e   m e t h o ds .     Evaluation Warning : The document was created with Spire.PDF for Python.
In do n e s i a n  J   E l e c   E ng  &   Co m p  S c i     IS S N :   2502 - 4752       Noi s e - r ob us t   c l as s i f i c at i on   w i t h  hy p e r gr aph   ne ur al   ne t w or k   ( Nguy e n  T r i nh  V u   D ang )   1471   F r o m   t h e   a b ov e   t hr e e   t a b l e s ,   w e   e a s i l y   r e c o gn i z e   i ni t i a l l y   a n d  d i r e c t l y   t h a t   w h e n   t h e   n o i s e   l e v e l   i n c r e a s e s ,   o ur   p r o po s e d   h y p e r g r a p h   n e u ra l   n e t w o r k  o ut pe r fo r m s   t h e   o t h e r   m e t h o ds   (i . e .   e s pe c i a l l y   w h e n   t h e   n o i s e   l e v e l   r e a c h e s   45%) .   S e c o n d,   f r o m   t h e   e xpe r i m e n t a l   r e s ul t s ,   w e   s e e   t ha t   t h e   h y pe r gra p h  n e u r a l   n e t w o r k  m e t h o ds   (bo t h   t h e   c urr e n t   s t a t e   of   t h e   a rt   s e m i - s u pe r v i s e d  l e a rn i ng  m e t h o d  a nd  o ur   p r o p o s e d  m e t h o d)  a r e   a t   l e a s t   a s   go o d  a s   t h e   g ra p h  n e u r a l   n e t w o r k  p r o po s e d  by   T h o m a s   K i pf   b ut   s o m e t i m e s   l e a d  t o   b e t t e r   a c c ur a c y   pe r f o r m a n c e   m e a s u r e s .   F i n a l l y ,   w e   c a n   a l s o   e a s i l y   s e e   t h a t   t h e   c l a s s i c   g ra p h   b a s e d  s e m i - s upe r v i s e d  l e a rni n g   m e t h o d  pe r f o r m s   w o r s t   w h e n  t h e   n o i s e   l e v e l   i n c r e a s e s .   L a s t   b ut   n o t   l e a s t ,   i n   t h e   F A S H IO N   M N IS T   da t a s e t ,   w e   w o ul d  l i ke   t o   s h o w   t h a t   i f   w e   d o   n o t   a ppl y   t h e   P CA   t e c hn i q ue   t o   t h e   f e a t ur e   m a t ri x  o f   t h e   F A S H IO N   M N IS T   i m a ge   da t a s e t ,   t h e   h y pe r gra p h   n e u r a l   n e t w o r k  s i g ni f i c a nt l y   o ut pe r f o r m s   t h e   gra p h   n e u r a l   n e t w o r k.   T h i s   c l a i m   i s   s h o w n   i n   t h e   f o l l ow i n g   T a b l e   4.       T a b l e   1 .   M N IS T   d a t a s e t :   c o m pa ri s o n  o f   o ur   f i v e   m e t h o ds   w i t h  v a r i o us   n o i s e   l e v e l s .   T h e   c l a s s i f i c a t i o n  a c c ur a c y   i s   r e po r t e d  ( %)   N o i s e   l e v e l   0%   15%   30%   45%   G ra p h   b a s e d   s e m i - s u p e r v i s e d   l e a rn -   i n g   9 7 . 7 0   9 3 . 3 3   8 0 . 9 4   5 7 . 4   H y p e r g ra p h   b a s e d   s e m i - s u p e r v i s e d   l e a rn i n g   9 7 . 6 5   9 7 . 5 6   9 7 . 5 4   8 4 . 4 9   G ra p h   n e u ra l   n e t w o rk   9 7 . 3 9   9 7 . 3 1   9 7 . 1 1   8 6 . 1 5   H y p e r g ra p h   n e u ra l   n e t w o rk   ( c u rre n t   s t a t e   o f   t h e   a rt   s e m i - s u p e rv i s e d   9 7 . 5 2   l e a rn i n g   m e t h o d )   9 7 . 5 2   9 7 . 4 0   97. 34   8 7 . 0 7   P ro p o s e d   h y p e r g ra p h   n e u ra l   n e t -   w o rk   9 7 . 7 2   9 7 . 6 9   9 7 . 3 0   9 1 . 6 5       T a b l e   2 .  U S P S   da t a s e t :   c o m pa ri s o n  o f   o ur   f i v e   m e t h o ds   w i t h   v a r i o us   n o i s e   l e v e l s .   T h e   c l a s s i f i c a t i o n   a c c ura c y   i s   r e po r t e d   (%)   N o i s e   l e v e l   0%   15%   30%   45%   G ra p h   b a s e d   s e m i - s u p e r v i s e d   l e a rn i n g   9 5 . 0 6   9 4 . 9 6   9 2 . 8 2   6 6 . 2 6   H y p e r g ra p h   b a s e d   s e m i - s u p e r v i s e d   l e a rn i n g   9 5 . 0 6   9 4 . 9 1   9 4 . 7 1   7 4 . 5 8   G ra p h   n e u ra l   n e t w o rk   9 4 . 6 6   9 4 . 4 2   9 3 . 1 2   7 0 . 0 0   H y p e r g ra p h   n e u ra l   n e t w o rk   ( c u rre n t   s t a t e   o f   t h e   a rt   s e m i - s u p e rv i s e d   9 7 . 5 2   l e a rn i n g   m e t h o d )   9 4 . 7 6   9 4 . 7 1   9 3 . 8 2   7 4 . 4 8   P ro p o s e d   h y p e r g ra p h   n e u ra l   n e t w o rk   9 5 . 0 6   9 4 . 8 1   9 4 . 3 7   8 2 . 5 1       T a b l e   3 .  F a s hi o n  M N IS T   da t a s e t :   c o m pa ri s o n   o f   o ur   f i v e   m e t h o ds   w i t h   v a ri o us   n o i s e   l e v e l s .   T h e   c l a s s i f i c a t i o n  a c c u r a c y   i s   r e po rt e d  (% )   N o i s e   l e v e l   0%   15%   30%   45%   G ra p h   b a s e d   s e m i - s u p e r v i s e d   l e a rn i n g   8 6 . 1 3   8 5 . 7 5   8 4 . 0 2   6 3 . 6 1   H y p e r g ra p h   b a s e d   s e m i - s u p e r v i s e d   l e a rn i n g   8 4 . 8 8   8 4 . 6 9   8 3 . 4 3   6 9 . 2 9   G ra p h   n e u ra l   n e t w o rk   8 6 . 7 6   8 6 . 3 5   8 5 . 1 7   6 7 . 7 9   H y p e r g ra p h   n e u ra l   n e t w o rk   ( c u rre n t   s t a t e   o f   t h e   a rt   s e m i - s u p e rv i s e d   9 7 . 5 2   l e a rn i n g   m e t h o d )   8 6 . 4 1   8 6 . 3 0   8 5 . 4 7   7 0 . 0 9   P ro p o s e d   h y p e r g ra p h   n e u ra l   n e t w o rk   8 6 . 1 4   8 5 . 9 1   8 5 . 0 2   7 5 . 8 9       T a b l e   4 .  F a s hi o n   M N IS T   da t a s e t :   Co m p a r i s o n  o f   t h e   h y pe r gra p h   n e u ra l   n e t w o r k  m e t h o d  (t h e   c u rr e n t   s t a t e   o f   a r t   s e m i - s upe r v i s e d  l e a rni n g   m e t h o d)  a n d   t h e   g r a p h  n e u ra l   n e t w o r k  m e t h o d    N o i s e   l e v e l   0%   G ra p h   n e u ra l   n e t w o rk   ( w i t h o u t   P C A )   7 9 . 9 8   H y p e r g ra p h   n e u ra l   n e t w o rk   ( w i t h o u t   P C A )   8 5 . 0 9   G ra p h   n e u ra l   n e t w o rk   ( w i t h   P C A )   8 6 . 7 6   H y p e r g ra p h   n e u ra l   n e t w o rk   ( w i t h   P C A )   8 6 . 4 1       5.   C O N C LU S I O N   In   t hi s   pa pe r ,   w e   h a v e   pr o p o s e d   t h e   n o v e l   h y pe r gra p h   n e u r a l   n e t w o r k  m e t h o d.   O ur   c o n t ri b ut i o n s   a r e :   (1)  R e duc e   t h e   t i m e   c o n s t r uc t i n g  t h e   g r a p h  a n d  t h e   h y pe r gra ph   b y   i n i t i a l l y   a ppl y i n g  t h e   P CA   t e c hn i que   t o   t h e   i m a ge   da t a s e t ,   (2)   O ur   n o v e l   h y pe r gra p h   n e u r a l   n e t w o r k  m e t h o d  i s   i n   f a c t   t h e   c o m b i n a t i o n   o f  t h e   c l a s s i c   h y pe r gra p h   b a s e d  s e m i - s upe r v i s e d  l e a rn i ng  m e t h o d  a nd  t h e   h y pe r gra p h   n e u ra l   n e t w o r k  pr o po s e d  by   [4]  (i . e . ,   t h e   c urr e nt   s t a t e   o f   t h e   a r t   s e m i - s upe r v i s e d  l e a rni n g  m e t h o d).   T h e   e xpe r i m e nt a l   r e s ul t s   s h o w   t h a t   o u r   pr o po s e d  h y p e r g r a p h  n e u r a l   n e t w o r k  o ut pe r f o r m s   o t h e r   s e m i -   s upe r v i s e d  l e a rn i ng  m e t h o ds   a s   t h e   n o i s e   l e v e l   i n   t h e   t r a i ni n g  s e t   i n c r e a s e s   (~ 45%) .   I n   t h e   o t h e r   w o r ds ,   o ur   pr o po s e d  a ppr o a c h   i s   qui t e   r o b us t   t o   n o i s e   l a b e l s   t o   s o m e   e xt e n t .   M o r e o v e r ,   t h e   h y pe r gra p h   n e u ra l   n e t w o r k s   (t h e   c urr e n t   s t a t e   o f   t h e   a r t   m e t h o d  o f   s e m i - s upe r v i s e d  l e a rni n g  a pp r o a c h   a nd  o ur   p r o po s e d  m e t h o d)  a re   a t   l e a s t   a s   go o d  a s   t h e   gra p h   n e u r a l   n e t w o r k  pr o po s e d  by   T h o m a s   K i pf ,   b ut   s o m e t i m e s   l e a d   t o   b e t t e r   a c c ura c i e s .   L a s t   b ut   n o t   l e a s t ,   i n   t h e   f ut u r e   w o r k,   w e   w i l l   c o m b i n e   t h e   h y pe r gra p h   p - L a p l a c i a n   b a s e d  s e m i -   s upe r v i s e d  l e a rni n g  m e t h o d  w i t h   t h e   c u rr e nt   s t a t e   of  Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2502 - 4752   In do n e s i a n  J   E l e c   E ng  &   Co m p  S c i ,   V o l .   21 ,   N o .   3 ,  M a r c h  2 021   :     1 4 6 5   -   1 4 7 3   1472   t h e   a r t   s e m i - s upe r v i s e d  l e a rni n g  m e t h o d  (i . e .   t h e   h y -   pe r gra p h   n e u r a l   n e t w o r k  p r o po s e d  by   [4])  t o   fo r m   a   n o v e l   h y pe r gra p h   n e u ra l   n e t w o r k  m e t h o d.   F i na l l y ,   w e   c a n   a ppl y   t h i s   n o v e l   m e t h o d  t o   v a r i o us   c l a s s i f i c a t i o n   t a s ks   s uc h   a s   p r o t e i n  f un c t i o n  p r e di c t i o n ,   c a n c e r  c l a s s i f i c a t i o n,   a n d   s pe e c h   r e c o gn i t i o n,   t o   n a m e   a   f e w .         A C K N O WL ED G E M EN TS   T h i s   r e s e a r c h   i s   f un de d   by   H o   Ch i   M i nh   Ci t y   U n i v e r s i t y   of   T e c hn o l o g y   ( H CM U T ),   V N U - H CM ,   unde r  g r a n t   n u m b e r   B K - SDH - 2020 - 1970428 .       R EF ER EN C ES     [ 1]   K a r e n  S i m o ny a n  a nd  A ndr e w   Z i s s e r m a n,   “ V e r y   de e p  c o nvo l ut i o n a l   ne t w o r ks   f o r   l a r g e - s c a l e   i m a g e   r e c o g ni t i o n, ”   a r X i v   pr e pr i n t   a r X i v : 1409 . 1 556 ,   pp .  1 - 14 ,   201 5 .   [ 2]   G .   H i n t o n  e t   al . ,   “ D e e p  N e ur a l   N e t w o r ks   f o r   A c o us t i c   M o de l i ng   i n  S pe e c h  R e c o g ni t i o n:   T he   S ha r e d  V i e w s   o f   F o ur   R e s e a r c h  G r o ups , ”   i n  I E E E   S i gna l   P r oc e s s i n g  M aga z i ne ,   v o l .   29,   no .   6 ,   p p.   82 - 97 ,   20 12 ,   do i :   10. 1 109 / M S P . 2012 . 22 0559 7.   [ 3]   T ho m a s   N .   K i pf ,   M a x   W e l l i ng ,   “ S e m i - s upe r v i s e d  c l a s s i f i c a t i o n  w i t h  g r a ph  c o nv o l ut i o na l   ne t - w o r ks ,”   a r X i v   pr e pr i nt   ar X i v : 16 09 . 029 07 ,   p p.   1 - 14 ,   2016 .   [ 4]   Y i f a n  F e ng ,   H a o xua n   Y o u,   Z i z ha o   Z h a ng ,   R o ng r o ng   J i   a nd  Y ue   G a o ,   “ H y pe r g r a ph  ne ur a l   ne t w o r ks ,”   T he   T hi r t y - T hi r d  A A A I   C on f e r e nc e   on  A r t i f i c i a l   I nt e l l i ge nc e   ( A A A I - 1 9) ,   H o no l ul u,   v o l .   3 3,   no .   1,   pp .   35 58 - 3565 ,   2 019 ,   D O I :   ht t ps : / / do i . o r g / 10. 1609 / a a a i . v 33 i 01 . 330 1355 8 .   [ 5]   S o ng   B a i ,   F e i h u  Z h a ng ,   P h i l i p   H . S .   T o r r ,   “ H y pe r g r a ph  c o nv o l ut i o n  a nd   hy pe r g r a ph  a t t e n t i o n , ”   a r X i v   p r e pr i nt   ar X i v : 1 901 . 08 150 ,   pp .   1 - 30 ,   20 20 .   [ 6]   K l i c pe r a ,   J o ha nn e s ,   A l e ks a nda r   B o j c he v s ki ,   a n d   S t e ph a n   G u   ̈nne m a nn,   “ P r e d i c t   t h e n   P r o pa g a t e :   G r a ph   N e u r a l   N e t w o r ks   m e e t   P e r s o na l i z e d   P a g e R a n k, ”   a r X i v   pr e pr i n t   ar X i v : 181 0 . 059 97 ,   v o l .   1,   20 18 .     [ 7]   [ 8]   D e ngy o ng   Z ho u,   J i a y ua n  H u a ng   a nd   B e r nha r d   S c ho l ko pf ,  “ L e a r n i ng   w i t h  H y pe r g r a ph s :   C l us t e r i ng ,   C l a s s i f i c a t i o n,   a n d  E m b e dd i ng , ”   i n   A dv anc e s   i n   N e ur al   I nf o r m a t i on  P r oc e s s i ng   Sy s t e m s   19:   P r oc e e di ngs   of   t he   2006   C on f e r e nc e ,   M I T   P r e s s ,   p p.   16 01 - 1608 ,   200 6 .   [ 8]   D e ngy o ng  Z ho u,   J i a y ua n  H ua ng   a nd  B e r nh a r d  S c ho l ko pf ,   “ B e y ond  pa i r w i s e   c l a s s i f i c a t i o n  a n d  c l us t e r i ng   us i ng   hy pe r g r a phs   ( T e c hn i c a l   R e po r t   1 43) . ”   M ax   P l an k   I ns t i t u t e   f or   B i ol o gi c a l   C y be r ne t i c s ,   T üb i ng e n ,   G e r m a ny ,   2005 .     [ 9]   Z i j i n  Z h a o ,   “ C l a s s i f i c a t i o n  i n  t he   p r e s e nc e   o f   he a vy   l a be l   no i s e :   A   M a r ko v   c ha i n  s a m p l i ng   f r a m e w o r k ” .  T he s e s   ( Sc hool   o f   C om pu t i ng   Sc i e nc e ) ,   S i m on   F r as e r   U n i v e r s i t y ,   2017 .   [ 10]   K .   Y i   a nd  J .   W u,   “ P r o ba b i l i s t i c   E nd - To - E nd  N o i s e   C o r r e c t i o n  f o r   L e a r ni ng   W i t h  N o i s y   L a be l s , ”   201 9  I E E E / C V F   C onf e r e nc e   on  C om pu t e r   V i s i on  and   P at t e r n  R e c ogn i t i on   ( C V P R ) ,   L o n g   B e a c h,   C A ,   U S A ,   pp .   7010 - 70 18 ,   20 19 ,   do i :   10. 1109 / C V P R . 201 9. 0071 8.   [ 11]   C hi y ua n  Z ha ng ,   S a m y   B e ng i o ,   M o r i t z   H a r d t ,   B e n j a m i n  R e c ht ,   O r i o l   V i ny a l s ,   “ U nde r s t a n di ng   de e p  l e a r ni ng   r e qu i r e s   r e t hi n ki ng   g e ne r a l i z a t i o n, ”   ar X i v   p r e pr i n t   ar X i v : 16 11 . 035 3 0 ,   pp .   1 - 15,   20 1 7 .    [ 12]   D .   T a na ka ,   D .   I k a m i ,   T .   Y a m a s a k i   a nd  K .   A i z a w a ,   “ J o i nt   O p t i m i z a t i o n  F r a m e w o r k  f o r   L e a r ni ng   w i t h  N o i s y   L a be l s , ”   2 018  I E E E / C V F   C onf e r e nc e   on  C om pu t e r   V i s i o n  an d  P at t e r n  R e c ogn i t i o n ,   S a l t   L a ke   C i t y ,   U T ,   pp .   55 52 - 5560 ,   2018 ,   do i :   10. 11 09 / C V P R . 2 018 . 00 582 .   [ 13]   M i k a e l   H e na f f ,   J o a n  B r un a   a n d  Y a n n  L e C un,   “ D e e p  c o nvo l ut i o na l   ne t w o r ks   o n  g r a ph - s t r uc t ur e d  d a t a , ”   a r X i v   pr e pr i nt   ar X i v : 15 06 . 051 63 ,   p p.   1 - 10 ,   2015 .   [ 14]   J a k r a m a t e   B o o t kr a j a ng   a nd  A t a   K a bá n ,   “ L a be l - no i s e   r o bus t   l o g i s t i c   r e g r e s s i o n  a nd  i t s   a p pl i c a t i o ns , ”   i n  M ac h i ne   L e ar ni n g  and   K now l e dge   D i s c ov e r y   i n  D a t a bas e s :   pr oc e e di ng  o f   J oi n t   E u r ope an  C o nf e r e nc e   on  M a c hi ne   L e ar ni n g  and  K now l e dge   D i s c ov e r y   i n  D at a bas e s ,  S pr i ng e r ,   pp .   1 43 - 158 ,  20 12 .   [ 15]   J a k r a m a t e   B o o t kr a j a ng ,   “ S up e r v i s e d  l e a r n i ng   w i t h   r a ndo m   l a be l l i ng   e r r o r s , ”   C om put e r   Sc i e nc e ,   U n i v e r s i t y   of   B i r m i ngh am ,   20 13.   [ 16]   A .   J .   B e kke r   a nd  J .   G o l dbe r g e r ,   “ T r a i n i ng   de e p  n e ur a l - n e t w o r ks   ba s e d  o n  unr e l i a bl e   l a b e l s , ”   2016  I E E E   I nt e r n at i on al   C on f e r e nc e   on  A c ous t i c s ,   Spe e c h  and  Si gn al   P r oc e s s i ng  ( I C A S SP ) ,   S ha ng ha i ,   pp.   2 682 - 268 6,   20 16,   do i :   10. 1109 / I C A S S P . 2 01 6. 7 4721 64 .   [ 17]   J a c o b  G o l dbe r g e r   a nd  E hud  B e n - R e uv e n  “ T r a i ni ng   de e p  ne ur a l - ne t w o r k s   us i ng   a   no i s e   a da p t a t i o n  l a y e r , ”   5t h  I nt e r n at i on al   C on f e r e nc e   on   L e ar n i ng   R e pr e s e nt a t i ons ,   T o ul o n,   pp .   1 - 7 ,   20 17 .   [ 18]   A .   J .   B e kk e r ,   M .   C ho r e v ,   L .   C a r m e l   a nd  J .   G o l db e r g e r ,   “ A   de e p   n e ur a l   n e t w o r k  w i t h a r e s t r i c t e d  no i s y   c ha nne l   f o r   i de n t i f i c a t i o n  o f   f unc t i o na l   i n t r o ns , ”   2 017  I E E E   27 t h  I nt e r na t i on al   W or k s ho p  on  M ac h i ne   L e ar n i ng  f or   S i gn al   P r oc e s s i ng   ( M L SP ) ,   T o k y o ,   pp.   1 - 6,   20 17 ,   do i :   10 . 110 9/ M L S P . 20 1 7. 81 6818 6.   [ 19]   A r i t r a   G ho s h ,   H i m a ns h u  K u m a r   a nd  P . S .   S a s t r y ,   “ R o bus t   l o s s   f unc t i o ns   unde r   l a be l   no i s e   f o r   de e p  ne u r a l   ne t w o r k s , ”   T hi r t y - F i r s t   A A A I   C o nf e r e nc e   on   A r t i f i c i a l   I n t e l l i ge nc e ,   S a n  F r a nc i s c o ,   pp .   191 9 - 1925 ,   2017 .   [ 20]   Z hi l u  Z h a ng   a nd  M e r t   R .   S a bunc u,   “ G e n e r a l i z e d  c r o s s   e n t r o py   l os s   f o r   t r a i n i ng   de e p  n e ur a l   ne t w o r ks   w i t h  no i s y   l a b e l s , ”   N I P S' 18:   P r o c e e di ngs   o f   t he   32nd  I n t e r nat i on al   C onf e r e n c e   on  N e ur al   I n f or m a t i on  P r oc e s s i ng  Sy s t e m s ,  N e w   Y o r k,   p p.   87 92 - 8802 ,   201 8 .   [ 21]   B .   F r e n a y   a nd  M .   V e r l e y s e n,   “ C l a s s i f i c a t i o n  i n  t h e   P r e s e nc e   o f   L a be l   N o i s e :   A   S u r v e y , ”   i n  I E E E   T r an s ac t i ons   on   N e ur al   N e t w or k s   and   L e ar n i ng   S y s t e m s ,   v o l .   25 ,   no .   5,   pp .   845 - 86 9,   201 4,   do i :   10. 1109 / T N N L S . 201 3. 2292 894 .   [ 22]   W e i   S h e n ,   K a i   Z ha o ,   Y i l u  G uo   a n d  A l a n  Y ui l l e ,   “ L a be l   d i s t r i b ut i o n  l e a r ni ng   f o r e s t s , ”   N I P S' 17:   P r oc e e di ngs   o f   t he   31s t   I nt e r n at i on al   C on f e r e nc e   on   N e ur a l   I n f or m a t i on   P r oc e s s i ng   Sy s t e m s ,   N e w   Y o r k,   pp .   834 - 84 3 ,   2 017 .   Evaluation Warning : The document was created with Spire.PDF for Python.
In do n e s i a n  J   E l e c   E ng  &   Co m p  S c i     IS S N :   2502 - 4752       Noi s e - r ob us t   c l as s i f i c at i on   w i t h  hy p e r gr aph   ne ur al   ne t w or k   ( Nguy e n  T r i nh  V u   D ang )   1473   [ 23]   X .   G e ng ,   “ L a be l   D i s t r i bu t i o n  L e a r n i ng , ”   i n  I E E E   T r an s ac t i ons   on   K now l e dge   and  D a t a  E ng i ne e r i ng ,   v o l .   28,   no .   7,   pp.   17 34 - 1748 ,   1  J u l y   2016,   do i :   10. 1109 / T K D E . 201 6. 2 5456 58 .   [ 24]   R y a n  A .   R o s s i ,   R o ng   Z h o u  a nd  N e s r e e n  K .   A hm e d  “ D e e p  f e a t u r e   l e a r ni ng   f o r   g r a phs , ”   a r X i v   pr e pr i nt   ar X i v : 1 704 . 08 829 ,   pp .   1 - 11 ,   201 7 .   [ 25]   D e ngy o ng   Z h o u.   O l i v i e r   B o us q ue t ,   T ho m a s   N a v i n  L a l ,   J a s o n  W e s t o n  a nd  B e r nh a r d  H   S c höl ko pf ,   “ L e a r n i ng   w i t h   l o c a l   a nd   g l o ba l   c o ns i s t e nc y , ”   N I P S' 03:   P r oc e e di ngs   of   t he   16t h  I nt e r na t i ona l   C onf e r e nc e   on  N e ur al   I n f or m a t i on   P r oc e s s i ng   S y s t e m s ,   v o l .   16 ,   no .   3,   pp .   321 - 32 8 ,   20 04 .   [ 26]   U l r i ke   v o n  L uxbur g ,   “ A   t ut o r i a l   o n  s pe c t r a l   c l us t e r i ng , ”   St a t i s t i c s   and  c om put i n g ,   v o l .   17 ,   pp .   395 - 41 6 ,  2 007 ,  ht t ps : / / do i . o r g / 10. 1007 / s 1122 2 - 007 - 9033 - z .   [ 27]   Y .   H ua ng ,   Q .   L i u ,   S .   Z ha ng   a nd  D .   N .   M e t a xa s ,   “ I m a g e   r e t r i e v a l   v i a   pr o ba b i l i s t i c   hy pe r g r a ph  r a nk i ng , ”   20 10  I E E E   C om put e r   Soc i e t y   C on f e r e nc e   on  C om put e r   V i s i o n  a nd  P at t e r n  R e c ogni t i o n ,   S a n  F r a nc i s c o ,   C A ,   pp.   337 6 - 3383 ,   2010 ,   do i :   10. 110 9/ C V P R . 20 10 . 554 0012 .   [ 28]   B .   J i a ng ,   Z .   Z h a ng ,   D .   L i n,   J .   T a ng   a nd  B .   L uo ,   “ S e m i - S up e r v i s e d  L e a r ni ng   W i t h  G r a ph  L e a r n i ng - C o nvo l ut i o na l   N e t w o r ks , ”   2019  I E E E / C V F   C onf e r e nc e   on  C om p ut e r   V i s i on  and  P at t e r n  R e c ogn i t i on   ( C V P R ) ,   L o n g   B e a c h,   C A ,   U S A ,   pp.   1 1305 - 11 312 ,   2019 ,   do i :   10. 1 109 / C V P R . 2019 . 01 157 .   [ 29]   Z hi w u  L u  a nd  L i w e i   W a ng ,   “ N o i s e - r o bus t   s e m i - s upe r v i s e d  l e a r ni ng   v i a   f a s t   s pa r s e   c o di ng , ”   P at t e r n  R e c og ni t i on   vol .  48,   no .   2 ,   pp.   6 05 - 612 ,  2015 .   Evaluation Warning : The document was created with Spire.PDF for Python.