I n d on e s i an   Jo u r n al   o f  El e c t r i c al   En gi n e e r i n g   an d   C o m p u te r   S c i e n c e   V o l .   1 5 ,   N o .   3 ,  S e pt e m b e r   2 01 9 ,   pp .   1392 ~ 1400   IS S N :   2502 - 4752 ,   D O I :   10. 1 1591 / i j e e c s . v 1 5 .i 3 . pp 139 2 - 1400       1392       Jou r n al   h o m e pa ge :  ht t p: / / i ae s c or e . c om / j our na l s / i nde x . php/ i j e e c s   A   r e v i e w   o n   d a t a   c l u st e r i n g   u s i n g   s p i k i n g   n e u r a l   n e t w o r k     ( S N N )   m o d e l s       S i ti   A i s yah   M o h am e d ,   M u h ai n i   O th m an ,   M o h d   H afi z u l   A fi fi   F a c ul t y   o f   C o m put e r   S c i e nc e   a nd   I nf o r m a t i o n  T e c hno l o gy ,   U ni v e r s i t y   T un  H u s s e i n   O n n,   M a l a y s i a       A r ti c l e   I n fo     A B S TR A C T   Ar t i c l e   h i s t or y :   R e c e i v e d  D e c   2 ,   2018   R e v i s e d  M a r   17 ,   20 1 9   A c c e pt e d  A p r   25 ,   201 9       T he   e v o l ut i o n  o f   A r t i f i c i a l   N e ur a l   N e t w o r k   r e c e n t l y   g i v e s   r e s e a r c he r s   a n   i nt e r e s t   t o   e xpl o r e   de e p  l e a r n i ng   e v o l v e d  by   S pi ki ng   N e ur a l   N e t w o r k   c l us t e r i ng   m e t ho ds .   S pi k i ng   N e u r a l   N e t w o r k  ( S N N )   m o de l s   c a pt u r e d   ne ur o na l   b e ha v i o ur   m o r e   pr e c i s e l y   t ha n  a   t r a d i t i o na l   ne u r a l   n e t w o r k  a s   i t   c o nt a i ns   t he   t h e o r y   o f   t i m e   i n t o   t he i r   f unc t i o ni ng   m o de l   [ 1] .   T h e   a i m   o f   t hi s   pa pe r   i s   t o   r e v i e w e d   s t ud i e s   t ha t   a r e   r e l a t e d  t o   c l us t e r i ng   p r o bl e m s   e m pl oy i ng  S pi k i ng   N e ur a l   N e t w o r ks   m o de l s .   E v e n  t ho ug h  t he r e   a r e   m a ny   a l g o r i t hm s   us e d  t o   s o l v e   c l us t e r i ng   p r o bl e m s ,   m o s t   o f   t he   m e t ho ds   a r e   o nl y   s ui t a b l e   f o r   s t a t i c   da t a   a nd  f i xe d  w i ndo w s   o f   t i m e   s e r i e s .   H e nc e ,   t he r e   i s   a   ne e d  t o   a na l y s e   c o m pl e x  d a t a   t y pe ,   t he   po t e n t i a l   f o r   i m pr o v e m e nt   i s   e n c o ur a g e d.   T he r e f o r e ,   t h i s   p a pe r   s um m a r i z e d  t he   s i g ni f i c a n t   r e s u l t   o bt a i n s   by   i m pl y i ng  S N N   m o de l s   i n  d i f f e r e n t   c l u s t e r i ng   a pp r o a c h.   T h us ,   t he   f i ndi ng s   o f   t hi s   p a pe r   c o ul d  de m o ns t r a t e   t he   pur po s e   o f   c l us t e r i ng   m e t ho d  us i ng   S N N   f o r   t he   f e l l o w   r e s e a r c he r s   f r o m   v a r i o us   d i s c i p l i ne s   t o   d i s c o v e r   a nd  u nde r s t a nd   c om pl e x   da t a .     Ke y w or ds :   Cl us t e r i n g   D e e p  l e a rni n g     M a c hi n e   l e a rni n g   S pi ki n g   n e u r a l   n e t w o r k   T e m po ra l   da t a     C opy r i gh t   ©   201 9   I n s t i t ut e   o f   A dv anc e d  E ng i ne e r i ng   and   S c i e nc e .     A l l   r i gh t s   r e s e r v e d .   Cor r e s pon di n g   Au t h or :   S i t i   A i s y a h   M o h a m e d,     F a c ul t y   of   Co m put e r   S c i e n c e   a n d   I n f o r m a t i o n  T e c hn o l o gy ,     U n i v e r s i t y   T u n   H us s e i n  O nn ,   M a l a y s i a .   E m a i l :   s i t i a i s y a hm o ha m e d @ gm a i l . c o m       1.   I N TR O D U C TI O N     D e e p  l e a rn i ng  h a s   b e c o m e   t h e   n e w   r e v o l ut i o n   i n   t h e   a r e na   o f   m a c h i n e   l e a rni n g  pu rpo s e l y   fo r   c o m put e r   v i s ua l i z a t i o n.   A   de e p  (m u l t i l a y e r )  a r t i f i c i a l   n e u ra l   n e t w o r k  (A N N )  i s   t a ug ht   i n   a   c o n t r o l l e d  m a nn e r   v i a   b a c k  pr o pa ga t i o n   a n d  ha s   b e e n   us e d  v a s t l y   a s   c o m put a t i o n a l   t o o l s   t o  unr a v e l   di f f i c ul t   c l a s s i f i c a t i o n ,   r e g r e s s i o n ,   p a t t e rn  r e c o gn i t i o n   a n d   f un c t i o n   e s t i m a t i o n   p r o b l e m   a s   w e l l   a s   c o m pl i c a t e d  o pt i m i z a t i o n  p r o b l e m   w i t h   h i g hl y   n o n - l i n e a r   a nd  di s c o n t i nuo us   c o n s t r a i n t s   [2] .   A s   a   r e s ul t   of   e xt e n s i v e   s t udi e s   i n   A N N s ,   ha s   l e d  t o  i nn o v a t i o n   o f   m o r e   a dv a n c e   t y p e   of   n e t w o r ks   s uc h   a s   s e l f - o r ga n i z i ng  m a ps ,   r e c urr e n t   n e t w o r ks ,   p r o b a b i l i s t i c   n e u r a l   n e t w o r ks ,   d y n a m i c   n e u r a l   n e t w o r ks ,   r a d i a l   b a s i s   f u n c t i o n   n e ura l   n e t w o r ks ,   c o m pl e x  v a l ue d  n e u r a l   n e t w o r ks ,   f e e d  fo r w a r d  n e u ra l   n e t w o r ks ,   ge n e t i c   a l go r i t h m ,   f uz z y   l o gi c   a n d  w a v e l e t s   .   T h e   m o s t   c o m m o n   t e c hn i q ue   a pp l i e d  t o   num e r o us   i n s t rum e n t s   f o r   a   f o r w a r d   a l l o c a t i o n  o f   i n f o   t hr o ug h   t h e   n e u r a l   n e t w o r k  i s   f e e d   fo r w a r d  A N N s   b e c a us e   o f   t h e   f a c t   t ha t   m e t h o d  o f   i n f o r m a t i o n   t ra n s m i s s i o n   i n   r e a l   a nd  a rt i f i c i a l   n e u r a l   n e t w o r ks   i s   f e e d  fo r w a r d   i n  n a t u r e   e qua l l y   a nd  i t s   s i m pl i c i t y   [3].   H ow e ve r ,   a   f e w   dr a w b a c ks   of   A N N s   a r e   a c kn o w l e dge d  a s   t o t a l   of   r e m a r k a b l e   c h a l l e n ge s   a n d  l i m i t a t i o n s   [4].   D a t a   m ul t i d i m e n s i o n a l   i s   a m o n g  t h e   n o t a b l e   l i m i t a t i o n s   i n   s upe r v i s e d  l e a rni n g  w h i c h   ha ppe n s   w h e n   t h e   a m o un t   o f   f e a t ur e s   a nd  t ra i ni n g   po i n t s   b e c o m e s   o m i n o us l y   h uge .   D ue   t o   t h e   r e s ul t a nt   m e m o r y   a nd  c o m put a t i o na l   n e c e s s i t i e s   a n d  t h e   i rr e s i s t i b l e   vo l um e   of   da t a   t o   p r a c t i c e   m a ke s   A N N   l e a rn i ng  m o r e   c h a l l e n gi ng.   A dd i t i o na l   c h a l l e n ge   i n   c l a s s i f i c a t i o n   i s   c h a ra c t e ri s t i c   f e a t u r e   o ve r l a p  b e t w e e n   di f f e r e n t   c l a s s e s   be c a us e   t h e   da t a   i s   n o n - l i n e a r   ha s   m a de   t h e   c h o r e   o f  s pl i t t i n g  t h e   c l a s s e s   c h a l l e n gi ng.   F o c us i n g  t o   i m p r o v e   o n   t h e s e   dr a w b a c ks   by   ut i l i z i ng  h e u r i s t i c   m e t h o d,   S pi ki n g   N e u r a l   N e t w o r k  (S N N s )  m o de l s   o f   da t a   c l us t e r i n g   i s   r e v i e w e d  i n  t hi s   p a pe r .   Evaluation Warning : The document was created with Spire.PDF for Python.
In do n e s i a n  J   E l e c   E ng  &   Co m p  S c i     IS S N :   2502 - 4752       A  r e v i e w   on  dat a  c l us t e r i n g  us i ng  s p i k i ng   ne ur a l   ne t w or k   ( S NN)   m ode l s   ( Si t i   A i s y ah   M oham e d )   1393   2.   C LU S TER I N G   O V ER V I EW   Cl a s s i f i c a t i o n   a nd  c l us t e ri n g  a r e   b o t h   f un da m e nt a l   c h o r e s   i n   da t a   m i ni n g  k n o w l e dge   di s c ov e r y .   Cl a s s i f i c a t i o n   t e c hni que s   a r e   us e d  f r e que n t l y   i n   a n   a d m i ni s t e r e d   l e a rni n g  m e t h o d  (s upe r v i s e d)  w h i l e   c l us t e r i ng  t e c hni que s   us ua l l y   f o r   un v e r i f i e d  (un s upe r v i s e d)  l e a rn i ng  i n   w h i c h   t h e   ob j e c t i ve   of   c l us t e r i n g  i s   de s c r i pt i v e ;   o n   t h e   o t h e r   h a nd  c l a s s i f i c a t i o n   i s   p r e di c t i v e   [5].   T o   r e c o gn i z e   t h e   o r g a n i z a t i o n s   i n   di v e r s e   da t a   na t u r e s   s uc h   a s   s t a t i c ,   t e m po ra l   a nd  s pa t i a l   t e m po r a l ,   m a n y   c l us t e ri n g  m e t h o d  ha v e   be e n   de ve l o p e d.   O n c e   t h e   f e a t ur e s   v a l ue s   do   n o t   m o di fy   i n   e xc e s s   o f   t i m e ,   t h e   s t a t i c   da t a   t y pe   i s   i de n t i f i e d  w h e r e a s   t e m po r a l   da t a   i s   c o n s i de r e d  a s   a   s e r i e s   of  t i m e   w h e n   t h e   fe a t u r e s   c h a n ge   t he i r   v a l ue   ov e r   a n   u n i nt e rr upt e d  t i m e .   T hi s   i s   t h e   c l a s s i f i c a t i o n   c r i t e ri a   o f   c l us t e r i n g  [6] :   (a )  S t r a i g h t   c l us t e ri n g  o f   da t a   a ga i n s t   c l us t e r i ng  o f   a   m o de l   t h a t   i s   b e i n g  l e a rn  a nd  c a p t u r e   t h e   n e c e s s a r y   c h a r a c t e r i s t i c   o f   c o n c e rn  f r o m   t h e   da t a .   (b )  Cl us t e ri n g  ra w   da t a   a ga i n s t   c l us t e r i ng  o f   pr e - p r o c e s s i n g  d a t a .   (c )  Cl us t e ri n g   o f   d y n a m i c ,   s t r e a m i n g   da t a   a g a i n s t   v e c t o r   b a s e d  (s t a t i c   da t a )   a n d  (d)  Cl us t e ri n g  o f   c o m pl e t e   v a l ue s   v a ri a b l e   a g a i n s t   c l us t e ri n g  o f   f l uc t ua t i o n s   i n   t h e   v a r i a b l e .   F un d a m e nt a l l y ,   t h e r e   a r e   f i ve   m a j o r   c a t e go r i e s   of  c l us t e r i ng  m e t h o d  fo r   v a r i o us   s t a t i c   da t a   (v e c t o r   da t a ):   (a )   H i e r a r c h i c a l   a pp r o a c h e s   b ui l d  t h e   c l us t e r s   by   r e c ur s i v e l y   s e pa ra t i n g  t h e   o c c urr e n c e s   e i t h e r   a   t o p - dow n   o r   b o t t o m - up  m a nn e r   [7].   (b )  P a r t i t i o n i ng  m e t h o d  w h i c h   a s s i g n s   t h e   c e n t r e   o f   da t a   po i nt s   a s   t h e   c e n t r e   of   t h e   c o rr e s po n d i n g   c l us t e r .   (c )  D e n s i t y - b a s e d  m e t h o ds   s e pa ra t e   t h e   o bj e c t   b a s e d  o n   t h e   c o nn e c t i v i t y ,   bo un da r y   a n d  de n s i t y   a s   c a l c ul a t e   i n   t h e   n e i g h b o urh o o d  n e a re s t   po i n t   [8] .   (d)  G ri d  b a s e d  c l us t e r i ng   qua nt i z e d  t h e   obj e c t   pl a n e t a r y   i n t o   a   l i m i t e d  a m o u n t   o f   c e l l s ,   w h e r e v e r  t h e   c l us t e ri n g  p r o c e s s e s   i s   a c c o m pl i s h e d  [6] .   (e )   M o de l   b a s e d  c l us t e r i ng  t a r ge t s   a t   t h e   f i n e s t   f i t   da t a   t o   t h e   m o de l   by   un de r t a ke   a   m o de l   f o r   e a c h   c l us t e r  [9] .   T h i s   m e t h o d  i s   o n e   o f   t h e   m a j o r   a pp r o a c h e s   o f   N e ur a l   N e t w or k   c l us t e r i ng.   Co rr e s po n di n g  w i t h   t h e   a dv a n c e d  t e c hn o l o g y   of   c o m put e r   s c i e n c e ,   t h e   m a s s i v e   a m o un t   o f   da t a   i s   pr o duc e d.   T h e   d a t a   p r o duc e d  do e s   n o t   l i m i t   o n l y   t o   s t a t i c   da t a   t y pe   b ut   t e m po r a l   da t a   t y pe   i s   a l s o   be i n g  r e c o r de d  by   v a r i o us   a r e a s   s uc h   a s   b i o l o g y ,   e l e c t r o n i c ,   e n v i ro n m e n t   a nd  a l s o   f i n a n c e .   T h i s   m a s s i v e   r a w   da t a   r e c o r de d  n e e d  a   pow e r f ul   a na l y z i n g  t o o l   t o  e xt r a c t   t h e   i n f o r m a t i o n.   T h us ,   c l us t e r   w o r k  fo r   t h i s   t y pe   of   da t a   i s   a l s o   b e i n g  i nt r o duc e d  s uc h   a s   b i - c l us t e r i n g   [10]  t h a t   ha s   b e e n   e xpl o r e d  t o   c l us t e r   t h e   t i m e   s e r i e s   ge n e   a n a l y s i s .   T h i s   m e t h o d  c a p a b l e   t o   i n s t a nt a n e o us l y   c l us t e r s   c o l um n s   a n d   r o w   of   a   g r i d   m a t r i x   t o ge t h e r.     T h e   o bj e c t i v e   of   t h i s   b i - c l us t e r i ng  m e t h o ds   i s   t o   c l us t e r   a na l o go us   pa t t e rn  i nt o   t h e   i de n t i c a l   g r o up  w h e r e   i t   a b l e   t o   c o pe   w i t h   t h e   t e m po r a l   c o n t a c t   a m o ng  t h e   t i m e   s e r i e s   da t a   f e a t ur e   [10] .   H ow e v e r ,   t h i s   m e t h o d  i s   s t i l l   n o t   c a pa b l e   t o   h a n d l e   t h e   r e l a t i o n s h i p  b e t w e e n   s pa t i o   da t a   t y pe   a n d  t e m po ra l   d a t a   t y pe .   T h e   d y n a m i c   a s s o c i a t i o n   o f   t e m po r a l   f e a t u r e s   pl a y s   a n   i m po r t a nt   r o l e   t ha t   i n f l ue n c e   t h e   t ra i ni n g  a n d  t r a n s f o r m a t i o n   o f  pa t t e rn   dy n a m i c a l l y   ove r t i m e .   T h us ,   s pa t i o - t e m po r a l   c l us t e ri n g  t e c hni que   ha s   b e e n   r e c o m m e n de d  i n   o r de r  t o   e nha n c e   t h e   c a p a b i l i t y   of   c l us t e r i n g   a p p r o a c h   t o   de a l   w i t h  s t a t i c   b a s e d  d a t a   a n d   s pa t i o - t e m po r a l   i n f o r m a t i o n  s i m ul t a n e o us l y   b a s e d  o n   S pi ki ng  N e ura l   N e t w o r k  m o de l l i n g  [6].       3.   C LU S TER I N G   I N   S P I K I N G   N EU R A L   N ETW O R K   M o t i v a t e d  by   t h e   ut i l i t y   a n d  s t r uc t u r e   o f  h o w   t h e   h u m a n  b r a i n   l e a rn   i n f o rm a t i o n   w h e r e   n e u r o n  m o de l s   i nt e r c o nn e c t   by   s t r uc t u r e s   o f   s pi ke s ,   S pi ki ng  N e ura l   N e t w o r ks   i s   p r e s e n t e d.   N e t w o r ks   c o l l e c t e d  f r o m   s pi ki n g  n e u r o n s   a r e   c a pa b l e   t o   pr a c t i c e   l a r ge   v o l um e   o f  da t a   w i t h   a   m o de ra t e l y   s m a l l   a m o unt   o f   s pi ke s   [11].   S pi ki n g   n e t w o r ks   w o r ks   s i m i l a rl y   t o   b i o l o gi c a l   n e u r o n s   c a n   b e   s e e n   i n   t h e   de n d ri t e s ,   c e l l   b o d y   a n d  a xo n   p a r t s   [12]  a s   i n  F i gu r e   1   w h i c h   g i v e s   i t   t h e   a b i l i t y   t o   s o l ve   a   w i de   v a r i e t y   of   de f i n i t e   p r o b l e m   i n  e v e r y da y   e n gi n e e r i n g  s uc h   a s   m o t o r   c o n t r o l l e r ,   e v e n t   di s c o v e r y ,   s i g n a l - p r o c e s s i n g,   s p a t i a l   na v i ga t i n g  o r   s pe e c h   r e c o gn i t i o n.           F i gu r e   1 .   B i o l o gi c a l   n e u r o n   m o de l   t a ke n  f r o m   [13]   Evaluation Warning : The document was created with Spire.PDF for Python.
            IS S N :   2 502 - 47 52   In do n e s i a n  J   E l e c   E ng  &   Co m p  S c i ,   V o l .   1 5 ,   N o .   3 ,  S e pt e m b e r   2 01 9   :   1 3 9 2   -   1 4 0 0   1394   A   pr e s y n a pt i c   n e u r o n  i nt e r c o nn e c t s   w i t h   a   po s t - s y n a pt i c   n e u r o n   v i a   t ra i n s   o f   s pi ke s   o r   s t r o ke   po t e n t i a l s .   T h e   t ra n s f e r r e d  m a t e ri a l   i s   c o m m o n l y   pr o gr a m m e d  i n   t h e   r a t e   of   r e c urr e n c e   o f   s pi ki n g   ( r a t e   e n c o di n g)  a n d  t h e   s c h e dul i n g  o f   t h e   s pi ke s   (pul s e   e n c o di n g)  [14] .   P u l s e   e n c o di n g  i s   e xt r a   i n f l ue nt i a l   t h a n  r a t e   e n c o di n g  i n   r e l a t i o n s   o f   t h e   w i de - r a n gi n g  o f   i n f o   t h a t   m a y   pe r h a ps   e n c o de d  by   t h e   i de nt i c a l   n um b e r   o f  n e u r o n s .   I nde e d,   ra t e   e n c o di ng  c a n  b e   r e f l e c t e d  t o   b e   a n  e xc e pt i o na l   i n s t a n c e   o f   pul s e   e n c o di n g.     T h e   a v e r a ge   f i r i n g  ra t e   c a n   b e   f i gur e d  i f   t h e   s pi ke   t i m i n gs   a r e   i de n t i f i e d.   N o n e t h e l e s s ,   t h e   s pi k i n g  n e u r o n  h a s   a   n a t u ra l   dy n a m i c   n a t u r e   t ha t   i s   c a t e go r i z e d  by   a n   i n t e r i o r   s t a t e   w hi c h  v a r i e s   upo n  t i m e .   E v e r y   po s t - s y n a pt i c ,   n e u r o n   f i r e s   a n   a c t i o n   po s s i b l e   o r   s pi ke   a t   t h e   t i m e   o c c urr e n c e   i t s   c o r e   s t a t e   s ur pa s s e s   t h e   n e u r o n  t hr e s h o l d  [14] .   Co m p a r a b l e   t o   b i o l o gi c a l   n e ur o n s ,   t h e   w e i gh t   o f   t h e   s p i ke s   do e s   n o t   di s c l o s e   a n y   i n f o .     In   t hi s   pa pe r,   f e w   a ppl i c a t i o n s   o f   S N N   i n   da t a   c l us t e r i n g  i s   pr e s e nt e d.   A s   a n   u n s upe r v i s e d  l e a rn i ng,   c l us t e r i ng  t e n ds   t o   o r ga n i z e   da t a   s a m p l e s   i n t o   i t   h o m o ge n e o u s   gr o ups   i n   w h i c h   a l l   t h e   da t a   s a m pl e s   w i t h i n   t h e   gr o up  a r e   s i m i l a r   c o n s t r uc t e d  o n   pa r t i c ul a r   de s i g na t e d  po s s e s s i o n s   of   t h e   da t a  [15 ] .   U n s upe r v i s e d  c l us t e r i n g   r e m o v e s   t h e   r e qui r e m e nt   f o r   s e ve r a l   r e pe t i t i o n s   o ve r   a   t r a i ni n g  da t a   s e t   w h i c h   i s   t y pi c a l l y   ob l i ga t o r y   fo r   s upe r v i s e d  l e a rni n g  p r o c e dur e s   fo r   e xa m pl e   g ra di e n t   l i n e a ge   a n d  i t s   de v i a t i o n s   [1 6]   t h us   i t   r e qui r e   l o w e r   c o m put a t i o n a l   b ur de n.   H e n c e ,   m a n y   un s upe r v i s e d  l e a rni ng  a pp l i e d  S N N s   a s   a p p r o a c h e d  a nd  i t s   f o r m e r  de ve l o pm e n t   [3] .    T hr u   a dj us t i ng  s y n a pt i c   s t r o n g  po i nt   o f   H e b b i a n   p r o g r e s s i o ns   l e a d  t o   t h e   r e de pl oy m e n t   o f   n e t w o r ks   c o n t a i n e d  by   a   n e ura l   n e t w o r k  a n d  b e n e a t h   c e r t a i n   c i r c um s t a n c e s   m i g h t   a f f e c t   i n   t h e   a dv e n t   o f   i n n o v a t i v e   f un c t i o n s   f o r   i n s t a n c e   i n pu t   c l us t e r i ng,   s o u r c e   s e pa r a t i o n,   pa t t e rn  r e c o gn i t i o n ,   di m e n s i o na l i t y   r e duc t i o n ,   c o n s t r uc t i o n   o f  s e l f - o r ga n i z i n g  m a ps   o r   c o n s t ruc t i o n   o f   a s s oc i a t i v e   m e m o r i e s   [11] .   T hi s   pra c t i c e   us ua l l y   i m p l i c a t e s   l e a rni n g  de s i g n e d  c o n f i gu r a t i o n s   i n   t h e   da t a   by   e l i m i na t i n g  u nt a i nt e d  f o r m l e s s   n o i s e .   D i m e n s i o na l i t y   r e duc t i o n  a nd  c l us t e ri n g   a l go ri t hm s   a r e   t y pi c a l l y   un s u pe r v i s e d  l e a rni n g   [17 ] .       4.   C LU S TER I N G   EV A LU A TI O N   A l l   t h e   c l us t e ri n g  a pp r o a c h   us e d  fo r   di f fe r e n t   c l us t e r i ng  a ppl i c a t i o n   s uc h   a s   i m a ge   s e gm e n t a t i o n,   b i o - i n f o r m a t i c s   of   obj e c t   r e c o gn i t i o n ,   b us i n e s s ,   ge n e   e xpre s s i o n   da t a ,   c h a ra c t e r   r e c o gn i t i o n ,   d a t a   m i n i ng,   i n f o r m a t i o n   r e t ri e v a l ,   s p a t i a l   da t a   a n a l y s i s ,   da t a   r e duc t i o n   a n d  b i g  d a t a   m i n i ng  h a s   t o   un de r go   a   f e w   e v a l ua t i o n  c ri t e r i a   t o   t e s t   t h e   l e g i t i m a c y   a n d   a c c ura t e n e s s   o f  t h e   c l us t e r s   m o de l s   pe r f o r m e d.   G o o d  c l us t e r i ng  al go ri t hm s   o r   m o de l s   a r e   c o n s i de r e d  w h e n   t h e   m o de l s   a r e   a b l e   t o   h a n d l e   t h e   di m e n s i o na l   c r i t e ri o n   po s s e s s i o n   of   t h e   da t a   w h i c h   c a n   r e c o gn i z e   a s   3V ’s   c o n c e pt .   T h e   c o nc e pt   a r e :   (1)  V o l um e   -   a b i l i t y   t o   de a l   w i t h   h uge   a m o u n t   o f   da t a ,   (2)  v a ri e t y -   c a pa b i l i t y   of   t h e   c l us t e ri n g  a l go ri t hm s   t o   gri p  di f f e r e n t   t y pe s   of   da t a   o r   f o r m a t s   a n d  (3)   V e l o c i t y   -   T h e   s pe e d  of   t h e   c l us t e ri n g  a l go r i t h m s   o n  b i g  da t a   w hi c h   a r e   ge n e ra t e d  a t   hi g h   s pe e d.   T h e   c l us t e r s   m o l de d  by   a   c e r t a i n   s c h e m e   m us t   b e   v e r i f i e d  w h e t h e r   i t   di s p l a y   c o n c e n t r a t e d  r e s e m b l a n c e   a m o ng  t h e   ob j e c t s   i n   t h e   s a m e   c l us t e r   o r   s l i g h t e s t   r e s e m b l a n c e   a m o n g  t h o s e   i n   o t h e r   c l us t e r s   [18] .   T h e   e v a l ua t i o n  c r i t e ri o n   i s   a l l o c a t e d  i n t o   t w o   ki n ds   a s   i nt e rna l   qua l i t y   c r i t e r i a   m e a s u r e s   s uc h   a s   p r e s e n t   i n   T a b l e   1  a nd  e xt e rn a l   qua l i t y   c r i t e ri a   m e a s u r e s   s uc h  a s   p r e s e n t   i n  T a b l e   2 .       T a b l e   1 .   I nt e rna l   Q u a l i t y   Cri t e r i a   M e a s u r e   w i t h  T h e i r  F o rm ul a   T y p e s   F o r m u l a     S c a t t e r  Cri t e ri a   M a t ri x   [1 8 ] .    =   ∑ ( − ) ( − )      W h e r e ,     i s   t h e   s e t   o f  i n s t a n c e s   i n   c l u s t e r   ;    i s   t h e   v e c t o r  m e a n   o f  c l u s t e r   .   Co n d o r c e t ’ s   c r i t e ri o n   i s   a n o t h e r   a p p r o a c h   a p p l i e d   fo r   t h e   ra n k i n g   p ro b l e m   [1 9 ] .   ∑ ∑ ( , ) + . ∈   ≠ ∑ ∑ ( , ) ∈ : ∄ ∈ ∈     W h e r e   ( , ) a n d   ( , )   m e a s u re   t h e   s i m i l a ri t y   a n d   d i s t a n c e   o f   t h e   v e c t o r s        .   T h e   C  - c r i t e ri o n   i s   a n   e x t e n s i o n   o f  Co n d o r c e t ’ s   c ri t e ri o n   [1 9 ] .     ∑ ∑ ( ( , ) − ) + . ∈   ≠ ∑ ∑ ( − ( , ) ∈ : ∄ ∈ ∈     W h e r e   ( , ) a n d   ( , )   m e a s u re   t h e   s i m i l a ri t y   a n d   d i s t a n c e   o f   t h e   v e c t o r s   X j   a n d   X k   ;  γ   is   t h e   t h r e s h o ld   v a lu e .   S u m   o f   S q u a re   E rr o r  (S S E )  i s   t h e   u t m o s t   re g u l a rl y   u s e d   c r i t e ri o n   m e a s u r e   fo r   c l u s t e r i n g   [1 9 ] .    = ∑ ∑   | |   −     | | 2 ∀ ∈ = 1     W h e r e     i s   t h e   s e t   o f  i n s t a n c e s   i n   c l u s t e r  ;    i s   t h e   v e c t o r   m e a n   o f   c l u s t e r  .   Evaluation Warning : The document was created with Spire.PDF for Python.
In do n e s i a n  J   E l e c   E ng  &   Co m p  S c i     IS S N :   2502 - 4752       A  r e v i e w   on  dat a  c l us t e r i n g  us i ng  s p i k i ng   ne ur a l   ne t w or k   ( S NN)   m ode l s   ( Si t i   A i s y ah   M oham e d )   1395   T a b l e   2 .   E xt e rna l   Q ua l i t y   C r i t e r i a   M e a s u r e   w i t h   T h e i r  F o r m u l a   T y p e   F o r m u l a   Ra n d   i n d e x   i s   u s e d   t o   c o m p u t e   h o w   s i m i l a r   t h e   c l u s t e r s   a r e   t o   t h e   b e n c h m a rk   c l a s s i f i c a t i o n s   [1 8 ] .    =    +   +  +  +      W h e r e   T P   i s   t h e   n u m b e r  o f   t ru e   p o s i t i v e .   T N   i s   t h e   n u m b e r  o f   t ru e   n e g a t i v e s ,   F P   i s   t h e   n u m b e r   o f  f a l s e   p o s i t i v e s   a n d   F N   i s   t h e   n u m b e r  o f   f a l s e   n e g a t i v e s .   T h e   Ra n d   i n d e x   l i e s   b e t w e e n   0   a n d   1 .   F o w l k e s – M a l l o w s   i n d e x   d e fi n e s   t h e   re s e m b l a n c e   b e t w e e n   t h e   c l u s t e r s .   G r e a t e r   v a l u e   o f   t h e   F o w l k e s – M a l l o w s   i n d e x   p re s e n t s   h i g h e r  s i m i l a ri t y   b e t w e e n   t h e   c l u s t e r s   [ 7 ] .    = √       +      .   +      W h e r e   T P   i s   t h e   n u m b e r  o f   t ru e   p o s i t i v e   ,   F P   i s   t h e   n u m b e r  o f   f a l s e   p o s i t i v e s   a n d   F N   i s   t h e   n u m b e r   o f  f a l s e   n e g a t i v e s .   F - m e a s u r e   s o l v e   p ro b l e m   i n   Ra d   i n d e x   w h e r e   t h e   f a l s e   p o s i t i v e s   a n d   f a l s e   n e g a t i v e s   a r e   e q u a l l y   w e i g h t e d   b y   b a l a n c i n g   o f   f a l s e   n e g a t i v e s   u s i n g   w e i g h t i n g   r e c a l l   p a ra m e t e r   η ≥ 0   [1 8 ] .   =   ( 2 + 1   ) .   . 2 . +     W h e r e   P   i s   t h e   p r e c i s i o n   ra t e   a n d   R  i s   t h e   r e c a l l   ra t e .   R e c a l l   h a s   n o   i m p a c t   w h e n   = 0 .   J a c c a r d   i n d e x   i s   m e a s u re d   t o   r e c o g n i z e   t h e   c o rre s p o n d i n g   b e t w e e n   t w o   d a t a   s e t s   [ 20 ].     (   , ) =   |   ∩ | |     ∪ | =     +  +      If  A   a n d   B  a r e   b o t h   e m p t y ,   t h e n   J   ( A ,   B)  =   1 .       Int e rna l   c r i t e ri a   a s   s h o w n   i n   T a b l e   1  a r e   c o m m o n l y   us e d  t o   c a l c ul a t e   t h e   de c i s i ve n e s s   of   t h e   c l us t e r s   by   s pr e a di ng  c o rr e s po n de n c e   m e a s u r e   m e t h o ds .   I t   c a l c u l a t e   h o w   c l o s e l y   t h e   o bj e c t s   l i n ke d  i n   a   c l us t e r   by   e v a l ua t i n g   t h e   c l us t e r   c o m pa c t n e s s   b a s e d  o n   v a r i a n c e   [21] .   T h e   e xt e rn a l   v a l ue   s t a nda r ds   m e a s u r e   a s   s h o w n   i n   T a b l e   2  c a n   b e   be n e f i c i a l   i n   c o m m a n d  t o   m a t c h   t h e   a s s e m b l y   of   c l us t e r   t o   a   p r e de f i n e d  c l a s s i f i c a t i o n   o f   t h e   o c c urr e n c e s .   A n   e xt e rna l   i n de x  i s   m a de   of   c o n s i de ra t i o n   o f   pr i o r   i n f o   o n   t h e   da t a   c r e a t e d  o n   s e v e r a l   p r e - s pe c i f i e d  s t r uc t u r e   a n d  us e d  a s   a n   a v e r a ge   t o   l e ga l i z e   t h e   c l us t e r i ng  r e s ul t s .   O n   t h e   c o n t ra r y ,   t h e   i nt e rna l   t e s t s   a r e   n o t   r e l i a nt   o n   p ri o r  k n o w l e dge   a s   i t   i n s pe c t s   t h e   c l us t e r i n g  o r g a n i z a t i o n   s t ra i g h t   a s   o f   t h e   o ri g i n a l   d a t a .       5.   M ET H O D O L O GY   S N N s   m o de l s   c o n t a i n s   o f   s i n gl e   o r   a d di t i o na l   l a y e r s   of   c o nn e c t e d  n e u r o n s   w h i c h   a r e   a na l o go us   t o  t h e   A N N s   s t r uc t u ra l   de s i g n   s uc h  a s   s h o w n   i n   F i gu r e   2  b ut   c o n t r a s t   i n   t h e   n e u r o n ’s   m o de l   a nd  t h e   t y pe   o f   t h e   a c t i v a t i o n   f un c t i o n   [22].   S p i ki ng  n e u r o n s   c a n   b e   de m on s t ra t e d  i n   m a n y   di v e r s e   w a y s .   In   o r de r   t o  qua n t i t a t i v e l y   de f i n e   n e u r o na l   pe r f o r m a n c e   b a s e d  o n   c o m p r e h e n s i v e   m o de l l i n g  o f   t h e   n e u r o na l   m e m b r a n e   po t e n t i a l   a n d  i o n   c ha nn e l   c o n duc t a n c e ,   a   n u m b e r   o f   de t a i l e d  m a t h e m a t i c a l   o r   b i o ph y s i c a l   m o de l s   h a v e   b e e n   e s t a b l i s h e d.   T h e s e   s t r uc t u r e s   o f   a c t ua l   n e u r o n s   t u rn   o ut   t o   b e   a   c e n t r a l   m o de l   of   a   c o n c e pt   fo r   s pi ki ng    n e u r a l   r e p r o duc t i o n s .           F i gu r e   2 .   B i o l o gi c a l   N e u r o n s   a n d   N e u r a l   N e t w o r k  N e u r o n  M o de l   t a ke n   f r o m   [23]       Evaluation Warning : The document was created with Spire.PDF for Python.
            IS S N :   2 502 - 47 52   In do n e s i a n  J   E l e c   E ng  &   Co m p  S c i ,   V o l .   1 5 ,   N o .   3 ,  S e pt e m b e r   2 01 9   :   1 3 9 2   -   1 4 0 0   1396   T h e   c o m m o n   p r o pe rt i e s   o f   a l l   s pi k i n g  m o de l s   s h a r e d  w i t h  t he i r   b i o l o gi c a l   c o un t e r p a r t s   b a s e d  o n   t h e   c o n c e pt ua l   v i e w   a r e   a s   fo l l ow e d:   (1)  T h e i r   po s s i b i l i t y   of   f i r i n g  (ge n e ra t i n g  a   s pi ke )  i s   a ugm e nt e d  b y   e xc i t a t o r y   i n pu t s   a n d  r e duc e d  by   i nh i b i t o r y   i n put s ,   ( 2)  t h e i r   dy n a m i c s   i s   r e g a r de d  a s   by   a t   l e a s t   o n e   s t a t e   v a r i a b l e .   T h e   m o de l   i s   t h o ug h t   t o   p r o duc e   o n e   o r   m o r e   s pi ke s   w h e n   t h e   i n t e rna l   v a ri a b l e s   of   t h e   m o de l   r e a c h   a   c e r t a i n   s t a t e ,   a nd  (3)  t h e y   pr o c e s s   i n f o   a ppr o a c hi n g  f r o m   m a n y   i n pu t s   a n d   y i e l d  s i n gl e   s pi ki n g  o ut pu t   s i g n a l s   [11] .   T h e r e f o r e ,   s uc h   c o m p r e h e n s i v e   n e t w o r ks   a r e   s i g ni f i c a n t   f o r   l e a rni n g  t h e   p r o pe r t i e s   o f   n um e r o us   s pi ki n g  c o n f i gu r a t i o n s   pa r t i c ul a r l y   i n   r e l a t i o n s   o f   n e t w o r k  s i m u l a t i o n   f o r m a t i o n s .   T h e   e xpl i c i t l y   kn o w l e dg e   o n   w h i c h   n e u r o n s   a r e   s t i m ul a t e d  a nd  w h e t h e r   c e rt a i n   n e u r o n s   a r e   s t i m ul a t e d   m o r e   o f t e n   t h a n   o t h e r s   a r e   c r uc i a l .   I n   s i m pl i f i e d  w a y ,   S N N s   a r e   t h e   n e t w o r ks   o f   s pi ki n g   n e u r o n s   a nd  S N N   c o n s t r uc t i o n   i s   h a b i t ua l l y   c o m pa ra b l e   t o   t h e   t r a d i t i o n a l   A N N .   F i g u r e   3  s h o w   t h e   s pi ki n g  n e u ra l   n e t w o r ks   w i t h   a   f e w   i n put s ,   t h e i r  c o n n e c t i o n s   a n d  o ut put   o b t a i n   a s   s pi ke   c o m pa r e d  w i t h   t h e   f i gur e   o f   b i o l o gi c a l   n e u r o n s   c o n n e c t i o n s .   T hr e e   ge n e ra l   c a t e go ri e s   s pi k i n g   n e t w o r k  t o po l o g y   c a n   b e   c l a s s i f i e d  i nt o   [11] :             F i gu r e   3 .   A )   S pi k i n g   N e ura l   N e t w o r ks   a n d   t h e i r   c o nn e c t i o n s   v e r s us   B )  B i o l o gi c a l   n e u r o n s   t a ke n   f r o m   [18]       5. 1 .       F e e d   F o r w ar d   N e tw o r k s   O r i gi na t e   m a i n l y   i n  a r e a s   c l o s e r   t o   t h e   pe r i p h e r y   i n   b i o l o gi c a l   n e u ra l   s y s t e m s .   T h e   d a t a   i n put   t o   o ut put   u n i t s   i s   f i rm l y   f l ow   f r o m   o n e   di r e c t i o n   h e r e   b ut   n o   fe e d b a c k  c o nn e c t i o n s   a r e   p r e s e n t   e v e n   w h e n   t h e   da t a   p r o c e s s i n g   c a n   s p r e a d  o v e r   s e v e r a l   l a y e r s   o f   n e ur o n s   a s   s h o w n   i n  F i g u r e   4 .           F i gu r e   4 .   F e e d  f o r w a r ds   n e t w o r ks   a r c hi t e c t u r e   t a ke n  f r o m   [2 4]       E qua l l y ,   i n   S N N   f e e d  fo r w a r d  t o po l o g y   a r e   t y pi c a l l y   us e f ul   t o   e xh i b i t i n g  l o w - l e v e l   s e n s o r y   s y s t e m s ,   t a c t i l e   o r   s e n s i ng  o l f a c t i o n .   F e e d  fo r w a r d  n e t w o r ks   a r e   e xpl o r e d  c o r r e s po n di n gl y   i n   t h e   pe r s pe c t i v e   o f   s pi ke   s y n c hr o n o us   f o r   r e s o l v i n g   t h e   b i n d i n g   p r o b l e m a t i c   g r o u n de d  o n   s pa t i a l - t e m po ra l   c o n f i gu r a t i o n s   o f   s pi ke s .   Evaluation Warning : The document was created with Spire.PDF for Python.
In do n e s i a n  J   E l e c   E ng  &   Co m p  S c i     IS S N :   2502 - 4752       A  r e v i e w   on  dat a  c l us t e r i n g  us i ng  s p i k i ng   ne ur a l   ne t w or k   ( S NN)   m ode l s   ( Si t i   A i s y ah   M oham e d )   1397   5. 2 .       R e c u r r e n t  N e tw o r k s   A t   t hi s   po i n t   s i ngl e   n e u r o n s   o r  po pul a t i o n s   o f   n e u r o n s   c oo pe r a t e   o ve r   r e c i p r o c a l   (f e e d b a c k)   r e l a t i o n s .   F e e db a c k  r e l a t i o n s   e f fe c t   i n   a n   i nn e r   s t a t e   o f   t h e   ne t w o r k  w h i c h   pe rm i t s   i t   t o   de m o n s t ra t e   dy n a m i c   t e m po ra l   b e ha v i o r   a s   s h o w n   i n  F i gu r e   5.   T h e r e f o r e ,   r e c u rr e nt   n e t w o r ks   a r e   r e f l e c t e d  by   a   hi g h e r   dy n a m i c s   a n d  t h e o r e t i c a l l y   c o m pl e x  c o m put a t i o n a l   c a pa b i l i t i e s   c o m pa re d  w i t h   f e e d  fo r w a r d  n e t w o r ks   r e s ul t i n g  i n   m o r e   c h a l l e n ge   t o   c o n t r o l   a nd  t r a i n .           F i gu r e   5 .   R e c urr e nt   n e t w o r ks   a r c h i t e c t ur e   t a ke n  f r o m   [ 24]       In   o r de r   t o   i n v e s t i ga t e   n e u ra l   i n f o r m a t i o n   p r o c e s s i n g  i n v o l v e d  i n   f o r m a t i o n   o f   a s s oc i a t i v e   m e m o r i e s   o r   w o r ki n g  m e m o r y ,   r e c urr e nt   s pi ki ng  n e u ra l   n e t w o r ks   i s   us e d.   S pi ki n g  n e t w o r ks   w i t h   r e c u rr e nt   r e l a t i o n s   ha v e   a l s o   be e n   us e d  t o   m o de l   a n d  e xa m i n e   o c c ur r e n c e s   ob s e r ve d  i n   t h e   b r a i n   t ha t   a ri s e   f r o m   c o m pl e x  d y n a m i c s   o f   r e c i pr o c a l   i nt e ra c t i o n s   f o r   e xa m p l e   n e t w o r k  f l uc t ua t i o n s   o r   n e t w o r k  m ul t i - s t a b i l i t y .   In   t h e   c o m pe t i t i o n   b e t w e e n   n e ur o n s   o r   n e u r a l   po pul a t i o n s   o r   s i g na l   de c o r   r e l a t i o n ,   n e t w o r ks   w i t h   l a t e r a l   i nhi b i t o r y   c o m m uni c a t i o n   i s   r e pe a t e d l y   us e d  a n d   r e f l e c t e d  i n  t h e   c o n t e x t   o f   de c i s i o n   m a ki ng.     5. 3 .       H yb r i d s   N e tw o r k s     T hi s   gr o up  c o m pr e h e nds   n e t w o r ks   i n   w h i c h   s e l e c t e d  s u b   p opul a t i o n s   m i g ht   b e   f i r m l y   fe e d  fo r w a r d,   w h i l e   o t h e r   ha s   r e c urr e nt   t o po l o g y .   Co m m uni c a t i o n s   a m o ng  t h e   s ub   p o pul a t i o n s   m a y   b e   s i n gl e ,   d i r e c t i o n a l     o r   m ut u a l .         6.   DISCUSSIO N   S N N s   de pe n d  o n  t h e   s p i ke   t i m i n g   i n  t h e i r  l e a rni n g   a nd  i n s t i ga t i o n   p ha s e s   w h i c h   e xpl o i t   t i m e - m i s s i n g  u ni nt e rrupt e d  s t i m u l a t i o n   f u n c t i o n s ,   c o m pa r e d  t o   t he   n e xt   ge n e ra t i o n   o f   A N N s .   D a t a   c l us t e ri n g  v i a   S pi ki n g   N e ura l   N e t w o r ks   h a s   b e e n   a n   i nt e r e s t   t o pi c   t o   e xpl o r e   r e c e n t l y   a s   t hi s   m e t h o d  t e n ds   t o   s o l ve   m a n y   pr o b l e m s   r e ga r d i n g  da t a   c l us t e r i n g .   I n   o r de r   t o   us e d  s pi ke s   t o   t r a n s f e r   a n d  s t udy   t h e   s pa t i a l / s pe c t r o   t e m po r a l   da t a   (S S T D )   t ha t   a r e   p r o g r a m m e d  w i t h   t h e   s p i ki ng - t i m e   a c t i o n s   f o r   t h e   t e m po r a l   d a t a   a n d  w i t h  t h e   l o c a t i o n   o f  t h e   s y n a ps e s   fo r   t h e   s pa t i a l   da t a ,   S N N s   s t r ugg l e   t o   i m pr e s s i o n i s t   h u m a n   n e u r o n s .   H e r e   a   fe w   pa pe r s   t ha t   ha s   b e e n   r e v i e w e d  r e ga r d i n g   t h e   m e t h o ds   o f   t h e   c l us t e ri n g .     F i r s t ,   S T D P   (S p i ke   T i m i n g - D e pe nde nt   P l a s t i c i t y )  m e t h o d  s t a t e   t h a t ,   a   s y n a ps e   i s   de p r e s s i n g   i f   t h e   pr e s y n a pt i c   s pi ke   f i r e s   a f t e r   t h e   po s t   s y n a pt i c   s pi ke   o r   i t   w i l l   be   i m p r o ve d  i f   i t   h e l ps   t o   i n duc e   t h e   f i r e   of   t h e   po s t   s y n a pt i c   s pi ke   [25] .   T hi s   m e t h o d  i s   a n  i m p r o v e m e n t   o f   H e bb ’s   n ov e l   w o r k  a s   t h e   w o r k  do e s   n o t   de l i v e r   s o m e   e a r ni n gs   f o r   de c r e a s i n g  t h e   s y n a pt i c   e ff i c i e n c y   b ut   o n l y   f i r m i n g  up  t h e   s y n a ps e   e ff i c a c y   w h e n   b o t h   t h e   pr e s y n a pt i c   n e u r o n   a nd  po s t   s y n a pt i c   n e u r o n   a r e   v i go r o us   [ 25].   T hi s   l e a rni n g  f un c t i o n   gu a ra n t e e s   t ha t   o nl y   t h o s e   s y n a ps e s   t h a t   i n f l ue n c e   t h e   po s t   s y n a pt i c   n e u r o n   i n   a   m o m e n t   b e fo r e   i t   r e l e a s e s   a   s pi ke   a r e   gr e a t l y   a m p l i f i e d.   T h e   i n f o r m a t i o n   f o r   e a c h   i n put   pa t t e rn   by   w h i c h  i n t e r v a l   s upp l i e s   c a n   b e   s h o w n   by   t h i s   m e t h o d.   T h e   r e s ul t s   de m o n s t r a t e   t h a t   t h i s   m o de l   c a n   do   da t a   c l us t e ri n g  e ff e c t i v e l y   a n d  c a n   e xt e nt   a   s t a b l e   s t a t us   by   gi v i ng  s uf f i c i e n t   da t a   t e s t e r s .   S pi ke CD ,   s pi k i n g  n e u r a l   n e t w o r k  w i t h   c l us t e ri n g  de ge n e ra c y   s t r a t e gy   of   a   pa r a m e t e r - i n s e n s i t i v e   m e t h o d  i s   pr o po s e d  t o   i m pr o v e   c l us t e r i n g  c o m pe t e n c e   of   S N N   a n d  i n c r e a s e   a c c ur a c y   by   s o l v i n g  p r o b l e m   r e ga rdi n g  R a n k  O r de r   b a s e d  a l go r i t hm s   w h e r e   t hr e s h o l d  of   s i m i l a r i t y   i s   n e e d  t o  b e   pr e de f i n e d  fo r   c o n s t r uc t i o n   a l t e r a t i o n   w hi c h   i s   r e f l e c t e d  t i m e   c o s t   a n d  b e   de t e r m i n e d  by   a   l o t   of   pr e v i o us   un de r s t a n di ng  [26].   T hus ,   t h e   s t r uc t u r e   a dj us t m e n t   p r o c e s s   i s   t o ugh   t o   be   o pt i m i z e d.   T hi s   m e t h o d  c o m b i n e s   s upe r v i s e d   Evaluation Warning : The document was created with Spire.PDF for Python.
            IS S N :   2 502 - 47 52   In do n e s i a n  J   E l e c   E ng  &   Co m p  S c i ,   V o l .   1 5 ,   N o .   3 ,  S e pt e m b e r   2 01 9   :   1 3 9 2   -   1 4 0 0   1398   l e a rn i ng  a n d  u n s u pe r v i s e d  c l us t e r i n g .   T h e   n u m b e r   a n d  f o c a l   po i n t   o f   s pi ki ng  R B F   n e u r o n s   a r e   a dj us t e d  c o n fe rr i ng  t o   i nput   da t a   i n   hi dde n   l a y e r   a n d   a r e   a t t u n e d  by   m a ni pu l a t i ng  t h e   r e s e m b l a n c e   a n d   v a ri a n c e   o f  t r a i ni n g   d a t a .   T h e   n u m b e r   o f   o ut s t a n di ng  n e u r o n s   a f t e r  a dv a nc e m e n t   i n   t h i s   w a y   i s   m uc h   l e s s   t ha n  t h e   a m o u n t   of   t h o s e   a ddi t i o n   a pp r o a c h e s   pr o duc e d  by   a r b i t r a r y   c o rr e s po n de n c e   a n d  t h e   p r e de f i n e d  pa ra m e t e r s .   A s   a   c o n s e que n c e ,   S pi ke CD   c a n  s uc c e e d  w o r t h y   a c c ura c y   w i t h   m o de s t   a s s e m b l i e s .     A n o t h e r  e nha n c e m e nt   o f   r a n k  o r de r - b a s e d  l e a rni n g  a pp r o a c h   i s   k n o w n   a s   S pi ke T e m p ,   f o r   S N N s   w i t h   a d a pt i v e   c o n s t r uc t i o n .   T hi s   f e e d  fo r w a r d  t r a i n e d  S N N   c o n t a i n s   o f   t w o   l a y e r s   o f   s pi ki n g  n e u r o n s :   f i r s t ,   a n   e n c o di n g   l e v e l   w h i c h  t e m po r a l l y   c o n v e r t s   r e a l - v a l ue d  s t ru c t ur e s   i nt o   s pa t i a l - t e m po r a l   s p i ke   c o n f i gu r a t i o n.   S e c o n d,   a   p r o duc t i o n   l e v e l   of   d y n a m i c   g r o w n   n e u r o n s   w h i c h   a c c o m pl i s h   t h e   s pa t i a l - t e m po r a l   c l a s s i f i c a t i o n  [27].   T h i s   t e c hni que   e n g a ge d  b o t h   G a us s i a n   a pp r o a c h a b l e   f i e l ds   a n d  s qu a r e   c o s i n e   po pul a c e   t ra i ni n g  s c h e m e   t o   c o n v e r t   r e a l - v a l ue d  s t r uc t u r e s   i nt o   s pa t i a l - t e m po r a l   s pi ke   c o n f i gur a t i o n s   [27] .   S pi ke T e m p  m e t h o d  t r i e d  t o   s o l ve   i s s ue s   r e ga r di ng  t h e   p r e c i s e   t i m i n g  i n f o r m a t i o n   w h i c h   i s   b e i n g  i g n o r e d  a nd  t h e   s pe e d  of   i m i t a t i o n   t i m e   of   t h e   n e t w o r k  f o r   h uge   d a t a   s pe e d  a n d   n e t w o r ks .   It   i s   a pp r o pri a t e   f o r   i n pu t s   de n o t e d  by   a   1 - D   f e a t ur e   v e c t o r   a n d  e xt ra   p r o pe r  f o r   o n l i n e   s c h e m e s .   Co n s e que n t l y ,   t hi s   m e t h o d  i s   c o m put a t i o na l l y   e ffe c t i ve   a n d   s uppl e m e n t a r y   a pp r o p r i a t e   f o r   v a r i e d   c o l l e c t i o n   o f   da t a   s e t .     A   n o v e l   l e a rn i n g  p r o c e dur e   fo r   s pi ki ng  n e ura l   n e t w o r ks   c o n s t ruc t e d  o n   r e v i s i o n   o f  t h e   i nn e r   n e u r o n   t hr e s h o l d  i s   r e c o m m e n de d  a s   i n  [28] .   T h i s   t hr e s h o l d  r e v i s i on  i s   e n ga ge d  t o   s uppo rt   s pi k i n g   n e ura l   n e u r o n   t o   f i r e   t h e   l o w e s t   a m o unt   o f   o ut put   s pi ke   t o   r e s e r v e   a l l   m a t e ri a l   o f   t h e   i n p ut   s p i ke   t ra i n  o n  t h e   e qui v a l e nt   pe r i o d  [28].   T h e   i n a de qu a t e   p r e s e n t a t i o n s   o w e d  by   t h e   us a ge   o f   s i n gl e   s e n s o r s   e v a l ua t i o n   v a l ue s   n o n e t h e l e s s   t h e   pe r i o d  o f   t h e s e   e v a l ua t i o n s   s t r a i n e d  t o   b e   r e s o l ve   i n   t hi s   a l go r i t hm ,   b ut   t h i s   a c t ua l   t i m e   m o t i o n   p r e di c t i o n,   r e c o gn i t i o n   a nd  b e h a v i o r   m e c h a ni z a t i o n   m a y   p e rh a ps   n e e d  t h e   s e n s o r   c l a r i f i c a t i o n s   t i m e   i n put   a l o n g  w i t h   t h e   s e n s o r   v a l ue s .   P e r m i t t e d  t o   c l us t e r i n g  a nd  t o   v a r y   t h e   c o m po un d  us e r   a c t i o n s ,   a   de c r y pt   m e t h o d  us i n g  S N N   a ppe a ra n c e s   i s   c o n s t r uc t e d.   T h e n ,   t h e   s m a r t   e n v i r o nm e nt   i s   t ra i n e d  f o r   c l us t e r  us e r   a c t i o n s   i n s i de   a   pa rt i c ul a r   s pa c e   by   e xpl o i t i n g  t h e   S N N   i de a l .   T h i s   p r o po s e d  t e c h ni q ue   i s   m o de s t   i n   a s s e m b l y   a n d  c a n   a c c o m pl i s h  hi g h e r   r e s ul t   o f   c l us t e r i ng  [ 28] .   A n o t h e r   a pp r o a c h   i s   u n s upe r v i s e d  m e t h o d  t o   l e a rn   a n d  e a rl y   de t e c t i o n   of   s pa t i a l - t e m po r a l   pa t t e rn s   us i n g  s pi ki ng  n e ura l   n e t w o r ks .   I n   t h e   pa pe r ,   i t   w a s   s t a t e d  di f f i c ul t i e s   of   l e a rn i n g  a n d  i de n t i fy i n g  s pa t i a l - t e m po ra l   pa t t e rn s   i s   e n c o un t e r e d  upo n   de m o n s t r a t i ng  ge s t ur e s   o r   o t h e r   h u m a n   a c t i o n s   [29] .   It   us e d  a xo n a l   c o n duc t i o n   de l a y s   t h a t   de pe n d  o n  a   s p i ke - t i m i ng  de pe n de nt   pl a s t i c i t y   l e a rni n g  r e gul a t i o n   w hi c h  l e a rn   t r a i n i ng  of   i n d i v i dua l   s ha pe s   a s   s e t s   of   po l y c h r o m o us   n e u ra l   c l us t e r s .   Cl a s s i f i c a t i o n   i s   do n e   by   a   s i m i l a r i t y   m e t r i c   b e t w e e n   t h e   s e t s   c r e a t e d  o n   by   a n   i m p r o v e d  ve r s i o n   o f   t h e   J a c c a r d  i nde x.   T h e   m e t h o d  i s   a s s e s s e d  o n   a   da t a   s e t   of  h a n d - d r a w n   d i gi t s .   T h e   da t a   c o n s i s t   o f   t i m e   s t a m ps   t ha t   a r e   c a pt u r e d  s i m ul t a n e o us l y   dur i ng  t h e   dra w i n g .   T h e   o ut c o m e s   de m o n s t ra t e   t h a t   t h e   s u gge s t e d  m e t h o d  c a n  e ff e c t i v e l y   s t ud y   t h e s e   c o n f i gura t i o n s   b a s e d  o n   o m i n o us l y   m i n o r   a m o u n t   o f   t r a i ni n g  s a m p l e s   [29].   It   a l s o   c a n   r e c o gn i z e   pa t t e rn s   b e f o r e   t h e i r   a c c o m pl i s hm e n t .   T h e   pe r f o r m a n c e   of   t hi s   m e t h o d  i s   i m p r o v e d  t h a n  o r   e qu i v a l e nt   w i t h   t h e   t hr e e   o t h e r  s upe r v i s e d  a pp r o a c h e s .   M o de l l i n g  o f   l a r ge - s c a l e   s pi ki ng   n e u r a l   m o de l s   i s   a   s i g ni f i c a nt   i n s t r um e nt   i n   t h e   m i s s i o n   t o   r e c o gn i z e   b r a i n   pu r po s e   a n d  a f t e r w a r d  ge n e ra t e   r e a l - w o r l d  a ppl i c a t i o n s .   A   s p i ki n g  n e u ra l   n e t w o r k  s i m ul a n t   l o c a l i t y   c a l l e d  H RL   S pi ki n g  S i m u l a t o r  (H RL S i m )  i s   f a m i l i a ri z e d  a s   a n  a pp r o p r i a t e   m a nn e r   f o r   e m pl oy m e n t   o n   a   c l us t e r   o f   g e n e ra l - p u r po s e   gr a p hi c a l   p r o c e s s i n g  uni t s   (G P G P U s ).   It   de a l s   w i t h   r e a s o n a b l e   a n d  a c c e s s i b l e   i n s t r u m e nt   f o r   s c h e m i n g ,   r e a l - t i m e   i m i t a t i o n   a n d  i n v e s t i ga t i n g  o f   a c r o s s - t h e - b o a r d  s pi k i n g  n e u ra l   n e t w o r ks   [30].   T hi s   H R L S i m   w a s   pr e m e di t a t e d  f o r   b o t h   c o rr e s po n di n g   c e n t ra l   p r o c e s s i n g  u n i t   (CP U )  c o n s t r uc t i o n s   a n d   pa r a l l e l   ge n e ra l - pu rpo s e   gra p h i c a l   p r o c e s s i n g   u n i t   (G P G P U )  c l us t e r  c o m put e r s .   G P U s   r e qui r e   a   h uge   a m o unt   of   s i n g l e - i n s t r uc t i o n  m u l t i pl e   d a t a   (S IM D )  p r o c e s s o r s   p r o f i c i e n t   o f   c a p a b l y   h a n d l i ng  m a s s i v e   v o l um e s   of   da t a   i n   e qui v a l e n t .   B e s i de s ,   t h e   t o t a l   c o rr e l a t e d  i n   c r e a t i n g  c l us t e rs   of   G P U s   i s   s i gn i f i c a nt l y   l e s s e r   t ha n   CP U - b a s e d   s upe r c o m put e r s   [30] .     L a s t l y ,   a n   e vo l v i n g,   dy n a m i c   c l us t e r i ng  o f  s pa t i a l / s pe c t ro - t e m po r a l   d a t a   i n   3D   s pi k i n g  n e u r a l   n e t w o r k  m o de l s   (e S N N s )  i s   i n t r o duc e d  f o r   c l us t e r  j o b   of   s pa t i a l - t e m po r a l   d a t a   c o n duc t e d  i n   t h e   N e uc ube   a ppl i c a t i o n   o f   s pi ki n g   n e u r a l   n e t w o r k  de s i g n   [6 ].   T h e   r e c o r ds   a r e   e n c r y pt e d  a s   s p i ke   t ra i n s   b e f o r e   i t   s ub m i t t e d  t o   t h e   m o de l s   a s   e a c h   s pi ke   s i g n i fy   a   v a ri a t i o n   i n  t h e   v a r i a b l e   ra t e   (a n  e v e n t ).   T hr o ug h  t h e   u n s upe r v i s e d  l e a rn i ng,   t h e   c l us t e r  c e n t e r s   w e r e   p r e de f i n e d  by   t h e   s p a t i a l   l o c a l i t i e s   o f   t h e   i n pu t   r e c o r ds   v a r i a b l e s   i n   a   3D   S N N   m o de l .   A f t e r w a r ds ,   t h e   c l us t e r s   a r e   de v e l o pi n g  t hr o ugh   t h e   l e a rn i ng  i n   s uc h   t h e y   a r e   a l t e r e d  n o n s t o p  ov e r   t i m e   i m i t a t i n g   t h e   dy n a m i c s   o f   t h e   v a r i a t i o n s   i n   t h e   re c o r ds .   D u ri n g   t h e   s upe r v i s e d  l e a rni n g,   c l us t e r s   c h a ra c t e ri z e   t h e   dy n a m i c   s e ri e s   of   n e ur o n   s pi k i n g  a c t i o n s   i n   a   t r a i n e d  S N N   m o de l ,   de t a i l e d  f o r   a   c e r t a i n   c l a s s   o f   da t a   o r   f o r   a   s i n g l e   o c c urr e n c e   [6].   T h e   s ugge s t e d  c l us t e r i n g  a pp r o a c h e s   a l l o w e d  us   t o  r e a s o n a b l y   a n a l y s e s   t h e   E E G   d a t a   c hr o n i c l e d  f r o m   di s s i m i l a r  s ub j e c t   gr o ups .         Evaluation Warning : The document was created with Spire.PDF for Python.
In do n e s i a n  J   E l e c   E ng  &   Co m p  S c i     IS S N :   2502 - 4752       A  r e v i e w   on  dat a  c l us t e r i n g  us i ng  s p i k i ng   ne ur a l   ne t w or k   ( S NN)   m ode l s   ( Si t i   A i s y ah   M oham e d )   1399   7.   C O N C LU S I O N   A N D   F U TU R E  W O R K S   S pi ki n g  N e u r a l   N e t w o r ks   i s   pr o v e d  a s   a   s i gn i f i c a nt   m e t h o d  t o   s o l v e   c o m pl e x  t i m e - de pe n de nt   c o n f i gur a t i o n   r e c o gn i t i o n   c o m pl i c a t i o n s   f o r   t h e   r e a s o n   o f   dy n a m i c   i l l us t ra t i o n  n a t u r a l l y   i nh e r e n t   i n   s p i ki ng  n e u r a l   n e t w o r k.   T h e o r e t i c a l l y   s h o w   t h a t ,   S N N   h a s   t h e   s ki l l   t o   e s t i m a t e   a n y   c o n t i n uo us   f un c t i o n s .   I t   i s   a l s o  s h o w n   t h a t   S pi ke - T e m p  a n d  S pi ke - CD   c a n   c l a s s i f y   di v e r s e   da t a   s e t   w i t h   b e t t e r - qu a l i t y   of   a c c ur a t e n e s s   a n d  a   s h o rt e r  s i m ul a t i o n   t i m e   i s   n e e d  c o m pa r e d  t o   t h e   ra n k   o r de r  m e t h o d  [ 16].   M o r e o ve r ,   t h e   f e a t u r e s   r e p r e s e n t a t i o n  i n  t hi s   m e t h o d  c a n   b e   r e c y c l e d  i n  de e p  n e u r a l   n e t w o r ks   t o   e xc e r pt   e nha n c e d  f e a t ur e     s t ruc t u r e   [15] .     S T D P   m e t h o ds   foc us e d  m o r e   o n   t h e   da t a   c l us t e ri n g  t ha t   e nc r y pt s   t h e   i nput   d a t a   i n   t e m po r a l   s pa c e   w h e r e a s   r e s ul t   e xp r e s s   by   H R L S i m   pr o po s e   a n   a c t ua l   r e pl i c a t i o n   i n s t r u m e nt   t o   l e a rn  v e r y   l a r ge - s c a l e   s pi k i n g   n e u r a l   p r o t o t y p e s .   L i ke w i s e ,   c l us t e r i n g  a c t i v i t y   w h i c h   i s   b a s e d  o n   a da pt i v e   t hr e s h o l d  o f   S N N   a n d  l e a rni ng  a n d  r e c o gn i z i ng  s pa t i o t e m po ra l   pa t t e rn s   m e t h o d  us i n g  S N N   b o t h   p r o v e   t h a t   S N N   c a n   s i g n i f i c a n t l y   h a n d l e   s pa t i a l - t e m po ra l   da t a   t y pe .   O ut c o m e s   s i m i l a rl y   s h o w   t h a t   re ga r d l e s s   o f   t h e   e xa c t   s m a l l   a m o u n t   o f   t r a i n i ng  s a m pl e s ,   t h e   t e c hni que   h a s   m a g ni f i c e n t l y   s um m a ri z e d  t h e   de s c r i pt i v e   s t r uc t u r e s   o f   e a c h   c l a s s   w i t h   hi g h  c l a s s i f i c a t i o n  g ra de s .     T h e   s i g n i f i c a n t   pu rpo s e   of   c l us t e r i n g  m e t h o d  i m pl y i n g  S N N   ha s   b e e n   s um m a ri z e d  i n   t h i s   p a pe r   c a n  b e   us e d   fo r   a   be t t e r   unde r s t a n d i n g  o f  kn o w l e dge   di s c ov e r y   o n   c o m pl e x  da t a   t y pe .   F ut ur e   w o r k  r e ga rdi n g   S pi ki n g  N e u r a l   N e t w o r k  c l us t e r i ng  a pp r o a c h   c a n   b e   e xpl o r e d  by   e m pl oy i n g  t h e   r e a l - w o r l d  da t a   w h i c h   h i g h e r  di m e n s i o na l i t y   a n d   t e m p o r a l   r e l a t i o n   p r o b l e m s .   T hus ,   t h e   s i g ni f i c a n c e   of   S N N   i n   s o l v i n g   dy n a m i c ,   s pa t i a l / s pe c t r o - t e m po ra l   d a t a   p r o b l e m   c a n  b e   pr o v e n .       A C K N O WL ED G E M EN TS   T h e   a ut h o r s   w o ul d  l i ke   t o   a c k n o w l e dge   U n i v e r s i t y   T un  H us s e i n   O nn   M a l a y s i a   (U T H M )  a nd  M i n i s t r y   of  H i gh e r   E d uc a t i o n   (M O H E )  fo r   t h e   s uppo r t   o f   t h i s   r e s e a r c h .   T h i s   r e s e a r c h   i s   s uppo r t e d  by   U n i v e r s i t y   T un   H us s e i n   O nn   M a l a y s i a   (U T H M )  un de r   P o s t g r a d ua t e   R e s e a r c h   g ra n t   (G P P S )  v o t   H 062  a nd  M i n i s t r y   of   hi g h e r   e duc a t i o n  (M O H E )  u n de r  t h e   f u n da m e n t a l   r e s e a r c h  G r a nt   S c h e m e   (F R G S )  v o t   1612 .         R EF ER EN C ES     [ 1]   A .   A .   A bus na i n a   a nd  R .   A bdul l a h,   “ S p i k i ng   N e u r o n  M o de l s :   A   R e v i e w , ”   I nt .   J .   D i g i t .   C on t e nt   T e c h nol .   i t s   A pp l . ,  v o l .   8,   no .   3,   p p.   14 - 21 ,   201 4.   [ 2]   P .   H .   L i nds a y   a nd  D .   A .   N o r m a n,   " N e u r a l   I nf o r m a t i o n  P r o c e s s i ng " ,   vo l .   3316 .   Sp r i nge r   I n t e r na t i ona l     P ubl i s h i n g ,   19 77.   [ 3]   S .   G ho s h - da s t i da r   a nd  A .   G .   L i c ht e ns t e i n,   “ R e v i e w   A r t i c l e   S p i k i n g   N e ur a l   N e t w o r ks , ”   I n t .   J . ,   v o l .   19,   no .   4,   p p.   295 - 308 ,   2009 .   [ 4]   A .   T a v a na e i ,   M .   G ho dr a t i ,   S .   R .   K he r a dp i s he h ,   T .   M a s que l i e r ,   a n d  A .   M a i da ,   “ D e e p  L e a r n i ng   i n  S pi k i ng   N e u r a l   N e t w o r ks , ”   N e ur a l   N e t w or k s ,   v o l .   111 ,   pp.   4 7 - 63,   M a r .   201 9.   [ 5]   R .   W a ng   e t   a l . ,   “ R e v i e w   o n  M i ni ng   D a t a   f r o m   M ul t i p l e   D a t a   S o ur c e s , ”   P at t e r n  R e c o gni t .   L e t t . ,   v o l .   109 ,   pp .     120 - 128 ,   J u l .   20 18.   [ 6]   M .   G .   D o bo r j e h ,   N .   K a s a bo v ,   a nd  Z .   G .   D o bo r j e h ,   “ E v o l v i ng ,   D y na m i c   C l us t e r i ng   o f   S pa t i o / S pe c t r o - T e m po r a l   D a t a   i n  3D   S pi k i ng   N e u r a l   N e t w o r k  M o de l s   a n d  A   C a s e   S t udy   o n  E E G   D a t a , ”   E v o l .   Sy s t . ,   v o l .   9 ,   no .   3 ,   p p.     195 - 211 ,   2018 .   [ 7]   D .   X u  a n d  Y .   T i a n,   “ A   C o m pr e he ns i v e   S ur v e y   of   C l us t e r i ng   A l g o r i t hm s , ”   A nn .   D at a  Sc i . ,   v o l .   2 ,   no .   2 ,   p p.     165 - 193 ,   2015 .   [ 8]   G .   S e hg a l   a n d  D .   K .   G a r g ,   “ C o m pa r i s o n   o f   V a r i o us   C l us t e r i ng   A l g o r i t hm s , ”   2 014 .   [ 9]   C .   F r a l e y ,   “ H o w   M a ny   C l us t e r s ?   W hi c h  C l u s t e r i ng   M e t ho d?   A ns w e r s   V i a   M o de l - B a s e d  C l us t e r   A na l y s i s , ”  C om put .   J . ,   v o l .   4 1,   no .   8,   p p.   57 8 - 588 ,   2 005 .   [ 10]   J .   A .   D i c ke r s o n,   “ B i c l u s t e r i ng   C l us t e r i ng   G e ne   E xp r e s s i o n  D a t a , ”   B i oi nf or m a t i c s ,   pp.   1 - 14 ,   201 1.   [ 11]   F .   P o nul a k  a nd  A .   K a s i ńs ki ,   “ I nt r o duc t i o n  t o   S pi k i ng   N e ur a l   N e t w o r ks :   I nf o r m a t i o n  P r o c e s s i ng ,   L e a r ni ng   a nd  A pp l i c a t i o ns , ”   A c t a   N e ur ob i o l .   E x p.   ( W ar s ) . ,   v o l .   7 1,   no .   4 ,   p p.   40 9 - 433,   201 1.   [ 12]   R .   M .   C e s a r   a nd   L .   da   F o nt o ur a   C o s t a ,   " A n  I nt r o duc t i o n  t o   N e u r a l   N e t w o r ks ,   v o l .   14 ,   no .   1.   20 02.   [ 13]   M .   O t hm a n ,   “ S pa t i a l - T e m po r a l   D a t a   M o de l l i ng   a nd   P r o c e s s i ng   f o r   P e r s o na l i s e d   D e c i s i o n  S u ppo r t , ”   D r .   D i s s .   A uc kl .   U ni v .   T e c hno l . ,   20 15 .   [ 14]   N .   K .   K a s a bo v ,   T i m e - S pa c e ,   " S pi k i ng   N e ur a l   N e t w o r ks   a nd  B r a i n - I ns pi r e d  A r t i f i c i a l   I nt e l l i g e nc e " ,   v o l .   7 .   B e r l i n,   H e i de l b e r g :   S pr i ng e r   B e r l i n   H e i d e l b e r g ,   20 19.   [ 15]   M .   O t hm a n,   S .   A .   M o ha m e d ,   M .   H .   A .   A bdul l a h,   M .   M .   Y us o f ,   a n d  R .   M o ha m e d ,   “ A   F r a m e w o r k  t o   C l us t e r   T e m po r a l   D a t a   us i ng   P e r s o na l i s e d  M o de l l i ng   A ppr o a c h, ”   i n   A d v an c e s   i n  I n t e l l i ge nt   Sy s t e m s   and   C om p ut i ng ,   201 8.   [ 16]   K .   K o t ha r i   a nd  O .   K a l e ,   “ S ur v e y   of   V a r i o us   C l us t e r i ng   T e c hni que s   f o r   B i g   D a t a   i n  D a t a   M i n i ng , ”   v o l .   1,   no .   7 ,   pp.   68 - 71,   20 14.   [ 17]   M .   A w a d  a nd   R .   K ha nn a ,   “ M a c hi ne   L e a r ni ng   a nd  K no w l e dg e   D i s c o v e r y , ”   i n   E f f i c i e n t   L e ar n i ng   M ac h i ne s ,  B e r ke l e y ,   C A :   A pr e s s ,   2 015 ,   pp .   1 9 - 38.   Evaluation Warning : The document was created with Spire.PDF for Python.
            IS S N :   2 502 - 47 52   In do n e s i a n  J   E l e c   E ng  &   Co m p  S c i ,   V o l .   1 5 ,   N o .   3 ,  S e pt e m b e r   2 01 9   :   1 3 9 2   -   1 4 0 0   1400   [ 18]   A .   S a xe na   e t   a l . ,   “ A   R e v i e w   o f   C l us t e r i ng   T e c hni qu e s   a nd  D e v e l o pm e nt s , ”   N e ur oc om pu t i ng ,   v o l .   267 ,   pp .     664 - 681 ,   2017 .   [ 19]   L .   R o ka c h  a nd  O .   M a i m o n,   “ C l us t e r i ng   M e t ho ds ,   B o o k  S e c t i o n, ”   D a t a  M i n .   K n ow l .   D i s c ov .   H a ndb . ,   pp .     321 - 352 ,   2005 .   [ 20]   J .   L e s ko v e c ,   A .   R a j a r a m a n,   a nd  J .   D .   U l l m a n ,   " M i n i ng   o f   M a s s i v e   D a t a s e t s " .   C a m br i dg e :   C a m br i dg e   U ni v e r s i t y   P r e s s ,   2 014 .   [ 21]   Y .   L i u,   Z .   L i ,   H .   X i o ng ,   X .   G a o ,   a nd  J .   W u,   “ U nde r s t a n di ng   o f   I n t e r na l   C l us t e r i ng   V a l i d a t i o n  M e a s u r e s , ”   P r oc .   -   I E E E   I n t .   C o nf .   D at a   M i ni n g ,   I C D M ,   pp.   9 11 - 916 ,   2010 .   [ 22]   M .   A w a d  a nd  R .   K ha n na ,   “ D e e p  N e u r a l   N e t w o r k s , ”   i n  E f f i c i e n t   L e ar ni ng  M ac hi ne s ,   B e r k e l e y ,   C A :   A pr e s s ,   2015 ,   pp.   12 7 - 147.   [ 23]   “ A r t i f i c i a l   N e ur a l   N e t w o r k   |   T y pe s   |   F e e d  F o r w a r d   |   F e e dba c k  |   S t r uc t ur e   |   P e r c e pt r o n  |   M a c hi ne   L e a r n i ng   |   A ppl i c a t i o ns   |   T e c h  B l o g s   –   M S A   T e c hno s of t . ”   [ O nl i ne ] .   A v a i l a b l e :   ht t p s : / / m s a t e c hno s o f t . i n / b l o g / t e c h - bl o g s / a r t i f i c i a l - ne ur a l - ne t w o r k - t y pe s - f e e d - f o r w a r d - f e e db a c k - s t r uc t u r e - pe r c e pt r o n - m a c hi ne - l e a r n i ng - a ppl i c a t i o ns .   [ A c c e s s e d:   02 - F e b - 2019] .   [ 24]   E .   P e k e l   a nd  S .   S .   K a r a ,   “ A   C o m pr e he ns i v e   R e v i e w   f o r   A r t i f i c a l   N e ur a l   N e t w o r k  A ppl i c a t i o n  t o   P ub l i c   T r a n s po r t a t i o n, ”   v o l .   3 5,   no .   1 ,   p p.   1 57 - 179 ,   2017 .   [ 25]   X .   T a o ,   “ D a t a   C l us t e r i ng   V i a   S pi ki ng   N e ur a l   N e t w o r ks   T hr o ug h  S pi k e   T i m i ng   D e pe n de n t   P l a s t i c i t y , ”   P r oc .   I n t .   C onf .   A r t i f .   I nt e l l .   I C - A I   04 ,   20 04.   [ 26]   P .   L i n ,   S .   C h a ng ,   H .   W a ng ,   Q .   H u a ng ,   a nd  J .   H e ,   “ S pi k e c d:   A   P a r a m e t e r - I ns e ns i t i v e   S p i k i ng   N e u r a l   N e t w o r k  w i t h   C l us t e r i ng   D e g e ne r a c y   S t r a t e gy , ”   N e ur a l   C om put .   A pp l . ,   v o l .   6 ,   pp .   1 - 13 ,   2 018 .   [ 27]   J .   W a ng ,   A .   B e l a t r e c he ,   L .   P .   M a g ui r e ,   a nd  T .   M .   M c G i nni t y ,   “ S pi ke T e m p :   A n  E nha nc e d  R a nk - O r d e r - B a s e d   L e a r ni ng   A ppr o a c h  f o r   S pi ki ng   N e ur a l   N e t w o r ks   w i t h  A da pt i v e   S t r uc t ur e , ”   I E E E   T r a ns .   N e ur al   N e t w or k s   L e ar n .   Sy s t . ,   v o l .   28 ,   no .   1,   pp .   30 - 43 ,   2017 .   [ 28]   H .   H .   A m i n,   W .   D e a be s ,   a n d  K .   B o ua z z a ,   “ C l us t e r i ng   o f   U s e r   A c t i v i t i e s   ba s e d  o n   A da pt i v e   T hr e s ho l d  S p i k i ng   N e ur a l   N e t w o r k s , ”   I n t .   C o nf .   U bi q ui t ou s   F ut ur .   N e t w o r ks ,   I C U F N ,   pp.   1 - 6,   2 017 .   [ 29]   B .   R e k a bd a r ,   M .   N i c o l e s c u,   R .   K e l l e y ,   a nd  M .   N i c o l e s c u,   “ A n  U ns upe r v i s e d  A ppr o a c h  t o   L e a r n i ng   a nd   E a r l y   D e t e c t i o n  o f   S pa t i o - T e m po r a l   P a t t e r ns   u s i ng   S pi k i ng   N e ur a l   N e t w o r ks , ”   J .   I n t e l l .   R ob ot .   S y s t .   T he or y   A p pl . ,   v o l .   80,   pp .   83 - 97 ,   2015 .   [ 30]   K .   M i n ko v i c h,   C .   M .   T hi b e a u l t ,   M .   J .   O ’ B r i e n ,   A .   N o g i n,   Y .   C ho ,   a nd  N .   S r i ni v a s a ,   “ H r l s i m :   A   H i g h  P e r f o r m a nc e   S pi k i ng   N e u r a l   N e t w o r k  S i m ul a t o r   f o r   G P G P U   C l u s t e r s , ”   I E E E   T r ans .   N e ur al   N e t w or k s   L e ar n .   Sy s t . ,   v o l .   25 ,   no .   2,   pp .   316 - 331 ,   201 4.     Evaluation Warning : The document was created with Spire.PDF for Python.