T E L KO M NIK A In d o n e s i a n  J o u r n a l o f   E le c t r ic a E n g in e e r in g V o l . 1 2 , No .  9 S e p te m b e r  2 0 1 4 , p p . 6 8 9 7 ~ 6 9 0 2 DO I: 1 0 . 1 1 5 9 1 /t e l k o m n i k a .v 1 2 i 9 . 6 2 6 4 6 8 9 7 Re c e i v e d M a y   1 4 2 0 1 4 ; R e v i s e d J u n e  2 9 , 2 0 1 4 ;  A c c e p te d J u l y  2 0 , 2 0 1 4 A r t if icia l Neu r al  Net w o r k W eig h t  O p t im iz a t io n :   A R e v ie w A b d i r a s h id   S a la d  Nu r * 1 , No r  Ha iz a n  M o h d  Ra d z i 1 , A s h r a f  O s m a n  Ib r a h im 1,2 1 So f t   C o m p u t i n g   R e s e a rc h   G ro u p ,   F a c u l t y   o f   C o m p u t i n g , U n i v e rs i t i   T e k n o l o g i   M a l a y s i a   ( U T M ) , 8 1 3 1 0   Sk u d a i ,   J o h o r,   M a l a y s i a 2 F a c u l t y   o f   C o m p u t e S c i e n c e   a n d   I n f o rm a t i o n   T e c h n o l o g y ,   Al z a e i m   A l a z h a ri   U n i v e rs i t y   ( AAU ) , Kh a rt o u m ,   Su d a n * C o rre s p o n d i n g   a u t h o r,   e - m a i l : s a l a a d n u u r@ y a h o o . c o m Ab s t r a c t O p t i m i z i n g   t h e   w e i g h t s   o f   Art i f i c i a l   N e u ra l   N e t w o r k s   ( AN N s )   i s   a   g re a t   i m p o rt a n t   o f   a   c o m p l e x   t a s k i n   t h e   re s e a rc h   o f   m a c h i n e   l e a rn i n g   d u e   t o   d e p e n d e n c e   o f   i t s   p e rf o rm a n c e   t o   t h e   s u c c e s s   o f   l e a r n i n g p ro c e s s   a n d   t h e   t ra i n i n g   m e t h o d .   T h i s   p a p e re v i e w s   t h e   i m p l e m e n t a t i o n   o f   m e t a - h e u ri s t i c   a l g o ri t h m s   i n AN N s   w e i g h t   o p t i m i z a t i o n   b y   s t u d y i n g   t h e i a d v a n t a g e s   a n d   d i s a d v a n t a g e s   g i v i n g   c o n s i d e ra t i o n   t o   s o m e m e t a - h e u ri s t i c   m e m b e rs   s u c h   a s   G e n e t i c   a l g o ri t h i m ,   Pa rt i c l e   Sw a rm   O p t i m i z a t i o n   a n d   re c e n t l y   i n t ro d u c e d m e t a - h e u ri s t i c   a l g o ri t h m   c a l l e d   H a rm o n y   Se a rc h   Al g o ri t h m   ( H SA ) .   Al s o ,   t h e   a p p l i c a t i o n   o f   l o c a l   s e a rc h b a s e d   a l g o r i t h m s   t o   o p t i m i z e   t h e   AN N s   w e i g h t s   a n d   t h e i r   b e n e f i t s   a s   w e l l   a s   t h e i r   l i m i t a t i o n s   a re   b ri e f l y e l a b o r a t e d .   F i n a l l y ,   a   c o m p a ri s o n   b e t w e e n   l o c a l   s e a rc h   m e t h o d s   a n d   g l o b a l   o p t i m i z a t i o n   m e t h o d s   i s c a rri e d   o u t   t o   s p e c u l a t e   t h e   t re n d s   i n   t h e   p ro g re s s e s   o f   AN N s   w e i g h t   o p t i m i z a t i o n   i n   t h e   c u r re n t   re s re a r c h . K e y w o r d s : a rt i f i c a l   n e u ra l   n e t w o rk s , l o c a l   s e a r c h , g l o b a l   o p t i m i z a t i o n , m e t a - h e u r i s t i c s , w e i g h t o p t i m i z a t i o n C o p y r i g h t © 2 0 1 4 I n s ti tu t e   o f   A d v a n c e d   En g i n e e r i n g   a n d   Sc i e n c e .   A l l   r i g h t s   r e s e r v e d . 1 . In t r o d u c t io n A r ti f i c i a l   Ne u r a l   N e t w o r k   ( A NN )   i s   a   c o m p u ta ti o n a l   m o d e l   t h a i m i ta te s   th e   h u m a n   b r a i n s y s t e m T h e   m o s r e c o g n i s e d   c h a r a c te r i s ti c   o f   A NN  i s   th e   a b i l i t y   to   l e a r n   f r o m   o b s e r v i n g   th e d a ta   s e ts   a n d   i m p r o v e s   i ts   p e r f o r m a n c e   th r o u g h   l e a r n i n g A N a l s o   c a p a b l e   to s e l f - o r g a n i z e , s e l f   a d a p ti v e   a n d   c o n d u c t e d   r e a l   ti m e   l e a r n i g T h e s e   c h a r a c te r i s ti c   h a v e   b e e n   e x p l o i te d   f o r m a n y   y e a r s     b y   th e   r e s e a r c h e r s   to   s o l v e   c l a s s i f i c a ti o n   p r o b l e m s   i n   p a tte r n   r e c o g n i ti o n   a n d a ttr a c te d     t h e   d a ta   m i n i n g   r e s e a r c h   c o m m u n i t y [ 1 - 2 ] , [ 6 , 1 0 ] A l th o u g h   A NN  h a s   b e e n   a p p l i e d   i n wi d e   s p e c tr u m   o f   p r o b l e m s ,   th e   r e s e a r c h e r s   s ti l l   s e e k   fo r   i m p r o v e m e n s i n c e   t h e   p e r f o r m a n c e   o f A NN  i s   l a r g e l y   a ttr i b u t e d   b y   s e l e c ti o n   o f   i n i ti a l   p a r a m e te r   v a l u e s h i d d e n   l a y e r   s e l e c ti o n , s e l e c ti o n  o f  l e a r n i n g   p a tt e r n s ( d a ta s e p a r t i ti o n )  a n d  t h e  c o n v e r g e n c e  o f  th e  tr a i n i n g  a l g o r i th m . F o r   i n s ta n c e th e   n u m b e r   o f   n e u r o n s   o A NNs   h a v e   a   d i r e c i m p a c to   th e   p e r f o r m a n c e o f   th e   A NNs T o o   m a n y   n e u r o n s   c a n   c a u s e   o v e r f i t ti n g   p r o b l e m   wh i l e   to o   f e n e u r o n s   c a n c o n tr i b u te   i n   p o o r a p p r o x i m a ti o n [ 1 ] T h e   v e c to r   o f   w e i g h f o r   n e two r k   i s   a l s o   a l s o   c r u c i a l   s i n c e   i t i s   c o n tr i b u ti n g   t o   th e   b e tt e r   f i tn e s s   f u n c ti o n   v a l u e T h e s e   tw o   p a r a m e t e r s   a r e   a m o n g s th e o p ti m i z a t i o n   p r o b l e m   o c c u r s   i n   A NN.  M e ta - H e u r i s t i c   a l g o r i th m s   h a v e   b e e n   g i v e n   t h e   a tt e n t i o n   i n o r d e r  to   o p t i m i z e  th e  d e s i g n  a n d  A N Ns  p a r a m e te r s . M e ta - H e r i s ti c   t e c h n i q u e s   a r e   s to c h a s ti c   o p t i m i z a ti o n   a l g o r i th m s   th a s e e k   f o r   a   h i g h q u a l i t y   s o l u t i o n s   f o r   a n   o p t i m i z a t i o n   p r o b l e m   i n   a   r e a s o n a b l e   c o m p u ta ti o n a l   e f f o r t [ 2 , 3 ] .   M o s t l y , l o c a l   s e a r c h   m e th o d s   a r e   h e u r i s ti c   i n f o r m a ti o n   b a s e d   t e c h n i q u e s   s i n c e   th e i r   p a r a m e te r  s e a r c h   i s f o c u s e d   o n   l o c a l   d i f f e r e n c e s   a n d   m i g h t   b e   th e   o p ti m a l   s o l u t i o n   i s   o u ts i d e   th i s   l o c a l   a r e a M e t a - He u r i s ti c   t e c h n i q u e s   e m p l o y   l e a r n i n g   s tr a t e g i e s   i n   wh i c h   c o m b i n e   v a r i a n i n t e l l i g e n c o n c e p ts   f o r e x p l o r i n g   th e   s e a r c h   s p a c e   to   a r r a n g e   i n f o r m a ti o n [ 4 ] G e n e ti c   a l g o r i t h m   ( G A ) p a r ti c l e   s w a r m o p ti m i z a t i o n   ( P S O ) s i m u l a t e d   a n n e a l i n g   ( S E ) t a b u   s e a r c h   ( T S ) a n c o l o n y   o p ti m i z a ti o n   ( A CO ) a n d   h a r m o n y   s e a r c h   a l g o r i th m   ( HS A )   a r e   e x a m p l e s   o f   m e ta - h e u r i s ti c   te c h n i q u e s M a j o r i t y   o f th e s e   a l g o r i th m s   e x c e p HS A   a r e   i n s p i r e d   f r o m   b i o l o g i c a l   p r o c e s s e s   W h i l s t,  HS A   i s   f r o m m u s i c a l   i n s p i r a ti o n   p r o c e s s T h e s e   tr a i n i n g   a l g o r i th m s   h a v e   g l o b a l   s e a r c h i n g   a b i l i t y   to   l e a r n a p p r o x i m a te  o p ti m a l  s o l u ti o n  l a c k i n g  t h e  g r a d i e n i n f o r m a ti o n  o f  th e  e r r o r  f u n c ti o n s [ 1 , 5 ] . T h i s   p a p e r   i s   o r g a n i z e d   a s   f o l l o w s S e c ti o n   2 p r e s e n ts   r e l a te d   wo r k S e c ti o n   3 , p r o v i d e s H a r m o n y   S e a r c h   A l g o r i t h m . F i n a l l y S e c t i o n   4 g i v e s  t h e  c o n c l u s i o n . Evaluation Warning : The document was created with Spire.PDF for Python.
IS S N: 2 3 0 2 - 4 0 4 6 T E L KO M NIK A V o l 1 2 , No . 9 S e p t e m b e r  2 0 1 4 : 6 8 9 7 6 9 0 2 6 8 9 8 2 . Re l a t e d  W o r k T h e   A NN  tr a i n i n g   p r o c e s s   i n v o l v e s   wi th   a d j u s ti n g   t h e   w e i g h o f   n e u r o n   i t e r a ti v e l y     to r e d u c e   t h e   e r r o r   d u e   to   th e   h i g h   d i m e n s i o n a l i t y   a n d   m u l t i m o d a l   o f   th e   e x p l o r a ti o n   s e a r c h   s p a c e . He n c e   th e   p r o c e s s   o f   NN  l e a r n i n g   n e e d s   m o r e   p o w e r f u l   o p t i m i z a t i o n   te c h n i q u e s [ 6 ] In g e n e r a l a   s e o f   d a t a s e k n o w n   a s   tr a i n i n g   s e i s   p r e s e n te d   to   i n p u ts   to   b e g i n   th e   n e t wo r k tr a i n i n g   to   d e te r m i n e   th e   c o r r e c o u tp u ts A f te r   f i n i n s h i n g   th i s   p r o c e s s u n s e e n   d a ta   wh i c h   i s k n o w n   a s   t e s ti n g s e i s   p r e s e n te d   to   th e   n e t wo r k s   i n p u to   t e s th e   a b i l i t y   o f   t h e   c l a s s i f i e r   t o g e n e r a l i z e [ 7 ] . T h e r e   a r e   th r e e   m a j o r   l e a r n i n g   p a r a d i g m s   f o r   A NN.  T h e s e   p a r a d i g m s   i n c l u d e s u p e r v i s e d ,   u n s u p e r v i s e d   a n d   r e i n f o r c e d   l e a r n i n g T h e   m o s c o m m o n   a n d   w i d e l y   u s e d   l e a r n i n g a l g o r i th m     i s   B a c k - P r o p a g a ti o n   ( B P ) ,   a   s u p e r v i s e d   l e a r n i n g   a l g o r i th m   B P   i s a   g r a d i e n d e s c e n t b a s e d   a l g o r i t h m T h i s   a l g o r i th m   c a l c u l a te s   t h e   o u tp u t   o f   th e   n e t w o r k   a n d   r e d u c e s   th e   m e a n s q u a r e   e r r o r   ( M S E )   b e t w e e n   th e   a c tu a l   o u t p u a n d   th e   d e s i r e d   o u t p u th r o u g h   a d j u s ti n g   we i g h ts a c c o r d i n g l y [ 6 - 1 0 ] Ho w e v e r m a n y   r e s e a c h e r s h a v e   f o u n d   t h a   th a B P   s u b j e c te d   to   p r o b l e m a s s o c i a te d   w i t h   l o c a l   m i n i m a   i n   th e i r   l e a r n i n g   i n s ta n c e s F u r th e r m o r e th e   p e r f o r m a n c e   o f   B P   i s a l s o  a ttr i b u te d  b y  th e  s e l e c t i o n   o f  a p p r o p r i a t e  l e a r n i n g   p a r a m e te r s . Re s e a c h e r s   h a v e   a d o p te d   s e v e r a l   m e ta - h e u r i s t i c   g l o b a l   o p ti m i z a t i o n   a l g o r i t h m s   to o v e r c o m e   th e   l o c a l   m i n i m a   p r o b l e m G e n e ti c   A l g o r i th m s   ( G A ) i s   u s e d   i n   A N l e a r n i n g   b y [ 9 ] , [ 1 1 - 1 3 ] G A   i s a   g u i d e d   g l o b a l   s e a r c h   a l g o r i th m   i n f l u e n c e d   b y   t h e   n a tu r a l   e v o l u ti o n   p r o c e s s   o f r e p r o d u c t i o n ,   m u ta ti o n ,   c r o s s o v e r   a n d   s e l e c ti o n It   b e h a v e s   a s   a n   i n te l l i g e n p r o c e s s   o f s to c h a s ti c   s e a r c h e s   wi t h i n   a   s p e c i f i e d   s e a r c h   s p a c e   t o   s o l v e   a   p r o b l e m [ 1 4 ] G A   h a s   b e e n   u s e d to   o p ti m i z e   A N Ns   we i g h ts   a n d   h a s   r e s u l t e d   i n   a   g o o d   p e r f o r m a n c e   i n   A N tr a i n i n g [8 , 2 8 ] . Un l i k e   B P ,   G A   g e n e r a t e s   a   p o o l   o f   i n i t i a l   s o l u t i o n s   i n   w h i c h   t h e   s e l e c ti o n   o f   th e   n e a r   o p ti m a l s o l u t i o n   c a n   b e   m a d e   f o r     a   c h o i c e Ho we v e r G A   s u f f e r s   f r o m   m u ta ti o n   p r o b l e m   th a n e e d s m o r e  ti m e   to  c o n d u c t a  s e a r c h  p r o c e s s  th a l e a d s  a   p r e m a tu r e  c o n v e r g e n c e . [ 1 4 ] . P a r ti c l e   S wa r m   O p ti m i z a t i o n ( P S O )   i s   a n o th e r   s o   c a l l e d   g l o b a l   s e a r c h   o p t i m i z a t i o n a l g o r i th m   a d o p te d   b y   th e   r e s e a r c h e r s   i n   A NN  l e a r n i n g [ 1 2 ] , [ 1 5 - 1 7 ] P S O   a l g o r i th m   m i m i c k e d f r o m   th e   s o c i a l   b e h a v i o r   o f   f i s h   s c h o o l i n g   o r   f l y i n g   b i r d s   l o o k i n g   f o r   f o o d   s o u r c e s   th r o u g h c o l l a b o r a t i v e   wo r k   o f   th e   p o p u l a t i o n .       T h e r e f o r e i n   P S O   a l g o r i t h m p o p u l a t i o n   a n d   m e m b e r s , k n o w n   a s   p a r t i c l e s   a r e   c r e a te d to   i n i ti a l i z e   t h e   s e a r c h   s p a c e   a n d   w o r k e d   to g e th e r   to     s e a r c h   th e b e s s o l u t i o n   th r o u g h   p r o v i d i n g   th e   p a r t i c l e s   r a n d o m   p o s i t i o n s   a n d   v e l o c i t i e s .   T h e   i m p o r ta n t f e a tu r e s   o f   P S O   s u c h   a s   m e m o r y   a n d   p o s i ti v e   c o l l a b o r a ti o n   b e t we e n   i ts   i n d i v i d u a l s   g a v e   i th e a b i l i t y t o   p r e v e n th e   m u ta ti o n   p r o b l e m   o f   G A Z a m a n i   a n d   S a d e g h i a n   c l a i m e d   th a P S O   a b l e   t o f i n d  g l o b a l  s e a r c h [ 1 7 ] . Ho w e v e r th e   e x p l o r a ti o n   o f   th e   s e a r c h   s p a c e   c o u l d   b e   s l o w   s i n c e   P S O   c a l l s   e v a l u a ti o n f u n c ti o n   b y   th e   n u m b e r   o f   i t s   p o p u l a ti o n   s i z e   i n   e a c h   i t e r a ti o n   ( S o l ta n i   e a l .,  2 0 1 1 ) F u r th e r m o r e , P S O   a l s o   h a s   p o te n ti a l   t o   b e   tr a p p e d   i n   l o c a l   o p t i m u m   i f     i m p r o p e r   v a l u e s   a r e   a s s i g n e d   to   th e p a r a m e te r s [ 1 8 , 1 9 ] A p a r t   f r o m   G A   a n d   P S O A n Co l o n y   O p t i m i z a t i o n   ( A CO ) [ 2 0 , 2 1 ] a n d r e c e n tl y   i n tr o d u c e d   H a r m o n y   S e a r c h   a l g o r i t h m   ( HS A ) [ 7 , 1 0 , 2 2 ] h a v e   b e e n   wi d e l y   p r o p o s e d   t o s e e k   f o r  th e  o p t i m a l  n e t wo r k  w e i g h ts . A tte m p to   h y b r i d   B P   wi th   m e ta h e u r i s ti c   a l g o r i t h m   i n   o r d e r   to   i m p r o v e   B P   p e r f o r m a n c e i s   a l s o   m a d e   b y   r e s e a r c h e r s   F o r   i n s ta n c e h y b r i d i z a ti o n   o f     B P   wi th   P S O   a n d   G A [ 1 9 ] , [ 2 3 - 2 7 ] . In   th e s e   h y b r i d   B P - G A   a n d   B P - P S O th e   G A   a n d   P S O     a r e   a p p l i e d   t o   i n i t i a l i z e   a n d   a d j u s th e we i g h ts   o f   B P   n e t wo r k   to   e s c a p e   f r o m   th e   l o c a l   m i n i m a B o th   wo r k s   f o u n d   t h e   m e ta - h e u r i s ti c a l g o r i th m   h a s   m o r e   p o te n ti a l     th a n   th e   l o c a l   s e a r c h   a l g o r i th m s   f o r   a v o i d i n g   l o c a l   m i n i m a   s i n c e   i t i s  c a p a b l e   to  e x p l o r e  d i f f e r e n t a r e a  o f  s e a r c h  s p a c e  s i m u l te n o u s l y . 3 . Ha r m o n y   S e a r c h A lg o r i t h m ( HS A ) HS A   i s   c o n s i d e r e d   r e l a ti v e l y   n e w   s to c h a s t i c   g l o b a l   o p t i m i z a ti o n   ( S G O )   a l g o r i th m   i n   th e f i e l d   o f   m e ta - h e u r i s t i c   a l g o r i th m s It  h a s   b e e n   d e r i v e d   f r o m   th e   p r o c e s s   o f   m u s i c a l i m p r o v i s a ti o n s w h e r e   th e   s o l u t i o n   v e c to r   i s   a n a l o g o u s   to   th e   h a r m o n y   i n   m u s i c . HS A   c a n   b e e a s i l y   u s e d   to   s o l v e   th e   o p ti m i z a t i o n   p r o b l e m   a s   th e   g l o b a l   a n d   l o c a l   s e a r c h   s c h e m s   a r e a n a l o g o u s   t o   th e   m u s i c   r e q u i r e m e n ts [ 2 8 ] .   T h e   c o n c e p o f   HS A   i s   s i m i l a r   t o   o t h e r   S G O   m e th o d s i n   c o m b i n i n g   t h e   r u l e s   o f   r a n d o m n e s s   to   s i m u l a te   t h e   m u s i c a l   p r o c e s s In   HS A a   m u s i c i a n a tte m p ts   to   p l a y   a n d   te s a   to n e   o n   h i s   i n s tr u m e n t o   c h o o s e   a n   e x c e l l e n c e   o u tc o m e   i n   th e h a r m o n y   wi th   th e   r e s o f   t h e   b a n d T o   p r o d u c e   a   n e w   h a r m o n y e i th e r   a   to n e   f r o m   h a r m o n y m e m o r y   ( HM )   i s   p l a y e d   wi t h   a   r a th e r   m o d i f i c a ti o n   o r   a   c u r r e n to n e   f r o m   th e   h a r m o n y   i s   p l a y e d Evaluation Warning : The document was created with Spire.PDF for Python.
T E L KO M NIK A IS S N: 2 3 0 2 - 4 0 4 6 A r ti f i c i a l Ne u r a l  Ne tw o r k  W e i g h t O p t i m i z a ti o n A  R e v i e w ( A b d i r a s h i d   S a l a d   Nu r ) 6 8 9 9 o r   to ta l l y   a   n e w   to n e   f r o m   a   r a n g e   o f   a c c e p ta b l e   to n e s   i s   p l a y e d T h e r e f o r e , th e   b e s s o l u ti o n s   i n th e   HM   a r e   s e l e c te d   a n d   s to r e d   i n   th e   HM   t i l l   b e tt e r   o n e s   a r e   o b ta i n e d S u p p o s e   th e   r e c e i v e d h a r m o n y   i s   b e tte r   t h a n   th e   o n e   i n   th e   HM   t h e n   th e   wo r e s i n   th e   HM   i s   s wa p p e d   b y   th e   b e s t s o l u t i o n   o b t a i n e d [ 1 0 , 2 2 ] HS   m e th o d   i s   c o m p e ti ti v e   s u b s ti tu te   t o   o t h e r   S G O   t e c h n i q u e s   a n d   c a n   b e   u s e d   f o r h a n d l i n g   b o th   c o n ti n u o u s   a n d   d e s c r e te   v a r i a b l e s [ 7 ] T h e   m e th o d   h a d   s h o wn   a   n o t i c e a b l e i m p r o v e m e n a n d   i n c r e a s e d   i ts   a p p l i c a ti o n   i n m a n y   a s p e c ts   o f   IT   r e l a te d   p r o b l e m s   s u c h   a s c l a s s i f i c a ti o n   p r o b l e m s r o b o ti c s   a n d   we b   c l u s te r i n g [ 1 0 ] H S A   h a s   b e e n   s u c c e s s f u l l y   a p p l i e d   i n a   v a r i a n o f   o p t i m i z a t i o n   p r o b l e m s   a n d   p r e s e n t e d   a   n u m b e r   o f   b e n e f i ts   o v e r   o th e r   m e ta - h e u r i s ti c o p ti m i z a t i o n   te c h n i q u e s T h e   b e n e f i ts   i n c l u d e   n o   e x tr a   c o m p u ta ti o n a l   e f f o r r e q u i r e d   i n   f i n d i n g   a s o l u t i o n HS A   e m p l o y s   s t o c h a s ti c   s e a r c h i n g   s ta r te g i e s th e r e f o r e   n o   d e r i v a ti v e i n f o r m a ti o n n e e d e d   to   a s s i s th e   s e a r c h   s p a c e F u r th e r m o r e i c o m b i n e s   th e   c u r r e n s o l u t i o n   v e c to r   to  m a k e a  n e w s o l u ti o n . T h e s e  c h a r a c te r i s ti c s  o f  HS A  h a s  m a d e  i t r o b u s t a n d  s u c c e s s f u l   m e th o d [ 2 9 ] . In   a d d i ti o n H S A   h a s   b e e n   i m p l e m e n te d   i n th e   tr a i n i n g   p r o c e s s   o A NNs   p a r ti c u l a r l y   i n   a we i g h o p t i m i z a t i o n   i n   w h i c h   i m p o r ta n f o r   th e   s u c c e s s   o f   th e   tr a i n i n g   p r o c e s s [ 3 0 ] It  h a s c a p a b i l i t y   o f   s i g n i f i c a n tl y   c o n v e r g e   to   th e   o p ti m a l   o r   n e a r   o p ti m a l   s o l u t i o n [ 1 8 ] Du e   to   th a t H S A o w e   th e   f a s te s c o n v e r g e n c e   r a te     a n d   t h e   p o s s i b i l i t y   o f   s c a p p i n g   l o c a l   m i n i m a   c o m p a r e d   to   B P , G A   a n d   P S O [ 7 , 1 0 ] T h e   v a r i a n o f   HS A   v e r s i o n s   s u c h   s ta n d a r d   h a r m o n y   s e a r c h   a l g o r i th m ( HS A )   i m p r o v e d   h a r m o n y   s e a r c h   a l g o r i th m   ( IHS ) m o d i f i e d   i m p r o v e d   h a r m o n y   s e a r c h   a l g o r i th m ( M IHS ) g l o b a l - b e s h a r m o n y   s e a r c h   a l g o r i t h m   ( G HS )   a n d   s e l f - a d a p t i v e   g l o b a l - b e s h a r m o n y s e a r c h   a l g o r i th m   ( S G HS )   h a s   b e e n   d e v e l o p e d   to   i m p r o v e   HS A M o s o f   th e s e   v a r i a n ts   h a v e u s e d   f o r   w e i g h o p t i m i z a ti o n   f o r   th e   s u p e r v i s e d   A NNs   a n d   t h e y   s h o we d   r e m a r k a b l e i m p r o v e m e n ts   i n   th e   l e a r n i n g   o f   f e e d   f o r w a r d   A NNs T h e   te c h n i q u e   i n c r e a s e d   th e   c o n v e r g e n c e s p e e d   a n d   r e d u c e d   t h e   c o n v e r g e n c e   e r r o r   r a te .   S i n c e   t h e   r e s e a r c h   o f   m e ta t - h e u r i s ti c   a l g o r i th m s e s p e c i a l l y   t h e   HS A   v a r i a n ts   a r e   a th e i r   e a r l y   s t a g e s   t h u s   th e r e   c o u l d   b e   a n   i n t e r e s ti n g   r e s e a r c h a r e a   to   a p p l y   HS A   f o r   w e i g h o p t i m i z a t i o n   o r   o p ti m i z i n g   th e   h i d d e n   l a y e r   s e l e c ti o n   a n d   th e i r r e s p e c ti v e   n e u r o n s   o r   i n v e s ti g a t e   th e   p o s s i b i l i t y   o f   H S A   c o u l d   b e   u s e d   f o r   th e   o p ti m a l   l e a r n i n g r a te . 3 .1 . H y b r id iz a t io n  o f  B P  w it h  HS A F i g u r e   1 . F F A NN S a m p l e  f o r W e i g h t V e c to r  Re p r e s e n ta ti o n Evaluation Warning : The document was created with Spire.PDF for Python.
IS S N: 2 3 0 2 - 4 0 4 6 T E L KO M NIK A V o l 1 2 , No . 9 S e p t e m b e r  2 0 1 4 : 6 8 9 7 6 9 0 2 6 9 0 0 B a s i c a l l y th e   tr a i n i n g   p r o c e s s   o f   A NNs   i n v o l v e s   w i th   d e c i d i n g   th e   c o n n e c t i o n   we i g h ts b e t w e e n   th e   n e u r o n s   to   m i n i m i z e   th e   e r r o r In   th i s   w o r k w e   a tte m p to   e x p l o i th e   c a p a b i l i t y   o f HS A   i n   g i v i n g   g l o b a l   o p t i m a   v a l u e   to   i m p r o v e   B P   a l g o r i th m   p e r f o r m a n c e . A l t h o u g h   G A   h a s s o l v e d   t h e   p r o b l e m   o f   g r a d i e n d e s c e n m e th o d s   l i k e   B P i r e q u i r e s   l o n g   t i m e   e x e c u t i o n   i n m u ta ti o n   a n d   a l s o   p o s s i b l e   to   h a v e   p r e m a tu r e   c o n v e r g e n c e A tt e m p to   u s e   P S O   i n   A N N l e a r n i n g   a b l e   t o   r e d u c e   A N Ns   e r r o r   f u n c ti o n   b y   p r o v i d i n g   n e a r   o p t i m a l   w e i g h ts   to   A NNs   n e t wo r k a n d   m i n i m i z e s   t h e   G A s   l o n g   e x e c u t i o n   i n   m u ta ti o n B u t,  P S O   i s     a l s o   s u b j e c te d   to     l o c a l   o p t i m a l p r o b l e m   w h e n e v e r   th e   p a r a m e te r   v a l u e s   a r e   a s s i g n e d   i m p r o p e r l y [ 1 9 ] .   P S O   r e d u c e s   th e c o n v e r g e n c e   s p e e d   a n d   i n c r e a s e   th e   e x e c u t i o n   ti m e   c o m p a r e d   to   HS A   s i n c e   t h e   a l g o r i th m   c a l l s th e   f i tn e s s   f u n c ti o n   i n   e a c h   i te r a t i o n . [ 1 8 ] F u r th e r m o r e th e   i n c r e a s i n g   n u m b e r   o f   h i d d e n   l a y e r s a n d   t h e i r   r e s p e c ti v e   n e u r o n   c a n   a d d   m o r e   d i m e n s i o n s   to   th e   p a r t i c l e s O n   t h e   o th e r   h a n d , m a k i n g   c h a n g e s   to   th e   p a r a m e te r s   c a n   a f f e c th e   p e r f o r m a n c e   o f   A NNs   a n d   v i c e   v e r s a   th o u g h tr a i n i n g  o f  A NNs   wi th   P S O  i s  v e r y  c o m p e ti ti v e   a s s o c i a t e d  to  o th e r  A NNs  tr a i n i n g  a l g o r i th m s [ 1 7 ] . Du e   t o   t h e   a b o v e   m e n ti o n e d   c a u s e s r e s e a r c h e r s   tu r n e d   t h e i r   a tt e n t i o n   to   th e   n e wl y   i n tr o d u c e d i n   t h e   f i e l d   o f   m e ta - h e u r i c   a l g o r i th m s   k n o w n   a s   h a r m o n y   s e a r c h   a l g o r i t h m   ( HS A ) It   h a s   b e e n s u c c e s s f u l l y   a p p l i e d   i n   a   v a r i a n t   o f   o p t i m i z a t i o n   p r o b l e m s   a n d   h a s   p r e s e n te d   a   n u m b e r   o f b e n e f i ts  o v e r   o th e r  m e ta - h e u r i s ti c  o p ti m i z a t i o n  a l g o r i th m s . In  a p p l y i n g   th e  HS A  f o r  o p t i m i z i n g  t h e   we i g h ts  o f  A N Ns , HS   g e n e r a te s   a  p o o l  o f  s o l u t i o n v e c to r   a n d   k e e p s   th e m   i n   th e   HM   t o   b e   ta k e n   a s   we i g h ts   o f   A NNs   s i n c e   i p r o d u c e s   a   n e a r o p ti m a l   w e i g h v a l u e   i n   wh i c h   s u p p o r ts   th e   s u c c e s s   o f   th e   tr a i n i n g   p r o c e s s th e   h a r m o n y m e m o r y   r e p r e s e n ts   th e   w e i g h ts   a n d   b i a s   o f   i n p u l a y e r   to   h i d d e n   l a y e r   a n d   f r o m   h i d d e n   l a y e r   t o o u tp u t l a y e r [1 2 ] a s  s h o wn   i n F i g u r e  1 . V e c to r   b a s e d   r e p r e s e n t a ti o n   a n d   a d j a c e n c y   m a tr i x   b a s e d   r e p r e s e n t a t i o n   a r e   two c o m m o n   s tr a te g i e s   u s e d   f o r   f e e d - f o r w a r d   a r t i f i c i a l   n e u r a l   n e t wo r k   w e i g h r e p r e s e n ta t i o n T h e v e c to r   b a s e d   r e p r e s e n t a ti o n   i s   m o r e   a p p r o p r i a te   f o r   HS   a l g o r i t h m Ho w e v e r th e   m e th o d m u s t b e   a c c e p t e d   th e   c o m m o n   r a n g e s   s p e c i f i e d   b y   v e c to r s [ X X ] a s   NN  we i g h ts   h a v e   c o m m o n v a l u e   r a n g e s   a n d   th e y   a r e   n o d i s c r e te   v a r i a b l e s   f o r   o p ti m i z a t i o n   p r o b l e m s In   s u c h   c a s e th e HM   r e p r e s e n t a ti o n   c a n   b e   r e g a r d e d   a s   b e i n g   o f   d i ff e r e n m u s i c i a n s   th a a r e e x p l o i ti n g   s i m i l a r m u s i c a l   i n s tr u m e n t.  Do i n g   s o m e a n s   th e   m u s i c a l   i n s t r u m e n wi l l   i n d i c a te   th a t h e y   wi l l   h a v e   a c o m m o n   p i tc h   r a n g e He n c e   e a c h   c o m p o n e n v a l u e   o f [ X X ] i s   i d e n ti c a l   to   a l l   d e c i s i o n v a r i a b l e s E a c h   h a r m o n y   v e c to r   i n   HM   i s   r e p r e s e n t e d   u s i n g a   v e c to r   r e p r e s e n ta ti o n   a s   s h o w n   i n F i g u r e   1 T h e   v e c to r   c o m p r i s e s   a   c o m p l e te   s e o f   NN  we i g h ts   a n d   b i a s e s In   th i s   w o r k HS A   i s o n l y   u s e d   f o r   o p t i m i z i n g   th e   w e i g h ts   o f   A NNs   wh e n e v e r   B P s   e r r o r   i s   u n c h a n g e d F o r   e x a m p l e , th e   e r r o r   r e m a i n   th e   s a m e   a f te r   s i x   c o n s e c u t i v e   i te r a ti o n s .   W e   s u s p e c t,  B P   h a s   tr a p p e d   i n t o l o c a l   m i n i m u m   o r   o v e r f i tti n g   p r o b l e m s   T h i s   c o n d i ti o n   i s   u s e d   a s   i n d i c a t o r   o f   B P s   u n s u c c e s s f u l l e a r n i n g   p r o c e s s He n c e H S A   i s   e m p l o y e d   t o   g e n e r a t e   a   f r e s h   n e a r   o p ti m a l   w e i g h ts   to   c o n t i n u e th e  tr a i n i n g   p r o c e s s . 4 . Co n c lu s io n In   th i s   p a p e r s e v e r a l   m e t h o d s   i n   th e   f i e l d   o f   m e ta - h e u r i s t i c   a l g o r i t h m s   a n d   g r a d i e n t i n f o r m a ti o n   b a s e d   a l g o r i th m s   h a v e   b e e n   r e v i e we d   a n d   d i s c u s s e d   i n   th e i r   a p p l i c a ti o n   o f   A NNs we i g h o p ti m i z a ti o n T h e   r e s e a r c h   o f   h y b r i d i z i n g   A NNs   wi th   m e ta - h e u r i s ti c   a l g o r i th m s   i s   i ts   e a r l y s ta g e   a n d   th e r e f o r e   th e   n e e d   f o r   s o l v i n g   d i f f e r e n r e s e a r c h   a s p e c ts   s u c h   a s   th e o r i e s   a n d m e th o d s   r e q u i r e   to   b e   e n h a n c e d   a n d   s ta n d a r d i z e d T h e   m e ta - h e u r i s ti c   a l g o r i th m s   h a v e p r o v i d e d   a   s o l u t i o n   to   th e   p r o b l e m   o f   l o c a l   s e a r c h   b a s e d   te c h n i q u e s   a n d   s o m e   o f   th e m   h a v e i n tr o d u c e d   s o m e   p r o b l e m s   s u c h   a s   G A   a n d   P S O Ho we v e r HS A   h a s   s h o wn   a   g o o d   p r o m i s i n g c h a r a c te r i s ti c   i n   w h i c h   c a n   s u p p o r i to   b e   a   g o o d   c a n d i d a te   f o r   tr a i n i n g   A N Ns   b y   p r o v i d i n g   a n e a r  o p ti m a l   w e i g h ts . Re f e r e n c e s [ 1 ] Ab d u l l   H a m e d   H N ,   Sh a m s u d d i n   SM ,   Sa l i m N .   Pa rt i c l e   S w a rm   O p t i m i z a t i o n   F o N e u r a l   N e t w o rk L e a rn i n g   En h a n c e m e n t . J u rn a l   T e k n o l o g i . 2 0 1 2 ;   4 9 ( 1 ) :   1 3 2 6 . [ 2 ] As k a rz a d e h   A, R e z a z a d e h A .   Art i f i c i a l   n e u ra l   n e t w o rk   t ra i n i n g   u s i n g   a   n e w   e f f i c i e n t   o p t i m i z a t i o n a l g o r i t h m . Ap p l i e d   So f t   C o m p u t i n g .   2 0 1 2 . [ 3 ] C a rv a l h o   M , L u d e rm i T B. Pa rt i c l e   s w a rm   o p t i m i z a t i o n   o f   n e u ra l   n e t w o rk   a r c h i t e c t u re s   a n d   w e i g h t s . Pro c e e d i n g s   o f   t h e   2 0 0 7   H y b ri d   I n t e l l i g e n t Sy s t e m s .   7 t h   I n t e rn a t i o n a l   C o n f e re n c e ,   I EEE.   2 0 0 7 ; 3 3 6 - 3 3 9 . Evaluation Warning : The document was created with Spire.PDF for Python.
T E L KO M NIK A IS S N: 2 3 0 2 - 4 0 4 6 A r ti f i c i a l Ne u r a l  Ne tw o r k  W e i g h t O p t i m i z a ti o n A  R e v i e w ( A b d i r a s h i d   S a l a d   Nu r ) 6 9 0 1 [ 4 ] C a s t ro   P A ,   Vo n   Z u b e n   F J . T r a i n i n g   m u l t i l a y e p e rc e p t ro n s   w i t h   a   G a u s s i a n   a rt i f i c i a l   i m m u n e   s y s t e m . Pro c e e d i n g s   o f   t h e   2 0 1 1   Ev o l u t i o n a ry   C o m p u t a t i o n   ( C EC ) .   I E EE  C o n g re s s . 2 0 1 1 ; 1 2 5 0 - 1 2 5 7 . [ 5 ] C o rre a   B, G o n z a l e z   A M . Ev o l u t i o n a r y   a l g o ri t h m s   f o s e l e c t i n g   t h e   a rc h i t e c t u r e   o f   a   M L P   n e u ra l n e t w o rk :   a   c re d i t   s c o r i n g   c a s e .   Pro c e e d i n g s   o f   t h e   2 0 1 1   D a t a   M i n i n g   W o r k s h o p s   ( I C D M W ) , I EEE 1 1 t h I n t e rn a t i o n a l   C o n f e re n c e .   2 0 1 1 ; 7 2 5 - 7 3 2 . [ 6 ] D i n g   S,   L i   H ,   S u   C ,   Y u   J , J i n F . Ev o l u t i o n a ry   a rt i f i c i a l   n e u ra l   n e t w o rk s :   a   re v i e w . Art i f i c i a l   I n t e l l i g e n c e R e v i e w .   2 0 1 3 ; 1 - 1 0 . [ 7 ] El - H e n a w y   I ,   Ka m a l   A,   A b d e l b a ry   H , Ab a s A. Pr e d i c t i n g   s t o c k   i n d e x   u s i n g   n e u r a l   n e t w o r k   c o m b i n e d w i t h   e v o l u t i o n a ry   c o m p u t a t i o n   m e t h o d s . Pr o c e e d i n g s   o f   t h e   2 0 1 0 I n f o rm a t i c s   a n d   Sy s t e m s   ( I N F O S ) , 2 0 1 0   T h e   7 t h   I n t e rn a t i o n a l   C o n f e re n c e .   2 0 1 0 ; 1 - 6 . [ 8 ] Er  M J ,   L i u F . G e n e t i c   a l g o r i t h m s   f o M L n e u r a l   n e t w o r k   p a ra m e t e rs   o p t i m i z a t i o n . Pro c e e d i n g s   o f   t h e 2 0 0 9   C o n t ro l   a n d   D e c i s i o n   C o n f e re n c e .   C C D C ' 0 9 .   C h i n e s e :   I EEE,   2 0 0 9 ; 3 6 5 3 - 3 6 5 8 . [ 9 ] G a o W . E v o l u t i o n a r y   n e u r a l   n e t w o rk   b a s e d   o n   n e w   a n t   c o l o n y   a l g o ri t h m . Pro c e e d i n g s   o f   t h e   2 0 0 8 C o m p u t a t i o n a l   I n t e l l i g e n c e   a n d   D e s i g n .   I SC I D ' 0 8 .   I n t e rn a t i o n a l   Sy m p o s i u m :   2 0 0 8 ; 3 1 8 - 3 2 1 . [ 1 0 ] Ka t t a n A ,   A b d u l l a h R . T ra i n i n g   F e e d - F o rw a r d   Art i f i c i a l   N e u ra l N e t w o rk s   F o Pa t t e rn - C l a s s i f i c a t i o n U s i n g   T h e   H a rm o n y   Se a rc h   Al g o ri t h m . Pro c e e d i n g s   o f   t h e   2 0 1 3   T h e   Se c o n d   I n t e r n a t i o n a l   C o n f e re n c e o n   D i g i t a l   En t e rp r i s e   a n d   I n f o rm a t i o n   Sy s t e m s   ( D EI S2 0 1 3 ) :   T h e   So c i e t y   o f   D i g i t a l   I n f o r m a t i o n   a n d W i r e l e s s   C o m m u n i c a t i o n .   2 0 1 3 :   8 4 - 9 7 . [ 1 1 ] Ka t t a n   A,   Ab d u l l a h   R , Sa l a m   R A. H a rm o n y   s e a r c h   b a s e d   s u p e rv i s e d   t ra i n i n g   o f   a rt i f i c i a l   n e u ra l n e t w o rk s .   Pro c e e d i n g s   o f   t h e   2 0 1 0   I n t e l l i g e n t   Sy s t e m s ,   M o d e l l i n g   a n d   Si m u l a t i o n   ( I SM S ) ,   I n t e rn a t i o n a l C o n f e re n c e   o n .   2 0 1 0 ; 1 0 5 - 1 1 0 . [ 1 2 ] Ku l l u k   S,   O z b a k i r L , Ba y k a s o g l u , A.   T ra i n i n g   n e u ra l   n e t w o rk s   w i t h   h a rm o n y   s e a r c h   a l g o ri t h m s   f o r c l a s s i f i c a t i o n   p r o b l e m s . En g i n e e ri n g   Ap p l i c a t i o n s   o f   Art i f i c i a l   I n t e l l i g e n c e .   2 0 1 2 ;   2 5 ( 1 ) :   1 1 - 1 9 . [ 1 3 ] L i L ,   L u   Sb ,   C h u   X s ,   Y u   G m . C o m b i n a t o ri a l   Se a rc h   M e t h o d   Ba s e d   o n   H a rm o n y   Se a r c h Al g o ri t h m a n d   Pa r t i c l e   Sw a rm   O p t i m i z a t i o n   i n   Sl o p e   St a b i l i t y   An a l y s i s . Pro c e e d i n g s   o f   t h e   2 0 0 9   C o m p u t a t i o n a l I n t e l l i g e n c e   a n d   So f t w a re   En g i n e e ri n g .   C i SE  2 0 0 9 .   I n t e rn a t i o n a l C o n f e re n c e . 2 0 0 9 ,   1 - 4 . [ 1 4 ] L u   C ,   Sh i   B, C h e n L . H y b r i d   BP - G f o m u l t i l a y e f e e d f o rw a rd n e u ra l   n e t w o r k s .   Pro c e e d i n g s   o f   t h e 2 0 0 0   El e c t r o n i c s ,   C i r c u i t s   a n d   Sy s t e m s .   I C EC 2 0 0 0 .   T h e   7 t h   I EEE  I n t e r n a t i o n a l   C o n f e r e n c e :   2 0 0 0 : 9 5 8 - 9 6 1 . [ 1 5 ] O s m a n   I H . M e t a h e u ri s t i c s :   A   G e n e ra l   F ra m e w o rk . 数理解析研究所講究録 . 2 0 0 1 :   1 6 9 - 1 7 0 . [ 1 6 ] Pa n   Q K,   Su g a n t h a n   PN ,   T a s g e t i re n   M F ,   L i a n g   J J .   s e l f - a d a p t i v e   g l o b a l   b e s t   h a r m o n y   s e a r c h a l g o r i t h m   f o c o n t i n u o u s   o p t i m i z a t i o n   p ro b l e m s . Ap p l i e d   M a t h e m a t i c s   a n d   C o m p u t a t i o n . 2 0 1 0 ;   2 1 6 ( 3 ) : 8 3 0 - 8 4 8 . [ 1 7 ] R a m o s - P o l l á n   R ,   G u e v a ra   L ó p e z   M A,   N a i m y   G o n z á l e z   d e   Po s a d a N . O p t i m i z i n g   t h e   a re a   u n d e t h e R O C c u rv e   i n   m u l t i l a y e p e rc e p t ro n - b a s e d   c l a s s i f i e r s .   Pro c e e d i n g s   o f   t h e   2 0 1 1   F U T U R E C O M PU T I N G ,   T h e   T h i rd   I n t e rn a t i o n a l   C o n f e r e n c e   o n   F u t u re   C o m p u t a t i o n a l   T e c h n o l o g i e s   a n d Ap p l i c a t i o n s .   2 0 1 1 ; 7 5 - 8 1 . [ 1 8 ] R o m e ro   VI M ,   T o m e s   L L ,   Y u s i o n g   J P T .   T e t ri s   A g e n t   O p t i m i z a t i o n U s i n g   H a r m o n y   Se a rc h   Al g o r i t h m . I n t e rn a t i o n a l   J o u r n a l   o f   C o m p u t e Sc i e n c e   I s s u e s . 2 0 1 1 ;   8 ( 1 ) :   2 2 - 3 1 . [ 1 9 ] Sh a y e g h i   H ,   S h a y a n f a r H , Az i m i , G .   H y b ri d   P a rt i c l e   Sw a rm   O p t i m i z a t i o n   B a c k   Pro p a g a t i o n   Al g o r i t h m f o Sh o rt   T e rm   L o a d   F o re c a s t i n g . I n t e rn a t i o n a l   J o u r n a l   o n T e c h n i c a l   a n d   Ph y s i c a l   Pr o b l e m s   o f En g i n e e ri n g .   2 0 1 0 ;   1 ( 3 ) :   1 2 - 2 2 . [ 2 0 ] So l t a n i   M AZ ,   H a g h i g h a t   AT ,   R a s h i d i   H ,   C h e g i n i   T G .   C o u p l e   o f   Al g o ri t h m s   f o K - C o v e ra g e   Pro b l e m i n   Vi s u a l   Se n s o N e t w o rk s . I A C SI T . 2 0 1 1 :   9 6 - 1 0 1 . [ 2 1 ] Su n   X ,   L i u   Q , Z h a n g L . BP   n e u ra l   n e t w o rk m o d e l   b a s e d   o n   g e n e t i c   a l g o ri t h m   f o c o m p re h e n s i v e e v a l u a t i o n . Pro c e e d i n g s   o f   t h e   2 0 1 1   C i r c u i t s ,   C o m m u n i c a t i o n s   a n d   Sy s t e m   ( PAC C S ) ,   2 0 1 1   T h i rd P a c i f i c - A s i a   C o n f e r e n c e   o n :   I E EE. 2 0 1 1 :   1 - 5 . [ 2 2 ] T a v a k o l i   S,   V a l i a n   E, M o h a n n a , S.   F e e d f o rw a rd   n e u r a l   n e t w o rk   t ra i n i n g u s i n g   i n t e l l i g e n t   g l o b a l h a rm o n y   s e a r c h . Ev o l v i n g   S y s t e m s .   2 0 1 2 ;   3 ( 2 ) :   1 2 5 - 1 3 1 . [ 2 3 ] W a n g   S ,   Y i n   S, J i a n g M .   H y b ri d   n e u r a l   n e t w o rk   b a s e d   o n   G A - BP  f o p e rs o n a l   c re d i t   s c o r i n g . Pro c e e d i n g s   o f   t h e   2 0 0 8   N a t u ra l   C o m p u t a t i o n .   I C N C ' 0 8 .   F o u rt h   I n t e rn a t i o n a l   C o n f e r e n c e o n :   I EEE . 2 0 0 8 : 2 0 9 - 2 1 4 . [ 2 4 ] Y a n g   X S.   H a rm o n y   s e a rc h   a s   a   m e t a h e u ri s t i c   a l g o ri t h m   M u s i c - i n s p i re d   h a r m o n y   s e a r c h   a l g o ri t h m . Sp ri n g e r .   2 0 0 9 :   1 - 1 4 . [ 2 5 ] Y a o X . Ev o l v i n g   a rt i f i c i a l   n e u r a l   n e t w o r k s . Pro c e e d i n g s   o f   t h e   I EEE.   1 9 9 9 ;   8 7 ( 9 ) :   1 4 2 3 - 1 4 4 7 . [ 2 6 ] Y o s h i k a w a   M , O t a n i   K. An t   C o l o n y   O p t i m i z a t i o n   R o u t i n g   Al g o ri t h m   w i t h   T a b u   Se a rc h .   Pro c e e d i n g s   o f t h e   I n t e rn a t i o n a l   M u l t i c o n f e r e n c e   o f   En g i n e e r s   a n d   C o m p u t e r   Sc i e n t i s t s . 2 0 1 0 : 1 7 - 1 9 . [ 2 7 ] Z a m a n i   M , Sa d e g h i a n , A.     v a ri a t i o n   o f   p a rt i c l e   s w a rm   o p t i m i z a t i o n   f o t ra i n i n g   o f   a rt i f i c i a l   n e u r a l n e t w o rk s . C o m p u t a t i o n a l   I n t e l l i g e n c e   a n d   M o d e rn   H e u ri s t i c s . Al - D a h o u d   Al i .   2 0 1 0 . [ 2 8 ] Z a n c h e t t i n   C ,   L u d e r m i r T B,   Al m e i d a   L M .   H y b ri d   t ra i n i n g   m e t h o d   f o m l p :   o p t i m i z a t i o n   o f   a rc h i t e c t u re a n d   t ra i n i n g .   Sy s t e m s ,   M a n ,   a n d   C y b e rn e t i c s ,   Pa rt   B:   C y b e r n e t i c s , I EEE  T ra n s a c t i o n s   o n .   2 0 1 2 ;   4 1 ( 4 ) : 1 0 9 7 - 1 1 0 9 . Evaluation Warning : The document was created with Spire.PDF for Python.
IS S N: 2 3 0 2 - 4 0 4 6 T E L KO M NIK A V o l 1 2 , No . 9 S e p t e m b e r  2 0 1 4 : 6 8 9 7 6 9 0 2 6 9 0 2 [ 2 9 ] Z h a n g   J R ,   Z h a n g   J ,   L o k   T M , L y u   M R .   h y b ri d   p a rt i c l e   s w a rm   o p t i m i z a t i o n b a c k - p ro p a g a t i o n a l g o r i t h m   f o f e e d f o rw a rd   n e u ra l   n e t w o rk   t ra i n i n g . Ap p l i e d   M a t h e m a t i c s   a n d   C o m p u t a t i o n . 2 0 0 7 ; 1 8 5 ( 2 ) :   1 0 2 6 - 1 0 3 7 . [ 3 0 ] Z h u M ,   W a n g L . I n t e l l i g e n t   t ra d i n g   u s i n g   s u p p o rt   v e c t o r   re g re s s i o n   a n d   m u l t i l a y e r   p e rc e p t ro n s o p t i m i z e d   w i t h   g e n e t i c   a l g o r i t h m s . Pro c e e d i n g s   o f   t h e   2 0 1 0   N e u ra l   N e t w o rk s   ( I J C N N ) ,   T h e   2 0 1 0 I n t e rn a t i o n a l   J o i n t   C o n f e re n c e   o n :   I EEE,   2 0 1 0 : 1 - 5 . [ 3 1 ] Z i n a t i   R F , R a z f a M R .   C o n s t r a i n e d   o p t i m u m   s u rf a c e   ro u g h n e s s   p re d i c t i o n   i n   t u rn i n g   o f   X 2 0 C r1 3   b y c o u p l i n g   n o v e l   m o d i f i e d   h a r m o n y   s e a rc h - b a s e d   n e u r a l   n e t w o rk   a n d   m o d i f i e d   h a rm o n y   s e a r c h a l g o r i t h m .   T h e   I n t e rn a t i o n a l   J o u rn a l   o f   Ad v a n c e d   M a n u f a c t u r i n g   T e c h n o l o g y .   2 0 2 ;   5 8 ( 4 ) :   9 3 - 1 0 7 . Evaluation Warning : The document was created with Spire.PDF for Python.