I n d on e s i an   Jo u r n al   o El e c t r i c al   En gi n e e r i n g   an d   C o m p u te r   S c i e n c e   V o l .   20 ,   N o .   2 N o v e m b e r   20 20 ,   pp.   976 ~ 984   IS S N :   25 02 - 4752 ,   D O I :   10. 1 1591 / i j e e c s . v 20 .i 2 . pp976 - 984             976       Jou r n al   h o m e pa ge ht t p: / / i j e e c s . i a e s c or e . c om   A   p r o a c t i v e   m e t a h e u r i st i c   m o d e l   f o r   o p t i m i z i n g   w e i g h t   o f   a r t i f i c i a l   n e u r a l   n e t w o r k       A l i   H a k e m   A l s ae e d i 1 ,   A l i   H u s s e i n   A l jan ab i 2 ,   M e h d i   Eb ad M an n a 3 ,   A d i l   L .   A l b u k h n e fi s 4   1, 4 C o l l e g e   o f   C o m put e r   S c i e nc e   a n I nf o r m a t i o T e c hno l o gy ,   U ni v e r s i t y   o f   A l - Q a di s i y a h,   I r a q   2 Al - Q a di s i y a E duc a t i o D i r e c t o r a t e ,   I r a q   3 C o l l e g e   o f   I nf o r m a t i o T e c hno l o gy ,   U ni v e r s i t y   o f   B a b y l o n,   I r a q       A r ti c l e   I n fo     A B S TR A C T     Ar t i c l e   h i s t or y :   R e c e i v e J a n   14 ,   2 020   R e v i s e Ma r   17 ,   20 20   A c c e pt e M a r   3 1 ,   202 0       T hi s   pa p e r   p r o po s e s   t h e   P a r t i c l e   S w a r m   O p t i m i z a t i o m o de l   f o r   e nha nc i ng   t he   pe r f o r m a nc e   o f   a A r t i f i c i a l   N e ur a l   N e t w o r k .   T h e   l e a r ni ng   pr o c e s s   o f   A r t i f i c i a l   N e ur a l   N e t w o r r e q ui r e s   a   l o ng   t i m e   t o   s a t i s f y   r e qui r e m e n t s   be c a us e   o f   pr o c e s s i ng   c o m pl e xi t y   o f   t he   ba c kpr o pa g a t i o a l g o r i t h m   t ha t   ha s   be e u s e i t r a i ni ng   A r t i f i c i a l   N e ur a l   N e t w o r k .   I t   i s   a   no nl i n e a r   c om pl e x   m o de l   t ha t   c a be   us e t o   c o nf i g ur e   a nd  t r a i a a r t i f i c i a l   ne u r o s y s t e m .   B o t A r t i f i c i a l   N e u r a l   N e t w o r a n P a r t i c l e   S w a r m   O pt i m i z a t i o m o de l   ha v e   be e m a na g e t o   s o l v e   a nd  o p t i m i z e   s e v e r a l   no nl i n e a r   m o de l s .   H e ur i s t i c   O pt i m i z a t i o W e i g ht   o f   A r t i f i c i a l   N e ur a l   N e t w o r ( H N N )   i s   a   pr o a c t i v e   m e t a h e u r i s t i c   m o de l   pr o po s e t o   o pt i m i z e   t h e   pe r f o r m a nc e   o f   A r t i f i c i a l   N e ur a l   N e t w o r k.   T h e   pr o po s e s y s t e m   a ppl i e s   P a r t i c l e   S w a r m   O pt i m i z a t i o n   t o   f i nd  t h e   o pt i m um   w e i g ht s   o f   t he   A r t i f i c i a l   N e u r a l   N e t w o r i ns t e a d   o f   us i ng   t h e   B a c kpr o pa g a t i o a l g o r i t hm .   E xp e r i m e n t a l l y ,   t he   p r o po s e s y s t e m   ha s   r e q ui r e l e s s   pr o c e s s i ng   t i m e   ( a v e r a g e   o f   76. 9 S e c . )   t ha n   B a c kpr o pa g a t i o ( a v e r a g e   o f   93. 32  S e c ) .   F ur t he r m o r e ,   I t   ha s   pr o v i de be t t e r   c l a s s i f i c a t i o a c c ur a c y   ( s t a r t   f r o m   80%   t o   97. 20 % )   c o m pa r i ng   w i t h   B a c kpr o pa g a t i o n   ( s t a r t   f r o m   75 . 32 %   t o   94. 32 % ) .   Ke y w or d s :   A r t i f i c i a l   n e u r a l   n e t w o r k   B a c kpr o pa ga t i o a l go ri t hm   D a t a   m i ni ng   P a rt i c l e   s w a r m   o pt i m i z a t i o n   S upe r v i s i n g   l e a rni n g   C opy r i gh t   ©   2020   I n s t i t ut e   o f   A dv anc e E ng i ne e r i ng   and   S c i e nc e .     A l l   r i gh t s   r e s e r v e d .   Cor r e s pon di n g   Au t h or :   A l i   H a ke m   A l s a e e di ,   Co l l e ge   of   Co m put e S c i e n c e   a nd  I n f o rm a t i o t e c hn o l o g y ,   U n i v e r s i t y   of   A l - Q a di s i y a h,     A l   D i w a n i y a h,   Q a di s i y y a h   P r o v i n c e ,   I ra q .   E m a i l :   a l i . a l s a e e di @ qu . e du. i q       1.   I N TR O D U C TI O N     A r t i f i c i a l   N e ura l   N e t w o r (A N N t e c hn i c a l l y   s i m ul a t e s   t h e   b r a i b e h a v i o ur  t o   de v e l o a n   a r t i f i c i a l   s y s t e m   t h a t   c a n   b e   us e t o   m a na ge   c o m pl e pr e di c t i o n   pr o b l e m s   [1].   It   i s   o ri gi na l l y   t r a i n e b a s e d   o n   B a c kpr o pa ga t i o n   a l go r i t hm   (B P c o n c e pt s   [2].   T h e   A N N   c o n s i s t s   o f   s e ve r a l   n e ur o n s   ( n o de s di s t ri b ut e o n   l a y e r s   (i n pu t ,   h i d de n,   a n o ut put   a n us e s   s y n a pt i c   w e i g h t s   f o r   l a b e l l i n l i n ks   t ha t   c o nn e c t   n e u r o n s .     T h e s e   w e i gh t s   h e l a r t i f i c i a l   n e ura l   s y s t e m   t o   t r a i n   o n   p r e di c t i n g   t h e   c l a s s   o f   c o r r e s po n di ng  i nput .   B P   upd a t e s   A N N   w e i gh t s   b a s e o c a l c u l a t i n g   e rr o r s   t h a t   r e s ul t   f r o m   t h e   f e e d b a c of   pr e v i o us   l a y e r s   [3] .     P a rt i c l e   S w a rm   O p t i m i z a t i o (P S O i s   a   s t o c h a s t i c   o pt i m i z a t i o n   a l go r i t h m   i n s p i r e by   n e ut r a l b e h a v i o ur   o s o c i a l   a n i m a l s   [4].   I t   t e c hni c a l l y   t h e   pr o pe rt y   of   s y s t e m s   c o m pos e of   un i n t e l l i ge n t   a ge n t s   w i t h   l i m i t e i n d i v i dua l   c a p a b i l i t i e s   b ut   w i t h   a n   i n t e l l i ge n t   c o l l e c t i v e   b e h a v i o ur   [5] .   I t   i s   a e f f i c i e n t   t e c hni que   f o r   s t o c h a s t i c   s e a r c h   i n   a   m ul t i d i m e n s i o n a l   s pa c e ,   h a s   s o   f a r   b e e n   a pp l i e s uc c e s s f ul l y   t o   s o l ve   t h e   di f f e r e n t   c o m pl e pr o b l e m s   [6 - 9].   It   i s   a   gui de   t ha t   us e   ra n do m ne s s   t o   f i n t h e   b e s t   p o s s i b l e   s o l ut i o n s   s w i f t l y .     A N N s   a r e   po w e r f ul   m o de l s   t ha t   ha v e   a   s i g n i f i c a n t   a pp l i c a t i o n   i n   a   ra n ge   o f   di ffe r e nt   f i e l ds   i n   m e di c i n e ,   m ul t i m e di a   p r o c e s s i n g,   s e c ur i t y ,   E c o n o m i c ,   a n d   s o   o n   [ 10 - 14 ].   F urt h e rm o r e ,   de e l e a rn i ng  m o de l s   m a i nl y   b a s e o n   pr i n c i pl e s   of   A N N .   G e n e r a l l y ,   A N N   w h e n   t r a i ni n by   P B ,   s i gn i f i c a n t l y   s u f fe r i n f r o m   a   de l a y   i n   l e a rni n r a t e   be c a us e   c o m pl e a n l o n s t e ps   t ha t   Evaluation Warning : The document was created with Spire.PDF for Python.
In do n e s i a J   E l e c   E ng  &   Co m S c i     IS S N :   2502 - 4752       A   pr oa c t i v e   m e t a he ur i s t i c   m od e l   f or   op t i m i z i ng   w e i ght s   o f   ar t i f i c i al   ne ur al   ne t w or k   ( A l i   H a k e m   A l s ae e di )   977   a ppl i e [1] .   P B   t ra i n s   A N N   by   t un i ng  m o di f i c a t i o n   o w e i g ht s   a f t e r   e a c h   t ra i n - c y c l e ,   t h e r e f o r e   l e a rni n r a t e   w i l l   b e   i m pr o v e s l ow l y .   A s   a   r e s ul t ,   A N N   n e e ds   a   m a rka b l e   t r e m e n do us   t i m e   t o   t r a i n   o n   a   p a r t i c ul a pr o b l e m .   E v i de n t l y ,   s i gni f i c a nt   r e m a r k a b l y   t i m e   r e qui r e t o   t r a i n   A N N   by   BP   a l go r i t hm   a nd  n e c e s s i t y   of  i m p r o v i n t h e   pr e di c t i o n   a c c u r a c y   of   A N N   m o t i v e s   a s   t o   pr o po s e n e w   t r a i n   m o de l   t o   o pt i m i z e   t h e   pe r f o r m a n c e   of   A N N   i t e r m s   o f   a c c ur a c y   a n d   t i m e .   T h e   P S O   h a s   a   go o a c c e pt a n c e   by   t h e   A rt i f i c i a l   Int e l l i ge n c e   c o m m uni t y   b e c a us e   i t   i s   a   t r e m e n do us   o pt i m i z a t i o n   a l go r i t h m   a n c a n   s o l v e   v a r i a nt   c o m pl e o pt i m i z a t i o n   p r o b l e m s .   F o r   a   gi v e n   p r o b l e m ,   P S O   c a n   e x pl o r e   b i m u l t i m o da l   a n n o n c o n t i nuo us   s e a r c h   s pa c e s   a nd  c a f i nd  t h e   b e s t   po s s i b l e   s o l ut i o n ,   n e a t h e   o pt i m um   v a l ue   [1 5] .   T h e r e f o r e ,   t h e   p r o po s e s y s t e m   (H N N a ppl i e s   t h e   P S O   t o   f i n d   t h e   o pt i m a l   w e i gh t s   o f   A N N .     In   t h i s   p a pe r,   a   n e w   m o de l   of   t h e   a rt i f i c i a l   n e u r a l   s y s t e m   i s   pr o po s e d   b a s e o n   t h e   s t o c h a s t i c   s e a r c h   o pt i m i z a t i o b y   P S O   a n p ri n c i pl e   of  A N N .   T h e   c o n t r i b ut i o n s   o f   t hi s   r e s e a r c h   m a i n l y   f a c e   o n   i m p r o v i n g   t h e   pe r f o r m a n c e   o f   t h e   A N N   s y s t e m   i n   t hr e e   a s pe c t s :   T r a i n i n t i m e   r e qui r e d,   a n d   t h e   c o m pl e xi t y   of   t r a i n i ng  pr o c e dur e ,   a n d   a c c u r a c y .   T h e   p r o po s e H N N   m o de l   c o n s um e s   r e m a r k a b l y   l e s s   t i m e   t o   f i n d   o pt i m a l   w e i gh t s   of   a n   A N N .   T e c hn i c a l l y ,   t h i s   f a c t   i s   e xpl a i n e by   t h e   P S O   s e a r c h   s t r a t e g y   us e by   t h e   pr o po s e m o de l   r a t h e r   t u n i ng  m o di f i c a t i o n   us e i n   B P .   T h e   s i m pl i c i t y   of   P S O   [8]   a n us i n g   t h e   f e w   n um b e r s   o pa ra m e t e r s   i n   t h e   pr o po s e s y s t e m   r e duc e   t h e   c o m pl e xi t y   of   t h e   p r o po s e s ys t e m .   T h e r e f o r e ,   t h e   p r o po s e s y s t e m   do e s   n o t   r e qui r e   a n   a d di t i o na l   p r o c e s s   t a c h i e v e   t h e   e s t a b l i s h e s y s t e m   o n   t h e   f i na l   s e t   of   w e i gh t s .   F urt h e r m o r e ,     T h e   pr o po s e t e c hn i que   a i m s   t o   c r e a t e   a n   e ff i c i e n t   s upe r v i s e   m o d e l   w i t h   a   v e r y   h i g h   de gr e e   of   pr e di c t i o a c c ur a c y .   E xpe ri m e n t a l   r e s ul t s   s h o w   s i gn i f i c a n t   p r e di c t i o n s   f o r   i n p ut   d a t a   by   t h e   p r o po s e d   m e t h o d   i c o m pa ri s o n   w i t h   P B   i n   A N N .   T h e   a c c ur a t e   pr e di c t i o n s   o f   t h e   p r o po s e t e c h ni que   a r e   c a pa b l e   of  a c h i e v i ng  b e t t e r   pr e di c t i o n   ra t i o s   o A N N   t h a n   A N N   w h e n   t ra i ni n by   B P .   H e r e i n ,   w e   pr o pos e d   P S O   a s   a   t r a i ni n g   m o de l   of   A N N   t o   s e a r c h   o n   o pt i m a l   w e i ght s   t ha t   c o rr e s po ndi n t h e   pa rt i c u l a r   p r o b l e m .   F i gu r e   i l l us t ra t e s   t h e   s c e n a ri o   us e t o   upd a t e   t h e   w e i ght s   o f   t h e   p r o po s e s y s t e m .         I n p u t   O p t i m u m   We i g h t s F o r w a r d   P r p o p a g a t i o n We i g h t s   E v a l u a t i o n P S O   ( u p d a t e   w e i g h s ) H N N   S y s t e m     F i gu r e   1 .   S c e na r i o   o f   w e i gh t   up da t i n g       T o   de v e l o p   t he   A N N   a l g o ri t h m ,   s e v e ra l   s t u d i e s   re l a t e d   t o   o u re s e a rc h,   h a v e   b e e p ro po s e d   f o r   s u p e rv i s e d   m a c hi ne   l e a r ni ng   t o   c l a s s i f y   s e v e ra l   o b j e c t s   o f   d a t a .   M o s t   o f   t he   s t u d i e s   i t he   a p p ro a c h   o f   t he   w e i g ht s   o p t i m i z a t i o n   f o t he   ne u ra l   ne t w o rk   ha v e   b e e b a s e d   o s t a nd a rd   a l g o ri t h m s   ( B a c k p ro p a g a t i o n) .   F a ng c he ng   e t   a l   [16] ,   t he   a u t ho rs   p ro p o s e d   t he   ne w   m o d e l l i ng   o f   a rt i f i c i a l   ne t   c o m b i ne s   b o t P S O   a nd   b a c k p ro p a g a t i o n.   T he   P S O   u s e d   t o   o p t i m i z e   t he   i n i t i a l   w e i g ht s   o f   A N N   a nd   t he   re s t   o f   t he   l e a rni ng   p ro c e s s i ng   a re   a c h i e v e d   b y   t he   b a c k p ro p a g a t i o a l g o ri t h m .   T he   p ro p o s e d   s y s t e m   go t   o M S E   r a t i o   re a c he s   0 . 5 .   G a x i o l a   e t   a l   [17] .   a u t ho rs   i n t ro d u c e   b o t a l g o ri t hm   a nd   p a r t i c l e   s w a rm   o p t i m i z a t i o t o   t y p e - 2   f u z z y   w e i g ht   a d j u s t m e nt .   T he   c l a s s i f i c a t i o i a   p ro p o s e d   s y s t e m   t e c hni c a l l y   de p e nd s   o t he   t y p e - 2   f u z z y   a n d   b a c k p ro p a g a t i o t o   e na b l e   t he   ne u ra l   ne t w o rk   t o   l e a r n.   V a ru e t   a l   [18] .   t hi s   s t u d y   a i m s   t o   o p t i m i z e   w e i g ht   a nd   p a r a m e t e rs   o f   t he   o b j e c t i v e   f u nc t i o n.   V a ri o u s   t y pe s   o f   t ra ns f e f u nc t i o ns   w e re   c ho s e f o t he   p u rp o s e   o f   t he   R i go ro u s   a na l y s i s   o f   t he   i nf l u e nc e   o f   t he   t ra ns f e f u nc t i o ns   o p t i m i z a t i o t o g e t he w i t t he   N N   w e i g ht s .   A p a rt   f ro m   t h e   m e t a he u ri s t i c   a l g o ri t hm s ,   t he   b a c k p ro p a g a t i o a l g o ri t h m   w a s   u s e d   f o t he   c o m p re he ns i v e   c o m p a ri s o a nd   v a l i d a t i o n   o f   t he   s i g ni f i c a nc e   o f   t he   N N - T F s   m o de l .     Y u   e t   a l   [7] .   ha v e   a p p l i e d   t he   o p t i m i z a t i o t e c h ni q u e   t o   s e t   o p t i m a l   ne u ro ns   i t he   h i d d e l a y e o f   A rt i f i c i a l   N e u ra l   N e t w o rk .   P a rt i c l e   S w a rm   O p t i m i z a t i o u s e d   w i t p ro p o s e d   s y s t e m   t o   d e t e rm i ne   o p t i m a l   nu m b e rs   o f   ne u ro ns   i n   t he   hi d d e l a y e r.   T he   p ro p o s e d   s y s t e m   a c hi e v e   t he   b e s t   re s u l t   w he t he   f i v e   ne u ro ns   i t he   hi d d e l a y e r.       2.   R ES EA R C H   M ET H O D     In  t hi s   s e c t i o n   e xpl a i t h e   m a i n   m e c h a ni s m   o f   B P   t o   t ra i n   A N N ,   P S O ,   a n t h e   l a s t   p a r t   i l l us t ra t e s   t h e   pr o po s e H N N   s y s t e m .     Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2502 - 4752   In do n e s i a J   E l e c   E ng  &   Co m S c i ,   V o l .   20 ,   N o .   2 N o v e m be r   20 20  :     97 6   -   984   978   2. 1 .     A r t i fi c i a l   n e u r al   n e tw o r k   (A N N )   A N N   s y s t e m   b a s i c a l l y   c o n s i s t s   o f   n e u r o n s   a n d   w e i gh t s .   T h e   n e ur o n s   r e p r e s e n t e d   a s   l e a rn i ng  u ni t   i s   di s t r i b ut e o n   A N N '   l a y e r s (i n p ut ,   h i dde n,   a n o ut pu t [1] .   W e i gh t s   de f i n e   t h e   v a l ue   o f   t h e   i nt e r c o nn e c t i o n   l i n e   t h a t   c o nn e c t   n e u r o n s   t o ge t h e r.   G e n e ra l l y ,   t h e   a r c hi t e c t u re   of  t h e   A N N   s e t   by   d e pt h,   w i dt h ,   a n a c t i v a t i o n   f un c t i o n s   us e o n   e a c h   l a y e r   [19].   D e pt h   de t e rm i n e s   t h e   de e p   l e a rni n l e v e l   i n   h o w   m a n y   l a y e r s   i n s i de   h i dde l a y e r s .   T h e   w i dt h   de f i n e s   t h e   n u m b e r   o f   n e u r o n s   i e a c h   hi dde n   l a y e r   (s ).   T h e   a c t i v a t i o n   f u n c t i o i s   a ppl i e t o   de f i n e   t h e   n o n - l i n e a r   r e l a t i o n s h i b e t w e e n   t h e   i nput s   a n t h e   i n pu t   i n f o r m a t i o n   i n t o   a   m o r e   us e f ul     o ut put   [2 0].   F i gu r e   s h o w s   t h e   a r c h i t e c t ur e   o f   A N N .       X 2 X 1 X n O u t p u t   1 O u t p u t   2 b   h 1 b   h 2 b o   1 In p u t   L a y er Hi d d e n   L a y e r s O u t p u t   L a y er     F i gu r e   2 .   T h e   a r c hi t e c t u r e   o f   A N N       T e c hn i c a l l y ,   t h e   pr o c e s s i n p r o b l e m   of   A N N   i s   b a s e o n   t w o p e r a t i o n s   p r e di c t i o n   a nd  t ra i ni n g     [21,   22] .   F i r s t ,   a   p r e d i c t i o i s   a c hi e v e by   F o r w a r P ro pa ga t i o n   a l go ri t hm ,   i t   f o r w a r d   s um m a t i o n   o m ul t i p l i c a t i o n   i n pu t s   o f   n e ur o n s   w i t h   c o nn e c t i ng  w e i gh t s   t o   a c t i v a t i o n   f u n c t i o n   f o r   p r e di c t i n t h e   c l a s s   of  i n put .   I (1 )   a n d   ( 2)   c a l c ul a t e s   t h e   o ut p ut   o f   F o r w a r d   P r o pa g a t i o n .   T h e   n e t   s u m m a t i o          a n d   i t s   o ut put   f o r   t h e   a c t i v a t i o f un c t i o         [23] .                                           ,   j = 1,   2 ,   3, ………   (1)                                (2)     w h e r e            i s   t h e   r e s ul t   o f   n e t   i nput s   xi   m ul t i p l i e d   by   i nt e r c o nn e c t i o n   w e i g h t            i s   t h e   a c t i v a t i o n   f un c t i o n,   a n d           t h e   a c t u a l   o ut put   o f   t h e   n e t .   S e c o n d,   T h e   A N N   t r a i n s   i t s   w e i ght   o r i g i n a l l y   by   a   B a c P r o pa ga t i o n   (B P a l go ri t hm   [1] .   T h e   B a c P r o pa ga t i o n   (B P upd a t e s   w e i gh t s   o f   A N N   a f t e r   e a c t ra i n - c y c l e   (e poc h a c c o r di n g   t o   p r o duc t   e rr o r .   G e n e ra l l y ,   t h e   e rr o r   i s   c a l c ul a t e i (3) :                                                                          (3)     W h e r e :   n u m b e r   o f   o ut put s     A l go r i t h m   I   i l l us t ra t e s   t r a i n i ng  A N N   by   c o n c e pt s   o f   BP :     A l go r i th m   (I ):  Bac k p r o p agati o n   a l go r i th m   (P B .   I n p u t:   D a t a s e t     Evaluation Warning : The document was created with Spire.PDF for Python.
In do n e s i a J   E l e c   E ng  &   Co m S c i     IS S N :   2502 - 4752       A   pr oa c t i v e   m e t a he ur i s t i c   m od e l   f or   op t i m i z i ng   w e i ght s   o f   ar t i f i c i al   ne ur al   ne t w or k   ( A l i   H a k e m   A l s ae e di )   979   O u tp u t:  o pt i m u m   W e i g ht     1.   S e t   n e t w o r l a y e r s   a n d   n e u r o (                 n o de s     h i d de n o de s ,   a nd          o ut put   n o de s )   2.   Ini t i a l i z e   a l l   n e t w o r w e i gh t s   w i t ra n do m   v a l ue s .   3.   R e p e at   u n t i l   t h e   t e r m i n a t i o c o n d i t i o n   i s   m e t :   4.   F o r   e a c h   t r a i n i ng  e xa m pl e   (x, t )   ϵ  D   do   5.   In p ut   t o   t h e   n e t w o r a n d   c o m put e   t h e   o ut put   a k   o f   uni t s   i t h e   o ut put   l a y e r .   6.   F o r   e a c h   n e t w o r o ut pu t   u ni t   k ,   c a l c ul a t e   i t s   e rr o t e rm   δ k:   δ   a ( 1 -   a k)   (t k -   a k)     ( 4 )   7.   F o r   e a c h   hi dde n   u ni t   h,   c a l c ul a t e   i t s   e rr o t e rm   δ h   δ h     a h (1 -   a h)                ( 5 )   8.   U p d ate   e a c h   n e t w o r w e i g h t   w j i            ←                   9.   R e tu r n   o pt i m u m   W e i g ht     2. 2 .     P ar ti c l e   s w a r m   o p ti m i z ati o n   (P S O )   P S O   i s   a   pub l i c   m e t a h e u ri s t i c   o pt i m i z a t i o n   a l go ri t hm   i n s pi re by   t h e   s oc i a l   b e h a v i o ur  o f   a n i m a l s ,   w h i c l i v e   i n   g r o ups .   I t ’s   i nt r o duc e by   ( R .   E b e rh a rt   a nd  J .   K e nn e dy )   [4] .   T h e   m a i c ha r a c t e r i s t i c s   o f   P S O   a r e   t h e   s i m p l i c i t y   of   i m pl e m e n t a t i o n ,   f e w   n um b e r s   o f   pa r a m e t e r s ,   a n s uc c e s s e s   i n   o pt i m i z i n g   di f f e r e n t   f i e l ds   s uc h   a s   da t a   m i ni n g ,   m e di c a l   a pp l i c a t i o n,   s pe e c h   r e c o gn i t i o n,   a n i m a ge   pr o c e s s i n g,   t h e r e f o r e   t h e   P S O   i s   a n   i n t e r e s t i n t o pi c   f o r   r e s e a r c h e r s [8] .   T h e   s t a nda rd  s e a r c h   m e c ha n i s m   o t h e   P S O   s t a rt s   w i t h   s e l e c t i n t h e   f i r s t   l o c a l   o pt i m u m   (          by   e a c h   pa rt i c l e   t h e i t   s e l e c t s   t h e   b e s t              a s   gl o b a l   o pt i m u m   (          ).   T h e   v e l o c i t i e s   of   pa rt i c l e s   a r e   up da t e dy n a m i c a l l y   duri n t h e   s e a r c h   p r o c e s s   a n a dde t o   t h e   c urr e n t   pa rt i c l e ’s   v a l ue   f o r   upda t i n g .   T h e   i ni t i a l   v e l o c i t y   of   pa rt i c l e s   s e t   by   z e r o s .   T h e   v a l ue   o f            ,   a n d              a r e   upd a t e i t e r a t i v l l y   ( 6 c a l c ul a t e s   t h e   p a r t i c l e   v e l o c i t y [5]                                                     (                             )           (                           )   ( 6 )     W h e r e :        a nd       a r e   ra n do m   v a ri a b l e s   i n   t h e   r a n ge   [ 0,   1],      ,   a n      a r e   po s i t i v e   c o n s t a n t s   (a c c e l e r a t i o c o e ff i c i e n t s ),   a n d       i s   t h e   i n e r t i a   w e i ght .   T h e             ,                 i s   i n d i c a t i n g   t h e   v e l o c i t y   a n d   po s i t i o of                 pa r t i c l e   a t   i t e ra t i o t   i         di m e n s i o n,   r e s pe c t i v e l y .   T h e   P S O   us e s   t h e   ( 7 t o   upd a t e   t h e   v a l ue   o f   t h e   pa r t i c l e s   (c a n di da t e   s o l ut i o n )   [5]                                           ( 7 )     w h e r e         i s   o l p a r t i c l e   v a l ue ,               i s   a   n e w   pa r t i c l e   v a l ue .     2. 3 .     P r o p o s e d   h e u r i s ti c   o p ti m i z at i o n   w e i gh t   o ar ti fi c i al   n e u r al   n e tw o r k   (H N N )     T h e   l i m i t a t i o n   o f   A N N   n e e ds   a   l o t   of   t i m e   fo r   t r a i n i ng   n e t w o r o n   ob j e c t i ve   f un c t i o n   [24] .     T h e   w e i gh t s   t h a t   c o nn e c t   t h e   n e ur o n s   c o n t ri b ut e   p r i m a ri l y   t o   t h e   o bj e c t   fo r   w h i c h   t h e   A N N   i s   us e d.     T h e   p r o po s e m e t h o f oc us e s   o n   f i n d i n g   o pt i m um   w e i g h t s   d uri n t h e   m i n i m u m   po s s i b l e   t i m e .   T h e   s t o c h a s t i c   o pt i m i z a t i o t e c hni que   s upe r s e de s   t h e   b a c kpr o pa g a t i o n   i n   o r i gi na l   A N N .   A c c o r di n t o   [24,   25] ,   t h e   P S O   s uc c e e ds   i n   o pt i m i z i n s e v e r a l   pr o b l e m s ,   t h e r e f o r e ,   i t   i s   us e a s   a n   o pt i m i z e r   t o   e nh a n c e   t h e   pe r f o r m a n c e   o A N N .   It   i s   c l e a r l y   s h o w n   f r o m   t h e   F i gu r e   t h a t   t h e   p r o po s e s y s t e m   r e c e i ve s   t h e   da t a   a f t e i ni t i a l i z i n t h e   pa r a m e t e r s   t h e n   i t   o pt i m i z e s   t h e   A N N ’s   w e i gh t s .   T e s t i n da t a   e v a l ua t e   t h e   o pt i m u m   w e i gh t   o b t a i n e f r o m   t h e     t r a i ni n g   p r o g r e s s .     2. 3 . 1.   I n i ti al i z at i o n   F i r s t l y ,   t h e   a l go r i t hm   ha s   t o   s e t   t h e   po pul a t i o n   s i z e   w h i c c o r r e s po n di ng  t h e   c a n d i d a t e   w e i gh t s   t a da p t   P S O   w i t h   A N N .   T o   i n c r e a s e   t h e   e xpl o r a t i o n   o f   P S O ,   t h e   w e i gh t   i n e rt i a   i s   c a l c ul a t e a c c o r di n g     to   [8] .   It   i s   c a l c ul a t e i t e r a t i v e l y   by   us i n (8).                       (8)     w h e r e                                                    [       ] .     2. 3 . 2.   F i tn e s s   o r   c o s fu n c ti o n   T h e   v a l ue   o f   t h e   M e a S qua r e   E rr o r   (M S E i s   us e a s   a i n d i c a t o r   t o   e v a l ua t e   t h e   pe r f o r m a n c e   of  t h e   p r o po s e s y s t e m .   A s   s h o w n   i n   9   c a l c u l a t e s   t h e   M S E .     Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2502 - 4752   In do n e s i a J   E l e c   E ng  &   Co m S c i ,   V o l .   20 ,   N o .   2 N o v e m be r   20 20  :     97 6   -   984   980                                         (9)     w h e r e :         i s   di f f e r e n t   b e t w e e n       a c t ua l   o ut put   a nd      de s i r e d   o ut put   of .     2. 3 . 3.   W e i gh ts   u p d ate   A f t e r   c a l c ul a t i n t h e   f i t n e s s   of   c a n di d a t e   w e i gh t ,   p r o po s e a l go r i t hm   u pda t e s   t h e   v e l oc i t y   t o   be   a dde d   t o   w e i ght s   a nd   p r o duc e   a   n e w   c a n di da t e   w e i ght .   T h e   w e i gh t s   m a t r i x   (   i s   up da t e a s   s h o w n   i A l go r i t h m   II  f r e que nt l y   un t i l   t h e   H N N   a c hi e v e s   t h e   t e r m i na t i o n   c r i t e ri a .   T h e   po pul a t i o n   s i z e   o f   P S O   i s   a da p t i v e   t o   c o r r e s po n t o   t h e   w e i gh t ’s   m a t ri o f   A N N .   T he   pr o po s e s y s t e m   c o m b i n e s   w e i gh t s   o f   w h o l e   A N N   i o n e   m a t ri x   a s   s h o w n   i F o r m ul a   7 :                                 (10)     F o r   e xa m pl e ,   a s s u m e   t h e           i s   di m e n s i o na l   o f   w e i gh t   m a t ri x   (w o f   A N N             [                                           ]             T h e   do m i na t i o o f   po pul a t i o (   a n d   v e l o c i t y   (   t ha t   ge n e ra t e i s   s   t h e   v a l ue   o f   s   i s   c a l c ul a t e s   b y   s qua r e       o f   t h e   w e i ght   m a t r i x .           [                                           ]                   [                                           ]           T o   c o n t r o l   o l e a rni n g   o ri e nt a t i o n ,   t h e   p r o po s e s y s t e m   m o di f i e s   b i a s e s   (   v a l ue   b a s e o t h e   e rr o r   of   t h e   s y s t e m .   I ( 11 )   m o di f i e s   b i a s e s .                                 (11)     A f t e r   H N N   m o di f i e s   w e i gh t s ,   t h e   pr o po s e s y s t e m   r e c o n s t r u c t s   t h e   w e i gh t s   m a t ri t o   b e   s ui t a b l e   fo r   fo r w a r d i n p r o pa ga t i o n .   A s   s h o w n   i n   (12 r e di s t r i b ut e w e i ght   ge n e r a t e by   P O S .                                                       (12)     2. 3 . 4.   T e r m i n ati o n   c r i te r i a   T h e   pr o po s e m o de l   s t o ps   w h e n   o n e   of  t h e   s t o ppi n g   c r i t e ri a   us e i n   t h e   s t o c h a s t i c   a l go ri t hm   i s   s a t i s f i e d.   T h e s e   c ri t e r i a   a r e :   e xc e e o f   o pt i m i z a t i o n   t i m e ,   no   c h a n ge   o f   o pt i m i z a t i o n   i n   i t e ra t i o n,   o r   us e r ' s   pr e - de f i n e d   c o n di t i o n   [26 ,   27] .   F i gu r e   3   s h o w s   t h e   m a i s t e p s   o f   t h e   p r o po s e s y s t e m .   T h e   A l go r i t h m   (II)   i l l us t r a t e s   t h e   ps e udo c o de   of   t h e   H N N .       A l go r i th m   (I I ):  H e u r i s ti c   o p ti m i z at i o n   w e i gh t   o a r ti f i c i al   n e u r al   n e tw o r k   ( H N N )   I n p u t:   D a t a s e t     O u tp u t:  O pt i m um   W e i g h t     1.   S e t   n e t w o r l a y e r s   a n d   n e u r o (                 n o de s ,       h i d de n o de s ,   a nd          o ut put   n o de s )   2.   Ini t i a l i z e   PSO   3.   R e p e at   u n t i l   t h e   t e r m i n a t i o c o n d i t i o n   i s   m e t :   4.   F o r   e a c         (c a n di da t e   w e i gh t s )   ϵ   po pul a t i o do   5.   Co n v e r t       t o   c o rr e s po n d   A N N   w e i ght s   i e a c h   l a y e r   ( 12 )     6.   E v a l ua t e       7.   U pda t e   v e l oc i t y   of                        ,                        of      ( 6 ) ,   ( 7 )   8.   R e tu r n   o pt i m u m   W e i g ht   Evaluation Warning : The document was created with Spire.PDF for Python.
In do n e s i a J   E l e c   E ng  &   Co m S c i     IS S N :   2502 - 4752       A   pr oa c t i v e   m e t a he ur i s t i c   m od e l   f or   op t i m i z i ng   w e i ght s   o f   ar t i f i c i al   ne ur al   ne t w or k   ( A l i   H a k e m   A l s ae e di )   981   P re p ro c e s s i n g D a t a s e t F o rw a rd   P r o p a g a t i o n E v a l u a t i o n S e t i s f y   S t o p   Cri t e ri a       O p t i m i z e   A N N   w e i g h t   b a s e d   o n   P S O   T ra i n F o rw a rd   P r o p a g a t i o n P re d e c t i o n T e s t P re d i c t   D a t a   c l a s s O p t i m u m   W e i g h t s     F i gu r e   3 .   T h e   m a i n   s t e ps   o f   t h e   p r o po s e H N N   m o de l       3.   R ES U LTS   A N D   D I S C U S S I O N   T h e   e v a l ua t i o n   s t ra t e gy   i s   b a s e o n   t e s t i n t h e   p r o po s e m o de l   us i n t h e   t e da t a s e t s   o f   U CI  w i t di f fe r e nt   a t t ri b ut e s   [28] .   T h e   p r o po s e H N N   i s   c o m pa r e w i t h   B P   i n   t r a i n i ng  A N N .   T a b l e   i l l us t ra t e s   t h e   da t a s e t   de s c r i pt i o n :       T a b l e   1 .   U CI  d a t a s e t   de s c r i pt i o n s   [1 9]   N o .   D a t a s e t   N a m e   S i z e   ( A t t r i b u t e   x   F e a t u re   x   Cl a s s )   1   Bre a s t   c a n c e r1   6 9 9   x   8   x   2   2   W i n e   1 7 8   x   1 3   x   3   3   S p e c t f   2 6 7   x   4 4   x   2   4   O z o n e   l e v e l   d e t e c t i o n   2 5 3 6   x   7 2   x   2   5   Bre a s t   T i s s u e   1 0 6   x   9   x   4   6   Ca e v a l u a t i o n   1 7 2 8   x   6   x   4   7   D ru g   c o n s u m p t i o n   1 8 8 5   x   3 2   x   7   8   H T Ru - 2   1 6 3 8 4   x   8   x   2   9   Bu rs t   H e a d e P a c k e t   1 0 7 5   x   2 2   x   4   10   A v i l a   2 0 8 6 7   x   1 0   x   1 2       T h e   pr o po s e H N N   m o d e l   i s   t e s t e ove r   t e n   da t a s e t s   t o   c l a s s i fy   t h e   pr o b l e m   i n   t h e   U CI  m a c hi n e   l e a rn i ng.   T h e   da t a s e t s   h a v e   be e n   e xpl a i n e i n   t h e   T a b l e   2   w hi c h   i s   us e a s   a   b e n c hm a rk  i n   o r de r   t o   e v a l ua t e   t h e   pr o po s e a l go r i t hm   a n c o m pa r e   t h e   r e s ul t s   w i t t h e   s t a n da r A N N .   T h e   pa ra m e t e r s   o f   a l go r i t h m s   w e   a r e   c o m pa r e s e t   a s   s h o w n   i T a b l e   2:       T a b l e   2 .   A N N   a n d   P S O   a l go ri t hm s   pa ra m e t e r s   A l g o ri t h m   P a ra m e t e r s     A N N   w i t h   B P                                                                                                                      HNN                                                                                                T he   e x p e ri m e nt s   u s e   t he   l o g i s t i c   a nd   t he   t a ng e nt   hy p e rb o l i c   f unc t i o ns   a s   a n   a c t i v a t i o f u nc t i o f o b o t t he   H N N   a nd   B P   a l g o ri t h m s .   T a b l e   3   s ho w s   t he   re s u l t s   o f   t he   e x pe ri m e nt s   o f   b o t t he   m e nt i o ne d   a l g o ri t h m s .     T he   re s u l t s   o f   H N N   s ho w   a   b e t t e p e rf o rm a nc e   i n   t he   s a m p l e   d a t a s e t s   B re a s t   c a nc e r1 ,   W i ne ,   O z o ne   l e v e l   d e t e c t i o n,   C a e v a l u a t i o n,   H T R u - 2 ,   B u rs t   H e a d e P a c ke t ,   a nd   A v i l a .   W h i l e   t he   A N N   w i t B P   re c o rd e d   t he   b e s t   re s u l t s   i n   d a t a s e t   S p e c t f   a nd   B re a s t   T i s s u e .   B o t a l g o ri t hm s   o b t a i ne d   e q u a l   a c c u ra c y   i d a t a s e t   D C .   T he   t ra i ni ng   t i m e   o f   HN N   re q u i re d   l e s s   t i m e   t h a A N N .   I t   i s   c l e a r l y   s ho w i n   t h e   T a b l e   3   t h a t   t he   m e t a he u ri s t i c   f u nc t i o n   he l p s   i n   u p d a t i ng   t he   w e i g ht   a s   f a s t   a s   p o s s i b l e   c o m p a re d   w i t t he   o ri g i na l   A N N   - w i t B P - F i g u re   3   s ho w c o m p a re   p e rf o rm a nc e   o f   A N N   b y   u s i ng   B P   a nd   H N N   ( d a t a s e t   b re a s t   c a nc e r) .   F i g u re   4   s ho w c o m p a re   p e rf o rm a nc e   o f   A N N   b y   u s i ng   B P   a nd   H N N   ( d a t a s e t   w i ne ).   F i g u re   5   s ho w t h e   p e rf o rm a nc e   o f   a l g o ri t h m s   b y   u s i ng   t he   M S E   a s   c o m p a re d   c ri t e ri a .   T he   re s u l t s   i nd i c a t e   t ha t   B P   ha s   b e t t e a c c u ra c y :         Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2502 - 4752   In do n e s i a J   E l e c   E ng  &   Co m S c i ,   V o l .   20 ,   N o .   2 N o v e m be r   20 20  :     97 6   -   984   982   T a b l e   3 .   T h e   e v a l ua t i o r e s ul t   o f   t h e   H N N   a n A N N   N o .   D a t a s e t   N a m e   P e r fo r m a n c e   o t h e   A N N   P e r fo r m a n c e   o t h e   H N N     A c c u ra c y   T i m e   i n   s e c   A c c u ra c y   T i m e   i n   s e c   1   Bre a s t   c a n c e r1   9 4 . 3 2   1 5 . 2 5   9 6 . 7 2   1 0 . 2 8   2   W i n e   7 5 . 3 2   5 . 9 8   92   3 . 2 2   3   S p e c t f   7 9 . 4   1 8 . 9 5   7 6 . 6   1 4 . 3 7   4   O z o n e   l e v e l   d e t e c t i o n   9 0 . 3 7   1 2 8 . 5   9 7 . 1 2   9 8 . 2 2   5   Bre a s t   T i s s u e   8 5 . 9   1 8 . 9 9   80   13   6   Ca e v a l u a t i o n   8 2 . 3 1   6 8 . 3 2   8 4 . 2 2   4 8 . 4 7   7   D ru g   c o n s u m p t i o n   8 4 . 2   9 5 . 4 5   8 4 . 2   8 0 . 3 6   8   H T Ru - 2   8 8 . 6   1 3 7 . 9   9 7 . 2 0   1 2 2 . 9 5   9   Bu rs t   H e a d e P a c k e t   8 9 . 4 4   1 8 5 . 7 3   9 3 . 5 1   1 6 8 . 0 2   10   A v i l a   7 9 . 3 2   2 5 8 . 1 5   8 6 . 3 1   2 1 0 . 1 7           F i gu r e   3 .   Co m p a r e   pe r f o r m a n c e   o f   A N N   by   us i n g   B P   a n d   H N N   ( da t a s e t   b r e a s t   c a n c e r )           F i gu r e   4 .   Co m p a r e   pe r f o r m a n c e   o f   A N N   by   us i n g   B P   a n d   H N N   ( da t a s e t   w i n e )           F i gu r e   5 .   Co m p a r e   pe r f o r m a n c e   o f   A N N   by   us i n g   B P   a n d   H N N   ( da t a s e t   s pe c t f )   Evaluation Warning : The document was created with Spire.PDF for Python.
In do n e s i a J   E l e c   E ng  &   Co m S c i     IS S N :   2502 - 4752       A   pr oa c t i v e   m e t a he ur i s t i c   m od e l   f or   op t i m i z i ng   w e i ght s   o f   ar t i f i c i al   ne ur al   ne t w or k   ( A l i   H a k e m   A l s ae e di )   983   T h e   pr o po s e s y s t e m   s h ow s   t h a t   t h e   s t o c h a s t i c   t e c hn i q ue s   (P S O ove r c o m e   o n   t h e   s t a g na t i o n   i A N N   w h e n   us i n t h e   B P   a l go r i t hm ;   a l s o ,   i t   o pt i m i z e s   t h e   a c c ura c y   of   A N N   pr e di c t i o n .   T h e   a c c ura c y   of   H N N   i s   l e s s   t ha n   B P   a s   s h o w n   i n   F i gu r e   5 ,   a l t h o ug h   t h e   pe r f o r m a nc e   of   H N N   i s   b e t t e r   b e c a us e   i t   c o ul be   j um pi n g   f r o m   t h e   s t a g na t i o s t a ge   a t   l a s t   qu a r t e f r o m   s e a r c h   p r o g r e s s .       4.   C O N C LU S I O N     A r t i f i c i a l   N e u ra l   N e t w o r i s   a   n o nl i n e a c o m put i ng  s y s t e m   i n s pi r e b y   t h e   b i o l o gi c a l   n e u r a l   n e t w o r ks   of   t h e   b r a i n.   It   c o n s i s t s   o f   s e v e r a l   l a y e r s   a n e a c l a y e r   ha s   s e ve r a l   n e u r o n s   (n o de s ).   T h e   l e a rni n g   b e h a v i o ur   o f   A N N   i s   b a s e o n   e rr o r s   t ha t   r e s ul t   f r o m   t h e   f e e db a c of   t h e   p r e v i o us   l a y e r   t o   upda t e   t h e   w e i ght s   of   t h e   n e u r o l a y e r s .   T h e   w e i g h t s   a r e   t h e   o ut c o m e   of   t h e   t ra i n e n e t w o r o a   s pe c i f i c   pr o b l e m   t ha t   i s   us e t o   pr e di c t   t h e   c l a s s   o f   i n put s .   T h e y   s t a r t   ra n do m l y   a n upd a t e   d y n a m i c a l l y   by   t h e   b a c kpr o pa g a t i o n   a l go ri t hm   duri n A N N   t r a i n i ng.   T h e   t ra i ni n p r o c e s s   o f   A N N   r e qui re s   t r e m e n do us   t i m e ,   i n   a dd i t i o n   t o   t h e   c o m pl e pr o c e dur e   t h a t   h a s   b e e n   fo l l ow e w h e n   us i n b a c kp r o pa g a t i o n   t o   t r a i n   A N N .   P S O   i s   o n e   of   t h e   po pul a r   s t o c h a s t i c   m e t h o ds   fo r   fe a t u r e s   s e l e c t i o n .   It   ha s   b e e n   r e c ogni z e a s   f a s t ,   f l e xi b l e ,   e a s y   t i m pl e m e n t ,   a n d   s uc c e e i n   o pt i m i z i n di f f e r e n t   f i e l ds .   T h e r e f o r e ,   t h e   P S O   i s   us e t o   f i n t h e   o pt i m a l   w e i gh t   o f   A N N .     By   us i n t h e   m e t a h e u ri s t i c   (P S O ),   t h e   p r o po s e s y s t e m   e nha n c e s   t h e   pe r f o r m a n c e   o f   A N N   i n   b o t a c c ura c y   a n p r o c e s s i n t i m e .   T h e   t ra i ni n t i m e   i s   r e duc e be c a us e   of   t h e   s i m p l i c i t y   of   pr o c e s s e s   i n   t h e   t r a i ni n s t a ge   of   m e t a h e u r i s t i c .   I n   f ut u r e   w o r k,   w e   s ugge s t   e nh a n c i ng  t h e   e xpl o r a t i o n   o f   m e t a h e u ri s t i c   m o de l   b e fo r e   us i n g   t o   o pt i m i z e   A N N   w e i g h t   t o   r e duc e   s t a g na t i o i t h e   a dv a n c e   s e a r c h   p r o c e s s .       R EF ER EN C ES   [ 1]   J .   T o o ,   A .   R .   A bdul l a h ,   N .   M .   S a a d ,   N .   M .   A l i ,   a nd  T .   N .   S .   T e ng ku   Z a w a w i ,   F e a t u r e l e s s   E M G   pa t t e r r e c o g ni t i o ba s e o c o nv o l ut i o na l   ne ur a l   ne t w o r k ,   I n done s .   J .   E l e c t r .   E ng .   C om put .   Sc i . ,   v o l .   14 ,   no .   3,   pp .   129 1 12 97 ,   2 019 .   [ 2]   S .   D i ng ,   H .   L i ,   C .   S u ,   J .   Y u,   a nd  F .   J i n,   E v o l ut i o na r y   a r t i f i c i a l   n e ur a l   ne t w o r ks :   A   r e v i e w ,   A r t i f .   I nt e l l .   R e v . ,     v o l .   39,   no .   3 ,   pp.   2 51 2 60 ,   2 013 .   [ 3]   S .   A .   M o ha m e d,   M .   O t hm a n ,   a n M .   H .   A .   A bdul l a h,   A   r e v i e w   o da t a   c l us t e r i ng   us i ng   s pi k i ng   ne u r a l   ne t w o r ( S N N )   m o de l s ,   I ndone s .   J .   E l e c t r .   E ng .   C om pu t .   S c i . ,   v o l .   15 ,   no .   3,   pp .   1392 140 0,   20 19.   [ 4]   R .   E b e r ha r t   a nd   J .   K e nne dy ,   N e w   o pt i m i z e r   u s i ng   p a r t i c l e   s w a r m   t he o r y ,   P r oc .   I n t .   Sy m p .   M i c r M a c h .   H um .   Sc i . ,   p p.   39 43 ,   1995 .   [ 5]   S .   M i r j a l i l i   a nd   A .   L e w i s ,   S - s ha p e v e r s us   V - s ha p e t r a ns f e r   f un c t i o ns   f o r   bi n a r y   P a r t i c l e   S w a r m   O p t i m i z a t i o n,   Sw ar m   E v o l .   C om p ut . ,   v o l .   9,   pp .   1 14,   2 013 .   [ 6]   R .   I s l a m ,   M .   N .   A kht a r ,   B .   R .   A hm a d,   U .   K .   D a s ,   M .   R a hm a n,   a nd  Z .   I .   A .   K h a l i b ,   A a ppr o a c t o   bui l d i ng   e ne r g y   c l us t e r s   us i ng   pa r t i c l e   s w a r m   o pt i m i z a t i o a l g o r i t hm   f o r   a l l o c a t i ng   t h e   t a s ks   i c o m put a t i o na l   g r i d,   I ndo ne s .   J .   E l e c t r .   E ng .   C om pu t .   S c i . ,   v o l .   14 ,   no .   2 ,   pp .   826 833 ,   2 019.   [ 7]   L .   B .   K huz y a t o v a   a nd  L .   A .   G a l i ul l i n,   O pt i m i z a t i o o f   pa r a m e t e r s   o f   ne ur o - f uz z y   m o de l ,   I n done s .   J .   E l e c t r .   E ng.   C om put .   Sc i . ,   v o l .   17 ,   no .   3,   pp .   120 6 12 09 ,   2 019 .   [ 8]   A .   H .   J a bo r   a nd  A .   H .   A l i ,   D u a l   H e u r i s t i c   F e a t ur e   S e l e c t i o B a s e o G e n e t i c   A l g o r i t hm   a nd   B i n a r y   P a r t i c l e   S w a r m   O pt i m i z a t i o n,   J .   U n i v .   B A B Y L O N   pur e   A ppl .   Sc i . ,   v o l .   2 7,   no .   1 ,   pp.   1 71 1 83,   2 019 .   [ 9]   M .   B   a n G .   H o l i ,   A o pt i m a l   a nd   s e c u r e   w a t e r m a r k i ng   s y s t e m   us i ng   S W T - S V D   a n P S O ,   I nd one s .   J .   E l e c t r .   E ng.   C om p ut .   Sc i . ,   v o l .   18 ,   no .   2,   p .   917 ,   2020 .   [ 10]   S .   S h i n d o ,   T .   G o t o ,   T .   K i r i s h i m a ,   a n d   K .   T s u c h i d a ,   A n   o p t i m i z a t i o n   o f   f a c i a l   f e a t u r e   p o i n t   d e t e c t i o n   p r o g r a m   by   u s i n g   s e v e r a l   t y p e s   o f   c o nv o l u t i o n a l   n e u r a l   n e t w o r k ,   I n d o n e s .   J .   E l e c t r .   E n g .   C o m p u t .   S c i . ,   v o l .   1 6 ,   n o .   2 ,   p p .   8 2 7 8 3 4 ,   2 0 1 9 .   [ 11]   M .   Y us o f f ,   F .   M .   D na j i b ,   a nd   R .   I s m a i l ,   H y br i d   ba c kp r o pa g a t i o ne ur a l   ne t w o r k - pa r t i c l e   s w a r m   o pt i m i z a t i o f o r   s e i s m i c   d a m a g e   b ui l d i ng   p r e d i c t i o n,   I nd one s .   J .   E l e c t r .   E ng.   C om p ut .   S c i . ,   v o l .   14 ,   no .   1 ,   pp .   360 367 ,   2019 .   [ 12]   R .   T .   C   a nd  R .   S i v r a m a kr i s h na n ,   F uz z y   N e ur o - G e ne t i c   A ppr o a c f o r   F e a t ur e   S e l e c t i o a n I m a g e   C l a s s i f i c a t i o i A ug m e nt e R e a l i t y   S y s t e m s ,   v o l .   8,   no .   x ,   p p.   19 4 20 4,   2 019 .   [ 13]   A .   S a r ka r ,   J .   D e y ,   a nd  A .   B how m i k,   M ul t i l a y e r   ne ur a l   ne t w o r s y nc hr o ni z e s e c ur e s e s s i o ke y   ba s e e nc r y pt i o i n   w i r e l e s s   c o m m uni c a t i o n,   I ndone s .   J .   E l e c t r .   E ng .   C o m put .   Sc i . ,   v o l .   14 ,   no .   1 ,   p .   1 69 ,   2 019 .   [ 14]   S .   V e r m a ,   G .   T .   T h a m pi ,   a nd  M .   R a o ,   A N N   ba s e m e t ho f o r   i m pr o v i ng   go l pr i c e   f o r e c a s t i ng   a c c ur a c y   t hr o ug m o di f i e g r a di e nt   d e s c e n t   m e t ho ds ,   I A E I n t .   J .   A r t i f .   I nt e l l . ,   v o l .   9,   no .   1,   pp .   46 57,   2 020 .   [ 15]   M .   L o ne s ,   Se an  L uk e :   e s s e nt i al s   of   m e t ahe ur i s t i c s ,   v o l .   12 ,   no .   3.   2 011.   [ 16 ]   R .   Y u ,   X .   A n,   B .   J i n,   J .   S hi ,   O .   A .   M o v e ,   a n Y .   L i u,   P a r t i c l e   c l a s s i f i c a t i o o pt i m i z a t i o n - ba s e d   B P   ne t w o r k   f o r   t e l e c o m m uni c a t i o c us t o m e r   c hu r n   pr e d i c t i o n,   N e ur al   C om pu t .   A p pl . ,   v o l .   2 9,   no .   3,   p p.   70 7 72 0,   20 18 .   [ 17]   F .   G a x i o l a ,   P .   M e l i n ,   F .   V a l de z ,   a n O .   C a s t i l l o ,   O p t i m i z a t i o of   t y pe - f uz z y   w e i g ht   f o r   ne ur a l   n e t w o r u s i ng   g e ne t i c   a l g o r i t hm   a n pa r t i c l e   s w a r m   o pt i m i z a t i o n,   201 W or l C ongr .   N a t .   B i o l .   I ns pi r e C om put .   N aB I C   20 13 v o l .   1,   no .   1,   p p.   22 28 ,   201 3.   [ 18]   V .   K .   O j a h,   A .   A br a ha m ,   a n V .   S na s e ,   S i m u l t a ne o us   O pt i m i z a t i o o f   N e ur a l   N e t w o r W e i g ht s   a nd  A c t i v e   N o de s   us i ng   M e t a he u r i s t i c s ,   i n   14 t h   I n t e r na t i ona l   C on f e r e nc e   on  H y br i d   I nt e l l i ge nt   Sy s t e m s ,   2 014 ,   pp.   2 48 2 53.   [ 19]   N .   Z .   M o h d   A l i ,   I .   M u s i r i n ,   a n d   H .   M o h a m a d ,   C l o n a l   e v o l u t i o n a r y   p a r t i c l e   s w a r m   o p t i m i z a t i o n   f o r   c o n g e s t i o n   m a n a g e m e n t   a n d   c o m p e n s a t i o n   s c h e m e   i n   p o w e r   s y s t e m ,   I n d o n e s .   J .   E l e c t r .   E n g .   C o m p u t .   S c i . ,   v o l .   1 6 ,   n o .   2 ,   p p .   5 9 1 5 9 8 ,   2 0 1 9 .   [ 20]   C .   G u l c e hr e ,   M .   M o c z ul s ki ,   M .   D e n i l ,   a nd  Y .   B e ng i o ,   N o i s y   a c t i v a t i o f unc t i o ns ,   3 3r I n t .   C on f .   M a c h .   L e ar n .   I C M L   2 016 ,   v o l .   6 ,   p p.   44 57 4 466 ,   2016 .   Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2502 - 4752   In do n e s i a J   E l e c   E ng  &   Co m S c i ,   V o l .   20 ,   N o .   2 N o v e m be r   20 20  :     97 6   -   984   984   [ 21]   R .   K a u br u e g g e r ,   L .   P a s t o r i ,   a nd  J .   C .   B u di c h,   C h i r a l   t o po l o g i c a l   pha s e s   f r o m   a r t i f i c i a l   ne ur a l   n e t w o r k s ,   P hy s .   R e v .   B ,   v o l .   97 ,   no .   19,   p p.   1 8,   20 18. .   [ 22]   N .   F .   F a dz a i l ,   S .   M .   Z a l i ,   M .   A .   K h a i r ud i n ,   a nd  N .   H .   H a na f i ,   S t a t o r   w i nd i ng   f a ul t   d e t e c t i o o f   i nduc t i o g e ne r a t o r   ba s e w i nd   t ur b i n e   us i ng   A N N ,   I ndo ne s .   J .   E l e c t r .   E ng .   C om pu t .   S c i . ,   v o l .   1 9,   no .   1 ,   p p.   12 6 13 3,   20 20 .   [ 23]   S .   L a w r e nc e ,   A .   C .   T s o i ,   a nd  A .   D .   B a c k,   F unc t i o A ppr o xi m a t i o w i t N e ur a l   N e t w o r ks   a nd  L oc a l   M e t ho ds :   B i a s ,   V a r i a nc e   a nd  S m o o t hne s s ,   A u s t .   C onf .   N e ur a l   N e t w or k s ,   pp .   16 21 ,   199 6.   [ 24]   A .   R a ki t i a n s ka i a   a nd  A .   E ng e l b r e c ht ,   W e i g ht   r e g u l a r i s a t i o i pa r t i c l e   s w a r m   o p t i m i s a t i o ne ur a l   n e t w o r k   t r a i n i ng ,   I E E E   SSC I   201 -   201 I E E E   S y m p.   Se r .   C om pu t .   I n t e l l .   -   S I 201 2014  I E E E   Sy m p.   Sw ar m   I n t e l l .   P r oc . ,   p p.   34 41 ,   2015 .   [ 25]   M .   D .   S ul i s t i y o ,   R .   N .   D a y a w a t i ,   a n N ur l a s m a y a ,   E v o l ut i o s t r a t e g i e s   f o r   w e i g ht   o pt i m i z a t i o o f   A r t i f i c i a l   N e ur a l   N e t w o r i t i m e   s e r i e s   p r e d i c t i o n,   P r oc .   20 13  I nt .   C onf .   R ob ot .   B i om i m e t i c s ,   I n t e l l .   C om p ut .   Sy s t .   R O B I O N E T I C 2 013 ,   no .   N o v e m be r ,   p p.   14 3 14 7,   20 13 .   [ 26]   A .   H .   A l - s a e e d i ,   B i n a r y   M e a n - V a r i a nc e   M a pp i ng   O pt i m i z a t i o A l g o r i t hm   ( B M V M O ) ,   J .   A pp l .   P hy s .   S c i . ,   v o l .   2,   no .   2 ,   pp.   4 2 47 ,   201 6.   [ 27]   A .   O .   T o pa l   a nd  O .   A l t un,   A   no v e l   m e t a - he ur i s t i c   a l g o r i t hm :   D yna m i c   V i r t ua l   B a t s   A l go r i t hm ,   I n f .   Sc i .   ( N y ) .   v o l .   354 ,   pp.   2 22 2 35 ,   2 016 .   [ 28]   D .   A ha ,   E .   K e o g h,   P a t r i c M u r phy   C hr i s t o phe r   M e r z ,   C .   B l a ke ,   S .   H e t t i c h,   a nd  D .   N e w m a n ,   T he   U C I   M a c hi ne   L e a r ni ng   R e po s i t o r y ,   N at i on al   Sc i e nt i f i c   F ounda t i on ,   2 007 .       B I O G R A P H I ES   O F   A U T H O R S       A l i   H ak e m   A l s a e e d i   i s   c o m pl e t e B . S c .   i C o m put e r   S c i e nc e s   i 200 f r o m   t he   c o l l e g e   o f   s c i e nc e s   a t   U n i v e r s i t y   o f   Al - Q a di s i y a h,   D i w a n i y a ,   I r a q.   R e c e i v e h i s   M . S c .   ( m a s t e r )   i c o m put e r   s c i e nc e s   i t h e   y e a r   2016  f r o m   t he   c o l l e g e   o f   c o m put e r   s c i e n c e s   a t   t he   Y i l d i z   T e c hni c a l   U ni v e r s i t y   ( Y T U ) ,   I s t a nbu l ,   T ur k e y .   H e   ha s   w o r ke a s   a   l e c t u r e r   a t   a   num be r   o f   t he   I r a qi   U ni v e r s i t i e s   i t he   a r e a s   o f   A r t i f i c i a l   I nt e l l i g e n t ,   D a t a   m i n i ng ,   a nd  s i g na l   pr o c e s s i ng .     H e   c ur r e n t l y   w o r ks   a s   a   l e c t u r e r   i t he   U n i v e r s i t y   of   A l - Q a di s i y a h.   H i s   r e s e a r c i nt e r e s t s   m a c hi ne   l e a r ni ng ,   s m a r t   o pt i m i z a t i o a l g o r i t hm s ,   a nd  o pt i m i z a t i o o f   B i g   D a t a .   A l i   ha s   s e v e r a l   publ i c a t i o ns   i n   t he   a r e a s   o f   t h e   bi na r y   o f   m e t a he ur i s t i c   o pt i m i z a t i o n   a nd   d a t a   m i n i ng         A l i   H u s s e i n   A l j an a b i   i s   c o m pl e t e B . S c .   i C o m put e r   S c i e nc e s   i 200 f r o m   t he   c o l l e g e   o f   s c i e nc e s   a t   U n i v e r s i t y   o f   A l - Q a di s i y a h,   D i w a n i y a ,   I r a q.   R e c e i v e h i s   M . S c .   ( m a s t e r )   i c o m put e r   s c i e nc e s   i t he   y e a r   2014  f r o m   t he   c o l l e g e   of   c o m put e r   s c i e nc e s   a t   t h e   B a by l o U ni v e r s i t y ,   B a bi l ,   I r a q.   H e   i s   c ur r e nt l y   w o r ki ng   a s   a   l e c t u r e r   i t h e   A l - Q a di s i y a E duc a t i o D i r e c t o r a t e .     H i s   r e s e a r c i nt e r e s t s   m a c hi n e   l e a r ni ng ,   S e c ur i t y   i nf o r m a t i o n,   a nd  s o f t   c om put i ng .   A l i   h a s   s e v e r a l   pub l i c a t i o ns   i t he   a r e a s   o f   da t a   m i n i ng   a n n e t w o r k   i de n t i f i c a t i o n.         M e h d i   E b ad y   M an a a   i s   c u r r e n t l y   a a s s i s t a n t   p r o f e s s o r   i t he   d e pa r t m e n t   o f   i nf o r m a t i o n e t w o r k ,   C o l l e g e   o f   I nf o r m a t i o T e c hno l o g y ,   U n i v e r s i t y   o f   B a by l o n .   H e   r e c e i v e h i s   b a c h e l o r ' s   de g r e e   f r o m   t he   U n i v e r s i t y   o f   B a by l o n ,   c o l l e g e   o f   s c i e nc e   i 1 9 99 - 20 0 0 .   H i s   m a s t e r   o f   s c i e nc e   f r o m   U n i v e r s i t y   U t a r a   M a l a y s i a   ( U U M ) ,   M a l a y s i a   i n   2 0 12 .   H e   r e c e i v e h i s   P hD   i n   C o m p u t e r   S c i e nc e   a nd  i t h e   f i e l N e t w o r S e c u r i t y   a n D a t a   M i n i ng   u s i ng   C l o u C o m p u t i ng   f r o m   t he   U n i v e r s i t y   o f   B a by l o -   C o l l e g e   o f   I nf o r m a t i o T e c hno l o g y   i 20 1 6 .   H e   i s   c u r r e n t l y   f o c us i ng   o t he   de t e c t i o o f   t he   a t t a c k s   us i ng   d a t a   m i n i ng   t e c hn i q u e s .   T h e   m a i i n t e r e s t i ng   f i e l d s   a r e   n e t w o r k   a d m i n i s t r a t i o n   a n d   d i s t r i b u t e o b j e c t - o r i e n t e t o p i c s ,   n e t w o r p r o t o c o l s   T C P / I P   s u i t e ,   M o b i l e   A d - ho c   n e t w o r k   ( M A N e t ) ,   D a t a   M i n i ng   T e c h n i qu e s   ( c l u s t e r i ng   a n c l a s s i f i c a t i o n ) ,   c o m m u n i c a t i o s o f t w a r e ,   ne t w o r k   s e c u r i t y ,   c l o u d   c o m p u t i ng ,   I n t e r n e t   o f   T h i ng s ,   a n d   u ns t r uc t u r e d   d a t a         A d i l   r e c e i v e hi s   B . S c .   i C o m put e r   S c i e nc e   i 200 f r o m   t he   C o l l e g e   o f   S c i e nc e   a t   U ni v e r s i t y   o f   A l - Q a di s i y a h,   D i w a ni y a ,   I r a q.   H e   r e c e i v e hi s   M . S c .   i C o m put e r   S c i e nc e   i 2016  f r o m   K e nt   S t a t e   U ni v e r s i t y ,   O hi o ,   U n i t e S t a t e s .   H e   i s   w o r ki ng   a s   a   l e c t u r e r   a t   t he   U ni v e r s i t y   of   A l - Q a di s i y a h.   H i s   t e a c hi ng   a nd  r e s e a r c i n t e r e s t s   i nc l ude   C o m put e r   V i s i o n ,   B i o m e di c a l   I m a g i ng ,   I m a g e   P r o c e s s i ng ,   m a c hi n e   a nd   de e p   l e a r ni ng .       Evaluation Warning : The document was created with Spire.PDF for Python.