I n d on e s i an   Jo u r n al   o El e c t r i c al   En gi n e e r i n g   an d   C o m p u te r   S c i e n c e   V o l .   21 ,   N o .   1 J a n u a r y   2021,   pp .   4 29 ~ 43 9   IS S N :   25 02 - 4752 ,   D O I :   10. 1 1591 / i j e e c s . v 21 .i 1 . pp 429 - 439             429       Jou r n al   h o m e pa ge ht t p: / / i j e e c s . i a e s c or e . c om   A   f a st   sp e c t r a l   c o n j u g a t e   g r a d i e n t   m e t h o d   f o r   s o l v i n g   n o n l i n e a r   o p t i m i z a t i o n   p r o b l e m s       A l i   A .   A l - A r b o 1 ,   R an a   Z.   A l - K aw a z 2   1 C o l l e g e   o f   A r t s ,   U ni v e r s i t y   o f   M o s ul ,   M o s u l ,   I r a q   2 C o l l e g e   o f   B a s i c   E duc a t i o n,   U ni v e r s i t y   o f   T e l a f e r ,   T a l   A f a r ,   I r a q       A r ti c l e   I n fo     A B S TR A C T   Ar t i c l e   h i s t or y :   R e c e i v e A pr   1 8 ,   20 20   R e v i s e Ju n   26 ,   20 20   A c c e pt e A ug  18 ,   20 20       T hi s   pa p e r   pr o po s e s   a   ne w   s pe c t r a l   c o nj ug a t e   g r a d i e nt   ( S C G )   a p pr o a c f o r   s o l v i ng   unr e g ul a t e no nl i ne a r   o pt i m i z a t i o p r o bl e m s .   O u r   a ppr o a c h   pr o po s e s   U s i ng   W o l f e ' s   r a pi l i ne   s c a t o   a dj u s t   t he   s t a nda r c o nj ug a t e   d e s c e nt   ( C D )   a l g o r i t hm .   A   ne w   s pe c t r a l   pa r a m e t e r   i s   a   m i x t u r e   o f   ne w   g r a d i e nt   a nd  o l d   s e a r c pa t h.   T he   p a t p r o v i de by   t he   m o di f i e m e t ho pr o v i de s   a   pa t o f   de s c e n t   f o r   t he   s o l ut i o o f   o bj e c t i v e   f unc t i o ns .   T he   up da t e m e t h o f i t s   t he   t r a di t i o na l   C D   m e t ho i f   t he   l i ne   c he c i s   c o r r e c t .   T he   s t a bi l i t y   a nd  g l o ba l   c o n v e r g e nc e   pr o pe r t i e s   o f   t he   c u r r e nt   ne w   S C G   a r e   t e c hni c a l l y   o bt a i ne d   f r o m   a ppl y i ng   c e r t a i w e l l - kno w a nd  r e c e n t   m i l a s s um p t i o ns .   W e   t e s t   o ur   a ppr o a c w i t e i g ht   r e c e n t l y   publ i s h e C D   a nd  S C G   m e t ho ds   o 55   o pt i m i z a t i o r e s e a r c i s s ue s   f r o m   t he   C U T E   l i b r a r y .   T he   s ug g e s t e a n a l l   o t he r   a l g o r i t hm s   i nc l ud e i o ur   e x pe r i m e nt a l   r e s e a r c w e r e   i m p l e m e nt e i n   F O R T R A N   l a ng ua g e   w i t do ubl e   p r e c i s i o a r i t hm e t i c   a nd  a l l   e x pe r i m e n t s   w e r e   c o nduc t e o a   P C   w i t G B   r a m   P r oc e s s o r   I nt e l   C o r e   i 7 .   T he   r e s ul t s   i nd i c a t e   t ha t   o ur   p r o po s e s o l ut i o o ut pe r f o r m s   r e c e nt l y   r e po r t e d   a l g o r i t hm s   by   pr o c e s s i ng   a nd   p e r f o r m i ng   f e w e r   i t e r a t i o ns   i n   a   s ho r t e r   t i m e .     Ke y w or ds :   D e s c e n t   di r e c t i o n   G l o b a l   c o n v e r ge n c e   L i n e   s e a r c h   S pe c t r a l   c o n j uga t e   g ra di e n t   U n c o n s t ra i n e d   o pt i m i z a t i o n   T hi s   i s   an   ope n   ac c e s s   ar t i c l e   u nde r   t he   C C   B Y - SA   l i c e ns e .     Cor r e s pon di n g   Au t h or :   A l i   A .   A l - A r b o   Co l l e g e   of   A r t s   U n i v e r s i t y   of   M o s ul ,   M o s ul ,   I ra q   E m a i l :   a l i _b a y a t i 83@ y a h o o . c o m   a l i . a b b a s s . y @ uo m o s ul . e du. i q       1.   I N TR O D U C TI O N   T h e   m a t h e m a t i c a l   m o de l   f o r   t h e   o pt i m i z a t i o n   a l go r i t h m   c a n   b e   us e t o   f i n a   s o l ut i o t o   s uc pr o b l e m s .   F o r   s o m e   pr o b l e m s ,   a n   e xa c t   s o l ut i o n   c a nn o t   b e   c a l c ul a t e di r e c t l y .   In s t e a d,   s u i t a b l e   a l go r i t h m s   m us t   b e   c h o s e n   t ha t   w i l l   a p p r o xi m a t e   t h e   s o l ut i o n   a s   c l o s e l y   a s   r e qui r e t o   t h e   o pt i m a l   s o l ut i o n .   W e   c o n s i de r   t h e   p r o b l e m   o f   o pt i m i z a t i o n :       , ) ( m i n n R x x f   (1)     w h e r e   R R f n :   Co n t i nuo us l y   s e pa ra t e f e a t u r e .   N o n l i n e a r   c o n j uga t e   gra di e n t   (CG a l go r i t h m s   a r e   us e f ul   i n   s o l v i n n o n l i n e a r   o pt i m i z a t i o n   p r o b l e m s   fo r m u l a t e i n   ( 1).   S uc a l go ri t hm i c   i m p r o v e m e n t s   a r e   de m o n s t r a t e by :     1 1 k k k k d x x ,... 1 , 0 k   (2)   Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2502 - 4752   In do n e s i a J   E l e c   E ng  &   Co m S c i ,   V o l .   21 ,   N o .   1 J a n u a r y   2021  :     429   -   439   430   1 , 0 , 1 k if d g k if g d k k k k k   (3)     W h e r e ' s   t h e   l a t e s t   v e r s i o k x 0 k .   T h e   W o l f e   l i n e   s e a r c h   m e t h o de t e rm i n e s   t h e   n e xt   s e a r c pa t h,   de n o t e s   t h e   gra d i e nt   a t ,   a n d   i s   a a p p r o pri a t e   pa ra m e t e r   (a l s o   c a l l e t h e   c o n j uga c y   f un c t i o n ) .   CG   w a s   i n i t i a l l y   s ugge s t e by   H e s t e n e s   a n S t i e f e l   i n   t h e   1950s   [ 1]  a s   a n   e xa c t   w a y   t o   s o l v e   s y m m e t r i c ,   s t r o n g,   de f i n i t e   l i n e a r   a l ge b r a i c   s t ruc t u r e s .   I 1964 ,   F l e t c h e r   a nd  R e e v e s   [2]  e xpa n de t h e   s c o pe   of   CG   a pp r o a c h e s   t o   n o n - l i n e a r   p r o b l e m s .   T h e   m a i a dv a nt a ge s   o f   t h e   CG   m e t h o ds   a r e   t h e i l o w   m e m o r y   r e qui r e m e nt s ,   i t s   c o n v e r ge n c e   s pe e d   a n i t s   s a t i s f a c t i o n   o f   a   qua d ra t i c   t e r m i na t i o n   p r o pe r t y   i n   w h i c h   t h e   m e t h o c a n   l o c a t e   t h e   m i ni m i z e r   o f   a   qua d ra t i c   f un c t i o n   i n   a   f i n i t e   num b e r   o f   i t e r a t i o n s ,   s e e ,   f o r   e xa m p l e ,   H a s s a n   [3 ,   4]  y e t   w h i c h   c a n   b e   a ppl i e i t e ra t i v e l y   t o   m i n i m i z i n g   n o n - qua d r a t i c   f un c t i o n s .   T h i s   f a m i l y   of   a l go ri t hm s   w a s   p r o po s e o n   t h e   c o n j uga c y   pa r a m e t e r   k   i n   p r e v i o us   s t udi e s .   M o s t   w e l l - k n o w n   fo r m u l a s   w e r e   de f i n e s uc h   a s :   P o l a a nd  R i b i è r e   (P R )   [5],   F l e t c h e (CD )   [6] .   O b s e r v e   t h a t   i n   t h e s e   a l go r i t h m s   t h e   s c a l a k c a n   b e   c a l c ul a t e b y   W o l fe   [ 7]  a nd:     k T k k T k k k k T k k k k k k d g d d x g d g x f d x f  ) ( ) ( ) (   (4)     1 0     T h e   s t r o n g   W o l f e   c o n di t i o n s   m a y   n o t   y i e l a   di r e c t i o n   o f   de s c e n t   u n l e s s   2 1 .   I n e qua l i t y   gi ve n   i n   (4)   i s   s o m e t i m e s   c a l l e t h e   A rm i j o   c o n di t i o n .   H a ge r   a n Z ha n [ 8]  w e r e   p r o po s e d   a   CG   m e t h o (H Z T h a t   c o r r e s po n ds   t o   t h e   f o l l ow i n g   upg ra de   p a r a m e t e r   w h e r e   .   de n o t e s   t h e   E uc l i de a n o rm   o f   ve c t o r s :       , , m a x k HZ k HZ k   w h e r e   (5 a)     , , m i n 1 1 k k k g d   (5b )     , 2 1 1 2 1 1 1 k T k T k k k k k T k HZ k g y d y d y y d   (5c )     h e r e ,   0   i s   a   c o n s t a n t .   In   t hi s   r e s e a r c h ,   w e   pr o pos e a   f a s t - s pe c t ra l   CG   a pp r o a c h   t o   s o l ve   un c o n s t ra i n e d   n o n l i n e a r   o pt i m i z a t i o n   i s s ue s .   W e   pl a n   t o   i n v e s t i ga t e   t h e   s t a b i l i t y   a n g l o b a l   c o n v e r ge n c e   pr o pe rt i e s   o f   t h e   pr o po s e a l go r i t hm   a n pe r f o r m   s o m e   pr a c t i c a l   c o m put a t i o na l   t e s t s   t o   de m o n s t ra t e   i t s   e f f i c i e n c y   s ui t a b l e   fo r   s o l v i n c e r t a i n   n o n l i n e a r   o pt i m i z a t i o n   p r o b l e m s   w i t t h e   w e l l - kn o w n   P ow e l l   r e s t a r t   c ri t e r i o [9] .   T h e   r e m a i nde r   i s   o r g a n i z e i n t o   fo ur   s e c t i o n s .   S e c t i o n   e xpl a i n s   e a r l i e r   s t ud i e s   of   s p e c t r a l   CG   m e t h o ds .   S e c t i o n   o ut l i n e s   o ur   p r o po s e m e t h o d.   S e c t i o n   c o n t a i n s   t e s t s ,   r e s ul t s ,   a n d   di s c us s i o n .   S e c t i o n   c o n t a i n s   t h e   f i na l   r e m a r ks .       2.   LI TER A TU R R EV I EW   O N   S P EC TR A L   C O N JU G A T G R A D I EN T   M ET H O D S   S pe c t r a l   CG   (S CG m e t h o ds   a r e   a   c o m m o n   CG   a pp r o a c h   f o r   p r o b l e m - s o l v i n g(1).   It   w a s   o r i gi na l l y   de ve l o pe by   B a r z i l a i   a n B o r w e i n   a n l a t e s t ud i e by   s e ve r a l   a ut h o r s   [10 - 14 ].   B e l ow   i s   t h e   ge n e ra l   S CG   pr o c e s s   s y s t e m .       Evaluation Warning : The document was created with Spire.PDF for Python.
In do n e s i a J   E l e c   E ng  &   Co m S c i     IS S N :   2502 - 4752       A   f as t   s pe c t r al   c onj u gat e   gr a di e nt   m e t hod   f or   s ol v i ng   non l i n e ar   op t i m i z at i on  pr o bl e m s   ( A l i   A .   A l - A r bo )   4 31   A l go r i th m   (S C G )   S te p 1 :   C h o o s e   n R x 0   a nd  t h e   pa ra m e t e r 1 0 .   Co m put e ) ( 0 x f   a n d   s e t   0 0 g d     S te p 2 :   Co m put e   k   f r o m   W o l fe   c o n di t i o n s   us i ng  ( 5).   S te p 3 :   If   k g ,   t h e n   s t o p;   o t h e r w i s e   c o n t i n ue .   S te p 4 :   If   2 1 2 . 0 k k T k g g g   i s   m e t ,   r e s t a r t   s t e b y   s t e b y   0 g   di r e c t i o n ;   o t h e r w i s e   pr o c e e d.   S te p 5 :   Co m put e   t h e   p a r a m e t e r k ,   c o rr e s po n di n g   t o   d i f fe r e nt   s t udi e s   i t hi s   f i e l d.     S te p 6 :   Co m put e   t h e   p a r a m e t e k f r o m   t h e   s t a n d a r d   CG   m e t h o d   S te p 7 :   Ca l c ul a t e   t h e   n e w   s e a r c p a t 1 k k k k k d g d .   S te p 8 :   S e t   t h e   i t e ra t i o n   k = k + 1   a nd  go   t o   S te p 2 .     D uri n t h e   l a s t   de c a de ,   m uc h   e f fo r t   ha s   b e e n   de v o t e t o   de ve l o pi n n e w   S CG   m e t h o ds .   O n e   o f   t h e   o l s t udi e s   i t h i s   f i e l d   i s   p r o po s e by   R a y da n   (R [15 ].   A l - B a y a t i   a nd  A b dul l a (B A [16]  i n t r o duc e a   n e w   c l a s s   of   S CG   m e t h o ds   o f   un c o n s t r a i n e l a rge - s c a l e   o pt i m i z a t i o n   p r o b l e m s   us i n b o t h   s pe c t r a l   a nd  s c a l i n g   pr o pe rt i e s   f o r   t h e i r   s e a r c h   pa t h s .   i . e .       1 1 k T k k T k CD k d g g g 0 0 01 . 0 , 1 1 1 1 1 1 k T k k T k k T k BA k y s s s s s   (6)     Al - B a y a t i   a nd  H a s s a n   (B H [17]  i n v e s t i ga t e a n o t h e S CG   m e t h o t o   s o l ve   un c o n s t ra i n e o pt i m i z a t i o p r o b l e m s .       1 1 k T k k T k CD k d g g g   . 1 1 1 1 1 k T k k T k k T k BH k d g d y d g   (7)     L i a n J i a n (L J [18]  p r o po s e m i n o r   m o di f i c a t i o n   o f   t h e   CD   m e t h o s o   t h a t   t h e   s e a r c h   di r e c t i o n s   pr o duc e a r e   a l w a y s   dow n w a r d.   A   m i xe s pe c t r a l   m e t h o (L D W i s   pr o pos e by   L i u,   e t   a l .   [19 fo r   s o l v i n s o m e   n o nl i n e a o pt i m i z a t i o p r o b l e m s .       , , 0 , 0 ), , 0 ( m i n 1 e l s e d g if k T k CD k k CD k L D W k   1 1 1 1 k T k k T k L D W k d g d g   (8)     ) ) ( 1 ( 1 1 1 k k k k T k L D W k g g d d g   (9)     L i v i e r i s   a n d   P i n t e l a s   (L P [20]  s ug ge s t e a n o t h e r   t y pe   of   S CG   m e t h o p r o v i di n g   s uf f i c i e n t   de s c e n t   di r e c t i o n s ,   r e ga rdl e s s   of   qua l i t y   l i n e   s e a r c h   a n g l o b a l   c o n v e r ge n c e   p r o pe r t y   fo r   ge n e ra l   f u n c t i o n s ,   gi v e n   t h e   l i n e   s e a r c h   t e c hni que   m e e t s   W o l f e   r e qui r e m e n t s .   A n o t h e n o v e l   S CG   m e t h o w a s   pr o po s e by   A l - Ba y a t i   a nd  Al - K h a y a t   (B K [21]   i t h i s   f i e l d .   T h e y   t r i e d   t o   c o n s t r uc t   a   d e s c e n t   di r e c t i o n.     1 1 k T k k T k CD k g d g g , 1 1 2 1 1 1 1 1 1 k T k k k T k k T k k T k k T k KB k g d g g g g d g d y d   (10)     G ha n b a r i   (G A A A s ugge s t e a i m po rt a nt   n o nl i n e a S C G   a pp r o a c h   f o r   s o l v i n o pt i m i z a t i o n   pr o b l e m s   [22] .   T h e i r   s y s t e m   i s   b a s e o n   a   h y b r i s pe c t r a l   H S - CG   s y s t e m   c o m b i n i ng  t h e   a dv a nt a ge s   o s pe c t r a l   H S   p r o c e s s   w i t CD   m e t h o d.   R e c e n t l y ,   a   n e w   S CG   m e t h o (L Z X w a s   p r o po s e by   H a n e t   a l .   [2 3].           Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2502 - 4752   In do n e s i a J   E l e c   E ng  &   Co m S c i ,   V o l .   21 ,   N o .   1 J a n u a r y   2021  :     429   -   439   432   3.   A   F A S S P EC TR A C O N JU G A TE   G R A D I EN M ET H O D   W e   a r e   f oc us i n o n   a   m o de rn   S CG - m e t h o t o   a dd r e s s   u n c o n s t r a i n e n o nl i n e a r   o pt i m i z a t i o n   pr o b l e m s .   O u a pp r o a c h   r e duc e s   l i n e   s e a r c t o   c o n v e n t i o na l   CD - m e t h o d.   W e   h a v e   s h o w n   t ha t   w h i l e   t h e   ob j e c t i ve   f un c t i o n   i s   n o n - c o n v e x,   t h e   p r o po s e W o l f e   l i ne   s e a r c a p p r o a c h   i s   g l o b a l l y   c o n v e r ge nt .   T o   e v a l ua t e   t h e   de s c e n t   d i r e c t i o n s   f o r   t h e   n e w   S CG   p r o c e s s ,   l e t   t h e   c u rr e n t   i t e ra t e   b e   de f i n e b y :       1 , 0 , 1 k if d g k if g d k CD k k N e w k k N e w k   (11)     w h e r e   CD k   i s   s pe c i f i e by   (4d)  w i t h   t h e   f o l l ow i n f a s t   s pe c t r a l   pa r a m e t e r   de f i n e i n   (1 1)  a n t h e   u n k n o w n   pa r a m e t e k   i s   de f i n e by :       1 1 1 2 1 1 1 2 ) )( ( 1 k T k k T k k k T k k T k k T k N e w k g g g d g g d g d g g   (12)     T h i s   n e w   a pp r o a c h   w a s   de s i gn e t o   s o l v e   a   v a ri e t y   of  c o m pl i c a t e n o n l i n e a r   u n c o n s t r a i n e o pt i m i z a t i o i s s ue s   t ha t   a r e   r e duc e t o   t h e   c l a s s i c a l   CD   a pp r o a c i f   t h e   l i n e   s e a r c i s   s uc c e s s f ul .   F o r   b e t t e r   r e s ul t s ,   w e   us e   W o l fe ' s   i n a c c u r a t e   l i n e   s e a r c h .   I n   t hi s   a l g o r i t hm ,   w e   m us t   f i r s t   p r o ve   i t ' s   a n   a pp r o pri a t e   dow n w a r d   pa t h.     3. 1 .       L e m m a   S uppo s e   t h a t   t h e   n e w   s e a r c h   di r e c t i o n   N e w k d   w h i c h   i s   de f i n e by   ( 11)  a n (12 a n a s s um e   t h a t   k   s a t i s f i e s   t h e   c o n d i t i o n   ( 5)  w i t 5 . 0 k .   T h e n:       2 1 k k T k g c d g   (13)     h o l ds   f o r   a n y 0 k .       P r oo f.   F o r   i n i t i a l   k;   k = 0,   w e   ha v e       2 0 0 0 g g d T   (14)     W e   pr e s um e   c o n d i t i o n   (13)   r e f e r s   t o   a l l   k - 1   v a l ue s ;   i . e .       2 1 1 1 k k T k g g d   (15)     T h e w e   c a s h o w   t h e   c o n d i t i o n   ( 13)  i s   t r ue   f o r   a l l   k   v a l ue s ,   i . e .     1 2 k T k CD k k N e w k k T k d g g d g   (16)     F r o m   t h e   (4d );   (11)   a nd  ( 12):     2 1 1 1 1 1 1 2 1 1 1 2 ) )( ( 1 k k T k k T k k T k k T k k k T k k T k k T k k T k g g d d g g g g d g g d g d g g d g   (17)   Evaluation Warning : The document was created with Spire.PDF for Python.
In do n e s i a J   E l e c   E ng  &   Co m S c i     IS S N :   2502 - 4752       A   f as t   s pe c t r al   c onj u gat e   gr a di e nt   m e t hod   f or   s ol v i ng   non l i n e ar   op t i m i z at i on  pr o bl e m s   ( A l i   A .   A l - A r bo )   433   2 1 1 1 1 1 1 1 1 1 2 1 k k T k k T k k T k k T k k T k k T k k T k g g d d g g g g d g d g d d g       2 1 1 1 2 1 k k T k k T k k T k g g g g d d g   (18)     F r o m   s e c o n W o l f e   c o n di t i o de f i n e d   i (5) ,   w e   h a v e :     p a r am e t e r p o s i t i v e a is g d g d k T k k T k ; 1 1 1   (19)     T h e r e f o r e ,   us i ng  ( 19)   a n d   (18)   b e c o m e s :     2 1 1 1 1 2 1 k k T k k T k k T k g g g g d d g   (20)     H e n c e :     2 2 1 k k T k g d g   (21)     T h i s   i m pl i e s :     2 k k T k g c d g   w i t h   0 2 / 1 c   (22)     T h us ,   (13)   i s   s a t i s f i e d,   t h e   L e m m a   i s   t rue .   In  L e m m a   3 . 1 ,   b y   us i n g   a e xa c t   l i n e   s e a r c h,   dk  i s   f   a t   xk  a nd:     1 2 ) )( ( 1 1 1 1 2 1 1 1 k T k k T k k k T k k T k k T k N e w k g g g d g g d g d g g   (23)     a n t h e   p r o po s e n e w   fo r m   i s   r e duc e t o   t h e   CD .       3. 2 .       Wo l fe ' s   ac c e l e r at e d   l i n e   s e a r c h   In   t h i s   s e c t i o n,   w e   f i n a n   a c c e l e r a t i o n   s c h e m e   i n   [4].   T h e   l a t e s t   c a l c ul a t i o n   o f   t h e   m i n i m um   po i nt   i s   e s t i m a t e a s   f o l l ow s :     k k k k k d x x 1   (24)     L e t   k k k z d x z a nd z f g ) (     Co m put e   s pe c t ra l   p a r a m e t e r s   k T z k k k k T k k k d g g b d g a ) ( ,   (25)     If   0 k b ,   t h e c o m put e   k k k b a /   a n d   (24 ),       O t h e r w i s e ,   upd a t e   k k k k d x x 1       Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2502 - 4752   In do n e s i a J   E l e c   E ng  &   Co m S c i ,   V o l .   21 ,   N o .   1 J a n u a r y   2021  :     429   -   439   434   3. 3 .       O u tl i n e   o th e   n e w   p r o p o s e d   al go r i th m   S te p   1 :   T a ke   n R x 0   ;   s e t   t h e   p a r a m e t e r s   1 0 e ps   a r e   t h e   s m a l l   po s i t i v e   n u m b e r .   Co m put e   ) ( 0 x f   a n d   ) ( 0 0 x f g s e t   0 0 g d   f o r   0 k .   S te p   2 :   Co m pu t e   W o l f e   c o n di t i o n s   pa ra m e t e r   k   us i ng  ( 5).   Co m put e ,   ) ( , z f g g g y z z k k .   A c c e l e r a t i o s c h e m e :   c o m put e ,   k T k k k k T k k k d y b d g a ,   If   0 k b ,   t h e   Ca l c ul a t e ,   ) / ( k k k b a   a n d     F i nd  t h e   n e w   f a c t o r   a s   k k k k k d x x 1     E l s e   F i nd  t h e   n e w   f a c t o r   a s   k k k k d x x 1   S te p   3 :   If   e p s g k   i t   i s   s a t i s f i e t h e n   s t o p;   o t h e r w i s e   c o n t i nue .   S te p   4 :   If   P o w e l l   r e s t a rt   r e qu i r e m e n t   2 1 2 . 0 k k T k g g g   i s   m e t ,   r e s t a rt   s t e p   by   s t e by   0 g   di r e c t i o n ;   o t h e r w i s e   pr o c e e d.   S te p   5 :   C a l c ul a t e   s pe c t r a l   pa ra m e t e r s :     1 1 k T k k T k CD k g d g g       1 1 1 2 1 1 1 2 ) )( ( 1 k T k k T k k k T k k T k k T k N e w k g g g d g g d g d g g       S te p   6 :   C a l c ul a t e   t h e   c u rr e n t   s pe c t ra l   pa t h     1 k CD k k N e w k N e w k d g d           S te p   7 :   L e t   k   =   k + t o   m o v e   t o   S t e 2.   Co n di t i o n s   (5)   a nd  P o w e l l   r e s t a rt   c ri t e r i o a r e   s uf f i c i e n t   t o   s h o w   t h e   F a s t - S CG   m e t h o d' s   gl o b a l   c o n v e r ge n c e .     3. 4 .       P r o p o s e d   c o n v e r ge n c e   a l go r i th m   Co n s i s t e n c y   t e s t i n o f   t h e   p r o po s e Q ui c S CG   m e t h o m e nt i o n e d   i (11)   a nd  (1 2),   t h e   f o l l o w i n c o m m o n   a nd  ge n e r a l   a s s um p t i o n s   c a b e   us e t o   p r o ve   c o n ve r ge n c e   o f   a n y   CG   pr o c e s s :     3. 5 .       A s s u m p ti o n   a)   F o r   t h e   s t a r t i n po i n t 1 x ,   t h e   l e v e l   s e t   )} ( ) ( , : { 1 x f x f R x x S n i s   b o un de d.   b)   N e i gh b o r h o o f un c t i o n f   i s   c o n s t a n t l y   di f f e r e n t i a b l e   Ω   o f   S ,   a n t h e   gr a di e n t g s a t i s f i e s :       c)     0 ; x x,   ||, x - || L     || ) g ( x   -   g ( x ) || k k k L   (26)     O bv i o us l y :   f r o m   t h e   A s s u m pt i o n   i ),   t rue   c o n s t a nt   D   o c c ur s   s uc t h a t :     } , , m a x { S x x x x D k k ,   D   i s   t h e   d i a m e t e o f   Ω   (27)   Evaluation Warning : The document was created with Spire.PDF for Python.
In do n e s i a J   E l e c   E ng  &   Co m S c i     IS S N :   2502 - 4752       A   f as t   s pe c t r al   c onj u gat e   gr a di e nt   m e t hod   f or   s ol v i ng   non l i n e ar   op t i m i z at i on  pr o bl e m s   ( A l i   A .   A l - A r bo )   435   A s s um pt i o n   ( i i )   i n v o l v e s   a   c o n s t a nt   0 ,   s uc t ha t :     S x x g , ) (   (28)     3. 6 .       C o n v e r ge n c e   o n e w l y   d e v e l o p e d   a l go r i th m   T h e   n e w   s e a r c h   d i r e c t i o n s   a r e   g i v e n   b y   (11)  a n d   (12)   s a t i s f i e s :       0 i n f lim k k g   (29)     U n de r   t h e   a b ov e   a s s um pt i o n s ,   w i t h   0 k a n s a t i s f i e s   (5);   5 . 0 k     P r oo f.     S uppo s e   a   po s i t i v e   c o n s t a n t   e xi s t s   0   s uc h   t ha t :     k g   (30)     t h e r e f o r e ,   f o r   a l l   k   (23)   y i e l ds     k T k k d d d 2       ) )( ( 1 1 k CD k k N e w k k CD k k N e w k d g d g       2 1 2 1 2 2 ) ( 2 ) ( k CD k k T k CD k N e w k k N e w k d g d g       S i n c e   1 k CD k k N e w k k d g d   t h e n :     2 1 2 2 2 ) ( ) ( 2 ) ( k CD k k T k N e w k T k N e w k k N e w k d g g d g       2 1 2 2 2 2 2 ) ( ) ( 2 2 ) ( k CD k k N e w k k T k N e w k k N e w k d g d g g       2 2 2 1 2 ) ( 2 ) ( k N e w k k T k N e w k k N e w k g d g d   (31)     i f   w e   di v i de   bo t h   s i de s   o f   t h e   a b o ve   e qua l i t y   by   2 ) ( k T k d g   ,   t h e f r o m   ( 13),   (26)   a nd  ( 31)  w e   o b t a i n     2 2 2 2 1 2 2 2 ) /( ] ) ( 2 ) [( ) /( k T k k N e w k k T k N e w k k CD k k T k k d g g d g d d g d   (32)     ) ( 1 2 ) ( ) ( ) ( 2 2 2 2 2 1 2 1 1 2 k T k N e w k k T k k N e w k k T k k k T k k d g d g g d g d g d g       F r o m   ( 21)  w e   h a v e     2 1 1 1 k k T k g c d g   2 k k T k g c d g       Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2502 - 4752   In do n e s i a J   E l e c   E ng  &   Co m S c i ,   V o l .   21 ,   N o .   1 J a n u a r y   2021  :     429   -   439   436   In   (32)   b e c o m e s :     2 4 2 2 2 4 2 2 1 2 2 1 2 1 2 ) ( k N e w k k k N e w k k k k k g c g c g g c d g c g   (33)     R e fo r m ul a t e ;   a d a n d   s ub t ra c t   a   po s i t i v e   n u m b e r   y i e l ds :     2 2 2 2 2 4 1 4 2 1 1 1 } 1 2 ) {( g g g c g c g g c d k N e w k k k N e w k k k   (34)     2 2 2 4 1 4 2 1 1 1 k k k k N e w k k k g g g c g g c d   (35)     2 4 1 4 2 1 1 k k k g g c d 2 1 1 1 2 1 g g d d T   (36)     ) 37 ( / 1 ) /( 1 2 2 2 k i i k T k k g g d d   ( 37 )     T h e r e f o r e ,   f r o m   (37)   a nd  (3 0)  w e   h a v e :     k d g d k k T k / / ) ( 2 2   (38)     w h i c i ndi c a t e s :      1 2 2 / ) ( k k k T k d d g   (39)     It   c h a l l e n ge s   o ur   a s s um p t i o n   (29).   T h e r e fo r e ,   t h i s   t h e o r e m ' s   pr o o i s   c o m pl e t e   a n t h e   p r o po s e d   F a s t - S CG   ha s   a   gl o b a l   c o n v e r ge n c e   p r o pe rt y .       4.   EX P ER I M EN TA R ES U L TS   H e r e   w e   a n a l y z e   t h e   r e l i a b i l i t y   of   t h e   r e a l   m o de rn   CU T E   l i b ra r y   s o l ut i o n   s ugge s t e by   Bo n ga rt z ,   e t   a l .   [24 - 26]  s e t   o f   55 - c o m pl i c a t e n o n l i n e a r   t e s t   p r o b l e m s .   A l l   t h e s e   a s s e s s m e n t   que s t i o n s   a r e   po s e d   (n= 100 , 400 , 70 0, 10 00).   C a l c ul a t e   o pt i m u m   o ut put   de pe nde nt   o c o m put a t i o t i m e   ( CP U ),   t h e   n u m b e r   o i t e ra t i o n s   (N O I)  a n t h e   n u m b e r   of   f un c t i o n   m e a s u r e s   (N O F ).   A l l   m e t h o ds   s t o b e fo r e   t h e   f o l l ow i n s t a t e   i s   m e t .       5 10 k g   (40)     T h e y   a l s o   r e qui r e   s uc h   r o ut i n e s   t o   e n i f   N O c r o s s e s   1000  or   N O F   hi t s   2000  w i t h o ut   t h e   m i n i m um .   W e   r e po r t   t h e   f i n d i n gs   o t h e   n e w l y   pr o po s e d   pr o c e s s ,   c l a i m ,   a g a i n s t   F a s t - S CG   (CD   [6],   F R   [2] ,   P R   [5]  a n d   HZ   [8],   L D W   [19] ,   B A   [16] ,   B H   [17]  a n d   B K   [21]) .   W e   a r e   i T a b l e 1.         Evaluation Warning : The document was created with Spire.PDF for Python.
In do n e s i a J   E l e c   E ng  &   Co m S c i     IS S N :   2502 - 4752       A   f as t   s pe c t r al   c onj u gat e   gr a di e nt   m e t hod   f or   s ol v i ng   non l i n e ar   op t i m i z at i on  pr o bl e m s   ( A l i   A .   A l - A r bo )   437   T o   s h o w   t h e   n e w   m e t h o d' s   e ff i c i e n c y   a ga i n s t   o t h e r   m e t h o ds   o n   c o m pl e t e   N O I,   N O F ,   a n CP U   re s ul t s   f o r   55  t e s t   p r o b l e m s ,   t h e   r e l a t i v e   pe r c e n t a ge   i m p rov e m e n t   (R P I)  i s   m e a s ur e a nd  de s c r i b e d.   R P I   s h o w s   t h a t   o ur   s y s t e m   f i n ds   b e t t e r   o ut c o m e s   i n   a pp r o a c h e s   p r e v i o us l y   s ugge s t e d.   (S e e   i n   (41) )   f o r   R P I   of  o ur   t o o l s   a n d   [25 f o r   t h e   de t a i l s ) .       R P IN O (M e t h o dX )=   (M e t h o dX N O I   M i n N O I) / M i n N O I   (41)     T a b l e   i n d i c a t e s   t h a t   CD   i s   t h e   w o r s t   a n H Z   i s   t h e   be s t   m e t h o i n   t e rm s   o N O a n N O F   a m o n g   t h e   pr e v i o us   s t udi e s .   A l t h o ug h   t h e   P e v a l ua t e s   m uc h   m o r e   c a n d i da t e   s o l ut i o n s   t h a n   H Z   t o   r e a c h   a n   o pt i m u m   s o l ut i o n ,   i t   i s   t h e   f a s t e s t   m e t h o a m o n t h e   p r e v i o us   s t udi e s .   W h e n   w e   c o m pa r e   t h e   r e s ul t s   o F a s t - S CG   w i t t h e   r e s ul t s   o f   pr e v i o us   s t udi e s ,   i t   i s   c l e a r   t h a t   F a s t - S CG   i m pr o v e s   t h e   H Z   r e s ul t s   (N O a n N O F b y   m o r e   t h a n   25%  a nd  i t   c o m pl e t e s   i t s   s e a r c h   p r o c e s s   i n   h a l f - time   of   t h e   P R .   In   o t h e r   w o r ds ,   F a s t - S CG   f i n ds   t h e   o pt i m u m   r e s ul t s   by   e v a l ua t i n g   f e w e r   c a n d i da t e   s o l ut i o n s   i a   s h o r t e r   CP U   t i m e .     T h e   r e s ul t s   i T a b l e   a r e   o b t a i n e b y   fo ur   S CG   m e t h o ds   i n d i c a t e   t ha t   B K   i s   t h e   b e s t   m e t h o a m o n g   t h e   p r e v i o us   s t udi e s   i n   t e rm s   o f   a l l   t hr e e   c ri t e r i a .   B A   i s   t h e   w o r s t   m e t h o i n   t e rm s   o f   N O a n d   N O F .   L D W   i s   t h e   s l o w e s t   m e t h o i n   t e rm s   o f   CP U .   F urt h e r m o r e ,   t h e   F a s t - S CG   m e t h o o ut pe r f o r m s   a l l   f o ur   p r e v i o us   m e t h o ds   i n   t e r m s   o f   a l l   t hr e e   c r i t e r i a .   It   r e duc e s   t h e   N O a n N O F   by   m o r e   t h a n   50 a n i t   s pe e ds   up  b y   m o r e   t ha 25%   w h e n   c o m pa r e d   a g a i n s t   B K .     T h e   f o l l ow i n f i gu r e s   de m o n s t ra t e   t h e   e f f i c i e n c y   of   t h e   f a s t - S CG   a l go r i t hm   c o m pa r e t o   r e gu l a a n d   s pe c t r a l   CG   a l go ri t hm s   a c c o r di n t o   t h e   f o l l o w i n po i n t s :     a)   T h e   F i gu r e   1   i n d i c a t e s   t h e   s i m i l a r i t y   of   N O a l go r i t hm s .   b)   T h e   F i gu r e   i n d i c a t e s   9   N O F   a l go ri t hm s   e qu i v a l e nt .   c)   T h e   F i gu r e   r e v e a l s   9   CP U - r e l a t e a l go r i t hm s .       T a b l e   1 .   T o t a l   N O I;   N O F   a nd  CP U   fo r   55   t e s t   p r o b l e m s   T o t a l   5 5   F u n c t .   Co n j u g a t e   G ra d i e n t   M e t h o d s   S p e c t ra l   Co n j u g a t e   G ra d i e n t   M e t h o d s   CD   FR   PR   HZ   L D W   BK   BA   BH   F a s t   S CG   T O T A L   N O I   3671   3382   3626   1911   3001   2952   3416   3311   1432   T O T A L   N O F   7053   6779   6747   3994   6465   6377   6835   6784   2887   T O T A L   CP U   1 . 9 6   1 . 0 8   0 . 6 9   0 . 7 2   2 . 1 4   0 . 5 2   0 . 5 7   2 . 0 8   0 . 3 8       T a b l e   2 .   R P r e s ul t s   f o r   (Cd ,   F r,   P R ,   H z ,   a n d   F a s t   S CG )     CD   FR   PR   HZ   F a s t - S CG   RP I N O I   0 . 9 2   0 . 7 7   0 . 9 0   0 . 0 0   - 0 . 2 5   RP I NOF   0 . 7 7   0. 70   0 . 6 9   0 . 0 0   - 0 . 2 8   RP I CP U   1 . 8 4   0 . 5 7   0 . 0 0   0 . 0 4   - 0 . 4 5           F i gu r e   1 .   Co m p a r i s o n s   w . r. t .   N O I   Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2502 - 4752   In do n e s i a J   E l e c   E ng  &   Co m S c i ,   V o l .   21 ,   N o .   1 J a n u a r y   2021  :     429   -   439   438           F i gu r e   2 .   Co m p a r i s o n s   w . r. t .   N O F     F i gu r e   3 .   Co m p a r i s o n s   w . r. t .   CP U       T a b l e   3 .   R P r e s ul t s   F o r   (L D W ,   B K ,   B A ,   B H ,   a nd  F a s t - S CG )     L D W   BK   BA   BH   F a s t - S CG   RP I N O I   0 . 0 2   0 . 0 0   0 . 1 6   0 . 1 2   - 0 . 5 1   RP I NOF   0 . 0 1   0 . 0 0   0 . 0 7   0 . 0 6   - 0 . 5 5   RP I CP U   3 . 1 2   0 . 0 0   0 . 1 0   3 . 0 0   - 0 . 2 7       5.   C O N C LU S I O N   In   t h i s   r e v i e w ,   by   i n t r o duc i n a   n e w   s pe c t r a l   pa ra m e t e a n c h a n g i n t h e   W o l fe   l i n e   s e a r c h   a l go ri t hm ,   w e   pr o po s e   a   n e w   S CG   (F a s t - S CG ).   I t   do e s n ' t   r e qui r e   s o m e   m a t r i da t a ,   s o   i t ' s   qu i c kl y   a ppl i e bo t h   t e c hn i c a l l y   a n d   e xpe ri m e n t a l l y .   G l ob a l   c o n v e r ge n c e   pr o pe rt y   fo r   t h e   p r o po s e n e w   S CG   a ppr o a c h   i s   t e c hn i c a l l y   ob t a i n e d .   T h e   s ugge s t e a pp r o a c h   i s   c o n t ra s t e w i t h   t r a d i t i o na l   a n d   s pe c t ra l   CG   m o de l s ,   i . e .   (F R ,   P R ,   CD ,   a n H Z a n (B K ;   BH ;   B A   a n L D W us i n 55  w e l l - k n o w n   n o n - l i n e a r   e xpe r i m e nt s .   O u r   p r o po s e d   s o l ut i o n   i n c o r po ra t e s   t h e   f o l l ow i n e i g ht   pe r f o r m a n c e   m e c ha ni s m s   (N O I ,   N O F ,   a n d   CP U ).       A C K N O WL ED G M EN T   Co l l e ge   of   A r t s ,   U n i v e r s i t y   of   M os ul ,   R e pub l i c   of   Ir a q ,   f u n d s   r e s e a r c h.   T h e   w r i t e r s   s t a t e   n o   c o n f l i c t s   of   i nt e r e s t   i t hi s   w o r k.       R EF ER EN C ES   [ 1]   M .   H e s t e n e s ,   E .   S t i e f e l ,   " M e t ho ds   o f   t he   c o nj ug a t e   g r a d i e n t   f o r   s o l v i ng   a   l i n e a r   s y s t e m " ,   J our nal   of   R e s e ar c o f   t he   N at i ona l   B ur e au   of   S t an dar ds v o l .   49 ,   409 - 436 ,   195 2.     [ 2]   R .   F l e t c he r   a nd   G .   R e e v e s ,   " F unc t i o M i n i m i z a t i o by   G r a d i e nt s ",  C om put e r   J o ur na l v o l .   7,   1 49 - 154 ,   1964 .     [ 3]   B .   H a s s a n ,   " A   ne w   c l a s s   o f   B F G S   upda t i ng   f o r m ul a   ba s e o t he   ne w   Q ua s i - N e w t o e qu a t i o n " ,   I nd one s i a J ou r na l   of   E l e c t r i c a l   E ngi ne e r i ng   and   C o m p ut e r   Sc i e nc e   ( I J E E C S) v o l .   13 ,   no .   3 pp .   945 - 95 3,   20 19 .     [ 4]   B .   H a s s a n ,   " A   ne w   f o r m ul a   f o r   c o nj ug a t e   pa r a m e t e r   c o m put a t i o ba s e o t he   qu a d r a t i c   f o r m " ,   I ndone s i an  J our na l   of   E l e c t r i c a l   E ngi ne e r i ng   and   C om p ut e r   Sc i e nc e   ( I J E E C S) v o l .   13 ,   no .   3 pp .   954 - 96 1 ,   20 19 .     [ 5]   E .   P o l a k ,   a nd  G .   R i b i è r e ,   " N o t e   S ur   l a   C o nv e r g e nc e   de   D i r e c t i o ns   C o nj ug e " ,   R e v .   F r anc a i s e   I n f o r m at   R e c he r c he   O pe r at i ona l l y ,   3 e   A nné e ,   v o l .   16 ,   35 - 43 ,   1969 .     [ 6]   R .   F l e t c he r ,   " P r a c t i c a l   M e t ho ds   o f   O pt i m i z a t i o n   U nc o ns t r a i ne d   O pt i m i z a t i o n " ,   J o hn  W i l e y   &   Son s ,   N e w   Y o r k,   U S A ,   1987 .     [ 7]   P .   W o l f e ,   " C o nv e r g e nc e   C o ndi t i o ns   f o r   A s c e nt   M e t ho ds ",  SI A M   R e v i e w v o l .   11 ,   226 - 23 5,   19 69 .     [ 8]   H .   Z ha ng ,   a nd  W .   H a g e r ,   " A l go r i t hm s   851:   C G - de s c e nt   C o nj ug a t e   G r a d i e n t   M e t ho w i t G u a r a n t e e D e s c e n t ",  A C M .   T r an s ac t i ons   on   M a t he m at i c a l   Sof t w ar e v o l .   32 ,   no .   1 ) ,   p p.   113 - 137 ,   2006 .     [ 9]   M .   P o w e l l ,   " R e s t a r t   P r o c e dur e   f o r   t he   C o nj ug a t e   G r a d i e nt   M e t ho ds " ,   M a t he m at i c s   p r ogr am m i n g v o l .   1 2,   pp .   241 - 254,   1 977 .     [ 10]   J .   B a r z i l a i ,   a n J .   B o r w e i n ,   " T w o - P o i nt   S t e p - S i z e   G r a di e nt   M e t ho ds " ,   I M A   J our nal   o f   N um e r i c a l   A n al y s i s v o l .   8 ,   no .   1 pp.   1 41 - 148 ,   1988 .     Evaluation Warning : The document was created with Spire.PDF for Python.