I n d on e s i an   Jo u r n al   o El e c t r i c al   En gi n e e r i n g   an d   C o m p u te r   S c i e n c e   V o l .   18 ,   N o .   1 A p r i l   20 20 ,   p p.   525 ~ 532   IS S N :   2502 - 4752 ,   D O I :   10. 1 1591 / i j e e c s . v 1 8 .i 1 . pp 525 - 532             525       Jou r n al   h o m e pa ge ht t p: / / i j e e c s . i a e s c or e . c om   A   n e w   m o d i f i c a t i o n   n o n l i n e a r   c o n j u g a t e   g r a d i e n t   m e t h o d   w i t h   st r o n g   w o l f - p o w e l l   l i n e   s e a r c h       C h e r gu i   A h m e d 1 ,   B o u al i   Tah e r 2   1 M a t h e m a t i c s   a nd   c o m put e r   s c i e nc e   D e pa r t m e nt ,   L a bo r a t o r y   of   M a t he m a t i c s ,   i nf o r m a t i c s   a n s y s t e m s   ( L A M I S ) ,     L a r bi   T e be s s i   U ni v e r s i t y ,   A l g e r i a   1 , 2 D e pa r t m e n t   o f   M a t he m a t i c s ,   K he nc he l a   U ni v e r s i t y ,   A l g e r i a ,         A r ti c l e   I n fo     A B S TR A C T   Ar t i c l e   h i s t or y :   R e c e i v e J a n   10 ,   2 019   R e v i s e M a y   1 ,   201 9   A c c e pt e J ul   1 ,   201 9       T he   c o nj ug a t e   g r a di e nt   m e t ho ha s   pl a y e a   s pe c i a l   r o l e   i s o l v i ng   l a r g e - s c a l e   unc o ns t r a i ne O p t i m i z a t i o pr o bl e m s .   I t hi s   pa pe r ,   w e   pr o po s e   a   ne w   f a m i l y   of   C G   c o e f f i c i e nt s   t h a t   po s s e s s   s uf f i c i e n t   de s c e n t   c o ndi t i o ns   a nd   g l o ba l   c o nv e r g e nc e   pr o pe r t i e s   t h i s   C G   m e t ho i s   s i m i l a r   t o   ( W e i   e t   a l )   [ 10] .   G l o ba l   c o nv e r g e nc e   r e s u l t   i s   e s t a b l i s he u nde r   S t r o ng   W o l f - P o w e l l   l i ne   s e a r c h.   N um e r i c a l   r e s u l t s   t o   f i nd  t he   o pt i m um   s o l u t i o o f   s o m e   t e s t   f unc t i o ns   s ho w   t he   ne w   pr o po s e f o r m ul a   ha s   t he   be s t   r e s u l t   i C P U   t i m e   a nd  t h e   num be r   o f   i t e r a t i o ns ,   a nd  t h e   num b e r   o f   g r a di e n t   e v a l ua t i o ns   w he i t   c om p a r i ng   w i t F R ,   P R P ,   D Y ,   a nd   W Y L   Ke y w or ds :   G l o b a l e   c o n v e r ge n c e   S t r o n w o l f   pow e l l   l i n e   s e a r c h   U n c o n s t ra i n e o pt i m us a t i o c o n j uga t e   g r a di e n t   C opy r i gh t   ©   2020   I n s t i t ut e   o f   A dv anc e E ng i ne e r i ng   and   S c i e nc e .     A l l   r i gh t s   r e s e r v e d .   Cor r e s pon di n g   Au t h or :   A hm e C h e r gu i ,     M a t h e m a t i c s   a n d   Co m pu t e S c i e n c e   D e pa rt m e n t ,     L a bo r a t o r y   O f   M a t h e m a t i c s ,   I n f o r m a t i c s   A n d   S y s t e m s   (L A M IS ),     L a r b i   T e b e s s i   U n i v e r s i t y ,   T e b e s s a ,   A l ge ri a .     E m a i l :   a hm e d . c he r g ui @ u ni v - t e b e s s a . dz       1.   I N TR O D U C TI O N   T h e   o pt i m i z a t i o n   p r o b l e m   f i n ds   a ppl i c a t i o n   i s e v e r a l   f i e l ds ,   s uc h   a s   c l a s s i c a l   c o n t i nuum   p h y s i c s ,   t h e o r e t i c a l ,   m a t h e m a t i c a l   &   c o m put a t i o n a l   p h y s i c s ,   pa r t i c l e   a n n uc l e a p h y s i c s ,   ph y s i c a l   c h e m i s t r y ,   pur e   m a t h e m a t i c s ,   m a t h e m a t i c a l   p h y s i c s ,   f l ui dy n a m i c s ,   a c t u a r i a l   s c i e n c e ,   a ppl i e i n f o r m a t i o n   e c o n o m i c s ,   a s t r o s t a t i s t i c s ,   b i o s t a t i s t i c s ,   b us i n e s s   s t a t i s t i c s ,   t ra f f i c   r o ut i n i n   t e l e c o m m u n i c a t i o n   s y s t e m s   (24. ),   c y be r - ph y s i c a l   s e c ur i t y   (25. ),   i nt e l l i ge n t   t r a n s po r t a t i o n   s y s t e m s   (26. a n s m a rt   g ri ds (27 . ).   Co n s i de r   t h e   un c o n s t ra i n e d   o pt i m i z a t i o p r o b l e m     ( ) ;   { ( ) ;   }   (1)     w h e r e   ;     c o n t i n uo us l y   di ff e r e n t i a b l e .   T h e   n o nl i n e a c o n j uga t e   g ra di e nt   (CG )   m e t h o us ua l l y   t a ke s   t h e   f o l l ow i n g   i t e r a t i v e   f o r m ul a     + 1 = +                 > 0         k   =   0;   1 ;   2 ;   3   (2)     F o r   s o l v i n (1 ),   w h e r e     i s   t h e   c u rr e n t   i t e ra t e   po i n t ,   k   >   i s   a   s t e l e n gt h,   a n d     i s   a   s e a r c h   di r e c t i o de f i n e b y     = { ( )      = 1 ( ) + 1     2     (3)   Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2502 - 475 2   In do n e s i a J   E l e c   E ng  &   Co m S c i ,   V o l .   18 ,   N o .   1 A p r i l   20 20  :     5 2 5   -   5 3 2   526   W h e r e   t h e   g ra di e nt   o f   ( )     i s   a   s c a l a w h i c h   de t e rm i n e s   t h e   di f fe r e nt   c o n j uga t e   g ra di e n t   m e t h o ds .   ( 2)  a n d   ( 3) .   W e l l - k n o w n   f o r m ul a s   f o r     a r e   c a l l e Co n j uga t e - D e s c e n t   (CD )   (F l e t c h e 19 97)   [1] ,   F l e t c h e r - R e e v e s   ( F R )   (F l e t c h e r   a n R e e v e s   1964)   [2],   H e s t e n s e s . S t i e f e l   ( H S ( H e s t e n e s   a n S t i e f e l   1952)   [3],   L i u. S t o rr e y   (L S (L i a n S t o r e y   1992)   [4],   a nd  P o l a k .   R i b i è r e . P o l y a (P RP (P o l a a n R i b i è r e   1969 ;   P o l y a (1969)   [5],   a n s o m e   m o di f i e d   fo r m ul a s   (D a i   2002  [6];   D a i   a nd  Y ua n   2001  [7] ,   1995  [8] ,   Q i   e t   a l .   1996  [9] ,   W e i   e t   a l .   2006b   [10]) .   T h e   c o n v e r ge n c e   b e h a v i o r   of   t h e   d i f fe r e nt   c o n j uga t e   g r a d i e nt   m e t h o ds   w i t s o m e   l i n e   s e a r c c o n di t i o n s   (A r m i j o   1966  [11] ,   A l - b a a l i   19 85  [12] ,   D a i   2001   [13] ,   D a i   e t   a l .   19 99  [ 14],   D a i   an Y ua 1996 ,   G r i ppo   e t   a l .   1986   [1 5],   G r i p po   a n d   L uc i 1 997  [1 6],   L i u   a n d   H a n   1 995  [17] .   T h e   w e l l - k n o w n   f o r m ul a s   f o r     a r e      =   ( ( ) 2   ( ( 1 ) 2   [ 1 ]       (4)      = ( ) ( ( ) ( 1 ) ) 1 ( ( ) ( 1 ) )   [ 2 ]   (5)      = ( 1 ) ( ( ) ( 1 ) ) 1 ( ( ) ( 1 ) )   [ 3 ]   (6)      = ( ) ( ( ) ( 1 ) )   ( ( 1 ) 2   [ 5 ]   (7)      = ( ) ( ) ( ( ) ( 1 ) 1   [ 7 ]   (8)      = ( ) ( ( ) ( 1 ) ) d k 1 T   ( 1 )     [ 4 ]   (9)     = ( ) ( ( ) ( ) ( ( 1 ) ( 1 ) ) ( 1 ) ( ( 1 )   [ 10 ]   (10)     In  o r de t o   f i nd  t h e   s t e l e ngt ( ),   w e   us e   S t r o n g   W o l f   P ow e l l   (S W P l i n e   s e a r c h,       ( + ) ( )   ) ( )     (11)     | ( + ) . | ( 1 )   (12)     W h e r e   ( 0 < < 1 2 )   a n d   ( 0 < < 1 )   F r o m   a   b i b l i o gr a p h y   po i n t   o v i e w ,   t h e   N o n l i n e a r   Co n j uga t e   G r a d i e nt   m e t h o ds   c a n   b e   i m pr o v e b y   us i n n o v e l   t e c hni que s   p r o po s e i (20 . ) ,   (2 1 . ) ,   (22 . ),   (23)" .   In  t hi s   pa pe r,   w e   w i l l   p r e s e nt   t h e   n e w   fo r m u l a   i n   s e c t i o 2.   I a d di t i o n,   t h e   s uf f i c i e n t   de s c e n t   c o n di t i o n   a n t h e   gl o b a l   c o n v e r ge n c e   o t h e   n e w   m e t h o u n de r   t h e   i n e xa c t   l i n e   s e a r c h   (11)   a n ( 1 2),   i n   t h e   fo l l ow i n t h e o r e m .   W i l l   b e   pr e s e n t e i n   s e c t i o n   3.   F i na l l y ,   w e   w i l l   di s c us s   t h e   n um e r i c a l   r e s ul t s   a n d   c o n c l us i o n   i n   s e c t i o n s   a n d   f i v e   r e s pe c t i v e l y       2.   TH E   N EW   F O R M U LA   In  t hi s   s e c t i o n,   w e   p r o po s e   t h e   n e w     w h i c h   i s   e xt e n t i o o f   t h e     [10]  t h a t   w e   n a m e       = ( ) ( ) ( )     1     ( ( 1 ) 2   (13)     W h e r e   =   ( ) ( ( 1 )     a n d   .   m e a n s   t h e   E uc l i de a n o r m       3.   C O N V ER G EN T   A N A L Y S I S   O F   W Y L M   M ET H O D   In  t hi s   s e c t i o n,   w e   w i l l   s h o w   t h e   c o n v e r ge n t   p r o pe rt i e s   o f     us i n i n e xa c t   l i n e   s e a r c h e s     Evaluation Warning : The document was created with Spire.PDF for Python.
In do n e s i a J   E l e c   E ng  &   Co m S c i     IS S N :   2502 - 4752       A   n e w   m odi f i c at i on   non l i n e ar   c onj ugat e   gr adi e nt   m e t hod   w i t s t r ong   w ol f - pow e l l   ( Che r gui   A hm e d )   527   3. 1 .       C o n v e r ge n t   A n al ys i s   B as e d   o n   I n e x ac L i n e   S e a r c h     In   t hi s   s e c t i o n ,   w e   w i l l   s h o w   t h e   c o n v e r ge n t   a na l y s i s   b a s e o n   t h e   i n e x a c t   l i n e   s e a r c h   by   m e a n s   of  s t r o n W o l f e   l i n e   s e a r c h.   W e   w i l l   a l s o   s h o w   t ha t   t h e s e   CG   c o e ff i c i e n t s   w i l l   po s s e s s   s uff i c i e n t   de s c e n t   c o n di t i o n s   a n g l o b a l   c o n v e r ge n c e   pr o pe r t i e s .   U n de r   t hi s   i ne xa c t   l i n e   s e a r c h   ( 11)   a nd  ( 12) .   I n   t h e   f o l l ow i n t h e o r e m ;   w e   di s c us s   t h e   s uf f i c i e n t   c o n di t i o n,         ( )   ( ( ) 2   , > 0   (14)     W h e r e   > 0   a n d   ( 0 , 1 )   u n de S W P   l i n e   s e a r c h .     3. 2 . 1.       S u ffi c i e n D e s c e n C o n d i ti o n   F o r   t h e   s uf f i c i e n t   de s c e n t   c o n d i t i o n,   w e   pr e s e nt   t h e   f o l l ow i ng  T h e o r e m ,   T h e o r e m   1:   If   t h e   s e que n c e s   a n d     a r e   ge n e r a t e b y   t h e   m e t h o ds   (2) ,   ( 3)   a nd  ( 1 3 )   w i t h   s t e p   l e n g t h     de t e r m i n e b y   (10)  a n d   ( 11)   i f   ( 0 , 1 4 ) ,   t h e t h e   s uf f i c i e n t   de s c e n t   c o n d i t i o n   h o l ds .   P r o of :   W e   us e   p r o of   by   i n duc t i o f r o m   ( 3).   W e   k n o w   t ha t   f o r   = 0   i t   i s   h o l d.   S uppo s e   t h a t   i t   i s     ( ) = ( ( ) 2 + ( ) 1       D i v i de   ( ( ) 2   i n di c a t e t h a t ;       ( )   ( ( ) 2 = 1 + ( ) 1   ( ( ) 2         = 1 + ( 1 ) 1 ( 1 ) ( 1 ) ( 1 ( ) 1 ( ) ( 1 ) )   (15)     U s i n ( 1 2),   w e   ha v e     ( )   ( ( ) 2 1 + ( ) 1   ( ( ) 2 ( 1 ( ) 1 ( ) ( 1 ) )   (16)     ( )   ( ( ) 2 1 + ( 1 ) 1   ( ( ) 2 ( 1 ( ) 1 ( ) ( 1 ) )   (17)     A n d   a ppl y i n g   t h e   Ca uc h y - S c h w a r t z   w e   ge t     0 ( ) 1 ( ) ( 1 ) 2   (18)     T h i s   i m pl i e s   t ha t     1 + 2 ( 1 ) 1   ( ( ) 2 ( )   ( ( ) 2 1 2 ( 1 ) 1   ( ( ) 2   (19)     By   r e pe a t i n g   t hi s   p r o c e s s   a n d   t h e   f a c t   ( 1 ) 1 = ( 1 ) 2       ( 2 ) 1 = 0 ( )   ( ( ) 2 2 + ( 2 ) 1 = 0   ( 20)     S i n c e   ( 2 ) < 1 = 0 ( 2 ) = 0 = 1 1 2       A s   s h o w n   i n   ( 19 Ca b e   w r i t t e a s     1 1 2 ( )   ( ( ) 2 2 + 1 1 2     (21)     By   m a ki n g   t h e   r e s t ri c t i o ( 0 , 1 4 )   w e   h a v e   ( ) < 0   s o   by   i n du c t i o n ,   , ( ) < 0   h o l ds .     N ow ,   w e   pr o ve   t h e   s uf f i c i e n t   de s c e n t   p r o pe r t y   of     i f   ( 0 , 1 4 )   Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2502 - 475 2   In do n e s i a J   E l e c   E ng  &   Co m S c i ,   V o l .   18 ,   N o .   1 A p r i l   20 20  :     5 2 5   -   5 3 2   528   S e t   = 2 1 1 2   t h e n   0 < < 1 ,   a n d   (18)   t u rn s   o ut   t o   b e   2 ( )   ( ( ) 2   (22)     T h us   w e   o b t a i ( ) ( ) 2   O r   γ   = 2 + 1 1 2   w h e r e   ( 0 , 1 )   T h e   p r o o f   i s   c o m pl e t e d.       3. 2 . 2.       G l o b al   C o n v e r ge n t   A n al ys i s   T h e   f o l l ow i n a s s um p t i o n   i s   n e e de i n   o r de r   t o   pr o c e e w i t h   t h e   p r o of   of   gl ob a l     c o n v e r ge n c e   pr o p e rt i e s   A s s u mp ti o n   1   (i )   T h e   f un c t i o   i s   b o un de b e l ow   o n   t h e   l e v e l   s e t     a n d   i s   c o n t i nuo us   a n d   d i f f e r e n t i a b l e   i n e i g h b o urh o o N   o f   t h e   l e v e l   s e t   Ω   = { ;   ( )   < ( 0 ) }   a t   t h e   i n i t i a l   po i n t   0   (i i )   T h e   g r a d i e n t   g(x)   i s   L i ps c hi t z   c o n t i n uo us   i N ,   s o   a   c o n s t a n t   L 0   e xi s t s ,   s uc h   t h a t   t ha t       ( ) ( )   :   F o r   a l l   ,     Th e o r e m 2 :   S uppo s e   A s s um pt i o n   i s   t r ue ,   c o n s i de r   a n y   CG   m e t h o o f   fo r m   (2 a nd  ( 3),   w h e r e     s a t i s f i e d.   S W P   l i n e   s e a r c a n d   t h e   s uf f i c i e n t   de s c e n t   c o n di t i o h o l ds ,   t h e l i m ( ) = 0   P r oo f   S ub t r a c t i n g   ( )   f r o m   b o t s i de s   o f   ( 12)  a nd  us i n g   t h e   L i ps c h i t z   c o n di t i o w e   h a v e     ( 1 ) ( ) ( ( ) ( 1 ) )   2   (23)     T h e r e f o r e ,     ( 1 ) ( )   2   (24)     W i t h   ( 11)  w e   o b t a i n:     ( ) ( + ) ( )     ( 1 ) ( ) 2   2   (25)     M o r e ov e r ,   f r o m   t h e   h y po t h e s i s   (1) ,   w e   h a v e   t h a t   { ( ) }   i s   a   de c r e a s i n s e que n c e   a nd  ha s   a   l i m i t   i n ,   w h i c s h o w s   t h a t   l i m ( + 1 ) < +   a n d   a f t e ( 25 w e   ha v e     + > ( 1 ) l i m ( + 1 ) = | ( ) ( + 1 ) | ( 1 ) ( ( ) ) 2   2   (26)     T h e ( ( ) ) 2   2 +       H e n c e ,   l i m ( ) = 0   T h e n   p r o of   i s   c o m pl e t e d.       4.   N U M ER I C A R ES U LTS   A N D   D I S C U S S I O N S   In   t hi s   s e c t i o n ,   w e   pr e s e n t   t h e   r e s ul t s   o o ur   p r o po s e m e t h o W Y L M   o n   c o m pa ri s o n   w i t h   CG   m e t h o ds   F R ,   D Y ,   W Y L ,   a n P R P .   W e   w i l l   us e   s o m e   of   t e s t   p r o b l e m s   c o n s i de r e i n   A n d r e i   [ 18]  t o   a n a l y z e   t h e   e f f i c i e n t   o f     W e   c o n s i de r e = 10 6 ;   = 0 . 1 = 0 . 01   a n d   t h e   g ra d i e nt   v a l ue   a s   s t o ppi n g   c r i t e ri a .   T h e   t o l e r a n c e   = 10 6   i s   s e l e c t e f o r   a l l   a l go ri t hm s   t o   i n v e s t i ga t e   t h e   r a pi d i t y   of   i t e ra t i o o f   t h e s e   a l go ri t hm s   t o w a r ds   t h e   o pt i m a l   s o l ut i o n ,   W e   us e M a t l a b   R 2010  t h e   pe r f o r m a n c e   r e s ul t s   a r e   s h o w n   i n   F i gu r e s   1 - 6 W e   us e   t h e   f o l l ow i n a l go r i t h m     A l gor i t h m   1:     m e t h o d   S t e 1 :   C h o o s e   a i ni t i a l   po i nt   0   se t   k   =   1 . = 10 6   s e t   0 = 0 = ( 0 )   S t e 2 :   Co m put e     b a s e o ( 1 3) .   (15) ,   (7 ),   (8) ,   o r   ( 10)   Evaluation Warning : The document was created with Spire.PDF for Python.
In do n e s i a J   E l e c   E ng  &   Co m S c i     IS S N :   2502 - 4752       A   n e w   m odi f i c at i on   non l i n e ar   c onj ugat e   gr adi e nt   m e t hod   w i t s t r ong   w ol f - pow e l l   ( Che r gui   A hm e d )   529   S t e 3 :   Co m put e     b a s e o (3 );   i f   ( ) = 0 ,   t h e s t o p.     S t e 4 :   Co m put e   s t e l e n g t h     by   o n e   l i n e   s e a r c t e c hni que ,   l e t   + 1 = +   S t e 5:   U pda t i ng  n e w   po i nt   b a s e o n.   ( 2) .   S t e 6:   Co n v e r ge n t   t e s t   a nd  s t o ppi ng  c r i t e ri a ,   i f   ( )   < ( 1   a nd  ( ) < ,   t h e n   s t o p,   o t h e r w i s e   go   t o   S t e w i t = + 1       T a b l e   1. T e s t   P r o b l e m s   u s e w i t h   t h e   S t r o n W o l f   Co n d i t i o n   = 10 6   ;   = 0 . 1 = 0 . 01   N 0   F u n c t i o n s   N   In i t i a l   p o i n t s   1   Bo o t h   2   (1 0 ,   1 0 ), (1 4 , 1 4 ), (4 0 , 4 0 )   2   Ro s e n b r o c k   2   (5 , 5 ), (2 5 , 2 5 ), ( - 12, - 12)   3   G o l d s t e i n - p r i c e   2   (2 , 2 ), ( - 11, - 1 1 ), ( - 13, - 13)   4   E x t e n d e d   P o w e l l   4   (7 , 7 , 7 , 7 , (1 5 , 1 5 , 1 5 , 1 5 )   5   T ri d i a g o n a l   1   2   (2 ; 2 ),   (1 7 , 1 7 ), (1 0 0 ; 1 0 0 )   6   S t ra i t   2   (1 0 0 , 1 0 0 ),   (5 0 ; 5 0 )   7   G e n e ra l i z e d   Q u a rt i c   2   (1 0 , 1 0 ), (2 0 0 , 2 0 0 ), (1 7 , 1 7 )       F i gu r e s   1 - l i s t   t h e   pe r f o rm a n c e   of   t h e   a b ove   m e t h o ds   r e l a t i v e   t o   i t e r a t i o n s   n u m b e r ,   t h e   n u m b e r   of  gra di e nt   e v a l ua t i o n s   a nd  t h e   CP U   t i m e ,   r e s pe c t i v e l y             F i gu r e   1 .   P e r f o r m a n c e   b a s e e t h e   n u m b e r   o f   i t e ra t i o n s     F i gu r e   2 .   P e r f o r m a n c e   b a s e o t h e   num b e o f   gra di e nt   e v a l u a t i o n s           F i gu r e   3 .   P e r f o r m a n c e   b a s e CP U   t i m e       R e m a r 1 :   F i gu r e s   1 - 3,   s h o w s   t h a t   W Y L M   m e t h o ha s   b e s t   pe r f o r m a n c e   s i n c e   i t   s o l v e s   a b o ut   99%  o f   t h e   t e s t   p r o b l e m s   s uc c e s s f ul l y   E xa m pl e :   E xt e n de R o s e n b r o c f un c t i o n     ( , ) = ( 1 ) 2 + 100 ( 2 ) 2     = ( 1 , 1 ) .     Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2502 - 475 2   In do n e s i a J   E l e c   E ng  &   Co m S c i ,   V o l .   18 ,   N o .   1 A p r i l   20 20  :     5 2 5   -   5 3 2   530   ( , ) = ( 2 + 2 400  + 400 3 200 200 2 )           T a b l e   2 .   E xt e n de R o s e n b r o c f un c t i o ( , ) = ( 1 ) 2 + 100 ( 2 ) 2 ,   x   o pt i m a l   =   (1 ,   1)  N um e ri c a l   r e s ul t s   f o r     ,   W Y   L ,   D Y ,   F R   a n d   P R P   i n   t e rm s   o f   n u m b e r   i t e ra t i o n s   (N I)   a nd  CP U   t i m e   In i t i a l   p o i n t   W Y L M   W Y L   P RP   FR   DY     N I/ CP U   N I/ CP U   N I/ CP U   N I/ CP U   N I/ CP U   (1 0 0 0 , 1 0 0 0 )   2 9 0 / 0 / 8 9 4 8   F a i l e d   8 3 7 7 / 4 2 . 8 9 6 8 4 3   F a i l e d   F a i l e d   (3 0 ,   3 0 )   1 1 9 / 0 . 2 9 1 9 0   1 5 1 1 /   2 . 6 1 3 8 6 3   8 3 7 7 /   4 2 . 8 9 6 8 4 3   3 9 4 4 /   1 6 . 4 8 8   F a i l e d   ( - 1, - 1000)   3 1 6 / 1 . 2 4 1 9   2 3 2 4 /   7 . 4 8 1 2 7 4   F a i l e d   F a i l e d   F a i l e d   ( - 1 , 3 )   8 8 / 1 . 9 9 3 6 4 4   1 4 5 3 2 /   7 5 . 4 4 1 5 8 0   4 6 6 /   2 . 6 0 2 8 2 5   4 2 0 /   2 . 6 7 8 7   1 7 0 /   0 . 2 1 9 4 2   (0 ,   1 )   1 2 4 / 0 . 4 2 5 3 8 3   2 0 0 0 0 /   1 1 8 . 4 6 0 8 9   5 1 0 /   3 . 0 1 0 1 4 5   8 8 . 0 . 2 1 5 2 0 4   1 0 0 /   0 . 3 7 6 9 7 8   (1 ,   4 )   2 2 4 / 0 . 8 0 9 0 2 2   2 0 0 0 / 1 1 3 . 8 4 7 6 5 2   4 5 6 / 2 . 3 3 8 6 9 6   1 3 0 /   2 . 0 8 6 7 9 4   1 0 0   / 0 . 3 7 6 9 7 8   (1 0 0 ,   1 0 0 )   2 1 0 /   0 . 6 0 7 4 0 5   F a i l e d   F a i l e d   5 8 4 0 /   2 5 . 1 0 6   F a i l e d   ( - 1 ,   7 )   2 0 1 /   0 . 7 5 4 3 0 4   2 0 0 0 0 / 1 1 3 . 8 4 7 6 5 2   5 2 7 /   6 . 1 1 8 1 0 1   1 3 0   /   2 . 0 8 6 7 9 4   2 1 9   /   0 . 4 4 2 9 4 5       R e m ar k   2 :   i n   t a b l e   2,   t h e   W Y L M   m e t h o w a s   s u c c e s s f ul   i n   a l l   a t t e m pt s   t o   a c h i e v e   t h e   o pt i m a l   s o l ut i o n ,   w h i l e   t h e   o t h e m e t h o ds   f a i l e d       T a b l e   3 .   S u m m a r y   o f   Re s ul t s   M é t h o d   Ra n k i n g   T h e   s u c c e s s   ra t e   W Y L M   1   100%   P RP   2   75%   FR   3   75%   W Y L   4   75%   DY   5   50%       R e m ar k   3 :   T a b l e   3 ,   s h o w s   t h a t   W Y L M   ha s   b e s t   pe r f o r m a n c e   s i n c e   i t   s o l v e s   a bo ut   100%  o f   t h e   t e s t   p r o b l e m s   s uc c e s s f ul l y       T a b l e   4 .   R o s e n b r o c F un c t i o n ,   I n i t i a l   P o i nt   [ - 3   100]     W Y L M   W Y L   DY   P RP   FR   NI   309   F a i l e d   3505   F a i l e d   2456   CP U ( s )   1 , 0 0 4 8   F a i l e d   1 3 , 2 3 8 9   F a i l e d   8 , 5 2 9 7   X   o p t i m a l   (1 ,   1 )     (1 ,   1 )     (1 , 1 )       F i gu r e s   4   a n 5,   l i s t   t h e   c o m pa r i s o o f   W Y L M   m e t h o a n D Y ,   W Y L ,   P R P ,   F R   m e t h o ds     x0=   [ - 3   100]             F i gu r e   4 .   P e r f o r m a n c e   p r o f i l e s   b a s e o n   t h e   n u m b e r   o f   f un c t i o e v a l ua t i o n s     F i gu r e   5 .   P e r f o r m a n c e   p r o f i l e s   b a s e o n   t h e   n u m b e r   o f   g r a d i e nt   e v a l u a t i o n s   Evaluation Warning : The document was created with Spire.PDF for Python.
In do n e s i a J   E l e c   E ng  &   Co m S c i     IS S N :   2502 - 4752       A   n e w   m odi f i c at i on   non l i n e ar   c onj ugat e   gr adi e nt   m e t hod   w i t s t r ong   w ol f - pow e l l   ( Che r gui   A hm e d )   531   R e m ar k   4 :   F r o m   t h e   F ig u r e s   4 - 5 ,   T h e   W Y L M   m e t h o p e r f o r m s   b e t t e r   t ha n   o t h e r   m e t h o ds   b y   s e l e c t i n g   a   s t a rt i ng  po i nt   w i t t h e   R e s e n b r o c f un c t i o ( , ) = ( 1 ) 2 + 100 ( 2 ) 2     A n d   s h e   i s   b e s t   pe r f o r m a n c e   i n   t e r m s   o f   v a l ue s   g r a d i e n t s   a n d   f un c t i o n s   a n d   t h e   num b e o f   i t e r a t i o n s       5.   C O N C LU S I O N   W e   pr e s e n t   a   n e w   CG   fo r m u l a     t ha t   s i m i l a r   t o   W Y L   m e t h o a nd  t h e   gl o b a l   c o n v e r ge n c e   pr o pe rt i e s   a r e   p r e s e n t e w i t h   s e v e r a l   l i n e   s e a r c h e s .   R e s ul t s   s h o w e t ha t   t h e   n e w   c oe ff i c i e n t   s a t i s f i e s   t h e   s uff i c i e n t   de s c e n t   c o n di t i o n s   a n c o n v e r ge   gl o b a l l y   un de r   s t r o n W o l f e - P ow e l l   l i n e   s e a r c h. i t   i s   p r o ve t ha t   t h e   a l go ri t hm   i s   p r a c t i c a l   a nd  e ff e c t i v e   t o   b e   us e d.   O ur   nu m e ri c a l   r e s ul t s   ha v e   s h ow n   t h a t   o u r   n e w   m e t h o d   ha s   t h e   b e s t   pe r f o r m a n c e   c o m pa r e d   t o   t h e   F R ,   P R P ,   D Y   a n d   W Y L   M e t h o ds       A C K N O WL ED G E M EN TS   W e   a r e   g r a t e f ul   t o   a n o n y m o us   r e f e r é e s   fo r   t h e i r   us e f ul   s ugge s t i o n s   a n d   c o m m e nt   o n   t h i s   pa pe r       R EF ER EN C ES   [ 1]   F l e t c he r ,   R .   ( 1 997 ) .   P r a c t i c a l   m e t ho o f   o pt i m i z a t i o n ,   V o l   I :   U n c o ns t r a i ne o pt i m i z a t i o ( 2nd  e d . ) .   N e w   Y o r :   W i l e y     [ 2]   R .   F l e t c he r ,   C . M .   R e e v e s ,   F unc t i o m i ni m i z a t i o n   by   c o nj ug a t e   g r a di e n t s ,   C om p ut e r   J o ur na l   7   ( 1 964 ) 149   15 4.     [ 3]   H e s t e ne s ,   M .   R . ,   &   S t i e f e l ,   E .   ( 19 52) .   M e t ho o f   c o nj ug a t e   g r a di e n t   f o r   s o l v i ng   l i ne a r   e qu a t i o ns .   J ou r na l   of   R e s e ar c o f   N at i o nal   B u r e au  o f   S t and ar d s ,   49 , 40 9 . 436 .     [ 4]   L i u,   G . ,   &   H a n,   J .   ( 19 95) .   O t h e   g l o ba l   c o n v e r g e nc e   of   c o nj ug a t e   g r a d i e n t   m e t ho ds   w i t i ne x a c t   l i ne   s e a r c h“ .   N um e r i c a l   M a t he m at i c s .   A   J o ur na l   of   C h i ne s e   U n i v e r s i t i e s ,   2 ,   147 . 153.     [ 5]   P o l y a k,   B .   T .   ( 1 969 ) .   T h e   c o nj ug a t e   g r a di e nt   m e t ho i e x t r e m e   pr o bl e m s .   U SSR   C om pu t a t i ona l   M a t m at i c s   and  M a t he m at i c al   P hy s i c s ,   9,   94 . 1 12 .     [ 6]   D a i ,   Y .   H ,   Y ua n ,   Y .   ( 2 000 ) .   A   N o nl i ne a r   C o nj ug a t e   G r a d i e n t   w i t h   S t r o ng   G l o ba l   C o nv e r g e nc e   P r o pe r t i e s SI A M   [ 7]   D a i ,   Y .   ( 20 01 ) .   C o nv e r g e nc e   o f   no nl i ne a r   c o nj ug a t e   m e t ho ds .   J o ur n a l   of   C om pu t a t i o na l   M at he m at i c s   19,   53 9. 5 49 .     [ 8]   D a i ,   Y . ,   &   Y ua n ,   Y .   ( 199 5) .   F ur t h e r   s t ud i e s   o t h e   P o l a k - R i b i è r e - P o l y a m e t ho d“ .   R e s e a r c r e po r t   I C M - 95 - 040,   I ns t i t u t e   o f   C o m put a t i o na l   M a t he m a t i c s   a n S c i e n t i . c / E ng i n e e r i ng   c o m put i ng ,   C hi ne s e b   A c a de m y   of   S c i e nc e s .     [ 9]   L i u,   G . ,   &   H a n,   J .   ( 19 95) .   O t h e   g l o ba l   c o n v e r g e nc e   of   c o nj ug a t e   g r a d i e n t   m e t ho ds   w i t i ne x a c t   l i ne   s e a r c h“ N um e r i c a l   M a t he m at i c s .   A   J o ur na l   of   C h i ne s e   U n i v e r s i t i e s ,   2 ,   147 . 153.     [ 10]   W e i ,   Z . ,   Y a o ,   S . ,   &   L i u,   L .   ( 2006 b) .   T he   c o nv e r g e nc e   pr o pe r t i e s   o f   s o m e   ne w   c o nj ug a t e   g r a di e nt   m e t hods A ppl i e M a t he m at i c s   a nd   C om pu t a t i on ,   1 83,   1 341 . 135 0.     [ 11]   A r m i j o ,   L .   ( 19 66) .   M i n i m i z a t i o o f   f unc t i o ns   ha v i ng   L i ps c hi t z   c o ndi t i o ns   pa r t i a l   d e r i v a t i v e s .   P ac i . c   J our na l   o f   M a t he m at i c s ,   16 ,   1. 3 .     [ 12]   Al - ba a l i ,   A .   ( 198 5) .   D e s c e nt   p r o pe r t y   a nd  g l o ba l   c o nv e r g e nc e   of   t he   F l e t c he r - R e e v e s   m e t ho w i t i n e xa c t   l i n e   s e a r c h“ .   I M A   J o ur n al   o f   N um e r i c a l   A na l y s i s ,   5 ,   121 . 12 4.     [ 13]   D a i ,   Y . ,   &   Y ua n ,   Y .   ( 200 1) .   A e f f i c i e nt   hy br i c o nj ug a t e s   g r a di e n t   m e t ho f o r   unc o ns t r a i ne o pt i m i z a t i o n“ .   A nn al s   of   O pe r a t i ons   R e s e ar c h ,   103 , 33 . 4 7.     [ 14]   D a i ,   Y . ,   H a n,   J . ,   L i u,   G . ,   S u n,   D . ,   Y i n,   H . , &   Y a n,   Y .   ( 19 99) .   C o nv e r g e nc e   pr o pe r t i e s   o f   t he   no nl i n e a r   c o nj ug a t e   m e t ho ds .   SI A M   J o ur n al   on   O p t i m i z a t i on ,   2,   34 5. 358 .     [ 15]   G r i p po ,   L . ,   L a m pa r i e l l o ,   F . ,   &   L uc i di ,   S .   ( 198 6) .   A   no nm o no t o n e   l i n e   s e a r c t e c hn i que   f o r   N e w t o n’ s   m e t ho d“ .   SI A M   J ou r na l   o N um e r i c al   A na l y s i s ,   23 , 7 07. 716 .     [ 16]   G r i p po ,   L . ,   &   L uc i di ,   S .   ( 19 97) .   A   g l o ba l l y   c o n v e r g e nt   v e r s i o o f   t he   P o l a k - R i b i è r e   g r a di e nt   m e t ho d“ .   M a t he m at i c a l   P r og r am m i ng ,   7 8,   3 75. 391 .     [ 17]   L i u,   G . ,   &   H a n,   J .   ( 19 95) .   O t h e   g l o ba l   c o n v e r g e nc e   of   c o nj ug a t e   g r a d i e n t   m e t ho ds   w i t i ne x a c t   l i ne   s e a r c h“ .   N um e r i c a l   M a t he m at i c s .   A   J o ur na l   of   C h i ne s e   U n i v e r s i t i e s ,   2 ,   147 . 153.     [ 18]   A ndr e i ,   A unc o ns t r a i n e d   o pt i m i z a t i o t e s t   f unc t i o ns   c o l l e c t i o n” ,   A dv   M o de l   O p t i m 10   ( 2 008 ) ,   14 7 - 161 .     [ 19]   A n d r e a ,   C . ,   G i ova n ni ,   F .   &   M a s s i m o,   R .   N ov e l   pr e c o ndi t i o ne r s   ba s e on  q ua s i - N e w t on  upd a t e s   f o r   n onl i ne a r   c o nj u ga t e   g r a di e nt   m e t h o ds   O p t i m   L e t t   A pr i l   20 17 V ol u m e   1 1,   pp   8 35 - 8 53 .     [ 20]   Al - B a a l i ,   M . ,   C a l i c i ot t i , A . , F a s a n o,   G .   e t   a l .   E xpl o i t i n g   da m p e t e c hni que s   f o r   n o nl i ne a r   c o nj u ga t e   g r a di e nt   m e t h o ds   M a t M e t O pe r   R e s   ( 2 0 17 )   “,   86 :   5 01 .     [ 21]   C a l i c i o t t i   A ndr e a 1,   F a s a no   G i o v a nni R om a   M P r e c ondi t i on i n s t r at e g i e s   f or   non l i ne ar   c onj ug at e   gr ad i e nt   m e t hods ,   ba s e d   o q ua s i - N e w t o upda t e s   A I P   C o nf e r e nc e   P r o c e e d i ng s   1 776 ,   0900 07   ( 2 016 ) .     [ 22]   Al - B a a l i   M . ,   C a l i c i o t t i   A . ,   F a s a n G . ,   R om a   M .   ( 2 01 8)   Q u as i - N e w t o n   B a s e P r e c o nd i t i oni n a nd   D a m p e Q u as i - N e w t o Sc h e m e s   f or   N o nl i n e ar   C o n j u g at e   G r ad i e nt   M e t h o ds .   I n :   A l - B a a l i   M . ,   G r a nd i n e t t i   L . ,   P u r n a m a   A .   ( e ds )   N u m e r i c a l   A n a l y s i s   a n d   O pt i m i z a t i on .   N A O   2 0 17 .   S pr i n ge r   P r oc e e di n gs   i n   M a t h e m a t i c s   &   S t a t i s t i c s ,   vol   2 3 5.   S p r i n ge r ,   C ha m .     [ 23]   C a l i c i o t t i ,   A ndr e a ,   F a s a no ,   G i o v a nni   ; R o m a ,   M a s s i m o ,   P r e c o ndi t i o ne N o nl i ne a r   C o nj ug a t e   G r a d i e nt   m e t ho ds   ba s e o a   m o di f i e s e c a nt   e qu a t i o n“ ,   A pp l i e M a t he m at i c s   and   C om put at i on ,   V o l um e   318 ,   1   F e b r ua r y   2018,   P a g e s   1 96 - 214 .     Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2502 - 475 2   In do n e s i a J   E l e c   E ng  &   Co m S c i ,   V o l .   18 ,   N o .   1 A p r i l   20 20  :     5 2 5   -   5 3 2   532   [ 24]   A .   P i e t r a b i s s a   a n L .   R i c c i a r d i   C e l s i ,   " D i s c r e t e - T i m e   S e l f i s R o ut i ng   C o n v e r g i ng   t o   t he   W a r dr o E qu i l i b r i um , "   i I E E E   T r a ns a c t i on s   on  A u t om a t i c   C ont r o l ,   v o l .   64 ,   no .   3,   pp.   1 288 - 129 4,   M a r c 2019 .   do i :   10. 1109 / T A C . 201 8. 2847 602 .     [ 25]   A .   D i   G i o r g i o ,   A .   G i us e p pi ,   F .   L i be r a t i ,   A .   O r na t e l l i ,   A .   R a be z z a no   a nd  L .   R .   C e l s i ,   " O t he   opt i m i z at i o of   e ne r gy   s t o r age   s y s t e m   pl ac e m e nt   f o r   pr o t e c t i ng  pow e r   t r an s m i s s i o g r i d s   agai ns t   dy nam i c   l oad  a l t e r i ng  a t t ac k s , "   20 17   25t h   M e d i t e r r a n e a n   C o nf e r e nc e   o C o nt r o l   a nd   A ut o m a t i o ( M E D ) ,   V a l l e t t a , 2017 , pp . 9 86 - 992 .   do i :   10. 1 109 / M E D . 2 017 . 798 4247 .     [ 26]   L .   R .   C e l s i ,   A .   D i   G i o r g i o ,   R .   G a m but i ,   A .   T o r t o r e l l i   a nd  F .   D e l l i   P r i s c o l i ,   " O t he   m any - to - m an y   c ar p oo l i n pr ob l e m   i t he   c on t e x t   o f   m ul t i - m oda l   t r i pl a nni ng ,"   2017  25 t M e di t e r r a ne a C o nf e r e nc e   o C o nt r o l   a nd   A ut o m a t i o ( M E D )   V a l l e t t a ,   2017 , p p.   30 3 - 309. do i :   10. 11 09 / M E D . 2017 . 798 4135 .     [ 27]   V .   S u r a c i ,   L .   R .   C e l s i ,   A .   G i u s e p pi   a nd   A .   D i   G i o r g i o ,   " A   d i s t r i bu t e w ar dr op   c o nt r ol   al gor i t hm   f or   l o ad  b al anc i ng   i s m a r t   gr i d s , "   201 25t M e di t e r r a ne a C o nf e r e nc e   o C o n t r o l   a nd  A ut o m a t i o ( M E D ) ,   V a l l e t t a ,   2017 ,     pp.   76 1 - 767.         B I O G R A P H I ES   O F   A U T H O R S         A hm e c he r g ui   pr o f e s s o r   o f   M a t he m a t i c s D e p a r t m e n t   o f   M a t h e m a t i c s   a nd  C o m put e r   S c i e nc e   L a r bi   T e be s s i   U n i v e r s i t y - T e be s s a ,   A l g e r i a .   E m a i l :   a hm e d . c h e r gu i @ u ni v - t e b e s s a . dz U n i v e r s i t y   o f   kh e n c h e l a   D e p a r t m e n t   o f   M a t he m a t i c s   a nd  C o m p ut e r   S c i e nc e A l ge ri a   E m a i l :   A hm e dc . 48@ gm a i l . c o m           T a he r   B o ua l i   D r   M a t he m a t i c s ,   D e pa r t m e nt   o f   M a t h e m a t i c s   a n C o m put e r   S c i e nc e L a r b i   T e be s s i   U n i v e r s i t y   -   T e be s s a ,   A l g e r i a ,   E m a i l :   t a ha r. b o ua l i @ u ni v - t e b e s s a . dz         Evaluation Warning : The document was created with Spire.PDF for Python.