I n d on e s i an   Jo u r n al   o El e c t r i c al   En gi n e e r i n g   an d   C o m p u te r   S c i e n c e   V o l .   17 ,   N o .   1 J a n u a r y   20 20 ,   pp .   4 04 ~ 41 1   IS S N :   2502 - 4752 ,   D O I :   10. 1 1591 / i j e e c s . v 1 7 .i 1 . pp 404 - 411             404       Jou r n al   h o m e pa ge ht t p: / / i j e e c s . i a e s c or e . c om   A   n e w   k i n d   o f   p a r a m e t e r   c o n j u g a t e   g r a d i e n t   f o r     u n c o n st r a i n e d   o p t i m i z a t i o n       B as i m   A .   H as s an 1 ,   H u s s e i n   O .   D ah aw i 2 ,   A z z am   S .   Y o u n u s 3   1 D e pa r t m e n t   o f   M a t h e m a t i c s ,   C o l l e g e   o f   C o m put e r s   S c i e nc e s   a nd   M a t he m a t i c s ,   U ni v e r s i t y   o f   M o s ul ,   I r a q   2 , 3 D e pa r t m e n t   o f   M a t he m a t i c s ,   C o l l e g e   o f   E duc a t i o o f   P u r e   S c i e nc e s ,   U n i v e r s i t y   o f   M o s ul ,   I r a q       A r ti c l e   I n fo     A B S TR A C T   Ar t i c l e   h i s t or y :   R e c e i v e M a 4 ,   20 19   R e v i s e d   J un   2 ,   2019   A c c e pt e J ul   1 2 ,   201 9       T he   ke y   f e a t ur e   f o r   c o nj ug a t e   g r a d i e n t   m e t ho ds   i s   a   c o nj ug a t e   pa r a m e t e r   o pt i m a l   f o r   s o l v i ng   unr e s t r a i n e m i n i m i z a t i o f unc t i o ns .   I t h i s   pa p e r ,   a   r e p l a c e m e n t   n e w   pa r a m e t e r   c o nj ug a t e   g r a d i e n t   f o r   unc o ns t r a i n e o pt i m i z a t i o n.   T h e   s uf f i c i e n t   de s c e nt   p r o pe r t y   c l e a v e   t o .   T he   g l o ba l   c o n v e r g e nc e   pr o pe r t y   o f   t he   ne w   m e t ho i s   pr o v e und e r   s o m e   a s s um pt i o ns .   N um e r i c a l   r e s u l t s   e xp l a i t h a t   t he   ne w   pa r a m e t e r   i s   s upe r i o r   i pr a c t i c e .   Ke y w or ds :   Co n j uga t e   g r a d i e nt   m e t h o ds   Co n v e r ge n c e   p r o pe rt y     S uff i c i e n t   de s c e n t   p r o pe rt y   C opy r i gh t   ©   2020   I n s t i t ut e   o f   A dv anc e E ng i ne e r i ng   and   S c i e nc e .     A l l   r i g h t s   r e s e r v e d .   Cor r e s pon di n g   Au t h or :   B a s i m   A .   H a s s a n   D e pa rt m e n t   o f   M a t h e m a t i c s ,     Co l l e ge   of   Co m put e r s   S c i e n c e s   a n d   M a t h e m a t i c s ,     U n i v e r s i t y   of   M o s ul ,   I r a q   E m a i l b a s i m a b a s 39@ g m a i l . c o m       1.   I N TR O D U C TI O N   In   t h e   l i t e ra t u r e   s e v e r a l   o pt i m i z a t i o n   s t ra t e gi e s   m a y   be   o r i g i n a t e   w i t h   (t h e o r e t i c a l l y a   m uc h   b e t t e s pe e of   c o n v e r ge n c e   t h a t h e   de s c e n t   g r a d i e nt   m e t h o ds .   M a y be   t h e   f o r e m o s t   do c um e n t e o n e s   a r e a   u ni t   t h e   c o n j uga t e   g r a di e n t   a nd  q ua s i - N e w t o n   s t ra t e gi e s .   F o de t a i l s   s e e   [1].   G e n e ra l l y ,   fo r   n   n um b e o f   v a r i a b l e s   o f   t h e   p r o b l e m   ha s   t h e   f ol l o w i n f r o m :     n R x x f ) ( m i n   (1)     w h e r e   1 : R R f n   i s   a   c o nt i n uo us l y   de r i v a b l e   f un c t i o n.   N o n l i n e a c o n j uga t e   g r a di e n t   a l go ri t hm s   a r e   b a s e o t h e   f o l l ow i n i t e r a t i v e   s c h e m e   :     k k k k n d x x R x 1 0 ,   (2)     w h e r e   t h e   s e a r c h   di r e c t i o 1 k d   i s   o ut l i n e a s   a   l i n e a r   c o m b i na t i o n   o f   t h e   p r e s e nt   b y   pr o duc t   1 k   a n a l s o   t h e   e a r l i e s e a r c h   d i r e c t i o k d   :     k k k k d d d 1 1 0 0 ,   (3)   Evaluation Warning : The document was created with Spire.PDF for Python.
In do n e s i a J   E l e c   E ng  &   Co m S c i     IS S N :   2502 - 4752       A   n e w   k i nd  of   par am e t e r   c o nj uga t e   gr ad i e n t   f or   unc o ns t r ai n e o pt i m i z at i on   ( B as i m   A .   H as s an )   405   w h e r e   k   i s   a   p a r a m e t e c o n j uga t e   g r a d i e nt ,   1 k   de n o t e s   g r a di e nt   o f   ) ( 1 k x f   a t   t h e   po i nt   1 k x k k k x x s 1   a n d   k k k y 1 .   M o r e   de t a i l s   c a b e   f o un i [2] .   T h e   s t e s i z e   k   i s   de c i de d   i l i n e   w i t h   t h e   W o l f e   l i n e   s e a r c s t a t e s   a s   f o l l ow s   :     k T k k k k k k d d x f x f  ) ( ) (   ( 4 )       k T k k T k k k d d d x  ) (     (5)     w h e r e   1 0   a n d   k d   i s   a   de s c e n t   d i r e c t i o n   0 k T k d .   F o r   de t a i l s   s e e   [3] .   It   i s   w e l l   k n o w n   t h a t   i f   t h e   m a t r i x   o f   gr a di e n t   i s   po s i t i v e   de f i ni t e ,   t h e   m o s t   e f f i c i e n t   s e a r c h   d i r e c t i o n   a t   k x   i s   t h e   N e w t o n   di r e c t i o n :     1 1 1 1 1 1 1 ) ( k k k k k G d   (6)     F r o m   t h e   s e c a nt   c o ndi t i o t ha t   :       k k T k y s ) ( 1   (7)     M o r e   de t a i l s   c a b e   f o un i [4] .     T h e   c o n j u ga t e   g ra di e n t   m e t h o ds   di f f e r e n t   de pe nd  o n   t h e   c a l c ul a t i o n   o f   pa r a m e t e r s   k .   T h e   i de a   o v a r i a n t   CG   m e t h o ds   ha b e e n   s t udi e by   m a n y   r e s e a r c h e r s   fo r   e xa m p l e ,   s e e   ( H e s t e n e s   a n S t i e f e l   [5])  a n d   (F l e t c h e r   a n d   R e e v e s   [6]).     k T k k T k FR k k T k k T k HS k d y y 1 1 1 ,   (8)     T h e   m o t i v a t i o n   o f   t h i s   p a pe r   i s   t o   c o m b i n e   t h e   a dv a nt a ge s   o f   c o n j uga t e   g ra di e n t   di r e c t i o n   CG k d 1   a n d   N e w t o n   di r e c t i o n   N k d 1   i o r de t o   p r o v i de   n o v e l   pa ra m e t e r   w i t b e t t e c o n v e r ge n c e .       2.   A   N EW   K I N G   O F   P A R A M ETER   C O N JU G A TE   G R A D I EN T   In  t hi s   s e c t i o n,   w e   de ri v e   a   n e w   pa ra m e t e r   c o n j uga t e   g ra di e n t   b a s e o n   t h e   t hr e e   o r de t e n s o m o de l .     B a s e o n   t h e   t hr e e   o r de r   t e n s o r   m o de l ,   t h e   i n f o rm a t i o o f   t h e   s e c o n o r de r   c u r v a t u r e   i t h e   f o l l o w i n f r o m   :     k T k k k k k T k k k T k s f f s y s G s ) ( 3 ) ( 6 1 1 1   (9)     F o r   m o r e   de t a i l s   c a n   b e   f o un i n   [7 ].   T h e   s t e s i z e   k   de t e r m i n e   by   m a n y   a l go r i t hm s ,   i n   e x a c t   l i n e   s e a r c h   t h e   s t e l e n gt h   k   i s   c h o o s e   a s   :     k T k k T k k Gd d d   ( 10 )     W e   pr o duc e   t h e   s t e ps ,   t ha t   l e a d   t o   a   n e w   s e c o n o r de c u r v a t ur e   a s   b e l ow   :     k T k k T k k k k k T k s s f f s G s 6 3 3 2 ) ( 1 1 1   (11)     Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2502 - 4752   In do n e s i a J   E l e c   E ng  &   Co m S c i ,   V o l .   17 ,   N o .   1 J a n u a r y   20 20  :     404 - 411   406   w h i c i m pl i e s   t ha t   :     n n k T k k T k k T k k k k I s s s s f f G 2 / 1 3 / 2 ) ( 1 1 1   (12)     S i n c e   k T k k T k k T k s s s y 1 ,   t h e f r o m   t h e   a b ov e   e qua t i o n,   w e   ha v e     n n k T k k T k k T k k k k I s s s s y f f G 1 1 1 6 / 1 2 / 1 ) (   (13)     T h e N e w t o n   di r e c t i o n   c a b e   w r i t t e a s   :     1 1 1 1 6 / 1 2 / 1 ) ( k k T k k T k k k k T k k s s y f f s s d   (14)     By   c o m b i n e   t h e   a dv a nt a ge s   o f   CG k d 1   a nd  N k d 1   ,   s o ,   t h e   e qua t i o i s   h o l :       k k k k k d 1 1 1 1 ) (   (15)     N ow ,   w e ' l l   r e a l i z e   t h e   pa ra m e t e r k . E qua t i o (1 5)  m ul t i p l i e d   by   , T k y   t h e w e   ge t   :     k T k k k T k k T k k T k k T k k k k T k y d y y s s y f f s s 1 1 1 1 6 / 1 2 / 1 ) (     k T k k T k k k T k k T k k k k T k k T k k y y s s y f f s s y d 1 1 1 1 6 / 1 2 / 1 ) (   (16)     f r o m   (16)   w e   ge t   :   k T k k T k k T k k k k T k k T k k y s s y f f s s y d 1 1 1 6 / 1 2 / 1 ) ( 1     t h e w e   ha v e   :     k T k k T k k T k k T k k k k T k k y d y s s y f f s s 1 1 1 6 / 1 2 / 1 ) ( 1   (17)     T h e t h e   n e w   c o n j uga t e   g r a d i e n t   di r e c t i o n s   a r e   :     k k T k k T k k T k k T k k k k T k k k d y d y s s y f f s s g d 1 1 1 1 1 6 / 1 2 / 1 ) ( 1   (18)     F o r   s i m pl i c i t y , w e   c a l l   e qua t i o n ) 17 (   by   B A H k   m e t h o ds .   A l s o   B A H k   c a b e   w r i t e   i t h e   m a nn e r   :     Evaluation Warning : The document was created with Spire.PDF for Python.
In do n e s i a J   E l e c   E ng  &   Co m S c i     IS S N :   2502 - 4752       A   n e w   k i nd  of   par am e t e r   c o nj uga t e   gr ad i e n t   f or   unc o ns t r ai n e o pt i m i z at i on   ( B as i m   A .   H as s an )   407   1 2 1 k T k k T k k k k T k BAH k s y s y r y y r   (1 9)     W h e r e :     k T k k T k k k k T k k T k k T k k k T k s s f f s s s s y s y y s r 2 / 1 3 / 2 ) ( * ) ( 1 1 2 2   (20)     N ow   w e   a r e   r e a dy   t o   s t a t e   t h e   s t e ps   o f   t h e   n e w   c o n j uga t e   g ra di e nt   m e t h o ds .   N e w   A l go r i t h m s   (B A H   A l go r i t hm s :   S te p   1 .   G i v e   n R x 1 .   S e t   1 k   a nd  1 1 d .   S te p   2 .   S t o i f   6 1 10 .   O t h e r w i s e ,   c o n t i nue .     S te p   3 .   F i nd  0 1 k   f ul f i l l i n t h e   W o l f e   s t a t e s   (4)   a nd  (5 ).   S te p   4 .   S e t   k k k k d x x 1 .   If   6 1 10 k ,   t h e s t o p.     S te p   5 .   Co m p ut e   k   by   t h e   f o r m u l a e s   ) 19 ( a n d   1 k d   by   ) 3 ( .   S te p   6 .   P u t   1 k k .   G o   t o   s t e p   2.       3.   C O N V ER G EN T   A N A L Y S I S   G l o b a l   c o n ve r ge n c e   o f   t h e   B A H - a l go r i t hm   w i l l   b e   pr o v e i n   t h i s   s e c t i o u n de r   t h e   f o l l ow i n a s s um pt i o n.     A s s u mp t i o n s   i - ) ( x f   i s   b o un de b e l ow   o n   n R .   i i -   T h e   g r a di e n t   ) ( x   i s   L i ps c hi t z   c o nt i n uo us ,   na m e l y ,   t h e r e   e xi s t s   0 L   s uc h   t ha t   :     U x x x x L x x k k k k k k , , ) ( ) ( 1 1 1   (21)     U n de r   t h e s e   a s s um p t i o n s   o , f   t h e n   a   c o n s t a nt   0 e xi s t s ,   s uc t ha t   :     1 k   (22)     fo r   a l l   L x .   M o r e   de t a i l s   c a b e   f o un i [8] .     T h e   s uf f i c i e n t   de s c e n t   c o n di t i o ha s   a   v e r y   i m po rt a nt   p r o pe r t y .     3. 1 .      S u ffi c i e n t   d e s c e n c o n d i ti o n     F o r   t h e   s uf f i c i e n t   s t a t e s   t o   h o l d,   t h e :     0 , 2 1 1 1 c c d k k T k   (23)     Th e o r e m   3. 1   L e t   R R y s k n k k k , , , 1   a n k   de f i n e by   (19)  w h e r e   ) , 4 / 1 ( t .   If   , 0 k T k y s   t h e n   2 1 1 1 4 1 1 k k T k r d       Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2502 - 4752   In do n e s i a J   E l e c   E ng  &   Co m S c i ,   V o l .   17 ,   N o .   1 J a n u a r y   20 20  :     404 - 411   408   P r oo   S i n c e   , 0 0 d   w e   h a v e   , 2 0 0 0 d T   w h i c h   s a t i s fy   ) 23 ( .   M ul t i pl y i n g   ) 16 (   by   , 1 k w e   ha v e   :     1 1 2 2 1 2 1 1 1 ) ( k T k k T k k T k k k T k k T k k k T k s s y s y r y s y d   (24)     Y i e l di n g   :     2 2 1 2 2 2 1 1 1 1 1 ) ( ) ( ) ( ) )( )( ( k T k k T k k k T k k k T k k T k k T k k T k y s s y r y s y s s y d   (25)     W e   a pp l y i n t h e   i n e qua l i t y   ) ( 2 1 2 2 v w v w T w i t h   1 ) ( 1 k k T k y s m w   a n k k T k y s m v ) ( 1   w h e r e   ], 2 , 2 1 ( r m   t o   t h e   f i r s t   t e rm   o f   t h e   a b o ve   e qua l i t y ,   w e   ge t   :     2 2 1 2 2 1 2 2 1 1 ) ( ) ( 1 2 1 ) )( )( ( k k T k k k T k k T k k T k k T k y s m y s m y s s y   (26)   T h i s   y i e l ds   :     2 2 2 1 2 2 1 2 2 1 1 ) ( ) ( 2 ) ( 1 2 1 k T k k k T k k k T k k T k y s y s r m y s m d   (27)     f r o m   ) 23 (   w e   ge t   :     2 1 2 2 1 2 1 1 2 1 1 1 2 1 k k k T k m m d   (28)     T h e r e f o r e ,   w e   ge t   :     2 1 1 1 4 1 1 k k T k r d   (29)     N e xt   w e   w i l l   s h o w   t h a t   CG   m e t h o ds   w i t B A H   c o n v e r ge s   gl ob a l l y .     3. 2 .      G l o b al   c o n v e r ge n c e   p r o p e r ty   D a i   e t   a l .   e xp r e s s e i n   [9]  t ha t   t h e   s ub s e que n t   r e s ul t   h a b e e n   b a s i c a l l y   e s t a b l i s h e Z o ut e n di j a nd  W o l f e .   Le m m 1.     L e t   a s s um p t i o n s   (i )   a nd  ( i i )   h o l ds .   T h e   k   i s   t a ke   b y   t h e   W o l f e   l i n e   s e a r c ) 4 (   a n d   ) 5 ( If   :     0 2 1 , 1 k k d   (30)     Evaluation Warning : The document was created with Spire.PDF for Python.
In do n e s i a J   E l e c   E ng  &   Co m S c i     IS S N :   2502 - 4752       A   n e w   k i nd  of   par am e t e r   c o nj uga t e   gr ad i e n t   f or   unc o ns t r ai n e o pt i m i z at i on   ( B as i m   A .   H as s an )   409   t h e n       0 i n f lim 1 k k   (31)     Th e o r e m   3. 2   P r e s um e   t ha t   t h e   s t a t e s   i n   A s s um p t i o n   h o l d.   If   1 k d   a n 1 k   a r e   ge ne r a t e by   n e w   t e c h ni que ,   t h e   0 i n f lim 1 k n .     P r oo :   F r o m   ( 6)  a n d   de f i ni t i o n   o f   k   by   (19)   w e   ge t   :     1 1 1 1 2 1 1 1 1 2 1 1 1 1 1 2 k k k k k k k k k k k k k k k k k k k k k k k k k k T k k k k k k k k k k k k r s y s y r y s y s y s s y r y s y s s y s y r y d d d d   (32)     T h i s   r e l a t i o e xpl a i n   t o   f a c i l i t a t e   :     1 1 2 1 1 1 2 1 1 k k k r d   (33)     Co n s e que n t l y ,   f r o m   L e m m a   w e   h a v e   0 i n f lim 1 k k ,   w h i c h   f o r   t a r ge t   pe r f o r m   i s   u n i f o r m l y ,   t h e e qui v a l e n t   t o   0 l i m 1 k k .       4.   N U M ER I C A R ES U LTS   W e   t e s t e B A H - a l go r i t h m .   T h e   t e s t   f un c t i o n s   a n t h e i pr i m a r y   v a l ue s   a r e   w a n   f r o m   [10].     F urt h e rm o r e ,   O pt i m i z a t i o n   p r o b l e m s   us e i n   m a n y   pa pe r s   f o r   e xa m pl e ,   s e e   [11 - 1 8 ].   I n   a ddi t i o t o   t h e s e   f un c t i o n s ,   t h e r e   a r e   v a r i o us   o t h e f un c t i o n s   t ha t   h a v e b e e n   us e fo r   t e s t i ng  i t h e   f o l l o ow i n r e s e a r c h   [ 19 - 25   ] .   T h e   num e r i c a l   r e s ul t s   a r e   r e po r t e i n   T a b l e   :   t h e   f i r s t   c o l um n   a n t h e   s e c o n o n e   r e p r e s e n t   t h e   p r o b l e m   na m e   a n i t s   d i m e n s i o n   i [10 ],   r e s pe c t i v e l y .   N I,   N R   a n d   N F   i n   t h e   t a b l e   d en o t e   t h e   n um b e o f   i t e r a t i o n s ,   f un c t i o e v a l ua t i o n s   a n d   t h e   n u m b e r   o f   r e s t a rt   c a l l s ,   r e s pe c t i v e l y .     A l l   t h e   a l go r i t h m   a r e a   u n i t   e n f o r c e i F o r t ra n   9 ni n e t y .   A l l   t o l c a s e s ,   do ub l e   pr e c i s e n e s s   a r i t hm e t i c   w e r e   us e d.   T h e   pa r a m e t e r s   i n   W o l f e   s t a t e s   a r e a   uni t   s e t   a s   001 . 0 1   a n 9 . 0 2 .   B A H - a l go ri t hm   i s   e f f i c i e n t   w e   s e e   f r o m   T a b l e   1 .             Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2502 - 4752   In do n e s i a J   E l e c   E ng  &   Co m S c i ,   V o l .   17 ,   N o .   1 J a n u a r y   20 20  :     404 - 411   410   T a b l e   1 .   T h e   N u m e ri c a l   R e s ul t s   o f   t h e   F R   a nd  B A H   M e t h o ds   BA H   a l g o ri t h m   F a l g o ri t h m   n   P .   N o .   NF   NR   NI   NF   NR   NI   95   21   42   93   18   47   100   1   86   18   3 9   131   45   78   1000   41   10   22   52   15   32   100   2   44   12   23   42   10   22   1000   45   9   24   43   11   25   100   3   54   5   25   741   28   46   1000   68   16   35   64   13   32   100   4   55   11   28   129   46   77   1000   29   9   17   25   6   15   100   5   281   20   26   F   F   F   1000   69   18   43   67   8   37   100   6   91   20   58   115   27   7 3   1000   163   45   72   174   32   89   100   7   226   52   88   211   40   107   1000   54   14   24   65   12   32   100   8   89   21   36   116   22   53   1000   18   6   10   18   4   9   100   9   55   7   9   82   7   12   1000   140   30   93   123   21   74   100   10   567   77   341   616   88   370   1000   653   37   54   1202   50   69   100   11   502   33   46   1 967   82   98   1000   40   12   21   45   11   23   100   12   41   9   17   55   11   27   1000   33   12   18   66   22   49   100   13   26   9   13   166   67   129   1000   25   9   14   156   62   122   100   14   29   10   16   166   66   130   1000   65   19   44   147   55   112   100   15   82   34   61   145   54   110   1000   3485   585   1333   7022   933   1999     T o t a l   F   :   T h e   a l g o ri t h m   f a i l   t o   c o n v e r g e   P ro b l e m s   n u m b e r s   i n d i c a n t   f o :   1 .   i s   t h e   E x t e n d e d   R o s e n b ro c k ,   2 .   i s   t h e   E x t e n d e d   B e a l e ,   3 .   i s   t h e   G e n e ra l i z e d   T ri d i a g o n a l   1 ,   4 .   i s   t h e   E x t e n d e d   T ri d i a g o n a l   1 ,   5 .   i s   t h e   E x t e n d e d   T h r e e   E x p o   T e r m s ,   6 .   i s   t h e   G e n e ra l i z e d   T ri d i a g o n a l   2 ,   7 .   i s   t h e   E x t e n d e d   M a ra t o s ,   8 .   i s   t h e   E x t e n d e d   Q u a d ra t i c   P e n a l t y   Q P 2 ,   9 .   i s   t h e   A R W H E A D   (C U T E ),   1 0 .   i s   t h e   P a rt i a l   P e rt u r b e d   Q u a d ra t i c ,   1 1 .   i s   t h e   E D E N S CH   (C U T E ) ,   1 2 .   i s   t h e   L I A RW H D   (C U T E ),   1 3 .   i s   t h e   D E N S CH N (C U T E ),   1 4 .   i s   t h e   E x t e n d e d   Bl o c k - D i a g o n a l   BD 2 ,   1 5 .   i s   t h e   G e n e ra l i z e d   q u a rt i c   G Q 2 .       Ca n   s u m m a ri z e   o ur  n u m e ri c a l   r e s ul t s   i T a b l e   b a s e o n   t he   pe r c e n t a ge   pe r f o r m a n c e   f o r   a l l   T o o l s   us e i n   t h e s e   c o m pa ri s o n s .       T a b l e   2 .   P e r c e n t a ge   P e r f o r m a n c e   o f   t h e   M e t h o ds   NF   NR   NI     1 0 0   %   1 0 0   %   1 0 0   %   FR   4 9 . 6 2   %   6 2 . 7 0   %   6 6 . 6 8   %   BA H       It   i s   c l e a r   f r o m   T a b l e   t h a t   t a ki ng,   o v e r   a l l   t h e   t o o l s   a s   a   10 0%  f o r   F R   m e t h o t h e   B A H   m e t h o ha s   a n   i m p r o v e m e n t ,   i a b o ut   33%  N ;   3 7%  N R   a nd  50 N F ,   t h e s e   r e s ul t s   i n d i c a t e   t ha t   N e w   m e t h o i s   i ge n e ra l   i s   t h e   b e s t   .       5.   C O N C LU S I O N S     A   n e w   ki n o f   pa r a m e t e i t h e   c o n j uga t e   g r a d i e n t   m e t h o ds   fo r   l a r ge - s c a l e   u n c o n s t ra i n e d   o pt i m i z a t i o n   p r o b l e m s   i s   pr o po s e d.   Re ve a l   N um e r i c a l   t h a t   t h e   n e w   m e t h o i s   s upe r i o r   i n   p r a c t i c e   w i t c o m pe t i t i v e   F R   m e t h o d.   W e   c h o o s e   t h e   p a ra m e t e r   k   a pp ro pr i a t e l y ,   t o   boo s t   t h e   pe r f o r m a n c e   o f   t h e   c o n j uga t e   g r a di e n t   m e t h o ds .       R EF ER EN C ES   [ 1]   P l u i m   J . P . W . ,   L i k a r   B . ,   a nd  G e r r i t s e F . A . ,   A   c o m pa r i s o o f   a c c e l e r a t i o t e c hni que s   f o r   no nr i g i d   m e d i c a l   i m a g e   r e g i s t r a t i o n ,   U n i v e r s i t y   M e d i c a l   C e nt e r   U t r e c ht ,   I m a g e   S c i e nc e s   I ns t i t u t e ,   200 6,   pp .   151 - 15 9.     Evaluation Warning : The document was created with Spire.PDF for Python.
In do n e s i a J   E l e c   E ng  &   Co m S c i     IS S N :   2502 - 4752       A   n e w   k i nd  of   par am e t e r   c o nj uga t e   gr ad i e n t   f or   unc o ns t r ai n e o pt i m i z at i on   ( B as i m   A .   H as s an )   411   [ 2]   S a m a B . K .   a nd   R e z a   G . , ”  hy br i di z a t i o o f   t he   H e s t e ne s S t i e f e l   a nd  D a i - Y ua c o nj ug a t e   g r a di e n t   m e t ho ds   b a s e o a   l e a s t s q ua r e s   a p pr o a c h J o ur na l   O p t i m i z a t i o M e t ho ds   a nd   S o f t w a r e , 2 01 4 ,   pp . 1 - 13.   [ 3]   W o l f e ,   P . ,   C o nv e r g e nc e   c o ndi t i o ns   f o r   a s c e nt   m e t ho ds S I A M   R e v .   11 ( 2) ,   196 9,   pp . 22 6 - 235 .   [ 4]   R a o   S .   S . ,     E ng i ne e r i ng   O pt i m i z a t i o T h e o r y   a nd  P r a c t i c e ,   4 t h   e di t i o n,   J o hn  W i l e y   &   S o ns   I nc . ,   N e w   J e r s e y ,   C a na d a , 2 009 .     [ 5]   H e s t e ne s ,   M .   R .   a nd   S t i e f e l ,   E .   L . ,   M e t ho o f   c o nj ug a t e   g r a di e n t s   f o r   S o l v i ng   l i n e a r   s y s t e m s   J o ur na l   N a t i o na l   S t a n da r ds   49 ,   195 2,   pp .   409 - 43 6.     [ 6]   F l e t c he r   R .   a nd  R e e v e s   C .   M . ,   F u nt i o m i ni m i z a t i o b y   c o n j a g a t e   g r a di e nt s C o m put e r   J o ur na l   7,   19 64,     pp.   14 9 - 154.   [ 7]   Z ha ng   J . Z . ,   D e ng   N . Y . ,   a nd  C he L . H . ,   N e w   qua s i - N e w t o e qua t i o a nd  r e l a t e m e t ho ds   f o r   unc o ns t r a i n e d   o pt i m i z a t i o n, ' '   J o ur na l   o f   O p t i m i z a t i o T he o r y   a nd  A ppl i c a t i o ns ,   v o l .   10 2, 1 999 ,   pp .   1 47 - 167 .     [ 8]   D a i   Y .   H .   a n Y ua Y . ,   A   no nl i ne a r   c o nj ug a t e   g r a d i e n t   m e t ho w i t a   s t r o ng   g l o ba l   c o n v e r g e nc e   pr o pe r t y S I A M   J .   o pt i m i z a t i o n ,   1999 ,   pp .   177 - 182 .     [ 9]   D a i   Y . H . ,   H a n,   J . Y . ,   L i u,   G . H . ,   S un ,   D . F . ,   Y i n ,   . X .   a nd  Y u a n,   Y . ,   C o nv e r g e nc e   pr o pe r t i e s   o f   no nl i ne a r   c o nj ug a t e   g r a di e nt   m e t ho ds S I A M   J o ur na l   o n   O pt i m i z a t i o n   ,   10 , 19 99, pp .   3 4 8 - 358.     [ 10]     A ndr i e   N . ,     A U nc o ns t r a i ne d   O p t i m i z a t i o T e s t   f unc t i o ns   c o l l e c t i o   A dv a nc e M o de l i ng   a nd  o pt i m i z a t i o n, 10 ,   2009 ,   pp. 147 - 161 .     [ 11]   B a s i m   A .   H .   A   ne w   f o r m ul a   f o r   c o nj ug a t e   pa r a m e t e r   c o m put a t i o ba s e o t he   qu a dr a t i c   m o de l I ndo ne s i a n   J o ur na l   o f   E l e c t r i c a l   E ng i ne e r i ng   a nd   C o m put e r   S c i e nc e   ( I J E E C S ) , 2019;   3:   954 - 96 1.   [ 12]   B a s i m   A .   H .   ,   H u s s e i K .   K .   A   ne w   c l a s s   o f   B F G S   upda t i ng   f o r m ul a   b a s e o t he   ne w   qu a s i - ne w t o e qua t i o n I nd o ne s i a n   J o ur na l   o f   E l e c t r i c a l   E ng i n e e r i ng   a nd   C o m put e r   S c i e nc e   ( I J E E C S ) , 201 9;   3:   945 - 953 .   [ 13]   B a s i m   A .   H .   ,   Z e y a M .   A .   a nd  H a w r a z   N .   J .   A   de s c e nt   e x t e ns i o o f   t he   D a i   -   Y ua c o nj ug a t e   g r a di e nt   t e c hni que I ndo ne s i a n   J o ur na l   o f   E l e c t r i c a l   E ng i ne e r i ng   a nd  C o m p ut e r   S c i e nc e   ( I J E E C S ) ,   20 19;   2:   661 - 66 8.   [ 14]   L i   C .   F a ng   L .   a nd  C a o   X .   G l o ba l   c o nv e r g e nc e of   a   ki nd  o f   c o nj ug a t e   g r a d i e n t   m e t ho d” .   T E L K O M N I K A   ( T e l e c o m m uni c a t i o n,   C o m put i ng ,   E l e c t r o ni c s   a nd   C o nt r o l ) .   2 013;   1 1:   544 - 549, 2 013 .   [ 15]   L i   C . ,   A   m o di f i e d   c o nj ug a t e   g r a de n t   m e t ho f o r   u nc o ns t r a i ne d   o pt i m i z a t i o n,   T E L K O M N I K A   ( T e l e c o m m uni c a t i o n,   C o m put i ng ,   E l e c t r o ni c s   a nd   C o nt r o l ) ,   v o l .   1 1,   pp .   6373 - 63 80,   2 013 .     [ 16]   D a uda 1   M .   K . ,   M us t a f a   M . ,   M o ha m a A . ,   N o r   S . A.     H y br i c o nj ug a t e   g r a di e nt   pa r a m e t e r   f o r   s o l v i ng   s y m m e t r i c   s y s t e m s   o f   no nl i ne a r   e qu a t i o ns ,   I ndo ne s i a n   J o ur n a l   o f   E l e c t r i c a l   E ng i n e e r i ng   a nd  C o m put e r   S c i e nc e   ( I J E E C S ) , 20 19 ;   1 6:   539 - 543 .   [ 17]   G i l b e r t   J . C .   a nd  N o c e da l   J. G l o ba l   c o nv e r g e nc e   pr o pe r t i e s   o f   c o nj ug a t e   g r a di e nt   m e t ho ds   f o r   o pt i m i z a t i o n ,”   S I A M   J .   O pt i m .   2   ( 1992 ) ,   p p.   21 42 .   [ 18]   H a g e r   W . W .   a nd  Z h a ng   H . ,   A   s ur v e y   of   no nl i ne a r   c o nj ug a t e   g r a d i e n t   m e t ho ds ,”   P a c .   J .   O p t i m .   ( 2 006 ) ,   p p.   35 58.     [ 19]   L i   G . ,   T a ng   C . ,   a nd  W e i   Z . ,   N e w   c o nj ug a c y   c o ndi t i o a nd  r e l a t e ne w   c o nj ug a t e   g r a di e nt   m e t ho ds   f o r   unc o ns t r a i ne o pt i m i z a t i o n ,”   J .   C o m put .   A ppl .   M a t h.   20 ( 20 07) ,   p p.   523 539 .     [ 20]   B a ba i e   S .   K. ,   A e i g e v a l u e   s t udy   o t he   s uf f i c i e n t   d e s c e n t   p r o pe r t y   o f   a   m o di f i e P o l a k - R i bi -   P o l a c o nj ug a t e   g r a di e nt   m e t ho d,   B u l l .   I r an i an   M at h.   So c .,   v o l .   40 ,   pp .   235 - 24 2 2 014.     [ 21]   G ua ng m i ng   Z . ,   A   de s c e nt   a l g o r i t hm   w i t ho ut   l i ne   s e a r c f o r   u nc o ns t r a i n e o pt i m i z a t i o n,   A ppl i e M a t he m at i c s   and  C om pu t at i o n ,   v o l .   2 15 ,   p p.   25 28 - 2533 200 9.   [ 22]   G ha ni   N . ,   K a m a r u ddi S . ,   R a m l i   M . ,   M u s i r i I .   A nd  H a s hi m   H .   E nha nc e B F G S   qu a s i - N e w t o ba c kpr o pa g a t i o m o de l s   o M C C I   da t a .   I ndo ne s i a n   J o ur n a l   o f   E l e c t r i c a l   E ng i ne e r i n g   a nd  C o m pu t e r   S c i e nc e .   201 7; 8: 101 - 106.   [ 23]   A hm a A .   a nd  Z a b i d i S . ,   M o di f i c a t i o o f   N o nl i ne a r   C o nj ug a t e   G r a d i e n t   M e t ho w i t W e a W o l f e - P o w e l l   L i ne   S e a r c h ,   H i n daw i   A b s t r ac t   and   A p pl i e A n al y s i s 2 017 ,   pp .   1 - 6.   [ 24]   L i   D .   H .   and  F uk us hi m M . ,     A   de r i v a t i v e - f r e e   l i ne   s e ar c and  g l oba l   c on v e r ge nc e   of   B r oy de n - l i k e   m e t hods   f o r   nonl i ne ar   e qua t i o ns ,   O pt i m i z a t i o M e t ho ds   and   S of t w ar e ,   1 ( 200 0) ,   p p. 1 81 - 201 .     [ 25]   B abai e - K .   S.   . ,     A   m odi f i e B F G al gor i t hm   bas e on  hy b r i s e c ant   e qua t i o n ,”   Sc i .   C hi n M a t h .   54  ( 2011) ,   pp.   2019 2036 .           Evaluation Warning : The document was created with Spire.PDF for Python.