I n d on e s i an   Jo u r n al   o El e c t r i c al   En gi n e e r i n g   an d   C o m p u te r   S c i e n c e   V o l .   21 ,   N o .   3 M a r c 2021 ,   pp.   16 83 ~ 16 9 1   IS S N :   25 02 - 4752 ,   D O I :   10. 1 1591 / i j e e c s . v 21 .i 3 . pp 168 3 - 1691             1683       Jou r n al   h o m e pa ge ht t p: / / i j e e c s . i a e s c or e . c om   A   n e w   m o d i f i c a t i o n   o f   t h e   q u a si - n e w t o n   m e t h o d   f o r   u n c o n st r a i n e d   o p t i m i z a t i o n       H am s Th .   S ae e d   C h i l m e r an 1 ,   H u d I .   A h m e d 2 ,   Em an   T .   H am e d 3 ,   A b b as   Y .   A l - Bayat i 4   1 D e pa r t m e n t   o f   M a t h e m a t i c s ,   C o l l e g e   o f   C o m put e r s   S c i e nc e s   a nd   M a t he m a t i c s ,   U ni v e r s i t y   o f   M o s ul ,   I r a q   2 , 3 D e pa r t m e n t   o f   O pe r a t i o R e s e a r c he s   a nd   I nt e l l i g e n t   T e c hni que s ,   C o l l e g e   o f   C o m put e r s   S c i e nc e s   a nd  M a t h e m a t i c s ,   U ni v e r s i t y   o f   M o s ul ,   I r a q   4 U ni v e r s i t y   o f   T e l a f e r ,   T a l l A f a r ,   I r a q       A r ti c l e   I n fo     A B S TR A C T   Ar t i c l e   h i s t or y :   R e c e i v e A pr   30 ,   202 0   R e v i s e A ug   11 ,   2020   A c c e pt e O c t   1 ,   20 20       I n   t hi s   w o r w e   p r o po s e   a nd  a na l y z e   a   h y br i c o nj ug a t e   g r a d i e n t   ( C G )   m e t ho i w hi c t he   p a r a m e t e r   k i s   c o m put e a s   a   l i ne a r   c o m bi na t i o be t w e e H a g e r - Z h a ng   [ H Z ]   a nd  D a i - L i a o   [ D L ]   pa r a m e t e r s .   W e   us e   t hi s   pr o po s e m e t ho t o   m o di f y   B F G S   m e t ho a nd  t o   pr o v e   t he   po s i t i v e   de f i n i t e ne s s   a nd  Q N - c o ndi t i o ns   o f   t he   m a t r i x.   T he o r e t i c a l   t r i l s   c onf i r m   t ha t   t he   n e w   s e a r c di r e c t i o ns   a r e de s c e n t   di r e c t i o ns   und e r   s o m e   c o n di t i o ns ,   a s   w e l l   a s ,   t he   ne w   s e a r c di r e c t i o ns   a r e g l o ba l l y   c o n v e r g e nt   us i ng   s t r o ng  W o l f e   c o ndi t i o ns .   T he   n um e r i c a l   e xp e r i m e n t s   s ho w   t ha t   t he   p r o po s e m e t ho i s   pr o m i s i ng   a nd   o ut pe r f o r m s   a l t e r na t i v e   s i m i l a r   C G - m e t ho ds   us i n g   D o l a n - M o r ' e   pe r f o r m a nc e   p r o f i l e " .     Ke y w or ds :   B F G S   m e t h o d   Co n j uga t e   g r a i e nt   m e t h o d   D o l a n - M o r ' e   pe r f o r m a n c e   G l o b a l l y   c o n v e r ge n c e   S t r o n w o l f e   c o n di t i o n   U n c o n s t ra i n e do pt i m i z a t i o Co n v e f un c t i o n   T hi s   i s   an   ope n   ac c e s s   ar t i c l e   u nde r   t he   C C   B Y - SA   l i c e ns e .     Cor r e s pon di n g   Au t h or :   H uda   Is a a m   A hm e d   D e pa rt m e n t   o f   O pe r a t i o R e s e a r c h e s   a n I n t e l l i ge n t   T e c hn i q ue s   Co l l e ge   of   Co m put e r s   S c i e n c e s   a n d   M a t h e m a t i c s   U n i v e r s i t y   of   M o s ul ,   I r a q   E m a i l :   h ud a e a 72 @ gm a i l . c o m       1.   I N TR O D U C TI O N   T h e   c o n j uga t e   g r a d i e nt   (CG m e t h o i s   a e ff i c i e n t   a nd  o rga n i z e t o o l   fo r   s o l v i n t h e   l a r ge - s c a l e   n o n l i n e a r   o pt i m i z a t i o n   p r o b l e m ,   due   t o   i t s   s i m pl i c i t y ,   e a s i n e s s ,   a n l o w   m e m o r y   r e qui r e m e n t s .   T hi s   m e t h o i s   v e r y   po pul a r   f o r   m a t h e m a t i c i a n   a n e n g i n e e r s   a nd  t h o s e   w h o   a r e   i n t e r e s t e i n   s o l v i n t h e   l a rge - s c a l e   o pt i m i z a t i o p r o b l e m s .   T h e   n o nl i n e a u n c o n s t r a i n e o pt i m i z a t i o n .       ) (    m i ni m i z e n R x x f   (1)     w h e r e R R x f n : ) ( i s   s m o o t f un c t i o b o un de f r o m   b e l o w ,   ge n e ra t e s   a   s e que n c e   o f   po i n t s   a s   f o r m u l a   :     k k k k d x x 1   (2)     w h e r e   k   i s   a   o pt i m a l   s t e c o m put e b y   l i n e   s e a r c a n d   k d   a r e   ge n e r a t e a s   :     Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2502 - 4752   In do n e s i a J   E l e c   E ng  &   Co m S c i ,   V o l .   21 ,   N o .   3 M a r c 2 021   :     1683   -   1691   1684        1 k f o r     ;     a n d    0 k ;   1 1 1 1 k k k k k k d g d g d   (3)     In   (3) , R k i s   kn o w n   a s   c o n j uga c y   c oe ff i c i e n t .   T h e r e   a r e   di f f e r e nt   CG -   m e t h o ds   c o r r e s po n t o   di f fe r e nt   c h o i c e s   fo r   t h e   k ,   s uc h   a s   (H S m e t h o [1 ],   F R   m e t h o [2] ,   P R P   m e t h o [3 4]  a n D Y   m e t h o [5],   A l s o   D a i - L i a o   [6] .   Co n s i de r e t h e   f o l l ow i n f o r m ul a :       k T k k k T k k DL k y d s t y d y T 1 k T 1 k g g   ,   t > 0   (4)     W h e r e      1 k k k g g y .   A s   H a ge r Z ha n g   [7]   p r o po s e t h e   f o r m u l a :       k T k k k T k k T k k N k y d d y d y d y T 1 k 2 k T 1 k g y 2 g   (5)     w h e r e .   de n o t e s   t h e   E uc l i de a n o rm .   A n d   t h e   a u t h o i nt r o duc e a   p a r a m e t e k t   i (5) ,   y i e l di n g     k T k k k T k k k T k k HZ k y d d y d y t y d y T 1 k 2 T 1 k g g   (6)     N o t e   t ha t   w h e 2 k t   (6)  r e duc e   t o   (5).   F o r   m o r e   de t a i l s   s e e   [8].   M a n y   a ut h o r s   a r e   s t ud i e t h e   c o n v e r ge n c e   of   t h e   o n   t o o f   f o r m ul a s   f o r   y e a r s   [ 9 - 15] .   T h e   l i n e   s e a r c i t h e   CG - a l go r i t hm s o f t e n   i s   b a s e o t h e   s t a nda rd  W o l f e   c o n di t i o n s :       k T k k k k k k d x f x f d x f ) ( ) ( ) (    (7a )     k T k k T k d x f d g ) (   1   (7b )     T h e   c o n s t a nt s   a r e   w i t h i t h e   pe r i o d 1 0 ,   f o r   a dd i t i o na l   de t a i l s   i s   f o un i n   [16 17       2.   D ER I V A TI O N   O F   A   N EW   P A R A M ET ER   W e   h a v e   t o   d ri v e   a   p a r a m e t e r k w h i c h   i s   i n c o rpo r a t i o n   b e t w e e n   (4)   a n d   (6)     ) g y g )( - (1 ) g g ( T 1 k 2 k T 1 k T 1 k T 1 k k T k k k T k k k k T k k k T k k k n e w k y d d t y d y y d s t y d y       ) g y ( g g y g g g T 1 k 2 k T 1 k T 1 k 2 k T 1 k T 1 k T 1 k k T k k k T k k k T k k k k T k k k T k k T k k k T k k k k T k k k n e w k y d d y d t y d y y d d y d t y d y y d s t y d y       k T k k k T k k k T k k k k T k k n e w k y d d y d t y d s t y d y T 1 k 2 k T 1 k T 1 k g y ) 1 ( g g   (8)     a n t h e   d i r e c t i o i s   de f i n e by :       Evaluation Warning : The document was created with Spire.PDF for Python.
In do n e s i a J   E l e c   E ng  &   Co m S c i     IS S N :   2502 - 4752       A   n e w   m odi f i c at i on   of   t h e   quas i - n e w t on  m e t hod   f or   u nc o ns t r ai ne d…   ( H am s T h.   Sa e e d   Ch i l m e r an )   1685   k k T k k k T k k k k T k k k k T k k k k d y d d y d y t y d s y d y g d T 1 k 2 T 1 k T 1 k 1 1 g   ) 1 ( g t -   g       A l s o   w e   c a r e w r i t e   t h e   a b o v e   e qua t i o n   b y :       k k T k k k T k k k k T k k k k T k k k k s y s s y s y t y s s y s y g d T 1 k 2 T 1 k T 1 k 1 1 g   ) 1 ( g t -   g     (9)     k   i s   a   s c a l a p a r a m e t e ( 1 0 k ).       O b s e r v e   t h a t   w h e n   us i ng  e xa c t   l i n e   s e a r c h e s   (E L S ),   (8 r e duc e   t o   HS k a n us i ng  i n e xa c t   l i n e   s e a r c h e s   (IL S ),   w h e 1 k ,   (8)   r e duc e   t o DL k a n d   w h e 0 k ,   (8 t o HZ k       3.   C O N V ER G EN C E   A N A Y LS I S   O F   N EW   M E TH O D   In   t hi s   s e c t i o n ,   w e   w i l l   s h o w   t h e   c o n v e r ge n t   a na l y s i s   b a s e o n   t h e   i n e x a c t   l i n e   s e a r c h   by   m e a n s   of  W o l f e   l i n e   s e a r c h.   W e   w i l l   a l s o   s h o w   t h a t   t h e s e   CG - c oe ff i c i e n t s   w i l l   po s s e s s   s u ff i c i e n t   de s c e n t   c o n di t i o n s   a n g l o b a l   c o n ve r ge n c e   p r o pe r t i e s .   U n de r   t hi s   i n e x a c t   l i n e   s e a r c h   (7a a n (7b ).   I n   t h e   f o l l ow i n t h e o r e m ;   w e   di s c us s   t h e   s uf f i c i e n t   c o n d i t i o n :       3. 1 .       S u ffi c i e n t   d e s c e n c o n d i ti o n   F o r   t h e   s uf f i c i e n t   de s c e n t   c o n d i t i o n,   w e   pr e s e nt   t h e   f o l l ow i ng  T h e o r e m ,       Th e o r e m   1     L e t   k g a n d   k d be   s e que n c e s   of   ge n e r a t e m e t h o ds   by   (2), (3)  a n d   (8 ), t h e (9)   a c h i e v e da n d   s a t i s fy   t h e     s uff i c i e n t   de s c e n t   p r o pe rt y .       P r oo f:    m ul t i p l y i n (9 b y   qua nt i t y   2 1 1 k k g g   y i e l ds :       2 1 2 T 1 k 2 2 1 2 T 1 k 2 1 1 k T k T 1 k 2 1 1 1 ) (g   ) 1 ( ) (g t -   ) g (s g     1 k k T k k k T k k k k k T k k k k k T k k k k T k g s y s s y y t g s y s g s y y g g d       s i n c e   k T k k T k y s s g   1     2 1 2 2 2 2 1 2 T k 2 1 T k T 1 k 2 1 1 1 ) ( ) (   ) 1 ( ) (s t -   ) (s g     1 k k T k k T k k k k k T k k k k k T k k k k k T k g y s y s y t g y s y g y s y y g g d     1 1 . k k k T k g y g y     1 k 2 1 1 1 y 1 k k k T k g g g d ,   w h e r e 0     Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2502 - 4752   In do n e s i a J   E l e c   E ng  &   Co m S c i ,   V o l .   21 ,   N o .   3 M a r c 2 021   :     1683   -   1691   1686   1 2 1 1 1 k k T k g g d     2 1 1 1 ) 1 ( k k T k g g d       3. 2.      G l o b al   C o n v e r ge n P r o p e r ti e s     T o   p r o ve   t h e   gl o b a l   c o n v e r ge n c e po r o pe r t y ,   w e   n e e t h e   r e l a t i o n   0 , , , 2 m R y x s m y s n k k T k     w h e r e   m   i s   c o n s t a n t ,   s e e   [18 - 20].   T h e   f o l l ow i n a s s um p t i o i s   n e e de i n   o r de r   t o   p r o c e e w i t h   t h e   p r o of   o gl o b a l   c o n v e r ge n c e   p r o pe r t y .         A s s u m p ti o n   1     i T h e   l e v e l   s e t ) ( ) (   : 0 x f x f x S   i s   b o un de d,   t ha t   i s ,   t h e r e   e xi s t s   a   c o n s t a n t   z   > 0 ,   s uc h   S x    , z x     i i )   I n   n e i g h b o rh o o N   of   S ,   f   i s   c o n t i nuo us l y   di f fe r e n t i a b l e ,   a n d   i t s   g ra d i e nt   i s   L i ps c h i t z     N y x y x L y g x g   ,            ,   ) ( ) (   (10)     B e l ow   t h e   a s s um pt i o n s   ( i a n d   (i i o n   f ,   w e   a r e   a b l e   t o   de duc e   t h a t   t h e r e   e xi s t s   > s uc a s ,       ) ( x f   (11)     i i i )   0 S, y x,      , ) ))( ( ) ( ( 2 y x y x y g x g   (12)     U n de r   t h i s   A s s um p t i o n,   t h e   f o l l o w i n l e m m a   i s   o b t a i n e d,   w hi c w a s   p r o v e by   [11]        Le m m 1     A s s um e   t h a t   A s s um pt i o n - 1   h o l a nd  s up po s e   t ha t   f o r   a n y   CG - m e t h o 1 k d i s   a   de s c e n t   di r e c t i o n   a n t h e   s t e s i z e   k i s   a c h i e v e by   (7a , 7b ).   If     1 2 1 1 k k d   (13)     T h e n     0 ) g (i n f L i m k k   (14)       Th e o r e m   2     S uppo s e   t h a t   A s s um pt i o n - 1   i s   t rue   , c o n s i de t h e   n e w   a l go r i t hm   w i t n e w k , t h e n   t h e   a l go ri t hm   ha s       0 g i n f L i m k k       P r o o f:         g   ) 1 ( g t -   g   T 1 k 2 T 1 k T 1 k 1 1 k k T k k k T k k k k T k k k k T k k k k s s y s s y y t s y s s y y g d   Evaluation Warning : The document was created with Spire.PDF for Python.
In do n e s i a J   E l e c   E ng  &   Co m S c i     IS S N :   2502 - 4752       A   n e w   m odi f i c at i on   of   t h e   quas i - n e w t on  m e t hod   f or   u nc o ns t r ai ne d…   ( H am s T h.   Sa e e d   Ch i l m e r an )   1687   k k T k k T 1 k k T k 2 k k k T k k T 1 k k k T k k T 1 k 1 k 1 k s   ]   s y s g s y y   t   ) 1 ( s y s g   t   s y y g   [ g d     S i n c e   1 k k 1 k T k g . y g y , k T k 1 k T k y s g s a n d   2 k k T k s m y s     k k T k k T k k k T k k T k k k k k k k s s y s y y t s y s y s m y g g d    ] ) (   ) 1 ( t    [ 2 2 2 1 1 1     k k k k k k k k k k s s m y t s m y g g d   ]   ) 1 ( t   [ 2 2 2 1 1 1     L e t   2 2 2 1 1   ) 1 ( t k k k k k k k s m y t s m y g c     k k k s c g d   1 1 1     1 1 2 1 1 1 1 k k k d       4.   D ER I V A TI O N   O F   TH M O F I F I ED   Q N - M E TH O D   T h e   purpo s e   of   t h i s   s e c t i o n   i s   t o   c r e a t e   a   n e w   m a t ri w h i c h   i s   a   m o di f i e of   m e m o r y l e s s   B F G S   m e t h o [21 2 2]  . O b s e r v e   t ha t   t h e   s e a r c di r e c t i o n s ,   de f i n e by   (9)  c a b e   w r i t t e by :         Q 1 1 1 k k k g d     w h e r e   t h e   m a t ri x   1 k Q i s   gi v e by :       k T k T k k k T k k k k k T k T k k T k k k y s s s y s y y s s y y s I Q ]     ) - (1 [   2 1   (15)     T h i s   m a t ri i s   c o n s i de r e a s   a   m o di f i e m e m o r y l e s s   B F G S   m e t h o d.       Le m m 2     If     1 Q   i s   po s i t i v e   de f i n i t e   m a t r i x   t h e a l l   m a t ri x     1 k Q de f i n e i (15)   i s   a l s o   po s i t i v e   de f i n i t e ,   i . e .     0, z k k T k Q z fo r   a n y   ve c t o r   0 z     P r oo f :       k k T k T k k k T k k k k k T k T k k T k k T k k k T k z y s s s y s y y s y s s y I z z Q z ]     ) - (1 [   2 1     =     k T k k T k k T k k k k k T k k T k k T k k T k k T k k T k k T k y s s z y s y y s z y s z y s z s y z z z 2 2 ) ( ) ) - (1 ( ) )( ( ) )( (   Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2502 - 4752   In do n e s i a J   E l e c   E ng  &   Co m S c i ,   V o l .   21 ,   N o .   3 M a r c 2 021   :     1683   -   1691   1688   k k T k z z                               , w h e r e k T k k T k k T k k k k k y s z s y s y t 2 2 ) ( ) 1 ( (     S i n c e   k k T k z z , a r e   g r e a e r t   t ha z e r o .   T h e p r o o f   i s   c o m pl e t e .         Th e o r e m   3     T h e   m a t ri x     1 k Q de f i n e b y   (15)  a c h i e v e t h e   f o l l ow i n Q N - c o n d i t i o (i , e k k k s Q k 1 y         P r o o f:     M ul t i pl y   (15)  by     k y w e   ge t   :       k k T k T k k k T k k k k k T k T k k T k k k k y y s s s y s y y s y s s y I y Q )   ) - (1   ( )   2 1     k T k k T k k k T k k k k T k k T k k k k T k k T k k k T k k T k k k y s y s s y s y t y s y s s y s y y s y s y s y y ) (   ) - (1   ) ( t ) ( ) (   2     k k T k k k k k k T k k k s y s y t s t y s y s   ) - (1   2 2     = k k T k k k k k k T k k s y s y t s t y s y   ) - (1   2 2     L e t   k k T k k k k k k T k k y s y t s t y s y   ) - (1   2 2     k k k s Q k 1 y         5.   R ES U LTS   A N D   D I S C U S S I O N   In   t hi s   s e c t i o n   w e   pr e s e n t   t h e   c o m put a t i o n a l   pe r f o r m a n c e   o a   F o r t ra n   i m pl e m e nt a t i o n   o f   t h e   H Y BR ID   a l go r i t h m   (N e w 1)o n   a   s e t   o f (750)  un c o n s t ra i n e o pt i m i z a t i o n   t e s t   p r o b l e m s .   T h e   t e s t   p r o b l e m s   a r e   t h e   u n c o n s t r a i n e p r o b l e m s   i n   t h e   CU T E   [7]   l i b r a r y ,   a l o ng  w i t o t h e r   l a rge - s c a l e   o pt i m i z a t i o n   p r o b l e m s   pr e s e nt e i n   [23 24] .   W e   s e l e c t e (75)  l a r ge - s c a l e   u n c o ns t ra i n e o pt i m i z a t i o n   p r o b l e m s   i n   e xt e n de o r   ge n e ra l i z e f o r m .   E a c h   p r o b l e m   i s   t e s t e (10)  t i m e s   f o r   a   g r a dua l l y   i n c r e a s i n num b e r   o f   v a r i a b l e s :   n= 1000 , 200 0, 1 0000 , T o   de m o n s t ra t e   t h e   e f f i c i e n c y   of   t h e   n e w   a l go ri t hm ,   w e   us e t h e   D o l a n   a n m o r e '   m e t h o d.   T h e   c u r v e   o f   t h e   c ur v e   t o   t h e   t o i n d i c a t e s   t h e   ne w   m e t h o b e t t e r   t ha n   t h e   r e s t   o f   t h e   pr e v i o us   m e t h o ds .   A l l   a l go r i t hm s   i m pl e m e n t   t h e   W o l f e   l i n e   s e a r c c on d i t i o n s   w i t h   σ   =   0. 9   a n d   001 . 0   [25 26 ],   t h e   s a m e   s t o ppi n g   c r i t e ri a   w h e 5 10 k g   In  t h e   f i r s t   s e t   o f   n um e ri c a l   e xpe r i m e nt s   w e   c o m pa r e   t h e   n e w   m e t h o w i t D L   a n H Z   m e t h o d. .   By   c a l c ul a t i n g   t h e   n u m b e r   o f   t h e   f un c t i o n   e v a l u a t i o n s   (N O F ) ,   t h e   f r e que n c y   of   t h e   m e t h o (N O I)   a n d   t h e   t i m e   r e qui r e d   t o   i m p l e m e nt   t h e   m e t h o (CP U ),   T h e   n e w   a l go ri t hm   w a s   c o m pa r e t o   s i m i l a r   a l go r i t h m s   :   a.   A   n e w   pr o po s e m e t h o (N e w de f i n e   by   (8)    b.   DL c o n j uga t e   g r a di e n t   m e t h o dde f i n e by   (4)    c.   HZ   c o n j uga t e   g ra di e n t   m e t h o (6)   O ur  de m o n s t ra t e r e s ul t s   a r e   s h o w n   i F i g u r e s   1 - 6 .   W e   us e d   t h e   D o l a n   a n d   m o r e '   m e t h o [ 27 ,   28] .   F i gu r e s   1 - 3 ,   l i s t   t h e   pe r f o r m a n c e   o f   t h e   a b o ve   m e t h o ds   r e l a t i v e   t o   i t e r a t i o n s   n u m b e r ,   t h e   n u m b e r   o f   gra di e n t   e v a l ua t i o n s   a nd  t h e   CP U   t i m e ,   r e s pe c t i v e l y .   T h e   s e c o n s e t   of   n um e ri c a l   e xpe ri m e n t s   r e f e r s   t t h e   Evaluation Warning : The document was created with Spire.PDF for Python.
In do n e s i a J   E l e c   E ng  &   Co m S c i     IS S N :   2502 - 4752       A   n e w   m odi f i c at i on   of   t h e   quas i - n e w t on  m e t hod   f or   u nc o ns t r ai ne d…   ( H am s T h.   Sa e e d   Ch i l m e r an )   1689   c o m pa ri s o n s   o f   n e w   m e t h o ( 15)  w i t m e m o r y l e s s   B F G S   m e t h o d.   F i gu r e s   4 - 6 ,   l i s t   t h e   pe r f o r m a n c e   o f   t h e   a b ov e   m e t h o ds . T o   de m o n s t r a t e   t h e   e ff i c i e n c y   of   t h e   n e w   a l g o r i t hm .               F i gu r e   1 .   P e r f o r m a n c e   p r o f i l e s   b a s e o n   f un c t i o e v a l ua t i o n     F i gu r e   2 .   P e r f o r m a n c e   p r o f i l e s   b a s e o n   n u m b e r   o f   i t e ra t i o n s           F i gu r e 3.   P e r f o r m a n c e   p r o f i l e s   b a s e o n   CP U   t i m e             F i gu r e   4 .   P e r f o r m a n c e   p r o f i l e s   b a s e o n   CP U   t i m e     F i gu r e   5 .   P e r f o r m a n c e   p r o f i l e s   b a s e o n   n u m b e r   o f   i t e ra t i o n s   0 0 . 5 1 1 . 5 2 2 . 5 3 0 . 2 0 . 3 0 . 4 0 . 5 0 . 6 0 . 7 0 . 8 0 . 9 1 T a u P e r f o r m a n c e   P r o f i l e P e r f o r m a n c e   p r o f i l e :   1 . 3 3 2 0 0 0 e - 0 0 1     N e w HZ DL 0 0 . 2 0 . 4 0 . 6 0 . 8 1 1 . 2 1 . 4 1 . 6 0 . 2 0 . 3 0 . 4 0 . 5 0 . 6 0 . 7 0 . 8 0 . 9 1 F i g u r e   1 :   P e r f o r m a n c e   p r o f i l e s   b a s e d   o n   f u n c t i o n   e v a l u a t i o n P e r f o r m a n c e   P r o f i l e P e r f o r m a n c e   p r o f i l e :   1 . 3 3 2 0 0 0 e - 0 0 1     N e w DL HZ 0 0 . 5 1 1 . 5 2 0 . 2 0 . 3 0 . 4 0 . 5 0 . 6 0 . 7 0 . 8 0 . 9 1 T a u P e r f o r m a n c e   P r o f i l e P e r f o r m a n c e   p r o f i l e :   1 . 3 3 2 0 0 0 e - 0 0 1     N e w DL HZ 0 0 . 5 1 1 . 5 2 0 . 2 0 . 3 0 . 4 0 . 5 0 . 6 0 . 7 0 . 8 0 . 9 1 T a u P e r f o r m a n c e   P r o f i l e P e r f o r m a n c e   p r o f i l e :   1 . 3 3 2 0 0 0 e - 0 0 1     N e w B F G S 0 0 . 2 0 . 4 0 . 6 0 . 8 1 1 . 2 0 . 2 0 . 3 0 . 4 0 . 5 0 . 6 0 . 7 0 . 8 0 . 9 1 F i g u r e   1 :   P e r f o r m a n c e   p r o f i l e s   b a s e d   o n   f u n c t i o n   e v a l u a t i o n P e r f o r m a n c e   P r o f i l e P e r f o r m a n c e   p r o f i l e :   1 . 3 3 2 0 0 0 e - 0 0 1     N e w B F G S Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2502 - 4752   In do n e s i a J   E l e c   E ng  &   Co m S c i ,   V o l .   21 ,   N o .   3 M a r c 2 021   :     1683   -   1691   1690       F i gu r e   6 .   P e r f o r m a n c e   p r o f i l e s   b a s e o n   f un c t i o e v a l ua t i o n       6.   C O N C LU S I O N S   W e   s ugge s t e a   l i n e a r   c o m b i na t i o n   b e t w e e n   H Z   a n D L   m e t h o a n d   ge t   a   n e w   p r o po s e CG - m e t h o n a m e l y   (2),   (3)   a nd  (8)   u n de s o m e   c o n di t i o n ,   w e   pr o v e   t ha t   o ur  m e t h o i s   gl o b a l   c o n v e r ge n t   f o r   c o n v e x   f un c t i o n s .   A l s o ,   w e   dr i v e   a   n e w   m a t r i de f i n e i n   (15)  a nd  w e   h a v e   pr o v e t h a t   i t s   po s i t i v e   de f i n i t e n e s s   i s   a c h i e v e a n s a t i f y t h e   Q N - c o n di t i o n .   N u m e ri c a l   r e s ul t s   s h o w e t h a t   o ur   s ug ge s t e m e t h o d   gi v e s   a e f fe c t i ve   n u m e ri c a l   r e s ul t   i p ra c t i c a l l y .         A C K N O WL ED G E M EN TS   T h e   r e s e a r c h   i s   s up po r t e b y   C o l l e ge   of   C o m put e r   S c i e n c e s   a n M a t h e m a t i c s ,   U n i v e r s i t y   of   M os ul ,   R e pu b l i c   of   Ira q       R EF ER EN C ES   [ 1]   M . R .   H e s t e ns e   a ndE . l .   S t i e f e l ,   " M e t ho ds   o f   c o nj ug a t e   g r a d i e n t s   f o r   s o l v i ng   l i n e a r   s y s t e m , "   J .   R e s e ar c N at . B u r .   St an dar ds ,   v o l .   49 ,   pp.   4 09 - 436 ,   1952 .     [ 2]   R .   F l e t c he r   a nd   C . R e e v e s ,   " F unc t i o nm i n i m i z a t i o by   c o nj ug a t e   g r a di e n t s , ”  C om p ut .   J .,   v o l .   7 ,   pp . 14 9 - 154,   1 964 .     [ 3]   E . P o l a k , a ndG   R i b i e r e ,   " N o t e   s ur   l a   c o nv e r g e nc e   de   m e t ho ds   de   di r e c t i o ns   c o nj ug a t e ' e , "   R e v .   F r anc a i s e   I nf or m a t . R e c he r c   O pe ' r t i one l l e v o l .   3 pp .   35 - 43,   19 69 .     [ 4]   B . T .   P o l a a k ,   " T he   c o nj ug a t e   g r a d i e n t   m e t ho i e x t r e m e   p r o bl e m s ,   " U SSR   c om p .   M at h.   and  M a t P hy s . ,   v o l .   9 ,   p p.   94 - 112,   1 969 .     [ 5]   Y .   H .   D a i   a n Y .   Y u a n,   " A   no nl i ne a r   c o nj ug a t e   g r a di e n t   m e t ho w i t a   s t r o ng   g l o ba l   c o nv e r g e nc e   pr o pe r t y , "   SI A M   J .   on   O p t i m . ,   pp .   177 - 18 ,   19 9 9.     [ 6]   Y .   H .   D a i   a nd  L . Z .   L i a o ,   " N e w   c o nj ug a c y   c o ndi t i o ns   a nd  r e l a t e no nl i n e a r   c o nj ug a t e g r a d i e nt   m e t ho ds , "   A pp l .   M a t h.   O p t i m .,   v o l .   43 ,   pp.   8 7 - 101 ,   2 001 .     [ 7]   W . W   H a g e r   a nd  Z ha ng   , " A ne w   c o nj ug a t e   g r a di e n t   m e t ho w i t g ua r a n t e e de s c e n t   a nd  a e f f i c i e n t   L i ne   s e a r c ," SI A M   J . O pt i m .,   v o l .   1 6,   pp .   170 - 19 2,   20 05.     [ 8]   W . W   H a g e r   a nd  Z ha ng   , " A   S ur v e y   of   n o nl i ne a r   c o nj ug a t e   g r a di e n t   m e t ho ds ,   " P ac i f i c   J .   O pt i m . ,   v o l .   2,   pp .   35 - 58,   2006 .     [ 9]   E .   T .   H a m e d ,   H .   I .   A hm e d, a nd  A .   Y .   A l - B a y a t i ,   " A   N e w   H y br i A l go r i t hm   f o r   C o nv e N o nl i ne a r   U nc o ns t r a i ne O pt i m i z a t i o n, "   J our nal   o f   A pp l i e d   M at he m a t i c s ,   v o l .   2019 , .   ht t ps : / / do i . o r g/ 1 0. 1 155/ 2 019/ 872819 6 ,   20 19.     [ 10]   M .   K .   D a ud a ,   M . M a m a t ,   M .   A .   M o ha m e a nd  N .   S .   A .   H a m z a h,   " H y br i c o nj ug a t e   g r a d i e n t   pa r a m e t e r   f o r   s o l v i ng   s y m m e t r i c   s y s t e m s   o f   no nl i ne a r   e q ua t i o ns , "   I nd one s i a J ou r na l   o f   E l e c t r i c a l   E n gi ne e r i n and  C om put e r   S c i e nc e   ( I J E E C S) v o l .   16 ,   no .   1,   pp .   539 - 54 3.   D O I :   10. 115 91 / i j e e c s . v 16. i 1 . pp539 - 54 3,   20 19.     [ 11]   E . T . H a m e d , R . Z .   A l - K a w a z   a nd   A . Y . A l -   B a y a t i ,   " N e w   i nv e s t i g a t i o f o r   t he   L i u - S t o r y   s c a l e c o nj ug a t e   g r a di e nt   m e t ho df o r   no nl i ne a r   o p t i m i z a t i o n , "   H i ndaw i   J .   M a t h ,   v o l .   2020 , . h t t ps : / / do i . o r g / 10 . 11 55/ 2020 / 3 6152 08, 2020 .     [ 12]   H . I .   A hm e d,   R . Z . A l - K a w a z   a nd  A . Y .   A l -   B a y a t i ,   " S pe c t r a l   t h r e e - t e r m   c o ns t r a i ne c o nj ug a t e   g r a d i e nt   a l g o r i t hm   f o r   f unc t i o m i n i m i z a t i o ns , "   H i ndaw i   J .   A ppl .   M at h . ,   v o l   2 019 , . ht t ps : / / do i . o r g / 10. 1155 / 2 019 / 637 8368 ,   201 9.     [ 13]   E . T . H a m e d ,   H . I . A hm e d,   H .   Y .   N a j m ,   " G l o ba l   C o nv e r g e nc e   o f   C o nj ug a t e   G r a d i e nt   M e t ho d   i nU nc o ns t r a i ne dO p t i m i z a t i o nP r o bl e m s ,   " I n t e r na t i ona l   C onf e r e nc e   of   M a t he m at i c a l   Sc i e nc e s   ( I C M 201 8)   A I P   0 0 . 5 1 1 . 5 2 2 . 5 3 3 . 5 0 . 2 0 . 3 0 . 4 0 . 5 0 . 6 0 . 7 0 . 8 0 . 9 1 T a u P e r f o r m a n c e   P r o f i l e P e r f o r m a n c e   p r o f i l e :   1 . 3 3 2 0 0 0 e - 0 0 1     N e w B F G S Evaluation Warning : The document was created with Spire.PDF for Python.
In do n e s i a J   E l e c   E ng  &   Co m S c i     IS S N :   2502 - 4752       A   n e w   m odi f i c at i on   of   t h e   quas i - n e w t on  m e t hod   f or   u nc o ns t r ai ne d…   ( H am s T h.   Sa e e d   Ch i l m e r an )   1691   C onf . P r oc .   20 86,   030 029 - 1 0 3002 9 - 4;   ht t ps : / / do i . o r g / 10 . 106 3/ 1. 50951 14, P ub l i s he d   by   A I P   P ubl i s h i ng .   97 8 - 0 - 73541 816 - 5   [ 14]   B .   A . H a s s a n,   H .   O . D a ha w i   a nd  A .   S .   Y o unus ,   " A   ne w   ki n o f   pa r a m e t e r   c o nj ug a t e   g r a di e nt   f o r   unc o ns t r a i n e d   o pt i m i z a t i o n, "   I ndone s i an  J our na l   of   E l e c t r i c al   E ng i ne e r i ng  a nd  C om put e r   S c i e nc e   ( I J E E C S) ,   v o l .   1 7,   no .   1,   p p.   404 - 411 ,   2019 .     [ 15]   B .   A   H a s s a n,   Z .   M .   A bdul l a h ,   H .   N .   J a bb a r ,   " A   de s c e nt   e xt e ns i o o f   t he   D a i   -   Y ua c o nj ug a t e   g r a d i e n t   t e c hni q ue ,   " I ndone s i an  J our n al   o f   E l e c t r i c a l   E ng i ne e r i ng  and  C om p ut e r   Sc i e nc e   ( I J E E C S) ,   v o l .   16,   no .   2 ,   pp .   66 1668 .   D O I :   10. 1 1591 / i j e e c s . v 16 . i 2 . p p661 - 66 8,   N o v e m be r   2019 .     [ 16]   C .   A hm e a nd   B .   T a he r ,   " A   ne w   m o di f i c a t i o no nl i ne a r   c o nj ug a t e   g r a di e n t   m e t ho w i t s t r o ng   w o l f - po w e l l   l i ne   s e a r c h, "   I ndo ne s i a J our nal   o f   E l e c t r i c a l   E ngi ne e r i ng  and  C om pu t e r   Sc i e nc e   ( I J E E C S) vo l .   18,   no .   1,   pp .   525 - 53 2,   D O I : 10. 11591 / i j e e c s . v 18 . i 1 . p p525 - 53 2,   A pr i l   2020 .     [ 17]   N .   S .   M o ha m e d ,   M .   M a m a t ,   M . R i v a i e ,   S .   M . S ha h a r ud i n,   " A   ne w   hy br i c o e f f i c i e nt   o f   c o nj ug a t e   g r a di e nt   m e t ho d ,   " I ndone s i an  J o ur n al   o f   E l e c t r i c a l   E ng i ne e r i ng  a nd  C om pu t e r   Sc i e nc e   ( I J E E C S) vo l .   18 ,   no .   3,   J une   20 20 ,   pp .   1454 - 146 3,   D O I :   10. 115 91/ i j e e c s . v 18. i 3. pp14 54 - 146 3,   20 20.     [ 18]   Y . H .   D a i ,   H a J . Y . ,   L i u,   G . H . ,   S un ,   D . F . ,   Y i n ,   . X .   a nd  Y ua n,   Y . ,   " C o nv e r g e nc e   pr o pe r t i e s   o f   N o nl i ne a r   c o nj ug a t e   g r a di e nt   m e t ho ds , "   SI A M   J ur na l   on   O p t i m i z a t i on ,   v o l .   10 ,   pp.   3 48 - 3 58,   19 99.     [ 19]   R .   G ha nba r i . ,   S   . B a b a i e k a f a ki ,   " A A   da t i v e   H a g e r - Z h a ng   C o nj ug a t e   G r a di e n t   M e t ho d ,   " F ac ul t y   of   s c i e nc e s   M a t he m at i c s ,   pp .   3715 - 37 23,   2 016 .     [ 20]   Y a be ,   H . ,   a nd  T a ka no ,   M . ,   " G l o ba l   c o nv e r g e nc e   pr o pe r t i e s   o f   ne w   no nl i ne a r   c o nj ug a t e   g r a d i e nt m e t ho ds   f o r   unc o ns t r a i ne o pt i m i z a t i o n, "   C om pu t a t i ona l   O pt i m i z at i o a nd   A pp l i c a t i on ,   v o l .   28 ,   p p.   20 3 - 225 ,   2004 .     [ 21]   J. M .   P e r r y ,   A   c l a s s   o f   c o nj ug a t e   g r a di e nt   a l g o r i t hm s   w i t a   t w o - s t e v a r i a bl e - m e t r i c   D i s c us s i o pa p e r   2 69,   C e nt e r   f o r M a t he m a t i c a l   S t udi e s   i E c o n o m i c s   a nd  M a na g e m e n t   S c i e nc e ,   N o r t hw e s t e r U ni v e r s i t y ,   E v a ns t o nI l l i no i s ,   1977 .     [ 22]   D . F .   S ha n no ,   " O t h e   c o nv e r g e nc e   of   a ne w   c o nj ug a t e   g r a d i e n t   a l g o r i t hm , "   SI A M J .   N um be r   . A n a l,   pp .   1 247 - 125 7,   1978 .     [ 23]   N .   A ndr e i ,   " A unc o ns t r a i ne o pt i m i z a t i o t e s t   f unc t i o ns   c o l l e c t i o n,   " A dv anc e M ode l i ng  and  O p t i m i z at i on ,   t he   E l e c t r oni c   I n t e r na t i ona l   J our na l v oL .   10 ,   no .   L ,   pp . 147 - 16 1,   20 08 .     [ 24]   N .   A ndr e i ,   " O pe pr o bl e m s   i no nl i ne a r   c o nj ug a t e   g r a di e nt   a l g o r i t hm s   f o r   unc o ns t r a i ne o pt i m i z a t i o n "   B ul l e t i of   t he   M al ay s i a M a t he m at i c a l   Sc i e nc e   So c i e t y .   S e c ond   s e r i e s ,   v o l .   3 4 ,   pp.   3 19 - 330 ,   2011 .     [ 25]   H . I .   A hm e d,   E . T . H a m e a nd  H a m s a   T h .   S a e e C h i l m e r a n,   " A   M o di f i e B a t - A l go r i t hm   w i t C o nj ug a t e   G r a d i e n t   M e t ho f o r   G l o ba l   O pt i m i z a t i o n, "   H i nd aw i   I nt e r nat i on al   J our nal   o f   M a t he m at i c s   and  M a t he m at i c a l   Sc i e nc e s ,   V o l 2020 ,   A r t i c l e   I D   479579 3,   14   p a g e s   , h t t ps : / / do i . o r g / 1 0. 1 155 / 20 20/ 4 79579 3,   20 20.     [ 26]   R .   Z .   A l - K a w a z . , A .   Y .   A l - B a y a t i ,   M .   S .   J a m e e l ,   " I nt e r a c t i o be t w e e upd a t e F R - C G   a l g o r i t hm s   w i t t he   o pt i m a l   C uc koo   a l g o r i t hm ,   " I n done s i an  J o ur n al   o f   E l e c t r i c a l   E ng i ne e r i ng  and  C om pu t e r   Sc i e nc e   ( I J E E C S) v o l .   19,   no .   3 ,   2020 .     [ 27]   A .   A . ,   A l - A r bo 1,   a nd  R .   Z .   Al - K a w a z ,   " I m pl e m e nt a t i o o f   a   c o m b i ne n e w   o pt i m a l   c uc koo   a l g o r i t hm   w i t a   g r a y   w o l f   a l g o r i t hm   t o   s o l v e   unc o ns t r a i n e o pt i m i z a t i o no nl i n e a r   pr o bl e m s . "   I ndone s i an  J our na l   of   E l e c t r i c al   E ngi ne e r i n and   C om pu t e r   Sc i e nc e   ( I J E E C S) ,   v o l .   19 ,   no .   3 ,   pp .   1 5 82 - 1 589 ,   2020 .     [ 28]   E .   D .   D o l a a nd  J .   J .   M o r ' e ,   " B e nc hm a r ki ng   o pt i m i z a t i o s o f t w a r e   w i t p e r f o r m a nc e   pr o f i l e s , "   M a t he m at i c a l   P r ogr am m i n g ,   v o l .   9 1,   no .   2 ,   p p.   20 1 - 213 ,   2002 .     Evaluation Warning : The document was created with Spire.PDF for Python.