I n d on e s i an   Jo u r n al   o El e c t r i c al   En gi n e e r i n g   an d   C o m p u te r   S c i e n c e   V o l .   20 ,   N o .   2 N o v e m b e r   20 20 ,   pp.   100 7 ~ 10 15   IS S N :   25 02 - 4752 ,   D O I :   10. 1 1591 / i j e e c s . v 20 .i 2 . pp 100 7 - 10 15             1007       Jou r n al   h o m e pa ge ht t p: / / i j e e c s . i a e s c or e . c om   v a r i a n t   o f   h y b r i d   c o n j u g a t e   g r a d i e n t   m e t h o d s ba sed  o n   t h e   c o n v e x   c o m b i n a t i o n   f o r   o p t i m i z a t i o n       B as i m   A .   H as s an 1 A h m e d   O .   O w ai d 2 Z e n T .   Y as e n 3   1 , 3 D e pa r t m e n t   o f   M a t he m a t i c s , C o l l e g e   o f   C o m put e r s   S c i e nc e s   a n M a t he m a t i c s ,   U ni v e r s i t y   o f   M o s ul ,   I r a q   2 D e pa r t m e n t   o f   s t ud i e s   a nd   pl a nn i ng ,   P r e s i de nc y   of   M o s ul   U n i v e r s i t y ,   U ni v e r s i t y   of   M o s ul ,   I r a q       A r ti c l e   I n fo     A B S TR A C T   Ar t i c l e   h i s t or y :   R e c e i v e O c t   12,   2019   R e v i s e A pr   27 ,   2020   A c c e pt e J ul   1 3 ,   2020       O s o m e   s t ud i e s   a   c o nj ug a t e   p a r a m e t e r   p l a y s   a i m po r t a nt   r o l e   f o r   t h e   c o nj ug a t e   g r a di e nt   m e t ho ds .   I t hi s   p a pe r ,   a   v a r i a nt   o f   hy br i i s   p r o v i de i t he   s e a r c di r e c t i o ba s e o t h e   c o nv e c o m bi na t i o n.   T hi s   s e a r c h   di r e c t i o e ns u r e s   t ha t   t he   d e s c e n t   c o ndi t i o ho l ds .   T h e   g l o ba l   c o nv e r g e nc e   o f   t he   v a r i a n t   o f   h y br i d   i s   a l s o   o bt a i n e d .   O ur   s t r o ng   e v i de nc e   i s   a   num e r i c a l   a na l y s i s   s ho w i ng   t h a t   t he   p r o po s e v a r i a n t   o f   hy br i m e t ho i s   e f f i c i e nt   t h a t he   H e s t e ne s   a nd   S t i e f e l   m e t ho d .     Ke y w or ds :   D e s c e n t   p r o pe r t y   G l o b a l   c o n v e r ge n c e   p r o pe r t y   H y be i c o n j uga t e   g r a di e n t   C op y r i gh t   ©   2020   I n s t i t ut e   o f   A dv anc e E ng i ne e r i ng   and   S c i e nc e .     A l l   r i gh t s   r e s e r v e d .   Cor r e s pon di n g   Au t h or :   B a s i m   A .   H a s s a n ,   D e pa rt m e n t   o f   M a t h e m a t i c s ,     Co l l e ge   of   Co m put e r s   S c i e n c e s   a n d   M a t h e m a t i c s ,     U n i v e r s i t y   of   M o s ul ,   I r a q .     E m a i l :   b a s i m a h @ uo m o s ul . e du . i q ,   b a s i m a b a s 39@ g m a i l . c o m       1.   I N TR O D U C TI O N   T h e   c o n j uga t e   g ra di e nt   [1]   i s   a a d a pt a t i o n   o f   t h e   o pt i m i z a t i o m e t h o t o   l a r ge - s c a l e   p r o b l e m s .   H e r e ,   w e   m a t t e r   w i t t h e   f o l l ow i n p r o b l e m     n R     x ,    ) ( x f M i n   (1 )     t o   de n o t e   t h e   o b j e c t i v e   f un c t i o n,   a n d   ) ( x g , de n o t e   t h e   g ra di e n t   ) ( x f   ,   r e s pe c t i v e l y .   M a n y   c o n j uga t e   g ra di e nt   m e t h o ds   f o r   (1)   p r o duc e   a   s e que n c e   k x   by   t h e   r e c urr e n c e     k k k k n d x x R x 1 0 ,   (2)     w h e r e   k d   i s   a   s e a r c h   d i r e c t i o n   a n k   i s   a   s t e s i z e   w hi c h   w a s   c a l c ul a t e by   a ppl y i n l i n e   s e a r c h   r ul e s ,   t h e   m o s t   i m po r t a n t   a nd  f a m o us   i s   t h e   W o l f e   c o n di t i o n s     k T k k k k k k d g x f d x f  ) ( ) (   (3)     k T k k k k T k g d d x g d   ) (   (4)   Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2502 - 4752   In do n e s i a J   E l e c   E ng  &   Co m S c i ,   V o l .   20 ,   N o .   2 N o v e m be r   20 20  :     10 07   -   10 15   1008   w h e r e   0 .   F o de t a i l s   s e e   [2].     T h e r e f o r e ,   t hi s   s t udy   w i l l   f oc us   o n   t h e   CG   m e t h o w h o s e   di re c t i o n   o f   s e a r c i s   w r i t t e n   a s :       , 1 1 k k k k d g d   (5)     w h e r e k   i s   a   s c a l a r   k n o w n   a s   t h e   CG   upda t e .   T h e   s ui t a b l e   c h o i c e   f o r   k   l e a ds   t o   i m p r o v e   n um e r i c a l   pe r f o r m a n c e   c o n j uga t e   gra di e n t   m e t h o ds .   T h e r e   a r e   s o m e   w e l l   kn o w n   a nd  e ffe c t i ve   c o n j uga t e   gra di e n t   m e t h o ds ,   s uc h   a s ,   [3 - 6] .     T h e   t w o   m o s t   po pul a f o r m ul a s   k n o w   i n   c o n j ug a t e   g ra d i e nt   m e t h o ds   a r e   a s   f o l l ow s     k T k k T k HS k k T k k DY k y d y g y d g 1 2 1 ,   (6)   w h e r e k k k g g y 1 .   T h e   f i r s t   i s   b e t t e r   i n   t e rm s   of   c o n v e r ge n c e   a n t h e   s e c o n i s   b e t t e r   i n   n u m e r i c a l   pe r f o r m a n c e .   M o r e   de t a i l s   c a b e   fo un i n   [7,   8] .   Y ua n   [9],   c l a i m e t ha t   t h e   pa r a m e t e r   c o n j uga t e   g r a d i e n t   m e t h o ha s   b e s t   n um e ri c a l   pe r f o r m a n c e     i s   gi v e by     2 / / )) ( ) ( ( 1 1 k T k k k k k T k Y k d g x f x f y g   (7)     N e w l y ,   i n   [ 10],   p r e s e nt e a   m o di f i e Y ua m e t h o ha s   go o c o n v e r ge n c e   pr o pe rt y   i s   gi v e n   b y :       2 / / )) ( ) ( ( 1 1 1 k T k k k k k T k B k d g x f x f g g .   (8)     T h e   gl o b a l   c o n v e r ge n c e   pr o pe rt y   i s   a n   i m po r t a nt   p r o pe r t y   of   c o n j uga t e   gra di e nt   m e t h o ds ,   a nd  h a s   a s   m a n y   r e s ul t s   a s   w e   c a n   s e e   i [1 ,   11] .     T h e   ur ge   o f   t h i s   pa pe r   i s   t o   ge t   gr e a t   a l go ri t hm s   w e   c o m b i ne   t h e   b e n e f i t s   of   t h e   t w o   fo r m u l a s   Y k   a n B k .   P r o v i de   n o ve l   a l go r i t h m s   h a v e   f a n t a s t i c   n u m e r i c a l   pe r f o r m a n c e   w i t h   go o be t t e r   c o n v e r ge n c e   a n a   di s c us s i o n   f o r   t h e   t h e o r e t i c a l   p r o pe r t i e s   a n d   t h e   n u m e ri c a l   r e s ul t s .         2.   A   C O N V EX   C O M B I N A TI O N   O F   B k   AND  Y k   M ET H O D S   In   v i s i o n   o f   t h e   ge n t l e   c o n v e r ge n c e   pr o pe rt y   o f   t h e   B k   m e t h o d,   a n t h e   e ff i c i e n t   pe r f o r m a n c e   of   t h e   Y k   m e t h o d,   w e   pa y i n a t t e n t i o n   o de s i g n i ng  n e w   m e t h o ds   w h i c h   po s s e s s   t h e   a b ove   pr o pe r t i e s   s i m ul t a n e o us l y .   T h e   pa ra m e t e r   k   o f   t h e   h y b r i c o n j ug a t e   g ra di e n t   m e t h o o f   B k   a n d   Y k   i s     fo r m u l i z e a s     B k k Y k k H Y B k ) 1 (   (9)     S o ,   w e   ge t :       k k k k H Y B k k H Y B k x x s s g d 1 1 1 ,   (10)   T o   b e   de t e r m i n e t h e   s c a l a r   pa ra m e t e r   k ,   t h e   s e e   i t   :   i , 0 k   t h e n   Y k H Y B k   a n , 1 k   t h e n   B k H Y B k .   If   , 1 0 k   t h e n   H Y B k   i s   a   p r o pe r   c o n v e c o m b i n a t i o n   o f   t h e   pa r a m e t e r s   i s     Y k   a n d   B k .         Evaluation Warning : The document was created with Spire.PDF for Python.
In do n e s i a J   E l e c   E ng  &   Co m S c i     IS S N :   2502 - 4752       A   V ar i an t   of   H y br i C onj ug at e   G r ad i e n t   Me t hods   B as e o t he   C onv e x   Com b i na t i on…   ( B as i m   A .   H as s an )   1009   Th e o r e m   2. 1   If   t h e   r e l a t i o n s hi ps   ( 9)   a n d   (10)   h o l ds ,   t h e n :       B k k Y k k H Y B k d d d 1 1 1 ) 1 (   (11)     P r oo :   P o s s e s s i n pe r s pe c t i v e   r e l a t i o n s h i ps   B k   a n d   , Y k   t h e   r e l a t i o n s h i p   ) 9 (   b e c o m e s     2 / / )) ( ) ( ( ) 1 ( 1 1 1 1 k T k k k k k T k k k T k k H Y B k d g x f x f g g y g   (12)     So ,   t h e   r e l a t i o n   ( 10)   b e c o m e s     k k T k k k k k T k k k T k k k H Y B k H Y B s d g x f x f g g y g g d g d 2 / / )) ( ) ( ( ) 1 ( , 1 1 1 1 1 1 0 0   (13)     In  t h e   o t h e m i n d   o f   a   r e l a t i o n s hi (13)   w e   h a v e     , ) ) 1 ( ( 1 1 1 k H Y B k k k k k H Y B k s g g d   (14)     Im pl i e s   t ha t     k B k k Y k k k k k k H Y B k s g g d ) ) 1 (( ) ) 1 ( ( 1 1 1   (15)     T h e   l a s t   r e l a t i o y i e l ds     ) )( 1 ( ) ( 1 1 1 k Y k k k k B k k k H Y B k s g s g d   (16)     F r o m   ( 16)   w e   f i na l l y   c o n c l ude     B k k Y k k HYB k d d d 1 1 1 ) 1 (   (17)     A ppl y   c o n j uga c y   c o n di t i o t o   f i n d   v a l ue   k   i o ur  m e t h o d     0 H Y B k T k d y   (18)     M ul t i pl y i n g   (13)   by   T k y   a n d   a pp l y i n (18)   w e   ge t     0 2 / / )) ( ) ( ( ) 1 ( 1 1 1 1 1 k k T k k k k k T k k k T k k k T k s d g x f x f g g y g g y   (19)     , 0 2 / / )) ( ) ( ( ) ( ) ( ) 1 ( 1 1 1 1 1 k T k k k k k T k k T k k k T k k T k k k T k d g x f x f s y g g s y y g g y   (20)     S o ,       , 2 / / )) ( ) ( ( ) ( ) ( ) ( 2 / / )) ( ) ( ( 1 1 1 1 1 1 1 k T k k k k k T k k T k k T k k T k k k T k k T k k k k k T k k T k d g x f x f s y y g s y g g s y d g x f x f y g g y   (21)     Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2502 - 4752   In do n e s i a J   E l e c   E ng  &   Co m S c i ,   V o l .   20 ,   N o .   2 N o v e m be r   20 20  :     10 07   -   10 15   1010   i . e .     ) ( 2 / / )) ( ) ( ( ) ( 2 / / )) ( ) ( ( ) 2 / / )) ( ) ( (( 1 1 1 1 1 k T k k T k k k k k T k k k T k k T k k k k k T k k T k k k k s y d g x f x f g g g y d g x f x f s y d g x f x f   (22)     F i na l l y ,     ) ( ) )( 2 / / )) ( ) ( (( 1 1 1 k T k k T k k T k k T k k T k k k k k s y g g g y s y d g x f x f   (23)     T h e   a pp r o pri a t e   v a l ue   fo r   , k i s   i n   t h e   i nt e r v a l   [0 ,   1].   W e   ge t   Y k H Y B k   i f   , 0 k   t h e n   s e t   0 k   in   (9) ,   a n w e   ge t   B k H Y B k   i f   , 1 k   t h e n   s e t   1 k   in   (9) .   If   i t ' s   a   v a l ue   o f   k   i s   s pe c i f i e d,   H Y B k   i t   i s   c o m b i n e s   t h e   p r o pe r t i e s   o f   t h e   Y   a nd  t h e   B   a l go r i t hm s   i a   c o n v e w a y .     N ow   w e   fo r m a l l y   s t a t e   o ur  a l go ri t hm   a n d   c a l l   by   H Y B     A l go r i th m   (H Y B )   S t a ge   1 .   I ni t i a l i z a t i o n   : n R x 1 1 0 2 1   1 1 g d   a n 1 1 / 1 g .   S t a ge   2 .   If   6 1 10 k g ,   t h e n   s t o p.     S t a ge   3 .   Co m put e   :   k   by   us i n g   t h e   W o l f e   c o n di t i o n   a n d   l e t   k k k k d x x 1 .   S t a ge   4 .   Co m put a t i o n   k ,   i f   , 0 ) ( 1 k T k k T k s y g g   t h e n   s e t   , 0 k   e l s e   s e t   k   a s   i ( 23 )   r e s pe c t i v e l y .     S t a ge   5 .   Co m put e   :   H Y B k   a s   i ) 9 ( .   S t a ge   6 .   Co m put e   : k k k k s g d 1 1 .   P ut   1 k k   go   t o   s t e 2 .       3.   C O N V ER G EN C E   A N A L Y S I S   W e   a do pt   t h e   f o l l o w i n a s s um p t i o us e o f t e n   i n   t h e   l i t e r a t u r e   t o   a na l y z e   t h e   gl o b a l   c o n v e r ge n c e .       A s s u mp ti o n   3. 1:    s uppo s e   t h a t   t h e   g ra d i e nt   i s   L i ps c hi t z   c o n t i n uo us .   T h e f o r   s o m e   po s i t i v e   c o n s t a n t   L ,   w e   ha v e     . , , ) ( ) ( U m n m n L m g n g   (24)     w h e r e   w e   a s s um e   t h e   l e v e l   s e t     ) ( ) ( 0 x f x f R x S n   (25)     i s   b o un de s e t .   U n de r   t h e s e   a s s um p t i o n s   o f   ) ( x f ,   t h e r e   e xi s t s   a   c o n s t a n t   0   s uc t ha t     1 k g   (26)     M o r e   de t a i l s   c a b e   f o un i [12 ,   13].   N ow ,   w e   w i l l   f o c us   t h e   p r o o f   of   t h e   de s c e n t   p r o pe r t y .       Th e o r e m   (3 . 1)   A s s um e   t h a t   (24)   a n (26)   h o l a n l e t   W o l f e   c o n di t i o ns   h o l d.   A l s o ,   l e t   k s   t e nd  t o   z e r o ,     a n c o n s i de t h e r e   e xi s t   t w o   pos i t i v e   c o n s t a n t s   2 1 ,   w e   s a t i s f i e s     , 2 / / )) ( ) ( ( 2 1 1 k k T k k k k s d g x f x f   (27)   Evaluation Warning : The document was created with Spire.PDF for Python.
In do n e s i a J   E l e c   E ng  &   Co m S c i     IS S N :   2502 - 4752       A   V ar i an t   of   H y br i C onj ug at e   G r ad i e n t   Me t hods   B as e o t he   C onv e x   Com b i na t i on…   ( B as i m   A .   H as s an )   1011   k k s g 2 2 1   (28)     t h e H Y B k d   s a t i s f i e s   t h e   0 1 1 H Y B k T k d g ,   f o r   a l l   k .       P r oo :   It   f i s t s   0 0 g d .   If   , 0 k   i t   h o l ds   0 2 0 0 0 g d g T .   M ul t i pl y i n (11)   by   T k g 1   w e   ob t a i n e d     B k T k k Y k T k k H Y B k T k d g d g d g 1 1 1 1 1 1 ) 1 (   (29)     If   , 0 k   t h e   r e l a t i o n   (29)   b e c o m e s     Y k T k H Y B k T k d g d g 1 1 1 1   (30)     S o ,   i , 0 k   t h e   h y b r i m e t h o s a t i s f i e s   t h e   de s c e n t   c o n di t i o n,   i f   i t   f i s t s   fo r   Y   m e t h o d.   By   us i n t h e   c o n di t i o n s   o f   T h e o r e m   3 . 1 ,   w e   c a p r o v e   t h e   de s c e n t   f o r   Y   m e t h o d.   I t   f i s t s     k Y k k Y k s g d 1 1   (31)     M ul t i pl y i n g   (31)   by   T k g 1 ,   w e   ge t     k T k Y k k T k Y k T k s g g g d g 1 1 1 1 1   (32)     U s i n de f i ni t i o , Y k   w e   ge t     k T k k T k k k k k T k k T k Y k T k s g d g x f x f y g g g d g 1 1 1 1 1 1 1 2 / / )) ( ) ( (   (33)     F r o m   ( 33)   w e   ge t     2 / / )) ( ) ( ( 1 2 1 2 1 1 1 k T k k k k k k k k Y k T k d g x f x f s y g g d g   (34)     F r o m   L i ps c h i t z   c o n di t i o n   w e   ha v e   , k k s L y   so     2 / / )) ( ) ( ( 1 2 1 2 1 1 1 k T k k k k k k k Y k T k d g x f x f s L g g d g   (35)     B ut ,   us i ng  ( 27) - (28 )   w e   ge t :       1 2 2 1 1 1 k k Y k T k s L g d g   (36)     B ut ,   b e n e f i t   f r o m   , 0 k s   t h e   s e c o n d   p a rt   i ( 36 )   t e nds   t o   z e r o ,   s o   t he re   e x i s t s   a   , 1 0   s uc t ha t     2 1 2 1 1 k k g s L   (37)   Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2502 - 4752   In do n e s i a J   E l e c   E ng  &   Co m S c i ,   V o l .   20 ,   N o .   2 N o v e m be r   20 20  :     10 07   -   10 15   1012   N ow ,   f r o m   (36)   w e   ha v e     , 2 1 2 1 1 1 k k Y k T k g g d g   (38)     i . e .       0 ) 1 ( 2 1 1 1 k Y k T k g d g   (39)     If   e i t h e , 1 k   t h e   r e l a t i o n s h i p   (29)   w e   ha v e     B k T k H Y B k T k d g d g 1 1 1 1   (40)     B ut ,   t h e   de s c e n t   p r o pe r t y   of   B - m e t h o i s   p r o v e i [10] ,   b y   u s i ng  W o l f e   c o n di t i o n s .   N ow ,   l e t   1 0 k   a nd  f r o m   (29) ,   w e   ge t     B k T k k Y k T k k H Y B k T k d g d g d g 1 1 1 1 1 1 ) 1 (   (41)     W e   obv i o us l y   c a n   c o n c l ude   n o w     0 1 1 H Y B k T k d g   (42)     W e   a do pt   t h e   n e x t   t h e o r e m   us e c o m m o n l y   i n   t h e   r e s e a r c l i t e ra t u r e s .       Th e o r e m   (3 . 2)   L e t   t h e   i t e ra t i v e   m e t h o o f   t h e   f o r m   (2)   a nd   (5) ,   w h e r e   k d   s a t i s f i e s   a   0 k T k d g   a n k   s a t i s f i e s   s t r o n W o l f e   c o n di t i o n s .   If   (24)   h o l ds ,   t h e n   e i t h e r     0 i n f l i m k k g   (43)     O r     1 2 1 4 1 k k k d g   (44)     It   w a s   o ri gi na l l y   gi v e n   by   Z o ut e n di j [ 14].       Th e o r e m   (3 . 3   L e t   c o n di t i o n s   o f   T h e o r e m   3 . 2   h o l ds .   T h e e i t h e r   0 k g   f o r   s o m e , k   o r,       0 i n f l i m k k g   (45)     P r oo :     L e t   0 k g k .   U s i n g,   a   c o n t ra r y   t o   pr o v e   (45) ,   t ha t   t h e r e   e xi s t s   a   n u m b e r   , 0 c   s uc h   t h a t     k c g k , 1   (46)     Evaluation Warning : The document was created with Spire.PDF for Python.
In do n e s i a J   E l e c   E ng  &   Co m S c i     IS S N :   2502 - 4752       A   V ar i an t   of   H y br i C onj ug at e   G r ad i e n t   Me t hods   B as e o t he   C onv e x   Com b i na t i on…   ( B as i m   A .   H as s an )   1013   F r o m   ( 11)   w e   ge t     B k Y k H Y B k d d d 1 1 1   (47)     N e xt ,   i t   h o l ds     k B k k B k s g d 1 1   (48)     F r o m   ( 9),   (26 ) - (28) ,   a n d   (48)   w e   ge t     1 2 1 B k d   (49)     A l s o ,       k Y k k Y k s g d 1 1   (50)     U s i n (2 6) - (28) a n d   (50)   w e   ge t     1 1 L d Y k   (51)     S o ,   us i n (47) ,   ( 49)   a n d   (51)   w e   ge t     1 2 1 1 2 L d H Y B k   (52)     W e   ob t a i n e d     2 1 2 1 4 2 1 4 1 2 L c d g k k   (53)     w h e r e   f r o m     1 2 1 4 1 k k k d g   (54)     A ppl y i n t h e   T h e o r e m   3 . 2 ,   w e   o b t a i a   c o n t ra di c t i o n.   T h e   p roof   i s   f i n i s h.         4.   N U M ER I C A R ES U LTS   A N D   D I S C U S S I O N   In   t h i s   s e c t i o n,   w e   r e po r t   s o m e   n u m e ri c a l   r e s ul t s   w i t h   t h e   p ro pos e m e t h o a n H S - m e t h o d.   W e   t e s t   t h e   pe r f o r m a n c e   of   A l go r i t h m   o n   t h e   fo l l ow i n (15)  p rob l e m s   w i t h   v a r i o us   s i z e s .   U s i n F o r t ra n   90  t o   e n c r y pt   t h e s e   m e t h o ds .   In  o ur   a pp l i c a t i o n,   w e   c h o o s e   t h e   f o l l ow i n pa ra m e t e r s   :   001 . 0 1   a n d   9 . 0 2 A r e   s e l e c t e e xa m i n a t i o n   p r o b l e m s   o f   r e f e r e n c e s   [15].   S t o s t a t e   i s   6 1 10 k g   It   h a s   b e e n   r e po r t e n u m e r i c a l   r e s ul t s   i T a b l e   1.   R e pr e s e nt s   t h e   f i r s t   c o l um n   a nd  t h e   na m e   o f   t h e   s e c o n p r o b l e m   a n i t s   di m e n s i o n s   i n   [1 5],   r e s pe c t i v e l y .   O t h e t e s t   f u n ct i o n s   h a v e   b e e n   u s e d   i n   v a ri o u s   Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2502 - 4752   In do n e s i a J   E l e c   E ng  &   Co m S c i ,   V o l .   20 ,   N o .   2 N o v e m be r   20 20  :     10 07   -   10 15   1014   re s e a rch e s   s u ch   a s   [16 - 25]   N a n N R   a n N F   i n   t h e   t a b l e   i n d i c a t e s   t h e   n um b e r   o f   i t e r a t i o n s   a n t h e   n u m b e r   o e v a l ua t i o n s   of   j o bs   a n t h e   n u m b e r   of   r e pl a y   re s t a rt ,   r e s pe c t i v e l y .   R e l a t i v a   e ff i c i e n c y   of   t h e   v a r i a n t   o f   h y b r i d   A l go ri t hm   a s   s h o w n   i n   T a b l e   2.         T a b l e   1 .   Co m p a r i ng  d i f f e r e n t   c o n j ug a t e   g ra di e nt   m e t h o ds   w i t di f f e r e n t   t e s t   f un c t i o n s   HY B   a l g o r it h m   H S   a l g o r it h m       NF   NR   NI   NF   NR   NI   n   P .   No .   37   11   20   35   10   19   1 0 0   T r i g o n o m e tr i c   63   22   34   67   22   39   1 0 0 0   1 4 8   26   93   1 5 5   33   1 0 2   1 0 0   P e r t u r b e d   Q u a d r a ti c   5 0 9   92   3 1 7   5 0 9   91   3 2 6   1 0 0 0   17   6   8   17   6   8   1 0 0   E x ten d e d   P S C 1   15   5   7   5 0 5   25   26   1 0 0 0   95   9   5 3   84   6   47   1 0 0   Q .   Di a g o n a P e r tu r b e d   3 0 9   24   1 7 3   3 3 5   29   1 8 8   1 0 0 0   64   11   34   60   13   32   1 0 0   E x ten d e d   W o o d   49   9   28   54   11   28   1 0 0 0   16   5   8   23   7   12   1 0 0   AR W H E A ( C UT E )   56   6   8   1 4 8   11   17   1 0 0 0   26   7   13   34   9   17   1 0 0   NO ND I A   ( C UT E )   27   7   13   25   7   12   1 0 0 0   1 1 8   21   76   12 4   23   82   1 0 0   P a r ti a P e r t u r b e d   Q .   4 2 9   65   2 5 9   4 2 9   57   2 6 0   1 0 0 0   34   11   19   40   12   21   1 0 0   L I A R W H ( C UT E )   44   11   19   45   12   20   1 0 0 0   32   17   18   36   17   20   1 0 0   DE NSC H NF  ( C UT E )   33   16   18   41   17   22   1 0 0 0   17   6   8   17   6   8   1 0 0   S I NC O S   15   5   7   5 0 5   25   26   1 0 0 0   54   7   31   55   10   34   1 0 0   G e n e r a li z e d   q u a r ti c   GQ 2   63   9   36   63   12   38   1 0 0 0   1 0 5   26   66   1 0 3   18   61   1 0 0   Dia g o n a 2   3 0 3   63   1 8 0   3 2 1   57   1 9 2   1 0 0 0   13   5   8   20   7   13   1 0 0   E x ten d e d   T h r e e   E x p o   T e r m s   3 6 5   21   28   2 6 0   19   26   1 0 0 0   1 4 4   31   95   1 5 2   29   1 0 0   1 0 0   Qu a d r a ti c   QF1   6 0 4   1 1 0   3 7 5   5 8 6   1 0 5   3 7 1   1 0 0 0   3 6 8 7   6 4 8   1 9 8 5   4 7 3 0   6 8 4   2 0 9 5     T o tal       F r o m   T a b l e   1,   i t   i s   c o m pl e t e t h a t   t h e   m o r e   e ff i c i e n t   a l go r i t hm   i n   t e rm s   o f   t h e   n u m b e r   o f   i t e ra t i o n s   i s   o ur   m e t h o d b e i n t h e   b e s t   f o r   6%  o f   t h e   p r o b l e m s ,   f o l l ow e by   n um b e r   o f   f un c t i o e v a l ua t i o n s ,   t ha t   w a s   t h e   e ff i c i e n t   f o r   n e a r l y   22%  o f   t h e   p r o b l e m s   a n d   6%   i t e rm s   o f   t h e   n u m b e r   o f   r e s t a r t   c a l l s .         T a b l e   2 .   R e l a t i v a   e f f i c i e n c y   of   t h e   v a ri a nt   o f   h y b r i a l go r i t h m   NF   NR   NI     1 0 0   %   1 0 0   %   1 0 0   %   H S   a l g o r i t h m   7 7 . 9 4   %   9 4 . 7 3   %   9 4 . 7 4   %   H Y a l g o ri t h m       5.   C O N C LU S I O N S   T he   v a ri a nt   o f   h y b ri d   o f   t he   c o nj u g a t e   g ra d i e nt   d i re c t i o n   i s   b a s e d   o t he   c o nv e x   c o m b i na t i o n .     T he   s e a rc d i re c t i o i t he   v a ri a nt   o f   h y b ri d   s a t i s f i e s   a s   a   de s c e nt   c o nd i t i o a nd   t he   g l o b a l   c o nv e rg e nc e   i s   a l s o   o b t a i ne d .   S ho w   t ha t   v a r i a nt   o f   h y b ri d   m e t ho d   a re   t he   b e s t   f o s o l v i ng   u nc o ns t ra i ne d   o p t i m i z a t i o p ro b l e m s .       A C K N O WL ED G M EN T   T h e   a u t h o r s   a r e   v e r y   gr a t e f ul   t o   t h e   U n i v e r s i t y   o M o s ul   /   Co l l e ge   of   C o m put e r s   S c i e n c e s   a nd  M a t h e m a t i c s   f o r   t h e i p r o v i de f a c i l i t i e s ,   w h i c h e l pe t o   i m pr o v e   t h e   qua l i t y   o f   t h i s   w o r k .         R EF ER EN C ES   [ 1]   H a g e r   W .   W .   a nd  Z ha ng .   H ,   " A   s ur r e vy   o f   no nl i ne a r   c o nj ug a t e   g r a di e n t   m e t ho ds ,   P aai f i c   J o ur n al   o f   opt i m i z a t i on,   v o l .   2 ,   pp . 35 - 58 ,   20 06   [ 2]   Z ho ng bo   S . ,   H o ng y a ng   L . ,   J i ng   W .   a n Y a n t a o   T .   T w o   m o d i f i e s p e c t r a l   c o n j ug a t e   g r a d i e n t   m e t ho d s   a n t h e i r   g l o b a l   c o nv e r g e nc e   f o r   u nc o n s t r a i n e d   o p t i m i z a t i o n .   I n t e r n a t i o n a l   J o u r n a l   o f   C om p u t e r   M a t he m a t i c s ,   t o   b e   a p p e r 2 0 17   [ 3]   F l e t c he r ,   R .   a n R e e v e s   C .   F unc t i o m i n i m i z a t i o by   c o nj u g a t e   g r a di e nt s , ”  C om pu t e r   J v o l .   7 ,   pp .   149 - 154 196 4 .     [ 4]   F l e t c he r   R . ,   P r a c t i c a l   M e t ho o f   O p t i m i z a t i o ( 2 nd   E di t i o n) ,   J oh W i l e y   a nd   Son s ,   N e w   Y o r k,   19 89 .     Evaluation Warning : The document was created with Spire.PDF for Python.
In do n e s i a J   E l e c   E ng  &   Co m S c i     IS S N :   2502 - 4752       A   V ar i an t   of   H y br i C onj ug at e   G r ad i e n t   Me t hods   B as e o t he   C onv e x   Com b i na t i on…   ( B as i m   A .   H as s an )   1015   [ 5]   L i Y .   a nd  S t o r e y   C .   E f f i c i e nt   g e ne r a l i z e c o nj ug a t e   g r a di e nt s   a l g o r i t hm s ,”   P a r t   1 :   T he o r y .   J .   O pt i m i z a t i on  T he or y   and  A pp l i c at i on s v o l .   69 ,   p p.   12 9 - 137 1 991 .     [ 6]   P o l a k,   E .   a n R i b i e r e ,   G .   N o t e   f o r   C o nv e r g e nc e   D i r e c t i o C o nj ug a t e ,   R e v ue   F r anc ai s e   I n f o r m an t ,   R e s e r c he .   O pe r t i o ne l l e ,   pp .   35 - 43 1969 .     [ 7]   D a i   Y .   H .   a nd  Y u a Y . ,   A   no nl i ne a r   c o nj ug a t e   g r a d i e n t   m e t ho w i t a   s t r o ng   g l o ba l   c o n v e r g e nc e   pr o pe r t y ,     SI A M   J .   op t i m i z at i on ,   pp .   177 - 182 199 9 .     [ 8]   H e s t e ne s ,   M .   R .   a nd  S t i e f e l ,   E .   L .   M e t ho o f   c o nj ug a t e   g r a d i e n t s   f o r   S o l v i ng   l i ne a r   s y s t e m s ,   J o ur n al   N a t i ona l   St an dar ds ,   v o l .   49 ,   pp.   4 09 - 436 1952 .     [ 9]   Y ua Y . ,   S o m e   p r o bl e m s   i no nl i ne a r   p r o g r a m m i ng ,   i Y ua n,   Y . ,   ( E d. )   N um e r i c a l   L i n e ar   A l ge b r a nd   O pt i m i z at i on ,   Sc i e nc e   P r e s s ,   B e i j i ng   /   N e w   Y or k ,   pp . 90 - 110 ,   200 3 .     [ 10]   B a s i m   A .   H a s s a n,   A   ne w   f o r m ul a   f o r   c o nj ug a t e   pa r a m e t e r   c om put a t i o ba s e o t he   qua dr a t i c   m o de l , ”    I ndo ne s i an   J our nal   o f   E l e c t r i c a l   E ngi ne e r i ng   and   C om p ut e r   Sc i e nc e   ( I J E E C S ) v o l .   3 ,   no .   3 ,   pp .   954 - 961 ,   201 9   [ 11]   S un,   W . ,   Y ua n ,   Y . ,   O pt i m i z a t i o T he o r y   a nd   M e t ho ds :   N o nl i ne a r   P r o g r a m m i ng ,   Spr i nge r ,   N e w   Y o r k ,   2006   [ 12]   H a g e r   W . W .   a nd  Z ha ng   H . ,   A   ne w   c o nj ug a t e   g r a di e nt   m e t ho d   w i t g ua r a n t e e de s c e n t   a nd  a e f f i c i e nt   l i ne   s e a r c h,   S I A M   J .   O pt i m v o l .   16 ,   pp.   1 70 - 192 2005 .     [ 13]   N a r us hi m a   Y .   a nd  Y a be   H . ,   A   s ur v e y   of   s uf f i c i e nt   de s c e n t   c o nj ug a t e   g r a di e nt   m e t ho ds   f o r   unc o ns t r a i ne d   o pt i m i z a t i o n,   SU T   J .   M at h .   50 ,   pp .   167 - 203 201 4 .     [ 14]   Z o ut e nd i j k ,   G . ,   N o nl i n e a r   pr o g r a m m i ng ,   c o m put a t i o na l   m e t ho d s ,   I n:   A bad i e ,   J .   ( e ds . )   I n t e ge r an N on l i ne ar   P r ogr am m i n g ,   N o r t h - H o l l a nd ,   A m s t e r d a m ,   pp .   37 - 86 1 970   [ 15]   A ndr i e   N .   A U nc o ns t r a i n e O pt i m i z a t i o T e s t   f unc t i o ns   c o l l e c t i o n,   A dv a n c e M ode l i n and  op t i m i z at i on   v o l .   10,   p p.   14 7 - 161 2 008 .     [ 16]   A ndr e i   N . ,   T e s t   f unc t i o ns   f o r   unc o ns t r a i n e o pt i m i z a t i o n , ”  R e s e ar c I ns t i t u t e   f or   i n f or m at i c s ,   C e nt e r   f or   A dv an c e M ode l i ng   and   O p t i m i z at i on ,   pp .   1 - 15,   20 04.     [ 17]   D j o r dj e v i c   S .   S . ,   N e w   H y br i C o nj ug a t e   G r a di e nt   M e t ho a s   a   C o nv e C o m bi na t i o o f   L S   a nd  C D   M e t ho ds ,   F i l om at ,   v o l .   31 ,   no .   6,   pp .   181 3 - 1825 ,   2017 .     [ 18]   B o ng a r t z   I . ,   e t   a l . ,   C U T E :   C o ns t r a i n e a nd  U nc o ns t r a i ne T e s t i ng   E nv i r o nm e n t ,   A C M   T r ans ac t i o ns   o n   M a t he m at i c a l   Sof t w ar e ,   v o l .   21 ,   no .   1 ,   pp .   123 - 160 ,   199 5.   [ 19]   A l ha w a r a t   A . ,   e t   a l . ,   A e f f i c i e n t   hy br i c o nj ug a t e   g r a d i e nt   m e t ho w i t h   t h e   s t r o ng   W o l f e - P o w e l l   l i ne   s e a r c h,   M a t he m at i c a l   P r ob l e m s   i n   E ng i ne e r i ng ,   v o l .   2 015 ,   no .   1 4,   pp .   1 - 7,   2015 .     [ 20]   B a s i m   A .   H .   ,   Z e y a M .   A .   a nd   H a w r a z   N .   J .   A   de s c e n t   e x t e ns i o o f   t he   D a i   -   Y ua n   c o nj ug a t e   g r a d i e n t   t e c hni que ,   I ndo ne s i an   J o ur nal   o f   E l e c t r i c a l   E ngi ne e r i ng   and   C om p ut e r   Sc i e nc e ,   pp .   661 - 668 201 9.   [ 21]   B a s i m   A .   H H u s s e i O .   D . a nd  A z z a m   S .   Y .   A   ne w   ki nd  o f   pa r a m e t e r   c o nj ug a t e   g r a di e nt   f o r   unc o ns t r a i ne d   o pt i m i z a t i o n,   I ndo ne s i an   J our nal   o f   E l e c t r i c a l   E ng i ne e r i ng   and   C om put e r   Sc i e nc e ,   pp .   4 04 - 411 ,   2020 .   [ 22]   B a s i m   A .   H a s s a n,   O s a m a   M . T .   W .   a nd  A y a A .   M .   A   C l a s s   o f   D e s c e nt   C o nj ug a t e   G r a d i e nt   M e t ho ds   f o r   S o l v i ng   O pt i m i z a t i o P r o b l e m s ,   H I K A R I   L t d ,   A pp l i e M at he m at i c al   S c i e n c e s pp .   1 2,   55   5 67 ,   2 019 .   [ 23]   B a s i m   A .   H a s s a a nd  M o ha m m e W .   T .   A   M o di f i e Q ua s i - N e w t o E qua t i o i t he   Q u a s i - N e w t o M e t ho ds   f o r   O pt i m i z a t i o n H I K A R I   L t d,   A pp l i e M at he m at i c a l   S c i e nc e s pp.   4 6   47 2 ,   20 19.   [ 24]   B a s i m   A .   H a s s a n A   G l o ba l l y   C o n v e r g e nc e   S pe c t r a l   C o nj ug a t e   G r a d i e nt   M e t ho f o r   S o l v i ng   U nc o ns t r a i ne d   O pt i m i z a t i o P r o b l e m s   a n M o ha m m e d ,   R a f .   J .   of   C om p .   &   M a t h s .,   pp.   21 - 28 ,   20 13 .   [ 25]   L i J . K . a nd  L i   S .   J . , N e w   hy br i c o nj ug a t e   g r a di e nt   m e t ho f o r   unc o ns t r a i ne o pt i m i z a t i o n,   A ppl i e M at he m at i c s   and  C om pu t at i o n ,   v o l .   2 45 ,   p p.   36 - 43 ,   201 4.     Evaluation Warning : The document was created with Spire.PDF for Python.