I n d on e s i an   Jo u r n al   o El e c t r i c al   En gi n e e r i n g   an d   C o m p u te r   S c i e n c e   V o l .   20 ,   N o .   2 N o v e m b e r   20 20 ,   pp.   939 ~ 947   IS S N :   25 02 - 4752 ,   D O I :   10. 1 1591 / i j e e c s . v 20 .i 2 . pp 939 - 947             939       Jou r n al   h o m e pa ge ht t p: / / i j e e c s . i a e s c or e . c om   n e w   h y b r i d   c o n j u g a t e   g r a d i e n t   a l g o r i t h m   f o r   u n c o n st r a i n e d   o p t i m i z a t i o n   w i t h   i n e x a c t   l i n e   se a r c h       F an ar   N .   Ja r d o w ,   G h ad a   M .   Al - N ae mi   D e pa r t m e n t   o f   M a t he m a t i c s ,   C o l l e g e   o f   C o m put e r   S c i e nc e s   a nd   M a t he m a t i c s ,   U ni v e r s i t y   o f   M o s ul ,   I r a q       A r ti c l e   I n fo     A B S TR A C T     Ar t i c l e   h i s t or y :   R e c e i v e F e b   9 ,   20 20   R e v i s e A pr   5 ,   2020   A c c e pt e A p r   1 9 ,   2020       M a ny   r e s e a r c he r s   a r e   i n t e r e s t e f o r   d e v e l o pe a nd   i m p r o v e t h e   c o nj ug a t e   g r a di e nt   m e t ho f o r   s o l v i ng   l a r g e   s c a l e   unc o ns t r a i ne o p t i m i z a t i o pr o bl e m s .   I t hi s   w o r k   a   ne w   p a r a m e t e r         w i l l   b e   pr e s e nt e d   a s   a   c o nv e c o m bi na t i o n   be t w e e n   R M I L   a nd  M M W U .   T he   s ug g e s t i o m e t ho a l w a y s   pr o duc e s   a   de s c e n t   s e a r c d i r e c t i o a t   e a c i t e r a t i o n.   U n de r   S t r o ng   W o l f e   P o w e l l   ( S W P )   l i n e   s e a r c c o ndi t i o ns ,   t he   g l o ba l   c o nv e r g e nc e   o f   t he   pr o po s e d   m e t ho i s   e s t a b l i s he d .   T h e   p r e l i m i na r y   num e r i c a l   c o m pa r i s o ns   w i t s o m e   o t he r s   C G   m e t ho ds   ha v e   s ho w t h a t   t hi s   ne w   m e t ho i s   e f f i c i e n t   a nd  r o bus t   i s o l v i ng   a l l   g i v e n   pr o bl e m s .   Ke y w or d s :   G l o b a l   c o n v e r ge n c e     H y b r i c o n j uga t e   g ra d i e nt   m e t h o d   S uf c i e n t   de s c e n t   S W P   U n c o n s t ra i n e d   o pt i m i z a t i o n   C opy r i gh t   ©   2020   I n s t i t ut e   o f   A dv anc e E ng i ne e r i ng   and   S c i e nc e .     A l l   r i gh t s   r e s e r v e d .   Cor r e s pon di n g   Au t h or :   G ha da   M .   A l - N a e m i   D e pa rt m e n t   o f   M a t h e m a t i c s ,   Co l l e ge   o f   Co m put e S c i e n c e s   a n M a t h e m a t i c s ,     U n i v e r s i t y   of   M o s ul ,   M o s ul ,   I ra q .   E m a i l :   g h 66 a l na e m i @ g m a i l . c o m d rg h a d a a l na e m i @ uo m o s ul . e du. e q       1.   I N TR O D U C TI O N     Co n j uga t e   g ra di e n t   (CG m e t h o ds   a r e   a m o n t h e   m o s t   po pul a m e t h o ds   f o r   s o l v i n o pt i m i z a t i o pr o b l e m ,   e s pe c i a l l y   fo r   l a r ge - s c a l e   p r o b l e m s   due   t o   t h e   s i m p l i c i t y   a n l o w   s t o r a ge   o f   t h e i r   i t e r a t i v e   fo r m   [1] .   T h e   u n c o n s t ra i n e d   o pt i m i z a t i o p r o b l e m   h a s   t h e   f o l l ow i n g   g e n e ra l   f o r m :                       (   )   (1)     w h e r e             i s   a   r e a l   v e c t o r   w i t h           c o m po n e n t   a n d                 i s   s m o o t h   f un c t i o n   a n i t s   g ra di e nt   i s   a v a i l a b l e .   T h e   n o nl i n e a CG   m e t h o t ha t   s t a r t s   f r o m   a i ni t i a l   gue s s               w i l l   b e   de f i n e d   us i n g     t h e   i t e ra t i o n s   o f   t h e   s e que n c e   a s   i t h e   f o l l o w i n f o r m :                                                                         (2)     w h e r e         i s   t h e   n - t i t e ra t i v e   po i nt   a nd         i s   t h e   po s i t i v e   s t e s i z e   r e s ul t i n g   f r o m   pe r f o r m i n g   a   o n e   di m e n s i o na l   s e a r c h ,   k n o w n   a s   t h e   l i n e   s e a r c h e s   [2 ].   T h e         i s   t he   di r e c t i o o f   t h e   s e a r c h   t h a t   i s   c o m put e d   by               {                                                                                                                                       (3)     w h e r e         r e c o r b y      (     )   i s   t h e   g r a d i e nt   a nd  t h e             i s   a   s c a l a r   k n o w n   a s   t h e   CG - c o e ff i c i e n t ,     t h e   di f f e r e n t   c h o i c e s   f o r   t h e   p a r a m e t e       c o r r e s po n d   t o   d i f fe r e n t   c o n j uga t e   g r a d i e nt   m e t h o d .   T h e   s t e       l e n g t h   i s   v e r y   i m po r t a n t   f o r   t h e   gl o b a l   c o n v e r ge n c e   of   CG   m e t h o ds .   I t   c a e i t h e r   b e   e xa c t   o r   i n e xa c t .     In  t h e   c a s e   o f   a e xa c t   s t e pl e n g t h,   o n e   s e e ks       a l o n g   t h e   di r e c t i o n         s uc t ha t     Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2502 - 4752   In do n e s i a J   E l e c   E ng  &   Co m S c i ,   V o l .   20 ,   N o .   2 N o v e m be r   20 20  :     93 9   -   947   940     (               )                 (             )       F o r   i n e x a c t         a   num b e o f   l i n e   s e a r c t e c hni que s   c a b e   u s e d.   F o i n s t a n c e , t h e   s o - c a l l e S W P   c o n di t i o n     r e qui r e   t ha t   [3 ,   4] .       (               )     (     )                 (4)     |   (               ) |       |           |   (5)     w h e r e                           ,   w h e n         i s   f a r   f r o m   t h e   s o l ut i o n   a n   a pp r o xi m a t i o n   o f           i s   f o un a s     t h e   de s c e n di n g   c ha r a c t e r i s t i c   m us t   b e   s a t i s f i e a n t h e   d i r e c t i o n   s h o ul n o t   b e   s e a r c h e d .   T h us   b y   S W P   w e   i nh e ri t   t h e   a dv a n t a ge s   o f   e xa c t   l i n e   s e a r c w i t h   i n e xpe n s i v e   a n d   l o w   c o m put a t i o n a l   c o s t   [5] .   D i f fe r e n t   CG   m e t h o ds   c o rr e s po n t o   di f f e r e n t   c h o i c e s   of   t h e   p a r a m e t e r         [6] .   T h e   m o s t   po pul a fo r m u l a s   f o r   pa ra m e t e r s   H e s t e n e s   S t i e f e l   m e t h o (H S [ 7 ] .   F l e t c h e r - R e e v e s   m e t h o (F R [ 8 ] .     P o l a k - R i b i e r e     P o l y a m e t h o (P R [ 9,   10 ] .   c o n j uga t e     D e s c e n t   m e t h o (CD [1 1 ] .   L i   S t o r e y   m e t h o (L S )   [1 2 ] a nd  D a i - Y u a m e t h o (D Y )   [1 3 ].   T h e   pa ra m e t e r s   of   t h e s e         a r e   g i v e n   a s   f o l l ow s :                                      ;                                                                                                                     ;                                        ;                                                                                                                       .     F o r   a   s t r i c t l y   c o n v e qua dra t i c   f un c t i o n     (   ),   a n t h e   l i n e   s e a r c h   i s   e xa c t ,   a l l     t h e s e   m e t h o ds   a r e   i de nt i c a l ,   s i n c e   t h e   g ra d i e nt s   a r e   m ut ua l l y   o r t h o go n a l ,   s o   t h e   p a r a m e t e r s         i t h e s e   m e t h o ds   a r e   e qu a l .     W h e n   i m p l e m e nt a t e t o   ge n e ra l   n o nl i n e a f un c t i o n   w i t i n e xa c t   l i n e   s e a r c h e s ,   y e t ,   t h e   b e ha v i o r   o f   t h e s e   m e t h o ds   i s   s e e m i n d i f fe r e nt   [1 4 ].   O n e   of   a n   i m po r t a n t   g r o up  of   CG   m e t h o ds   i s   t h e   h y b r i c o n j uga t e   gr a di e n t   a l go ri t hm s ,   t h e   h y b r i c o m put a t i o na l   s c h e m e s   H CG   w o r be t t e r   t h a n   t h e   c l a s s i c a l   CG   m e t h o ds   b e c a us e     t h e   H CG   t a ke   t h e   a dv a n t a ge s   o f   t h e   t w o   pa ra m e t e r s         [15] .   M a n y   r e s e a r c h e r s   de v o t e t o   t h e   h y b r i o r   m i xe c o n j uga t e   gra di e n t   m e t h o ds   w h i c h   h a v e   b e t t e r   c o m put a t i o n a l   pe r f o r m a n c e s   a n s t r o ng  c o n v e r ge n c e   pr o pe rt i e s .   A n d r e i   [1 6 ]   p r o po s e t h e   fo l l ow i n h y b r i d   m e t h o d:           (         )                     D j o r dj e v i c   [1 7 ] ,   p r o po s e t h e   f o l l ow i n g   H CG   m e t h o d                (         )                     ;   X i uy un ,   e t   a l   [1 8 ] p r o po s e t h e   f o l l o w i n H CG   m e t h o d             (         )                     L i v i e r i s ,   et   al   [1 9 ] ,   p r o po s e t h e   f o l l ow i ng  H CG   m e t h o d                              (         )        ;   Al - N a m a t   et   al     [ 20 ] .   p r o po s e t h e   f o l l o w i n H CG   m e t h o d              (         )                              .   In   t h i s   w o r w e   fo c u s   o n   h y b r i c o n j uga t e   g ra di e n t   m e t h o ds   a s   a   c o n v e c o m b i n a t i o n   o f   R M IL   a n d   M M W U   [2 1,   2 2 ] .   CG   m e t h o ds   f o r   s o l v i n u n c o n s t r a i n e d   o pt i m i z a t i o n   m e t h o w i t h   s u i t a b l e   c o n di t i o n s .     T h e   c o rr e s po n di n g   c o n j uga t e   g ra di e n t   (CG )   pa ra m e t e r s   a r e :                                        (6 )     a n d                                     (7)     T h e   p r o po s e m e t h o de f i n e by   s e t   t h e   p a r a m e t e r         by :              (         )                                (8)     Ch o o s i n g   t h e   a pp r o p r i a t e   v a l ue   o f   t h e         i t h e   c o n v e c o m b i na t i o n ,   t h e   s e a r c h   di r e c t i o n         of   o ur   a l go ri t hm   n o t   o n l y   i s   t h e   N e w t o n   di r e c t i o n   [23] ,   s o   s a t i s f i e s   t h e   f a m o us   D L   c o n j uga t e   c o n di t i o p r o po s e b y   D a i   a nd  L i a o   [2 4 ].   U n de r   t h e   S W P   c o n di t i o n s ,   w e   pr o ve   t he   gl ob a l   c o n v e r ge n c e   of   t h e   pr o po s e a l go r i t hm ,     t h e   n u m e ri c a l   r e s ul t s   a l s o   s h ow   t h e   f e a s i b i l i t y   a n a c t i v i t y   of   o ur   a l go ri t hm .   T h i s   s t udy   i s   o r ga ni z e a s   fo l l ow s ,   S e c t i o n   w e   i n t r o duc e   t h e   n e w   p r o po s e h y b r i C G   m e t h o (H H A ),   a n d   w e   go t   t h e   pa ra m e t e r         us i n s o m e   a ppr o a c h e s   a nd  gi v e   us   s pe c i f i c   a l go r i t h m .   S e c t i o n   3,   w e   pr ov e   t h a t   i t   ge n e ra t e s   di r e c t i o n   s a t i s fy i n t h e   s uf f i c i e n t   de s c e n t   c o n d i t i o n   u n de r   S W P   c o n di t i o n .     S e c t i o n   4,   T h e   gl o b a l   c o n v e r ge n c e   p r o pe r t y   of   t h e   p r o po s e m e t h o i s   e s t a b l i s h e d.   i S e c t i o 5,   S o m e   n u m e ri c a l   r e s ul t s   a r e   r e po rt e d.   Evaluation Warning : The document was created with Spire.PDF for Python.
In do n e s i a J   E l e c   E ng  &   Co m S c i     IS S N :   2502 - 4752       A   n e w   hy br i c on j uga t e   gr adi e n t   a l gor i t hm   f or   unc o ns t r ai n e op t i m i z a t i on   w i t   . . . .   ( F anar   N .   J ar dow )   941   2.   A   N EW   H Y B R I D   C O N JU G A TE   G R A D I EN T   M E TH O D   In   t h i s   s e c t i o n ,   w e   w i l l   de s c r i b e   a   n e w   pr o po s e H CG   m e t ho d,   i n   o r de r   t o   ge t   t h e   s uf f i c i e n t   de s c e n t   di r e c t i o n,   w e   w i l l   c o m put e         a s   f o l l ow s :   w e   c o m b i n e                a nd                i (8) .   T h e   d i r e c t i o n             a r e   ge n e ra t e d   by :                                               (9)     T h e   i t e r a t e s                         o f   t h e   p r o po s e m e t h o a r e   c o m put e d   by   m e a n s   o f   t h e   r e c u rr e n c e   ( 2),   w h e r e   t h e   s t e s i z e         i s   de f i ni t i o n   a c c o r di n g   t o   t h e   S W P   c o ndi t i o n s   (4 a n (5).   T h e   s c a l e   p a r a m e t e         i (8)  s a t i s fy i n             ,   w h i c h   w i l l   b e   de t e r m i n e a   s pe c i f i c   w a y   t o   b e   de s c r i b e l a t e r .     If             t h e                       ,   a n d   i f           ,   t h e                       .   O t h e   o t h e h a nd,   i f                 ,   t h e n                i s   a   c o n v e c o m b i n a t i o o f                a n d                 .     F r o m   (8)   a n d   (9)   i t   i s   c l e a t ha t :               {                                                                                                                                                                                   (         )                                                                     (10)     O ur  m o t i v a t i o n   t o   s e l e c t   t h e   p a r a m e t e       i s uc a   m a nn e t ha t   t h e   de f e c t i o n             gi v e (1 0)   i s   e qua l   t o   t h e   N e w t o n   d i r e c t i o n                       (         )             .   T h e r e f o r e             (         )                             (         )                                                                                           (         )                                                         (                                 )       (11)     T h e r e f o r e ,   i o rde t o   ha v e   a a l go ri t hm   f o s o l v i n g   l a r g e   s c a l e   p r o b l e m s   w e   a s s um e   t h a t   pa i (           s a t i s f i e s   t h e   s e c a nt   e qu a t i o n             (         )       s o ,                    (         )           (12)     M ul t i pl y i n g   t h e   a s   s h o w n   i (1 1)  b y                 (         )   f r o m   t h e   l e f t    a nd  d e n o t i n                , w e   ge t                                         (         )                                           (         )              (                                 )             (         )                                                                                      (                                 )                 A f t e r   s o m e   a l ge b ra ,   w e   ge t              (                               )         (               ) (           ) (               ) (           )     (13)     W e   w i l l   s pe c i fy   a   c o m pl e t e   (H H A w h i c h   po s s e s   s o m e   n i c e   pr o pe rt i e s   o f   CG   a n d   N e w t o n   m e t h o d.       A LGORITHM    HHA   Step 1   :   choose                  , Calculate    (     )   and             (     ) , set              , when          Step 2   :   The stopping criteria, i.e. if          ,   then stop.      Step 3   :   Calculate        by SWP conditions in (3) & (4) .   Step 4   :   Calculate                          , and               (         ) .       Calculate                        and                      Step 5   :   If            then put          . If          , then put          , otherwise        calculate          as (13).   Step 6   :   Caclculate           by (8).   Step   7   :   Generate                             Step 8   :   If the restart criteria of Powell   |               |                     is satisfied, then set                         , otherwise put                  Step 9   :   put            , and go to step 2.         Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2502 - 4752   In do n e s i a J   E l e c   E ng  &   Co m S c i ,   V o l .   20 ,   N o .   2 N o v e m be r   20 20  :     93 9   -   947   942   3.   TH E   S U F F I C I EN D ES C EN C O N D I TI O N   In  t hi s   s e c t i o n ,   w e   us e   t o   t h e   f o l l ow i n t h e o r e m   t o   c l e a up   t ha t   t h e   s e a r c d i r e c t i o       o b t a i n e d   by   H H A   s a t i s f i e s   t h e   s uff i c i e n t   de s c e n t   c o n di t i o n   w h i c h   p l a y s   of   r o l e   i n   a na l y z i n t h e   gl o b a l   c o n ve r ge n c e .     F o r   f urt h e c o n s i de r a t i o n s   w e   n e e t h e   a s s um pt i o n s   b e l ow :     3. 1 .     A s s u m p ti o n     T h e   l e v e l   s e t s       *       (   )     (     ) +   a t         i s   b o un de d   w h e r e         i s   s t a r t i n po i nt ,   n a m e l y ,   t h a t   t h e r e   e xi s t s         ,   s uc t h a t                     [2 5 ].     3. 2 .     A s s u m p ti o n     In  a   n e i g h b o rh o o     of     ,   t h e   f u n c t i o n       i s   c o nt i n uo us l y   di f fe r e nt i a b l e   a n d   i t s   g r a d i e n t   i s   L i ps c hi t z   c o n t i n uo us ,   i . e ,   t h e r e   e xi s t s   a   c o n s t a n t         ,   s uc h   t h a t        (   )      (   )     | |       | |               .     U n de r   a s s um p t i o n s   (3 . 1)   a nd  ( 3. 2)   ,     t h e r e   e xi s t s   po s i t i v e   c o n s t a n t   (         ̅           e             s uc     t     t         ̅                          ̅                         [25].     3. 3 .    Th e o r e m   L e t   ge n e ra t e t h e   s e que n c e s   *     +   a n d   *     +   by   a   H H A   m e t h o d. t he n         i s   t h e   s e a r c h   di r e c t i o s a t i s f i e s   t h e   s uf f i c i e n t   de s c e n t   c o n di t i o n :                                                     (14)     w ith       ,           (         )     -     3. 4 .     P r o o f.     W e   s h ow   t ha t   s e a r c h   di r e c t i o       s h a l l   s a t i s f i e s   t h e   s uf f i c i e n t   de s c e n t   c o n di t i o n   h o l ds   f o r           t h e   p r o of   i s   a   t ri v i a l   o n e ,   i . e .               a n d   s o                       .   N o w   w e   ha v e                                      ,                           , (           )                                -         .     W e   c a r e w r i t e   t h e   di r e c t i o n   b y   t h e   f o l l ow i n   b e l o w :                 (                 (           )         )   ( (           )                                )     .     T h e   a b o ve   e qua t i o c a b e   w r i t t e a f t e a rra nge   t h e   t e rm s   a s :                   (                             )   (           ) (                            ) ,     pr o duc e s   a f t e r   s o m e   a rr a nge m e n t                                       (           )                  ,   (15)     pr o duc e s   a f t e r     m ul t i p l y i n t h e   (15 f r o m   t h e   l e f t   by             ,   w e   ge t                                                           (           )                          (16)     F i r s t l y ,   i f           ,   t h e                          i [21]   t h e y   pr o v e t h a t     t h e   s uf f i c i e n t   de s c e n t   c o n di t i o h o l ds   w i t h   e xa c t   l i n e   s e a r c h .   W e   a r e   go i n t o   p r o v e   t h a t   t h e   s uf f i c i e n t   de s c e n t   c o n di t i o n   h o l ds   f o r   R M IL   w h e n   i n e xa c t   l i n e   s e a r c i s   us e d                                                  ,   (17)     w h e r e           (                 )                                            .   Evaluation Warning : The document was created with Spire.PDF for Python.
In do n e s i a J   E l e c   E ng  &   Co m S c i     IS S N :   2502 - 4752       A   n e w   hy br i c on j uga t e   gr adi e n t   a l gor i t hm   f or   unc o ns t r ai n e op t i m i z a t i on   w i t   . . . .   ( F anar   N .   J ar dow )   943   N ow   l e t             t h e                   i [22]   t h e y   p r o ve t h a t     t h e   s uf f i c i e n t   de s c e n t   c o n di t i o n   h o l d s   w i t e xa c t   l i n e   s e a r c h.   I [20 ],     t h e y   pr o ve d   th a t   t h e   s uf f i c i e n t   de s c e n t   c o n di t i o n   h o l ds   w i t e xa c t   l i n e   s e a r c h.                                                    ,   (18)     w h e r e       (           )     ,   w i t               .   N o w ,   w e   a r e   go i n t o   p r o v e   t h e   di r e c t i o n   s a t i s fy   t h e   s uf f i c i e n t   de s c e n t   c o n di t i o w h e                 w e   h a v e                                       ,   a nd           (               ) ,   t h e (13)   b e c o m e              (           (                           ) )       (               ) (           )                                           ,     (19)     w e   ha v e     (         )                   ,         (               )   |               |                   ,   a n w e   k n o w   t ha t                                                 |     |                 |     |                 |     |     |     |             put   t h e   a b ov e   i n   ( 19)   b e c o m e                      , (                   )       (         )   ̅     ̅           -         ( 20 )     F r o m   ( 15),   (1 7),   (18) ,   a n d     ( 20 )   w e   ge t                             ,           (         )     -                                                     ,   w i t     ,           (         )     - .     S o ,   i t   i s   p r o v e t h a t             s a t i s f i e t h e   s uf f i c i e n t   de s c e n t   c o n di t i o n       4.   C O N V ER G E   A N A L Y S I S   L e t   A s s um pt i o ( 3 . 1 )   a n ( 3. 2 )   h o l d.   I n   [2 6 i t   i s   p r o v e t h a t   fo r   a n y   c o n j uga t e   gra d i e nt   m e t h o w i t S W P   c o n di t i o n s ,   i t   h o l ds :       4. 1 .     Le m m a   L e t   A s s um pt i o ( 3 . 1 )   a nd   ( 3 . 2 )   h o l ds .   Co n s i de t h e   m e t h o (2)   a n d   (5)   w h e r e   t h e       .   Is   a   de s c e n t   di r e c t i o a n d         i s   r e c e i v e f r o m   t h e   S W P .   If                       .     t h e n                                  .     4. 2 .    Th e o r e m   S uppo s e   t h a t   a s s u m pt i o n   ( 3 . 1 )   a n ( 3. 2 )   h o l ds .   Co n s i de r   t h e   a l go r i t hm   H H A   w e r e               ,   a n d         i s   o b t a i n e by   t h e   s t r o n g   w o l fe   l i n e   s e a r c a n             i s   t h e   de s c e nt   d i r e c t i o n.   T h e n                                    4. 3 .     P r o o f.     B e c a us e   t h e   de s c e n t   c o n d i t i o h o l ds ,   w e   ha v e               .   S o   us i ng  l e m m a   4 . 1,     i t   i s   s uf f i c i e n t   t o   pr o v e   t ha t             i s   b o un de a b ov e .   F r o m   ( 10) .                           , (         )                              -                                                  , |         |   |            |   |     | |             | -             Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2502 - 4752   In do n e s i a J   E l e c   E ng  &   Co m S c i ,   V o l .   20 ,   N o .   2 N o v e m be r   20 20  :     93 9   -   947   944   T h e y   pr o v e t ha t   i [2 1 a n d   [2 2 ] ,   t ha t     |            |                                       ̅             ̅           ,     A nd     |             |                           ̅           .     N ow ,   w e   h a v e     |     |   | (                               )           (               ) (           ) (               ) (           ) | .     U s i n S W C ,   w e   ge t        (         )                                       |     |   | (                               )           (               )                             (         )           |                          (                               )                                             (         )     ̅     ̅                           (       )                                (         )     ̅     ̅                 |     |                               , (         )               -                                                                                                     .       5.   N U M ER I C A EX P ER I M EN TS   In  t hi s   s e c t i o n   w e   s e l e c t e s o m e   of   t e s t   f un c t i o n s   f r o m   CU T E   [ 27 l i b ra r y ,   a l o ng  w i t h   o t h e l a r ge   s c a l e   o pt i m i z a t i o n   p r o b l e m s   p r e s e n t e i n   A n d r e i   [28]   a nd  Bo n ga rt z   [2 9 ].   A l l   c o de s   a r e   w r i t t e i do ub l e   pr e c i s i o n   F O R T R A N     L a n gua ge .   A n d   c o m pi l e V i s ua l   F 90   ( de f a ul t   c o m pi l e r   s e t t i n gs )   o n   a   W o rks t a t i o I nt e l   P e n t i um   4.   T h e   v a l ue   o f          i s   a l w a y s   c o m put e   by   c u b i c   f i t t i ng  pr o c e dur e .   W e   s e l e c t e   (24)  l a rge   s c a l e   un c o n s t ra i n e o pt i m i z a t i o n   p rob l e m s   i n   t h e   e xt e n de o r   ge n e r a l i z e fo r m .   E a c h   p r o b l e m   w a s   t e s t e t hr e e   t i m e s   f o r   a   g r a d ua l l y   i n c r e a s i n g   n u m b e r   o f   v a r i a b l e s :                                   ,   a l l   a l go r i t hm s   i m p l e m e nt e d   t h e   S W P   (3 )   a nd   (4)   c o n d i t i o n s   w i t h                     a n               a n d   t h e   s t o ppi n g   c ri t e r i o n                  i s   us e d.   In   s o m e   c a s e s ,   t h e   c o m put a t i o n   s t o ppe due   t o   t h e   f a i l u r e   o t h e   l i n e   s e a r c h   t o   f i n t h e   po s i t i v e   s t e p   s i z e ,     n t  us   i t   w   s   c o n s i de r e   s       f   i l u r e   de n o t e by    .   W e   r e c o r t h e   n um b e r   o f   i t e ra t i o n   c a l l s   ( ni ) ,     t h e   n u m b e r   o f   f un c t i o n   e v a l ua t i o n s   c a l l s   ( nf ),   a nd  t h e   o f   t e s t   p r o b l e m s   c a l l s   (N ) ,   f o r   pu rpo s e   of   o ur   c o m pa ri s o n s .   T a b l e   1   g i v e s   t h e   c o m pa ri s o de pe n d i n g   i t h e   ni   a nd  nf   b e t w e e n                            a n d     t h e   p r o po s e m e t h o        .   T a b l e   2   g i v e s   t h e   pe r c e nt a ge   pe r f o r m a n c e   o f   t h e   p r o po s e m e t h o ds            a g a i n s t                a nd              W e   h a v e   s e e n   t h a t                m e t h o s a v e s   ( ni   9 . 94%) ,   ( nf   17. 11 %),   a n d            m e t h o s a v e s   ( ni   5 3. 4 2%) ,     ( nf   36 . 01% c o m pa r e w i t h                 m e t h o d.   W hi l e   F i gu r e   1   gi v e s   t h e   c o m pa ri s o n   b e t w e e n                            a n        ,   us i n g   W e l l - k n o w n   E X - W o o t e s t   f un c t i o n .         Evaluation Warning : The document was created with Spire.PDF for Python.
In do n e s i a J   E l e c   E ng  &   Co m S c i     IS S N :   2502 - 4752       A   n e w   hy br i c on j uga t e   gr adi e n t   a l gor i t hm   f or   unc o ns t r ai n e op t i m i z a t i on   w i t   . . . .   ( F anar   N .   J ar dow )   945   T a b l e   1 .   A   l i s t   o f   di f fe r e nt   t e s t   f un c t i o n s   w i t h   S W P   c o n di t i o ns   N   T e s t   F u n c t i o n   D i m e n s i o n                             ni   nf   ni   nf   ni   nf   1   CU BIC   1 0 0 0   5 0 0 0   1 0 0 0 0   16   16   16   44   44   44   16   16   16   45   45   45   15   15   15   43   43   43   2   D IG O N A L 6   1 0 0 0   5 0 0 0   1 0 0 0 0   2   3   3   7   9   9   2   3   3   7   9   9   2   3   3   7   9   9   3   D E N S CH N B   1 0 0 0   5 0 0 0   1 0 0 0 0   6   6   6   15   15   15   6   6   6   15   15   15   6   6   6   15   15   15   4   D E N S CH N F   1 0 0 0   5 0 0 0   1 0 0 0 0   14   14   15   30   30   32   12   13   13   26   28   28   17   18   18   39   41   41   5   D IX M A A N     A   1 0 0 0   5 0 0 0   1 0 0 0 0   6   6   5   15   15   13   6   6   5   15   15   13   5   6   5   13   15   13   6   D Q D RT IC   1 0 0 0   5 0 0 0   1 0 0 0 0   32   31   31   65   63   63   32   32   32   65   65   65   19   20   19   39   41   39   7   E X T E N D E D   B E A L E   (M A T RI X RO M )   1 0 0 0   5 0 0 0   1 0 0 0 0   11   11   11   29   29   29   12   12   12   29   29   29   10   10   10   22   22   22   8   E X   BL O C K   D I A G O N A L   BD 1   1 0 0 0   5 0 0 0   1 0 0 0 0   24   24   24   50   50   50   22   22   23   46   46   48   17   17   18   37   37   39   9   E X T E N D E D   C L IF F   1 0 0 0   5 0 0 0   1 0 0 0 0   6   6   6   29   29   29   6   6   6   29   29   29   6   6   6   29   29   29   10   E X   F RE U D E N S T E IN   &   RO T H   1 0 0 0   5 0 0 0   1 0 0 0 0   8   8   8   21   21   21   8   8   8   21   21   21   8   8   8   20   20   20   11   E A   P E N A L IT Y   1 0 0 0   5 0 0 0   1 0 0 0 0   7   8   10   22   23   35   8   8   10   159   23   34   7   8   10   21   23   35   12   E X   W O O D   1 0 0 0   5 0 0 0   1 0 0 0 0   217   147   161   441   301   330   248   210   207   503   427   421   103   102   156   212   210   318   13   E X   RO S E N   1 0 0 0   5 0 0 0   1 0 0 0 0   29   29   29   76   76   76   27   27   28   69   69   72   24   24   24   62   62   62   14   E X   W H IT E   &   H O L S T   1 0 0 0   5 0 0 0   1 0 0 0 0   16   16   16   44   44   44   16   16   16   45   45   45   15   15   15   43   43   43   15   E X   H I M M E L B A U   1 0 0 0   5 0 0 0   1 0 0 0 0   24   8   8   251   394   386   26   8   8   276   1 1 3 8   390   24   8   8   251   384   391   16   F RE D   1 0 0 0   5 0 0 0   1 0 0 0 0   9   10   10   23   25   25   10   10   ƒ   27   27   ƒ   9   9   9   24   24   24   17   G CA N T RE L   1 0 0 0   5 0 0 0   1 0 0 0 0   47   54   57   497   614   664   52   57   61   462   546   616   43   48   51   414   494   546   18   H E L IC A L   1 0 0 0   5 0 0 0   1 0 0 0 0   81   85   85   167   175   175   65   68   68   134   140   140   55   59   59   113   121   121   19   M IE L E   1 0 0 0   5 0 0 0   1 0 0 0 0   133   157   161   480   598   620   134   141   145   510   549   569   121   121   129   437   437   483   20   P O W E L L   3   1 0 0 0   5 0 0 0   1 0 0 0 0   25   26   ƒ   54   65   ƒ   31   32   32   66   68   68   19   19   19   41   41   41   21   P O W L L   4   1 0 0 0   5 0 0 0   1 0 0 0 0   ƒ   ƒ   ƒ   ƒ   ƒ   ƒ   ƒ   ƒ   ƒ   ƒ   ƒ   ƒ   93   114   114   239   328   328   22   Q U R A T IC   1 0 0 0   5 0 0 0   1 0 0 0 0   1   1   1   4   4   4   1   1   1   4   4   4   1   1   1   4   4   4   23   RO S E N   1 0 0 0   5 0 0 0   1 0 0 0 0   29   29   29   76   76   76   27   27   28   69   69   72   35   35   35   86   86   86   24   W O O D   1 0 0 0   5 0 0 0   1 0 0 0 0   104   105   110   215   217   227   204   266   246   415   539   499   91   91   91   200   199   200         Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2502 - 4752   In do n e s i a J   E l e c   E ng  &   Co m S c i ,   V o l .   20 ,   N o .   2 N o v e m be r   20 20  :     93 9   -   947   946   T a b l e   2 .   T h e   pe r c e n t a ge   pe r f o r m a n c e   o f   t h e   p r o po s e m e t h o ds   M e a s u r e s                                   ni   9 0 . 0 6 %   100%   4 6 . 5 8 %   nf   8 2 . 8 9 %   100%   6 3 . 9 9 %             F i gu r e   1 .   T h e   c o m pa r e   b e t w e e n   t hr e e   m e t h o ds       6.   C O N C LU S I O N     In  t hi s   p a pe r ,   a   n e w   pa r a m e t e r         f o r   a   h y b r i c o n j uga t e   g r a d i e nt   i s   de r i v e d.   T h e   p r a c t i c a l   r e s ul t s   i n di c a t e t ha t   t h e   p r o po s e h y b r i m e t h o i s   f a s t e a n m o r e   e f f i c i e n t   c o m pa r e t o   t h e                a n                 a l go ri t hm s   us e d .       A C K N O WL ED G E M EN TS     T h e   a ut h o r s   a r e   v e r y   gr a t e f ul   t o   t h e   U n i v e r s i t y   of   M o s ul ,   Co l l e ge   o f   C o m put e r   S c i e n c e   a n M a t h e m a t i c s   f o r   t h e i p r o v i de f a c i l i t i e s ,   w h i c h e l pe t o   i m pr o v e   t h e   qua l i t y   o f   t h i s   w o r k .       R EF ER EN C ES     [ 1]   J.   K .   L i a nd  S .   J .   L i ,   N e w   hy br i d   c o nj ug a t e   g r a di e nt   m e t ho f o r   unc o ns t r a i ne d   o pt i m i z a t i o n, ”  A ppl i e d   M a t he m at i c s   an C om pu t at i o n ,   v o l .   2 45,   p p.   36 - 43 ,   201 4.   [ 2]   Z.   S a l l e h   a n A .   A l ha w a r a t ,   A e f f i c i e nt   m o di f i c a t i o o f   t he   H e s t e ne s - S t i e f e l   no nl i n e a r   c o nj ug a t e   g r a di e nt   m e t ho w i t h   r e s t a r t   p r o pe r t y ,   J ou r na l   of   I ne qual i t i e s   and   A p pl i c a t i ons ,   v o l .   110 ,   2016 .   [ 3]   P .   W o l f e ,   C o nv e r g e nc e   c o ndi t i o ns   f o r   a s c e n t   m e t ho ds ,   S I A M   r e v i e w ,   v o l .   11 ,   no .   2,   pp .   226 - 2 35,   1 969 .   [ 4]   P .   W o l f e ,   C o nv e r g e nc e   C o ndi t i o ns   f o r   A s c e nt   M e t ho ds .   I I :   S om e   C o r r e c t i o ns ,   SI A M   R e v i e w ,   vo l .   13 ,   no .   2,     pp.   18 5 - 188,   1 971 .   [ 5]   A .   A l ha w a r a t ,   e t   a l . ,   A e f f i c i e n t   hy br i c o nj ug a t e   g r a d i e nt   m e t ho w i t h   t h e   s t r o ng   W o l f e - P o w e l l   l i ne   s e a r c h,   M a t he m at i c a l   P r ob l e m s   i n   E ng i ne e r i ng ,   v o l .   2 015 ,   no .   1 4,   pp .   1 - 7,   2015 .   [ 6]   C .   L i ,   A   M o di f i e C o nj ug a t e   G r a d i e n t   M e t ho f o r   U nc o ns t r a i n e O pt i m i z a t i o n, ”  T E L K O M N I K A v o l .   11 ,   no .   11 ,   pp.   63 73 - 6380 ,   201 3.   [ 7]   M .   R .   H e s t e ne s   a nd  E .   S t i e f e l ,   M e t ho ds   o f   c o nj ug a t e   g r a di e nt s   f o r   s o l v i ng   l i n e a r   s y s t e m s ,   J ou r na l   o f   r e s e ar c o f   t he   N a t i o na l   B ur e au  of   S t an dar d s ,   v o l .   49 ,   no .   6 ,   pp .   4 09 - 436 ,   195 2 .   [ 8]   R .   F l e t c he r   a n C M .   R e e v e s ,   F unc t i o m i n i m i z a t i o by   c o nj ug a t e   g r a d i e n t s ,   T he   c om pu t e r   j ou r na l ,   v o l .   7 ,   no .   2 ,   pp.   14 9 - 154,   1 964 .   [ 9]   E .   P o l a k   a n G .   R i bi e r e     N o t e   s ur   l a   c o nv e r g e nc e   de   m é t ho de s   d e   di r e c t i o ns   c o nj ug e s  ”   E SA I M :   M a t he m at i c a l   M ode l l i ng  and  N um e r i c a l   A na l y s i s - M od é l i s a t i on  M at m a t i que   e t   A nal y s e   N um é r i que ,   v o l .   3 ,   no .   R 1,   pp .   35 - 43 ,   1969 .   [ 10]   B .   T .   P o l y a k,   T he   c o nj ug a t e   g r a di e n t   m e t ho i e x t r e m e   p r o bl e m s ,   U SS R   C om p ut at i ona l   M at he m at i c s   and   M a t he m at i c a l   P hy s i c s ,   v o l .   9,   no .   4 ,   p p.   94 - 11 2,   1 969 .   [ 11]   R .   F l e t c he r ,   P r a c t i c a l   m e t ho ds   o f   o pt i m i z a t i o n ,   J o hn  W i l e y   &   S o ns ,   198 7.   [ 12]   Y .   L i a nd  C .   S t o r e y ,   E f f i c i e nt   g e ne r a l i z e c o nj ug a t e   g r a di e n t   a l g o r i t hm s ,   pa r t   1:   t he o r y  ”   J our n al   o f   opt i m i z a t i o n   t he or y   an a pp l i c at i on s ,   v o l .   69 ,   no .   1,   pp .   1 29 - 137 ,   199 1.   [ 13]   Y .   H .   D a i   a nd  Y .   Y ua n ,   A   no nl i n e a r   c o nj ug a t e   g r a d i e nt   m e t ho w i t a   s t r o ng   g l o ba l   c o nv e r g e nc e   pr o pe r t y ,   S I A M   J our nal   on   o pt i m i z a t i o n v o l .   1 0,   no .   1 ,   pp.   1 77 - 182 ,   1999 .   [ 14]   G .   M .   A l - N a e m i   a nd  E .   T .   H a m e d ,   “N e w   c o nj ug a t e   g r a d i e n t   m e t h o w i t h   W o l f e   t y pe   l i ne   s e a r c he s   f o r   no nl i n e a r   pr o g r a m m i ng ,   A us t r al i an   J o ur n al   o f   B as i c   and   A p pl i e S c i e nc e s ,   v o l .   7 ,   no .   14,   p p.   62 2 - 632 ,   2 013 .   [ 15]   N.   S .   M o ha m e d ,   e t   a l . A   N e w   H y br i C o e f f i c i e nt   o f   C o nj ug a t e   G r a d i e nt   m e t ho d,   I ndone s i an  J our na l   of   E l e c t r i c al   E ng i ne e r i ng   a nd  C om pu t e r   S c i e nc e ,   v o l .   1 8,   no .   3 ,   p p.   1 4 54 - 1463 ,   2020 .   [ 16]   N .   A ndr e i ,   A no t he r   no nl i ne a r   c o nj ug a t e   g r a d i e n t   a l g o r i t hm   f o r   unc o ns t r a i n e o pt i m i z a t i o n ,   O p t i m i z at i on   m e t hod s   &   s of t w ar e ,   v o l .   24 ,   no .   1,   pp .   89 - 104 ,   200 9.   Evaluation Warning : The document was created with Spire.PDF for Python.
In do n e s i a J   E l e c   E ng  &   Co m S c i     IS S N :   2502 - 4752       A   n e w   hy br i c on j uga t e   gr adi e n t   a l gor i t hm   f or   unc o ns t r ai n e op t i m i z a t i on   w i t   . . . .   ( F anar   N .   J ar dow )   947   [ 17]   S .   S .   D j o r dj e v i c ,   N e w   H y br i C o nj ug a t e   G r a di e nt   M e t ho a s   a   C o nv e C o m bi na t i o o f   L S   a nd  C D   M e t ho ds ,   F i l om at ,   v o l .   31 ,   no .   6,   pp .   181 3 - 1825 ,   2017 .   [ 18]   X .   Z he ng e t   a l . F ur t h e r   c o m m e nt   o a no t he r   hy br i c o nj ug a t e   g r a d i e ny t   a l g o r i t hm   f o r   unc o ns t r a i n e d   o pt i m i z a t i o n,   N um e r i c a l   A l g or i t hm s v o l .   84 ,   p p.   60 3 - 608 20 20 .   [ 19]   I .   E .   L i v i e r i s ,   e t   a l . A   de s c e nt   hy br i c o nj ug a t e   g r a di e nt   m e t ho ba s e o t h e   m e m o r y l e s s   B F G S   upd a t e ,   N um e r i c a l   A l g or i t hm s v o l .   79,   no .   4 ,   pp.   1 169 - 118 5,   20 18.   [ 20]   F.   N .   A l - N a m a t   a nd  G .   M .   A l - N a e m i ,   G l o ba l   c o nv e r g e nc e   pr o p e r t y   w i t h   i n e xa c t   l i ne   s e a r c f o r   a   ne w   hy br i c o nj ug a t e   g r a d i e n t   m e t ho d,   O pe A c c e s s   L i br a r y   J o ur n al v o l .   7 ,   n o .   2,   p p.   1 - 15 ,   2020 .   [ 21]   R .   B .   Y un us ,   e t   a l . ,   C o m pa r a t i v e   S t udy   o f   s o m e   N e w   C o nj ug a t e   G r a d i e n t   M e t ho ds     i n   U ni SZ A   R e s e ar c h   C onf e r e nc e 2015 .     [ 22]   A .   V .   M a n da r a ,   e t   a l . A   N e w   C o nj ug a t e   G r a d i e n t   C o e f f i c i e nt   W i t E x a c t   L i ne   S e a r c f o r   unc o ns t r a i ne d   O pt i m i z a t i o n,   F ar   E a s t   J our nal   o f   M at he m a t i c al   S c i e nc e s   ( F J M S) ,   v o l .   10 5,   no .   2 ,   p p.   1 93 - 206 ,   2018 .   [ 23]   B .   A .   H a s s a n   a n G .   M .   A l - N a e m i ,   A   N e w   Q ua s i - N e w t o E qua t i o o t he   G r a d i e n t   M e t ho ds   f o r   O pt i m i z a t i o n   M i n i m i z a t i o P r o bl e m   t o   a ppe a r  ”   i I ndo ne s i a J our nal   o f   E l e c t r i c al   E ng i ne e r i ng  an C om put e r   Sc i e nc e ,   v o l .   19,   no .   2 ,   pp.   7 37 - 744 ,   2020 .   [ 24]   Y .   H .   D a i   a nd   L .   Z .   L i a o ,   N e w   c o nj ug a c y   c o ndi t i o ns   a nd  r e l a t e no nl i n e a r   c o nj ug a t e   g r a d i e n t   m e t ho ds  ”   A pp l i e d   M a t he m at i c s   an O pt i m i z at i o n,   v o l .   4 3,   no .   1 ,   p p.   87 - 10 1,   20 01 .   [ 25]   G .   M .   A l - N a e m i ,   M o d i f i e d   N o nl i n e a r   CG   A l g o r i t hm s   w i t A ppl i c a t i o i n   N e ur a l   N e t w o r k s  ”   L A P   L a m be r t   A c a de m i c   P ub l i s h i ng ,   S a a r b r uc ke n ,   2013 .   [ 26]   N.   S .   M o ha m e d ,   e t   a l . ,   G l o ba l   C o nv e r g e nc e   o f   a   N e w   C o e f f i c i e n t   C o nj ug a t e   G r a d i e n t   M e t ho d,   I n done s i an   J our nal   o f   E l e c t r i c a l   E ngi ne e r i ng   and   C om p ut e r   Sc i e nc e ,   v o l .   11 ,   n o .   3,   p p.   11 88 - 1193 ,   201 8.   [ 27]   N .   A ndr e i ,   A U nc o ns t r a i n e O p t i m i z a t i o T e s t   F unc t i o ns   C o l l e c t i o n ,   A dv a nc e M ode l l l i ng  a nd   O pt i m i z at i on ,   v o l .   10 ,   no .   1,   pp .   147 - 16 1 ,   20 08.   [ 28]   N .   A ndr e i ,   T e s t   f unc t i o ns   f o r   unc o ns t r a i ne o pt i m i z a t i o n  ”   R e s e a r c I ns t i t u t e   f o r   i nf o r m a t i c s ,   C e n t e r   f o r   A d v a nc e M o de l i ng   a n O p t i m i z a t i o n ,   pp .   1 - 1 5 ,   2 0 0 4 .   [ 29]   I .   B o ng a r t z ,   e t   a l . C U T E :   C o ns t r a i n e a nd  U nc o ns t r a i ne T e s t i ng   E nv i r o nm e n t ,   A C M   T r ans ac t i o ns   o n   M a t he m at i c a l   Sof t w ar e v o l .   21 ,   no .   1 ,   pp .   123 - 160 ,   199 5.   Evaluation Warning : The document was created with Spire.PDF for Python.