I n d on e s i an   Jo u r n al   o El e c t r i c al   En gi n e e r i n g   an d   C o m p u te r   S c i e n c e   V o l .   22 ,   N o .   2 M a y   2021 ,   pp .   9 97 ~ 1005   IS S N :   25 02 - 4752 ,   D O I :   10. 1 1591 / i j e e c s . v 22 .i 2 . pp 997 - 1005   ๏ฒ           997       Jou r n al   h o m e pa ge ht t p: / / i j e e c s . i a e s c or e . c om   A n   i m p r o v ed   q u a s i - N e w t o n   e q u a t i o n   o n   t h e   q u a s i - N e w t o n   m e t h o d s f o r   u n c o n st r a i n e d   o p t i m i z a t i o n s       B as i m   A .   H as s an 1 K an i k ar   M u an gc h o o 2 F ad h i l   A l fa r ag 3 ,   A b d u l k a r i m   H as s an   I b r ah i m 4   A u w al   B a l A b u b ak ar 5   1 D e pa r t m e n t   o f   M a t h e m a t i c s ,   C o l l e g e   o f   C o m put e r s   S c i e nc e s   a nd   M a t he m a t i c s ,   U ni v e r s i t y   o f   M o s ul ,   I r a q   2 F a c ul t y   of   S c i e nc e   a nd   T e c hno l o gy ,   R a j a m a ng a l a   U ni v e r s i t y   o f   T e c hno l ogy   P hr a   N a kho ( R M U T P ) ,   T h a i l a n d   3 S c hoo l   o f   m a t he m a t i c s ,   U n i v e r s i t y   of   B i r m i ng ha m ,   U ni t e K i ng do m   4 D e pa r t m e n t   o f   M a t h e m a t i c s ,   F a c ul t y   o f   S c i e n c e ,   K i ng   M o ng kut โ€™ s   U ni v e r s i t y   o f   T e c hno l ogy   T ho nbur i   ( K M U T T ) ,   B a ng ko k,   T h a i l a n d   5 D e pa r t m e n t   o f   M a t h e m a t i c a l   S c i e nc e s ,   F a c ul t y   o f   P h y s i c a l   S c i e nc e s ,   B a y e r o   U ni v e r s i t y ,   K a no ,   K a no ,   N i g e r i a   5 D e pa r t m e n t   o f   M a t h e m a t i c s   a nd   A ppl i e d   M a t he m a t i c s ,   S e f a ko   M a kg a t ho   H e a l t S c i e nc e s   U ni v e r s i t y ,   G a - R a nk uw a ,   P r e t o r i a ,   M e dun s a - 020 4,   S o ut h   A f r i c a       A r ti c l e   I n fo     A B S TR A C T     Ar t i c l e   h i s t or y :   R e c e i v e D e c   4 ,   2020   R e v i s e M a r   1 7 ,   20 2 1   A c c e pt e A p r   6 ,   202 1       Q ua s i - N e w t o m e t ho ds   a r e   a   c l a s s   o f   num e r i c a l   m e t ho ds   f o r   s o l v i ng   t he   p r o bl e m   o f   unc o ns t r a i ne o pt i m i z a t i o n.   T o   i m pr o v e   t he   o v e r a l l   e f f i c i e nc y   of   r e s ul t i ng   a l g o r i t hm s ,   w e   us e   t he   qu a s i - N e w t o m e t ho ds   w hi c i s   i nt e r e s t i ng   f o r   qua s i - N e w t o e qua t i o n.   I t hi s   m a nus c r i pt ,   w e   pr e s e nt   a   m o di f i e B F G S   upda t e   f o r m ul a   ba s e o t h e   ne w   qua s i - N e w t o e qua t i o n ,   w hi c g i v e   a   ne w   s e a r c di r e c t i o f o r   s o l v i ng   unc o ns t r a i n e o pt i m i z a t i o ns   p r o pl e m s .   W e   a na l y s e   t he   c o n v e r g e nc e   r a t e   o f   qua s i - N e w t o m e t ho und e r   s o m e   m i l c o ndi t i o n.   N um e r i c a l   e xp e r i m e n t s   a r e   c o nduc t e t o   de m o ns t r a t e   t he   e f f i c i e nc y   o f   ne w   m e t ho ds   us i ng   s o m e   t e s t   p r o bl e m s .   T he   r e s u l t s   i ndi c a t e s   t ha t   t he   pr o po s e d   m e t ho i s   c o m pe t i t i v e   c o m pa r e d   t o   t he   B F G S   m e t ho ds   a s   i t   y i e l de f e w e r   i t e r a t i o a nd   f e w e r   f unc t i o e v a l ua t i o ns .   Ke y w or ds :   G l o b a l   c o n v e r ge n c e   p r o pe r t y   N um e ri c a l   e xpe ri m e n t s   Qu a s i - N e w t o n   e qua t i o   U n c o n s t ra i n e d   o pt i m i z a t i o n s   T hi s   i s   an   ope n   ac c e s s   ar t i c l e   u nde r   t he   C C   B Y - SA   l i c e ns e .     Cor r e s pon di n g   Au t h or :   K a n i k a r   M ua n gc h o o   F a c ul t y   of   S c i e n c e   a n d   T e c hn o l o g y   Ra j a m a n g a l a   U ni v e r s i t y   of   T e c hn o l o g y   P h ra   N a k h o n   (R M U T P )   1381,   P r a c ha r a t   1   R o a d,   W o n gs a w a n g ,   B a ng  S ue ,   B a n gko 1 0800   T h a i l a n d   E m a i l ka ni ka r. m @ rm u t p. a c . t h       1.   I N TR O D U C TI O N     Q ua s i - N e w t o n   m e t h o i s   o n e   of   t h e   m a i n   it e r a t i ve   m e t h o ds   de s i g n e t o   s o l v e   un c o n s t ra i n e d   o pt i m i z a t i o p r o b l e m   [1] .   T h e   m e t h o h a s   t h e   (1) .     n R   x ,    ) ( ๏ƒŽ x f M i n   (1)     w h e r e   , : R R f n ๏‚ฎ   i s   s m o o t h   f u n c t i o n.   M o r e   de t a i l s   c a n   b e   f o un i [ 2].   T h e   i t e ra t i ve   m e t h o t a ke s   t h e   ( 2).     k k k k d x x ๏ก ๏€ซ ๏€ฝ ๏€ซ 1   (2)     Evaluation Warning : The document was created with Spire.PDF for Python.
            ๏ฒ                     IS S N :   2502 - 4752   In do n e s i a J   E l e c   E ng  &   Co m S c i ,   V o l .   22 ,   N o .   2 M a y   202 1   :     997   -   10 05   998   w h e r e   k ๏ก   i s   t h e   p a r a m e t e de t e r m i n e by   e xa c t   l i n e - s e a r c a s .     k T k k T k k Qd d d g ๏€ญ ๏€ฝ ๏ก   (3)     M o r e   de t a i l s   c a b e   f o un i [3] .   T h e   s e a r c h   di r e c t i o k d   ge n e ra t e b y .     0 ๏€ฝ ๏€ซ k k k g d B   (4)     w h e r e   k B   i s   a n   a pp r o xi m a t i o n   o f   t h e   H e s s i a n   m a t ri [4] .   I n   t h i s   m a n us c ri pt ,   w pa y   a t t e n t i o n   t o   t h e   B F G S   m e t h o i w h i c   k B    i s   up da t e by   (5).     k T k T k k k k T k T k T k k k k B F G S k y s y y s B s B s s B B B ๏€ซ ๏€ญ ๏€ฝ ๏€ซ 1   (5)     w h e r e   k k k k k d x x s ๏ก ๏€ฝ ๏€ญ ๏€ฝ ๏€ซ 1   a n k k k g g y ๏€ญ ๏€ฝ ๏€ซ 1 .   Co n s i de r   k H   be   t h e   i n v e r s e   of   k B .   S ur e l y ,   t h e   (5)   upda t e   c a n   b e   w r i t t e n   a s   (6) .     k T k T k k k T k k k T k k T k k T k k T k k k k B F G S k y s s s y s y H y y s H y s s y H H H ๏ƒบ ๏ƒป ๏ƒน ๏ƒช ๏ƒซ ๏ƒฉ ๏€ซ ๏€ซ ๏€ซ ๏€ญ ๏€ฝ ๏€ซ 1 1   (6)     T o   t h e   b e s t   of   o ur   kn o w l e dge   t h e   B F G S   m e t h o m a y   f a i l   t o   c o n v e r ge   by   us i n W o l f e   l i n e   s e a r c h   f o r   n o n - c o n v e o pt i m i z a t i o n   a n a l s o   by   u s i n w i t h   e xa c t   l i n e   s e a r c h   c o n s t r uc t e D a i   [ 2]  a n M a s c a r e nha s   [5] .   T o   de f e a t   (r e m e d y t h i s   c a s e ,   qua s i - N e w t o n   e qua t i o n   ha s   be e n   m o di f i e i n   s o m e   w a y   o r   o t h e r   c a n   b e   s e e n   s o m e   fo r m ul a s   a m o n o t h e r s   a s .     A u t h o r (s )   QN  โ€“   c o n d i t i o n s   Re fe r e n c e s   W e i ,   L i ,   a n d   Q i   k k T k k T k k k k k k k k s s g g f f y y s B ๏ต ๏ต ) ( ) ( 2 1 1 ~ 1 ๏€ซ ๏€ซ ๏€ญ ๏€ซ ๏€ฝ ๏€ฝ ๏€ซ ๏€ซ ๏€ซ   [6 ]   Bi g l a r i ,   H a s s a n ,   a n d   L e o n   k k T k k T k k k k k k k k s s g g f f y y s B ๏ต ๏ต ) ( 2 ) ( 4 1 1 ~ 1 ๏€ซ ๏€ซ ๏€ญ ๏€ซ ๏€ฝ ๏€ฝ ๏€ซ ๏€ซ ๏€ซ   [7 ]   Ch e n ,   D e n g ,   a n d .   Z h a n g   k k T k k T k k k k k k k k s s g g f f y y s B ๏ต ๏ต ) ( 3 ) ( 6 1 1 ~ 1 ๏€ซ ๏€ซ ๏€ญ ๏€ซ ๏€ฝ ๏€ฝ ๏€ซ ๏€ซ ๏€ซ   [8 ]   Ba s i m   k k T k k T k k k k k k k s s g f f y y s B ๏ต ๏ต ) ( 2 / 1 ) ( 2 1 1 1 ~ 1 ๏€ซ ๏€ซ ๏€ซ ๏€ญ ๏€ญ ๏€ซ ๏€ฝ ๏€ฝ   [9 ]   Ba s i m   a n d   M o h a m m e d   k k T k k T k k k k k s s g y y s B ๏ต ๏ต 1 ~ 1 ๏€ซ ๏€ซ ๏€ญ ๏€ฝ ๏€ฝ   [1 0 ]   Ba s i m   a n d   G h a d a   k k T k k T k k k k k k k s y s f f y y s B ๏ต ๏ต ๏€ญ ๏€ญ ๏€ซ ๏€ฝ ๏€ฝ ๏€ซ ๏€ซ ) ( 2 1 ~ 1   [1 1 ]     w h e r e   k ๏ต   i s   a n y   v e c t o r   s a t i s fy i n 0 ๏‚น k T k s ๏ต .   I n   [12 ],   a   ge n e r a l   f ra m e w o r o f   m o di f i e m e t h o ds   i s   p r o po s e d   t o   s o l v e   n o n - c o n v e o pt i m i z a t i o p r o b l e m s .   T h us   t h e   m o di fy i n m e t h o ds   c a n   gu a r a nt e e   t h e   upd a t e m a t r i x   i s   po s i t i v e   de f i n i t e   w h i c h   gua ra nt e e s   a   de s c e n t   di r e c t i o n .   T h e   c o n ve r ge nt   p r o pe r t i e s   a r e   a l s o   e s t a b l i s h e a n d   ge n e ra t e d   m o r e   a c c ura t e   s e c o n d - o r de c ur v a t u r e   a pp r o xi m a t i o n s   t ha t h e   us u a l   qu a s i - N e w t o n   upd a t e s   do .   T h e   qua s i - N e w t o n   e qua t i o n   pl a y s   a n   i m po r t a nt   r o l e ,   o n   s t ud i e s   s o m e   of   t h e   qua s i - N e w t o n   m e t h o ds In   t hi s   pa pe r,   w e   pr o p o s e   a   m o di f i c a t i o n   t o   t h e   h e s s i a n   m a t ri B r e s ul t i ng  i n   a   n e w   qua s i - n e w t o n   m e t h o d   b a s e o n   n e w   qua s i - N e w t o n   e qua t i o n.   T h e   p r o po s e m e t h o c a n   gua ra nt e e   t ha t   t h e   upd a t e m a t r i i s   po s i t i v e   de f i n i t e   w h i c h   gua ra nt e e s   a   de s c e n t   di r e c t i o n.   T h e   c o n v e r ge n t   p r o pe rt i e s   a r e   a l s o   e s t a b l i s h e d.   M o r e   s o   t h e   pr o po s e m e t h o ge n e ra t e s   a   m o r e   a c c ur a t e   s e c o n d - o r de r   c ur v a t u r e   a pp r o xi m a t i o n s   t h a n   t h e   us ua l   qu a s i - N e w t o n   upd a t e s .   Evaluation Warning : The document was created with Spire.PDF for Python.
In do n e s i a J   E l e c   E ng  &   Co m S c i     IS S N :   2502 - 4752   ๏ฒ     A i m pr ov e d   quas i - Ne w t on  e q uat i on  on  t h e   qu as i - N e w t on  m e t hods   f or   un c ons t r a i ne d   โ€ฆ   ( B as i m   A .   H as s an )   999   2.   D ER I V I N G   TH N E Q U A S I - N EWT O N   E Q U A TI O N   Z a hra   a n A l i   [13]  p r o po s e   a   t y pe   qua s i - N e w t o n   e qua t i o n   of   qua s i - N e w t o n   m e t h o ds   a n d   ge n e ra t e   s e v e r a l   Q N   d i r e c t i o n s ,   a s   (7) .     ๏ป ๏ฝ k k T k k T k k k k k k k k s s g g f f y y s x f ๏ต ๏ต 0 , ) ( ) ( 2 m a x 3 5 ) ( 1 1 ~ 1 2 ๏€ซ ๏€ซ ๏€ญ ๏€ซ ๏€ฝ ๏€ฝ ๏ƒ‘ ๏€ซ ๏€ซ ๏€ซ   (7)     F o r   m o r e   de t a i l s   c a n   b e   f o un i [1 3].     S o   w e   w i l l   de ri v i n g   qu a s i - N e w t o n   e qua t i o n   m o t i v a t e by   q ua s i - N e w t o n   (7) .   N o w   m ul t i pl y i n g   i t   by   T k s ,   w e   ha v e .     ๏ป ๏ฝ k T k k k k k T k k T k k k T k s g g f f y s y s s x f s ) ( ) ( 2 3 5 ) ( 1 1 ~ 1 2 ๏€ซ ๏€ซ ๏€ญ ๏€ซ ๏€ฝ ๏€ฝ ๏ƒ‘ ๏€ซ ๏€ซ ๏€ซ   (8)     w e   c a w r i t e :     k T k k k k k T k k k T k s g g f f y s s x f s ) ( ) ( 2 5 3 ) ( 5 3 1 1 1 2 ๏€ซ ๏€ซ ๏€ญ ๏€ซ ๏€ฝ ๏ƒ‘ ๏€ซ ๏€ซ ๏€ซ   (9)     N ow ,   f r o m   (3)   a nd  ( 9),   w e   ob t a i n .     k T k k T k k k k k T k k k T k k k T k k T k k k k k T k k k T k s g s g g f f y s s x f s s x f s s g g f f y s s x f s 5 2 ) ( ) ( 2 5 3 ) ( ) ( 5 2 ) ( ) ( 2 5 3 ) ( 1 1 1 2 1 2 1 1 1 2 ๏€ญ ๏€ซ ๏€ซ ๏€ญ ๏€ซ ๏€ฝ ๏ƒ‘ ๏ƒ‘ ๏€ซ ๏€ซ ๏€ซ ๏€ญ ๏€ซ ๏€ฝ ๏ƒ‘ ๏€ซ ๏€ซ ๏€ซ ๏€ซ ๏€ซ ๏€ซ ๏€ซ   (10)     F r o m   ( 10)   w e   ge t .     k T k k T k k k k T k k k T k s g s g f f y s s x f s 5 3 ) ( 2 5 3 ) ( 1 1 1 2 ๏€ซ ๏€ซ ๏€ญ ๏€ซ ๏€ฝ ๏ƒ‘ ๏€ซ ๏€ซ ๏€ซ   (11)     Co n s i de r   1 ๏€ซ k B   i s   a a p p r o xi m a t e   o f   t h e   H e s s i a n   m a t ri ) ( 1 2 ๏€ซ ๏ƒ‘ k x f o f   t h e   ) ( k x f     k T k k T k k k k T k k k T k s g s g f f y s s B s 5 3 ) ( 2 5 3 1 1 1 ๏€ซ ๏€ซ ๏€ญ ๏€ซ ๏€ฝ ๏€ซ ๏€ซ ๏€ซ   (12)       T h i s   gi v e s   a   n e w   qua s i - N e w t o n   e qua t i o n   i t h e   f o r m .     k k T k k T k k T k k k k k k k s s g s g f f y y s B ๏ต ๏ต 5 / 3 ) ( 2 5 3 1 1 * 1 ๏€ซ ๏€ซ ๏€ญ ๏€ซ ๏€ฝ ๏€ฝ ๏€ซ ๏€ซ ๏€ซ   (13)       w h e r e   k ๏ต   i s   a n y   ve c t o r   s a t i s fy i n 0 ๏‚น k T k s ๏ต .   M o t i v a t e by   t h e   i de a   o Z a hra   a nd  A l i   [8] ,   w e   pr o po s e   a   m o di f i e a b ov e   qua s i - N e w t o n   e qu a t i o n ,   w e   ge t   a s .     ๏ป ๏ฝ k k T k k T k k T k k k k k k k s s g s g f f y y s B ๏ต ๏ต 5 / 3 ) ( 2 m a x 5 3 1 1 * 1 ๏€ซ ๏€ซ ๏€ญ ๏€ซ ๏€ฝ ๏€ฝ ๏€ซ ๏€ซ ๏€ซ   (14)   O bv i o us l y   t w o   c h o i c e s   fo r   k ๏ต   c a n   b e   c o m put e a s .   1.   F i r s t   c a s e   1 ๏€ซ ๏€ฝ k k g ๏ต   g i v e s :     Evaluation Warning : The document was created with Spire.PDF for Python.
            ๏ฒ                     IS S N :   2502 - 4752   In do n e s i a J   E l e c   E ng  &   Co m S c i ,   V o l .   22 ,   N o .   2 M a y   202 1   :     997   -   10 05   1000   ๏ป ๏ฝ 1 1 1 1 * 1 5 / 3 ) ( 2 m a x 5 3 ๏€ซ ๏€ซ ๏€ซ ๏€ซ ๏€ซ ๏€ซ ๏€ซ ๏€ญ ๏€ซ ๏€ฝ ๏€ฝ k k T k k T k k T k k k k k k k g g s s g s g f f y y s B     (15)     2.   S e c o n c a s e   k k y ๏€ฝ ๏ต   gi v e s :     ๏ป ๏ฝ k k T k k T k k T k k k k k k k y y s s g s g f f y y s B 5 / 3 ) ( 2 m a x 5 3 1 1 * 1 ๏€ซ ๏€ซ ๏€ญ ๏€ซ ๏€ฝ ๏€ฝ ๏€ซ ๏€ซ ๏€ซ   (16)     U s i n qua s i - N e w t o n   e qua t i o n   i n   t h e   B F G S   upda t e   t o   gi ve   a   g o o d   r e s ul t .   N o w ,   w e   a r e   i n   a   s i t ua t i o n   t o   e xpl a i o u r   a l go r i t hm   i de t a i l s .   S tage   1.   G i v e   ๏ฅ ,   a   i ni t i a l   po i n t   n R x ๏ƒŽ 0 .   S e t   0 ๏€ฝ k .   S tage   2.   If   po s s i b l e   t e s t   s a t i s f i e s   t h e s t o p.   S tage   3.   S o l v e   k k k g d B ๏€ญ ๏€ฝ .   S tage   4.   F i n d   k ๏ก   by   us i n g   t h e   f o l l o w i n W o l f e   c o n di t i o n s   :     k T k k k k k k d g x f d x f ๏ค๏ก ๏ก ๏€ซ ๏‚ฃ ๏€ซ ) ( ) (   (17A )     k T k k k k T k g d d x g d   ) (   ๏ณ ๏ก ๏‚ณ ๏€ซ   (17B )     w h e r e   1 0 ๏€ผ ๏€ผ ๏€ผ ๏ณ ๏ค .   S tage   5.   S e t   k k k k d x x ๏ก ๏€ซ ๏€ฝ ๏€ซ 1 .   Co m put e   * k y   by   (14 ).   If   0 * ๏€พ k T k y s ,   upda t e   1 ๏€ซ k H   by   (6),   o t h e r w i s e   l e t   k k H H ๏€ฝ ๏€ซ 1 .   S e t   1 ๏€ซ ๏€ฝ k k   a n d   go   t o   S t e 2 .     T h e   m a j o r   w o r k,   w e   i nt r o duc e   t h e   po s i t i v e   de f i n i t e   p r o pe r t y   fo r   t h e   n e w   qua s i - N e w t o n   e qua t i o n.       Th e o r e m   1.   S uppo s e   t h a t   0 * ๏€พ k T k y s .   T h e 1 ๏€ซ k B   i s   s y m m e t ri c   po s i t i v e   de f i n i t e .   P r oo f.   U s i n de f i ni t i o * k y   a n d   m u l t i pl y i n g   by   T k s ,   w e   ge t :     k T k k T k k k k T k k T k s g s g f f y s y s 5 3 ) ( 2 5 3 1 1 * ๏€ซ ๏€ซ ๏€ญ ๏€ซ ๏€ฝ ๏€ซ ๏€ซ     (18)     F r o m   ( 19),   (1 7)  a n d   (18) w e   o b t a i n e d .     k T k k T k k T k k T k k T k k T k s g s g s g s g s g y s ๏ณ ๏ณ ๏ณ ๏ณ ๏ค 5 2   5 8 2   5 8 2 * ๏€ญ ๏‚ณ ๏€ซ ๏€ญ ๏‚ณ ๏€ซ ๏€ญ ๏‚ณ   (19)   As  0 ๏€ผ ๏€ฝ k T k k k T k g d g s ๏ก ,   t h e n       k T k k k T k g d y s ๏ณ๏ก 5 / 2 * ๏€ญ ๏€พ     (20)     D e n o t e   t h e   r i gh t   s i de   pa r t   o f   t h e   i n e qua l i t y   b y   ๏Œ ,   t h e n   o n e   h a s .   Evaluation Warning : The document was created with Spire.PDF for Python.
In do n e s i a J   E l e c   E ng  &   Co m S c i     IS S N :   2502 - 4752   ๏ฒ     A i m pr ov e d   quas i - Ne w t on  e q uat i on  on  t h e   qu as i - N e w t on  m e t hods   f or   un c ons t r a i ne d   โ€ฆ   ( B as i m   A .   H as s an )   1001   0 * ๏€พ ๏Œ ๏€พ k T k y s   (21)     S o   1 ๏€ซ k B   i s   po s i t i v e   de f i n i t e .   T h o ugh   t h e   0 * ๏€พ k T k y s ,   do e s   n o t   h o l t r ue   f o r   n o n - c o n v e pr o b l e m s ,   1 ๏€ซ k B   m a y   n o t   be   p o s i t i ve   de f i n i t e .   It   s e r v e s   a s   a   us e f ul   c o n di t i o f o r   po s i t i v e   de f i n i t e n e s s   of   t h e   upd a t e s   c o n s i de r .     , : 2 * ๏ƒฏ ๏ƒพ ๏ƒฏ ๏ƒฝ ๏ƒผ ๏ƒฏ ๏ƒฎ ๏ƒฏ ๏ƒญ ๏ƒฌ ๏‚ณ ๏€ฝ ๏ค ๏ข k k k T k g s y s k K     (22 )     w h e r e   0 ๏€พ ๏ข   i s   c o n s t a n t   a nd  0 ๏€พ ๏ค   i s   b o un de d.       3.   C O N V ER G EN C E   A N A L Y S I S   W e   w i l l   s t udy   t h e   g l o b a l   c o n v e r ge n c e   of   o ur   m e t h o d .   W e   n e e s o m e   a s s um pt i o n s .   L e t   t h e   l e v e l   s e t   โ€œ ๏ป ๏ฝ ) ( ) ( 0 x f x f x D ๏‚ฃ ๏€ฝ โ€ ,   w i t h   0 x   i s   a i ni t i a l   po i nt     o f   i t e ra t i v e   m e t h o i s   r e s t ri c t e d.   U s i n L i ps c h i t z   c o n t i nuo us ;   t ha t   i s   e xi s t   c o n s t a nt s   L   a nd  ๏ง ,   s uc t ha t .     D L f f ๏ƒŽ ๏€ข ๏€ญ ๏‚ฃ ๏ƒ‘ ๏€ญ ๏ƒ‘ ๏ท ๏ต ๏ท ๏ต ๏ท ๏ต , , ) ( ) (   (23)     a n d ,     D x x f ๏ƒŽ ๏€ข ๏‚ฃ ๏ƒ‘ , ) ( ๏ง   (24)     S i n c e   ๏ป ๏ฝ ) ( k x f   i s   a   n o   i n c r e a s i ng,   w h i c h   e n s ur e s   ๏ป ๏ฝ k x   i s   c o n t a i n e i n   D   a n t h e   e xi s t e n c e   o f   * x   w e   h a v e .     ) ( ) ( lim * x f x f k k ๏€ฝ ๏‚ฅ ๏‚ฎ   (25)     M o r e o v e r ,   f r o m   t h e   f a c t   t h a t   s e que n c e   k x    i s   b o un de d,   t h e r e   e xi s t s   ๏ญ ,   s uc h   t h a t   , k ๏€ข .     ๏ญ ๏‚ฃ ๏€ซ ๏‚ฃ ๏€ญ ๏€ฝ ๏€ญ ๏€ญ x x x x s k     (26)     M o r e   de t a i l s   c a n   b e   f o un i n   [14 ] ,   [ 15].   P r e s e n t e t h e   us e f ul   t h e o r e m   t o   pr o v e   t h a t   o ur   m e t h o i s   gl o b a l l y   c o n v e r ge n t .     Th e o r e m   2.   If   ๏ง ๏‚ฃ ๏ƒ‘ ) ( x f   i s   n o t   s a t i s f i e s   f o r   a l l   k .   L e t   ๏ป ๏ฝ k x   b e   ge n e r a t e b y   m o di f i e m e t h o ds ,   a n t h e   (27)   h o l ds .     k k k s a s B 1 ๏‚ฃ   a n d   2 2 2 k k T k s a s B s ๏‚ณ ,   (27)     w h e r e   0 1 ๏€พ a   a n 0 2 ๏€พ a   a r e   c o n s t a n t s .   F o r   i n f i n i t e l y   , k t h e n   w e   h a v e .     0 i n f lim ๏€ฝ ๏‚ฅ ๏‚ฎ k k g   (28)     Evaluation Warning : The document was created with Spire.PDF for Python.
            ๏ฒ                     IS S N :   2502 - 4752   In do n e s i a J   E l e c   E ng  &   Co m S c i ,   V o l .   22 ,   N o .   2 M a y   202 1   :     997   -   10 05   1002   P r o o :   B y   (4)  of   t h e   W o l f e   c o n di t i o n s   w e   o b t a i n .       k T k k T k k d g d g g ) 1 ( ) ( 1 ๏ณ ๏€ญ ๏€ญ ๏‚ณ ๏€ญ ๏€ซ   (29)     B y   us i n g   L i ps c h i t z   c o n di t i o n   w e   o b t a i n .     k k k T k k d L d g g ๏ก ๏‚ฃ ๏€ญ ๏€ซ ) ( 1     (30)     T h i s   i m pl i e s   t h a t .     L a d L d B d d L d g k k k T k k k T k k 2 2 2 ) 1 ( ) 1 ( ) 1 ( ๏ณ ๏ณ ๏ณ ๏ก ๏€ญ ๏‚ณ ๏€ญ ๏€ฝ ๏€ญ ๏€ญ ๏‚ณ   (31)     us i n (22)   w e   o b t a i n .       * 1 1 1 1 1 1 1 ) ( lim ) ( lim ) ( f f f f f f f f k N k k k N k k k ๏€ญ ๏€ฝ ๏€ญ ๏€ฝ ๏€ญ ๏€ฝ ๏€ญ ๏€ซ ๏‚ฅ ๏‚ฎ ๏‚ฅ ๏€ฝ ๏€ซ ๏‚ฅ ๏‚ฎ ๏‚ฅ ๏€ฝ ๏€ซ ๏ƒฅ ๏ƒฅ     (32)     T h e   (32)   i m pl i e s     , ) ( 1 1 ๏‚ฅ ๏€ซ ๏‚ฃ ๏€ญ ๏ƒฅ ๏‚ฅ ๏€ฝ ๏€ซ k k k f f   (33)     T h i s   t o ge t h e r   w i t h   W o l f e   c o n di t i o n   (3)  y i e l ds .     ๏‚ฅ ๏€ซ ๏‚ฃ ๏€ญ ๏ƒฅ ๏‚ฅ ๏€ฝ 1 k k T k k d g ๏ก     (34 )     T h e n     0 lim ๏€ฝ ๏‚ฅ ๏‚ฎ k T k k k d g ๏ก   (35 )     i n   c o o pe r a t i o n   w i t h   (31)   pr o v i de   t h a t .     0 lim lim ๏€ฝ ๏€ญ ๏€ฝ ๏‚ฅ ๏‚ฎ ๏‚ฅ ๏‚ฎ k T k k k k T k k d g d B d   (36     Co m b i n i n (33)   w i t h   (24)   w e   o b t a i n   t h e   c o n c l us i o n   (25) .   T h e   pr o o f   i s   f i n i s h e d.     N e v e r t h e l e s s ,   w e   gi v e   t h e   l e m m a   f o r   l a r ge   s c a l e   pr o b l e m s   t o   s h o w   t h e   c o n v e r ge n c e   pr o pe r t y   f o r   n e w   a l go r i t h m .   T h i s   l e m m a   w a s   s h o w n   b y   P o w e l l   [16].     Le m m 1.   โ€œ If   B F G S   m e t h o w i t h   W o l f e   c o n di t i o n   i s   a ppl i e t o   a   c o n t i n uo us l y   di f f e r e n t i a b l e   f un c t i o n   f t h a t   i s   b o un de b e l o w ,   a n i f   t h e r e   e xi s t s   a   c o n s t a n t   M su c h   t h a t   t h e   i n e qua l i t y   h o l ds .     M y s y k T k k ๏‚ฃ 2     (37)     T h e n   ,   Evaluation Warning : The document was created with Spire.PDF for Python.
In do n e s i a J   E l e c   E ng  &   Co m S c i     IS S N :   2502 - 4752   ๏ฒ     A i m pr ov e d   quas i - Ne w t on  e q uat i on  on  t h e   qu as i - N e w t on  m e t hods   f or   un c ons t r a i ne d   โ€ฆ   ( B as i m   A .   H as s an )   1003   0 i n f lim ๏€ฝ ๏‚ฅ ๏‚ฎ k k g   (38)     Th e o r e m   3.   L e t   ๏ป ๏ฝ k x   b e   ge n e r a t e b y   t h e   pr o po s e m e t h o a n k k s ๏ฃ ๏ต ๏‚ฃ .   T h e n   w e   h a v e .     0 i n f lim ๏€ฝ ๏‚ฅ ๏‚ฎ k k g     (39)     P r o o f:   U s i n g   a   c o n t r a di c t i o n   m e t h o w i t h   t h e r e     e xi s t s   0 ๏€พ ๏ฅ   s uc h   t h a t .     ๏ฅ ๏€พ k g   (40)     H e n c e ,   (2 2 i m pl y   t h a t .     2 2 * k k k k T k s s g y s ๏ค ๏ค ๏ข๏ง ๏ข ๏‚ณ ๏‚ณ   (41)     B y   t h e   de f i n i t i o n   o f     * k y c a n   b e   w r i t t e n   a s .     ๏ป ๏ฝ k T k k T k k k k k k T k k k k s g s g f f s y y 5 / 3 ) ( 2 , 0 m a x , 5 3 1 1 * ๏€ซ ๏€ซ ๏€ญ ๏€ฝ ๏€ซ ๏€ฝ ๏€ซ ๏€ซ ๏ถ ๏ต ๏ต ๏ถ     (42)     S o ,   f r o m   (24),   w e   ge t .     k T k k T k k k k T k k k k k T k s s Gs Gs y y ๏ต ๏ต ๏ต ๏ถ ๏ต ๏ต ๏ถ 2 2 * * ) ( ) ( 5 6 ) ( 25 9 ๏€ซ ๏€ซ ๏€ฝ     (43)     B y   s i m pl e   c o m put a t i o n   a n us i n k k s ๏ฃ ๏ต ๏‚ฃ ,   w e   o b t a i n ,     2 2 2 * 5 3 k k k T k k T k k s s s G s y ๏ฎ ๏ต ๏ถ ๏ฃ ๏‚ฃ ๏ƒท ๏ƒท ๏ƒธ ๏ƒถ ๏ƒง ๏ƒง ๏ƒจ ๏ƒฆ ๏€ซ ๏‚ฃ     (44)     T h e r e f o r e ,   b y   di v i di n t h e   s i de s   o f   i n e qua l i t i e   2 * k y ,   i n e qua l i t i e s   (41)  w e   o b t a i n .     M y s y k T k k ๏‚ฃ * 2 *     (45)     U s i n l e m m a   1,   t o   t h e   s ub   ๏ป ๏ฝ K k k B ๏ƒŽ ,   o b v i o us l y ,   c l e a r l y   t h e r e   e xi s t   1 a   a n 2 a   w e   ge t   (27)  f o r   i n f i n i t e l y   m a n y   k .   T h e n   t h e o r e m   2.   c o m pl t e s   t h e   pr o o f .       4.     NUM ER I C A L   R EP O R TS   In   t h i s   pa r t ,   w e   de t a i l s   r e s ul t s   o f   s o m e   n um e r i c a l   e xpe r i m e n t s   w i t h   t h e   n e w   m e t h o a n a l go r i t h m   B F G S .   W e   c h o o s e   30  t e s t   pr o b l e m s   w i t h   t h e   di f f e r e n t   di m e n s i o n   a n i n i t i a l   po i n t s   f r o m   l i t e r a t ur e   [17].   S o m e   e n l a r ge m e nt   w a s   o b s e r v e f o r   c l a s s   f r o m   t e s t   pr o b l e m s   [18 ] - [ 24].   W e   s e t   t h e   pa r a m e t e r s   9 . 0 , 1 . 0 2 1 ๏€ฝ ๏€ฝ ๏ณ ๏ณ a n 5 10 ๏€ญ ๏€ฝ ๏ฅ   i n   t h e   n um e r i c a l   e xpe r i m e n t .   B y   a ppl y i n l a w   H i m m e b l a u   [25],   t h e   s t o c r i t e r i o n   i s   โ€œ If   Evaluation Warning : The document was created with Spire.PDF for Python.
            ๏ฒ                     IS S N :   2502 - 4752   In do n e s i a J   E l e c   E ng  &   Co m S c i ,   V o l .   22 ,   N o .   2 M a y   202 1   :     997   -   10 05   1004   , 10 ) ( 5 ๏€ญ ๏€พ k x f   l e t   ; ) ( / ) ( ) ( 1 1 k k k x f x f x f s to p ๏€ซ ๏€ญ ๏€ฝ   O t h e r w i s e ,   l e t   ) ( ) ( 1 1 ๏€ซ ๏€ญ ๏€ฝ k k x f x f s to p .   F o r   e v e r y   pr o b l e m ,   i f   ๏ฅ ๏€ผ k g   o r   5 10 1 ๏€ญ ๏€ผ s t o p i s   s a t i s f i e d,   t h e   pr o gr a m   w i l l   b e   s t o ppe dโ€ .   T h e   n um e r i c a l   r e s ul t s   b a s e o n   IN   a n N F ,   t h e   n um b e r   o f   i t e r a t i o n s   a n t h e   n um b e r   o f   f un c t i o n   e v a l ua t i o n s ,   r e s pe c t i v e l y .   A   c o m pa r i s o n   o f   t h e   a l go r i t h m s   i s   gi v e n   b a s e o n   t h e   pe r f o r m a n c e   pr o f i l e s   o f   D o l a n   a n M o r e   [26].   T h e   c o m pa r i s o n   i s   b a s e o n   N a n N F ,   r e s pe c t i v e l y .   T h e   pl o t s   o b t a i n e v i a   t h e   D o l a n   a n M o r e   pe r f o r m a n c e   pr o f i l e s   i n di c a t e   t h a t   t h e   M a n M 3   m e t h o ds   pe r f o r m   b e t t e r   t h a n   t h e   M m e t h o d.   T o   f a c i l i t a t e   t h i s ,   w e   us e t h e   f o l l o w i n n o t a t i o n s   t o   r e pr e s e n t   t h e   a l go r i t h m s :   M 1.   T h i s   i s   t h e   s t a n da r B F G S   m e t h o de f i n e b y   (6).   M 2.   T h i s   i s   t h e   n e w   a l go r i t h m   w i t h   k k y ๏€ฝ ๏ต   i s   us e d.   M 3.   T h i s   i s   de f i n e b y   (17)  w i t h   us i n 1 ๏€ซ ๏€ฝ k k g ๏ต .   F i gur e   a n F i gur e   2 ,   w e   h a v e   f o un t h a t   n e w   pr o po s e m e t h o ds   b e s t   B F G S   m e t h o i n   a b o ut     (17 - 53)%  N a n (49 - 51)%  N F .   T h e   n e w   m e t h o ds   h a s   go o n um e r i c a l   r e s ul t s .             F i gu r e   1 .   N u m b e r   o f   i t e r a t i o p r o f i l e   v i a   do l a a n m o re     F i gu r e   2 .   N u m b e r   o f   f un c t i o e v a l ua t i o p r o f i l e   v i a   do l a a n m o r e   p r o f i l e       5.   C O N C LU S I O N S     T h e   pa pe r   s t udi e s   t h e   qua s i - N e w t o n   m e t h o w h i c h   i s   po pul a r   i n   s o l v i n l a r ge - s c a l e   un c o n s t r a i n e o pt i m i z a t i o n .   It   pr e s e n t s   a   n e w   qua s i - N e w t o n   e qua t i o n   f o r   gr a di e n t   m e t h o ds .   N um e r i c a l   c o m pa r i s o n s   w i t h   t h e   w e l l - kn o w n   B G G S   m e t h o a r e   gi v e n .   In s pi r e n e w   qua s i - N e w t o n   v e r y   w e l l   i n   pr a c t i c e   i n   c o m pa r i s o n   w i t h   qua s i - N e w t o n   m e t h o ds .       A C K N O WL ED G M EN T   T h e   f i r s t   a ut h o r   is   gr a t e f ul   t o   t h e   U n i v e r s i t y   o f   M o s ul / Co l l e ge   o f   Co m put e r s   S c i e n c e s   a n M a t h e m a t i c s   f o r   t h e i r   pr o v i de f a c i l i t i e s ,   w h i c h   h e l pe t o   i m pr o v e   t h e   qua l i t y   o f   t h i s   w o r k.   T h e   s e c o n a ut h o r   a c kn o w l e dge   t h e   f i n a n c i a l   s uppo r t   o f   h e r   i n s t i t ut i o n   (R a j a m a n ga l a   U n i v e r s i t y   o f   T e c h n o l o gy ).   T h e   l a s t   a ut h o r   a c kn o w l e dge   w i t h   t h a n ks ,   t h e   D e pa r t m e n t   o f   M a t h e m a t i c s   a n A ppl i e M a t h e m a t i c s   a t   t h e   S e f a ko   M a kga t h o   H e a l t h   S c i e n c e s   U n i v e r s i t y .       R EF ER EN C ES   [ 1]   Y ua G . ,   S h e ng   Z . ,   W a ng   B . ,   H W .   a n d ,   L i   C . ,   " T he   g l o ba l   c o n v e r g e nc e   of   a   m o di f i e B F G S   m e t ho f o r   no nc o nv e f unc t i o ns , "   J ou r na l   o f   C om p ut a t i ona l   a nd  A pp l i e M at he m at i c s v o l .   3 27 ,   pp .   27 4 - 294 ,   201 8,   do i :   10. 1 016 / j . c a m . 2 017 . 05 . 03 0.   [ 2]   D a i   Y ,   " C o nv e r g e nc e   pr o pe r t i e s   o f   t he   B F G S   a l g o r i t hm , "   SI A M   J .   O pt i m . ,   v o l .   13 ,   no .   3 ,   pp . 69 3 - 701 ,   201 3,   do i :   10. 1 137 / S 10 5262 3401 3834 55 .   [ 3]   N o c e da l ,   J .   a n W r i g ht ,   S .   J . ,   " N um e r i c a l   o pt i m i z a t i o n , "   S pr i ng e r   S e r i e s   i O pe r a t i o ns   R e s e a r c h ,   2 nd  e di t i o n,   S pr i ng e r - V e r l a g ,   N e w   Y o r k ,   U S A ,   20 06 ,     [ 4]   Y ua n,   G ,   W e i ,   Z ,   a nd  W u,   Y ,   " M o di f i e l i m i t e m e m o r y   B F G S   m e t ho w i t no nm o no t o ne   l i ne   s e a r c f o r   unc o ns t r a i ne o pt i m i z a t i o n ,"   J .   K or e an   M at h.   So c . ,   v o l .   47 ,   no .   4,   pp .   767 - 788 ,   201 0,   do i :   10. 4 134 / J K M S . 201 0. 4 7. 4. 7 67 .   0 0 . 5 1 1 . 5 2 2 . 5 3 3 . 5 4 0 0 . 1 0 . 2 0 . 3 0 . 4 0 . 5 0 . 6 0 . 7 0 . 8 0 . 9 1 t P ( t )     M1 M2 M3 0 0 . 5 1 1 . 5 2 2 . 5 3 3 . 5 4 0 0 . 1 0 . 2 0 . 3 0 . 4 0 . 5 0 . 6 0 . 7 0 . 8 0 . 9 1 t P ( t )     M1 M2 M3 Evaluation Warning : The document was created with Spire.PDF for Python.
In do n e s i a J   E l e c   E ng  &   Co m S c i     IS S N :   2502 - 4752   ๏ฒ     A i m pr ov e d   quas i - Ne w t on  e q uat i on  on  t h e   qu as i - N e w t on  m e t hods   f or   un c ons t r a i ne d   โ€ฆ   ( B as i m   A .   H as s an )   1005   [ 5]   M a s c a r e n ha s ,   W . F . ,   " T h e   B F G S   m e t ho w i t e xa c t   l i n e   s e a r c f a i l s   f o r   no n - c o n v e o bj e c t i v e   f unc t i o ns , "   M a t he m at i c a l   P r og r am m i ng v o l .   99 ,   pp.   49 - 61 ,   20 04 ,   do i :   10 . 100 7 / s 10 107 - 00 3 - 0421 - 7.   [ 6]   W e i   Z . ,   L i   G . ,   a n Q i   L . ,   " N e w   q ua s i - N e w t o m e t ho ds   f o r   unc ons t r a i ne o pt i m i z a t i o pr o bl e m s , "   A pp l .   M at h .   C om put . , 175 ,   pp .   1156 - 11 88 ,   2 006 ,   do i :   10. 10 16/ j . a m c . 20 05. 08 . 027 .   [ 7]   B i g l a r i   F . ,   H a s s a M . A . ,   a n L e o ng   W . J . ,   " N e w   qua s i - N e w t o n   m e t ho ds   v i a   h i g he r - o r de r   t e n s o r   m o de l s , "   J .   C om put .   A pp l .   M a t h. ,   v o l .   2 35,   no .   8 ,   pp.   2 412 - 242 215 ,   2011 ,   do i :   10. 1 016 / j . c a m . 2 010 . 10 . 04 1.   [ 8]   C h e L . H . ,   D e ng   N . Y . ,   a nd .   Z h a ng   J . Z . " A   m o d i f i e qu a s i - N e w t o m e t ho f o r   s t r uc t u r e d   o p t i m i z a t i o n   w i t pa r t i a l   i nf o r m a t i o n   o n   t he   H e s s i a n , "   C om p u t .   O p t i m .   A p p l . ,   v o l .   3 5 ,   no .   1 ,   p p .   5 - 18 ,   20 0 6 ,   do i :   1 0 . 1 0 07 / s 10 5 8 9 - 0 06 - 6 44 0 - 6.   [ 9]   B a s i m   A .   H a s s a n ,   " A   ne w   t y pe   o f   qua s i - N e w t o u pda t i ng   f o r m ul a s   ba s e o t he   ne w   qua s i - N e w t o e qu a t i o n, "   A m e r i c an   I ns t i t u t e   of   M a t he m at i c a l   Sc i e nc e s ,   v o l .   10 ,   no .   2,   pp .   22 7 - 235 ,   201 9,   do i :   10. 3 934 / na c o . 201 9049 .   [ 10]   B a s i m   A .   H a s s a a nd  G ha da   M . ,   " ne w   qua s i - N e w t o e qu a t i o o t he   g r a di e n t   m e t ho ds   f o r   o pt i m i z a t i o m i ni m i z a t i o pr o bl e m , "   I nd one s i a J ou r na l   o f   E l e c t r i c a l   E ng i ne e r i ng  and  C om put e r   S c i e nc e   ( I J E E C S) v o l .   19,     no .   2 ,   pp.   7 37 - 744 ,   2020 ,   do i :   10. 1 1591 / i j e e c s . v 19 . i 2 . pp 737 - 74 4.   [ 11]   B a s i m   A .   H a s s a a nd  M o ha m m e W .   T . ,   " ne w   v a r i a n t s   o f   qua s i - N e w t o e qu a t i o ba s e o t he   qua d r a t i c   f unc t i o f o r   unc o ns t r a i n e o pt i m i z a t i o n , "   I n done s i an  J ou r na l   o f   E l e c t r i c al   E ng i ne e r i ng   and   C om p ut e r   Sc i e nc e   ( I J E E C S) v o l .   19 ,   no .   2,   pp .   701 - 70 8 ,   do i :   10. 1159 1/ i j e e c s . v 19. i 2. p p701 - 708 .   [ 12]   P o w e l l   M .   J .   D . ,   " A l g o r i t hm s   f o r   no nl i ne a r   c o ns t r a i n t s   t h a t   us e   l a g r a ng i a n   f unc t i o ns , ' '   M at h.   P r ogr am . ,   v o l .   14,     no .   1 ,   pp.   2 24 - 248 ,   do i :   10. 100 7/ B F 0158 8967 .   [ 13]   Z a hr a   K .   a nd  A l i   A . ,   " A   ne w   m o di f i e s c a l e c o nj ug a t e   g r a di e nt   m e t ho f o r   l a r g e - s c a l e   unc o ns t r a i ne d   o pt i m i z a t i o n   w i t no n - c o n v e o bj e c t i v e   f unc t i o n ,"   O pt i m i z at i on  M e t ho ds   and  S of t w ar e v o l .   34 ,   no .   4 ,   pp .   783 - 796 ,   20 19,   do i :   10. 1 080 / 105 5678 8. 2018 . 1 4571 52.   [ 14]   W e i   Z . ,   G .   Y u ,   G .   Y u a n ,   a nd   Z .   L i a n ,   " T h e   s upe r l i n e a r   c o nv e r g e nc e   o f   a   m o di f i e d   B F G S - t y pe   m e t ho f o r   unc o ns t r a i ne o pt i m i z a t i o n, "   C om pu t .   O p t i m .   A pp l . v o l .   29,   pp.   315 - 33 2 ,   2004 ,   do i :   10. 1 023 / B : C O A P . 000004 4184 . 2 5410 . 39 .   [ 15]     X i a o w e i   F . ,   Q i N .   a n M e i l a Z . ,   " A m o di f i e qua s i - N e w t o n   m e t ho f o r   no nl i ne a r   e qu a t i o n, "   J ou r na l   of   C om put at i ona l   and   A p pl i e M a t he m at i c s ,   v o l .   32 8,   pp .   44 - 58 ,   201 8 ,   do i :   10. 101 6/ j . c a m . 201 7. 06. 024 .   [ 16]   P o w e l l   M . J . D ,   " S o m e   g l o ba l   c o nv e r g e nc e   pr o pe r t i e s   o f   a   v a r i a bl e   m e t r i c   a l g o r i t hm   f o r   m i ni m i z a t i o w i t ho ut   e xa c t   l i n e   s e a r c he s , "   N onl i ne ar   P r ogr am m i n g,   S I A M - A M S   P r oc e e di ngs ,   L e m ke ,   e ds . ,   S I A M ,   197 6,   pp .   53 - 72 .   [ 17]   M o r e   J . ,   G a r bo w   B . ,   a nd  H i l l s t r o m e   K . ,   " T e s t i ng   unc o ns t r a i ne o pt i m i z a t i o n   s o f t w a r e , "   A C M   T r ans .   M a t h .   Sof t w ar e v o l .   7,   pp .   17 - 41 ,   1981 ,   do i :   10. 1 145 / 355 934 . 35 5936 .   [ 18]   B a s i m   A .   H a s s a n,   " g l o ba l l y   c o n v e r g e nc e   s pe c t r a l   c o nj ug a t e   g r a di e n t   m e t ho f o r   s o l v i ng   unc o ns t r a i n e d   o pt i m i z a t i o pr o bl e m s , "   R af .   J .   of   C om p.   &   M at h โ€™ s . ,   v o l .   10,   n o .   4,   pp .   21 - 28 ,   2 013 ,   do i :   10. 3 3899 / c s m j . 20 13. 1635 43 .   [ 19]   B a s i m   A .   H a s s a n ,   " D e v e l o pm e n t   a   s pe c i a l   c o nj ug a t e   g r a di e nt   a l g o r i t hm   f o r   s o l v i ng   unc o ns t r a i n e m i ni m i z a t i o pr o bl e m s , "   R af .   J .   o f   C om p .   &   M at hโ€™ s .,   v o l .   9 ,   no .   1 ,   pp .   73 - 84 ,   2 01 2,   do i :   10. 33 899 / c s m j . 201 2. 1 6367 2.   [ 20]   B a s i m   A .   H a s s a n   a nd   H a m e e M .   S a di q . ,   " m o di f i e c l a s s   o f   c onj ug a t e   g r a d i e nt   a l g o r i t hm s   ba s e d   o qua dr a t i c   m o de l   f o r   n o nl i ne a r   unc o ns t r a i ne o pt i m i z a t i o n, "   R a f J .   of   C om &   M at h . ,   v o l .   9,   no .   1,   pp .   25 - 37 ,   20 14 ,   do i :   10. 3 3899 / c s m j . 20 12. 1636 72 .   [ 21]   B a s i m   A .   H a s s a a nd   O m a r   M .   E . ,   " ne w   s uf f i c i e nt   de s c e n t   c o nj ug a t e   g r a d i e nt   m e t ho f o r   no nl i ne a r , "   I r aq i   J our nal   o f   St at i s t i c al   S c i e nc e s v o l .   26 ,   pp .   12 - 24 ,   20 14 .   [ 22]   Y a be ,   H . ,   a nd  S a k a i w a ,   N . ,   " A   ne w   no nl i ne a r   c o nj ug a t e   g r a di e nt   m e t ho f o r   unc o ns t r a i n e o pt i m i z a t i o n ,"   J our n al   of   t he   O pe r a t i on s   R e s e ar c Soc i e t y   o f   J apa n ,   v o l .   4 8,   no .   4 ,   p p.   28 4 - 296,   200 5,   do i :   10. 1 5807 / j o r s j . 4 8. 2 84 .   [ 23]   Y a s us hi   N .   a n H i de a ki   I . ,   " C o nj ug a t e   g r a d i e n t   m e t ho ds   u s i ng   v a l ue   o f   o bj e c t i v e   f unc t i o f o r   unc o ns t r a i ne d   o pt i m i z a t i o n ,"   O pt i m i z a t i o L e t t e r s vol .   6 ,   no .   5 ,   pp .   9 41 - 955 ,   201 1,   do i :   10. 10 07 / s 11 590 - 011 - 03 24 - 0.   [ 24]   D a i   Y . H . ,   H a n ,   J . Y . ,   L i u ,   G . H . ,   S u n,   D . F . ,   Y i n ,   X .   a nd   Y ua n ,   Y . ,   " C o n v e r g e nc e   pr o pe r t i e s   o f   no nl i n e a r   c o nj ug a t e   g r a di e nt   m e t ho ds ,"   SI A M   J our na l   on  O p t i m i z at i on ,   v o l .   10 ,   no .   2,   pp.   348 - 35 8 ,   1 999 ,   do i :   10. 1 137 / S 10 5262 3494 2684 43 .   [ 25]   Y ua Y . ,   a nd   S un   W . ,   T he o r y   a nd  m e t ho ds   o f   o pt i m i z a t i o n ,   S c i e nc e   P r e s s   o f   C h i na ,   199 9 .     [ 26]   D o l a E .   a nd  M o r ยด e   J . J . ,   " B e nc hm a r k i ng   o pt i m i z a t i o s o f t w a r e   w i t pe r f o r m a nc e   pr o f i l e s , "   M at h .   P r ogr am .,   v o l .   91,   pp .   201 - 21 3 ,   20 02,   do i :   10. 100 7/ s 101 0701 0026 3.   Evaluation Warning : The document was created with Spire.PDF for Python.