I n d on e s i an   Jo u r n al   o El e c t r i c al   En gi n e e r i n g   an d   C o m p u te r   S c i e n c e   V o l .   21 ,   N o .   3 M a r c 2021 ,   pp.   18 30 ~ 18 36   IS S N :   25 02 - 4752 ,   D O I :   10. 1 1591 / i j e e c s . v 21 .i 3 . pp 183 0 - 1836             1830       Jou r n al   h o m e pa ge ht t p: / / i j e e c s . i a e s c or e . c om   A   n e w   c l a ss   o f   se l f - s c a l i n g   f o r   q u a si - N e w t o n   m e t h o d   b a sed   o n   t h e   q u a d r a t i c   m o d e l       B as i m   A .   H as s an R an e n   M .   S u l ai m an   D e pa r t m e n t   o f   M a t he m a t i c s ,   C o l l e g e   o f   C o m put e r s   S c i e nc e s   a nd   M a t h e m a t i c s ,   U n i v e r s i t y   o f   M o s ul ,   I r a q       A r ti c l e   I n fo     A B S TR A C T   Ar t i c l e   h i s t or y :   R e c e i v e S e 23 ,   2 020   R e v i s e N o v   30 ,   2020   A c c e pt e D e c   2 3 ,   2 020       Q ua s i - N e w t o m e t ho i s   a e f f i c i e nt   m e t ho f o r   s o l v i ng   unc o ns t r a i n e o pt i m i z a t i o p r o bl e m s .   S e l f - s c a l i ng   i s   o ne   o f   t he   c o m m o a ppr o a c he s   i t h e   m o di f i c a t i o o f   t he   qua s i - N e w t o m e t ho d.   A   l a r g e   v a r i e t y   of   s e l f - s c a l i ng   of   qua s i - N e w t o m e t ho ds   i s   v e r y   w e l l   kno w n.   I t h i s   p a pe r ,   ba s e o n   qua d r a t i c   f unc t i o w e   de r i v e   t he   ne w   s e l f - s c a l i ng   o f   qua s i - N e w t o m e t ho a nd  s t udy   t he   c o nv e r g e nc e   pr o pe r t y .   N um e r i c a l   r e s u l t s   o t he   c o l l e c t i o o f   pr o bl e m s   s ho w e t h e   s e l f - s c a l i ng   o f   qua s i - N e w t o m e t ho ds   w h i c i m pr o v e s   o v e r a l l   num e r i c a l   pe r f o r m a nc e   f o r   B F G S   m e t ho d.   Ke y w or d s :   G l o b a l   c o n v e r ge n c e   S e l f - s c a l i n g   qua s i - N e w t o n   U n c o n s t ra i n e d   o pt i m i z a t i o n   T hi s   i s   an   ope n   ac c e s s   ar t i c l e   u nde r   t he   C C   B Y - SA   l i c e ns e .     Cor r e s pon di n g   Au t h or :   B a s i m   A .   H a s s a n   D e pa rt m e n t   o f   M a t h e m a t i c s   Co l l e ge   of   Co m p ut e r s   S c i e n c e s   a n d   M a t h e m a t i c s   U n i v e r s i t y   of   M o s ul ,   I r a q   E m a i l :   b a s i m a h @ uo m o s ul . e du . i q b a s i m a b a s 39@ g m a i l . c o m       1.   I N TR O D U C TI O N     A l l   o v e r   t h e   c o m pl e t e   pa pe r,   w e   de e m   t h e   u n c o n s t r a i n e m i ni m i z a t i o n   p r o b l e m   a s :     n R   x ,    ) ( x f Min   (1)     T h e   m o s t   w i de l y   us e ge n e ra l   i t e ra t i v e   s ugge s t i o n   f o r   p r o b l e m   r e s o l ut i o n   (1 i s   g i v e n   by :       k k k k n d x x R x 1 0 ,   (2)       w h e r e 1 k x   i s   a   n e w   i t e r a t i o n   po i n t ,   k x   i s   a   c ur r e n t   i t e ra t i v e   po i n t ,   0 k   i s   a   s t е p - s i z e   a n k d   i s   t h e   s e a r c h   di r e c t i o n.   (s e e ,   fo r   e xa m pl e ,   [1,   a nd  3]).   Q u a s i - N e w t o n   m e t h o ds   f o r m   a n   i m po r t a n t   c l a s s   of  n u m e r i c a l   m e t h o ds   f o r   s o l v i n o pt i m i z a t i o n   p r o b l e m s .   F o r   o ur   pu r po s e s ,   w e   e xa m i n e   t h e   ge n e ra l   i t e ra t i v e   s c h e m e   o f   qua s i - N e w t o n   di r e c t i o :     0 k k k g d B   (3)   Evaluation Warning : The document was created with Spire.PDF for Python.
In do n e s i a J   E l e c   E ng  &   Co m S c i     IS S N :   2502 - 4752       A   n e w   c l as s   of   s e l f - s c al i ng   f or   quas i - Ne w t on  m e t hod   bas e d   o t h e   quadr a t i c   m od e l   ( B as i m   A .   H as s an )   1831   w h e r e   k B   i s   a n   a pp r o p r i a t e   a pp r o xi m a t i o n   o f   t h e   i n v e r s e   of  t h e   H e s s i a n .   If   w e   a ppl y   t h e   qua s i - N e w t o e qua t i o n   t o   t h e   c h o s e n   a pp r o xi m a t i o n s   k x   a nd  1 k x ,   o ur  t a s k   i s   t o   f i n d   a   1 k B   s a t i s fy i n g:     k k k y B 1   (4)     w h e r e   k k k k k d x x 1   a n d   k k k g g y 1 ,   s e e   [4].     T h i s   ke y   of   s u c h   m e t h o ds   i s   a   m a t ri upd a t i ng  p r o c e dur e ,   of   w h i c h   t h e   B F G S   m e t h o i s   t h e   m o s t   s uc c e s s f ul   a n d   w i de l y   us e c a b e   s e pa ra t e d   i nt o   :     k T k T k k k k T k T k T k k k k BFGS k y y y B B B B B 1   (5)     L e t   k H   b e   t h e   i n v e r s e   o f   k B .   T h e t h e   i n v e r s e   upd a t e   f o r m ul a   o f   (5)   m e t h o i s   r e p r e s e n t e d   a s   :     k T k T k k k T k k k T k k T k k T k k T k k k k BFGS k y y y H y y H y y H H H 1 1   (6)     T h e   B i ggs   m o di f i c a t i o o f   t h e   B F G S   f o r m ul a   t o   i m p r o v e   t h e   pe r f o r m a n c e   o f   upda t e s ,   c a b e   w r i t t e     k T k T k k k T k k k T k k k T k k T k k T k k k k k y y y H y y H y y H H H 1 1   (7)     w h i c w i l l   s a t i s fy   :     k k k k y B 1 k T k k k k T k k T k k y x f x f g g ) ( ) ( 6 2 4 1 1   (8)     Is   t h e n   c a l l e S e l f - s c a l i ng  o f   qua s i - N e w t o n   m e t h o ds .   M o r e   d e t a i l s   c a n   b e   f o un i n   [ 5]   T h e   i de a   o f   v a r i a nt   s e l f - s c a l i n o f   qua s i - N e w t o n   m e t h o ds   h a b e e n   s t udi e by   m a n y   r e s e a r c h e r s   f o r   e xa m pl e ,   s e e   (O r e n,   [6]);   (Y u a n ,   [7])  a n (B a s i m   a n H a w r a z   [8]).   A   s e l f - s c a l i n o f   qua s i - N e w t o n   a l go r i t h m   w a s   de v e l o pe t o   d e c r e a s e   t h e   n um b e o f   i t e r a t i o n s   a n p r e s e r v e s   t h e   gl o b a l   c o n v e r ge n c e   o n   qu a s i - N e w t o n   a l go ri t hm s .   I n t e r e s t e r e s e a r c h e r   c a n   r e f e r   t o   [9 - 12]  f o r   f urt h e r   s t u di e s   a nd  r e c e n t   r e f e r e n c e   r e ga r d i n qua s i - N e w t o n .   N e xt ,   de ri v a t i o n   o f   t h e   a   n e w   s e l f - s c a l i n g   Q ua s i - N e w t o n   a r e   de s c ri b e a n t e s t e d.       2.   A   N EW   S ELF - S C A LI N G   Q U A S I - N EWT O N   M ET H O D S   In   o r de t o   w e   d e r i v e   t h e   n e w   s e l f - s c a l i n o f   qua s i - N e w t o n   m e t h o w e   c o n s i de r   t h e   s e c o n d - o r de T a y l o r   a pp r o xi m a t i o n   a s   :     ) ( ) ( 2 1 ) ( ) ( ) ( 1 1 1 1 1 k T k k T k k x x Q x x x x g x f x f   (9)     S ub s t i t ut i ng  k x   i t o   x   i e qua t i o (9)   a n us i n g   e xa c t   l i n e   s e a r c 0 1 k T k d g ,   t h e (9)   w e   h a v e :     k T k k k Q x f x f 2 1 ) ( ) ( 1   (10)     In  f a c t ,   by   us i n g   e xa c t   l i n e   s e a r c w i t h   t h i s   f un c t i o n,   t h e   o pt i m a l   s t e p   s i z e   k   i s   gi v e by   :     Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2502 - 4752   In do n e s i a J   E l e c   E ng  &   Co m S c i ,   V o l .   21 ,   N o .   3 M a r c 2 021   :     1830   -   1836   1832   k T k k T k k Qd d d g   (11)     F r o m   ( 10)  a n d   (11 w e   ge t   :     k T k k T k k k Qd d d g x f x f 2 1 ) ( 2 1 ) ( ) (   (12)       T h us   o n e   o f   t h e   po s s i b l e   c h o i c e s   i n   a n   a pp r o xi m a t i o o f   k Qd   c a n   b e   gi v e n   by   :     k k T k k k k T k k y y d x f x f d g Qd ) ))( ( ) ( ( 2 ) ( 1 2   (13)       S i n c e   k k k k k d x x 1 ,   w e   o b t a i :       k k T k k k k T k k k y y d x f x f d g Q ) ))( ( ) ( ( 2 ) ( 1 2   (14)     A   goo a pp r o xi m a t i o n   t o   t h e   H e s s i a n   m a t ri Q   i s   a   s e que n c e   of   a   po s i t i v e   de f i n i t e   m a t ri c e s   1 k B   w h i c w i l l   s a t i s fy   :     k k T k k k k T k k k k y y d x f x f d g B ) ))( ( ) ( ( 2 ) ( 1 2 1   (15)     T h e   a b o ve   r e l a t i o n   w e   o b t a i t h e   s c a l i n g   de n o t e a s   1 BR k   a n d   c a n   b e   w r i t t e a s   :     k BR k k k y B 1 1   (16)     w h e r e   :     ) ))( ( ) ( ( 2 ) ( 1 2 1 k T k k k k T k k BR k y d x f x f d g   (17)     S o     c a l l e 1 BR   m e t h o d.     2. 1 .   O u tl i n e   o th e   n e w   a l go r i th m   T h e   o ut l i n e   o f   t h e   n e w   a l go r i t h m   i s   a s   f o l l ow s   :   S t e :   C h o o s e   a n   i n i t i a l   po i nt   n R x 0 ,   s e t   . 1 k   S t e :   If   t h e   s t o ppi n g   c r i t e r i o n   i s   a   s a t i s f i e s t o p.     S t e :   Co m p ut e   k k k g H d   S t e :   F i n a   k   w h i c h   s a t i s f i e s   t h e   W o l f e   r ul e   :   k T k k k k k k d g x f d x f  ) ( ) (   k T k k k k T k g d d x g d   ) (   Evaluation Warning : The document was created with Spire.PDF for Python.
In do n e s i a J   E l e c   E ng  &   Co m S c i     IS S N :   2502 - 4752       A   n e w   c l as s   of   s e l f - s c al i ng   f or   quas i - Ne w t on  m e t hod   bas e d   o t h e   quadr a t i c   m od e l   ( B as i m   A .   H as s an )   1833   S t e :   G e n e ra t e   a   n e w   i t e ra t i o n   po i n t   by   k k k k d x x 1 a n c a l c ul a t e   t h e   n e w   upda t i ng  f o r m ul a   (7)   a n us i n g   (17) .   S t e :   S e t   1 k k   a n d   go   b a c t o   S t e 1 .       3.   G LO BA C O N V ER G EN C E   P R O P ER T Y   O F   TH E   N E A L G O R I T H M   O ur  m a i i n t e r e s t   i s   c o n v e r ge n c e   P r o pe r t y   fo r   t h e   n e w   A l go ri t hm   a n d   de f i n e b y   t h e   r e l a t i o n   :     0 inf lim k k g   (18)     T h e   B F G S   upda t e   ge n e r a t e   i de n t i c a l   c o n j uga t e   g ra di e nt   s e a r c h   d i r e c t i o p r o v i de t h a t   t h e   f u n c t i o n   qua d ra t i c   a nd  e xa c t   l i n e   s e a r c h e s   a r e   us e d.   T o   pr o v e   t ha t   t h e   n e w   upda t e s   ge n e r a t e   i de nt i c a l   c o n j uga t e   gra di e nt   s e a r c h   di r e c t i o n s .   W e   f i r s t   i n t r o duc e   a   us e f ul   l e m m a   i t   c a b e   pr o ve i a   s i m i l a w a y   t o   t h e   p r o of   o L e m m a   5. 1   i [1 3].       Le m m (2. 1):     If   t h e   B F G S   a l go ri t hm   i s   a pp l i e t o   t h e   qu a d ra t i c   F u n c t i o n :   x b Qx x x f T T 2 1 ) (   (19)   U s i n t h e   s a m e   s t a rt i ng  po i nt   0 x   a nd  i n i t i a l   s y m m e t r i c   po s i t i v e   de f i n i t e   m a t r i 0 H ,   t h e n :     * 0 * g H g H k   (20)     T h e   de t a i l e d   p r o of   w a s   gi v e n   by   N a z a r e t [14] .   P ow e l l   (P o w e l l ,   [15]) ,   s h o w e t ha t ,   t h e   c o n j uga t e   g r a di e n t   m e t h o a c hi e v e s   t h e   l i m i t   :     0 inf lim k k g   (21)     i f   t h e   l e v e l   s e t   ) ( ) ( : * x f x f x   i s   b o un de a n d   k   i s   de f i n e s o   t h a t   1 , 0 1 k d g k T k   h o l ds   fo r   a l l   k .   T h e   f o l l ow i n t h e o r e m   a r e   o f t e n   us e t o   e xpl a i t h e   g l o b a l   c o n v e r ge n c e .     Th e o r e m   (2 . 3)   A s s um e   t ha t   ) ( x f   b e   a   qua dr a t i c   f un c t i o n   de f i n e i n   (19)   a n t h a t   t h e   l i n e   s e a r c h e s   a r e   e xa c t   :   i k H   i s   a n y   s y m m e t r i c   po s i t i v e   de f i n i t e   m a t ri a n d   f o r   t h e   n e w   upda t i n f o r m ul a ,     k T k T k k k T k k k T k BR k k T k k T k k T k k k k k y y y H y y H y y H H H 1 1 1   (22)     w h e r e   1 BR k   de f i n e i ( 17),   t h e t h e   s e a r c di r e c t i o n   a s   :     1 1 1 k new k new k g H d   (23)     i s   i de n t i c a l   t o   t h e   Co n j ug a t e   G ra di e n t   d i r e c t i o [H / S   di r e c t i o CG d   a n de f i n e by :   Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2502 - 4752   In do n e s i a J   E l e c   E ng  &   Co m S c i ,   V o l .   21 ,   N o .   3 M a r c 2 021   :     1830   -   1836   1834   1 1 1 1 k for d d y g y g d k k T k k T k k CG k   (24)     P r oo :   T h e   upd a t e   ( 22)   c a n   b e   w r i t t e n   a s :     k T k T k k k T k k k T k BR k k T k k T k k k T k T k k k k k y y y H y y H y y y H H H 1 1 1   N ow ,     k k T k k T k k k T k k k T k k T k BR k k k T k k k T k k T k k T k k k k k new k y g y H y y g y g H y y g y H g H d 2 1 1 1 1 1 1 1 ) ( 1   (25)     us i n t h e   p r o pe rt y   0 1 k T k g   quo t e e a rl i e r   w h i c h   h o l ds   f o r   l i n e   s e a r c he s   w e   ge t   :     k k T k k k T k k k new k y g H y g H d 1 1 1   (26)     T h e   v e c t o r   1 k g   c a b e   s ub s t i t ut e f o r   1 k k g H   by   us i n g   l e m m a   (2 . 1) .   T h e r e f o r e   :     k k T k k T k k new k y g y g d 1 1 1   (27)     W e   a l s o   kn o w   t ha t   BFGS d   a nd  CG d   a r e   i de nt i c a l   (N a z a r e t h,   [14 , 15]) ,   a n d   ne w d   i s   i de n t i c a l   t o   BFGS d   w i t h   e xa c t   l i n e   s e a r c h e s .   H e n c e   a s   s h o w n   i (2 7)  b e c o m e s   :     CG k k k T k k T k k new k d d y d g y g d 1 1 1 1   (28)     h e n c e   t h e   p r o o f .       4.   N u m e r i c a l   r e s u l ts     In   t h i s   s e c t i o n,   s e v e r a l   c o m put a t i o na l   e xpe r i m e n t s   a r e   c o n d uc t e o n   a   s e ri e s   of   un c o n s t r a i n e o pt i m i z a t i o t e s t   i s s ue s   t h e   s pe c i f i c s   pl e a s e   s e e   m o r e   [16]   t o   e xpl a i t h e   a pp l i c a t i o a n d   e f f i c a c y   of   t h e   pr o po s e pr o c e s s .   S o m e   o t h e r   c l a s s   f r o m   t e s t   pr o b l e m s   w a s   ob s e r v e i n   [17 - 25] .   P e r f o r m a n c e   of   a   gi ve n   m e t h o ds   w a s   m e a s ur e by   t w o   s e pa ra t e   da t a :   t o t a l   n u m b e r   of   i t e r a t i o n   a n t o t a l   n u m b e r   o f un c t i o n   e v a l ua t i o n s ,   r e s pe c t i v e l y .   T h e   s t o ppi n r ul e   a pp l i e d   t hr o ug h o ut   w a s   :   I f   , 10 ) ( 5 k x f   l e t   ; ) ( / ) ( ) ( 1 1 k k k x f x f x f stop   O t h e r w i s e ,   l e t   ) ( ) ( 1 1 k k x f x f stop .   F o r   e v e r y   pr ob l e m ,   i f   k g   o r   5 10 1 stop i s   s a t i s f i e d,   t h e   p r o g r a m   w i l l   b e   s t o ppe d” ,   s e e   [26] .     T h e   g r a p h s   a r e   p l o t t e us i ng  d a t a   de r i v e f r o m   n u m e ri c a l   c o m put a t i o n s   us i n t h e   o ut put   m o de l   pr o po s e by   D o l a n   a nd  M o r e   [27].   T h e   s ugge s t e B R a p pr o a c h   h a s   t h e   h i g h e s t   r e s ul t s   i n   t e rm s   o b o t h   n u m b e r   o f   i t e r a t i o n s   a s   s e e n   i n   F i g u r e   1   a nd  nu m b e o f   f un c t i o n   e v a l ua t i o F i g u r e   2 .   Evaluation Warning : The document was created with Spire.PDF for Python.
In do n e s i a J   E l e c   E ng  &   Co m S c i     IS S N :   2502 - 4752       A   n e w   c l as s   of   s e l f - s c al i ng   f or   quas i - Ne w t on  m e t hod   bas e d   o t h e   quadr a t i c   m od e l   ( B as i m   A .   H as s an )   1835       F i gu r e   1 .   N u m b e r   o f   i t e r a t i o p r o f i l e   v i a   do l a a n d   m o r e         F i g u r e   2 .   N u m b e r   o f   f un c t i o e v a l ua t i o p r o f i l e   v i a   do l a a nd  m o r e   p r o f i l e       F r o m   F i gu r e   a n F i gu r e   2,   i t   i s   c o n c l ude t h a t   t h e   m o s t   e ffi c i e n t   a l go ri t hm   i n   t e r m s   o f   t h e   n um b e of   i t e r a t i o n s   i s   o ur   m e t h o d ,   b e i n t h e   f a s t e s t   f o r   57 of   t h e   pr o b l e m s ,   f o l l ow e by   t o t a l   num b e r   o f   f un c t i o n   e v a l ua t i o n s ,   t ha t   w a s   t h e   m o s t   e ff i c i e n t   f o r   n e a r l y   6 6 o f   t h e   p r o b l e m s .   T hi s   i s   a   v e r y   i nt e r e s t i ng  f a c t .       5.   C O N C LU S I O N S   In   t hi s   pa pe r ,   a   s e l f - s c a l i n qua s i - N e w t o n   m e t h o h a s   be e n   de r i v e t f i n m i n i m um   f o r   un c o n s t ra i n e o pt i m i z a t i o n   p r o b l e m .   S e l f - s c a l i n o f   qua s i - N e w t o n   m e t h o ds   w h i c h   i m p r o v e ove r a l l   n u m e r i c a l   pe r f o r m a n c e   o f   t h e s e   m e t h o ds .         A C K N O WL ED G M EN T   T h e   a ut h o r s   a r e   v e r y   gr a t e f ul   t o   t h e   U n i v e r s i t y   of   M o s ul   /   Co l l e ge   of   Co m put e r s   S c i e n c e s   a n M a t h e m a t i c s   f o r   t h e i p r o v i de f a c i l i t i e s ,   w h i c h e l pe t o   i m pr o v e   t h e   qua l i t y   o f   t h i s   w o r k .       R EF ER EN C ES   [ 1]   C a uc h y ,   A . M e t o de   g e ne r a l e   po ur   l a   r e s o l u t i o de s   s y s t e m s   e q ua t i o ns   s i m u l t a n e e s ,   C .   R .   Sc i . ,   v o l .   25 ,   pp .   46 - 89 1847 .   [ 2]   L ue nbe r g ,   D . G . , Y e ,   Y .   L i ne ar   and   N o nl i ne ar   P r ogr am m i ng ,   S pr i ng e r ,   N e w   Y o r k 2 008 .   0 0 . 5 1 1 . 5 2 2 . 5 3 3 . 5 4 0 0 . 1 0 . 2 0 . 3 0 . 4 0 . 5 0 . 6 0 . 7 0 . 8 0 . 9 1 t P ( t )       B FG S     B R 1 0 0 . 5 1 1 . 5 2 2 . 5 3 3 . 5 4 4 . 5 0 0 . 1 0 . 2 0 . 3 0 . 4 0 . 5 0 . 6 0 . 7 0 . 8 0 . 9 1 t P ( t )       B FG S     B R 1 Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2502 - 4752   In do n e s i a J   E l e c   E ng  &   Co m S c i ,   V o l .   21 ,   N o .   3 M a r c 2 021   :     1830   -   1836   1836   [ 3]   S un, W . ,   Y ua n,   Y a - X i a ng ,   O p t i m i z at i on   T he or y   and   M e t hod s :   N on l i ne ar   P r ogr am m i n g ,   S p r i ng e r ,   N e w   Y o r k 20 06 .   [ 4]   F l e t c he r ,   R .   P r ac t i c al   M e t hod s   of   O pt i m i z a t i on J o hn  W i l e y   a nd  S o ns ,   C h i C he s t e r   ( N e w   Y o r k ) 19 87 .   [ 5]   B i g g s ,   M . C . ,   A   no t e   o M i ni m i z a t i o a l g o r i t hm s   m a ki ng   us e   o f   no nqua d r a t i c   p r o pe r t i e s   o f   t he   o bj e c t i v e   f unc t i o n,   J our nal   o f   t he   I ns t i t u t e   o f   M a t he m at i c s   and   I t s   A p pl i c a t i on v o l .   12 ,   pp.   33 7 - 338 1 973 .   [ 6]   O r e n ,   S . S .   a nd  L ue nbe r g e r ,   D .   S e l f - Sc a l i ng   V a r i a bl e   M e t r i c   A l go r i t hm ,   P ar t   I ,   M a n age m e nt   Sc i e nc e ,   v o l .   20,   no .   5,   pp .   845 - 862 ,   197 4 .   [ 7]   Y ua n,   Y . ,   A   m o di f i e B F G S   a l g o r i t hm   f o r   unc o ns t r a i ne d   o pt i m i z a t i o n,   I M A   J o ur n al   N um e r i c al   A na l y s i s v o l .   11 ,   pp.   32 5 - 332 1 991 .   [ 8]   B a s i m   A .   H a s s a a nd  H a w r a z   N .   J a b ba r ,     A   N e w   T r a n s f o r m e B i g g s   ' s   S e l f - S c a l i ng   Q ua s i - N e w t o M e t ho f o r   O pt i m i z a t i o n ' ,   Z A N C O   J o ur n al   o f   P ur e   an A pp l i e Sc i e nc e s v o l .   31,   pp .   1 - 5 20 18 .   [ 9]   B a s i m   A .   H a s s a n,   m o di f i e qua s i - N e w t o m e t ho ds   f o r   unc o ns t r a i n e O p t i m i z a t i o n,   J o ur na l   o f   pu r e   and   appl i e m a t he m at i c s v o l .   2 019 ,   no .   42,   p p.   50 4 - 511 2 019   [ 10]   B a s i m   A .   H a s s a n,   A   ne w   t y pe   o f   qua s i - N e w t o upda t i ng   f o r m ul a s   ba s e o t he   ne w   qua s i - N e w t o e qu a t i o n   S I A M   J .   N .   A . ,   c o nt r o l   a nd   o pt i m i z a t i o n,   N um e r i c al   A l ge br a ,   C on t r o l   &   O pt i m i z at i on , . v o l . 1 no .   2 ,   pp . 227 - 23 5 20 20 .   [ 11]   B a s i m   A .   H a s s a a nd  M o ha m m e W .   T . ,   A   N e w   V a r i a nt s   o f   Q ua s i - N e w t o E qua t i o B a s e o t he   Q ua d r a t i c   F unc t i o n   f o r   U nc o ns t r a i ne O pt i m i z a t i o n,   I ndo ne s i a J our na l   of   E l e c t r i c a l   E ng i ne e r i ng  an C om pu t e r   Sc i e nc e v o l .   19,   no .   2 ,   pp. 701 - 70 8.   [ 12]   B a s i m   A .   H a s s a a n M o ha m m e W .   T ,   A   M o di f i e Q u a s i - N e w t o E qua t i o i t he   Q ua s i - N e w t o M e t ho ds   f o r   O pt i m i z a t i o n,   H I K A R I   L t d,   A pp l i e M at he m at i c a l   S c i e nc e s v o l .   1 0,   p p .   463 - 472 201 9 .   [ 13]   Z hi w e i   Q ,   T he   r e l a t i o ns hi ps   be t w e e C G ,   B F G S ,   a nd  t w o   l i m i t e m e m o r y   a l go r t hi m ,   E l e c t r o ni c   J our na l   of   U nde r gr ad uat e   M a t he m at i c s v o l .   12,   p p.   5 - 20 2007 .   [ 14]   N a z a r e t L . ,   A   r e l a t i o ns h i be t w e e B F G S   a n c o nj ug a t e   g r a d i e nt   a l g o r i t hm   a nd  i t s   i m p l e m e n t a t i o f o r   ne w   a l g o r i t hm s ,   S I A M   J ou r na l   N um e r i c al   A na l y s i s ,   v o l .   61,   p p.   79 4 - 80 0 197 9 .   [ 15]   P o w e l l   M .   J . ,   N on - c on v e x   m i ni m i z a t i on  c al c u l at i on s   a n t he   c o nj ugat e   gr ad i e nt   m e t ho d ,   i n   L e c t u r e   N ot e s   i n   M a t he m at i c s   10 66 ,   S pr i ng e r - B e r l a g   ( B e r l i n ) ,   pp .   122 - 14 1 19 83 .   [ 16]   M o r e   J . ,   G a r bo w   B . ,   a n H i l l s t r o m e   K . ,   T e s t i ng   unc o ns t r a i n e o pt i m i z a t i o s o f t w a r e ,   A C M   T r an s .   M a t h.   Sof t w ar e v o l .   7,   pp .   17 - 41 1981 .   [ 17]   B a s i m   A .   H a s s a n,   A   G l o ba l l y   C o n v e r g e nc e   S pe c t r a l   C o nj ug a t e   G r a d i e nt   M e t ho f o r   S o l v i ng   U nc o ns t r a i n e d   O pt i m i z a t i o P r o b l e m s   a n M o ha m m e d ,   R a f .   J .   of   C om p .   &   M a t h’ s . v o l .   10 ,   pp .   21 - 28 20 13 .   [ 18]   B a s i m   A .   H a s s a n ,   D e v e l o pm e nt   a   S pe c i a l   C o nj ug a t e   G r a d i e nt   A l g o r i t hm   f o r   S o l v i ng   U nc o ns t r a i ne M i n i m i z a t i o P r o bl e m s ,   R a f .   J .   o f   C om p.   &   M a t h s . ,   v o l .   9,   pp .   73 - 84 ,   2012 .   [ 19]   C he L . H . ,   D e ng   N . Y . ,   a nd .   Z h a ng   J . Z ,   A   m o di f i e d   qu a s i - N e w t o m e t ho f o r   s t r uc t u r e d   o pt i m i z a t i o w i t pa r t i a l   i nf o r m a t i o n   o t he   H e s s i a n,   C om pu t .   O p t i m .   A pp l . ,   v o l .   35 ,   pp .   5 - 18 200 6 .   [ 20]   W e i   Z . ,   L i   G .   a nd  Q i   L . ,   N e w   q ua s i - N e w t o m e t ho ds   f o r   unc o ns t r a i ne o pt i m i z a t i o pr o bl e m s ,   M at h.   P r ogr am .   A ppl i e M a t he m at i c s   an C om pu t at i o n v o l .   1 75 ,   p p.   11 56 - 1188 2 006 .   [ 21]   Y ua G ,   W e i   Z ,   C o nv e r g e nc e   a n a l y s i s   o f   a   m o di f i e d   B F G S   m e t ho o c o nv e m i ni m i z a t i o ns ,   C om pu t   O p t i m   A ppl ,   v o l .   47 ,   pp .   237 - 255 201 0 .   [ 22]   Y ua G ,   W e i   Z ,   B F G S   t r us t - r e g i o m e t ho f o r   s y m m e t r i c   no nl i n e a r   e qua t i o ns ,   J   C om p ut   A ppl   M at h . ,   v o l .   230 ,   pp.   44 - 58 200 9 .   [ 23]   Y ua G ,   W e i   Z ,   L X ,   G l o ba l   c o nv e r g e nc e   o f   B F G S   a nd  P R P   m e t ho ds   unde r   a   m o di f i e w e a W o l f e - P o w e l l   l i ne   s e a r c h,   A pp l   M at M ode l ,   v o l .   47 ,   pp .   811 - 82 5 20 17 .   [ 24]   Y ua G . ,   S h e ng   Z . ,   W a ng   B . ,   H W .   a nd ,   L i   C . ,   T h e   g l o ba l   c o n v e r g e nc e   of   a   m o di f i e B F G S   m e t ho f o r   no nc o nv e f unc t i o ns ,   J our na l   o f   C om pu t a t i ona l   and   A pp l i e d   M at h e m at i c s v o l .   3 27,   p p.   27 4 - 294 2 018 .   [ 25]   Z ha ng   J Z ,   X C X ,   P r o pe r t i e s   a nd   num e r i c a l   pe r f o r m a nc e   o f   qua s i - N e w t o m e t ho ds   w i t h   m o di f i e qua s i - N e w t o e qua t i o n ,   J   C om pu t   A pp l   M a t h ,   v o l .   137 ,   pp .   269 - 278 200 1 .   [ 26]   Y ua Y .   a nd   S u W . ,   T he or y   and   M e t hod s   o f   O pt i m i z a t i on ,   S c i e nc e   P r e s s   o f   C hi na 1 999 .   [ 27]   D o l a E .   a nd .   M o r é   J .   J ,   B e nc hm a r ki ng   o pt i m i z a t i o s o f t w a r e   w i t p e r f o r m a nc e   pr o f i l e s ,   M a t he m at i c a l   P r ogr am m i n g ,   v o l .   9 1,   no .   2 ,   p p.   20 1 - 213 2002     Evaluation Warning : The document was created with Spire.PDF for Python.