I n d on e s i an   Jo u r n al   o El e c t r i c al   En gi n e e r i n g   an d   C o m p u te r   S c i e n c e   V o l .   19 ,   N o .   2 A ugus t   20 20 ,   pp .   737~ 744   IS S N :   25 02 - 4752 ,   D O I :   10. 1 1591 / i j e e c s . v 19 .i 2 . pp737 - 744             737       Jou r n al   h o m e pa ge ht t p: / / i j e e c s . i a e s c or e . c om   n e w   q u a s i - n e w t o n   e q u a t i o n   o n   t h e   g r a d i e n t   m e t h o d f o r   o p t i m i z a t i o n   m i n i m i z a t i o n   p r o b l e m       B as i m   A .   H as s an ,   G h ad M .   A l - N ae m i   D e pa r t m e n t   o f   M a t he m a t i c s ,   C o l l e g e   o f   C o m put e r s   S c i e nc e s   a nd   M a t h e m a t i c s ,   U n i v e r s i t y   o f   M o s ul ,   I r a q       A r ti c l e   I n fo     A B S TR A C T   Ar t i c l e   h i s t or y :   R e c e i v e J a n   1,   20 20   R e v i s e M a r   4,   202 0   A c c e pt e M a r   1 8 ,   20 20       T he   qu a s i - N e w t o e q ua t i o i s   t he   v e r y   f o unda t i o o f   a a s s o r t m e nt   o f     t he   q ua s i - N e w t o m e t ho ds   f o r   o pt i m i z a t i o m i n i m i z a t i o pr o bl e m .   I t hi s   pa pe r ,   w e   de r i v i ng   a   ne w   qu a s i - N e w t o e qu a t i o ba s e o t he   s e c o nd - o r de r   T a y l o r s   s e r i e s   e xp a ns i o n.   T he   g l o ba l   c o nv e r g e nc e   i s   e s t a b l i s he d   u nde r ne a t h   s ui t a b l e   c o ndi t i o ns   a nd   num e r i c a l   r e s ul t s   a r e   r e po r t e t o   s ho w   t ha t   t h e   g i v e n   a l g o r i t hm   i s   m o r e   e f f e c t i v e   t h a n   t ho s e   o f   t h e   no r m a l   B F G S   m e t ho d.   Ke y w or d s :   G l o b a l   c o n v e r ge n c e     Q ua s i - n e w t o n   e qua t i o n     Q ua s i - n e w t o n   m e t h o d   C opy r i gh t   ©   2020   I n s t i t ut e   o f   A dv anc e E ng i ne e r i ng   and   S c i e nc e .     A l l   r i gh t s   r e s e r v e d .   Cor r e s pon di n g   Au t h or :   B a s i m   A .   H a s s a n ,     D e pa rt m e n t   o f   M a t h e m a t i c s ,     Co l l e ge   of   Co m put e r s   S c i e n c e s   a n d   M a t h e m a t i c s ,     U n i v e r s i t y   of   M o s ul ,   I r a q .   E m a i l :   b a s i m a h @ uo m o s ul . e du . i q ,   b a s i m a b a s 39@ g m a i l . c o m       1.   I N TR O D U C TI O N     T h e   qu a s i - N e w t o n   a l go r i t h m   i s   o n e   o f   t h e   m o r e   s uc c e s s f ul   a l go ri t hm s   f o r   u n c o n s t r a i n e n o nl i n e a pr o g r a m m i n [ 1].   T h e s e   m e t h o ds ,   w h i c h   us e   t h e   upda t i ng  f o r m ul a s   f o r   a p p r o xi m a t i o n   o f   t h e   H e s s i a n.     T o   m i ni m i z e   a   m u l t i - v a r i a b l e   n o n l i n e a f un c t i o n   t h i s   o ur  o bj e c t i v e   :     n R     x ,    ) ( x f M i n   (1)     w h e r e   f   i s   t w i c e   di f fe r e nt i a b l e .   T hr o ug h o ut   t h e   p a pe r,   w e   de f i n e   by   k B   i s   a   n o nn e ga t i v e   de f i n i t e   m a t r i x   t h a t   e s t i m a t e s   t h e   H e s s i a n   m a t r i ) ( 2 k k x f Q   of   ) ( k x f   a n ) ( k k x f g   i s   t h e   g r a di e n t   o ) ( k x f .   M o r e   de t a i l s   c a n   b e   fo un i n   [2] .   F o r   m o s t   o pt i m i z a t i o n   a l go r i t hm s ,   t h e   s e a r c f o r   t h e   m i ni m i z e r   o (1)  i s   c a rri e o ut   by   us i n g   :     k k k k d x x 1   (2)       w h e r e   k   i s   t h e   s t e s i z e ,   a n d   k d   i s   t h e   s e a r c h   di r e c t i o n.   M o r e ov e r ,   t h e   s e a r c h   d i r e c t i o k d   of     t h e   qu a s i - Ne w t o n   m e t h o ds   o f t e n   ha s   t h e   f o r m   :     0 k k k g d B   (3)   Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2502 - 4752   In do n e s i a J   E l e c   E ng  &   Co m S c i ,   V o l .   19 ,   N o .   2 A ugus t   20 20  :     737   -   744   738   It   e s t i m a t e s   k B   upda t e   f o r m ul a ,   w e   w i l l   fo c us   o n   t h e   B F G S   m e t h o w h i c h   ha s   p r o v e d   t o   be     t h e   m o s t   e f f e c t i v e   of   a l l   qu a s i - N e w t o n   m e t h o ds   :     k T k T k k k k T k T k T k k k k B F GS k y s y y s B s B s s B B B 1   (4)     It ’s   a l s o   w e l l   k n o w n   t ha t   t h e   m a t r i 1 k B   i s   ge n e ra t e b y   (4)  t o   s a t i s fy   t h e   s e c a n t   e qua t i o n   :     k k k y s B 1   (5)     w h e r e   k k k k k d x x s 1   a n d   k k k g g y 1 ,   f o r   m o r e   de t a i l s   s e e   [3,   4] .     It   i s   e a s y   t o   t a ke   a dv a n t a ge   o f   t h e   fo l l ow i n r e l a t i o n s h i ps   :   k k k k k H B y s B , 1   w h e r e   k k H B 1 ,   t h e t h e   f a m o us   B F G S   fo r m u l a   i s   de s i g n e by   :     k T k T k k k T k k k T k k T k k T k k T k k k k B F G S k y s s s y s y H y y s H y s s y H H H 1 1   (6)     F o r   de t a i l s   s e e   [5].   W h e n   t h e   ge n e ra l   f un c t i o n   n o   o n e   h a s   pr o v e t h e   c o n v e r ge n c e   p r o pe r t y   of    t h e   B F G S   m e t h o d.   T o   a c qui r e   i m p r o v e d   qua s i - N e w t o n   m e t h o ds ,   m a n y   m o di f i e qua s i - N e w t o n   e qua t i o n s   ha v e   be e n   p r o po s e ([6 - 10],   a m o n o t h e r s a nd  e s t a b l i s h e i t s   c o n v e r ge n c e   p r o pe r t y .   U s i n s e c o n d - o r de r   T a y l o r ’s   s e r i e s   a pp r o xi m a t i o n   o f   t h e   f un c t i o n   t o   de r i v a t i o n   t h e   a   n e w   qua s i - N e w t o n   e qua t i o n   a nd  w e   s t ud y   c o n v e r ge n c e   pr o pe rt y   a n d   n u m e r i c a l   r e s ul t s .       2.   D ER I V I N G   Q U A S I - N EWT O N   E Q U A TI O NS   W e   de r i v i ng  n e w   qua s i - N e w t o n   e qua t i o n s   b a s e o n   t h e   s e c on d - o r de r   T a y l o r ’s   s e r i e s   e xpa n s i o n   a n d   i s   de f i n e b y       k T k k T k k k Qs s s g x f x f 2 1 ) ( ) ( 1 1   (7)     U s i n e xa c t   l i n e   s e a r c h,   w e   ge t   :     k T k k k Qs s x f x f 2 1 ) ( ) ( 1   (8)     w h i c i m pl i e s   t ha t   :     )) ( ) ( ( 2 1 k k k T k x f x f Qs s     (9)     A dd  a nd  s ub t r a c t   f r o m   t h e   ri g ht   t i p   t h e   k T k y s ,   w e   ge t   :     k T k k T k k k k T k y s y s x f x f Qs s )) ( ) ( ( 2 1   (10)     T h e   c h o i c e   1 k B   i s   ke y   t o   t h e   a pp r o xi m a t e   e f fe c t   of   t h e   H e s s i a m a t r i Q   :     k T k k T k k k k k T k y s y s x f x f s B s )) ( ) ( ( 2 1 1   (11)     w h i c i m pl i e s   a   n e w   Q N   e qua t i o a n d   a s   f o l l ow s   :   Evaluation Warning : The document was created with Spire.PDF for Python.
In do n e s i a J   E l e c   E ng  &   Co m S c i     IS S N :   2502 - 4752       A   n e w   quas i - ne w t on  e q uat i on   on  t h e   gr ad i e nt   m e t hods   f or   o p t i m i z a t i on   m i n i m i z a t i on   . . . .   ( B as i m   A .   H as s an)   739   k k T k k T k k k k k k k k v v s y s x f x f y y y s B )) ( ) ( ( 2 , 1 ~ ~ 1   (12)       w h e r e   k v   i s   a n y   v e c t o r   s uc h   t ha t   0 k T k v s .   N ow   w e   A ppl y i n t h e   a   n e w   qua s i - N e w t o n   e qua t i o n     i   t h e   t w o   c a s e s   :   C as e   i   :   If   k k y v w e   ge t   :     k k T k k T k k k k k y y s y s x f x f y y )) ( ) ( ( 2 1 ~   (13)     C as e   i i   If   1 k k g v ,   w e   ge t   :     1 1 1 ~ )) ( ) ( ( 2 k k T k k T k k k k k g g s y s x f x f y y   (14)     T h e   n e w   a l go ri t hm   c a n   b e   s t a ge f o r m a l l y   a s   f o l l ow s .   N e w   A l go r i th m   :     Stage 1 :   Select  n R x 0   and  I H 0 . Set  0 k .   Stage 2 :   Stop if  0 k g . 0 ~ k T k y s   Stage 3 :   Generate    k d   by  k k k g H d .   Stage 4 :   Find a  k   based on the Wolfe condition satisfies :     k T k k k k k k d g x f d x f  ) ( ) (     (15)     k T k k k k T k g d d x g d   ) (   (16)     Stage 5 :    Variable  update,   k k k k d x x 1 .   S t a g e   6   :   I f     0 ~ k T k y s ,   f i n d   u p d a t e   1 k H   b y   t h e   f o r m u l a   ( 6 )   a n d   ( 1 2 ) ,   o t h e r w i s e   l e t   k k H H 1   Stage 7 :    Let   1 k k . Go to stage  2.     W e   v e r i fy   t h e   po s i t i v e   de f i n i t e   p r o pe r t y   of   t h e   upda t e   f o r m ul a   f o r   t h e   qua s i - N e w t o n   m e t h o i   t h e   n e xt   t h e o r e m .   Th e o r e m   1.   If   a n i f   o n l y   0 ~ k T k y s ,   t h e t h e   upd a t e   1 k H   i s   po s i t i v e   de f i n i t e .     P r oo   T h e   g ra di e n t - di f f e r e n c e   v e c t o r   k y ,   w e   de f i n e   by   :     k k T k k T k k k k k v v s y s x f x f y y )) ( ) ( ( 2 1 ~   (17)     M ul t i pl y i n g   a b o ve   e qua t i o by   T k s ,   w e   ob t a i n   :     Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2502 - 4752   In do n e s i a J   E l e c   E ng  &   Co m S c i ,   V o l .   19 ,   N o .   2 A ugus t   20 20  :     737   -   744   740   k T k k k k T k k T k y s x f x f y s y s )) ( ) ( ( 2 1 ~   (18)     F r o m   a b ov e   e qua t i o w e   ge t       )) ( ) ( ( 2 1 ~ k k k T k x f x f y s   (19)     U s i n f i r s t   W o l fe   c o n di t i o n   i n   a b ov e   e qua t i o n,   w e   o b t a i n   :     k T k k k T k d g y s  2 ~   (20)     In  f a c t ,   0 k T k k k T k g d g s ,   s uc t ha t   :     0 2 ~ k T k k k T k g d y s    (21)     T h e   p r o o f   i s   c o m pl e t e .       3.   C O N V ER G EN C E   A N A L Y S I S   N ow   by   u s i n u n de r   t h e   f o l l ow i n a s s um pt i o n,   w e   t w i s t   t o   t h e   c o n v e r ge n c e   r e s ul t   o f   t h e   n e w   m e t h o ds .   A s s u mp ti o n s   :   a)   f   i s   b o un de o n   t h e   s e t   ) ( ) ( 0 x f x f R x S n   a n i s   b o un de b e l o w   o n   n R .   b)   If   t h e r e   e xi t s   a   n o nn e ga t i v e   c o n s t a n t   L   s uc t ha t       R w z w z L w g z g , , ) ( ) (   (22)     a n g   i s   c a l l e L i ps c h i t z   c o n t i nuo us   a n d   w e   ge t   :     R x x g , ) (   (23)     If   ) ( k x f   i s   a   de c r e a s i n g,   t h e n   k x   i s   c o n t a i n e i n   R   a n t h e   e xi s t e n c e   o f   * x   w e   ge t   :     ) ( ) ( lim * x f x f k k   (24)     In   v e r a c i t y ,   t h a t   s e que n c e   k x   i s   r e s t r i c t e d,   t h e r e   e xi s t   s o m e   po s i t i v e   c o n s t a n t     s uc h   t h a t   :       x x x x s k .   (25)     F o r   m o r e   de t a i l s   s e e   [11].     Th e o r e m   2.   If   t h e   f o l l o w i n i n e qua l i t y   h o l ds   :     k k k s a s B 1         a n d       2 2 2 k k T k s a s B s ,   (26)     w h e r e   0 1 a   a n 0 2 a   a r e   c o n s t a n t s   a n t h e   k x   b e   ge n e r a t e b y   n e w   m e t h o ds .   F o r   i n f i n i t e l y   , k   t h e n   w e   ge t :     Evaluation Warning : The document was created with Spire.PDF for Python.
In do n e s i a J   E l e c   E ng  &   Co m S c i     IS S N :   2502 - 4752       A   n e w   quas i - ne w t on  e q uat i on   on  t h e   gr ad i e nt   m e t hods   f or   o p t i m i z a t i on   m i n i m i z a t i on   . . . .   ( B as i m   A .   H as s an)   741   0 i n f lim k k g   (27)     P r oo :   U s i n (26)   a n a ddi n w i t h   , k k k d B g   w e   gi v e s   :     k k k d a g d a 1 2         a n d       2 2 2 k k T k d a d B d   (28)     T h e   t w o   c o n di t i o n s   f o r m   W o l fe   r u l e   (15 ) ,   ( 16)   a nd   ( 28)  t o   o bt a i :     2 1 ) ( ) 1 ( k k k T k k k T k d L d g g d g   (29)     T h e n   (29)  i m pl i e s   t h a t   :     L a d L d B d d L d g k k k T k k k T k k 2 2 2 ) 1 ( ) 1 ( ) 1 (   (30)     A c c o r di n g l y   (24),   w e   ha v e   :     * 1 1 1 1 1 1 1 ) ( lim ) ( lim ) ( f f f f f f f f k N k k k N k k k   (31)     f r o m   w h i c h   i t   f o l l ow s   t ha t   :     , ) ( 1 1 k k k f f   (32)     m e r ge   t h e m   w i t h   W o l f e   l a w   (15)  l e a ds   :     1 k k T k k d g   (33 )     W e   ob t a i n e :     0 lim k T k k k d g   (34 )     a b ov e   e qua l l y   w i t (34)   gi v e   t ha t   :     0 lim lim k T k k k k T k k d g d B d   (35 )     M e r ge   (35)  w i t h   (28)  w e   ge t   t h e   f i n a l e   (27).   If   f   i s   n o n - c o n v e f un c t i o n,   w e   n e e s o m e   a s s um pt i o n s   o t h e   u pda t e ,   m a y   c a l o s e   t h e   po s i t i v e   de f i n i t e n e s s .   F o r   e v e r y   k ,   w e   de f i n e   t h e   i n de x   s e t   K     , : k k k T k g s y s k K   (36 )     w h e r e   0   i s   c o n s t a nt   a nd  0   i s   b o un de d.   T h e   n e xt   l e m m a   quo t e i n   [12 i s   v e r y   s i gn i f i c a n t   t o   s t udy   t h e   c o n v e r ge n c e   p r o pe r t y .     Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2502 - 4752   In do n e s i a J   E l e c   E ng  &   Co m S c i ,   V o l .   19 ,   N o .   2 A ugus t   20 20  :     737   -   744   742   Le m m 1.   If   B F G S   m e t h o w i t h   W o l f e   c o n di t i o n   i s   a pp l i e t o   a   c o n t i nuo us l y   di f fe r e n t i a b l e   f un c t i o n   f t h a t   i s   bo un de b e l ow ,   a n d   i f   t h e r e   e xi s t s   a   c o n s t a n t   M s uc h   t h a t   t h e   i n e qua l i t y   h o l ds   :     M y s y k T k k 2   (37)     t h e :     0 i n f lim k k g   (38)     A   c a ut i o us   upda t e   r ul e   s i m i l a r   t o   t h e   a b o v e   l e m m a .     Th e o r e m   3.   S uppo s e   k x   b e   ge n e r a t e b y   t h e   n e w   m e t h o d.   T h e n   w e   ge t   :     0 i n f lim k k g     (39)     P r oo :   In  v i e w   of   T h e o r e m   2 . ,   s uf f i c i e n t l y   s h ow   t ha t   (26)  h o l ds   f o r   i n f i ni t e l y   k.   If   K   i s   a   f i ni t e   s e t ,     t h e n   k B   i s   a   c o n s t a nt - m a t r i x ,   o bv i o us l y ,   (26)  s a t i s f i e s .   N ow ,   i K   i s   a   i n f i n i t e   w e   w i l l   de d uc e   a   c o n t ra d i c t i o w i t h   t h e r e   e xi s t s   0   s uc h   t h a t   :       k g   (40)     It   f o l l ow s   f r o m   (36) ,   w e   ob t a i :     k k T k s y s  ~   (41)     U s i n   de f i n i t i o n   o f   ~ k y ,   w e   ha v e   :     k k k T k k T k k k k k y v v s y s f f y y ) ( 2 1 ~   (42)     It   f o l l ow s   f r o m   (22)   a n d   (42 w e   ob t a i :     k k k s L y y ~   (43)     T h i s ,   t o ge t h e r   w i t (41) ,   l e a d   t o   :     M y s y k T k k ~ 2 ~   (44)     Evaluation Warning : The document was created with Spire.PDF for Python.
In do n e s i a J   E l e c   E ng  &   Co m S c i     IS S N :   2502 - 4752       A   n e w   quas i - ne w t on  e q uat i on   on  t h e   gr ad i e nt   m e t hods   f or   o p t i m i z a t i on   m i n i m i z a t i on   . . . .   ( B as i m   A .   H as s an)   743   A ppl y i n g   l e m m a   1,   t o   t h e   K k k B ,   t h e r e   e xi s t ,   1 a   a nd  2 a w e   ob t a i n   (21)   fo r   i n f i n i t e l y   m a n y   k T h e n,   p r o of   i s   f i ni s h e d.       4.   N U M ER I C A EX P ER I M EN TS   It   ha s   b e e n   pr o gra m m e s ub r o ut i n e   M a t l a b   t o   t e s t   t h e   m o di f i e B F G S   a l go r i t hm   p r e s e n t e i   t h e   pr e v i o us   s e c t i o n .   W e   t e s t e t h e   a l go ri t hm   o n   t h e   f o l l ow i n p r o b l e m s   t h a t   h a v e   be e n   t a ke n   f r o m   [13].   D i f fe r e n t   t e s t   f un c t i o n s   ha v e   b e e n   us e i n   di f f e r e n t   r e s e a r c h s   s uc a s   [14 - 2 4].   A l l   t h e   p r o b l e m s   a r e   b e i n g   r e s o l ve s uc c e s s f ul l y ,   a n n um b e r s   a r e   gi v e n   d upl i c a t e s   a nd  j ob  e v a l ua t i o i T a b l e   1.   W e   h a v e   s o l ve t h e s e   pr o b l e m s   t hro ugh   t h e   B F G S   a l go ri t hm ,   a s   s h o w n   i T a b l e   1     t h e   n u m e r i c a l   r e s ul t s   o f   t h e   n e w   a l go ri t hm .   T h e   H i m m e b l a [25] ,   s t o r ul e   i s   us e :   If   , 10 ) ( 5 k x f   l e t   ; ) ( / ) ( ) ( 1 1 k k k x f x f x f s t o p   O t h e r w i s e ,   l e t   ) ( ) ( 1 1 k k x f x f s t o p .   F o r   e v e r y   pr ob l e m ,     i f   k g   o r   5 10 1 s t o p i s   s a t i s f i e d,   t h e   p r o gra m   w i l l   b e   s t o ppe d.   T o   c o m pa re   t h e   e ff i c i e n c y   of   r o a ds   i n   T a b l e   1,   w e   a do pt   t h e   num b e r   o f   i t e r a t i o n s   (N I)  a n t h e   num b e r   o f   e v a l ua t i o n s   o f   j obs   (N F ).   N um e ri c a l l y   r e s ul t s   s h o w   t h a t   t h e   n e w   a l go r i t h m   i s   a   l i t t l e   b e t t e r   t ha n   t h e   us ua l   B F G S   a l go r i t hm   i n   t hi s   g r o up  of  t e s t   pr o b l e m s .       T a b l e   1 .   N u m e ri c a l   r e s ul t s       BF G S   a l g o ri t h m   BF G S   w i t h   k k y v   BF G S   w i t h   1 k k g v   P ro b l e m s   n   NI   NF   NI   NF   NI   NF   F ro t h   2   9   26   9   26   11   32   Ba d s c p   2   43   166   34   125   3   31   Ba d s c b   2   3   30   3   30   3   30   Be a l e   2   15   50   13   43   13   38   J e n s a m   2   2   27   2   27   2   27   H e l i x   3   34   113   24   80   17   49   Ba rd   3   16   54   17   56   12   36   G a u s s   3   2   4   2   4   2   4   G u l f   3   2   27   2   27   2   27   Bo x   3   2   27   2   27   2   27   S i n g   4   20   60   14   44   11   35   W o o d   4   19   61   19   61   7   22   K o w o s b   4   21   65   23   117   10   28   Bd   4   17   54   16   50   8   27   O s b 1   5   2   27   2   27   2   27   Bi g g s   6   25   72   8   50   9   27   O s b 2   11   3   31   3   31   3   31   W a t s o n   20   31   102   34   108   6   20   Ro s e x   100   231   806   46   197   33   765   S i n g x   400   64   209   126   397   10   32   P e n 1   400   2   27   2   27   2   27   P e n 2   200   2   5   2   5   2   5   V a r d i   100   2   27   2   27   2   27   T ri g   500   9   33   8   28   14   42   Bv   500   2   4   2   4   2   4   Ie   500   6   16   7   19   13   37   Ba n d   500   57   281   15   81   5   16   Lin   500   2   4   2   4   2   4   L i n 1   500   3   7   3   7   3   7   L i n 0   500   3   7   3   7   3   7   T o t a l     649   2422   445   1736   214   1491       Co m put a t i o na l   r e s ul t s   s h o w   t h a t   a   r e duc t i o n   o (31 - 67)%  a nd  (28 - 38)%  i n   t e r m s   o f   t h e   t o t a l   n u m b e r   of   i t e r a t i o n s   a n f u n c t i o n   e v a l ua t i o n s   r e s pe c t i v e l y .   Re l a t i v e   e f f i c i e n c y   of   t h e   n e w   a l go ri t hm s   a s   s h o w n     i n   T a b l e   2 .         T a b l e   2 .   R e l a t i v e   e f f i c i e n c y   of   t h e   n e w   a l go ri t hm s     BF G S   a l g o ri t h m   BF G S   w i t h     k k y v   BF G S     w i t h     1 k k g v   NI   1 0 0       %   6 8 . 5 6     %   3 2 . 9 7     %   NF   1 0 0       %   7 1 . 6 7     %   6 1 . 5 6     %   Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2502 - 4752   In do n e s i a J   E l e c   E ng  &   Co m S c i ,   V o l .   19 ,   N o .   2 A ugus t   20 20  :     737   -   744   744   5.   C O N C LU S I O N S   In   t h i s   p a pe r ,   w e   de r i v i n a   n e w   qua s i - N e w t o n   e qua t i o n   b a s e o n   t h e   s e c o n d - o r de r   T a y l o r ' s   s e ri e s   a pp r o xi m a t i o n   o f   t h e   f un c t i o n .   W e   c o n c l ude   by   a ff i r m i ng  t h a t   t h e   a ri t hm e t i c a l   f i n di ngs   i n   t h i s   w o r w a s   e ffe c t i ve   t o   s o l v i n o pt i m i z a t i o p r o b l e m s .       A C K N O WL ED G M EN T   T h e   a ut h o r s   a r e   v e r y   gr a t e f ul   t o   t h e   U n i v e r s i t y   of   M o s ul   /   Co l l e ge   of   Co m put e r s   S c i e n c e s   a n M a t h e m a t i c s   f o r   t h e i p r o v i de f a c i l i t i e s ,   w h i c h e l pe t o   i m p r o v e   t h e   qua l i t y   o f   t h i s   w o r k.       R EF ER EN C ES     [ 1]   D .   P .   B e r t s e ka s ,   N o nl i n e a r   P r o g r a m m i ng ,   B e l m o nt ,   M a s s a c hus e t t s ,   A t he na   S c i e nt i f i c 199 6   [ 2]   G .   Y ua a nd  Z .   W e i C o nv e r g e nc e   a na l y s i s   o f   a   m o di f i e B F G S   m e t ho o c o nv e m i ni m i z a t i o ns ,   C om p ut at i ona l   O pt i m i z a t i on  and   A pp l i c a t i ons v o l .   47 ,   pp .   237 - 255 2010 .   [ 3]   Y.   D a i ,   C o nv e r g e nc e   p r o pe r t i e s   o f   t he   B F G S   a l g o r i t hm ,   S I A M   J our nal   on   O pt i m i z a t i o n ,   v o l .   13 ,   no .   3,     pp.   69 3 - 701 2 00 2 .   [ 4]   Y .   X i a o   a nd  Z .   W e i A   M o di f i e B F G S   M e t ho W i t ho ut   L i ne   S e a r c he s   f o r   N o nc o n v e U nc o ns t r a i ne d   O pt i m i z a t i o n ,   A dv anc e s   i T he or e t i c al   an A pp l i e M a t he m at i c s ,   v o l .   1,   pp .   149 - 16 2 20 06 .   [ 5]   G .   Y ua n e t   a l . ,   T he   g l o ba l   c o n v e r g e nc e   of   a   m o di f i e B F G S   m e t ho f o r   no n c o n v e f unc t i o ns ,   J o ur n al   o f   C om put at i ona l   and   A p pl i e M a t he m at i c s ,   v o l .   32 7,   pp .   274 - 2 94 2 0 18 .   [ 6]   F .   B i g l a r i e t   a l . ,   N e w   qua s i - N e w t o m e t ho ds   v i a   h i g he r   o r de r   t e n s o r   m o de l s ,   J o ur n al   o f   C om pu t a t i ona l   and   A ppl i e d   M a t h e m at i c s v o l .   23 5 ,   no .   8 ,   p p.   24 12 - 2422 20 11 .   [ 7]   L .   H .   C he n e t   a l . ,   A   m o di f i e d   qua s i - N e w t o m e t ho f o r   s t r uc t ur e o pt i m i z a t i o w i t p a r t i a l   i nf o r m a t i o o t h e   H e s s i a n ,   C om p ut a t i ona l   O pt i m i z a t i o and   A pp l i c a t i ons ,   v o l .   35 ,   p p.   5 - 18 2 006 .   [ 8]   Z .   W e i e t   a l . ,   N e w   qua s i - N e w t o m e t ho ds   f o r   unc o ns t r a i n e o pt i m i z a t i o pr o b l e m s ,   A pp l i e d   M a t h e m at i c s   an d   C om put at i on ,   v o l .   17 5,   no .   2,   p p.   11 56 - 1188 ,   200 6.   [ 9]   B a s i m   A .   H . ,   A   m o di f i e qua s i - N e w t o m e t ho ds   f o r   unc o ns t r a i n e O pt i m i z a t i o n,   J our nal   o f   pu r e   and  appl i e d   m at he m at i c s ,   v o l .   4 2,   pp .   504 - 51 1 ,   20 19   [ 10]   B a s i m   A .   H .   a nd   H u s s e i K .   K . ,   A   ne w   c l a s s   o f   B F G S   upda t i ng   f o r m ul a   ba s e o t he   n e w   qua s i - ne w t o e qua t i o n ,   I n done s i an   J ou r na l   of   E l e c t r i c al   E ng i ne e r i ng   a nd  C om p ut e r   S c i e nc e ,   v o l .   1 3 ,   no .   3 ,   pp .   9 45 - 953 2019 .   [ 11]   R .   D e hg ha n i e t   a l . ,   T h e   m o d i f i e q u a s i - N e w t o n   m e t ho ds   f o r   s o l v i ng   u nc o n s t r a i n e o p t i m i z a t i o p r o b l e m s ,   I nt e r n a t i o n a l   J o u r na l   o f   N um e r i c a l   M o d e l l i ng :   E l e c t r o n i c s   N e t w o r k s ,   D e v i c e s   a nd   F i e l d s v o l .   3 2 ,   no .   1 ,   pp .   1 - 8 ,   20 1 8 .   [ 12]   M .   J .   D .   P o w e l l S o m e   g l o ba l   c o nv e r g e nc e   pr o pe r t i e s   o f   a   v a r i a bl e   m e t r i c   a l g o r i t hm   f o r   m i n i m i z a t i o w i t ho ut   e xa c t   l i ne   s e a r c he s ,   in   R .   W .   C o t t l e   a n C .   E .   L e m ke ,   e d s ,   N on l i ne ar   P r ogr am m i ng ,   S I A M - A M S   P r oc e e di ngs   v o l .   4,   pp .   53 - 72 1976 .   [ 13]   J .   J .   M o r e e t   a l .,  T e s t i ng   unc o ns t r a i n e o pt i m i z a t i o s o f t w a r e ,   A C M   T r a ns a c t i on s   on   M a t h e m at i c al .   So f t w ar e v o l .   7,   no .   1,   p p.   17 - 41 198 1 .   [ 14]   B A .   H a s s a a nd  H .   N .   J a bb a r ,   A   N e w   T r a ns f o r m e B i g g s   ' s   S e l f - S c a l i ng   Q ua s i - N e w t o M e t ho f o r   O pt i m i z a t i o n,   Z an c o   J o ur na l   of   P ur e   an A ppl i e S c i e nc e s ,   v o l .   31 no .   2,   pp .   1 - 5 20 1 9 .   [ 15]   R .   H .   B y r a nd   J .   N o c e da l A   t o o l   f o r   t he   a n a l y s i s   o f   qua s i - N e w t o m e t ho ds   w i t h   a p pl i c a t i o t o   unc o ns t r a i ne d   m i ni m i z a t i o n,   S I A M   J our n al   on   N um e r i c a l   A na l y s i s ,   v o l .   26 ,   no .   3 ,   pp .   7 27 - 739 1989 .   [ 16]   B a s i m   A .   H . e t   a l . ,   A   de s c e n t   e x t e ns i o o f   t he   D a i   -   Y ua c o nj u g a t e   g r a d i e n t   t e c hni que ,   I nd one s i a J o ur n al   of   E l e c t r i c al   E ng i ne e r i ng   a nd  C om pu t e r   S c i e nc e ,   v o l .   1 6,   no .   2 ,   p p.   661 - 668 20 19 .   [ 17]   B a s i m   A .   H . ,   A   ne w   t y pe   o f   qua s i - N e w t o upda t i ng   f o r m ul a s   ba s e o t he   ne w   qua s i - N e w t o e qua t i o n,   N um e r i c a l   A l ge br a,   C on t r ol   an O p t i m i z at i on v o l .   10 ,   no .   2,   pp .   2 27 - 235,   20 20 .   [ 18]   B a s i m   A .   H . ,   e t   a l . ,   A   ne w   ki nd  o f   pa r a m e t e r   c o nj ug a t e   g r a di e nt   f o r   unc o ns t r a i n e o pt i m i z a t i o n,   I nd one s i a n   J our nal   o f   E l e c t r i c a l   E ngi ne e r i ng   and   C om p ut e r   Sc i e nc e ,   v o l .   17 n o .   1,   p p.   40 4 - 411 2 020 .   [ 19]   B a s i m   A .   H . e t   a l . ,   A   C l a s s   o f   D e s c e n t   C o nj ug a t e   G r a d i e n t   M e t ho ds   f o r   S o l v i ng   O pt i m i z a t i o P r o bl e m s ,   A ppl i e d   M a t he m at i c a l   Sc i e nc e s ,   v o l .   13 ,   no .   12 ,   p p.   55 9 - 567 2 019 .   [ 20]   B a s i m   A .   H .   a nd  M o ha m m e W .   T . ,   A   M o di f i e Q ua s i - N e w t o E qua t i o i t h e   Q ua s i - N e w t o M e t ho ds   f o r   O pt i m i z a t i o n,   A pp l i e M at he m at i c a l   S c i e nc e s ,   v o l .   1 3 ,   no .   10 ,   pp .   463 - 472 2019 .   [ 21]   B a s i m   A .   H . A   G l o b a l l y   C o nv e r g e nc e   S p e c t r a l   C o n j ug a t e   G r a d i e n t   M e t ho f o r   S o l v i ng   U nc o n s t r a i n e d   O p t i m i z a t i o P r o b l e m s ,   Al - R a f i d a i n   J ou r n a l   o f   C o m p u t e r   S c i e nc e s   an d   M a t he m a t i c s ,   v o l .   10 ,   no .   4 ,   pp.   21 - 28 ,   20 1 3 .   [ 22]   B a s i m   A .   H . D e v e l o pm e n t   a   S p e c i a l   C o nj ug a t e   G r a d i e n t   A l g or i t hm   f o r   S o l v i ng   U nc o ns t r a i ne M i ni m i z a t i o P r o bl e m s ,   Al - R af i da i n   J o ur na l   of   C om p ut e r   Sc i e nc e s   and   M at h e m at i c s ,   v o l .   9,   no .   1 ,   pp .   73 - 84 2 012 .   [ 23]   B a s i m   A .   H .   a nd  O m e r   M .   E . ,   A   N e w   s uf f i c i e nt   de s c e n t   C o nj ug a t e   G r a d i e nt   M e t ho f o r   N o nl i ne a r   O pt i m i z a t i o n,   I r aq i   J o ur na l   of   S t a t i s t i c al   Sc i e nc e s ,   v o l .   14,   no .   26 ,   pp .   12 - 24 2 01 4 .   [ 24]   B a s i m   A .   H . A   ne w   f o r m ul a   f o r   c o nj ug a t e   pa r a m e t e r   c o m put a t i o ba s e o t he   qu a dr a t i c   m o de l ,   I n done s i an   J our nal   o f   E l e c t r i c a l   E ngi ne e r i ng   and   C om p ut e r   Sc i e nc e v o l .   1 3 ,   n o .   3,   p p.   95 4 - 961 2 019 .   [ 25]   Y .   Y u a n   a nd   W .   S u n,   T he o r y   a nd  M e t ho ds   o f   O p t i m i z a t i o n ,   S c i e nc e   P r e s s   o f   C hi na 1 999 .   Evaluation Warning : The document was created with Spire.PDF for Python.