I nd o ne s ia n J o urna l o f   E lect rica l En g ineering   a nd   Co m pu t er   Science   Vo l.   24 ,   No .   2 N o v em b e r   2 0 2 1 ,   p p .   1 0 2 7 ~ 1 0 3 5   I SS N:  2 5 0 2 - 4 7 5 2 ,   DOI : 1 0 . 1 1 5 9 1 /ijeecs.v 24 .i 2 . p p 1 0 2 7 - 1 0 3 5       1027       J o ur na l ho m ep a g e h ttp : //ij ee cs.ia esco r e. co m   M o dified  limit ed - memo ry  Bro y den - Flet cher - G o ld farb - Sha nno   a lg o rithm f o r unc o nstra ined optimi za tion pro blem       M un a   M .   M .   Ali   De p a rtme n o M a t h e m a ti c s,  Co ll e g e   o Co m p u ters   S c ien c e s a n d   M a th e m a ti c s,  M o su l   Un i v e rsity ,   I ra q       Art icle  I nfo     AB S T RAC T   A r ticle  his to r y:   R ec eiv ed   Dec   6 2 0 2 0   R ev is ed   Sep   17 2 0 2 1   Acc ep ted   Sep   21 2 0 2 1       Th e   u se   o th e   se lf - sc a li n g   B ro y d e n - F letc h e r - G o ld fa rb - S h a n n o   ( BF G S )   m e th o d   is  v e r y   e fficie n t   fo t h e   re so lu t io n   o larg e - sc a le  o p ti m iza ti o n   p ro b lem s,  in   th is  p a p e r,   we   p re s e n a   n e a lg o rit h m   a n d   m o d ifi e d   th e   se lf - sc a li n g   BF G S   a lg o rit h m .   Also ,   b a se d   o n   n o t ice a b le  n o n - m o n o to n e   li n e   se a rc h   p ro p e rti e s,   we   d isc o v e re d   a n d   e m p l o y e d   a   n e n o n - m o n o to n e   i d e a .   Th e re a fter  first,   a n   u p d a te d   fo r m u la  is  e x h o rted   t o   th e   c o n v e rg e n He ss ian   m a tri x   a n d   we   h a v e   a c h iev e d   th e   se c a n c o n d it i o n ,   se c o n d ,   we   e sta b li sh e d   t h e   g lo b a c o n v e rg e n c e   p ro p e rti e o f   th e   a lg o rit h m   u n d e so m e   m il d   c o n d i ti o n a n d   t h e   o b jec ti v e   fu n c ti o n   is   n o c o n v e x it y   h y p o th e sis.   p r o m isin g   b e h a v i o r   is ac h iev e d   a n d   t h e   n u m e rica re s u lt s a re   a lso   re p o rted   o t h e   n e w a lg o rit h m .   K ey w o r d s :   B FGS alg o r ith m   g lo b al  co n v er g en ce   p r o p e r ty   No n m o n o to n lin e   s ea r ch   Self - s ca lin g     Un co n s tr ain ed   o p tim izatio n   T h is i a n   o p e n   a c c e ss   a rticle   u n d e r th e   CC B Y - SA   li c e n se .     C o r r e s p o nd ing   A uth o r :   Mu n M.   M.   Ali   Dep ar tm en t o f   Ma th em atics   C o lleg o f   C o m p u ter s   Scien ce s   an d   Ma th em atics   Mo s u l U n iv er s ity A l - M ajm o a Stre et,   Mo s u l,  I r aq     E m ail: m u n am o h 7 4 @ u o m o s u l.e d u . iq       1.   I NT RO D UCT I O N   C o n s id er   th u n c o n s tr ain ed   o p tim izatio n   p r o b le m :           ( )   ( 1 )     w h er : |     is   co n tin u o u s ly   d if f e r en tiab le  f u n ctio n ,   to   s o lv p r o b lem   ( 1 )   o n e   u s es  an   alg o r it h m   th at  g en er ates a   s eq u en ce   o f   iter ate s     ac co r d in g   to :     + 1 =   +         ( 2 )     f o r   0 ,   wh er   is   s ea r ch   d ir ec tio n ,   > 0   is   s tep   len g th   an d   0   is   g iv e n   th in itial  p o in t.  B asic  s tep s   in   th ese  alg o r ith m s   ar e   ch o o s in g   s u itab le  d ir ec tio n   a n d   tim ely   s tep   s ize.   T o   s atis f y   th d escen c o n d itio n   ( ) < 0 ,   g en er ally ,   i n   o r d er   to   s ec u r it ies  s u f f icien r ed u ctio n   t o   v alu o f   f u n ctio n   we  r e q u ir e d   th s ea r ch   d ir ec tio n     an d     is   s p ec if ied ,   th er ar v a r io u s   ex am p les  f o r   p r o ce d u r es  to   ch o o s th s ea r ch   d ir ec tio n   ,   c o n ju g ate   g r a d ie n t   ( C G) ,   s teep est  d escen t   ( S D) ,   New to n ,   q u asi - New to n ,   an d   tr u s t - r eg io n   m eth o d s   s ee   [ 1 ] .   New to n   h as  th h ig h est  r ate  o f   co n v er g en ce   an d   th d ir ec tio n   is   ac co u n ted   b y   s o lv in g   th e   s y s tem   =   wh er = 2 ( )   an d   = ( ) .   Qu asi - New to n   cr iter io n   m eth o d s   co n v e n tio n   th f o llo win g   s ec an eq u atio n + 1   =     w h er =   + 1   =   + 1   ,   at  th f ir s i ter atio n ,   0   is   an   ar b itra r y   n o n s in g u lar   p o s itiv d ef in ite  Evaluation Warning : The document was created with Spire.PDF for Python.
            I SS N :   2502 - 4 7 5 2   I n d o n esian   J   E lec  E n g   &   C o m p   Sci,   Vo l.  24 ,   No .   2 No v em b er   2 0 2 1 1 0 2 7   -   1 0 3 5   1028   m atr ix   an d   + 1   is   an   ap p r o x im atio n   o f   .   T h m o s ef f icien t   o f   Qu as - New to n   m eth o d s   ar e   p e r h ap s   to   s elf - s ca lin g   B FG m eth o d   wh ich   was  u p d ated   s u g g ested   b y   [ 2 ] ,   [ 3 ]   an d   th is   m eth o d   is   o v er all  n u m er ical   co m p u tatio n   t h an   th o t h er   m eth o d .   T h m atr ix   + 1   in   th s elf - s ca lin g   B FG m eth o d   ca n   b u p d ated   b y   th e   f o llo win g   f o r m u la:     + 1 = [       ]   +         ( 3 )     w h er e:     μ k =   s k T y k y k   y k T   ( 4 )     I f   th cu r v atu r c o n d itio n     > 0   h o ld s ,   th m eth o d   o f   s elf - s ca lin g   B FGS  m ain tain s   th e   p o s itiv en ess   o f   th e   m atr ices  { } .   Fo r   th is   r ea s o n ,   th e   d escen d ir ec tio n   o f   f   at    is   s atis f y   in   th d ir ec tio n   o f   th s elf - s ca li n g   B FGS  n o p r o b lem   if     is   p o s itiv d ef in ite  o r   n o t.  Ma n y   m o d i f icatio n s   h av b ee n   p r o p o s ed   m ad to   a f f licted   th e   g lo b a co n v er g en ce   p r o p e r ty   o f   th ( B r o y d en - Fletch er - G o ld f a r b - Sh an n o )   B FGS  m eth o d ,   f o r   in s tan ce ,   s o m e   m o d u latio n s   i n   th e   cr iter io n   B FGS  m eth o d   ar e   m ad e,   an d   s u b m itted ed   a   m o d i f ied   B FGS  ( M B FGS )   alg o r ith m s   [ 4 ] - [ 6 ] .   T h s u p er lin ea r   co n v er g en ce   an d   th e   g lo b al   o f   t h eir   m eth o d s   h a v b ee n   p r o v e d   u n d er   ap p r o p r iate  co n d itio n s   f o r   n o n - c o n v e x   p r o b le m s .   s u f f icien r ed u ctio n   p r o d u c es  f r o m   s u itab le  lin s ea r ch   is   an o th er   m a k in g   g o o d   iter ativ p r o ce s s   in   f u n ctio n   v alu e,   as we   s ay .   p u b lic  s itu atio n   to   ac ce p t a   s tep   len g th   m en tio n s ed   Ar m ij o   r u le  as  ( 5 ) :     ( + ) +     ( 5 )     a n d   th lar g est m em b er     in   {1 ,   , 2 , s atis f y in g   ( 4 )   s u ch   th at  ( 0 , 1 )      ( 0 , 1 ) .   I is   clea r   th at    d en o tes  ( )   an d   + 1 <     f o r   ev er y   d escen d ir ec tio n ,   an d   ca lled   m o n o to n e   lin s ea r ch .   T h f ir s n o n - m o n o to n lin s ea r ch   tech n iq u wer p r o p o s ed   b y   [ 7 ] ,   New to n ' s   m eth o d   u s in g   th Ar m ijo   co n d itio n   was d ef in ed   b y   ( 6 ) :       ( + ) { } 0 ( )  +       ( 6 )     wh er 0 ( ) min   { ( + 1 ) + 1 , } ,   is   n o n - n eg ativ in teg er   co n s tan t,  Ma n y   k in d s   o f   r esear ch er s ,   f o r   e x am p le  [ 8 ] - [ 1 2 ] .   n o n - m o n o to n s ch em ca n   p r o m o te  o f   f in d in g   g lo b al  o p tim u m   an d   also   d ev elo p e d   s p ee d   o f   co n v er g en ce .   On o f   th ef f icien n o n - mo n o to n e   lin s ea r ch   m eth o d s   h av b ee n   p r o p o s ed   b y   [ 1 3 ]   to   o v e r co m e   s o m d r awb ac k s   in   th e   n o n - m o n o to n e   in   ( 6 )   th o u g h   h av e   f ea tu r es   an d   w ell  wo r k   f o r   m an y   s itu atio n s   [ 1 4 ] ,   an d   h av e   th s am g en er al   p lan n er   w h ile  t h s tatem en "m a x is   s u b s titu te  av er a g weig h ts   f o r   v al u es o f   f u n ctio n   with   s eq u en tial iter atio n s .       2.   M O DIFI E N E NO N - M O NO T O N E   SE L F - SCA L I NG   B F G S M E T H O D     n o n - m o n o to n B FGS  m eth o d s   wer p r o p o s ed   f o r   s o lv in g   ( 1 )   in   [ 1 5 ] - [ 1 7 ] .   T h ese  alg o r i th m s   wer e   p r o v e d   th co n v e r g en ce   an al y s is   u n d er   th co n v ex   h y p o th es is   o n   th o b jectiv f u n ctio n .   I n   th is   wo r k ,   n ew  non - m o n o t o n m o d i f ied   s elf - s ca lin g   B F GS  m eth o d   is   in s e r ted   an d   ev id en ce   th g lo b al  co n v er g en ce   o f   th e   m eth o d   with o u co n v ex ity   ass u m p tio n .   T h is   wo r k   is   ar r an g e d   as  f o llo ws.  T h New 1   n o n - monot o n p r o p o s ed   an d   d ef in e d   in   lin s ea r ch   ( 7 ) - ( 9 )   an d   we  n o te  th at  th n u m er ical  r esu lts   o f   th New 1   n o n - m o n o t o n lin e   s ea r ch   ( 7 ) - ( 9 )   h av b ee n   m o r ef f ec tiv th an   th [ 1 8 ] .   T h New 2   m eth o d   is   ex p r ess ed   in   th is   p ar t.  Als o ,   we   r em em b er   th p r o p e r ties   co n v er g en ce   o f   th e   n ew  al g o r ith m   in   p a r 3 .   Nu m er ical  e x p er ie n ce s   s h o th at  th e   n ew  m eth o d   is   v er y   f av o r ab l an d   in v esti g ated   b o th   th ea tr ically   an d   n u m er ically   ag ain s s o m well - k n o wn   alg o r ith m s .   I n   th last   p ar t,  s o m co n clu s io n s   ar lis t.   No we  ex p lain   th n ew  n o n - m o n o to n lin s ea r ch   m eth o d   ( New1 )   wh ich   is   d escr ib ed   as f o llo ws:     ( + )   { } 2   0 ( )      ( 7 )     w h er e:     = 1   ( 8 )   Evaluation Warning : The document was created with Spire.PDF for Python.
I n d o n esian   J   E lec  E n g   &   C o m p   Sci     I SS N:  2502 - 4 7 5 2       Mo d ified   limited - mem o r B r o yd en - F letch er - Go ld fa r b - S h a n n o   a lg o r ith fo r     ( Mu n a   M.  M.  A li )   1029   = 1   1   1   1       ( 9 )     1 = 0 . 0001   1 ,   wi th   ( 0 , 1 )       T wo   r ea s o n s   m ad e   th B FGS  alg o r ith m   h ad   im p o r tan t   d is ad v an tag es  d esp ite  t h is   m e th o d   is   a   s u cc ess f u l a lg o r ith m   f o r   u n c o n s tr ain ed   n o n lin ea r   o p tim izatio n .   On ce ,   th d ir ec tio n s   o f   th m eth o d   m ay   n o t b e   d escen esp ec ially   wh en   > 0   is   n o s atis f ied   an d   ca n n o g u ar an t ee   p o s itiv d ef in iten ess   o f   th m atr ix   .   Seco n d ,   in   g en er al   is s u ess ,   T h e   B FGS  m eth o d   m ay   n o b c o n v e r g en t   f o r   n o n - c o n v ex   o b jectiv e   f u n ctio n s ,   d esp ite  estab lis h ed   s u p er lin ea r   co n v er g en ce   an d   t h g lo b al  f o r   c o n v e x   p r o b lem s .   A   New2   non - m o n o to n m o d if ied   s elf - s ca lin g   B FG S a lg o r ith m   is   p r esen ted   g u ar an teein g   th p o s itiv d ef in iten ess   o f   th e   m atr ix     f o r   n o n - co n v ex   o b jectiv f u n cti o n s .   I n   th is   p ar t,   th n ew   m e th o d   is   in s er ted   af ter   d escr ib in g   s o m in s p ir ati o n .   W d ef in e d   th m o d if ied   s ec an t e q u atio n s :     + 1 =     ( 10 )     w h er e :     +     ( 11 )     an d   d ef i n ed   b y   th r ee   f o r m s :     ( 1 ) = 2 2     ( 12 )     ( 2 ) = 1 + 2 2     ( 13 )     ( 3 ) = + ma x   { 2   , 0 } 0     ( 14 )     w h er   is   p o s it iv co n s tan t,  s ee   [ 1 9 ] ,   [ 2 0 ] .   T h en   we  h av r ef o r m e d   th s elf - s ca lin g   B F GS  u p d ate  f o r m u la  b ased   o n   ( 10 )   as f o llo ws:     + 1 = [       ]   +         ( 15 )     w h er e :     =         ( 16 )     an d   d ef i n ed   an   ef f icien t a lg o r i th m   th at  is   ca lled   m o d if ie d   s elf - s ca lin g   B FGS.  I t is cle ar   th at   ( 17 ).     2 > 0   ,   f o r   all      ( 17 )     T h is   p r o p er ty   is   g u ar an tees  p o s itiv d ef in iten ess   o f   th m atr i x     an d   s ep ar ate  o n   th co n v ex i ty   o f   f ,   as  s u ch   th e   u s ed   lin s ea r ch .   T h n ew   MBF GS  m eth o d   c o m b in ed   with   th n ew  n o n - m o n o t o n lin e   s ea r ch   an d   s atis f ies  th g lo b al  co n v er g en ce .   Fo r   u n co n s tr ain ed   o p tim iz atio n   in   wh ich     is   u p d ated   in   [ 2 1 ] ,   p r o p o s ed   th e   r elat io n :     + 1 =       + ̃     ( )     ( 18 )     an d :     ̃ = 2 ( + 1 + + 1 )     (1 9 )     s o ,   th l o ca s u p er   lin ea r   co n v er g en ce   an d   g lo b al  p r o p er ties   f o r   co n v ex   o b jectiv e   f u n ctio n s   p r eser v es  in   th is   al g o r ith m   to o .   Evaluation Warning : The document was created with Spire.PDF for Python.
            I SS N :   2502 - 4 7 5 2   I n d o n esian   J   E lec  E n g   &   C o m p   Sci,   Vo l.  24 ,   No .   2 No v em b er   2 0 2 1 1 0 2 7   -   1 0 3 5   1030   No w,   th New2   alg o r ith m   is   s u g g ested   wh ich   th e   s elf - s ca lin g   B FGS  m eth o d   u p d ate  f o r m u la  u s in g     in   ( 11 ) ,   an d   co m p u te  th u p d a te  f o r m u la  as f o llo ws:     + 1 = [       ]   +         ( 20 )     w h er e :       =     ( 21 )     an d     s atis f ies th s ec an t c o n d itio n   as f o llo ws:     + 1 =       ( 22 )     o u tlin o f   t h n ew  n o n - m o n o to n s elf - s ca lin g   MBF GS  d esc r ib ed   in   A lg o r ith m   1.     Algorithm   1 .   New - self - scaling  BFGS ( new - non - monotone modified self - scaling   BFGS)    A start an initial point   0 , a symmetric positive definite matrix  0   , ( 0 , 1 ) .   Step   1 : set  1 = 0 . 0001 , = 1   Step   2 : if  < ,    Step   3 : compute search direction    by solving    =     Step   4:  set  = 1   1   1   1     where     the smallest positive integer and    satisfies (7),(8), (9)   Step   5 : compute  + 1 = +   Step   6 : compute    in ( 11 ) and    in ( 21 ). then , update    in ( 20 )   Step   7 : set  = + 1   and go to step   1.       3.   CO NVERG E NC E   ANA L YS I S     Fo r   th g en er al  n o n lin ea r   o b j ec tiv f u n ctio n ,   t h is   p ar is   to   ex p lain   an d   p r o v th p r o p er ties   o f   th n ew  alg o r ith m .   An d   th e   f o llo win g   ass u m p tio n s   o n   t h e   o b je ctiv f u n ctio n   ( f ) .     3 . 1 .       Ass um ptio n ( H )   T h lev el  s et  = { : , ( ) ( 1 ) }   is   b o u n d ed ,   wh er 1   is   th s tar tin g   p o in t .   I n   a   n eig h b o r h o o d   Ω      ,   f   is   co n tin u o u s ly   d if f er e n tiab le  an d   its   g r ad i en g   is   L ip ch itz  c o n tin u o u s l y ,   n am ely ,   th er ex is ts   co n s tan 0   s u ch   th at   ( ) ( )   , , .   I is   clea r   th at  f r o m   th ass u m p tio n   ( H,   i) ,   th e r ex is ts   p o s itiv co n s tan t D   s u ch   th at   = m ax   { , } .     3 . 2 .       So m re la t ed  pro pert is   So m p r o v en   m ath e m atica p r o p er ties   to   c o m p letin g   th e   s tab ilit y   s tu d y   o f   th e   th eo r etica s id e P r o p er ty   ( 1 ) L et  { }   is   th s eq u en ce   g en e r ated   b y   A lg o r ith m   n ew - n o n - m o n o to n s elf - s ca lin g   MBF G S,   th en   { }   is   n o n - in cr ea s in g   s eq u en ce   an d   f o r   all    { 0 } ,   } ( 0 ) .   Pro o f : S ee   [ 2 2 ] Pr o p er ty   ( 2 ) I f   th ass u m p tio n s   ( H,   i)   an d   ( H,   ii)  ar co n ten ted   an d   { }   is   th s eq u en ce   p r o d u ce d   b y   th n ew  A lg o r ith m   ( n ew - n o n - s el f - s ca lin g   MBF GS) .   I f     h o ld s   f o r   all    with   co n s tan > 0   th en   th e r ex is p o s itiv co n s tan ts   1 , 2 , 3   s u ch   th at,   f o r   all  ,   th in eq u alities :     1 , 2 2 2 3 2     ( 23 )     c o n tr ac t f o r   f u lly   h alf   o f   th i n d ices  { 1 , 2 , , } .   Pro o f :   T o   p r o v th at,   m u s t o f f er   th at  th er s u b s is t two   p o s itiv r   an d   R   s u ch   th at:       2     ( 24 )     a nd       2     ( 25 )     Fro m   ass u m p tio n     an d   f r o m   ( 1 7 )   we  h av e:   Evaluation Warning : The document was created with Spire.PDF for Python.
I n d o n esian   J   E lec  E n g   &   C o m p   Sci     I SS N:  2502 - 4 7 5 2       Mo d ified   limited - mem o r B r o yd en - F letch er - Go ld fa r b - S h a n n o   a lg o r ith fo r     ( Mu n a   M.  M.  A li )   1031       2 2 2     ( 26 )     s o 2 ,   wh er e   =   is   p o s itiv c o n s tan t.  On   t h o t h er   h an d ,   it  f o l lo ws  ( 11 ) ,   ( 12 )   an d   C au ch y - Sch war tz  in eq u ality   th at:     + ( + )       a n d   f r o m   ass u m p tio n s   ( H,   i ) ,   ( H,   ii)  an d   th r elatio n   in   co r o llar y   ( 3 . 3 )   th e r ex is ts   ̂ > 0   s u ch   th at ̂ T h er ef o r e,   it c an   b s ee n   th at:     ( + ̂ + ) =   ( 27 )     L   is   L ip ch itz  co n s tan f r o m   h y p o th esis   ( H,   ii),   an d   = + ̂ + .   T h r elatio n   ( 26 )   al o n g   with   ( 27 )   f o r   all  r esu lt:       2       w h er e:  R = 2   .   Fro m   ( 24 ) ,   ( 25 ) ,   an d   th eo r em   ( 2 . 1 )   in   [ 6 ]   we  h av e   th r est o f   th p r o o f .   Pro p er ty   ( 3 ) .   I f   th ass u m p ti o n   ( H,   i)   a n d   ( H,   ii)   ex is an d   { }   is   th s eq u en ce   g e n er ated   b y   th New1   alg o r ith m .   I f     h o ld s   f o r   all    with   co n s tan > 0   th en   th er is   p o s itiv co n s tan ̆   s u ch   th at  > ́   f o r   all  k   b elo n g in g   t o   J = {      ( 16 ) } P r o o f s ee   [ 2 2 ] Pro p e r ty   ( 4 ) Su p p o s th at  th e   ass u m p tio n   ( H,   i)   an d   ( H,   ii)  h o ld ,   th en :       < = 0   (2 8 )     Pro o f Usi n g   ( 7 ) ,   ( 8 ) ,   ( 9 )   we  h av e:      + 1 = ( + 1 2 + [ 1 + 2 ]   ( + 1 ) 2   ) 0   (2 9 )     t h er ef o r e,   { }   is     d ec r ea s in g   s eq u en ce .   Sin ce   f   is   b o u n d e d   b elo w,   th er e x is ts   co n s tan ̂   s u ch   th at:   l im = ̂ I t f o llo ws th at:  ( = 0 + 1 ) = l im ( + 1 ) =   l im ( 0 + 1 ) = 0 = 0 ̂   Hen ce ,     ( = 0 + 1 ) < + .     3 . 3 .       T heo re m   I f   th ass u m p tio n   ( H,   i)   a n d   ( H,   ii)  ex is an d   { }   is   th s eq u en ce   g en er ated   b y   t h New   A lg o r ith m   ( s elf - s ca lin g   NB FGS),   th en     l im    = 0   ( 30 )     Pro o f :   I f   we  ass u m th at  l im    0 ,   s o   th er ex is ts   co n s tan > 0   s u ch   th at    . Fo r   all  k   s u f f icien tly ,   s in ce   B k s k = α k B k d k = α k k it  f o llo ws  f r o m   ( 2 8 )   th at     B k s k B k s k = 0   2 = 1   B k s k = 0   ( = 0   k d k ) <   Fro m   th p r o p er ty   ( 3 )   d e f in itio n   o f   J   ar h o ld s ,   lead s   u s   to :       B k S k B k S k 2 = 0   2   2 = 0 B k S k B k S k 2         2 B k S k B k S k 2       > 2 ̅ B k S k B k S k 2       f r o m   th e   last   in eq u ity   in   wh ic h   co m es  f r o m   p r o p er t y   ( 4 )   th is   lead s   to :   Evaluation Warning : The document was created with Spire.PDF for Python.
            I SS N :   2502 - 4 7 5 2   I n d o n esian   J   E lec  E n g   &   C o m p   Sci,   Vo l.  24 ,   No .   2 No v em b er   2 0 2 1 1 0 2 7   -   1 0 3 5   1032   B k S k B k S k 2 <   ( 31 )     b ec au s th s et  J   i s   in f in ite,   it  is   lead   to   th at   B k s k B k s k 2 0   f o r   . T h is   im m ed iately   co n tr ad icts   th f a ct:   B k s k B k s k 2 2 2 1 2 2 = 2 1 2   th at  is   in   ( 31 ).       4.   RE SU L T S AN D I SCU SS I O N     T h e   m a i n   w o r k   o f   t h i s   s e c t i o n   i s   t o   c o m p a r e   t h e   n u m e r i c a l   e x p e r i m e n t s   o f   t h e   N e w 1   non - m o n o t o n e   m o d i f i e d   M B F G S   a l g o r i t h m   w i t h   t h e   ( M B F G S - X G )   a l g o r i t h m   p r o p o s e d   b y   [ 2 3 ] .   W e   p r e s e n t   a   n e w   a l g o r i t h m   i n   w h i c h   t h e   n e w   n o n - m o n o t o n e   l i n e   s e a r c h   t o   a p p r o x i m a t e   c o m p a r i s o n   i s   n a m e d   ( New1   N M B F G S ) .   O n   t h e   o t h e r   h a n d ,   w e   c o m p a r e   t h e   n u m e r i c a l   e x p e r i m e n t s   o f   t h e   n e w   s e l f - s c a l i n g   m o d i f i e d   B F G S   a l g o r i t h m   n a m e d   ( N e w 2   s e l f - s c a l i n g   M B F G S )   w i t h   t h e   s t a n d a r d   s e l f - s c a l i n g   B F G S   m e t h o d   s t r a i g h t   w i t h   A r m i j o   l i n e   s e a r c h   [ 7 ] ,   [ 9 ] .   W e   w r o t e   F O R T R A N   l a n g u a g e   a n d   d o u b l e - p r e c i s i o n   a r i t h m e t i c .   T h e s e   r e s u l t s   w e r e   p e r f o r m e d   o n   a   P C .   O u r   a t t e m p ts   w e r e   p e r f o r m e d   o n s e t   o f   ( 5 0 )   n o n l i n e a r   u n c o n s t r a i n e d   p r o b l e m s   t h a t   h a v e   a   s e c o n d   d e r i v a t i v e   a v a i l a b l e ,   a n d   t h e   e x p e r i e n c e   p r o b l e m s   a r e   c o n t r i b u t e d   i n   C U T E   [ 2 4 ] ,   [ 2 5 ] .     W co n s id er ed   n u m er ical  ex p er im en ts   with   s ev er al  v ar ia b le  = 2 , 4 , 6 , 1000 ,   All  th ese  m eth o d s   ter m in ate  wh en   th f o llo win g   s to p p in g   cr iter io n   is   m et  10 6 .   Ou r   ex p er ien ce s   s h o th p ar am e ter s   = 0 . 46 = 0 . 38 1 = 0 . 0001 ,   h av th b est  co n clu s io n s   f o r   all  th alg o r ith m s .   T ab les  1   an d   2   co m p ar e   s o m n u m er ical  e x p er im en ts   f o r   t h New1 New2   o f   alg o r ith m s   ag ain s th e   B FGS  alg o r ith m s ,   an d   th e   test   p r o b lem s   with   d if f er en d im e n s io n s ,   = 2 , 4 , 1000 .   I n   all  th ese  tab les Dim en s io n   o f   th p r o b le m ,   NOI   n u m b er   o f   iter atio n s ,   NOF  Nu m b er   o f   f u n ctio n s ,   C PU  T o tal  tim r eq u ir e d   to   co m p lete  th e   ev alu atio n   p r o ce s s   f o r   ea c h   test   p r o b lem .   Fig u r e s   1   to   4   c o m p a r o f   th e   New1   m eth o d   a g ain s MBF G S - XG  m eth o d   d u t o   NOI   a n d   it’s  clea r   th at  New1   h av e   m o r th an   3 7 . 8 9 %,  an d   6 6 . 7 1 NOI ,   an d   New2   ag ain s s elf - s ca lin g   B F GS  d u to   NOI   an d   New2   h av m o r e   th an   4 4 . 1 8 an d   7 0 . 7 6 NOI   r esp ec ti v ely .   Als o   F ig u r es  2   an d   5   c o m p ar es  th e   New1   ag ain s MBF G S - XG  m eth o d   3 8 . 2 8 an d   4 4 . 2 7 d u t o   NOF,   an d   New2   ag ain s s elf - s ca lin g   B FGS  d u to   NOF  an d   it’s  b etter   th an   4 2 . 2 9 an d   6 9 . 2 r esp ec tiv ely .   Fig u r es  3   an d   6   c o m p a r es  o f   th New1   m eth o d   ag ain s MBF G S - XG  an d   h av b etter   r esu lts   in   co m p ar is o n   7 0 . 7 an d   7 1 %,  an d   New2   ag ain s s elf - s ca lin g   B FGS 7 0 . 4 1 % a n d   7 0 . 7 % d u e   to   C PU   [ 2 6 ] - [ 2 8 ] .       T ab le  1 .   C o m p a r is o n   o f   th N ew1   m eth o d   ag ain s t M B FGS - XG  an d   New2   ag ain s s elf - s ca lin g   B FGS m eth o d   with   = 2 , 4 , . 100   P r o b .   M B F G S - X G   me t h o d   N e w 1   M e t h o d   S e l f - sca l i n g   B F G S   met h o d   N e w 2   M e t h o d   NOI   NOF   C P U   NOI   NOF   C P U   NOI   NOF   C P U   NOI   NOF   C P U   1   15   35   2 . 2   12   35   2 . 2 9   11   42   2 . 1   11   42   2 . 9 1   2   9   19   0 . 0 2   9   19   0 . 0 1   9   19   0 . 0 1   9   19   0 . 0 1   3   44   64   0 . 3   33   58   0 . 0 5   36   70   0 . 0 5   29   72   0 . 0 5   4   15   35   0 . 1 9   10   31   0 . 0 1   15   35   0 . 9   10   31   0 . 0 1   5   21   26   0 . 4 5   20   30   0 . 2 1   25   30   0 . 0 1   8   19   0 . 2 1   6   13   28   1 . 9 1   13   41   0 . 1   12   53   1 . 9   16   69   0 . 1   7   39   55   2 . 5   41   59   2 . 5   38   62   2 . 3   41   59   2 . 5   8   10   25   1 . 2   7   22   0 . 1 3   7   22   1 . 2   7   22   0 . 1 3   9   80   1 1 3   3 . 1   75   1 1 0   2 . 9   70   1 0 2   2 . 3   75   1 1 0   2 . 9   10   25   60   2 . 5   22   47   0 . 5   25   70   2 . 4   22   47   0 . 5   11   1 3 1 0   8 6 0 0   0 . 3   4 0 1   3 0 0 1   0 . 1   6 4 0   5 2 9 9   0 . 2   1 4 0   1 1 0 9   0 . 1   12   1 0 1   6 2 1   0 . 3 2   70   5 5 1   0 . 0   70   5 0 1   0 . 2   35   3 0 5   0 . 0   13   80   5 0 2   0 . 1   51   3 2 0   0 . 1   60   4 0 2   0 . 1   23   3 4 9   0 . 1   14   8 0 0   3 0 0 1   1 . 6   75   3 0 0   0 . 1   80   3 4 1   1 . 5   30   1 5 0   0 . 0 1   15   2 9 1   1 1 0 0   0 . 9 1   60   2 5 0   0 . 0 1   54   2 4 5   0 . 6 1   23   1 2 0   0 . 0 1   16   1 3 7 2   8 9 1 1   2 . 9   4 0 1   3 2 2 1   2 . 9   6 4 0   5 3 2 0   2 . 1   1 3 9   1 0 0 1   2 . 9   17   1 0 5 0   7 0 0 0   0 . 0 4   2 0 0   9 7 2   0 . 1   2 0 0   1 6 0 8   0 . 0 4   1 1 0   8 9 0   0 . 0 1   18   1 8 0   1 8 1   0 . 4 1   1 8 0   1 8 1   0 . 4 1   1 8 0   1 8 1   0 . 4 1   1 8 0   1 8 1   0 . 4 1   19   1 3 4 0   9 1 0 1   2 . 9 1   6 0 4   2 9 5 2   2 . 9 1   1 2 9 1   8 5 1 7   2 . 1   2 0 7   1 2 0 1   2 . 0 3   20   1 3 1 1   8 5 0 0   0 . 0 1 5   5 2 0   3 9 7 0   0 . 0 1 5   1 3 4 1   8 5 0 0   0 . 0 1 5   1 7 0   1 4 1 8   0   21   5 8 9   4 7 9   0 . 1 2   4 3 1   5 3 0   0 . 1 2   5 8 9   7 4 9   0 . 1 2   3 2 2   4 1 9   0 . 1 2   22   2 2 0   1 6 0 1   0 . 6 3 9   22   3 8 0   0 . 6 3 9   23   2 0 4   0 . 6 3 9   16   1 9 0   0 . 6 3 9   23   1 5 0   8 9 1   0 . 4 6   45   3 0 0   0 . 0   21   1 8 5   0 . 4 6   17   1 4 0   0 . 0   24   2 9 9   1 2 9 7   0 . 1 5   90   4 9 9   0 . 0 1   94   6 1 0   0 . 1 5   40   3 0 1   0 . 0 1   25   4 7 0   1 9 9 2   0 . 0   1 2 2   6 0 1   0 . 0   1 3 0   75   0 . 0   1 1 5   5 3 7   0 . 0   To t a l   9 8 3 4   5 4 2 3 7   2 5 . 2 4 4   3 5 1 4   1 8 4 8 8   1 6 . 1 1 4   5 6 6 1   3 3 2 4 2   2 1 . 8 1 4   1 7 9 6   8 8 2 5   1 5 . 6 5 9     Evaluation Warning : The document was created with Spire.PDF for Python.
I n d o n esian   J   E lec  E n g   &   C o m p   Sci     I SS N:  2502 - 4 7 5 2       Mo d ified   limited - mem o r B r o yd en - F letch er - Go ld fa r b - S h a n n o   a lg o r ith fo r     ( Mu n a   M.  M.  A li )   1033   T ab le  2 .   C o m p a r is o n   o f   th N ew1   m eth o d   ag ain s t M B FGS - XG  an d   New2   ag ain s s elf - s ca lin g   B FGS m eth o d   with   = 110 , . 1000   P r o b .   M B F G S - X G   me t h o d   N e w 1   M e t h o d   S e l f - sca l i n g   B F G S   met h o d   N e w 2   M e t h o d   NOI   NOF   C P U   NOI     NOI   NOF   C P U   NOI     NOI   NOF   26   1 8 1   3 9 1   1 . 1 9   47   2 0 0   0 . 1   50   2 4 1   1 . 1 9   21   1 4 9   0 . 1   27   2 0 0   5 0 0   1 . 1 9   65   2 1 0   0 . 1   68   2 5 0   1 . 1 9   51   1 9 0   0 . 1   28   2 4 5   8 2 1   0 . 4 6   37   1 2 6   0 . 4 6   28   1 0 5   0 . 4 6   19   73   0 . 4 6   29   1 5 1   3 9 1   0 . 0 5   10   59   0 . 0 5   13   61   0 . 0 5   7   50   0 . 0 5   30   6 8 1   1 5 0 1   0 . 2 1   5 2 0   1 1 0 1   0 . 2 1   5 7 9   1 3 9 1   0 . 2 1   4 3 4   1 0 3 1   0 . 2 1   31   7 8 0   8 0 0 1   0 . 0   1 2 1   7 8 1   0 . 1   1 2 4   6 9 0   0 . 0   1 1 2   5 8 3   0 . 1   32   9 8 1   6 3 5 1   0 . 2 5   3 9 2   4 3 8 1   0 . 2 5   4 2 8   4 2 2 1   0 . 1 5   2 1 9   4 0 0 1   0 . 2 5   33   1 0 0   5 2 0   1 . 2 4   15   40   0 . 9 1   15   40   1 . 9   15   40   0 . 9 1   34   1 8 0   6 9 0   0 . 0   20   69   0 . 0   29   1 1 9   0 . 0   18   59   0 . 0   35   1 0 5 0   7 2 1 1   1 . 1   1 8 9   1 4 8 1   1 . 1 9   1 9 0   1 5 9 1   1 . 1   99   7 9 0   1 . 2 3   36   5 2 0   1 3 0 0   0 . 9   79   2 4 5   1 . 3 1   43   1 5 9   0 . 5   25   80   1 . 5 1   37   3 2 5   9 8 1   0 . 0 5   56   1 0 5   0 . 0 1   28   1 6 0   0 . 0 1   9   49   0 . 0 1   38   2 0 0   1 2 3 1   0 . 3 5   1 1 7   9 6 3   0 . 3 5   1 8 7   1 1 4 1   0 . 1 5   1 3 3   1 1 2 1   0 . 3 5   39   17   18   0 . 1 5   17   18   0 . 1 8   17   18   0 . 1 5   17   18   0 . 1 8   40   19   31   0 . 0 1   19   31   0 . 0 1   19   31   0 . 0 1   19   31   0 . 0 1   41   85   7 9 1   0 . 9   60   5 7 2   0 . 9 5   71   6 1 3   0 . 0 1   50   4 9 5   0 . 9 5   42   35   69   0 . 8   35   77   0 . 0   32   64   0 . 0 2   35   77   0 . 0   43   35   78   1 . 9   20   70   1 . 9   30   70   1 . 9   15   60   1 . 9   44   1 7 2   4 8 3 2   0 . 9   60   8 4 0   0 . 0   1 2 1   1 9 6 0   0 . 5   45   8 4 0   0 . 0   45   1 0 1   2 0 0   0 . 6 3   1 3 9   2 1 5   1 . 5   1 0 1   2 0 0   0 . 6 1   1 3 9   2 1 5   1 . 5   46   19   30   1 . 5   11   27   1 . 6   16   27   0 . 3 9   10   20   1 . 6   47   1 7 6   1 9 8 1   0 . 0 1   1 4 2   1 2 1 0   0 . 0 1   1 7 0   1 9 0 0   0 . 0 1   89   9 8 2   0 . 0 1   48   69   1 2 1   0 . 8 1   41   1 2 1   0 . 6   50   1 2 9   0 . 0 5   39   1 1 7   0 . 6   49   37   77   0 . 1 5   21   70   0 . 1 2   30   70   0 . 0 1   21   67   0 . 1 2   50   30   50   0 . 0 1   29   50   0 . 0 1   25   44   0 . 0 1   26   49   0 . 0 1   To t a l   6 3 8 9   3 8 1 6 7   1 4 . 7 6   2 2 6 2   1 3 0 6 2   1 1 . 9 2   2 4 6 4   1 5 2 9 5   1 0 . 5 8   1 6 6 7   1 1 1 8 7   1 2 . 1 6               Fig u r 1 .   Per f o r m an c d u e   to   NOI   NOF  C P U   Fig u r 2 .   Per f o r m an c d u e   to   NOI   NOF  C P U                 Fig u r 3 .   Per f o r m an c d u e   to   NOI   NOF  C P U   Fig u r 4 .   Per f o r m an c d u e   to   NOI   NOF  C P U     Evaluation Warning : The document was created with Spire.PDF for Python.
            I SS N :   2502 - 4 7 5 2   I n d o n esian   J   E lec  E n g   &   C o m p   Sci,   Vo l.  24 ,   No .   2 No v em b er   2 0 2 1 1 0 2 7   -   1 0 3 5   1034           Fig u r 5 .   Per f o r m an c d u e   to   NOI   NOF  C P U   Fig u r 6 .   Per f o r m an c d u e   to   NOI   NOF  C P U       5.   CO NCLU SI O N   I n   th is   p ap er ,   we  h av e   p r o p o s ed   n ew  n o n - m o n o t o n B FGS  alg o r ith m   an d   co m b in ed   it  with   n ew  m o d if ied   s elf - s ca lin g   B FGS  u p d ate  to   s ac r if icial  Hess ian   m atr ix   with   a   k n o wn   lin s ea r ch   p lan n in g   f o r   n o n - co n v ex   o p tim izatio n   p r o b lem s .   I is   clea r   th at  n ew  n o n - m o n o to n ca n   p r o g r ess   th p r o b ab ilit y   o f   f in d in g   g lo b al  o p tim u m   an d   also   p r o m o te  s p ee d   o f   c o n v er g en ce   es p ec ially   in   p r esen ce   o f   n ar r o w - cu r v ed   v alley   an d   s u f f icien d escen p r o p er t y   o f   alg o r ith m   co n v er g e n ce .   T h u s ,   in   o u r   alg o r ith m s ,   we  ar en jo y ab le  t o   g et  b en ef its   f r o m   th eir   p r o p er ties .   L astl y ,   o u r   n u m er ical  r esu lts   s h o th at  o u r   n ew  alg o r ith m s   h av co m p etitiv e   with   th s tan d ar d   s elf - s ca lin g   B FGS  m eth o d   an d   h a v r o b u s n u m e r ical  r esu lts   as  co m p ar ed   to   th e   n o n - m o n o to n ( s elf - s ca lin g   B FGS)  alg o r ith m   h ad   p r o p o s ed .       ACK NO WL E DG E M E NT S   T h r esear ch   is   s u p p o r ted   b y   th C o lleg o f   C o m p u ter   Scien ce s   an d   Ma th em atics,  Un iv er s ity   o f   Mo s u l,  R ep u b lic  o f   I r aq .   T h au th o r   d ec lar es th at  th er a r n o   co n f licts   o f   in ter est r eg ar d i n g   th is   wo r k .         RE F E R E NC E   [1 ]   P.   I.   To i n t,   An   a ss e ss m e n o n o n - m o n o t o n e   li n e a se a rc h   tec h n iq u e   fo r   u n c o n stra i n e d   o p ti m iza ti o n ,   S I A M   J o u rn a o n   S c ien ti fi c   C o mp u ti n g ,   v o l.   1 7 ,   n o .   3 ,   p p .   7 2 5 - 7 3 9 ,   1 9 9 6 ,   d o i:   1 0 . 1 1 3 7 /S 1 0 6 4 8 2 7 5 9 4 2 7 0 2 1 X.    [2 ]   S .   S .   Ore n ,   S e lf - S c a li n g   Va riab le  M e tri c   (S S V M Alg o rit h m s.  P a rt  II:  Im p lem e n tatio n   a n d   Ex p e rime n ts ,   M a n a g e me n S c ien c e ,   v o l .   2 0 ,   n o .   5 ,   p p .   8 6 2 - 8 7 4 ,   1 9 7 4 .     [3 ]   S .   S .   Ore n   a n d   D .   G .   Lu n e rb e rg e r,   S e lf - S c a li n g   Va riab le  M e tri c   a lg o rit h m .   P a rt  I Crit e ria  a n d   S u fficie n t   Co n d it io n s f o S c a li n g   a   Clas s o Alg o rit h m s ,   M a n a g e me n S c ien c e ,   v o l .   2 0 ,   n o .   5 ,   p p .   8 4 5 - 8 6 2 ,   1 9 7 4 .   [4 ]   D. - H .   Li   a n d   M .   F u k u sh ima ,   m o d ifi e d   BF G S   m e th o d   a n d   it s   g lo b a l   c o n v e rg e n c e   in   n o n - c o n v e x   m in imiz a ti o n ,   J o u rn a o Co m p u t a ti o n a a n d   Ap p li e d   M a t h e ma ti c s ,   v o l.   1 2 9 ,   n o .   1 - 2 ,   p p .   1 5 - 3 5 ,   2 0 0 1 ,     d o i:   1 0 . 1 0 1 6 /S 0 3 7 7 - 0 4 2 7 ( 0 0 ) 0 0 5 4 0 - 9 .     [5 ]   L.  Zh a n g ,   a n d   J.  Li ,   n e g lo b a li z a ti o n   tec h n i q u e   fo n o n li n e a c o n ju g a te  g ra d ie n m e th o d fo n o   c o n v e x   m in imiz a ti o n ,   A p p l ied   M a t h e ma ti c a n d   c o mp u t a ti o n ,   v o l .   2 1 7 ,   n o .   2 4 ,   p p .   1 0 2 9 5 - 1 0 3 0 4 ,   2 0 1 1   d o i:   1 0 . 1 0 1 6 /j . a m c . 2 0 1 1 . 0 5 . 0 3 2 .   [6 ]   M .   J.  D .   P o we ll ,   S o m e   g l o b a l   c o n v e rg e n c e   p r o p e rti e o a   v a ri a b le  m e tri c   a lg o ri th m   f o m in imiz a ti o n   wit h o u t   e x a c li n e   se a rc h e s,”   No n li n e a p ro g ra mm i n g ,   S l a m - AM S   Pr o c e e d in g s ,   v o l .   9 ,   p p .   5 3 - 7 2 ,   1 9 7 6 .     [7 ]   J.  J.  M o re ,   B.   S .   G a rb o w,  a nd  K.   E.   Hill stro m ,   Tes ti n g   Un c o n str a in e d   o p ti m iza ti o n   s o ftwa re ,   ACM   T ra n sa c ti o n s   o n   M a t h e ma ti c a S o ft w a re ,   v o l.   7 ,   n o .   1 ,   p p .   1 7 - 4 1 ,   1 9 8 1 ,   d o i 1 0 . 1 1 4 5 / 3 5 5 9 3 4 . 3 5 5 9 3 6 .     [8 ]   G .   Li u ,   J.  Ha n ,   a n d   D.   S u n ,   G lo b a c o n v e rg e c e   o t h e   b f g a lg o ri th m   with   n o n m o n o t o n e   li n e se a rc h   th is  w o rk   is  su p p o rted   b y   n a ti o n a n a tu ra sc i e n c e   fo u n d a ti o n $ e f,   A   J o u r n a l   o M a t h e ma ti c a l   Pro g ra mm in g   a n d   O p e ra ti o n s   Res e a rc h ,   v o l.   3 4 ,   n o .   2 ,   p p .   1 4 7 - 1 5 9 ,   1 9 9 5 ,   d o i:   1 0 . 1 0 8 0 / 0 2 3 3 1 9 3 9 5 0 8 8 4 4 1 0 1 .     [9 ]   L.   Li u ,   S .   Ya o ,   a n d   Z.   Wei,   Th e   g lo b a a n d   s u p e rli n e a c o n v e rg e n c e   o a   n e w n o n - m o n o t o n e   M B F G S   a lg o rit h m   o n   c o n v e x   o b jec ti v e   fu n c ti o n ,   J o u rn a o C o mp u ta ti o n a a n d   Ap p li e d   M a th e ma t ics ,   v o l.   2 2 0 ,   n o .   1 - 2 ,   p p .   4 2 2 - 4 3 8 ,   2 0 0 8 ,   d o i:   1 0 . 1 0 1 6 / j. c a m . 2 0 0 7 . 0 8 . 0 1 7 .     [1 0 ]   Y.  Xio ,   H.   S u n ,   a n d   Z.  W a n g ,   g lo b a l ly   c o n v e r g e n B F G S   m e th o d   wit h   n o n - m o n o t o n e   li n e   se a rc h   fo n o n - c o n v e x   m in imiz a ti o n ,   J o u r n a o Co m p u t a ti o n a a n d   Ap p li e d   M a t h e ma ti c s ,   v o l.   2 3 0 ,   n o .   1 ,   p p .   9 5 - 1 0 6 ,   2 0 0 9 ,     d o i:   1 0 . 1 0 1 6 /j . c a m . 2 0 0 8 . 1 0 . 0 6 5 .     Evaluation Warning : The document was created with Spire.PDF for Python.
I n d o n esian   J   E lec  E n g   &   C o m p   Sci     I SS N:  2502 - 4 7 5 2       Mo d ified   limited - mem o r B r o yd en - F letch er - Go ld fa r b - S h a n n o   a lg o r ith fo r     ( Mu n a   M.  M.  A li )   1035   [1 1 ]   H.  C.   Zh a n g   a n d   W.   W.   Ha g e r ,   n o n - m o n o to n e   l in e   se a rc h   tec h n iq u e   a n d   it a p p li c a ti o n   to   u n c o n stra i n e d   o p ti m iza ti o n ,   S I AM   J o u rn a o n   Op ti miz a ti o n ,   v o l .   1 4 ,   n o .   4 ,   p p .   1 0 4 3 - 1 0 5 6 ,   2 0 0 4 ,     d o i:   1 0 . 1 1 3 7 /S 1 0 5 2 6 2 3 4 0 3 4 2 8 2 0 8 .     [1 2 ]   D.  H.   Li   a n d   M .   F u k u s h ima ,   On   G lo b a c o n v e rg e n c e   o th e   BF G S   m e th o d   fo r   n o n - co n v e x   u n c o n stra i n e d   o p ti m iza ti o n   p ro b lem s,”   S IA M   J o u rn a o n   O p ti miza ti o n ,   v o l .   1 1 ,   n o .   4 ,   p p .   1 0 5 4 - 1 0 6 4 ,   2 0 0 1 ,     d o i:   1 0 . 1 1 3 7 /S 1 0 5 2 6 2 3 4 9 9 3 5 4 2 4 2 .   [1 3 ]   Y.  H.  Da i,   On   t h e   n o n - m o n o to n e   li n e   se a rc h ,   J o u rn a o f   Op ti mi za ti o n   T h e o ry   a n d   A p p li c a ti o n s ,   v o l.   1 1 2 ,   n o .   2 ,   p p .   3 1 5 - 3 3 0 ,   2 0 0 2 ,   d o i:   1 0 . 1 0 2 3 / A:1 0 1 3 6 5 3 9 2 3 0 6 2 .     [1 4 ]   I.   Bo n g a rtz,   A.   R.   C o n n ,   N.   I.   M .   G lo u d ,   a n d   P .   L.   T o in t ,   CUTE:   Co n stra in e d   a n d   Un c o n stra in e d   Tes ti n g   En v ir o n m e n t ,   ACM   T ra n sa c t io n o n   M a th e ma t ica S o ft w a re ,   v o l.   2 1 ,   n o .   1 ,   p p .   1 2 3 - 1 6 0 ,   1 9 9 5 ,     d o i:   1 0 . 1 1 4 5 /2 0 0 9 7 9 . 2 0 1 0 4 3 .     [1 5 ]   W.   F .   M a sc a re n h a s,  Th e   B F GS  m e th o d   wit h   e x a c l in e   se a rc h e fa il fo r   n o n - c o n v e x   o b jec t iv e   fu n c ti o n s,”   M a t h e ma ti c a l   Pro g ra mm in g ,   v o l .   9 9 ,   p p .   4 9 - 6 1 ,   2 0 0 4 ,   d o i 1 0 . 1 0 0 7 /s1 0 1 0 7 - 0 0 3 - 0 4 2 1 - 7 .     [1 6 ]   M .   M il a d i n o v ic,  P .   S tan imir o v ic,   a n d   S .   M il j k o v ic ,   S c a lar  c o rre c ti o n   m e th o d   f o s o lv in g   lar g e   sc a le  u n c o n stra i n e d   M in imiz a ti o n   P ro b lem s,”   J o u rn a o O p ti miza ti o n   T h e o ry   a n d   Ap p li c a t io n s ,   v o l .   1 5 1 ,   p p .   3 0 4 - 3 2 0 ,   2 0 1 1 ,     d o i:   1 0 . 1 0 0 7 /s1 0 9 5 7 - 0 1 1 - 9 8 6 4 - 9 .     [1 7 ]   G .   E.   M a n o u ss a k is,  D.   G .   S o ti r o p o u lu s,   C.   A.   Bo tsa ris,   a n d   T.   N .   G ra p sa ,   n o n - m o n o to n e   C o n ic  M e th o d   f o r   Un c o n stra in e d   Op t imiz a ti o n ,   in   Pro c e e d in g o 4 th   GR ACM ,   Co n g re ss   o n   C o mp u ta t io n a l   M e c h a n ics ,   2 0 0 2 ,     p p .   2 7 - 2 9 .     [1 8 ]   J.  No c e d a a n d   S .   J.   Wr i g h t ,   Nu m e rica Op ti m iza ti o n ,   S p rin g e r ,   2 0 0 6 ,   d o i:   1 0 . 1 0 0 7 / 9 7 8 - 0 - 3 8 7 - 4 0 0 6 5 - 5   [1 9 ]   M .   A1 - Ba ll a n d   H.  K h a lfan ,   c o m b in e d   c las o se lf - s c a li n g   a n d   m o d ifi e d   Qu a si - Ne wto n   m e th o d s,”   Co mp u t a ti o n a O p ti miza ti o n   a n d   Ap p li c a ti o n s ,   v o l .   5 2 ,   n o .   2 ,   p p .   3 9 3 - 4 0 8 ,   2 0 1 2 ,   d o i 1 0 . 1 0 0 7 /s 1 0 5 8 9 - 0 1 1 - 9 4 1 5 - 1 .     [2 0 ]   K.  Am in i,   S .   Ba h ra m a n d   S .   Am iri ,   N o n - m o n o to n e   M o d if ied   BF G S   Alg o rit h m   f o N o n - c o n v e x   Un c o n stra in e d   Op ti m iza ti o n   p ro b lem s,”   Fi l o ma t ,   v o l .   3 0 ,   n o .   5 ,   p p .   1 2 8 3 - 1 2 9 6 ,   2 0 1 6 ,   d o i:   1 0 . 2 2 9 8 / F IL1 6 0 5 2 8 3 A .   [ 2 1 ]   G .   C h a o   a n d   Z .   D e t o n g ,   non - m o n o t o n e   l i n e   s e a r c h   f i l t e r   m e t h o d   w i t h   r e d u c e d   H e s s i a n   u p d a t i n g   f o r   n o n l i n e a r   o p t i m i z a t i o n ,   J o u r n a l   o f   S y s t e m s   S c i e n c e   a n d   C o m p l e x i t y ,   v o l .   2 6 ,   p p .   5 3 4 - 5 5 5 ,   2 0 1 3 ,   d o i :   1 0 . 1 0 0 7 / s 1 1 4 2 4 - 012 - 0036 - 2.   [2 2 ]   Y.  Z.   Yu a n ,   m o d ifi e d   B F G S   a lg o rit h m   fo r   u n c o n stra i n e d   o p t i m iza ti o n ,   IM A   J o u r n a l   o f   Nu me ric a An a lys is v o l.   1 1 ,   n o .   3 ,   p p .   3 2 5 - 3 3 2 ,   1 9 9 1 ,   d o i:   1 0 . 1 0 9 3 /i m a n u m / 1 1 . 3 . 3 2 5 .     [2 3 ]   J.  Zh a n g ,   Y.  Xia o ,   a n d   Z.   Wei,   No n li n e a Co n ju g a te  g ra d ien t   m e th o d wit h   su fficie n d e sc e n c o n d it io n   fo r   larg e - sc a le  u n c o n stra in e d   o p ti m iza ti o n ,   M a th e m a ti c a Pr o b lem i n   En g in e e rin g ,   v o l.   2 0 0 9 ,   p p .   1 - 1 6 ,   2 0 0 9 ,     d o i:   1 0 . 1 1 5 5 /2 0 0 9 / 2 4 3 2 9 0 .   [2 4 ]   R.   Z.   Al - Ka wa z ,   A.  Y.  A Ba y a ti ,   a n d   M .   Ja m e e l,   In tera c ti o n   b e twe e n   u n - u p d a ted   F R - CG   a lg o rit h m wit h   a n   o p ti m a Cu c k o o   a l g o ri th m ,   I n d o n e sia n   J o u r n a o El e c trica En g i n e e rin g   a n d   Co mp u ter   S c i e n c e   (IJ EE CS )   v o l.   1 9 ,   n o .   3 ,   p p .   1 4 9 7 - 1 5 0 4 ,   2 0 2 0 ,   d o i:   1 0 . 1 1 5 9 1 / ij e e c s.v 1 9 . i3 . p p 1 4 9 7 - 1 5 0 4 .     [2 5 ]   A.  Y.  Al - Ba y a ti   a n d   M .   S.   Ja m e e l ,   Ne S c a led   P ro p o se d   F o rm u las   fo r   C o n j u g a te  G ra d ien M e th o d i n   Un c o n stra in e d   Op ti m iza ti o n ,   AL - Ra fi d a i n   J o u rn a o Co m p u te S c ien c e a n d   M a th e ma ti c s,  v o l.   1 1 ,   n o .   2 ,     p p .   2 5 - 4 6 ,   2 0 1 4 ,   d o i:   1 0 . 3 3 8 9 9 /cs m j. 2 0 1 4 . 1 6 3 7 4 8 .   [2 6 ]   S .   Hu a n g   a n d   Z .   Wan ,   n e w n o n m o n o to n e   sp e c tral  re sid u a m e th o d   f o n o n sm o o th   n o n li n e a e q u a t io n s ,   J o u rn a l   o c o m p u t a ti o n   a n d   a p p li e d   m a th e ma ti c s ,   v o l .   3 1 3 ,   n o .   C,   p p .   8 2 - 1 0 1 ,   2 0 1 7 ,   d o i:   1 0 . 1 0 1 6 /j . c a m . 2 0 1 6 . 0 9 . 0 1 4 .   [2 7 ]   A.  Z.   M .   S o fi ,   M .   M a m a t,   I.   M o h d ,   a n d   B.   S .   P u tra,   An   Im p ro v e d   BF G S   S e a rc h   Dire c ti o n   u sin g   E x a c Li n e   S e a rc h   fo S o lv in g   Un c o n stra i n e d   O p ti m iza ti o n   P ro b lem s,  Ap p li e d   M a t h e ma ti c a l   S c ien c e s ,   v o l   7 ,   n o .   2 ,   p p .   7 3 - 8 5 ,   2 0 1 3 ,   d o i:   1 0 . 1 2 9 8 8 /A M S . 2 0 1 3 . 1 3 0 0 7 .     [2 8 ]   A .   Y Al - Ba y a ti   a n d   M .   M .   M .   Ali,   Ne m u lt i - ste p   th re e - term   c o n ju g a te  g ra d ien a l g o rit h m with   in e x a c li n e   se a rc h s,”   In d o n e sia n   J o u r n a l   o El e c trica l   En g i n e e rin g   a n d   Co mp u ter   S c ien c e   (IJ EE C S ) ,   v o l.   1 9 ,   n o .   3 ,     p p .   1 5 6 4 - 1 5 7 3 ,   2 0 2 0 ,   d o i:   1 0 . 1 1 5 9 1 /i jee c s.v 1 9 . i3 . p p 1 5 6 4 - 1 5 7 3 .         B I O G RAP H Y   O F   AUTHO       Mu n a   M.   M.   Ali ,   Tea c h i n g   i n   th e   De p a rtme n o M a t h e m a ti c s,   Co ll e g e   o f   Co m p u ters   S c ien c e a n d   M a th e m a ti c s,  M o s u U n iv e rsit y ,   Al - M a jmo a a   S tree t,   M o su l ,   Ira q .   I   c o m p lete d   m y   P h i n   Nu m e rica o p ti m iza ti o n h a v e   1 2   n a ti o n a a n d   i n ter n a ti o n a p u b li s h e d   j o n a n d   sin g le res e a rc h   p a p e rs .   Ema il m u n a m o h 7 4 @u o m o su l . e d u . iq     Evaluation Warning : The document was created with Spire.PDF for Python.