I nd o ne s ia n J o urna l o f   E lect rica l En g ineering   a nd   Co m p u t er   Science   Vo l.   22 ,   No .   3 J u n 2 0 2 1 ,   p p .   1 6 4 3 ~ 1 6 4 9   I SS N:  2 5 02 - 4 7 5 2 ,   DOI : 1 0 . 1 1 5 9 1 /i j ee cs.v 2 2 .i 3 . p p 1 6 4 3 - 1 6 4 9          1643       J o ur na l ho m ep a g e h ttp : //ij ee cs.ia esco r e. co m   T w o - v ersio ns o descent  co njuga te  g ra dient  m et ho ds for   la rg e - sca le uncon stra ined opti m i z a tion       H a w r a N.   J a bb a r 1 B a s i m   A.   H a s s a n 2   1 De p a rtme n o f   M a th e m a ti c s Co ll e g e   o f   S c ien c e s Un iv e rsit y   o f   Kirk u k ,   Ira q   2 De p a rtme n o f   M a th e m a ti c s,  Co ll e g e   o f   Co m p u ters   S c ien c e s a n d   M a th e m a ti c s,  Un iv e rsit y   o f   M o su l,   I ra q       Art icle  I nfo     AB ST RAC T   A r ticle  his to r y:   R ec eiv ed   Mar   21 2 0 2 1   R ev i s ed   Ma y   4 2021   A cc ep ted   Ma y   5 2021       T h e   c o n ju g a te  g ra d ien m e th o d s   a re   n o ted   t o   b e   e x c e e d in g ly   v a lu a b le  f o r   so lv in g   larg e - sc a le  u n c o n stra in e d   o p t im iza ti o n   p ro b lem sin c e   it   n e e d n ' th e   sto ra g e   o f   m a tri c e s.  M o stly   th e   p a ra m e ter  c o n ju g a te  is  t h e   f o c u f o c o n ju g a te  g ra d ien t   m e th o d s.   T h e   c u rre n t   p a p e r   p r o p o s e n e w   m e th o d s   o p a ra m e ter  o f   c o n ju g a te  g ra d ien ty p e   to   so lv e   p r o b lem o f   larg e - s c a le   u n c o n stra in e d   o p ti m iza ti o n .   A   He ss ian   a p p ro x im a ti o n   in   a   d iag o n a m a tri x   f o r m   o n   th e   b a sis  o f   se c o n d   a n d   th ir d - o r d e T a y lo se ries   e x p a n sio n   w a e m p lo y e d   in   t h is  stu d y .   T h e   su ff icie n d e sc e n p r o p e rty   f o th e   p r o p o se d   a lg o rit h m   a re   p ro v e d .   T h e   n e w   m e th o d   w a c o n v e rg e d   g lo b a ll y .   T h is  n e a lg o rit h m   is  f o u n d   to   b e   c o m p e ti ti v e   to   th e   a lg o rit h m   o f   f letc h e r - re e v e (F R)   in   a   n u m b e o f   n u m e rica e x p e ri m e n ts .   K ey w o r d s :   Glo b al  co n v er g e n ce   p r o p er ty   N u m er ical  ex p er i m en t s   Un co n s tr ain ed   o p ti m iza tio n s   Ver s io n s   o f   c o n j u g ate  g r ad ien   T h is i a n   o p e n   a c c e ss   a rticle   u n d e r th e   CC B Y - SA   li c e n se .     C o r r e s p o nd ing   A uth o r :   B asi m   A .   Has s an   Dep ar t m en t o f   Ma th e m at ics   C o lleg o f   C o m p u ter s   Scie n ce s   an d   Ma th e m atic s   Un i v er s it y   o f   Mo s u l,  I r aq   E m ail:   b asi m a h @ u o m o s u l.e d u . iq       1.   I NT RO D UCT I O N     T h p r o b lem   o f   u n co n s tr ai n ed   o p tim iza tio n   i s   g e n er all y   f o r m u lated   as:     { ( ) | }   ( 1 )     w h er : 1   is   f u n ctio n   th at  is   co n tin u o u s ly   d if f er en tiab le.   Nu m er o u s   f am o u s   tech n iq u es  ar f o u n d   f o r   s o lv in g   ( 1 ) h o w ev er ,   th co n j u g ate  g r ad ien ( C G)   tech n iq u es  ar th m ain ly   ch ar ac ter ized   o n e s .   New to n   tech n iq u is   f am o u s   if   th g r ad ien m atr ix   is   n o n   n eg ativ d ef in ite,   f o r   m o r d etails  s ee   [ 1 ] .   T h ese   CG - tech n iq u es  ar in   th v ar iety   o f   iter atio n s   k n o w n   b y :     0 , + 1 = +   ( 2 )     w h er k   is   th s tep   len g th ,   as  r u le  o b tain ed   b y   th W o lf lin s ea r ch :     ( ) ( + )   ( 3 )     ( + )   ( 4 )     Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 5 0 2 - 4752   I n d o n esia n   J   E lec  E n g   &   C o m p   Sci,   Vo l.  22 ,   No .   3 J u n 2 0 2 1   :   1 6 4 3   -   1 6 4 9   1644   w h er 0 < < < 1 T h iter ativ s ea r ch er   d ir ec tio n s   k S   CG - tec h n iq u e   ar ca lcu lated   as:     0 = 0 , + 1 = + 1 +   ( 5 )     a th is   p o in   is   s ca lar   g iv en   as  th p ar am eter   o f   co n j u g ate  g r ad ien t,   + 1 d en o tes  g r ad ien o f ( + 1 )   at  th p o in ts   + 1 = + 1   an = + 1 .   T h n ex t su f f icien d escen t state  ( 6 ) :     + 1 + 1 + 1 2   ( 6 )     A   lo u s ed   f o r   an al y zin g   t h w o r ld w id C G - tec h n iq u e   co n v er g e n ce   in   m i x t u r w i th   in e x ac t   tech n iq u es  o f   li n s ea r ch   [ 2 ] .   In   th tec h n iq u o f   q u a s i - Ne w to n   ( QN) ,   th d ir ec tio n   o f   s ea r ch   is   ca lc u lated   u s i n g   an   ap p r o x i m at io n   o f   t h Hess ia n   m atr ix   i n v er s e.   I n   m e t icu lo u s   ( 5 )   is   ch an g ed   b y :     + 1 = + 1 1 + 1   ( 7 )     w h er b y   t h Hes s ia n   m a tr ix   + 1 = + 1 = 2 ( + 1 )   is   u p d ated   d u r in g   t h iter atio n s.   Mo r d etails  ca n   b f o u n d   in   [3 ] [ 4 ] .   I n   m o d er n   y ea r s ,   d iv er s it y   o f   C G - f o r m u las  w as   k n o w n ,   m aj o r ly ,   d i f f er en ce s   ar in   th e   p ar am eter   ,   th w o r k   b y   d is c u s s ed   d etails  o n   s o m C G - tec h n i q u s   w it h   s p ec ial  e m p h a s is   o n   t h eir   w o r ld w id e   co n v er g e n ce .   Fu r t h er m o r e,   th d esig n   o f   C G - tec h n iq u es   h ad   b ee n   s tu d ied   b y   m a n y   o f   r esear ch er s   f o r   ar ch et y p r ef er   to   [ 5 ] - [ 1 0 ] .   I n   th is   p ap er ,   th n ew   p r o p o s ed   m eth o d   is   s o lv ed   b y   s ec o n d   an d   th ir d - o r d er   T ay lo r - s er ies.  T h s u b s eq u en s ec tio n s   o f   s tu d y   ar o r g an ized   in   th is   w ay th s ec o n d   s ec tio n   p r esen ts   th o u tlin es  o f   th n ew   alg o r ith m   an d   th d er iv in g   n ew   f o r m u la .   So m in ter esti n g   th co n v er g en ce   an aly s is   o f   th n ew   alg o r ith m   p r esen ted   in   th th ir d   s ec tio n .   R esu lts   o f   th cu r r en n u m er ical  ex p er im en ts   ar p r esen ted   in   th f o u r th   s ec tio n   b y   u s in g   th test   p r o b lem s   f o u n d   in   [ 1 1 ] .   Fin ally ,   th f if th   s ec tio n   p r es en ts   s o m o b v io u s   f in d in g s .       2.   NE CO NJ U G A T E   G R ADIE NT   M E T H O D   T h is   s ec tio n   d e v elo p s   n e w   C G - m eth o d   o n   t h b asi s   o f   ap p r o x i m ati n g   t h Hes s i an   w it h   s y m m etr ic  p o s itiv e - d e f in ite  m atr i x .   No w ,   th s ec o n d   an d   th ir d - o r d er   T ay lo r - s er ies   ap p r o x i m atio n   i s   e m p lo y ed   to     at  th p o in   ca n   b w r itte n   as b y   f o llo w in g   t h s a m ap p r o ac h es a s   i n   [ 1 2 ]   as:     ( ) = ( + 1 ) + 1 + 1 2 + 1 , = + 1 + 1 + 1 2 + 1 + 1 6 + 1   ( 8 )     w h er e   + 1   is   th ten s o r   o f   f   at  th p o in + 1 .   T h en ,   b y   u s i n g   + 1 = 0   in   s ec o n d   - o r d er   T ay lo r - s er ies,   th n e x t r elatio n   ( 9 )   is   o b tain ed :     + 1 = 2 ( ( ) ( + 1 ) )   ( 9 )     t h r elatio n   ( 1 0 )   is   o b tain ed   b y   th ir d - o r d er   T ay lo r - s er ies ex p r ess io n s :     + 1 = + 6 ( + 1 ) + 3 ( + 1 + )   ( 1 0 )     t h e   s t e p   s i z e     i s   d et e r m in e d   b y   m an y   a lg o r it h m s .   I n   ex a c t   l in e   s e a r ch   th e   s t e p   le n g t h     i s   s e le c te d   a s   ( 1 1 ) .     =   ( 1 1 )     F r o m   s o m alg eb r a,   th ( 1 2 )   is   o b tain ed :     + 1 = ( ) ( + 1 ) 2 , + 1 = 1 2 + 3 ( + 1 ) + 3 2 + 1 +   ( 1 2 )     b y   ( 1 2 ) ,   th ( 1 3 )   is   d er iv ed   an d   d en o te  b y   + 1   an d   as  f o llo w s :     + 1 = ( ) ( + 1 ) / 2 × , + 1 = 1 2 + 3 ( + 1 ) + 3 2 + 1 + ×   ( 1 3 )   Evaluation Warning : The document was created with Spire.PDF for Python.
I n d o n esia n   J   E lec  E n g   &   C o m p   Sci     I SS N:  2502 - 4752       Tw o - ve r s io n s   o f d escen t   co n ju g a te  g r a d ien t m eth o d s   fo r   la r g e - s ca le     ( Ha w r a z   N .   Ja b b a r )   1645   t h en ,   it c an   b w r itten   as:     + 1 = ( ( ) ( + 1 ) 2 ) + 1 , + 1 = ( 1 2 + 3 ( + 1 ) + 3 2 + 1 + ) + 1   ( 1 4 )     b y   u s th co n j u g ac y   co n d itio n   + 1 = 0   d u to   th co n j u g ac y   o f   N ew to n   d ir ec tio n s   w ith   ex ac lin s ea r ch es .       + 1 = ( ( ) ( + 1 ) / 2 ) + 1 = 0   + 1 = ( 1 2 + 3 ( + 1 ) + 3 2 + 1 + ) + 1 = 0   ( 1 5 )     Sim ilar ly ,   b y   u s in g   C m eth o d s   f o r   q u ad r atic  f u n ctio n s   w ith   ex ac lin s ea r ch es,  f o r m u la  ( 1 6 )   is   o b tain ed :     + 1 = + 1 + = 0   ( 1 6 )     f r o m   ( 1 5 )   an d   ( 1 6 ) ,   th e   ( 1 7   an d   b )   is   d er iv ed   as f o llo w s :     ( ( ) ( + 1 ) / 2 ) + 1 = + 1 +   ( 1 / 2 + 3 ( + 1 ) + 3 / 2 + 1 + ) + 1 = + 1 +   ( 1 7   a)     f r o m   ab o v eq u atio n ,   w g et:     = ( ( ) ( + 1 ) / 2 ) + 1 + + 1   = ( 1 / 2 + 3 ( + 1 ) + 3 / 2 + 1 + ) + 1 + + 1   ( 1 7   b )     t h en ,   th f o llo w in g   eq u atio n s   ar o b tain ed :    = ( 1 ( ) ( + 1 ) / 2 ) + 1 ,  = ( 1 1 2 + 3 ( + 1 ) + 3 2 + 1 + ) + 1   (1 8 )     p u ttin g   ( 1 8 )   in   ( 5 ) ,   w o b tain e d :     + 1 = + 1 + ( 1 ( ) ( + 1 ) / 2 ) + 1   + 1 = + 1 + ( 1 1 2 + 3 ( + 1 ) + 3 2 + 1 + ) + 1   ( 1 9 )     f o r   s im p licity ,   eq u atio n   ( 1 9 )   is   ca lled   b y     m eth o d .   A ls o ,     ca n   b w r itten   in   th is   w ay   an d   d en o ted   b y     an d   :     = 1 ( 1 2 ) + 1 , = 1 ( 2 2 ) + 1       w h er e ,     1 = ( ) 2 2 [ ( ) ( + 1 ) 2 ] , 2 = ( ) 2 2 [ 1 2 + 3 ( + 1 ) + 3 2 + 1 + ]       Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 5 0 2 - 4752   I n d o n esia n   J   E lec  E n g   &   C o m p   Sci,   Vo l.  22 ,   No .   3 J u n 2 0 2 1   :   1 6 4 3   -   1 6 4 9   1646   On   th b asis   o f   ab o v d is cu s s io n ,   th i s   s ec tio n   d escr ib es  th alg o r ith m   f r a m o f   t h is   s tu d y   w it h o u t   f i x ed   lin s ea r c h   in   t h i s   w a y .   Ne w   a l g o r ith m s   ( B T an d   B T C   a lg o r it h m s ) :   Step   1 :   Giv e 1 ,   > 0 Se t 1 = 1 , = 1 .   If   1 1 0 6 ,   th en   s to p .   Step   2 C o m p u te    s atis f y in g   th co n d itio n s   (3 - 4) .   Step   3 :   L et  + 1 = +   an d + 1 = ( + 1 ) If   + 1 1 0 6 ,   th en   s to p .     Step   4 :   C o m p u te    b y   th f o r m u lae   ( 1 2 )   th en   g en er ate  + 1   b   y   eq u atio n   ( 1 3 )   Step   5 :   Set   k   =   k   1   an d   co n ti n u w i th   s teg 2       3.   CO NVER G E NT   A NAL YSI S   T h f o llo w i n g   s ec tio n   p r o v es   th p r o p er ty   o f   g lo b al  co n v er g en ce   o f   n e w   m eth o d .   T h eo r em   3 . 1   d em o n s tr ate s   th a th d ir ec tio n   o f   s ea r c h   in   al g o r it h m s   is   c o n tin u o u s l y   s u f f icie n d esce n t   b ased   o n   n o   lin e   s ea r ch .   T h p r o p er ty   o f   s u f f i cien d esce n is   o n o f   t h i m p o r ta n p r o p er ties   o f   th all   co n j u g ate  g r ad ie n t   m et h o d s .     3 . 1 .     T heo re m   L et  , , + 1 ,   an d   = 1 ( 2 ) + 1 ,   w h er e   ( 1 / 4 , ) .   I f   0 ,   t h en   + 1 + 1 [ 1 1 / 4 ] + 1 2 .     P r o o f :   Sin ce   0 = 0 ,   w h av 0 0 = 0 2 ,   s atis f y in g   ( 6 ) .   T h r o u g h   m u ltip ly in g   ( 1 9 )   b y   + 1   ( 2 0 )   is   o b tain ed :     + 1 + 1 = + 1 2 + ( + 1 2 ( ) 2 + 1 ) + 1   ( 2 0 )     y ield in g     + 1 + 1 = ( + 1 ) ( + 1 ) ( ) + 1 2 ( ) 2 2 ( + 1 ) 2 ( ) 2   ( 2 1 )     T h in eq u ality   1 2 ( 2 + 2 )   is   ap p lied   w ith   = 1 ( ) + 1   an d   = ( + 1 ) w h er ( 1 2 , 2 ] ,   to   th f ir s ter m   o f   th ab o v eq u ality ,   th e   ( 2 3 )   is   o b tain ed :     ( + 1 ) ( + 1 ) ( ) 1 2 [ 1 2 ( ) 2 + 1 2 + 2 ( + 1 ) 2 2 ]   ( 2 2 )     t h is   y ield s ,     + 1 + 1 [ 1 2 2 1 ] ( ) 2 + 1 2 + [ 2 2 ] ( + 1 ) 2 2 ( ) 2   ( 2 3 )     Fro m   ( 1 8 ) ,   th e   ( 2 4 )   is   d er iv ed   as f o llo w s :     + 1 + 1 [ 1 2 2 1 ] + 1 2 [ 1 1 2 2 ] + 1 2   ( 2 4 )     T h er ef o r e,   th ( 2 5 )   is   o b tain ed :     + 1 + 1 [ 1 1 4 ] + 1 2   ( 2 5 )     C o n s eq u en tly ,   it is   n ec ess ar y   to   h av A s s u m p tio n   3 . 2   f o r   an aly zin g   th g lo b al  co n v er g en ce   o f   a lg o r ith m s .       3 . 2 .    Ass u m ptio n   i.   T h lev el  s et = { | ( ) ( 0 ) }   is   co n s tr ai n ed .     ii.   I n   n u m b er   o f   ar ea s ,     an d   , ( )   a r co n tin u o u s l y   d i f f er e n tiab le  an d   th eir   g r ad ie n t id   L ip s c h itz   is   co n tin u o u s ,   i.e . ,   co n s tan > 0   ex is ts ,   li k th a t :     Evaluation Warning : The document was created with Spire.PDF for Python.
I n d o n esia n   J   E lec  E n g   &   C o m p   Sci     I SS N:  2502 - 4752       Tw o - ve r s io n s   o f d escen t   co n ju g a te  g r a d ien t m eth o d s   fo r   la r g e - s ca le     ( Ha w r a z   N .   Ja b b a r )   1647   ( ) ( ) , ,   ( 2 6 )     Un d er   th ab o v ass u m p tio n s   o n   ,   co n s tan > 0   ex is ts ,   lik th at:     + 1 >   ( 2 7 )     f o r   all  .   Mo r d etails  ca n   b f o u n d   in   [ 1 3 ]   v er if ied   th at  th n ex g en er al  r esu lt  is   ap p lied   to   an y   C m eth o d   w ith   s tr o n g   W o lf lin s ea r ch :     3 . 3 .     L e m m a   Su p p o s in g   th at  ass u m p tio n s   ( i)   an d   ( ii)  ar h eld ,   th en   co n s id er   an y   m eth o d   o f   co n j u g ate  g r ad ien ( 2 )   an d   ( 5 )   w h er + 1 is   d escen d ir ec tio n   an d   is   ac h iev ed   b y   th s tr o n g   W o lf lin s ea r ch   ( 3 )   an d   ( 4 ) .   I f :     1 + 1 2 = , 0   ( 2 8 )     t h en ,        + 1 = 0   ( 2 9 )     3 . 4 .     T heo re m   Su p p o s in g   th at  ass u m p tio n s   ar h eld ,   th en   co n s id er   m eth o d s   ( 2 )   an d   ( 5 ) ,   w h er is   d escen d ir ec tio n   w ith   an d   g iv en   b y   ( 1 8 ) ,   an d   k is   f o u n d   b y   th W o lf lin s ea r ch .   I f   th o b j ec tiv e   f u n ctio n   is   u n if o r m ly ,   th en    + 1 = 0   .       + 1 = + 1 + + 1 + | |   + 1 + ( 2 ) + 1   + 1 + + 1 + + 1 2   + 1 + + 1 + + 1   [ 1 + 1 + ] + 1 [ 2 + ] + 1   ( 3 0 )     T h is   r elatio n   s h o w s   th at :     1 + 1 2 1 ( 1 2 + ) 1 1 1 =   ( 3 1 )     b ased   o n   L e m m 1 ,    + 1 = 0   is   d er iv ed ,   w h ic h   eq u a ls    + 1 = 0   f o r   u n i f o r m l y   co n v e x   f u n ctio n .       4.   NUM E RICAL   R E SU L T S   T h is   s ec tio n   ex p lai n s   s o m n u m er ical  ex p er i m en t s   co n d u cte d   f o r   test in g   B T an d   B T C   a l g o r ith m s .   So m test   p r o b le m s   s t u d ied   b y   A n d r ei  [ 1 1 ]   w er u s ed   in   t h i s   s t u d y   ( s ee   T ab le  1 )   to   an aly ze   th ef f icie n c y   o f   th n e w   f o r m u la  f o r m ed   in   t h i s   s tu d y   i n   co m p ar is o n   t o   th m et h o d   o f   FR .   C o m p ar is o n   is   b ased   o n   iter atio n s   n u m b er   ( NI )   an d   f u n ct io n   ev alu atio n s   n u m b er   ( NF)   th C alg o r ith m s   b y   teep est  d esc en d ir ec tio n s .   I n   all   C G,   th s tep   len g t h     is   y ield ed   b y   W o lf lin s ea r ch   w i th   = 0 . 001   an d   = 0 . 9 ,   an d   th ter m i n atio n   co n d itio n   is   + 1 1 0 6 .   So m n o ted   p ap er s   ca n   b s ee   [ 1 4 ] - [ 2 5 ] .     T ab les  1   p r esen lis o f   s o m n u m er ical  r e s u l ts   o f   t h is   s t u d y .   B ased   o n   th e   cu r r en n u m er i ca r esu l ts ,   th p r o p o s ed   m et h o d s ,   B T a n d   B T C ,   h av m in i m u m   n u m b er s   o f   iter atio n s ,   r estar ts   a n d   f u n ct io n   e v alu a tio n s   in   all  i m p le m en ted   test   p r o b lem s   i n   th is   s t u d y ,   ex ce p f o r   p r o b lem s   7   an d   1 0 ,   w h er th FR   alg o r ith m   h a s   less   n u m b er s   o f   iter atio n s ,   r estar t s   an d   f u n ctio n   ev al u atio n s   a g ai n s t h n e w   p r o p o s ed   B T an d   B T C   alg o r ith m s .   Gen er all y ,   t h p er ce n tag p er f o r m a n ce   o f   th n e w   p r o p o s ed   alg o r ith m s   B T an d   B T C   ca n   b co m p u ted   as  co m p ar ed   to   th s ta n d ar d   FR   a lg o r ith m   f o r   th g e n er al  T o o ls   NI ,   NR   an d   NF  s h o w n   i n   T ab le  2 .     Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 5 0 2 - 4752   I n d o n esia n   J   E lec  E n g   &   C o m p   Sci,   Vo l.  22 ,   No .   3 J u n 2 0 2 1   :   1 6 4 3   -   1 6 4 9   1648   T ab le  1 .   C o m p ar is o n   o f   FR   a n d   n e w   al g o r ith m s   ( B T an d   B T C )   w i th   n =1 0 0   an d   n =1 0 0 0 ,   t est f u n ctio n   P .   N o   n   F R   a l g o r i t h m   B T Q   a l g o r i t h m   B T C   a l g o r i t h m   NI   NR   NF   NI   NR   NF   1   1 0 0   47   93   38   84   39   82   1 0 0 0   78   1 3 1   37   87   33   75   2   1 0 0   43   88   43   95   45   1 0 0   1 0 0 0   46   92   40   87   37   79   3   1 0 0   32   52   15   30   13   25   1 0 0 0   22   42   24   47   16   32   4   1 0 0   25   43   23   45   22   44   1 0 0 0   46   7 4 1   30   2 0 4   29   52   5   1 0 0   37   67   39   60   43   63   1 0 0 0   73   1 1 5   66   1 1 0   63   98   6   1 0 0   15   31   11   23   9   19   1 0 0 0   8   17   8   17   7   15   7   1 0 0   89   1 7 4   75   1 6 5   73   1 6 0   1 0 0 0   1 0 7   2 1 1   72   1 5 5   61   1 3 9   8   1 0 0   71   1 1 0   40   79   31   60   1 0 0 0   47   84   68   1 3 1   30   57   9   1 0 0   32   65   21   50   30   70   1 0 0 0   53   1 1 6   37   87   37   85   10   1 0 0   74   1 2 3   92   1 4 1   75   1 1 5   1 0 0 0   3 7 0   6 1 6   3 4 5   5 8 3   2 7 7   4 5 6   11   1 0 0   69   1 2 0 2   30   56   26   47   1 0 0 0   98   1 9 6 7   33   57   55   8 3 7   12   1 0 0   49   80   10   19   17   32   1 0 0 0   1 2 9   1 6 6   12   24   14   27   13   1 0 0   12   25   11   23   10   21   1 0 0 0   11   23   11   23   10   21   14   1 0 0   1 2 2   1 5 6   14   28   11   20   1 0 0 0   1 3 0   1 6 6   15   29   15   27   15   1 0 0   1 1 2   1 4 7   43   66   34   54   1 0 0 0   1 1 0   1 4 5   40   60   38   60   T o t a l       2 1 5 7   7 0 9 0   1 3 4 3   2 6 6 6   1 1 9 9   2 9 7 2       T ab le  2 .   R elativ ef f icie n c y   o f   th n e w   al g o r ith m s     FR   a l g o r i t h m   B T Q   a l g o r i t h m   B T C   a l g o r i t h m   NI   1 0 0 %   6 2 . 2 6 %   5 5 . 5 8 %   NF   1 0 0 %   3 7 . 6 0 %   4 1 . 9 1 %       P r o b lem s   n u m b er s   i n d icato r   ( T ab le   1 ) 1 )   is   th e x ten d ed   R o s en b r o ck ,   2 )   is   th e x ten d e d   W h ite  &   Ho ls t,  3 )   is   th e x ten d ed   B ea l e,   4 )   is   th g en er alize d   tr id iag o n al  1 ,   5 )   is   th g en er alize d   tr id iag o n al  2 ,   6 )   is   th e x ten d ed   P SC 1 ,   7 )   is   t h e x te n d ed   Ma r ato s ,   8 )   is   th e x ten d ed   W o o d ,   9 )   is   th e x ten d ed   q u ad r atic  p en alt y   QP 2 ,   1 0 )   is   th p ar tial  p er t u r b ed   q u ad r atic ,   1 1 )   is   th E DE NS C ( C UT E ) ,   1 2 )   is   th DE NSC HN C   ( C UT E ) ,   1 3 )   is   th DE NSC HNB   ( C UT E ) ,   1 4 )   is   th ex te n d ed   b lo ck - d iag o n al  B D2 ,   an d   15 )   is   th g en er alize d   q u ar tic   GQ2 .   Fu ll d etails o f   th e s test   p r o b lem s   ca n   b f o u n d   in   An d r ie  [ 1 1 ] .       5.   CO NCLU SI O NS   P r a c t i c a l l y ,   w h e n   t h e   c o m p l e x i t y   a n d   s i z e   o f   t h e   t e s t   p r o b l e m   i n c r e a s e ,   g r e a t e r   i m p r o v e m e n t s   c o u l d   b e   r e a l i z e d   b y   t h e   n ew   a l g o r i t h m s   b e c a u s e   t h e   n e w   p r o p o s e d   a l g o r i t h m   i s   m o r e   s t a b l e   a n d   a l w ay s   p r e s e r v e s   t h e   d e s c e n t   s e a r c h   d i r e c t i o n s .   O u r   r e p o r t e d   r e s u l t s   s h o w e d   t h a t   t h e   p r o p o s e d   m e t h o d s   a r e   e f f i c i e n t   f o r   s o l v i n g   l a r g e - s c a l c   u n c o n s t r a i n e d   o p t i m i z a t i o n .   G e n e r a l l y ,   t h e   p e r c e n t a g e   p e r f o r m a n c e   o f   t h e   n ew   p r o p o s e d   a l g o r i t h m s   B T Q   a n d   B T C   c a n   b e   c o m p u t e d   a s   c o m p a r e d   t o   t h e   s t a n d a r d   F R   a l g o r i t h m   f o r   t h e   g e n e r a l   t o o l s   N I ,   N R   a n d   N F .       ACK NO WL E D G M E NT     T h e   au th o r s   ar v er y   g r ate f u to   t h U n i v er s it y   o f   Mo s u l/ C o lleg o f   C o m p u ter s   Sci en ce s   a n d   Ma th e m a tics   a n d   Un i v er s i t y   o f   Kir k u k / C o lle g o f   Scie n c es  f o r   th eir   p r o v id ed   f ac ilit ie s ,   w h ic h   h elp ed   to   i m p r o v th q u alit y   o f   t h is   w o r k ”.       RE F E R E NC E   [1 ]   M o h d   R . ,   A b d e lr h a m a n   A . ,   M u sta fa   M . a n d   Ism a il   M . ,   T h e   Co n v e rg e n c e   P ro p e rti e o f   a   Ne w   Ty p e   o f   Co n ju g a te  G ra d ien M e th o d s,”   Ap p li e d   M a t h e ma ti c a S c ien c e s ,   v o l.   8 ,   p p .   3 3 - 4 4 ,   2 0 1 4 .   d o i:   1 0 . 1 2 9 8 8 /am s.2 0 1 4 . 3 1 0 5 7 8 .   Evaluation Warning : The document was created with Spire.PDF for Python.
I n d o n esia n   J   E lec  E n g   &   C o m p   Sci     I SS N:  2502 - 4752       Tw o - ve r s io n s   o f d escen t   co n ju g a te  g r a d ien t m eth o d s   fo r   la r g e - s ca le     ( Ha w r a z   N .   Ja b b a r )   1649   [2 ]   Yu   D.  a n d   Qin   N,  T e stin g   d iff e r e n c o n ju g a te  g ra d ien m e th o d f o larg e   sc a le  u n c o n stra in e d   o p ti m iza ti o n ,   J o u rn a o c o mp u t a ti o n a l   ma t h e ma ti c s ,   v o l.   2 1 ,   n o .   3 ,   p p .   3 1 1 - 3 2 0 ,   2 0 0 3 .   [3 ]   W a h   J .   L .   a n d   M a li k   A .   H . ,   M o d if ied   o f   th e   l im it e d   m e th o d   B F G S   a lg o rit h m   f o larg e - s c a le  n o n li n e a o p ti m iza ti o n ,   M a t h e ma ti c s J o u rn a o Ok a y a ma   Un ivv e rs it y v o l.   4 7 ,   n o .   1 ,   p p .   1 7 5 - 1 8 8 ,   2 0 0 5 .   [4 ]   M a li k   A .   H . ,   W a h   J .   L . a n d   M a n so M . ,   Co n v e rg e n c e   o f   th e   M o d if ied   BF G S   M e t h o d ,   M AT EM AT IKA v o l.   2 2 ,   n o .   1 ,   p p .   1 7 - 2 4 ,   2 0 0 6 .   [5 ]   M a g n u s   R.   H .   a n d   E d u a r d   S . ,   M e th o d   o f   c o n ju g a te  g ra d ien t f o S o lv in g   li n e a sy ste m s,”   J o u rn a o Res e a rc h   o f   th e   Na ti o n a B u re a u   o f   S t a n d a r d ,   v o l.   4 9 ,   n o .   6 ,   p p .   4 0 9 - 4 3 6 ,   1 9 5 2 .   [6 ]   R o b e rt   F .   a n d   C.   M .   Re e v e s,  F u n ti o n   m in im iza ti o n   b y   c o n jag a te  g ra d ien ts,”  T h e   Co m p u ter   J o u rn a l ,   v o l.   7 ,   n o .   2 ,   p p .   1 4 9 - 1 5 4 ,   1 9 6 4 .   d o i:   1 0 . 1 0 9 3 /c o m jn l/ 7 . 2 . 1 4 9 .   [7 ]   Ba si m   A .   Ha ss an Ha m e e d   M .   S a d iq ,   A   No n li n e a Co n ju g a te  G ra d ien M e th o d   Ba se d   o n   a   M o d if ied   S e c a n Co n d it io n ,   Ira q J o u rn a o S ta ti stica S c ien c e s ,   v o l.   1 3 ,   n o .   2 4 ,   p p .   1 - 1 6 ,   2 0 1 3 .   [8 ]   Ba si m   A .   Ha ss a n   a n d   Ha m e e d   M .   S a d i q ,   A   M o d if ied   Clas o f   Co n ju g a te  G ra d ien A lg o rit h m Ba s e d   o n   Q u a d ra ti c   M o d e f o No n l in e a Un c o n stra i n e d   Op ti m iza ti o n ,   AL - R a fi d a i n   J o u rn a o Co m p u ter   S c ien c e a n d   M a th e m a ti c s v o l.   1 1 ,   n o .   1 ,   p p .   2 5 - 3 7 ,   2 0 1 4 .   d o i:   1 0 . 3 3 8 9 9 /cs m j. 2 0 1 4 . 1 6 3 7 2 9 .   [9 ]   Ba si m   A .   Ha s sa n   a n d   Om a M .   E,   A   Ne w   su ff icie n d e sc e n Co n j u g a te  G ra d ien M e th o d   f o No n li n e a Op ti m iza ti o n ,   Ira q J o u rn a o S t a ti stica l   S c ien c e s v o l.   1 4 ,   n o .   2 6 ,   p p .   1 2 - 2 4 ,   2 0 1 4 .     [1 0 ]   P e rry   A . ,   A   m o d if ied   c o n ju g a te g ra d ien a lg o rit h m ,   Op e ra ti o n Res e a rc h v o l.   2 6 ,   n o .   6 ,   p p .   1 0 7 3 - 1 0 7 8 ,   1 9 8 7 .   [1 1 ]   A n d rie  N,  A n   Un c o n stra in e d   O p ti m iza ti o n   T e st  f u n c ti o n c o ll e c t io n ,   Ad v a n c e d   M o d e li n g   a n d   o p ti miza ti o n v o l.   1 0 ,   n o .   1 ,   p p .   1 4 7 - 1 6 1 ,   2 0 0 8 .   [1 2 ]   Zh a n g   J .   a n d   X u   C . ,   P r o p e rti e a n d   n u m e rica p e rf o r m a n c e   o f   q u a si - Ne w to n   m e th o d s   w it h   m o d if ied   q u a si - Ne w to n   e q u a ti o n s,   J o u r n a l   o f   Co mp u ta ti o n a a n d   Ap p li e d   M a th e m a ti c s v o l.   1 3 7 ,   n o .   2 ,   p p .   2 6 9 - 2 7 8 ,   2 0 0 1 ,     d o i:   1 0 . 1 0 1 6 /S 0 3 7 7 - 0 4 2 7 ( 0 0 ) 0 0 7 1 3 - 5.   [1 3 ]   Da Y.,   Ha n   J.,   L iu   G . ,   S u n   D. ,   Yin   H.,   a n d   Y u a n   Y. ,   Co n v e rg e n c e   p ro p e rti e o f   n o n li n e a r   c o n ju g a te  g ra d ien t   m e th o d s,”   S IAM   J o u r n a o n   Op ti miza ti o n ,   v o l .   1 0 ,   n o .   2 ,   p p .   3 5 4 - 3 5 8 ,   2 0 0 0 ,   d o i:   1 0 . 1 1 3 7 /S 1 0 5 2 6 2 3 4 9 4 2 6 8 4 4 3 .   [1 4 ]   W u   C.   a n d   C h e n   G. ,   Ne w   t y p e   o f   c o n ju g a te  g ra d ien a lg o rit h m f o u n c o n stra i n e d   o p ti m iza ti o n   p ro b lem s,”   in   J o u rn a o S y ste ms   E n g i n e e rin g   a n d   E lec tro n ics ,   v o l .   2 1 ,   n o .   6 ,   p p .   1 0 0 0 - 1 0 0 7 ,   De c .   2 0 1 0 ,   d o i:   1 0 . 3 9 6 9 / j. issn . 1 0 0 4 - 4 1 3 2 . 2 0 1 0 . 0 6 . 0 1 2 .   [1 5 ]   A .   A lh a w a ra a n d   Z S a ll e h ,   M o d if ic a ti o n   o f   No n li n e a Co n j u g a te G ra d ien M e th o d   w it h   W e a k   W o lf e - P o w e ll   L in e   S e a rc h ,   Ab stra c a n d   A p p li e d   A n a lys i s,  2 0 1 7   d o i:   1 0 . 1 1 5 5 /2 0 1 7 /7 2 3 8 1 3 4 .   [1 6 ]   Ba si m   A .   Ha ss a n   a n d   M o h a m m e d   W .   T a h a ,   A   Ne w   V a rian ts  o f   Qu a si - Ne w to n   E q u a ti o n   Ba se d   o n   t h e   Qu a d ra ti c   F u n c ti o n   f o Un c o n stra i n e d   O p ti m iz a ti o n ,   In d o n e sia n   J o u rn a l   o f   El e c trica E n g i n e e rin g   a n d   C o mp u ter   S c ien c e v o l.   1 9 ,   n o .   2 ,   p p .   7 0 1 - 7 0 8 ,   2 0 2 0 .   d o i:   1 0 . 1 1 5 9 1 / ij e e c s.v 1 9 . i2 . p p 7 0 1 - 7 0 8 .   [1 7 ]   Zah ra   K.  a n d   A li   A . ,   A   n e w   m o d if ied   sc a led   c o n j u g a te  g ra d ien m e th o d   f o larg e - sc a le  u n c o n stra i n e d   o p ti m iza ti o n   w it h   non - c o n v e x   o b jec ti v e   f u n c ti o n ,   O p ti miza ti o n   M e th o d s a n d   S o ft wa re v o l .   3 4 ,   n o .   4 ,   p p .   7 8 3 - 7 9 6 ,   2 0 1 8 .   [1 8 ]   Ba si m   A .   Ha ss a n ,   A   G lo b a ll y   Co n v e rg e n c e   S p e c t ra Co n ju g a te  G ra d ien M e th o d   f o S o lv in g   Un c o n stra in e d   Op ti m iza ti o n   P r o b lem s ,   AL - Ra fi d a i n   J o u rn a l   o f   C o mp u ter   S c ien c e a n d   M a t h e ma ti c s v o l.   1 0 ,   n o .   4 ,   p p .   2 1 - 2 8 ,   2 0 1 3 .   d o i:   1 0 . 3 3 8 9 9 /cs m j. 2 0 1 3 . 1 6 3 5 4 3 .   [1 9 ]   S a m a n   B.   K. ,   A n   e ig e n   v a lu e   stu d y   o n   th e   s u f f i c ien d e sc e n p ro p e rty   o f   a   m o d if ied   P o lak - Rib i -   P o lak   c o n j u g a te  g ra d ien m e th o d ,   Bu ll e ti n   o th e   Ira n ia n   M a t h e ma ti c a S o c iety ,   v o l.   4 0 ,   n o .   1 ,   p p .   2 3 5 - 2 4 2 .   [2 0 ]   Ya b e   H.  a n d   S a k a iwa   N . ,   A   n e n o n li n e a c o n j u g a te  g ra d ien m e t h o d   f o u n c o n stra i n e d   o p ti m iza ti o n ,   J o u rn a o f   th e   Op e ra ti o n Res e a ich   S o c iety   o J a p a n ,   v o l .   4 8 ,   n o .   4 ,   p p .   2 8 4 - 2 9 6 ,   2 0 0 5 .   [2 1 ]   Ya su sh N.  a n d   Hid e a k I . ,   Co n ju g a te  g ra d ien m e th o d u sin g   v a lu e   o f   o b jec ti v e   f u n c ti o n   f o u n c o n str a in e d   o p ti m iza ti o n ,   Op ti miza ti o n   L e tt e rs v o l.   6 ,   p p .   9 4 1 - 9 5 5 ,   2 0 1 2 .   [2 2 ]   L a d islav   L.   a n d   J an   V . ,   No n l in e a c o n ju g a te  g ra d ien t   m e th o d s,   Pro g ra ms   a n d   Al g o rith ms   o f   Nu me ric a l   M a th e ma ti c s ,   Pr o c e e d in g o S e min a r.  I n stit u te o M a th e m a ti c s A S   CR,   p p . 1 3 0 - 1 3 5 ,   2 0 1 5 .   [2 3 ]   Zh e n g   X .   a n d   S h Jia r o n g . ,   m o d if ied   su ff icie n d e sc e n p o lak ri b iére p o ly a k   t y p e   c o n ju g a te  g ra d ien m e th o d   f o u n c o n stra in e d   o p ti m iza ti o n   p r o b l e m s,”   Al g o rith m v o l.   1 1 ,   n o .   9 ,   p p .   1 - 1 0 ,   2 0 1 8 .   d o i:   1 0 . 3 3 9 0 /a 1 1 0 9 0 1 3 3 .   [2 4 ]   S u laim a n   I.   M ,   Ya k u b u   U.  A ,   M .   M a m a t,   A p p li c a ti o n   o f   S p e c tral  c o n ju g a te  g ra d ien M e th o d   f o S o lv i n g   Un c o n stra in e d   Op ti m iza ti o n   P r o b lem s,”   An   In ter n a ti o n a J o u r n a o O p ti miza t io n   a n d   C o n tr o l T h e o rie &   Ap p li c a ti o n v o l.   1 0 ,   n o .   2 ,   p p .   1 9 8 - 2 0 5 ,   2 0 2 0 .   d o i:   1 0 . 1 1 1 2 1 / ij o c ta. 0 1 . 2 0 2 0 . 0 0 8 5 9 .   [2 5 ]   Am in i f a rd   Z . ,   S .   Ba b a ie - Ka f a k i,   A   M o d if ied   d e sc e n P o lak R ib iére P o ly a k   c o n ju g a te  g ra d ien m e th o d   w it h   g lo b a c o n v e rg e n c e   p r o p e rty   f o n o n c o n v e x   f u n c ti o n s,”   Ca lc o lo v o l.   5 6 ,   n o .   1 6 ,   p p .   1 - 1 1 ,   2 0 1 9 .       Evaluation Warning : The document was created with Spire.PDF for Python.