I nd o ne s ia n J o urna l o f   E lect rica l En g ineering   a nd   Co m pu t er   Science   Vo l.   24 ,   No .   3 ,  Dec em b er   2 0 2 1 ,   p p .   1 5 8 9 ~ 1 5 9 5   I SS N:  2 5 0 2 - 4 7 5 2 ,   DOI : 1 0 . 1 1 5 9 1 /ijeecs.v 24 .i 3 . pp 1 5 8 9 - 1 5 9 5          1589       J o ur na l ho m ep a g e :  h ttp : //ij ee cs.ia esco r e. co m   New scaled  alg o rithm f o r  non - linea r conjug a te  g ra di ents in   unco nstra ined op timiza tion       G ha da   M .   Al - N ae mi ,   Ahm e d H .   Sh ee k o o   De p a rtme n t  o f  E n e rg y   M a th e m a ti c s,  F a c u lt y   o f  C o m p u ter  S c ien c e   a n d   M a t h e m a ti c s,  M o su l   Un i v e rsity ,   M o su l ,   Ira q       Art icle  I nfo     AB S T RAC T   A r ticle  his to r y:   R ec eiv ed   Mar   10 ,  2 0 2 1   R ev is ed   Oct   11 ,  2 0 2 1   Acc ep ted   Oct   18 ,  2 0 2 1       A  n e w  sc a led   c o n ju g a te  g ra d ien t   (S CG )  m e th o d   is  p ro p o se d   t h ro u g h o u t  t h is   p a p e r,   th e   S CG   tec h n iq u e   m a y   b e   a   sp e c ial  imp o rtan t  g e n e ra li z a ti o n   c o n ju g a te  g ra d ie n t  (CG )  m e th o d ,   a n d   it   is  a n   e fficie n t   n u m e rica l  m e th o d   f o r  so lv i n g   n o n li n e a r  larg e   sc a le  u n c o n stra in e d   o p ti m iza ti o n .   As   a   re su lt ,   we   p ro p o se d   t h e   n e w  S CG   m e th o d   with   a   stro n g   Wo lfe   c o n d it io n   ( S WC)  li n e   se a rc h   is  p ro p o se d .   T h e   p r o p o se d   tec h n i q u e ' s  d e sc e n t  p ro p e rty ,   a s  we ll   a s  it s  g lo b a l  c o n v e rg e n c e   p ro p e rty ,   a re   sa ti sfie d   with o u t  th e   u se   o f   a n y   l in e   se a rc h e s  u n d e r  so m e   su it a b le  a ss u m p ti o n s.  T h e   p ro p o se d   tec h n iq u e ' s  e fficie n c y   a n d   fe a sib i li ty   a re   b a c k e d   u p   b y   n u m e rica l  e x p e rime n ts  c o m p a rin g   th e m   to   tra d it i o n a l  CG   tec h n iq u e s .    K ey w o r d s :   C G  m eth o d   L ar g e - s ca le  n o n lin ea r   SC G  m eth o d   Su f f icien t d escen t p r o p er ty   Un co n s tr ain ed   o p tim izatio n   T h is i s  a n   o p e n   a c c e ss   a rticle   u n d e r th e   CC B Y - SA   li c e n se .     C o r r e s p o nd ing   A uth o r :   Gh ad a  M.   Al - Nae m i   Dep ar tm en t o f   Ma th em atics,  Facu lty   o f   C o m p u ter   Scien ce s   a n d   Ma th em atics   Un iv er s ity   o f   Mo s u l   Mo s u l,  I r aq   E m ail:  d r g h a d aa ln ae m i@ u o m o s u l.e d u . iq       1.   I NT RO D UCT I O N    C G  m eth o d   is   u n iv er s al  m e th o d   f o r   s o lv in g   n o n lin ea r   l ar g e - s ca le  u n co n s tr ain ed   o p t im izatio n   p r o b lem s ,   b ec a u s e  it  h as  s im p le  iter atio n s ,   lo w  m em o r y   r eq u ir em en ts   an d   v er y   f ast  co n v er g en ce     p r o p er ties   [ 1 ] .   T h er ef o r e,   in   th is   wo r k ,   we  co n s id er ed   th is   g en er al  u n co n s tr ain ed   o p ti m izatio n   p r o b lem :   i n d ex in g   an d   a b s tr ac tin g   s er v i ce s   d ep en d   o n   t h e  ac c u r ac y   o f   th e   titl e,   ex tr ac tin g   f r o m   it  k ey wo r d s   u s ef u l  i n   cr o s s - r ef er en cin g   an d   co m p u t er   s ea r ch in g .   An   im p r o p er ly   titl ed   p ap er   m ay   n ev er   r ea ch   th e  au d ien ce   f o r   wh ich   it wa s   in ten d ed ,   s o   b e  s p ec if ic.       { ( ) : ∈ }   ( 1 )     W h er e  : →     i s   s m o o t h   an d   its   g r a d ien t  v ec to r   d ef in ed   =  ( ) ,   an d   th e   in itial  p o in t   0 ∈   is   u s u ally   s o lv ed   iter ativ ely   ac c o r d in g   to   th e  r ec u r s iv e  f o r m u la ,      + 1 = + , ≥ 0   ( 2 )     w h er e    is   cu r r en t  iter atio n ,  > 0   is   th e  s tep - s ize  ca lcu lated   b y   t h e  SW C ,        ( + ) ≤ ( ) +   | ( + ) | ≤ −   ( 3 )   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 5 0 2 - 4 7 5 2   I n d o n esian   J   E lec  E n g   &   C o m p   Sci,   Vo l.  24 ,   No .   3 ,  Dec em b er   2 0 2 1 :  1 5 8 9   -   1 5 9 5   1590   w h e r e   0 < < < 1   a n d     i s   a   s e a r c h   d i r e c t i o n .   T h e   c l a s s i c a l   s e a r c h   d i r e c t i o n   + 1   a r e   f r e q u e n t l y   d e f i n e d   b y ,      + 1 = { − + 1 ,    = 0 − + 1 + ,    ≥ 1     ( 4 )     g en er ally ,   t h e  p a r am eter     is   s elec ted   s o   th at  if   f( x)   is   a  s tr ictly   co n v e x   q u ad r atic  f u n c tio n   an d   if     is   ca lcu lated   b y   th e  e x ac t  lin e  s ea r ch ,   th en   ( 2 )   an d   ( 4 )   ca n   b e  s im p lifie d   to   th e  lin ea r   co n ju g ate  g r ad ien t   tech n iq u e   [ 2 ] .   Sev er al   f o r m u las,  s u ch   as  h esten es  a n d   s tief el  ( HS) ,   f letch er   an d   r ee v e s   ( FR ) ,  co n ju g ate   d escen t  ( C D) ,   Po lak - R ib ier e   ( PR P) ,  L iu   an d   Sto r ey   ( L S)   an d   Dai - Yu a n   m eth o d   ( DY) ,  h av e  b ee n     p r o p o s ed   [ 3 ] - [ 9 ] .   As d em o n s tr ated   b y   th e   f o r m u la ,       = ( − − 1 ) ( − − 1 ) − 1   ;    = − 1 − 1   ;    = ( − − 1 ) | | − 1 | | 2          = − − 1 − 1   ;    = − 1 − − 1 − 1   ;    = − 1 − 1       t h e  p r im ar y   d is tin ctio n   b etwe en   SC G  an d   C G  is   th e  ca lcu la tio n   o f   th e  s ea r ch   d ir ec tio n .   SC G ' s   ty p ical  s ea r ch   d ir ec tio n   is   as f o llo ws ,      + 1 = { − + 1 ,    = 0 − + 1 + ,    ≥ 1     ( 5 )     w h er e     d en o tes  a  s p ec tr al  p ar a m eter .   B ar zilai  an d   B o r wien   [ 1 0 ]   p r o p o s ed   t h e  SC G  m eth o d   an d   d e v elo p e d   th eir   u n co n s tr ain ed   o p tim izati o n .   I n s tead   o f   g lo b al  c o n v e r g e n ce ,   th e  id ea   is   to   u s e  o n ly   tea s in g   tr en d s .   B ir g in   an d   Ma r tin ez   [ 1 1 ]   p r o p o s ed   an   u n co n s tr ain e d   o p tim izati o n   m eth o d ,   b u t  it  lack ed   a   s u f f icien t  d escen t  co n d itio n .   As  a  r esu lt,  An d r ai   [ 1 2 ]   p r o p o s ed   an   ac ce ler ate d   C G  tech n o lo g y   th at  u s es  th e  New to n   m eth o d   to   im p r o v e  th e  C G  m eth o d ' s   p er f o r m an ce .   Fo llo win g   o n   f r o m   t h is   th o u g h t,  Far v a n eh   an d   Key v an   [ 1 3 ]   p r o p o s ed   a  n ew  SC G   [ 14] - [ 2 0 ]   c o n tain   ad d itio n al  r ef e r en ce s   in   th is   f i eld .       2.   NE W  A L G O RI T H M   AND  T H E   D E SC E N T   P RO P E R T Y   Ob v io u s ly ,   f o r   SC G,   th e  m eth o d   f o r   s elec tin g   th e  s p ec tr al  p ar am eter     an d   co n ju g ate  p a r a m eter     is   cr itical.   I n   th is   s ec tio n ,   we  ex p lain e  h o w  o u r   p r o p o s ed   SC G  is   d ep en d en t  o n   th e  p ar am eter     p r o p o s ed   b y   W ei  et  a l.   [ 2 1 ] ,   w h ich   is   d ef in ed   as  ( 6 ) .        = | | | | 2 − | | | | | | + 1 | |   + 1 | | + 1 | | 2   ( 6 )     T h e  n ew  s p ec tr al   p a r am eter     is   p r p o s ed   b y   ( 7 ) ,      = 1 + + 1 −   ( + 1 ) ( + 1   ) | | | | | | + 1 | | | | | | 2   ( 7 )     n o te  th at,   if   a n   ex ac t lin e  s ea r c h   is   u s ed   th en   = 1 ,   s o   ( 5 )   r ed u ce d   to   ( 4 ) .     A lg o r ith m   SC G   Step 1 :   Select  a  s tar tin g   p o in t  0 ∈ ,   g iv en   co n s tan d   0 < < < 1 ,   s to p p in g   cr iter i a     = 1 0 − 6 > 0 ;   Set  0 = − 0 .   Step 2 : Co m p u te  | | | | ,   if   | | | | ≤ ,   s to p .   Oth er wis e,   co n tin u es.   Step 3 : Calcu late   ,   , b y   ( 6 )   a n d   ( 7 )   r esp ec tiv ely   an d   co m p u te  s tep   len g th     b y   ( 3 ) .   Step 4 : U p d ate  th e  n ew  p o in t  b y   ( 2 ) .   C o m p u te  + 1 = ( + 1 ) ;   if   | | + 1 | | ≤ ,   s to p ; O th er wis e,   co n tin u es.   Step 5 : Co m p u te  s ea r ch   d i r ec tio n   + 1   b y   ( 5 ) .   Step 6 : I f   th e  Po well   r estar t c r i ter ia     | + 1 | ≥ 0 . 2 | | + 1 | | 2   ( 8 )     Evaluation Warning : The document was created with Spire.PDF for Python.
I n d o n esian   J   E lec  E n g   &   C o m p   Sci     I SS N:  2502 - 4 7 5 2       N ew s ca led   a lg o r ith m  fo r   n o n - lin ea r   co n ju g a te  g r a d ien ts   in   u n co n s tr a in ed …   ( G h a d a   M.  A l - N a emi )   1591   is   s ati s f ied ,   s et  + 1 = − + 1   an d   g o   b ac k   t o   Step 3 ; o th er wis e  co n tin u es.   Step 7 :   P u t  = + 1   an d   g o   to   s tep 3 .   W e  wil l   d is cu s s   th e  s u f f icien t   d escen t  p r o p er ty   o f   th e  Alg o r ith m   SC G  ab o v e  with o u t  d ep en d in g   to   an y   lin e   s ea r ch .       2 . 1 .     T heo rm   I t  can   b e   co n clu d ed   t h at  th e  S C G  m eth o d   with   th e  lin e   s ea r ch   d ir ec tio n   ( 5 ) ,    ,   d ef in ed   in   ( 6 )   an d   ( 7 )   r esp ec tiv ely ,   an d   t h en ,      + 1 + 1 ≤ − | | + 1 | | 2   , ≥ 0     ( 9 )   h o ld s   f o r   ∀ ≥ 0 .     Pro o f :   T o  s tim u late   th is   co n f ir m atio n ,   we  u s e  in d u ctio n ,   if   = 0 ,   th en   0 = − | | 0 | | 2 ,   as  a  r esu lt ;   co n d itio n   ( 9 )   is   estab lis h ed .   No w,   co n d itio n   ( 9 )   is   also   tr u e  in   o r d er   to   n o tify   th at  e v er y   ≥ 0   is   tr u e.   Mu ltip ly   b o th   s id es o f   ( 5 )   b y   + 1 to   o b tain ,      + 1 + 1 = − ( 1 + + 1 − ( + 1 ) ( + 1   ) | | | | | | + 1 | | | | | | 2 ) | | + 1 | | 2 + | | + 1 | | 2 − | | + 1 | | | | | |   + 1 | | | | 2 + 1       = − | | + 1 | | 2 − | | + 1 | | 2 − | | + 1 | | | | | |   + 1 | | | | 2 + 1 + | | + 1 | | 2 − | | + 1 | | | | | |   + 1 | | | | 2 + 1       = − | | + 1 | | 2   ( 1 0 )     t h er ef o r e ,   th e  Alg o r ith m   SC G  ca n   s atis f y   th e  s u f f icien t  d esce n t c o n d itio n s   with o u t u s in g   a n y   lin e  s ea r ch es.       3.   T H E   G L O B AL   CO N VE RG E NC E   ANA L YSI S   T h e  g en er al  s itu atio n   o f   th e  o b jectiv e  f u n ctio n   r e q u ir e d   f o r   t h e  o v er all  g lo b al  co n v e r g en ce   o f   g en er al  C G  in   p s y ch o lo g ical  an al y s is   is   as f o llo ws.       3 . 1 .     Ass um ptio n   −   T h e  f u n ctio n   ( )   is   co n s tr ain ed   f r o m   b elo w  to   th e  lev el  s et   = { : ∈ / ( ) ≤ ( 0 ) } ,   wh er e  th e   p o in t o f   d ep a r tu r e  is   0   .   i.e . ,   th e r e  is   a  co n s tan t α   >0 ,   wh ich   m ea n s   ‖ ‖ ≤   ∀ ∈ .   −   I n  ce r tain   n eig h b o r h o o d   Ν  o f   th e  lev el   s et  Φ ,   th e  f u n ctio n   f ( x )   is   co n tin u o u s ly   d i f f er en tiab le  an d   its   g r ad ien t  ( )   is   L ip s ch itz  co n tin u o u s ,   i.e .   ∃   a  co n s tan t,  > 0   s .   t.        + 1 = { − + 1 ,    = 0 − + 1 + ,    ≥ 1     ( 1 1 )     Ass u m p tio n   ( I )   clea r l y   im p lies   th e  ex is ten ce   o f   a   co n s tan t  > 0 ,   s .   t. ,      0 < ‖ + 1 ‖ ≤ , ∀ ∈     [ 2 2 ]   ( 1 2 )     t h e  f o llo win g   L em m a,   k n o wn   as  th e  Z o u n te n d ijk   c o n d itio n   Z o u n ten d ijk   [ 2 3 ] ,   p r o p o s ed   i t  an d   is   f r eq u en tl y   u s ed   to   d em o n s tr ate  g lo b al  c o n v er g e n ce   o f   C G  tech n iq u es.       3 . 2 .     L emm a   Su p p o s e   Ass u m p tio n   ( I )   h o l d s .   Su p p o s e   a  g en er al  iter ativ e  m eth o d   ( 2 )   an d   th e  d ir ec tio n   ( 4 )   is   d escen t  d ir ec tio n .   So ,   we  h av e   g o t ,      ∑ ( ) 2 | | | | 2 ∞ = 0 < ∞     ( 1 3 )     a cc o r d in g   to   Ass u m p tio n s   ( 3 . 1 ) ,   T h eo r em   ( 2 . 1 )   a n d   L e m m a  ( 3 . 1 ) ,   t h e  f o llo win g   r esu lts   ca n   b e  p r o v ed .       Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 5 0 2 - 4 7 5 2   I n d o n esian   J   E lec  E n g   &   C o m p   Sci,   Vo l.  24 ,   No .   3 ,  Dec em b er   2 0 2 1 :  1 5 8 9   -   1 5 9 5   1592   3 . 3 .     T heo re m   Su p p o s e  th at  Ass u m p tio n   ( I )   h o ld s .   An y   C G  m eth o d   o f   t h e  f o r m   ( 2 )   an d   ( 5 )   with     is   a  d escen d in g   s ea r ch   d ir ec tio n   a n d     s atis f ies  SW C .   T h en ,        → ∞   | | | | = 0     ( 1 4 )     o r ,       ∑ | | | | 4 | | | | 2 ≥ 1 < + ∞   ( 1 5 )     Pro o f :   Ass u m e,   f o r   th e   s ak e  o f   ar g u m en t  th at  t h e  co n clu s io n   is   n o t  tr u e.   T h en   th e r e  ex is t s   a  p o s itiv e  co n s tan t  ̅ > 0   s . t.  ‖ + 1 ‖ ≥ ̅ , ∀ .   W e  ca n   d e d u ce   f r o m   ( 5 )   th at  + 1 + + 1 =  .   W h en   we  s q u a r e  b o th   s id es o f   th is   eq u atio n ,   we  g et ,      ( + 1 + + 1 ) ( + 1 + + 1 ) = (  ) 2 | | | | 2       | | + 1 | | 2 = − ( ) 2   | | + 1 | | 2 − 2 + 1 + 1 + (  ) 2 | | | | 2       d iv id in g   b o th   s id es o f   th e  ab o v e  eq u atio n   b y   | | + 1 | | 4 ,   an d   u s e  ( 1 0 )   we  g et ,      | | + 1 | | 2 ( + 1 + 1 ) 2 = | | + 1 | | 2 | | + 1 | | 4 = − (   ) 2 | | + 1 | | 2 − 2 , | | + 1 | | 2 + (  ) 2 | | | | 2 | | + 1 | | 4       = − ( ( ) 2 + 2 ) | | + 1 | | 2   + (  ) 2 | | | | 2 | | + 1 | | 4       = − ( ( ) 2 + 2 + 1 − 1 ) | | + 1 | | 2   + (  ) 2 | | | | 2 | | + 1 | | 4       = 1 | | + 1 | | 2 + (  ) 2 | | | | 2 | | + 1 | | 4 −   ( 1 | | + 1 | | 2 + ( + 1 ) 2 | | + 1 | | 2 )       ≤ 1 | | + 1 | | 2 + (  ) 2 | | | | 2 | | + 1 | | 4       i n   [ 1 6 ]   th ey   p r o v ed   0 ≤  ≤ 2 | | + 1 | | 2 | | | | 2   ∀ ≥ 0     | | + 1 | | 2 | | + 1 | | 4   ≤ 1 | | + 1 | | 2 + ( 2 | | + 1 | | 2 | | | | 2 ) 2 | | | | 2 | | + 1 | | 4       =   1 | | + 1 | | 2 + 4 | | | | 2 | | | | 4       | | + 1 | | 2 | | + 1 | | 4 ≤ 4 | | | | 2 | | | | 4 + 1 | | + 1 | | 2       I n   ter m s   o f   | | 1 | | 2 ( 1 1 ) 2 = 1 | | 1 | | 2   ,   to g et h er   with   th e  ab o v e  r elatio n s   an d | | | | 2 ≥ ,   we  h av e ,      | | + 1 | | 2 | | + 1 | | 4 ≤ 4 | | | | 2 | | | | 4 + 1 | | + 1 | | 2 + 1 | | | | 2     ≤ ⋯   ≤ ∑ 1 | | | | 2 = 1 ≤ ῶ 2       Evaluation Warning : The document was created with Spire.PDF for Python.
I n d o n esian   J   E lec  E n g   &   C o m p   Sci     I SS N:  2502 - 4 7 5 2       N ew s ca led   a lg o r ith m  fo r   n o n - lin ea r   co n ju g a te  g r a d ien ts   in   u n co n s tr a in ed …   ( G h a d a   M.  A l - N a emi )   1593   t h at  is ,   | | + 1 | | 4 | | + 1 | | ≥   ῶ 2 .   Hen ce   ∑ | | + 1 | | 2 | | + 1 | | 4 ≥ 1 ≥ + ∞ ,  th is   is   c o n t r ad icts   lem m a  ( 3 . 1 ) .   T h er ef o r e,   th e   p r o o f   is   co m p lete.         4.   T H E   NU M E RICA L   R E SU L T S   I n   th is   s ec tio n ,   we  will  p r esen t  th e  o u tco m es  o f   v ar io u s   test   f u n ctio n s .   T o   ev alu ate  th e  n e w  m eth o d ,   s o m e  test   f u n ctio n s   wer e  ch o s en .   T h ese  f u n ctio n s   ar e  tak e n   in to   ac co u n t  b y   C UT E   test   f u n ctio n   [ 2 4 ] ,   [ 2 5 ] .   Usi n g   SW C   lin e  s ea r ch ,   th e  n ew  SC G  m eth o d ,   t h e  class ic   [ 2 1 ]   ( W YL )   m eth o d ,   th e   FR   m eth o d ,   an d   th e   L S   m eth o d   ar e  co m p a r ed   in   ter m s   o f   th e  n u m b er   o f   iter atio n s   ( NI )   an d   th e  n u m b e r   o f   f u n ctio n   ev alu atio n s   ( NF) .   All  s y m b o ls   ar e  wr itten   in   F OR T R A N  7 7   d o u b le  p r ec is io n   an d   c o llected   as  Vis u al  FOR T R AN  ( F6 . 6 ) .   T h e  n ew  SC G  m eth o d   is   im p lem e n ted   u s in g   th e  SW C   lin e  s ea r c h   ( 3 ) ,   a n d   with   = 0 . 001   , = 0 . 9 ,   we  test ed   1 5   well - k n o wn   test   f u n ctio n s ,   th e  d im en s io n s   o f   wh ich   ar e   g iv en   b elo w  ( 1 0 0 0 ,   5 0 0 0 ,   1 0 0 0 0 ,   5 0 0 0 0 ,   a n d   1 0 0 0 0 0 ) .   T h is   alg o r ith m ’ s   s to p p in g   cr iter io n   is   | | + 1 | | ≤ 10 − 6   an d   we  en ter   6 0 0   if   th e  ( NI )   eq u al  to   o r   m o r e   th an   6 0 0 .   T h e  r esu lts   o b tain ed   b y   th e  n ewly   p r o p o s ed   m eth o d   o u tp er f o r m   th o s e  o b tain ed   b y   th e  o th er   m eth o d s   m en tio n ed   i n   t h e  T ab le  1 .         T ab le  1 .   T h e  co m p ar is o n   b etw ee n   th e  p r o p o s ed   m eth o d   an d   th e  o th er   class ical  m eth o d s   No   Te st   F u n c t i o n   D i me n si o n   S C G   me t h o d   W Y L  me t h o d   F R   me t h o d   ni   nf   ni   nf   ni   nf   1   R O S EN   1 0 0 0   26   67   30   78   30   78       1 0 0 0 0   26   67   30   78   30   78       1 0 0 0 0 0   27   70   32   83   31   81   2   W O LFE   1 0 0 0   1 1 0   2 2 5   1 1 6   2 3 0   1 1 1   2 2 9       1 0 0 0 0   1 2 0   2 4 4   1 2 3   2 4 8   1 3 5   2 8 0       1 0 0 0 0 0   1 2 1   2 4 7   1 3 0   2 5 5   1 3 4   2 7 6     EX - B LO C K   D I A G O N A L    B D 1   1 0 0 0   23   49   21   45   22   46     1 0 0 0 0   24   51   23   49   26   48     1 0 0 0 0 0   26   53   25   53   27   52   4   S H A LLO W   1 0 0 0   10   25   10   25   10   25       1 0 0 0 0   10   25   10   25   10   25       1 0 0 0 0 0   11   27   11   27   11   27   5   W O O D   1 0 0 0   28   64   29   66   29   66       1 0 0 0 0   28   64   29   66   29   66       1 0 0 0 0 0   30   68   29   66   30   68   6   B EA L   1 0 0 0   11   27   11   27   11   27       1 0 0 0 0   11   27   11   27   6 0 0   4 9 0       1 0 0 0 0 0   11   27   6 0 0   5 2 3   6 0 0   4 9 0   7   P O W ELL   1 0 0 0   38   1 2 2   56   1 6 2   36   1 1 0       1 0 0 0 0   38   1 2 2   56   1 6 2   36   1 1 0       1 0 0 0 0 0   41   1 3 8   56   1 6 2   39   1 3 1   8   C U B I C   1 0 0 0   16   45   16   45   16   45       1 0 0 0 0   16   45   16   45   16   45       1 0 0 0 0 0   16   45   16   45   16   45   9   H I M M ELB A U   1 0 0 0   24   2 5 1   26   2 6 6   26   2 7 6       1 0 0 0 0   8   3 9 1   10   4 0 5   10   4 0 1       1 0 0 0 0 0   12   4 8 5   6   5 2 3   12   4 9 0   10   D Q D R TI C   1 0 0 0   5   11   6   13   5   11       1 0 0 0 0   5   11   6   13   5   11       1 0 0 0 0 0   5   11   13   13   5   11   11   D I X M A A N B   1 0 0 0   5   13   6   15   6   15       1 0 0 0 0   6   16   7   16   7   16       1 0 0 0 0 0   6   16   7   16   7   16   12   S TR A I T   1 0 0 0   6   14   8   21   7   18       1 0 0 0 0   6   14   8   21   6   15       1 0 0 0 0 0   6   14   8   21   6   15   13   B EA L  U 6 3   1 0 0 0   10   27   13   32   12   29       1 0 0 0 0   10   27   13   32   12   29       1 0 0 0 0 0   11   29   15   39   13   32   14   H I L I C A L   1 0 0 0   30   78   29   75   29   73       1 0 0 0 0   33   82   30   78   31   82       1 0 0 0 0 0   36   92   36   85   36   88   15   D EN S C H N B   1 0 0 0   9   21   9   21   9   21         9   21   9   21   9   21         9   21   9   21   9   21   To t a l   1 0 6 9   3 5 8 9   1 7 6 0   4 3 3 9   2 2 9 7   4 6 2 9     Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 5 0 2 - 4 7 5 2   I n d o n esian   J   E lec  E n g   &   C o m p   Sci,   Vo l.  24 ,   No .   3 ,  Dec em b er   2 0 2 1 :  1 5 8 9   -   1 5 9 5   1594   T ab le  2   c o m p ar es  th e   p er f o r m an ce   p er ce n tag es  o f   th e  FR ,   W YL ,   an d   p r o p o s ed   SC G  tech n o lo g ies.  W h en   co m p ar ed   to   th e  FR - m eth o d ,   th e  W YL   tech n iq u e   s av es  ( NI   2 3 . 3 8 %),   ( NF  6 . 2 6 %)   an d   th e  SC G  tech n iq u e  s av es  ( NI   5 3 . 4 6 %).   ( NF  2 2 . 4 7 % ) .   Un d e r   th e   s tr o n g   W o lf e  lin e   s ea r ch ,   th e  p r o p o s ed   m eth o d   o u tp er f o r m ed   th e  ex is tin g   m et h o d s   in   ter m s   o f   n u m b er   o f   ite r atio n s   an d   n u m b e r   o f   f u n ctio n   ev alu atio n s .       T ab le  2 .   T h e  p er ce n tag e  p e r f o r m an ce   o f   th e  p r o p o s ed   m eth o d s   M e a su r e s   F R   me t h o d   W Y L  me t h o d   S C G   me t h o d   NI   1 0 0 %   7 6 . 6 2 %   4 6 . 5 4 %   NF   1 0 0 %   9 3 . 7 4 %   7 7 . 5 3 %       5.   CO NCLU SI O N   I n   th is   p ap er ,   a  n ew  s ca led   c o n ju g ate  g r a d ien t  alg o r ith m   f o r   u n co n s tr ain ed   o p tim izatio n   p r o b lem s   is   p r o p o s ed .   T h is   m eth o d ,   in d e p en d en t   o f   th e  lin e   s ea r ch ,   s atis f ies  th e  s u f f icien t  d escen t  co n d itio n .   T h e   p r o p o s ed   m eth o d   h as th e  ad v a n tag e  o f   b ein g   ap p licab le   to   la r g e - s ca le  p r o b lem s .   T h e  s tr o n g   W o lf e  lin e  s ea r ch   is   u s ed   to   p er f o r m   n u m e r ical  co m p u tatio n s   o n   s o m e  s tan d ar d   b en ch m a r k   p r o b le m s .   Pre lim in ar y   f i n d in g s   in d icate   th at  th e  p r o p o s ed   m e th o d   is   b o th   ef f icien t  a n d   p r o m is in g .   As  a  r esu lt,  it  ca n   b e  u s ed   as  a  d if f er en t  ap p r o ac h   f o r   lar g e - s ca le  u n c o n s tr ain ed   o p tim izatio n   p r o b l em s .   Fu r th er m o r e,   f u tu r e  r esear ch   ca n   f o c u s   o n   d em o n s tr atin g   t h e  co n v er g e n c e  o f   th is   m eth o d   u n d er   d if f er e n t lin e  s ea r ch   m eth o d s .         ACK NO WL E DG M E N T S   T h e  au th o r s   ar e  g r atef u l  to   th e  Un iv er s ity   o f   Mo s u l' s   C o lleg e  o f   C o m p u ter   Scien ce s   an d   Ma th em atics f o r   th eir   en c o u r a g em en t a n d   s u p p o r t.         REFE RENC E S   [1 ]   J .   Jia n ,   L .   Ya n g ,   X .   Jia n g ,   P .   L iu   a n d   M .   Li u ,   “ A  sp e c tral  c o n j u g a te  g ra d ien t  m e th o d   wi th   d e sc e n t  p ro p e rty , ”  J o u rn a l  o f  M a th e m a ti c s ,   v o l.   8 ,   n o .   2 ,   p .   2 8 0 ,   2 0 2 0 ,  d o i:   1 0 . 3 3 9 0 /m a th 8 0 2 0 2 8 0 .    [2 ]   N.  S .   M o h a m e d ,   M .   M a m a t,   M .   Riv a ie  a n d   S .   M .   S h a h a ru d d i n ,   “ G lo b a l  Co n v e r g e n c e   o f   a   Ne w  Co e fficie n t   Co n j u g a te  G ra d ien t  M e th o d , ”   I n d o n e si a n   J o u rn a l  o f  El e c trica l  E n g i n e e rin g   a n d   Co m p u ter   S c ien c e   (IJ EE CS ) ,  v o l .   1 1 ,   n o .   3 ,   p p .   1 1 8 8 - 1 1 9 3 ,   2 0 1 8 ,   d o i:   1 0 . 1 1 5 9 1 /i jee c s.v 1 1 . i 3 . p p 1 1 8 8 - 1 1 9 3 .     [3 ]   M .   R.   He ste n e s  a n d   E.   S ti e fe l,   “ M e th o d s  o f   c o n ju g a te  g ra d ien ts  f o r  so l v i n g   li n e a r  s y ste m s , ”  J o u rn a l  o f  Res e a rc h   o f   th e   Na ti o n a l   B u re a u   o f   S t a n d a r d s ,   v o l .   4 9 ,   p p .   4 0 9 - 4 3 6 ,   1 9 5 2 .   [On li n e ].   Av a il a b le:   h tt p s:/ /n v lp u b s. n ist. g o v /n istp u b s/j re s/0 4 9 / jres v 4 9 n 6 p 4 0 9 _ A1 b . p d f   [4 ]   R.   F letc h e r  a n d   C.   M .   Re e v e s.  “ F u n c ti o n   m i n imiz a ti o n   b y   c o n j u g a te  g ra d ien ts , ”  T h e   Co m p u ter   J o u r n a l ,   v o l.   7 ,   n o .   2 ,   p p .   1 4 9 - 1 5 4 ,   1 9 6 4 ,   d o i:   1 0 . 1 0 9 3 /co m jn l /7 . 2 . 1 4 9 .     [5 ]   R.   F letc h e r ,   “ Pra c ti c a l  M e t h o d   o f   Op ti miza ti o n , ”   v o l.   I:  Un c o n stra i n e d   Op ti m iza ti o n ,   Wi le y ,   Ne w  Yo rk ,   NY ,   USA,   2 n d   e d it i o n ,   1 9 9 7 ,   d o i:   1 0 . 1 0 0 2 / 9 7 8 1 1 1 8 7 2 3 2 0 3 .     [6 ]   E.   P o lak   a n d   G .   Rib ière ,   “ No te  S u r  la  c o n v e r g e n c e   d e   d ir e c ti o n s  c o n j u g a tes , ”  Rev ,   Rev u e   Fra n ç a ise   d 'In fo rm a t iq u e   e t  d e   Rec h e rc h e   Op é ra ti o n n e ll e ,   v o l .   3 ,   n o .   1 6 ,   p p .   3 5 - 4 3 ,   1 9 6 9 ,   [On li e ].   Av a il a b le:   h tt p : // ww w.n u m d a m . o rg / it e m ? id = M 2 AN _ 1 9 6 9 _ _ 3 _ 1 _ 3 5 _ 0   [7 ]   B.   T.   P o l y a k ,   “ T h e   c o n j u g a te  g ra d ien t  m e th o d   in   e x trem e   p ro b lem s , ”  US S R  Co mp u ta ti o n a l  M a th e ma t ics   a n d   M a t h e ma ti c a l   Ph y sic s ,   v o l.   9 ,   n o .   4 ,   p p .   9 4 - 1 1 2 ,   1 9 6 9 ,   d o i:   1 0 . 1 0 1 6 /0 0 4 1 - 5 5 5 3 ( 6 9 ) 9 0 0 3 5 - 4 .     [8 ]   Y.  Li u   a n d   C.   S t o re y ,   “ Eff icie n t   g e n e ra li z e d   c o n ju g a te  g ra d ien t  a lg o rit h m s.  I.   T h e o r y , ”   J o u rn a l  o f  Op t imiza ti o n   T h e o ry   a n d   Ap p li c a t io n s ,   v o l.   6 9 ,   p p .   1 2 9 - 1 3 7 ,   1 9 9 1 ,   d o i:   1 0 . 1 0 0 7 / BF 0 0 9 4 0 4 6 4 .     [9 ]   Y.  H.  Da i   a n d   Y.   Yu a n ,   “ A n o n li n e a r  c o n j u g a te   g ra d ien t   with   a   str o n g   g lo b a l  c o n v e rg e n c e   p ro p e rty , ”  S IA M   J o u rn a l   o n   O p ti miza t io n ,  v o l.   1 0 ,   n o .   1 ,   p p .   1 7 7 - 1 8 2 ,   2 0 0 0 ,  d o i :  1 0 . 1 1 3 7 /S 1 0 5 2 6 2 3 4 9 7 3 1 8 9 9 2 .    [1 0 ]   J.  Brz il a i  a n d   J.   Bo rwe in ,   “ Two - p o i n t  ste p   siz e   g ra d ien t  m e th o d s , ”  IM A  J .   Nu me ric a l  An a lys is ,   v o l.   8 ,   n o .   1 ,   p p .   141 - 1 4 8 ,   1 9 8 8 ,   d o i :   1 0 . 1 0 9 3 /i m a n u m /8 . 1 . 1 4 1 .     [1 1 ]   E.   Bir g in   a n d   J.  M a rti n e z ,   “ A   sp e c tral  c o n ju g a te  g ra d ien t  m e th o d   fo r   u n c o n stra in e d   o p ti m i z a ti o n , ”  A p p li e d   M a t h e ma ti c s Op ti miz a ti o n ,   v o l. 4 3 ,   p p .   1 1 7 - 1 2 8 ,   2 0 0 1 ,  d o i :  1 0 . 1 0 0 7 /s0 0 2 4 5 - 0 0 1 - 0 0 0 3 - 0 .    [1 2 ]   N.  An d rie,  “ S c a led   c o n j u g a te  g ra d ien t  a l g o rit h m   fo r   u n c o n stra i n e d   o p t imiz a ti o n , ”  C o mp u ta t io n a l  O p ti miza ti o n   a n d   Ap p li c a ti o n ,   v o l.   3 8 ,   p p .   4 0 1 - 4 1 6 ,   2 0 0 7 ,  d o i :  1 0 . 1 0 0 7 /s1 0 5 8 9 - 0 0 7 - 9 0 5 5 - 7 .    [1 3 ]   F .   F a rv a n e h ,   A.  Ke y v a n ,   “ A  m o d ifi e d   s p e c tral  c o n ju g a te  g ra d ien t  m e th o d   wi th   g lo b a l  c o n v e rg e n c e , ”  J o u rn a l  o f   Op ti miza ti o n   T h e o ry   a n d   A p p l ica ti o n ,   v o l.   1 8 2 ,   p p .   6 6 7 - 6 9 0 ,   2 0 1 9 ,  doi :  1 0 . 1 0 0 7 /s 1 0 9 5 7 - 0 1 9 - 0 1 5 2 7 - 6 .    [1 4 ]   H.  Ah m e d   a n d   G h a d a   M .   Al - Na e m i ,   “ A  m o d ifi e d   Da i - Yu a n   c o n ju g a te  g ra d ien t  m e th o d s  a n d   it s  g l o b a l   c o n v e rg e n c e , ”  Ira q i  J o u r n a l  o f  S c ien c e ,   v o l .   5 3 ,   n o .   3 ,   p p .   6 2 0 - 6 2 8 ,   2 0 1 2 .    [1 5 ]   G .   M .   Al - Na e m i.   “ A  G lo b a l  Co n v e rg e n c e   o f  S p e c tral  Co n j u g a te  G ra d ien t  M e th o d   f o r  Larg e   S c a le   Op ti m iza ti o n , ”  J o u rn a l  o f  E d u c a t io n   a n d   S c ien c e ,   v o l.   2 7 ,   n o .   3 ,   p p .   1 4 3 - 1 6 2 ,   2 0 1 8 ,   d o i:   1 0 . 3 3 8 9 9 /ed u sj.2 0 1 8 . 1 5 9 3 2 3 .     Evaluation Warning : The document was created with Spire.PDF for Python.
I n d o n esian   J   E lec  E n g   &   C o m p   Sci     I SS N:  2502 - 4 7 5 2       N ew s ca led   a lg o r ith m  fo r   n o n - lin ea r   co n ju g a te  g r a d ien ts   in   u n co n s tr a in ed …   ( G h a d a   M.  A l - N a emi )   1595   [1 6 ]   A.   S .   A h m e d ,   H.   M .   K h u d u r  a n d   M .   S .   Na jmu ld e e n ,   “ A  n e w  p a ra m e ter  in   th re e - term s  c o n ju g a te  g ra d ien t   a lg o rit h m s  fo r   u n c o n stra i n e d   o p t imiz a ti o n , ”   I n d o n e sia n   J o u rn a l   o f  El e c trica l  En g in e e rin g   a n d   C o mp u ter   S c ien c e   (IJ EE CS ) ,   v o l .   2 3 ,   n o .   1 ,   p p .   3 3 8 - 3 4 4 ,   Ju l y   2 0 2 1 ,   d o i:   1 0 . 1 1 5 9 1 /i je e c s.v 2 3 . i 1 . p p 3 3 8 - 3 4 4 .     [1 7 ]   J.   K.  L iu ,   Y.   M .   F e n g   a n d   L.   M .   Zo u ,   “ A  sp e c tral  c o n ju g a t e   g ra d ien t  m e th o d   fo r   so l v in g   larg e - sc a le  a n d   u n c o n stra in e d   o p ti m iza ti o n , ”  El se v ier   L td . ,   v o l .   7 7 ,   p p .   7 3 1 - 7 3 9 ,   2 0 1 8 ,  d o i :  1 0 . 1 0 1 6 / j. c a m wa . 2 0 1 8 . 1 0 . 0 0 2 .     [1 8 ]   M.  Da wa h d e h ,   I.   M .   S u laim a n ,   M .   Riv a ie   a n d   M .   M a m a ,   “ A  Ne w S p e c tral  Co n ju g a te  G ra d ien t  M e t h o d   wit h   S tro n g   Wo lfe - P o we ll   Li n e   S e a rc h , ”   In te rn a ti o n a l  J o u rn a l  o f  Eme rg i n g   T re n d s  i n   En g i n e e rin g   Res e a rc h ,   v o l.   8 ,   n o .   2 ,   F e b ru a ry   2 0 2 0 ,  d o i :  1 0 . 3 0 5 3 4 / ij e t e r/2 0 2 0 / 2 5 8 2 2 0 2 0 .     [1 9 ]   A.  H.  S h e e k o o   G h a d a   a n d   M .   Al - Na e m i ,   “ G lo b a l  c o n v e rg e n c e   Co n d it i o n   f o r  a   Ne w  S p e c tral  Co n j u g a te  G ra d ien t  M e th o d   f o r  Larg e - S c a le  Op ti m iz a ti o n , ”  J o u r n a l   o f   P h y sic s   c o n fer e n c e   se rie s  IOP  Pu b li sh i n g ,  v o l .   1 8 7 9 ,   n o .   2 0 2 1 ,   2 0 2 1 ,  d o i:   1 0 . 1 0 8 8 / 1 7 4 2 - 6 5 9 6 /1 8 7 9 / 3 /0 3 2 0 0 1 .     [2 0 ]   N.  S .   M o h a m e d ,   “ G lo b a l  Co n v e r g e n c e   o f  a   Ne w  Co e fficie n t  Co n ju g a te  G ra d ien t  M e th o d , ”   In d o n e s ia n   J o u rn a l  o f   El e c trica l  En g in e e rin g   a n d   C o mp u ter   S c ien c e   (IJ EE CS ) ,   v o l.   1 1 ,   n o .   3 ,   p p .   1 1 8 8 - 1 1 9 3 ,   2 0 1 8 ,   d oi :  1 0 . 1 1 5 9 1 /i jee c s.v 1 1 . i 3 . p p 1 1 8 8 - 1 1 9 3 .     [2 1 ]   Z.   Wei,   S .   Ya o   a n d   L .   Li u ,   “ Th e   c o n v e r g e n c e   p r o p e rti e s  o f  so m e   n e w  c o n j u g a te  g ra d ie n t  m e th o d , ”  A p p l.   M a t h .   Co mp u te ,   v o l.   1 8 3 ,   n o .   2 ,   p p .   1 3 4 1 - 1 3 5 0 ,   2 0 0 6 ,  d o i :  1 0 . 1 0 1 6 / j. a m c . 2 0 0 6 . 0 5 . 1 5 0 .    [2 2 ]   F.   N.  Ja rd o w  a n d   G .   M .   Al - Na e m i ,   “ A  Ne w  Hy b rid   Co n ju g a te  G ra d ien t  Alg o rit h m   fo r  Un c o n stra i n e d   Op ti m iza ti o n   with   I n e x a c t  l in e   se a rc h , ”  In d o n e sia n   J o u r n a l   o f  E lec trica l  E n g in e e rin g   a n d   C o mp u ter   S c ien c e   (IJ E ECS ) ,   v o l.   2 0 ,   n o .   2 ,   p p .   9 3 9 - 9 4 7 ,   N o v e m b e r  2 0 2 0 ,  d o i :  1 0 . 1 1 5 9 1 /i jee c s.v 2 0 . i 2 . p p 9 3 9 - 9 4 7 .    [2 3 ]   G .   Zo u ten d ij k ,   “ No n li n e a r  p ro g ra m m in g ,   c o m p u tati o n a l  m e th o d s , ”  In teg e r  a n d   No n li n e a r  Pr o g ra m min g ,   v o l.   1 4 3 ,   p p .   3 7 - 8 6 ,   1 9 7 0 .     [2 4 ]   I.   Bo n g a rtz,   A.  R.   Co n n ,   N.   G o u ld   a n d   P .   L .   T o i n t ,   “ CUTE:   Co n s train e d   a n d   u n c o n stra in e d   tes ti n g   e n v ir o n m e n t , ”  ACM   T r a n sa c ti o n s  o n   M a th e ma ti c a l  S o ft wa re ,   v o l.   2 1 ,   n o .   1 ,   p p .   1 2 3 - 1 6 0 ,   1 9 9 5 ,   d o i :  1 0 . 1 1 4 5 / 2 0 0 9 7 9 . 2 0 1 0 4 3 .     [2 5 ]   N.  An d re i,   " An   Un c o n stra in e d   O p ti m iza ti o n   Tes t  F u n c ti o n s  C o ll e c ti o n , "  A d v .   M o d e l.   Op ti miz a ti o n ,   v o l.   1 0 ,   n o .   1 ,   p p .   1 4 7 - 1 6 1 ,   2 0 0 8 .   [On li n e ] .   Av a il a b le:  h t tp :/ /www . a p m a th . sp b u . r u /cn sa /p d f/o b z o r/. p d f   Evaluation Warning : The document was created with Spire.PDF for Python.