I nd o ne s ia n J o urna l o f   E lect rica l En g ineering   a nd   Co m p u t er   Science   Vo l.   11 ,   No .   3 ,  Sep tem b er   201 8 ,   p p .   1 1 8 8 ~ 1 1 9 3   I SS N:  2502 - 4752 ,  DOI : 1 0 . 1 1 5 9 1 / i j ee cs . v 1 1 . i3 . p p 1 1 8 8 - 1 1 9 3          1188       J o ur na l ho m ep a g e :  h ttp : //ia e s co r e. co m/jo u r n a ls /in d ex . p h p / ijeec s   G lo ba l Conv erge nce of a  New  Coeff icient  Nonlinea r   Co njuga te  G ra dien t  M ethod         Nur  Sy a ra f ina   M o ha m e d 1 ,  M us t a f a   M a m a t 2 ,  M o hd   Riv a ie 3 ,   Sh a zly n M illea na   Sh a h a rudd in 4   1 Un iv e rsiti   Ku a la L u m p u r,   M a lay sia n   In stit u te o f   In d u strial  T e c h n o lo g y ,   M a la y sia   2 F a k u lt i  In f o rm a ti k   d a n   Ko m p u tera n ,   Un iv e rsiti   S u lt a n   Zain a l  A b id in   (UN IS ZA ) ,   M a lay sia   3 Ja b a tan   S a in s Ko m p u ter  d a n   M a t e m a ti k ,   Un iv e rsiti   T e k n o lo g i  M a r a   (UiT M ) ,   M a la y sia   4 De p a rtme n t  o f   M a th e m a ti c s,  F a c u lt y   o f   S c ien c e   a n d   M a th e m a ti c s,  Un i v e rsiti   P e n d i d ik a n   S u lt a n   Id ris ,   M a lay sia       Art icle  I nfo     AB ST RAC T     A r ticle  his to r y:   R ec eiv ed   Ma y   1 3 ,   2 0 1 8   R ev i s ed   Ju n   14 ,   2 0 1 8   A cc ep ted   Ju n   28 ,   2 0 1 8       No n li n e a r  c o n ju g a te  g ra d ien t  (C G )  m e th o d s  a re   w id e l y   u se d   in   o p ti m iza ti o n   f ield   d u e   t o   it s   e ff icie n c y   f o r  so lv in g   a   larg e   sc a le  u n c o n st ra i n e d   o p ti m iza ti o n   p ro b lem s.  M a n y   stu d ies   a n d   m o d if ica ti o n s  h a v e   b e e n   d e v e lo p e d   in   o rd e r  to   im p ro v e   th e   m e th o d .   T h e   m e th o d   is  k n o w n   to   p o ss e ss   su ff icie n t  d e sc e n d   c o n d i ti o n   a n d   it s  g lo b a l  c o n v e rg e n c e   p ro p e rti e s  u n d e r  stro n g   W o lf e - P o w e ll   se a rc h   d irec ti o n .   I n   t h is  p a p e r,   th e   n e w   c o e ff i c ien t  o f   C G   m e th o d   is  p re se n ted .   T h e   g lo b a l  c o n v e rg e n c e   a n d   su ff ici e n t  d e sc e n d   p ro p e r ti e s  o f   th e   n e w   c o e ff icie n t  a re   e sta b li sh e d   b y   u sin g   stro n g   W o lf e - P o w e ll   l in e   se a rc h   d irec ti o n .   Re su lt s  sh o w   th a t  th e   n e w   c o e ff icie n t  is  a b le  t o   g lo b a ll y   c o n v e rg e   u n d e r  c e rtain   a ss u m p ti o n s an d   t h e o ries .   K ey w o r d s :   C o n j u g a te  g r ad ien t  m et h o d   Glo b al  co n v er g e n ce   Stro n g   w o l f e - p o w ell   l in e  s ea r ch   Co p y rig h t  ©   2 0 1 8   In stit u te o f  A d v a n c e d   E n g i n e e rin g   a n d   S c ien c e .    Al l  rig h ts  re se rv e d .   C o r r e s p o nd ing   A u tho r :   Nu r   S y ar a f i n a  Mo h a m ed ,    Un i v er s iti K u ala  L u m p u r ,     Ma la y s ia n   I n s tit u te  o f   I n d u s tr ial  T ec h n o lo g y ,   Ma la y s ia .   E m ail:  n u r s y ar a f i n a@ u n ik l.e d u . m y       1.   I NT RO D UCT I O N     C o n j u g a te  g r ad ien t  ( C G)   m eth o d   is   u s ed   in   f in d i n g   t h e  m i n i m u m   v al u e  f o r   u n c o n s tr ain ed   o p tim iza tio n   p r o b le m .   T h is   m eth o d   ca n   b e  ex p r ess ed   in   g en er al  f o r m   s u ch ;       ) ( m i n n x x f R                                ( 1 )     w h er e  R R f n : is   a  co n ti n u o u s l y   d i f f e r en tiab le  n o n li n ea r   f u n ctio n .   ) ( x g   is   d en o ted   as  a  g r ad ien t   o f   t h e   f u n cti o n .   E q u atio n   ( 1 )   ca n   b e   s o lv ed   b y   u s in g   s ev er al   m et h o d s   s u ch   Steep est   Desce n t  a n d   Ne w to n   m e th o d   b u t C G  m eth o d   i s   t h e  m o s t p r ef er r ed   d u e  to   it s   s i m p lici t y   [ 1 ] .   T h e  n o n li n ea r   C G   m e th o d   g en er ates a   s eq u e n ce   o f   k x b y   u s in g   t h e  r ec u r r en ce ;       , . . . 2 , 1 , 0 , 1 k d x x k k k k                             ( 2 )     w h er e  k x is   th e  c u r r en t  iter ati v e   p o in t  an d   n R x 0 is   s et  to   b e  a  s tar tin g   p o in t  o f   th e  s eq u en ce .   F r o m   ( 2 ) ,   0 k is   k n o w n   a s   a  s tep   s ize  an d   k d is   th e  s ea r c h   d ir ec tio n   d e f in ed   b y   th e  r u le :   Evaluation Warning : The document was created with Spire.PDF for Python.
I n d o n esia n   J   E lec  E n g   &   C o m p   Sci     I SS N:  2502 - 4752     Glo b a l Co n ve r g en ce   o f a   N ew C o efficien t No n lin ier C o n ju g a te  Gra d ien t M eth o d   ( N u r   S ya r a fin a   Mo h a med )   1189     1 if 0 if 1 k d g k g d k k k k k                             ( 3 )     T h e  m o s t  co m m o n   tec h n iq u e  in   in e x ac t  li n e  s ea r c h   u s e d   w id el y   i s   s tr o n g   W o lf e - P o w ell  li n e  s ea r c h ,     w h er e  0 k s ati s f ie s       k T k k k k k k d g x f d x f  ) ( ) ( ,  k T k T k k k d g d x g ) (                       ( 4 )     w it h   1 0   ar e  b o th   co n s ta n t s .   Dis ti n ct  c h o ice  o f   t h e  p ar am eter k y ield s   d i f f er e n t  n u m er ical   p er f o r m a n ce .   P ast s t u d y   h as s h o w n   at  lea s t si x   f o r m u lae  f o r   k ,   w h ich   ar e  g iv e n   as  f o llo w s ;     1 1 1 ) ( ) ( k T k k k k T k HS k d g g g g g                   ( 5 )     2 1 k k T k FR k g g g                                       ( 6 )     2 1 1 k k k T k PRP k g g g g                                 ( 7 )     1 1 k T k k T k CD k g d g g                        ( 8 )     1 1 k T k k k T k DY k d g g g g                   ( 9 )     2 1 1 k k k T k R M I L k d g g g                                   ( 1 0 )     Fro m   ( 5 ) - ( 1 0 ) ,   k g an d   1 k g   ar e  th e  ab b r ev iatio n s   o f   ) ( k x g an d   ) ( 1 k x g w h ich   ar e  th e  g r ad ien t s   o f   ) ( x f at  p o in ts   k x an d   1 k x   r esp ec tiv el y .   d en o tes  th e  E u clid ea n   n o r m   o f   th e  v ec to r s .   Fro m   ( 5 ) - ( 1 0 ) ,   t h e  ab o v e  co r r esp o n d in g   m et h o d s   ar e  r esp ec tiv el y   ca lled   as  HS   [ 2 ] ,   FR   [ 3 ] ,   P R P  [ 4 ] ,   C D  [ 5 ] ,   DY  [ 6 ] ,   an d   last l y   R MI L   d en o tes  f o r   R i v aie,   Mu s taf a,   I s m ail  an d   L eo n g   [ 7 ] .   Z o u ten d ij k   [ 8 ]   h as  p r o v ed   th e  F R   m et h o d   in   ( 6 )   to   b e  g lo b all y   co n v er g ed   u n d er   ex ac t  l in e   s ea r c h   o n   a  g e n er al   f u n ctio n   [ 9 ] .   Af ter   th at,   [ 1 0 ]   ex ten d ed   t h e   r esu lt  u n d er   s tr o n g   W o lf e - P o w ell   l i n e  s ea r c h .   A   n e w   m o d if ica tio n   o f   a   co n j u g ate  g r ad ien t  m et h o d   is   p r ese n ted   b u t   it  d id   n o t  p r o v e  th e  g lo b al  co n v er g en ce   u n d er   in ex ac t  l in e  s ea r ch   th o u g h   it  h as  p o s s e s s   g lo b al  co n v er g en ce   p r o p er ties   u n d er   ex ac t  l in e  s ea r ch   [ 7 & 1 1 ] .   T h e  s tr o n g   W o lf e - P o w ell   li n e  s ea r ch   i s   co n s id er ed   d u e  to   t h e  h ig h er   co s t o f   e x ac t li n e  s ea r c h   [ 1 2 ] .     I n   t h is   p ap er ,   a  n e w   co ef f ici en t  w i th   m o r e  s i m p le   k is   p r o p o s ed .   Sectio n   t w o   w ill  elab o r ate  th e   m o tiv a tio n   o f   t h e  co ef f icie n t  t o g eth er   w i th   t h e  al g o r ith m .   S ec tio n   t h r ee   w ill  d is c u s s   a n d   p r o v e  th e  s u f f icien t  d escen d   co n d itio n   an d   g lo b al   co n v er g e n ce   p r o p er ties .   Fin all y ,   co n cl u s io n   a n d   r ec o m m en d atio n   f o r   f u t u r e  s tu d y   ar e  w r ap p ed   u p   at  s ec tio n   f o u r .       2.   NE W  C G   CO E F F I CI E N T   T h e  n e w   C G  co ef f icie n t  in tr o d u ce d   is   k n o w n   as S M R k .  S M R k is   m o ti v at ed   m ai n l y   f r o m   [ 7 ]   w h er e   th e  d e n o m i n ato r   is   r etai n ed   as   s a m e  a s   i n   ( 1 0 ) .   W h ils t,  t h e  n o m in ato r   i n   ( 1 0 )   is   g iv e n   a s   1 k k T k g g g   w h ic h   is   as  s a m e  as  u s ed   in   ( 5 )   an d   ( 7 ) .   Du r in g   ex p a n s io n ,   t h e  n o m in ato r   b ec o m es  1 k T k k T k g g g g w h ic h   i m p lies Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 5 0 2 - 4752   I n d o n esia n   J   E lec  E n g   &   C o m p   Sci,   Vo l.  11 ,   No .   3 ,  Sep tem b er   2 0 1 8   :   1 1 8 8   –   1 1 9 3   1190   1 2 k T k k g g g .  C h o o s i n g   t h e  r ig h t  n o m i n at o r   is   i m p o r tan t  d u e  to   its   r o le   as  a  r estar t  p r o p e r ty   i n   av o id in g   p r o b lem s   ass o ciate d   w it h   j am m in g ,   [ 1 3 - 1 4 ] .   P r ev en ti n g   an y   n e g ati v e  v al u e,   m o d if ica tio n s   h a s   b ee n   m ad e   [ 1 5 ] ; h en ce   th e  n e w   C G  co ef f i cien t a n d   t h e  s i m p li f ied   v er s io n   ar e  as f o llo w s ;     2 1 1 2 k g 0, m a x k k T k S M R k d g g                      ( 1 1 )     B ef o r e  p r o ce e d s   w it h   m o r e  d etails s tep s ,   S M R k n ee d s   to   b e  s i m p li f i ed ;       2 2 1 k 2 1 2 1 k 1 1 k 2 1 1 g g   g f o r                           0 k k k T k k T k S M R k d d g g g g 2 2 1 k 1 g 0 k S M R k d              ( 1 2 )     A lg o r ith m   2 . 1 :   C o nju g a te  Gra d ient M etho d   A   co m p lete   al g o r it h m   o f   C G  m et h o d   co u ld   b e  g en er ated   as f o llo w s :     Step   1 :   I n itializatio n .   Set  0 k   an d   s elec t n x 0 ,  0 0 g d ,   if   0 0 g ,   s to p .     Step   2 : B ased   o n   ( 1 1 ) ,   co m p u t e S M R k   .   Step   3 :   C o m p u te  s ea r ch   d ir ec tio n s   k d b ased   o n   ( 3 ) .     I f k g ,   th en   s to p .   Oth er w i s e,   g o   th e  n e x t step .   Step   4 :   B ased   o n   ( 4 ) ,   s o lv e  f o r k   .     Step   5 :   Up d atin g   n e w   i n i tial  p o i n t  u s i n g   ( 2 ) .   I f   ) ( ) ( 1 k k x f x f   an d   k g   th e n ,   s to p .   Ot h er w is e  g o   to   Step   3   w it h 1 k k .       3.   T H E O R E T I CA L   ANA L YS I S    T h is   s ec tio n   d is c u s s ed   an d   an al y s ed   th e  s u f f icie n t  d escen t   p r o p e r ty   f o r   th e  n e w   co e f f ic ien t  u n d er   s tr o n g   W o l f e - P o w ell   li n e  s ea r ch   d ir ec tio n .   B ef o r e  p r o ce ed ,   let  ass u m e  t h at  0 k g   f o r   all  k   o r   else,  th e   s tatio n ar y   p o in t  h as   b ee n   f o u n d .   Fo r   an y   iter ati v e  m et h o d   to   b e  g lo b all y   co n v er g en t,  it  i s   i m p o r ta n t  to   s u f f ic e  its   d escen t p r o p er t y ,   th at  i s ;     0 k T k d g .     3 . 1 .   Su f f icient   Descent   P ro pert y   B ef o r e  p r o ce e d ,   let  ass u m e  t h at  0 k g f o r   all  k o r   else,  th e  s tatio n ar y   p o in t h as b ee n   f o u n d .   Fo r   an y   iter ativ e  m eth o d   to   b e  g lo b all y   co n v er g e n t,  it is   i m p o r tan t to   s u f f ice  its   d esce n t p r o p er ty ,   t h at  is ;       2 k k T k g c d g                         ( 1 3 )     w h er e  c is   a  p o s iti v e  co n s ta n t,   is   cr u cial  to   en s u r e  t h e  g lo b al  co n v er g e n ce s   o f   t h e  n o n lin ea r   co n j u g ate   g r ad ien t  m et h o d   u n d er   s tr o n g   W o lf e - P o w ell   li n e  s ea r c h   d ir ec tio n   [ 1 6 ] .   Su f f ic ien t  d escen t  p r o p er ty   is   i m p o r tan t  to   s h o w   t h at  t h e  f u n ctio n   ) ( x f ca n   b e  r ed u ce s   alo n g   t h e   s ea r ch   d ir ec ti o n .   T h e  p r o v in g   s tep s   b elo w   ar e  m o d i f ied   f r o m   [ 1 1 - 1 2 ] .     Th eo r em  3 . 1   I f   k g an d   k d ar e  g en er ated   b y   al g o r it h m   2 . 1   w it h 25 6 ,   th en ,   f o r   all 0 k ,   it b e co m e s ;      Evaluation Warning : The document was created with Spire.PDF for Python.
I n d o n esia n   J   E lec  E n g   &   C o m p   Sci     I SS N:  2502 - 4752     Glo b a l Co n ve r g en ce   o f a   N ew C o efficien t No n lin ier C o n ju g a te  Gra d ien t M eth o d   ( N u r   S ya r a fin a   Mo h a med )   1191     3 5 k k d g                         ( 1 4 )   P r o o f   T h e  p r o v in g   s tep s   ar e  p er f o r m ed   b y   in d u ctio n s .   Fo r 0 k an d 3 5 1 0 0 d g ,   h en ce   ( 1 4 )   h o ld s   f o r 0 k .  Su p p o s e  f o r   s o m e 0 k ,   ( 1 4 )   h o ld s   t r u e.   R ea r r an g e  ( 3 )   an d   m u ltip l y in g   it  w i th T k g 1 ,   th en       k T k k k k T k d g g d g 1 1 2 1 1 1                  ( 1 5 )     Fr o m   s tr o n g   W o lf e - P o w ell  co n d itio n   a n d   ab s o lu te  v a lu e s   p r o p er ties   in   ( 4 ) ,   ex p r ess io n   ( 1 5 )   b ec o m es;     k T k k k T k k d g d g g 1 1 1 1 2 1 k T k k k T k k d g d g g 1 1 1 2 1       ( 1 6 )     Sin ce   , 0 1 S MR k th en       k T k k k T k k d g d g g 1 1 1 2 1                   ( 1 7 )     B y   u s i n g   C a u ch y   i n eq u ali ties   an d   s u b s tit u tin g   ( 1 2 )   in   ( 1 7 ) ,         k k k k k k k d g d g d g g 2 2 1 1 1 2 1                ( 1 8 )     I m p lies ;       k k k k k k d g g d g g 2 1 1 1 2 1                ( 1 9 )     A p p l y in g   t h e  in d u c tio n   h y p o t h esi s   in   ( 1 4 ) ,       2 1 1 1 2 1 3 5 k k k k g d g g   1 1 2 1 ) 3 5 1 ( k k k d g g ) 5 3 ( 3 1 1 k k d g   ( 20)     T h er ef o r e,   if 25 6 ,   th en   . 3 5 1 1 k k d g Hen ce ,   ( 1 4 )   is   tr u e  f o r 1 k .   T h e  p r o o f   is   co m p l eted .     3 . 2 .   G lo ba l C o nv er g ence   P ro pert ies   T h e  f o llo w in g   ass u m p tio n   is   n ee d ed   i n   o r d er   to   p r o ce ed   w it h   t h e  p r o o f   o f   g lo b al  co n v er g en ce   p r o p er ties .   T h e  p r o o f   m o d i f ica tio n s   ar e  f r o m   [ 1 1 - 1 2 , 1 7 - 19]   A s s u mp tio n   4 . 1   1) f is   b o u n d ed   b elo w   o n   t h e  le v el  s e t  n R an d   is   co n ti n u o u s   a n d   d if f er en tiab le  i n   a   n ei g h b o r h o o d   N o f   t h e  lev el  s et ) ( ) ( | 0 x f x f R x n at  t h e  i n itial p o in t  0 x .   2 )   T h e  g r ad ien t  ) ( x g is   L ip s c h itz  co n ti n u o u s   i n N ,   s o   th er e  ex is t s   a  co n s ta n t  0 L s u ch   t h at;     y x L y g x g ) ( ) (   N y x a n y f o r ,                      ( 2 1 )     Fro m   ( 1 1 )   an d   ( 1 3 ) ,     Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 5 0 2 - 4752   I n d o n esia n   J   E lec  E n g   &   C o m p   Sci,   Vo l.  11 ,   No .   3 ,  Sep tem b er   2 0 1 8   :   1 1 8 8   –   1 1 9 3   1192   0    if             0    if         1 2 1 2 k T k k k k T k k k S M R k d g d g d g d g                  ( 2 2 )   Th eo r em  4 . 2   Su p p o s e  th at  Ass u m p tio n   4 . 1   h o ld s .   C o n s id er   an y   C G  m et h o d   in   th e  f o r m   o f   ( 2 )   an d   ( 3 )   w h er e  k is   o b tain ed   f r o m   ( 4 ) .   I f   th e  d esce n d   co n d itio n   h o ld s ,   t h e n ;     0 i n f l i m k k g                     ( 2 3 )     P r o o f   T o   p r o v e  T h eo r em   4 . 2 ,   co n tr ad ictio n   m e th o d   is   u s ed .   T h at  is ,   if   T h eo r e m   4 . 2   is   n o t  tr u e,   t h en   th er e   ex is t s   a  co n s ta n t 0 ,   s u c h   th at ;     k g                       ( 2 4 )     R e w r iti n g   ( 3 )   as  k k k k d g d 1 1 1 an d   s q u ar i n g   b o th   s id es th e  eq u a tio n ;     2 2 1 1 1 2 1 2 1 2 k k k T k k k d d g g d             ( 2 5 )     Fro m   ( 2 2 ) ,   if 0 k T k d g ,   th en ;       2 4 1 1 1 2 1 2 1 2 k k k T k k k d g d g g d               ( 2 6 )     Div id e  ( 2 6 )   b y   4 1 k g an d   f r o m   ( 1 3 ) ,     2 1 2 1 4 1 2 1 2 1 k k k k g c g g d                 ( 2 7 )     Su p p o s e  th at  ( 2 3 )   d o es n o t h o ld ,   th en   th er e  e x is t s   0 s u ch   t h at  ( 2 4 )   h o ld s   f o r   all 0 k     2 2 2 4 1 2 1 1 2 2 1 c c g d k k , 1 2 2 2 1 4 1 c d g k k , 0 2 1 4 1 k k k d g         ( 2 8 )     A l s o ,   f r o m   ( 2 2 ) ,   if   0 k T k d g ,   th en ,         2 1 2 1 4 1 2 1 1 k k k k g c g g d , 2 2 2 4 1 2 1 1 1 c c g d k k ,     1 2 2 1 4 1 c d g k k , 0 2 1 4 1 k k k d g                 ( 2 9 )     Fro m   ( 2 8 )   an d   ( 2 9 ) ,   th is   s h o ws th at  ( 2 3 )   h o ld s .   T h e  p r o o f   is   co m p leted .           Evaluation Warning : The document was created with Spire.PDF for Python.
I n d o n esia n   J   E lec  E n g   &   C o m p   Sci     I SS N:  2502 - 4752     Glo b a l Co n ve r g en ce   o f a   N ew C o efficien t No n lin ier C o n ju g a te  Gra d ien t M eth o d   ( N u r   S ya r a fin a   Mo h a med )   1193   4.   CO NCLU SI O N   B y   tak i n g   a  litt le  m o d i f icatio n   at R M I L k in   ( 1 0 ) ,   a  n e w   co ef f icie n t   S M R k o f   th e   co n j u g a te  g r ad ie n t  m et h o d   h as  b ee n   p r o p o s ed .   R esu lt s   s h o w ed   th at  th e  n e w   co ef f icien t  s ati s f y   t h e  s u f f icie n t  d escen t  co n d itio n s   an d   co n v er g e  g lo b all y   u n d er   s tr o n g   W o lf e - P o w el l  li n e  s ea r c h .   I t  is   p r o v ed   th at  th e  a lg o r it h m   is   p r ac tical  an d   ef f ec tiv e   to   b e  u s ed .   Fo llo w i n g   w it h   t h e  p r o v i n g   p r o v id e d ,   th e  co ef f ic ien t   w ill   b e  tes ted   o n   ce r tai n   t e s t   f u n ctio n   f o r   f u t u r e  s t u d y .       RE F E R E NC E S   [1 ]   Ha m iza h ,   N.,   Riv a ie,  M ,   M a m a t,   M .   (2 0 1 6 ).   A  M o d if ied   Fo rm   o f   Co n j u g a te  Gr a d ien t  M e th o d   fo r  Un c o n st ra i n e d   Op ti miza ti o n   Pro b lem s .  AIP   C o n f e re n c e   P ro c e e d i n g s ,   1 7 3 9 ,   0 2 0 0 7 6 .   [2 ]   He ste n e s,  M .   R,   S t ief e l,   E.   (1 9 6 2 ).   M e th o d   o f   Co n j u g a te  G ra d ien t  f o r  S o lv in g   L in e a r  Eq u a ti o n s.  J .   Res .   Na t.   Bu r .   S ta n d ,   4 9 :4 0 9 - 4 3 6 .   [3 ]   F letc h e r,   R,   Re e v e s,  C.   (1 9 6 4 ).   F u n c ti o n   m in im iza ti o n   b y   c o n ju g a t e   g ra d ien ts.   Co mp u ta ti o n a l   J o u r n a l ,   7 :1 4 9 - 1 5 4 .   [4 ]   P o lak ,   E,   Rib iere ,   G .   (1 9 6 9 ).   No te  o n   T h e   Co n v e rg e n c e   o f  Co n j u g a te  Dire c ti o n s.  Rev .   Fra n c a ise   In fo rm a t   Rec h e rc h e   Op e ra ti o n e ll e ,   3 E   An n e e ,   1 6 :  3 5 - 4 3 .   [5 ]   F letc h e r,   R.   ( 1 9 8 7 ) .   Pra c ti c a l  M e th o d s   o f  U n c o n str a in e d   Op t imiza ti o n .   Ne w   Yo rk :  J.  W il e y   a n d   S o n s .   [6 ]   Da i,   Y.  H,   Yu a n ,   Y.  (2 0 0 0 ).   A   No n li n e a r  Co n j u g a te  G ra d ien t  w i th   S tr o n g   G lo b a l  C o n v e rg e n c e   P ro p e rti e s.  S IAM   J o u rn a l  Op t imiza ti o n ,   1 0 :  1 7 7 - 1 8 2 .   [7 ]   Riv a ie,  M . ,   M a m a t,   M . ,   J u n e ,   L .   W ,   M o h d ,   I .   (2 0 1 2 ).   A   Ne w   Clas s  o f   No n li n e a r  Co n ju g a te  G ra d ien t  C o e ff icie n ts  W it h   G lo b a l  Co n v e rg e n c e   P r o p e r ti e s.  Ap p li e d   M a t h e ma ti c s  a n d   Co mp u ta ti o n a l ,   2 1 8 :  1 1 3 2 3 - 1 1 3 3 2 .   [8 ]   Zo u te n d ij k ,   G .   (1 9 7 0 ).   No n li n e a r  p r o g ra m m in g   c o m p u tatio n a l  m e th o d s.   J .   Ab a d ie  ( Ed . ) ,   I n teg e r  a n d   No n li n e a r   Pro g ra mm i ng ,   No rt h - Ho ll a n d ,   Am ste rd a m ,   3 7 – 86.   [9 ]   P o w e ll ,   M .   J.  D.  (1 9 8 4 ).   N o n - c o n v e x   min imiza ti o n   c a lc u la t i o n s  a n d   t h e   c o n j u g a te  g r a d ie n t  me th o d .  L e c tu re   n o tes   in   ma t h e ma ti c s ,   1 0 6 6 : 1 2 2 - 1 4 1 .   B e rli n :  S p rin g e r.   [1 0 ]   Al - Ba a li ,   M .   (1 9 8 5 ).   De sc e n t  p r o p e rty   a n d   g lo b a l  c o n v e rg e n c e   o f   F letc h e r – Re e v e s  m e th o d   w it h   in e x a c t  li n e   se a rc h   IM A .   J o u rn a l   Nu me ric a l  A n a lys is ,  5: 1 2 1 - 1 2 4 .   [1 1 ]   A b d e ra h m a n ,   A .   A . ,   M a m a t,   M . ,   RIv a ie,  M ,   Om e r.   O.  (2 0 1 4 ).   G lo b a l  C o n v e rg e n c e   A n a l y si s  o f   a   Ne w   No n li n e a r   Co n j u g a te  G ra d ien t  Co e f f icie n t  w it h   S tro n g   W o lf e   L in e   S e a rc h .   J o u rn a l  o f  Q u a l it y   M e a su re me n t  a n d   An a lys is ,     1 0 ( 1 ):  7 5 - 8 5 .   [1 2 ]   A b d e ra h m a n ,   A .   A . ,   M a m a t,   M . ,   RIv a ie,  M ,   O m e r.   O.   ( 2 0 1 4 ).   T h e   P r o o f   o f   S u ff icie n t  De s c e n t  Co n d it io n   f o r  a   Ne w   Ty p e   o f   Co n ju g a te G r a d ien t  M e th o d s .  A IP  Co n fer e n c e   Pro c e e d in g s ,   1 6 0 2 ,   2 9 6 .   [1 3 ]   Ha ja r,   N.,   M a m a t,   M . ,   Riv a ie,  M ,   S a ll e h ,   Z.   ( 2 0 1 5 ) .   A   Co m b in a ti o n   o f   P o lak - Rib iere   a n d   He ste n e s - S ti e fe l  Co e ff icie n t  in   Co n ju g a te  G ra d ien t  M e th o d   f o r  Un c o n stra in e d   Op ti m iza ti o n .   Ap p li e d   M a th e ma ti c a l  S c ien c e s,   9 (6 3 ):3 1 3 1 - 3 1 4 2 .   [1 4 ]   Riv a ie,  M . ,   A b d e ra h m a n ,   A . ,   M a m a t,   M . ,   I .   M o h d .   (2 0 1 4 ).   T h e   Co n v e rg e n c e   P ro p e rti e s  o f   a   Ne w   Ty p e   o f   Co n j u g a te G ra d ien t  M e th o d s .   Ap p li e d   M a t h e ma ti c a l  S c ien c e s,   8 (1 ):3 3 - 34.   [1 5 ]   S y a ra f in a ,   N.  M . ,   M a m a t,   M ,   Riv a ie,  M .   (2 0 1 6 ) .   A   N e w   Co e ff icie n t  o f   Co n ju g a te  G ra d i e n t  M e th o d   f o r   Un c o n stra in e d   Op t im iza ti o n .   J u r n a l  T e k n o l o g i .   7 8 : 6 - 4 , 1 3 1 - 1 3 6 .   [1 6 ]   H a m o d a ,   M . ,   M a m a t,   M . ,   Riv a ie,  M ,   S a ll e h ,   Z.   ( 2 0 1 6 ) .   A   Co n j u g a te  G r a d ien t  M e th o d   w it h   S tr o n g   W o lf e - P o w e ll   L in e   S e a rc h   f o r  Un c o n stra in e d   Op ti m iza ti o n .   A p p li e d   M a th e m a ti c a l  S c ien c e ,   1 0 ( 1 5 ) :  7 2 1 - 7 3 4 .   [1 7 ]   Do n g ,   X . L . ,   L iu ,   H. ,   X u ,   Y.  L . ,   Ya n g ,   X .   M .   (2 0 1 5 ).   S o m e   L in e a r  Co n ju g a te  G ra d ien t  M e th o d s  w it h   S u f f i c ien t  De sc e n t  Co n d it io n   a n d   G lo b a l  Co n v e rg e n c e .   Op ti miza ti o n   L e tt e rs ,   9 :  1 4 2 1 - 1 4 3 2 .   [1 8 ]   Ca n ,   L . ,   L in g   F ,   X ian g li a n ,   C.   ( 2 0 1 3 ).   G lo b a l  C o n v e rg e n c e   o f   a   k in d   o f   Co n ju g a te  G ra d ien t  M e th o d .   T e lk o mn ika   In d o n e sia n   J o u rn a l  o f  El e c trica l  En g i n e e rin g ,   1 1 (1 ):   5 4 4 - 5 4 9 .   [1 9 ]   Ca n ,   L .   (2 0 1 3 ).   A   M o d if ied   Co n ju g a te  G ra d ien t  M e th o d   f o r  Un c o n stra in e d   Op ti m iza ti o n .   T e lko m n ika   In d o n e sia n   J o u rn a l  o f  El e c trica l  En g in e e rin g ,   1 1 (1 1 ):  6 3 7 3 - 6 3 8 0 .   Evaluation Warning : The document was created with Spire.PDF for Python.