Indonesi an  Journa l  of El ect ri cal Engineer ing  an d  Comp ut er  Scie nce   Vo l.   23 ,  No.   1 ,   Ju ly   2021 , p p.  33 8 ~ 3 44   IS S N: 25 02 - 4752, DO I: 10 .11 591/ijeecs .v 23 .i 1 . pp 338 - 344          338       Journ al h om e page :  http: // ij eecs.i aesc or e.c om   A  ne w p aram eter in thre e - t er m  conjug ate gradi ent a l gorith ms  for unc on stra in ed  optimization       Alaa S aad  Ahm ed 1 ,  His ha m  M .  Kh udh ur 2 , Mohamme d  S. Najmuldee n 3   1 Com pute r  Scie n ce   Dep art m ent,  Coll ege of   Educat ion   for  pur e  sc i enc es,   U nive rsi t y   of  Mos ul, Mosul,   Ir aq   2 Mathe m at i cs  Depa rtment ,   Co ll e ge  of  Com put er S ci ence and  Mat hemati cs,   Unive rsit y   of  Mos ul,  Mos ul,   Ira q   3 Ministr y   of Edu ca t ion ,   Kirkuk, I raq       Art ic le  In f o     ABSTR A CT    Art ic le  history:   Re cei ved   N ov  1,   2020   Re vised A pr   1 9 , 2 021   Accepte d  J un  1 8 , 202 1       In  thi s  stud y ,   we  develop  a  d iffe ren t  par amet er  of  thr ee  te r m   conj ugate   gra die n t  kind,   th is  sche m e  depe n ds  princ ipa l l y   o n  pure   conj uga c y   cond it ion   (PCC ),   W her ea s,  the   con juga c y   condi ti on  (P CC)   is  an  important   condi ti on  in   unconstra in ed  non - li ne ar  opti m i za t ion  in  gene r a l  and  in  conj ug at e  gra d ie n t   m et hods  in  par ticula r .   The   propo sed  m et hod  bec o m es  conve rge d,   and  sati sf y   condi ti ons  d esc ent   prope r t y   b y  assum ing  som e   h y poth esis,   Th e  num eri c al  res ult s  display  the   eff ective n ess  of  the   ne w  m et hod  for  solving  te s t   unconstra in ed  non - li ne ar  opti m i za t ion  proble m s  compare d  to  oth er  conj uga te  gra die n t  a lgori th m s such  as  fle tcher  and revees  ( FR )  al gorit hm   a nd  three  t erm   fle t che r  and  rev e es  (TT FR )  al gor it hm .   The   num er ic a l  result s  dem onstrat e  th e   eff icac y   of  the   suggested  m et hod  for  solving  t est  unconstra in e d  nonli nea r   opti m iz ation  proble m s  from  whe re  a  num ber   of  i te ra ti ons  and  eva luation  o f   func ti on   and   A com par ison o f  th e   ti m e ta k en  to   pe rform   the   fun ct i ons.   Ke yw or ds:   Algorithm   Conj ug at e  grad ie nt   pure c onju gacy   Un c onstrai ne d op ti m iz ation   This   is an  open   acc ess arti cl e   un der  the  CC  B Y - SA   l ic ense .     Corres pond in g  Aut h or :   Hish am  M. Kh udhur   Ma them a ti cs D epar tm ent   Coll ege  of  C om pu te r  Scie nc e  an d  Ma them at ic s     U niv e rsity  o f   Mosu l,  Iraq   Em a il :  hish am 892020 @uom os ul .edu.i q       1.   INTROD U CTION     Re searche rs  ha ve  stu died  the  pro blem   of   unr est rict ed  i m pr ovem ent  as  a  m at te r  of   fi nd i ng  a  so luti on   to the m ini m izati on   of the  rea l functi on  ( ) .      ∈ ( )   (1)     Wh e reas  ( )   a  deri vative f unct io n  at  least   on ce .     Conj ug at e  gra dient  (CG )  al gorithm s  are  i m po rtant  to  so lve  for  (1)  prob le m   us ing   the  fo ll owin g  it erati ve   m et ho d:     + 1 =   +                       = 0 , 1 , 2   (2)     Wh e reas    cal cu la te s the step  size i n  ei the r  e xa ct ly  o r  ine xactl y l ine searc h u sing t he follo w ing   relat ion :     ( +   ) =  ≥ 0 ( +   )   (3)   Evaluation Warning : The document was created with Spire.PDF for Python.
Ind on esi a n  J  E le c Eng &  Co m p  Sci     IS S N:  25 02 - 4752       A n ew   par am et er in t hr ee - te r m  c on j ugate  grad ie nt a l gorit hm s fo r  un c onst ra ine d…  ( Ala a S aad Ah me d )   339   + 1   is a sea rch dir ect ion  a nd it  is  known  as t he  f ollow i ng for m ula:     1 = − 1                                 = 1   + 1 = − + 1 +            ≥ 1   (4)     + 1   is a  vector m atr ix  of fu nction  , and    is a C G m et ho d  pa ram et er.     Be low  a re  par a m et ers  for  s ome  conju gate  gr a dient alg ori thm s:      is cal culat ed wit h  the  searc h direct io n  + 1   in t he  foll ow i ng form ulas:     1 = − 1 ,  = + 1 −     1 -   + 1 = − + 1 + + 1 + 1   [1]     2 -   + 1 = − + 1 + + 1   [2]     See  [ 3] - [ 8] .   Ther e  a re  thre e - te rm   con juga te   gr adie nt  m et hods   f or   th re e  par am et ers  (F R,  PR,  HS)  pro po se d  by   Zha ng   [ 9] .  T he se  thr ee  m et ho ds  al ways   ac hieve   re gr es sio n  pro per ty .  Be low  is   the  sear ch  directi on  for  s om e   three - te rm  co nju gate d gr a dien t  m et ho ds :    1)   The  c onju gate  gr a dient m e thod  (F R)  with  three - te rm  is k no wn as:     + 1 = − + 1 +  − ( 1 ) + 1     Wh e reas     ( 1 ) = + 1     2)   The  c onju gate  gr a dient m et hod (PR) wit h t hree - te rm  is k no wn as:      + 1 = − + 1 +  − ( 2 )     Wh e reas      ( 2 ) = + 1     3)   The  c onju gate  gr a dient m et hod (H S ) wit h  t hree - te rm  is k no wn as:      + 1 = − + 1 +  − ( 3 )     Wh e reas      ( 3 ) = + 1 + 1     We  no ti ce t hat  these m et ho ds   al ways achie ve  the  fo ll owin g pro per ty :      = ‖ ‖ 2 < 0   ∀     Her e  the  regres sion p rope rty  is achie ved w it h  = 1 .   Evaluation Warning : The document was created with Spire.PDF for Python.
                          IS S N :   2502 - 4752   Ind on esi a n  J  E le c Eng &  Co m p  Sci,   Vo l.   23 , N o.   1 ,  Ju ly   2021 :  3 3 8   -   3 4 4   340   Of te n  the  r esea rch e r need s eit her exactl y o r  i nex act ly  li ne  s earch  whe n  stu dying co nver ge nce a nd  app ly in g  th e C G  m et ho d. Lik e the str ong  Wo lf c onditi ons.    The  st ron g Wol f  co ndit ion s  ar e to  fin d  k     ( + ) ≤ ( ) +   (5)     | ( + ) | ≤ −     (6)     0 < < < 1   are c onsta nts a ccordin g  t o  Li  and  W ei j un  [ 3] , [9],  [10] .     In  S e c t i o n   2 ,   w e   p r e s e n t   t h e   d e r i v a t i o n   o f   t h e   n e w   m e t h o d   u s i n g   t h e   F R   c o n j u g a t e   g r a d i e n t   m e t h o d   w i t h   t h r e e - t e r m .   I n   S e c t i o n   3 ,   w e   e x p l a i n   t h e   r e g r e s s i o n   o f   t h e   n e w   m e t h o d .   I n   S e c t i o n   4 ,   w e   e x p l a i n   t h e   a b s o l u t e   c o n v e r g e n c e   o f   t h e   n e w   i m p r o v e d   a l g o r i t h m .   I n   S e c t i o n   5 ,   t h e   n u m e r i c a l   r e s u l t s   o f   t h e   p r o p o s e d   a l g o r i t h m   a r e   p r e s e n t e d ,   a n d   t h e   p e r f o r m a n c e   o f   t h e   n e w   i m p r o v e d   a l g o r i t h m   i s   c o m p a r e d   w i t h   o t h e r   a l g o r i t h m s   i n   t h e   s a m e   f i e l d .         2.   IMP ROVIN G  THE MET H OD OF  CON JUG ATED  GRADIE NT F R WIT H TH RE E - TE RM     + 1 = − + 1 +  − + 1     Wh e re  ∈ [ 0 , 1 ]   an d usi ng p ure c onjuga cy  co ndit io n   [ 11 ]     + 1 = − + 1 +  − + 1 = 0   + 1 = − + 1 +           = − +  + 1     ( 7)     + 1 = − + 1 +  −  + 1     ( 8)     Algori th m :   The  c onju gate  gr a dient m et hod (FR) a lg or it hm  w it h  i m pr oved  th ree - te rm :   Step  1: Let  0   is  an  init ia l val ue ,  put  0 = − 0   ,  > 0 ,  = 0 .   Step  2: D et e rm ine the le ngth  of the ste p  > 0   ach ie ves  the   Wo lf e co nd it io ns   (5),   (6).   Step  3:  Dete rm ine  + 1 = + . I f   ‖ + 1 ‖ <   then st oppe d.   Step  4:  Dete rm ine  + 1   ,    from  ( 7)   and g e ne rate di recti on fro m  ( 8).   Step  5: P ut  = + 1 . Go  to  step  2.       3.   REGR E SSIO N  P ROPE RT Y  O F THE  N EW FO RMU LA   We  will   m entio n  the  pro of   of  the  su f fici ent  desce nt  pro pert y  fo r  the  co nj ug at e  gra dient  m et ho d  ( FR)   al gorithm   fo rm ula  with  i m pr oved  th ree - te rm   (8 ) .  The  s uffici ent  descen t  pro per ty   f or   the   conjuga te d  gradien t   al gorithm  is exp ress ed  as:     + 1 + 1 ≤ − ‖ + 1 ‖ 2   f or   ≥ 0   an d  > 0   (9)     Theorem  ( 1)   The  sea rch   dir ect ion   ( 8)   with   the  co njugati on  coe ff ic ie nt       and   t he  val ue  of     giv e n  by  (7)  will   achiev e   (9) fo r  al l  ≥ 1   valu es.   Pro of:   by m ath em atical  ind uc ti on   a)   Wh e n  = 0 , th e n  0 = − 0 → 0 0 = − ‖ 0 ‖ 2 < 0   b)   Assum e that t he  relat ion  < 0   is t ru e  for  eac h  .   Evaluation Warning : The document was created with Spire.PDF for Python.
Ind on esi a n  J  E le c Eng &  Co m p  Sci     IS S N:  25 02 - 4752       A n ew   par am et er in t hr ee - te r m  c on j ugate  grad ie nt a l gorit hm s fo r  un c onst ra ine d…  ( Ala a S aad Ah me d )   341   c)   We  pr ov e  t hat  the  relat ion   ( 9 )   is  cor r ect   w he n  = + 1   by  m ulti plyin g  both  sid es  of   t he  ( 8)   by  + 1 .  We  get:   + 1 + 1 = − + 1 + 1 +  + 1 −  + 1 + 1   + 1 + 1 = − + 1 + 1 ( 1 +  ) +  + 1     If      > 0   then     + 1 + 1 < − + 1 + 1 ( 1 +  ) +  + 1   + 1 + 1 < 0     Th us ,  t he reg re ssion  pro pe rty  o f  the  ne w  m eth od im pr ove d  i s prove d.       4.   CONVE RGE NC E  OF T HE NEW  IM PR OVED AL GO RITH M   In   t his  sect ion,   we  will   show  that  the  three - t erm   CG  m e thod  with  t he  coe f fici ent  of   c on jug at io n     and   t he  value  of       giv e n  by  ( 7)   is  a bsolutel y  converge nt.  We  ne ed  t he  f ollow i ng   a ssum pt ion s  to  stu dy  the   conve rg e nce  of the  new pr opose d  al gorithm :     Assu m pt i on s  ( A1)   [10] , [1 2] - [14]   We  will  i m po s e the  fo ll owin g assum ption s  on th e  cod om ain   (targ et )  f unct ion :   a)   Level set   = { ∈ : ( ) ≤ ( ∘ ) }   is a  cl os ed  and  rest rict ed  at  the  ini ti al  p oin t.   b)   The   co dom ai n  (targ et )  f un ct io n  is   c on ti nu ous  a nd  der i vab l e  in   s om e  proxim i ty   of    of  le vel  set   ,  a nd   it s g ra des  a re c on ti nu ous ( li ps chitz  conti nuous ) . T his m eans th at  the re is a  constant  > 0 , as  t hat:     ‖ ( ) − ( ) ‖ ≤ ‖ − ‖     ∀ x,y ∈     c)   The  co dom ai n   (tar get)   f unct ion    is  unif orm ly   con ve x  f un ct io n ,   the re   is  a  c onsta nt  nu m ber    tha t   achieves  v a ria nce,  a s that:       (  ( ) −  ( ) ) ( − ) ≥ ‖ − ‖ 2    ,  for  any  , ∈     On the  oth e r h and,  us in g  as sum pt ion s   (A1 )  t her e  is a  posit ive c onsta nt  , as  that:     ‖ ‖ ≤    ,  ∀ ∈      ≤ ‖ ( ) ‖ ≤     , ∀ ∈   (10)     Le mma   [10],  [ 15 ] ,  [ 16 ]     We  prese nt  assum ption s   ( A1)   and   (10)   a re  a chieve,  a nd  by   ref er rin g  to  (8)  f or   the  c onju gate  gr a die nt   wh e re     i s a slopin g se arch directi on, a nd the le ng t h of ste p    is  ob ta i ned f ro m  the st ron g  sea rch li ne  for   Wo l fe .   I f     ∑ 1 ‖ + 1 ‖ 2 = ∞ > 1     we get      → ∞ (  ‖ ‖ ) = 0     Theorem :   We  pro pose  assu m ption s  (A1 )  and   (10)   are   accom plished   by  reg res sio n  conditi on .  T he   conjugate  gr adient   m et ho d  with   t he  c oeffici ent  of  co njugati on      and  the   value   of    is  giv e n  by   (7),  as   if    is  fu lfil le d  wit h  two  str ong  w olf  co ndit ion s  (5)  an d  ( 6).  Si nc e  the  co do m ai n  (tar get)  fun ct ion   is  un if orm l y  convex   at   t he   plane  of the set  , the n t he  e qu at i on   → ∞  ‖ ‖ = 0   is achie ved.   Evaluation Warning : The document was created with Spire.PDF for Python.
                          IS S N :   2502 - 4752   Ind on esi a n  J  E le c Eng &  Co m p  Sci,   Vo l.   23 , N o.   1 ,  Ju ly   2021 :  3 3 8   -   3 4 4   342   Pro of:   ‖ + 1 ‖ = ‖ − + 1 +  −  + 1 ‖   ‖ + 1 ‖ ≤ ‖ + 1 ‖ +  ‖ ‖ +  ‖ + 1 ‖   ‖ + 1 ‖ ≤ ‖ + 1 ‖ ( 1 +  ) + ‖ + 1 ‖ 2 ‖ ‖ 2 ‖ ‖   ‖ + 1 ‖ ≤ ( ( 1 +  ) + ‖ + 1 ‖ ‖ ‖ 2 ‖ ‖ ) ‖ + 1 ‖   ∑ 1 ‖ + 1 ‖ ≥ 1 ≥ (     1 ( ( 1 +  ) + ‖ + 1 ‖ ‖ ‖ 2 ‖ ‖ ) 2 )     1 2 ∑ 1 = ∞     us in g  t he  le m m a above      → ∞ ‖ ‖ = 0       5.   NUMER IC A L RES ULTS   In   this  sect io n,  we  discu ss  th e  nu m erical   resu lt s  of   th e  ne w  im pr ov e d  al gorithm   that  we  ob ta ine d  from   us ing   t he   ne w  f orm ula  i n  ( 8)  f or  a  set   of   te st  functi ons  in   un restrict ed  non - li near   op ti m iz ation   [ 17 ] .   T o  evaluate  th e  pe rfor m ance  of  t his  pr opos e d  a lgorit hm ,  the  r esults  of  (75)  f un ct io ns   [ 18 ]   t hat  we re  i nclu ded  in   this  stu dy  wer e   ch os e n  t o  c ompare   with   the   ot her   cl assic al   c onjug at e   gradi ent  m et ho d  (FR ,  TTFR ),  sho wn  i n  the  source   [ 17] .  All  cod es  w ere  w ritt en  us i ng   Fortra n  77  and   M ATL AB   R200 9b.  Usi ng  a  com par iso n  of   Do la n  an d  Mo re´   we  no ti ce  thr ough  Fig ur e s  1 - 3   a  cl ear  su pe rio rity   of   the  ne w  i m pr oved  al go rithm   with   resp ect   t o  the   nu m ber   of  it er at ion s   i n  Fig ur e  1   a nd  the   nu m ber   of   ti m es  the  f unct ion  is  ca lc ul at ed  in  F igure  2   and   al s o  in  t erm s  of   the  c pu   ti m e  ta ken   to  i m ple m ent  the  pro gr am   in  Fig ur e  2   in  Dim ension s   = 100 , 200 , … , 1000   [ 19 ] .   We  al s o  w ro te   a  Table   1  f or  (22)  unr est rict ed  non - li near  opti m iz a tio n  f unct io ns   t o  sh ow  the  e ff ic i ency  of   t he  ne w  im pr ov e d  m et hod  f or   num ber s  of   it erati ons  ( Iter),  an d  t he  num ber   of  f un ct io n  evaluati ons  (FE)  in   Dim ensio ns   100,  with   st op  te st  ‖ + 1 ‖ < 10 − 6   There  are  oth e r  re sea rch  in  t he  sam e  fiel d  bu t  with  dif fere nt test  fun ct i ons. Fo r  m or e s ee   [ 5],  [ 20] - [ 29] .         Table  1.   U nr es tric te d  no n - li ne ar  op ti m iz a ti on  fun ct io ns  t o  s how  the e ff ic ie nc y of t he ne w  i m pr ov e d  m et ho d  for nu m ber s  of  it erati on s  (I te r ),  a nd the  num ber o f funct io n evaluat i on s  ( F E)  in  D im ensio ns   100   Prob le m s   Di m   Iter   FE       NE W   FR   TT FR   NE W   FR   TT FR   Freud en stein  &  Ro th   100   84   1529   328   1979   4 4 0 9 2   9131   Exten d ed   Ro sen b r o ck   100   35   43   42   73   87   82   Exten d ed  W h ite  &  Hols t   100   32   37   35   68   77   70   Exten d ed  Beale   B EAL E   100   14   15   15   27   29   28   Perturb ed  Quad rati c   100   96   101   100   144   155   153   Raydan  1   100   78   90   86   118   138   133   Diag o n al 2   100   63   64   71   105   105   121   Diag o n al 3   100   190   203   242   2772   3075   4869   Hag er   100   27   47   31   44   565   49   Gen eralize d   Tr id ia g o n al 1   100   23   23   24   45   45   50   Exten d ed  Powell   100   53   71   79   101   136   151   Exten d ed  Clif f   100   12   f ail   19   30   f ail   46   Qu ad ratic  Diag o n a l   100   53   54   53   95   95   96   Exten d ed  Hiebert   100   78   87   85   170   188   187   Exten d ed  Quad ratic  Pen alty   100   24   29   25   55   61   53   BDQR TI C     100   310   532   587   6084   1 1 6 6 4   1 1 4 5 7   TRIDI A    100   348   364   392   542   566   624   Bro y d en  T ridiag o n al   100   29   31   31   53   49   49   Tr id iag o n al Per tu r b ed  Quad ratic   100   99   109   105   157   173   167   Exten d ed  DE NSC HNC   100   14   15   18   26   27   31   BIGGSB1   100   477   617   533   750   985   837   Exten d ed  Blo ck - Diag o n al   100   14   15   15   24   26   26   Evaluation Warning : The document was created with Spire.PDF for Python.
Ind on esi a n  J  E le c Eng &  Co m p  Sci     IS S N:  25 02 - 4752       A n ew   par am et er in t hr ee - te r m  c on j ugate  grad ie nt a l gorit hm s fo r  un c onst ra ine d…  ( Ala a S aad Ah me d )   343       Figure  1 .  A co m par ison   of th e num ber  of ite rati on s           Figure  2 .  A co m par ison   of th e num ber  of ti m es a f unct io n i s  cal culat ed           Figure  3 .  A co m par ison   of th e tim e taken  to  p e rfor m  the fu nctions       6.   CONCL US I O NS   We  pr es ente d  i n  this   resea rc h  a  ne w  ty pe   of  TTCG  al gorith m   to  so l ve  t he  pro blem s  of   un const raine d   op ti m iz ation ,  a nd   t he  propos ed  al gorithm   ha s  show n  a  hi gh   e f fici e ncy  in  s olv in g  the s e  pro blem s  wi th  the  le ast  n um ber   of it erati ons a nd w it h hig he r  ac cur acy  i n  re ach ing  t he  a ppr ox i m at e so luti on  of the  functi on.       ACKN OWLE DGE MENTS   I  w ould  li ke   to   ex pr ess   m y  si ncer e  grat it ud e   an d  ap preci at ion  to  m y  su perviso rs  P r of .   D r .  K halil   K.  Abb o  f or this  val uab le  s uggest ion ,  en c oura ge m ent an d i nval uab le   rem ark   duri ng writ ing  t his  pap e r.     Evaluation Warning : The document was created with Spire.PDF for Python.
                          IS S N :   2502 - 4752   Ind on esi a n  J  E le c Eng &  Co m p  Sci,   Vo l.   23 , N o.   1 ,  Ju ly   2021 :  3 3 8   -   3 4 4   344   REFERE NCE S   [1]   R.   Flet ch er  and  C.   M.  Ree ves,   “ Functi on  m ini m iz ation  b y   con jug at e  gra d ie nts , ”  C omput .   J. ,   vol.   7 ,   no.   2,   pp.   149 - 154,   1964 ,   doi :  1 0. 1093/c om jnl/7 . 2. 149 .   [2]   Y.  H.  Dai  and  Y.  Yuan,   “ A  Nonlinear  Conjugat e  Gradi en t  Meth od  with  a  Stron g  Global   Conve rge nce   Prope rt y , ”   SIAM   J .   Opt im. ,   vol.   10 ,   no .   1 ,   pp .   177 - 182 ,   1999 ,   doi: 10. 1137 /S105262349731 8992.   [3]   H.  M.  Khudhur  and  K.  K.  Abbo ,   “ A  New  Conju gat e  Gradi ent   Method  for  Le arn i ng  Fuzz y   Neura l  Networks,”   J.  Mult idi sc ip. Mo del .   Optim. ,   vo l.  3,   no .   2 ,   pp .   57 - 69,   2021 .   [4]   A.  S.  Ahm ed, “O pti m iz at io n  M et hods For Lear ning  Artif ic i al Neura l   Networks, ”  Un ive rsi t y   of   Mos ul,   2018.   [5]   Hisham   M.  Kh udhur;  Khali l  K.  Abbo,  “ A   New  T y pe  of  Conjuga te   Grad ie nt  T ec hniqu e  for  Solving  Fuz z y   Nonline ar   Algeb rai c   Equ at ions, ” 2020.   [6]   M.  R.   Heste nes  and  E.   Stie f el,  " Methods  of  conj ugat e  gra d ie nts  for  solving  li near  sy st em s , "   vol.   49,   no.   1.   NBS   W ashingt on,   DC ,   1952 .   [7]   L.   C.   W .   Dixon ,   “ Conjuga te   gr adi en t  al gori thms :  quadr at i c  te r m ina ti on  withou t  li ne ar  sea rch es, ”  IMA   J .   Appl.   Math. ,   vol .   15 ,   n o.   1 ,   pp .   9 - 18 ,   1 975.   [8]   E.   Polak   and  G .   Ribi er e,   “ Note   sur  la   conv erg en ce   d e  m ét hodes  de  direct ions  co njugué es, ”  ES AI M  Math.   Mod el.  Numer.  Anal.  M athé matiqu e  Ana l.   Numériqu e ,   vo l.   3 ,   no .   R1 ,   pp .   35 - 43,   1969 .   [9]   L.   Zha ng  and  W .   Zhou,   “ Two  desc ent   h y b rid   conj ugate  gra di ent   m et hods   for  opti m iz at ion , ”  J.   Comput.   App l.   Math. ,   vol .   216 ,   no.   1 ,   pp .   251 - 2 64,   2008 .   [10]   K.  K.  ABBO ,   Y.  A.  Lay l ani,   and  H.  M.  K hudhur,   “ A  New  Spect ral   Co njuga t e  Gradi en t  Algorit hm   For  Unconstra ine d  Optimiza ti o n, ”  Int.   J .   Math.   C omput.   Appl.  R es. ,   vol .   8,   pp.   1 - 9,   2018,   [Online ] .   Availabl e :   ww w.t jprc . org .   [11]   H.  N.  Jabba r ,   K .   K.  Abbo,   and  H.  M.  Khudhur,   “ Four -- Te rm   Conjuga t e  Gradi e nt  (CG)  Method   Based  on  Pure   Conjuga c y   Cond it ion for Unc ons tra in ed  Optimiz a ti on, ”  ki rkuk   Uni v.   J. Sci. Stud. ,   v ol.   13 ,   no .   2 ,   pp .   10 1 - 113,   2018 .   [12]   H.  M.  Khudhur  and  K.  K.  Abb o,   “ New  h y brid   of  Conjuga t e  Gradi ent   Techni que  for  Solving   Fuzz y   Nonlinear   Equa ti ons , ”   J. S oft   Comput .   Arti f .   Int el l . ,   vol .   2 ,   n o.   1 ,   pp .   1 - 8 ,   20 21.   [13]   K.  K.  Abbo  and  H.  M.  Khudhur,  “ New  A   hy b rid  Heste nes - Stie f el  and  Dai - Yuan  c onjuga t e  gra di en t  al gori thms   fo r   unconstra in ed  o pti m iz ation, ”  Ti k rit  J .   Pure  S ci . ,   v ol.   21 ,   no .   1 ,   pp .   118 - 123,   2016 .   [14]   K.  K.  Abbo  and  H.  M.  Khudhur,  “ New  A  hy bri d  conj ugate  gra d ie nt  Fle tc her - Re eve s  and  Polak - Ribi er e  al gori th m  for  unco nstra ined opt imiz at ion , ”   Tikrit   J. P ure  S c i. ,   vol .   21 ,   no .   1 ,   pp.   124 - 129 ,   20 16.   [15]   K.  K.  Abbo,  Y .   A.  Lay l ani,  a nd  H.  M.  Khu dhur,   “ Propos ed  new  Scaled  c onjuga t e  gra d ient  al gor it hm   fo r  Unconstra ine d   Optimiza t ion,”  In t .   J .   Enhanc. Re s.   Sci.  Te chnol.  En g. ,  vol. 5, no. 7,  2016.   [16]   Z.   M.  Abdul la h ,   M.  Ham ee d,   M .   K.  Hisham ,   an d  M.  A.  Khal ee l ,   “ Modifie d  new   conj uga te   gr adient  m et hod  fo r   Unconstra ine d   Optimiza t ion,”  Ti k rit  J .   Pure  S ci . ,   v ol.   24 ,   no .   5 ,   pp .   86 - 90,   2019 .   [17]   N.  Andrei ,   “ An  unconstra in ed  o pti m iz at ion  t est  func ti ons  co ll e ction, ”  Adv.  Mode l.   Optim ,   vol .   10 ,   no.   1 ,   pp .   147 – 161,   2008 .   [18]   H.  M.  Khudhur,   “ Nu m eri ca l   and   ana l y t ical  stud y  of  som e  desc ent   al gor it hm s  to  solve  unconstr ai n ed  Optimization   proble m s,”   Univ ersity   of   Mos ul,   2015.   [19]   E.   D.  Dolan  an d  J.  J.  Moré,   “ B enc hm ark ing  op ti m iz ation  software   with  per for m anc e  profil es , ”   Math.   Program . ,  vol.   91 ,   no .   2 ,   pp .   201 - 213 ,   2002 .   [20]   B.   A.  Hass an,   H.  O.  Daha wi,   an d  A.  S.  Younus ,   “ A   new  kind  of   par amete r  con j ugat e  gra d ie nt  f or  unconstra ine d   opti m iz ation, ”  I ndones.   J .   Elec tr .   Eng .   Comput .   S ci . ,   vo l. 17, no. 1 ,   2019 ,   doi :  10 . 1 1591/i jeec s.v17 . i1. pp404 - 411.   [21]   B.   A.   Hass an  an d  H.  K.   Khalo ,   “ A  new  c la ss   of  BF GS   updat ing  form ula   base d   o n  the  new  qu asi - newton  equ at ion , ”   Indone s. J.   Elec t r.  Eng .   Co mput.   Sci . ,   vo l. 13, no.  3,   2019 ,   doi :  10 . 11591/i jeec s.v13 . i3. pp945 - 953 .   [22]   B.   A.  Hass an,   “A  new  t y pe  of  quasi - newton  upd at ing  form ula s  base d  on  the   new  quasi - newton  e quat ion , ”  Numer .   Al gebr.   Control   Optim. ,   vol. 10,  no.   2 ,   2020 ,   doi : 10.3934/ na co. 20 1904 9.   [23]   B.   A.   Hass an,   Z.   M.   Abdull ah,  and  H .   N.   Jab bar ,   “ A  desc ent  extension  of   th e  Dai   -   Yuan   c onjuga t e  gra d ient   te chn ique , ”  Indo nes.   J .   Elec tr.   E ng.   Comput.   Sc i. ,   vol .   16 ,   no .   2 ,   2 019,   doi :  10 . 115 91/i jeec s.v16 . i2 . pp661 - 668.   [24]   B.   A.  Hass an,   A.   O.  Ow ai d,   and  Z.   T .   Yasen,  “ A  var ia n t  of  h y brid   conj uga te   gr adient  m et hods  bas ed  on  the   convex  combinat ion  fo r  opti m iz ation, ”  Indone s.  J.  El ectr.  Eng.  Comput.   Sci . ,   vol.   20,   no .   2,   2020,   d oi :   10. 11591/ijeecs. v20. i2. pp1007 - 1 015.   [25]   B.   A.  H assan  and  M.  W .   T a ha,   “ A  m odifi e d  quasi - Newton   equation  in  t he  quasi - Newto n  m et hods  for   opti m iz ation, ”  A ppl.   Ma th. Sc i . ,   vol.   13 ,   no .   10 ,   2 019,   doi :  10 . 129 88/a m s.2019. 93 51.   [26]   B.   A.  Hass an,   “ A  new  form ula   for  conj uga te   p a ramet er  computat ion  b ase d  on  t he   quadr a ti c   m odel , ”  Indone s.  J.  El e ct r.   Eng. Co mput.   Sc i. ,   vo l. 1 3,   no .   3 ,   2019 ,   d oi:   10 . 11591/ije e cs. v13. i3 . pp954 - 961.   [27]   B.   A.  H assan  a nd  M.  W .   Ta ha ,   “ A  new  var i ants   of  quasi - newt on  equation  b ase d  on  the   qu adr at i c  func ti on  fo r   unconstra in ed  opti m iz ation , ”  Indone s.  J .   E le c tr.  Eng .   C omput.   Sc i. ,   vol.   19 ,   no .   2,   2020 ,   d oi:   10. 11591/ijeecs. v19. i2. pp701 - 70 8.   [28]   H.  M.  Khudhur,  “ Modifie d  Barzi la i - Borwe in  Met hod  for  Stee p est   Desce nt  Me tho d  to  Solving  Fuz z y   Optimiz at ion   Problems   (FO P), ”  A lbahi r  J. ,   vol .   12,   no.   23 - 24,   p p.   63 - 72 ,   2020 .   [29]   K.  K  Abbo   and  F.  H   Mohamm ed,   “ Spect ral   Fl et ch er - Re eve s  Algorit hm   for  Sol ving  Non - Li near  Unconstra ine d   Optimiza ti o n  Pr oble m s,”   Iraqi   J .   Stat.  S ci . ,   vo l. 1 1,   no .   19 ,   pp .   21 - 38,   2011 .     Evaluation Warning : The document was created with Spire.PDF for Python.