I n d on e s i an   Jo u r n al   o El e c t r i c al   En gi n e e r i n g   an d   C o m p u te r   S c i e n c e   V o l .   19 ,   N o .   3 S e pt e m b e r   20 20 ,   pp .   1564 ~ 1573   IS S N :   25 02 - 4752 ,   D O I :   10. 1 1591 / i j e e c s . v 19 .i 3 . pp156 4 - 1573             1564       Jou r n al   h o m e pa ge ht t p: / / i j e e c s . i a e s c or e . c om   N e w   m u l t i - st e p   t h r e e - t e r m   c o n j u g a t e   g r a d i e n t   a l g o r i t h m s w i t h   i n e x a c t   l i n e   s e a r c h e s       A b b as   Y .   A l - B aya ti 1 ,   M u n M .   M .   A l i 2   1 D e pa r t m e n t   o f   M a t h e m a t i c s ,   C o l l e g e   o f   B a s i c   E duc a t i o n,   T e l a f e r   U ni v e r s i t y ,   I r a q   2 D e pa r t m e n t   o f   M a t h e m a t i c s ,   C o l l e g e   o f   C o m put e r s   S c i e nc e s   a nd   M a t he m a t i c s ,   M o s u l   U ni v e r s i t y ,   I r a q       A r ti c l e   I n fo     A B S TR A C T   Ar t i c l e   h i s t or y :   R e c e i v e d   N ov   1 9 ,   201 9   R e v i s e F e b   8 ,   20 20   A c c e pt e M a r   29 ,   20 20       T hi s   w o r s ug g e s t s   s e v e r a l   m u l t i - s t e t hr e e - t e r m   C o nj ug a t e   G r a d i e nt   ( C G ) - a l g o r i t hm s   t h a t   s a t i s f i e s   t he i r   s uf f i c i e nt   de s c e nt   p r o pe r t y   a nd  c o nj ug a c y   c o ndi t i o ns .   F i r s t ,   w e   c o ns i d e r e ( 39)   w e l l - kno w t hr e e - t e r m   C G - m e t ho d,     a nd  w e   ha v e ,   t h e r e f o r e ,   s ug g e s t e t w o   ne w   c l a s s e s   o f   t h i s   t y pe   o f   a l g o r i t hm s   ba s e o H e s t e n e s   a nd  S t i e f e l   ( H S )   a nd  P o l a k - R i b i è r e   ( P R )   f o r m ul a s   w i t f o ur   di f f e r e nt   v e r s i o ns .   B o t de s c e n t   a n c o nj ug a c y   c o ndi t i o n s   f o r   a l l     t he   pr o po s e a l g o r i t hm s   a r e   s a t i s f i e d ,   a t   e a c i t e r a t i o by   us i ng   t he   s t r o ng   W o l f e   l i ne   s e a r c c o ndi t i o a nd  i t ' s   a c c e l e r a t e v e r s i o n.   T h e s e   n e w   s ug g e s t e d   a l g o r i t hm s   a r e   s o m e   s o r t   o f   m o di f i c a t i o ns   t o   t he   o r i g i na l   H S   a nd  P R   m e t ho ds .   T he s e   C G - a l g o r i t hm s   a r e   c o ns i de r e a s   a   s o r t   o f   t he   m e m o r y l e s s   B F G S   upda t e .   A l l   o f   o ur   ne w   s ug g e s t e m e t ho ds   a r e   pr o v e t o   be   g l o ba l l y   c o n v e r g e nt   a n num e r i c a l l y ,   m o r e   e f f i c i e nt   t h a s i m i l a r   m e t ho ds   i n   t h e   s a m e   a r e a   b a s e o n   o ur   s e l e c t e s e t   o f   us e num e r i c a l   p r o bl e m s .   Ke y w or d s :   G l o b a l   c o n v e r ge n c e   p r o pe r t y   In e xa c t   l i n e   s e a r c h e s   M ul t i - s t e c o n j uga t e   g r a di e n t   S uff i c i e n t   de s c e n t   p r o pe rt y     T hr e e - t e rm   c o n j uga t e   g ra di e n t   S c a l e c o n j uga t e   g ra d i e nt   C opy r i gh t   ©   2020   I n s t i t ut e   o f   A dv anc e E ng i ne e r i ng   and   S c i e nc e .     A l l   r i gh t s   r e s e r v e d .   Cor r e s pon di n g   Au t h or :   A bb a s   Y .   A l - B a y a t i ,   D e pa rt m e n t   o f   M a t h e m a t i c s ,     Co l l e ge   of   B a s i c   E duc a t i o n ,   T e l a f e r   U ni v e r s i t y ,   T a l l   „A f a r,   M o s ul ,   N i n e v e h,   I ra q .   E m a i l :   p r o f a bb a s a l b a y a t i @ y a h o o . c o m       1.   I N TR O D U C TI O N     T h i s   pa pe c o n s i de r s   t h e   c a l c ul a t i o n   o f   a   l o c a l   m i ni m i z e r   x *,   s a y ,   f o r   t h e   p r o b l e m :       ) ( M i n x f ;   w h e r e   R R : n f   (1)     Is   a   n o n l i n e a r   f un c t i o n   a n i t s   g r a di e n t   v e c t o r i s k g i s   a v a i l a b l e .   T h e   H e s s i a n   m a t r i i s   n o t   a v a i l a b l e .   A t   t h e   c urr e nt   i t e r a t i v e   po i nt k x t h e   CG - m e t h o ha s   t h e   f o l l ow i ng  f o r m ;   b a s e o n   t h e   qu a d ra t i c   f o r m :     k k k k d α x x 1   (2a )     1 , 0 , 1 1 1 k d g k g d k k k k k   (2b )     H e r e ,   k ;   s t e p - l e n gt h,   k d ;   s e a r c h   di r e c t i o n,   k ;   pa r a m e t e r.   S t a nda rd  a l go ri t hm s   f o r   s o l v i n t hi s   pr o b l e m   i n c l ude   CG - a l go ri t hm s ,   w i t h   v e r y   l ow   m e m o r y   r e qui r e m e n t s ,   w h i c h   a r e   i t e ra t i v e   a l go r i t h m s   a n d   ge n e ra t e   a   s e que n c e   o f   a ppr o xi m a t i o n s   o f   t h e   f (x) .   F o m o r e   de t a i l s ,   s e e   H a s s a [1] .   Evaluation Warning : The document was created with Spire.PDF for Python.
In do n e s i a J   E l e c   E ng  &   Co m S c i     IS S N :   2502 - 4752       Ne w   m ul t i - s t e t hr e e - t e r m   c on j ugat e   gr adi e nt   a l gor i t hm s   w i t i n e x ac t   l i n e   s e ar c h e s   ( A bbas   Y .   A l - B a y at i )   1565   T h e   f i r s t   T hr e e - T e rm   CG - m e t h o w a s   p r o po s e by   B e a l e   [2]  a s :     t k k k k Be a l e k d d g d 1 1   . . . , , e t c PR k FR k HS k k   (3a )     1 , / 1 , 0 1 t k y d y g t k t T t t T k k   (3 b )     A n d t ,   i s   a   r e s t a rt   d i r e c t i o n   a nd  k k k g g y 1 N a z a r e t h   [3]  p r o po s e a n o t h e r   t hr e e - t e rm   r e c urr e n c e   f o r m ul a :     1 1 1 1 1 ) / ( ) / ( k k T k k T k k k T k k T k k k d d y y y d d y y y y d ;   0 0 0 1 d and d   (4)     A l s o ,   t w o   di ff e r e n t   t hr e e - t e r m   CG - a l go r i t hm s   w a s   c o n s i de r e by   Z h a n g   [4 ,   5 ],   t ha t   i s ,     k k k PR k k Z PR k y d g d ) 1 ( 1 1 k k k HS k k Z H S k y s g d ) 2 ( 1 1   (5)     k T k k T k k g g d g / 1 ) 1 ( k T k k T k k y s s g / 1 ) 2 (   (6)     Z h a ng  [6]  i n t r o duc e a   t hr e e - t e r m   r e c u rr e n c e   f o r m ul a   b a s e o n   D a i   a n L i a o   [7]  CG - m e t h o a s   fo l l ow s :     ) ( / ] / ) ( [ 1 1 1 1 k k k T k k T k k k T k k k T k k Z D L k ts y y d d g d y d ts y g g d   (7a )     w h e r e   d 0 = - g 0 ,   0 t .   T h e   s uff i c i e n t   de s c e n t   c o n di t i o n   a l s o   h o l ds   i n de pe n de n t   o f   t h e   us e l i n e   s e a r c h   pr o c e dur e ,   i . e .   f o r   t h i s   m e t h o d:       2 k k T k g d g fo r   a l l   k .   (7b )     s pe c i a l i z a t i o o f   (7)  w a s   de v e l o p e by   N a z a r e t h   [ 8]  w h e r e   t h e   s e a r c h   di r e c t i o i s   c o m put e a s :     k ts y g g s g s g d k k k T k k T k k DL k k BS k ) ( / 1 1 1   (8a )       k T k k T k k T k k T k DL k s y g ts s y g y / ] 0 , / [ m a x 1 1 ; k T k k s y y t / 2 2   (8b )     F urt h e rm o r e ,   i t   i s   e a s y   t o   s e e   t h a t   (8)  s a t i s f i e s   t h e   s uff i c i e nt   de s c e n t   c o n di t i o n   i n de pe n de n t   o f   t h e   l i n e   s e a r c h   us e d.   M o r e o ve r ,   a   di f f e r e n t   t hr e e - t e r m   CG - m e t ho w a s   i m p r o ve by   A l - B a y a t i   a n H a s s a n   [ 9],   a n t h e i s e a r c di r e c t i o n ,   w i t h   i n e xa c t   l i n e   s e a r c h   (IL S ),   i s   a s   f o l l ow s :     k k PR k k BH k d g d 1 1 ; k T k k T k k g g g d / ) ( 1   (9)      R e c e n t l y ,   a   t hr e e - t e r m   CG - m e t h o w a s   i nt r o duc e by   A l - B a y a t i   a n A l - K h a y a t   [10]   a n d   t h e i s e a r c di r e c t i o i s   a s   f o l l ow s :     k k k k HS k k BK k s t y d g d 1 1 1 ; k T k k T k k T k k T k k s y y y t s y g s / 1 , / 1 1   (10)     Co n j uga t e   G r a d i e nt   a l go r i t hm s   c o ul b e   r e ga r de a s   a   s o r t   o t h e   M e m o r y l e s s   QN - upda t e s e s pe c i a l l y ,   fo r   t h e   B F G S   upda t e .   T h i s   t y pe   o m e t h o w a s   s ugge s t e f o r   t h e   f i r s t   t i m e   by   P e rr y   [11]  n o t e d   t h a t   t h e   s c a l a r k ha s   b e e n   c h o s e n   s o   t h a t   t h e   s e a r c h   di r e c t i o n s k d a n 1 k d   a r e   c o n j uga t e   us i n E L S .   P e rr y   Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2502 - 4752   In do n e s i a J   E l e c   E ng  &   Co m S c i ,   V o l .   19 ,   N o .   3 S e pt e m b e r   20 20  :     15 64   -   15 73   1566   r e l a xe t hi s   r e qu i r e m e nt   w h e r e   k   i s   de f i n e by   H S   fo r m ul a   i a e qui v a l e n t   f o r m ,   b ut   a s s u m i n g   IL S ,   t h us   h e   o b t a i n e d,       1 1 1 ) / ( k k T k T k k P k g y d y d I d   (11a )     b ut   t h i s   m a t ri x   i s   n o t   o f   f ul l   ra n k ;   P e rr y   m o di f i e i t   f u r t h e a s :       1 2 1 ) / / ( k k T k T k k k T k T k k P k g y s s s y s y s I d     (11b )     T he n   S h a n n o   [ 1 2 ]   a d d re s s e d   t h a t   ( 1 1 )   d o e s   no t   s a t i s f y   t he   a c t u a l   Q N - c o n d i t i o n,   s o   he   m o d i f i e d   i t   t o   o b t a i n :       ) / )( / 1 ( ) / ( 1 k T k T k k k T k k T k k T k T k k T k k SH k s y s s s y y y s y s y s s I Q   (12)     T h i s   n e w   f o r m   of   t h e   p r o j e c t i o n   m a t r i x 1 k Q ha s   a   s pe c i a l   r e l a t i o n s h i w i t h   t h e   B F G S   upda t e   fo r m u l a ;   de f i n e by   D e n ni s   a n d   M o r e   [1 3].     k T k T k k k T k k k T k k T k T k k k k T k k k B F G S k s y s s s y y H y s y s y H H y s H H 1 1   (13)     It   i s   e a s i l y   s e e n   t h a t   (12)  i s   e qui v a l e nt   t o   (13)  w h e n k H r e pl a c e by   I,   i . e .   i f I H k ,   t h e   i de n t i t y   m a t r i x .   F o r   m o r e   de t a i l s ,   s e e   H a s s a n   [1 4 ] .   T h e   M e m o r y l e s s   B F G S   m e t h o i s   de f i n e b y :     1 1 1 k k k g Q d   (14)   ) (   ) / ( )] / )( / ( ) / [( 1 1 1 1 1 k k k T k k T k k k T k k T k k T k k T k k T k k T k k k s y y s g s s y s g s y s y y y s y g g d     F i na l l y ,   A l - B a y a t i ,   e t   a l .   [15]   i nt r o duc e a   n e w   CG - a l go ri t hm   w i t h   di f f e r e n t   p a r a m e t e r s ,   na m e l y   for :     1 1 / ) 1 ( k T k k T k k g y g s t ;   1 1 1 /   ( k T k k T k k T k k k g s g ts g y   ( 15a )          )   s / ( 2 k 1 1 1 1 1 k k T k k T k k T k k k T k k T k k T k k k k B H A k s y s s g y s s g y s g y g d   (15b )       2.   O N   M U LTI - S TEP   TH R E E - TER M   C G - A L G O R I T H M S   N a z a r e t h   a nd  N o c e da l   [16]  de v e l o pe a   m u l t i - s t e CG - m e t h o w h i c h   do e s   n o t   n e e E L S ;   by   de f i n i n g   t h e   f o l l o w i n m a t r i c e s :   n d d d D , . .. . . .. , , 2 1 ;   n g g g G , . .. . . .. , , 2 1 ;   DB G ,     w h e r e   B   i s   a n   (N xN up pe t ri a ngul a r     m a t r i x   w i t h , k i f o r ii , , 3 , 2 , 1 , 1 .   A s s um i n g   t h e   H us s a i n   m a t r i G = I   (i de nt i t y   m a t r i x) ,   t o   ge t   a   s e t   o m ut u a l l y   o r t h o go na l   v e c t o r s n g g g , . . . . . . . , , 2 1 L e t   us   de f i n e :     1 * 1 g g   (16a )     i t e ra t e   f o r   =   2, 3 , 4 ,   . . . . . .   w i t     * 1 * 1 * 1 * 1 * / / k k T k k T k k k g g g g g g g   (16b )     1 * * k k k c g g     (16c )     Evaluation Warning : The document was created with Spire.PDF for Python.
In do n e s i a J   E l e c   E ng  &   Co m S c i     IS S N :   2502 - 4752       Ne w   m ul t i - s t e t hr e e - t e r m   c on j ugat e   gr adi e nt   a l gor i t hm s   w i t i n e x ac t   l i n e   s e ar c h e s   ( A bbas   Y .   A l - B a y at i )   1567   2 , 1 0 , . . . 4 , 3 ; / * 2 * 2 * 2 * 2 2 1 k k g g g g g c c k k T k k T k k k   (16d)     N o t e   t h a t ,   (16) ,   fo r   t h e   f i r s t   i t e r a t e ,   i s   e qui v a l e nt   t o   t h e   n o rm a l   s e t   of   gr a d i e nt s ,   w h i l e   i t   gi v e s   b e t t e r   a pp r o xi m a t i o n s   f o r   t h e   n e xt   i t e ra t e s .   I t hi s   p a pe r ;   w e   h a v e   t h e   f o l l ow i n g   (f o ur n e w   CG - a l go ri t hm s :       2 , 1 , ) )( / ( * * * 1 * 1 1 i s t y s y g s s g d k i k k T k k T k k HS k k Ni k   (17a )       k k k k T k k T k k HS k k N k s t s t y s y g s s g d 3 1 * * * 1 * 1 3 1 ) )( / (   (17b )       * * 1 * * * 1 * 1 4 1 :; ). / ( k k k k T k k T k k S PR k k k N k g g y P s y g s s g d .   (17c )     W o l f e   l i n e   s e a r c h   p r o c e dur e   i s   f ul l y   de s c r i b e by   m a n y   r e s e a r c h e r s ,   s e e   f o r   e xa m pl e   N o c e da l   [17]   a n L i a n d   N o c e da l   [18].   T h i s   l i n e   s e a r c h   s c h e m e   h a s   b e e n   m o di f i e d   by   A n dr e i   [ 19].   T h e   s t a n d a r W o l f e   l i n e   s e a r c h   c o n d i t i o n s   c a b e   de f i n e a s :     k T k k k k k k d g x f d x f  ) ( ) (   (18a )     k T k k k k k k d g x f d x f ) 1 ( ) ( ) (   (18b )     T h e   s t r o ng  W o l f e   l i n e   s e a r c c o n d i t i o n s   c a b e   de f i n e a s :     k T k k k k k k d g x f d x f  ) ( ) (   (18c )     k T k k T k d g d g 1   (18d)     T h e   a c c e l e r a t i ng  S c h e m e   f o r   W o l f e   l i n e   s e a r c t e c hni que   i s   a s   f o l l ow s :     k k k k k d x x 1 ;   k k k b a /   (18e )     k k k z k T z k k k k T k k k d x z and z f g d g g b d g a ) ( , ) ( , .   (18f )     H e n c e ,   i f 0 k b .   T h e   n e w   e s t i m a t i o n   o f   t h e   s o l ut i o n   i s   c o m put e a s ,   k k k k k d x x 1 ,   e l s e k k k k d x x 1 .   F o r   t hi s   r e a s o n,   us i ng  t h e   de f i ni t i o n s   of k k k y s g , ,   a n t h e   a b ov e   a c c e l e r a t i o s c h e m e   c a n   p r e s e n t   t h e   a c c e l e r a t e d   W o l f e   l i n e   s e a r c p r o c e d ur e .   N O TE :   ( F o r   th e   r e s o th i s   p ap e r ,   an d   fo r   s i m p l i c i ty ,   s e * k g   = k g * k y   = k y ).     F i r s M u l ti - S te p   Th r e e - T e r m   C G - M e th o d   (N 1)   T o   c o m put e   t h e   n e w   s e a r c di r e c t i o n,   1 1 N k d   l e t   us   c o n s i de r   t h e   Q N - (B F G S   upda t e   w i t H = I).     1 / 1 1 1 k k N k g d   (19)       ) / ]( / 1 [ ) / ( 2 / 1 k T k T k k k T k k k T k k T k k T k k s y s s s y y s y s y y s I   (20)     k k T k k T k k T k k k k T k k T k k HS k k k s s y g s s y y y s y g s d g d ) / ]( / 1 [ ) / ( 1 2 1 1 1   (2 1 )   Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2502 - 4752   In do n e s i a J   E l e c   E ng  &   Co m S c i ,   V o l .   19 ,   N o .   3 S e pt e m b e r   20 20  :     15 64   -   15 73   1568   O r,   e qui v a l e nt l y :     ) / 1 ( ) / ( 2 1 1 ; k T k k k T k k T k k s y y t s y g s   (2 2 )     ) ( 1 1 1 1 k k k k HS k k N k s t y d g d       (2 3 a )     ) ( ] 0 ), / m a x [ ( 1 1 1 1 1 k k k k k T k k T k k N k s t y d y d y g g d       (2 3b )       O u tl i n e   o N 1 - A l go r i th m .   S t1.   G i v e n   n R x 0 ,   l e t   1 0 ,   0 t   a nd   0 0 g d .   S e t   0 k .   S t2.   If   s t o ppi ng  c r i t e ri a   ( 6 10 k g s a t i s f i e d,   t h e s t o p.   S t3.   Co m put e k by   a c c e l e r a t e W o l f e   l i n e   s e a r c c o n di t i o (18) .   S t4.   T h e   p a r a m e t e r s k 1 t a r e   c o m put e d   f r o m   (2 2 ) .   S t5.   T h e   n e w   s e a r c h   di r e c t i o n 1 1 N k d   i s   c o m put e f r o m   (2 3 ).   S t6.   C h e c w h e t h e (   2 1 1 2 . 0 k k T k g g g i s   s a t i s f i e t h e s e t   1 1 1 k N k g d   S t7.   S e t 1 k k ,   go   t o   S t 2.     S e c o n d   M u l ti - S te p   Th r e e - Te r m   C G - M e th o d   (N 2)   T o   c o m put e   t h e   n e w   s e a r c di r e c t i o n 2 1 N k d   l e t   us   c o n s i de A l - B a y a t i   [20]   QN - upd a t e   w i t h   H = I     k T k k T k k T k k k T k k k T k k k T k k Ba y a t i k s y H y s s y H s s y s y H y H H / ) ( ) ) /( 2 ( 2 1   (2 4 )     Let   1 ) 2 ( 1 1 k k k g Q d   ;   a nd  H = I   (2 5 )     k T k T k k T k k T k k k T k k T k k s y y s s y s s y s y y I Q / ) ( ) ) /( 2 ( 2 ) 2 ( 1   (2 6 )     ) / ( 2 / 2 2 1 ; k T k k k T k k T k k s y y t s y g s   (2 7 )     ) ( 2 1 2 1 k k k k HS k k N k s t y d g d   (2 8 a)     ) ( ] 0 , / m a x [ 2 1 1 2 1 k k k k k T k k T k k N k s t y d y d y g g d   (2 8 b)     O u tl i n e   o N 2 - A l go r i th m .   A l l   th e   s t e p s   as   i n   A l go r i th m   (N 1)   e x c e p t :   S t4.   T h e   p a r a m e t e r s k 2 t a r e   c o m put e d   f r o m   (2 7 ).   S t5.   T h e   n e w   s e a r c h   di r e c t i o n 2 1 N k d   i s   c o m put e f r o m   (2 8 ).     Th i r d   M u l ti - S te p   Th r e e - Te r m   C G - M e th o d   (N 3)   T o   c o m put e   t h e   n e w   s e a r c di r e c t i o n,   3 1 N k d ,   l e t   us   c o n s i de O r e [ 21]  Q N - up da t e   w i t H = I.     k T k T k k k T k k k T k k k T k T k k k k T k k k O r e n k s y s s s y y H y s y s y H H y s H H / ) / ( / ) ( 1   (29)       ; / k T k k T k k y y y s   H = I   (30)   Evaluation Warning : The document was created with Spire.PDF for Python.
In do n e s i a J   E l e c   E ng  &   Co m S c i     IS S N :   2502 - 4752       Ne w   m ul t i - s t e t hr e e - t e r m   c on j ugat e   gr adi e nt   a l gor i t hm s   w i t i n e x ac t   l i n e   s e ar c h e s   ( A bbas   Y .   A l - B a y at i )   1569   k T k T k k T k k k T k T k k k T k k T k k T k k s y y s s y y s s s v y y y y y s I Q / ) ( / ) / / ( ) 3 ( 1   (31)     k k T k k T k k T k k T k k T k k T k k k T k k T k k k T k k T k k k s s y g s s y y y y y y s s y y g y y y y g s g d 1 1 1 1 1   (32)     ) / / ( ; / 3 1 k T k k T k k T k k T k k T k k s y y y y y y s t v g s   (33)     ) ( 3 1 3 1 k k k k HS k k N k s t y d g d   (34a )     ) ( ] 0 , / [ m a x 3 1 1 3 1 k k k k k T k k T k k N k s t y d y d y g g d   (34b )     O u tl i n e   o N 3 - A l go r i th m .   A l l   th e   s t e p s   as   i n   A l go r i th m   (N 1)   e x c e p t :   S t4.   T h e   p a r a m e t e r s k ,   3 t a r e   c o m put e d   f r o m   (3 3).   S t5.   T h e   n e w   s e a r c h   di r e c t i o n 3 1 N k d   i s   c o m put e f r o m   (34) .     F ou r th   S c al e d   M u l ti - S t e p   Th r e e - Te r m   C G - M e th o d   (N 4)   H e r e ,   w e   de s c r i b e   o ur   n e w   CG - m e t h o (N 4)   a s   a   s c a l e d   CG - a l go ri t hm ;   (f o r   de t a i l s   o f   s c a l e CG - a l go r i t hm s ;     s e e   A l - B a y a t i ,   a t   e l .   [22]   a n d   H a s s a e t   a l .   [23]) .   T h i s   a l go ri t hm   i s   i n de pe n de nt   o f   t h e   l i n e   s e a r c h,   a t   e v e r y     s t e p.   T h e   s e a r c d i r e c t i o 4 1 N k d   i s   c o m put e a s :     k k k S PR k k k N k p s g d 1 1 4 1   (35)     ) / ( k T k k T k k s y s s k k k k s y p 2 1 / k k T k k g g s   (36)     k T k k k k k T k k S P R k g g g g g / 1 1 1 ,   ( 3 7 )     k k k k k T k k k T k k k k k T k k k k N k s y g g s s g g g g g g d 2 1 1 1 1 1 1 4 1 / ) / (   ( 38 )     O u tl i n e   o N 4 - A l go r i th m .   A l l   th e   s t e p s   as   i n   A l go r i th m   (N 1)   e x c e p t :   S t4.   T h e   p a r a m e t e r s k , k p , k a r e   c o m put e d   f r o m   (3 6) .   S t5.   S PR k a n d   t h e   n e w   s e a r c di r e c t i o n 4 1 N k d   a r e   c o m put e f r o m   (3 7 a nd  ( 38 )   r e s pe c t i v e l y .     3. 1   C O N V ER G EN C A N A L Y S I S   D e s c e n t   a nd  gl o b a l   c o n v e r ge n c e   c o n di t i o n s   p r o pe r t i e s   of   H S   a n P R   m e t h o ds   c a n   b e   fo un di r e c t l y   i n   H e s t e n e s   a n S t i e f e l   [24]  a n d   P o l a a n R i b i è r e   [ 25] .   T o   s h o w   t ha t   o ur   n e w   m u l t i - s t e TT CG - a l go r i t h m s   (N 1,   N 2 ,   N 3 ,   a nd  N 4)  ha v e   a   de s c e n t   a nd  g l o b a l   c o n v e r ge n c e   pr o pe rt i e s   u s i n g   W o l f e   c o n di t i o n s   (18) .   Co n s i de r     Th e o r e m - I.   S uppo s e   t h a t   W o l f e   c o n di t i o n s   (18)   a r e   s a t i s f i e d,   t h e n   n e w   s e a r c h   d i r e c t i o n s ,   N 1 ,   N 2 ,   N 3 ,   a n d   N 4   de f i n e by   (2 3 ),   (2 8 ) ,   (34) ,   a n d   ( 38 )   s a t i s fy   t h e   de s c e n t   p r o pe rt y ,   i . e .       0 1 1 k T k d g   ( 39 )     P r oo f.     I:   F o r   1 1 N k d   a n d   f r o m   W o l f e   c o n di t i o n s   (18 ),   w e   ge t 0 k T k s y   t h e n :   Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2502 - 4752   In do n e s i a J   E l e c   E ng  &   Co m S c i ,   V o l .   19 ,   N o .   3 S e pt e m b e r   20 20  :     15 64   -   15 73   15 70   0 / ) ( / 1 2 1 2 2 1 1 1 k T k k T k k T k k k k T k s y g s s y y g d g     (40 )     II:   F o 2 1 N k d   a n d   f r o m   W o l f e   c o n di t i o n   ( 18),   w e   ge t 0 k T k s y   t h e n :     0 / ) ( / 2 2 1 2 2 1 1 1 k T k k T k k T k k k k T k s y g s s y y g d g   (41)     III:   F o r   3 1 N k d   a nd  f r o m   W o l f e   c o n di t i o n   (18) ,   w e   ge t 0 k T k s y   t h e n:     0 ) )( / / ( 1 2 2 2 1 1 k T k k T k k k k T k k k T k g s s y y y s y g d y   (42)     IV :   F o 4 1 N k d   a n d   (18)   i s   h e l d ,   t h e n 0 k T k s y F r o m   (36 ):     2 1 1 1 / k k T k k T k k T k g s y s s d g   ( 43 )     , 0 k T k s s   t h e n , 0 / k T k k T k s y s s   f o r   a l l   0 k   (44)     H e n c e ,   4 1 N k d ,   de f i n e d   i ( 38 ) ,   s a t i s f i e s   a n d     2 1 1 1 k k T k g c d g 0 c   ( 45 )     T h e r e f o r e ,   o ur  n e w   a l go r i t hm s   N 1,   N 2 ,   N 3 ,   a n d   N 4   a r e   de s c e nt .     A s s u mp ti o n   (H ):   (a ) -   " T h e   l e v e l   s e t ) ( ) ( , : 1 x f x f R x x S n   i s   b o un de d,   a nd  1 x   i s   t h e   s t a r t i n g   po i n t " .     (b ) -   " In   a   n e i g h b o rh o o   of  S ,   f i s   c o n t i nuo us l y   di ffe r e nt i a b l e   a nd  i t s   g r a di e n t   i s   L i pc h i t z   c o n t i nuo us l y ,   na m e l y ,   t h e r e   e xi s t s   a   c o n s t a nt   0 L   s uc h   t h a t   " k k k x x x x L x g x g , , ) ( ) ( " .   u nde t h e s e   a s s u m pt i o n s   o n   f t h e r e   e xi s t s   a   c o n s t a nt 0   s uc h   t h a t   S x x g , ) (   W e   kn o w   t h a t   t h e   n e w   s e a r c h   di r e c t i o n s   ge n e r a t e by   (2 3 ),   ( 2 8 ),   (34)  a n ( 38 a r e   a l w a y s   de s c e n t   d i r e c t i o n s .   To   e n s u r e   th e   gl o b al   c o n v e r ge n c e   p r o p e r ty  o th e s e   al go r i th m s   l e u s   c o n s i d e r :   Th e o r e m - II    A s s um e   t h a t   (H ,   a a n d   (H ,   b h o l d,   a n d   c o n s i de r   t h e   a l go ri t hm s   (2) ,   (2 3 ) ,   (2 8) ,   (34) ,   a n d   (38)   w h e r e   N 1,   N 2,   N 3a n N a r e   de s c e n t   d i r e c t i o n s   a nd k c o m put e by   (18).   S up po s e   t h a t   f   i s   a   u ni f o r m l y   c o n v e f un c t i o n   o S ,   i . e .   t h e r e   e xi s t s   a   c o n s t a nt     s uc h   t h a t :     2 ) ( )) ( ) ( ( y x y x y f x f T "   ( 46 )     F o r   a l l   N y x ,   t h e n   0 l i m k k g   (47)     P r oo f.   Co n s i de r   CG - a l go ri t hm s   (2) ,   (2 3 ),   (2 8 ) ,   (34)   a n d   (38) .   F r o m   " L i ps c hi t z   c o n t i n ui t y " ,   w e   ge t   k k s L y .   F urt h e rm o r e ,   f r o m   u ni f o r m   c o n v e xi t y 2 k k T k s s y .   U s i n t h e   Ca uc h y   i n e qua l i t y ,   a s s um pt i o n   (H ,   a a n d   (H ,   b a n d   t h e   a b ov e   i n e qua l i t i e s ,   w e   ge t :     Evaluation Warning : The document was created with Spire.PDF for Python.
In do n e s i a J   E l e c   E ng  &   Co m S c i     IS S N :   2502 - 4752       Ne w   m ul t i - s t e t hr e e - t e r m   c on j ugat e   gr adi e nt   a l gor i t hm s   w i t i n e x ac t   l i n e   s e ar c h e s   ( A bbas   Y .   A l - B a y at i )   1571   k k k T k k T k HS k s L y s y g / 1   k k T k k T k k s s y g s 1 2 2 1 1 1 L s y y t k T k k   (48)      2 2 2 2 2 L s y y t k T k k   2 2 2 2 3 L L s y y y s y t k T k k k k T k   (49)      T h e r e f o r e ,   pu t t i n g   (48)   a nd  (4 9)  i n   (17a a n d   (17b )   y i e l ds :     ) 1 ( / 2 1 1 1 1 M L L M s t y s g d k k k k k k HS k k N k   ( 50 )     ) 2 ( / 2 2 1 2 1 M L L M s t y s g d k k k k k k HS k k N k   ( 51)     ) 2 ( / 3 2 3 1 3 1 M L L M L M s t y s g d k k k k k k HS k k N k   ( 52 )     S i m i l a rl y ,   fo r   4 1 N k d ,   us i n g   a s s um pt i o n   (H )   a n d   t h e   a b ov e   i n e qua l i t i e s ,   w e   ge t :     1 2 2 k k k T k k T k k s s s y s s k k T k k k k T k k S P R k s L g g y g 1 1   k k k T k k s g g s 2 1   (53)      H e n c e pu t t i ng  ( 53)   i (17c y i e l ds :     1 1 1 4 1 L M L M s y y y s g d k k k k k k S P R k k k N k   ( 54 )     H e n c e ,   1 1 N k d 2 1 N k d 3 1 N k d ,   a n d   4 1 N k d   e n s u r e   t h e   gl o b a l   c o n v e r ge n c e   p r o pe r t y   a n 0 l i m k k g .       3.   R ES U LTS   A N D   D I S C U S S I O N   H e r e ,   w e   r e po r t   t h e   pe r f o r m a n c e   of   t h e   n e w   pr o p o s e CG - a l go r i t hm s ,   na m e l y   (N 1,   N 2,   N 3,   N 4)  o n   a   s e t   o f   (39)  l a r ge - s c a l e   n o nl i n e a r   t e s t   p r o b l e m s ;   CU T E   l i b ra r y   (s e e   Bo n ga rt z   [2 6]   f o r   de t a i l s   o f   t h e s e   t e s t   pr o b l e m s us i n c o de s   w r i t t e n   i n   F o r t ra n.   W e   ha v e   t a ke n   ( 10)  n um e r i c a l   e xpe ri m e n t s   w i t h   N = 1 000,   4 500 ,   10000  f o r   e a c h   t e s t   pr o b l e m .   T o   a s s e s s   t h e   r e l i a b i l i t y   of   o ur   n e w   pr o po s e m e t h o d,   w e   h a v e   t e s t e i t   a ga i n s t   o t h e r   s i m i l a r   CG - a l go ri t hm s   w i t h   t h e   s t o ppi n c ri t e r i o n   6 10 k g o r   w h e n   t h e   i t e r a t i o n s   e xc e e 10000  o r   th e   n u m b e r   o f   f un c t i o n   g r a di e n t   e v a l ua t i o n s   (N O F G r e a c h   15000  w i t h o ut   s a t i s fy i n t h e   s t o ppi n c r i t e ri a .   I a l l   t h e s e   t a b l e s :   N   =   " D i m e n s i o n   o f   t h e   pr o b l e m " ;   N O =   " N um b e r   of  i t e r a t i o n s " ;   T IM E   =   "   T o t a l   t i m e   r e qui r e t o   c o m pl e t e   t h e   e v a l ua t i o n   p r o c e s s   fo r   e a c h   t e s t   P r o b l e m " .   A l l   o u r   n u m e ri c a l   r e s ul t s   a r e   r e p r e s e n t e i n   F i gu r e s   1 ,   2,   3,   4,   5 ,   a n d   6 .   F i gu r e s   1   a n c o m pa r e s   N 1,   N 2,   N 3,   a n N 4   a ga i n s t   TT (BS ;   P R   a n d   H S )   du e   t N O I F i g ur e s   a n c o m pa r e s   N 1 ,   N 2,   N 3,   a n N 4   a g a i n s t   T T (B S ;   P R   a nd   H S due   t o   N O FG .   F i gi u r e s   5   a n c o m pa r e s   N 1,   N 2 ,   N 3,   a nd  N 4   a ga i n s t   T T (B S ;   P R   a n d   H S due   t o   T IM E .       Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2502 - 4752   In do n e s i a J   E l e c   E ng  &   Co m S c i ,   V o l .   19 ,   N o .   3 S e pt e m b e r   20 20  :     15 64   -   15 73   1572               F i gu r e   1 .   P e r f o r m a n c e   due   t o   N O I   F i gu r e   2 .   P e r f o r m a n c e   due   t o   NOI   F i gu r e   3 .   P e r f o r m a n c e   due   t o   NOFG                           F i gu r e   4 .   P e r f o r m a n c e   due   t o   NOFG   F i gu r e   5 .   pe r f o r m a n c e   d ue   t o   T i m e   F i gu r e   6 .   pe r f o r m a n c e   d ue   t o   T i m e       4.   C O N C LU S I O N   In  t hi s   w o r k,   w e   ha v e   i n v e s t i ga t e n e w   t hr e e - t e rm   m ul t i - s t e s e a r c h   di r e c t i o n s   de f i n e i (17 ).     T h e   go a l   o f   t h e s e   n e w   a l go r i t h m s   i s   a   m u l t i - s t e p r o pe r t y   t h a t   c o m b i n e s   t hr e e - t e rm   CG - t e c hn i que s   w i t m e m o r y l e s s   Q N - upda t e s .   O u r   t h e o r e t i c a l   i m pl e m e n t a t i o n   re l a t e t o   t h e   r e qui r e m e n t   o f   s u ff i c i e n t   de s c e n t   pr o pe rt y   a n e n s u r e s   t h e   p r o pe r t y   of   gl ob a l   c o n v e r ge n c e .   A l s o ,   w e   h a v e   pr e s e nt e f o ur   n e w   t hr e e - t e rm   m ul t i - s t e CG - a l go ri t hm s ,   w hi c h   t h e y   us e   W o l f e ' s   a n i t ' s   a c c e l e r a t i o n   a s   a   l i n e   s e a r c h   s ub pr o gra m .   M o r e o v e r ,   O ur  n u m e r i c a l   r e s ul t s   s h o w   t h a t   o ur   n e w   a l go ri t hm s   h a v e   r o b us t   n um e r i c a l   r e s ul t s   a s   c o m pa r e t o   o t h e r   s i m i l a a l go ri t hm s   i t h e   s a m e   f i e l d.       A C K N O WL ED G E M EN TS     T h e   r e s e a r c h   i s   s uppo rt e by   t h e   Co l l e ge   of   Co m put e r   S c i e n c e s   a n M a t h e m a t i c s ,   U ni v e r s i t y   of   M os ul ,   R e pu b l i c   of   Ira q .   T h e   a ut h o r s   de c l a r e   t h a t   t h e r e   a r e   n o   c o n f l i c t s   o f   i n t e r e s t   r e ga rdi ng  t h i s   w o r k.       R EF ER EN C ES     [ 1]   H a s s a n,   B . A .   A   ne w   f o r m ul a   f o r   c o nj ug a t e   pa r a m e t e r   c o m put a t i o ba s e d   o t he   qu a dr a t i c   m o de l ,   I ndone s i an   J our nal   o f   E l e c t r i c a l   E ngi ne e r i ng   and   C om p ut e r   Sc i e nc e v o l .   13 ,   n o .   3 ,   p p.   95 4 - 961 ,   2 019 .   [ 2]   B e a l e ,   E . M . L . A   de r i v at i on  o f   c onj uga t e   gr ad i e nt s ,   i num e r i c a l   m e t hods   f o r   non l i ne ar   opt i m i z at i o n ,   N e w   Y o r k L o o t s m a ,   F . A . pp .   39 - 43 ,   1 972 .   [ 3]   N a z a r e t h,   L . ,   C o nj ug a t e   di r e c t i o a l g o r i t hm   w i t ho u t   l i n e   s e a r c h,   J o ur na l   of   O pt i m i z at i o T he or y   an A ppl i c a t i ons v o l .   23 ,   no .   3 p p.   37 3 38 7 ,   19 77 .   [ 4]   Z ha ng ,   L .   Z ho u,   W .   L i .   D . ,   A   de s c e nt   m o di f i e d   P o l a k -   R i b i è r e - P o l y a c o nj ug a t e   g r a d i e n t   m e t ho a nd  i t s   g l o ba l   c o n v e r g e nc e ,   I M A   J our na l   o f   N um e r i c al   A n al y s i s v o l .   26 ,   no .   4 p p.   629 640 200 6 .   [ 5]   Z ha ng ,   L .   Z ho u,   W .   L i ,   D . ,   S o m e   de s c e nt   t hr e e - t e r m   c o nj ug a t e   g r a d i e n t   m e t ho ds   a nd  t he i r   g l o ba l   c o nv e r g e nc e ,   O pt i m i z at i on   M e t hod s   and   So f t w ar e v o l .   22 ,   no .   4 p p.   69 7 71 1 ,   20 07 .   [ 6]   Z ha ng ,   L .   X i a o ,   Y .   W e i .   Z . ,   N o nl i ne a r   c o nj ug a t e   g r a d i e n t   m e t ho ds   w i t s uf f i c i e n t   de s c e n t   c o ndi t i o f o r   l a r g e - s c a l e   unc o ns t r a i ne o pt i m i z a t i o n,   M a t h .   P r ob.   E ng .,   v o l .   200 9,   pp . 1 - 16 ,   2009 .   [ 7]   D a i ,   Y .   a nd  L i a o ,   L . ,   N e w   c o nj ug a c y   c o ndi t i o ns   a nd  r e l a t e d   no nl i n e a r   c o nj ug a t e   g r a di e nt   m e t ho ds ,   A p pl .   M a t h   O pt i m . ,   v o l .   43 ,   no .   1 ,   pp .   87 - 101 ,   2001 .   [ 8]   Al - B a y a t i ,   A . Y .   a n d,   S ha r i f ,   W . H . ,   A   ne w   t h r e e - t e r m   c o nj ug a t e   g r a d i e n t   m e t ho f o r   unc o ns t r a i ne o pt i m i z a t i o n,   C anad i an .   J .   S c i .   E ng .   M a t h . ,   v o l . 1 ,   no .   5 ,   pp .   1 08 124 ,   2010 .   Evaluation Warning : The document was created with Spire.PDF for Python.
In do n e s i a J   E l e c   E ng  &   Co m S c i     IS S N :   2502 - 4752       Ne w   m ul t i - s t e t hr e e - t e r m   c on j ugat e   gr adi e nt   a l gor i t hm s   w i t i n e x ac t   l i n e   s e ar c h e s   ( A bbas   Y .   A l - B a y at i )   1573   [ 9]   Al - B a y a t i ,   A . Y .   a nd  H a s s a n ,   B . A .   m o di f i e t hr e e - t e r m   c o nj ug a t e   g r a di e n t   m e t ho d ,   A dv anc e s   i M ode l i ng     and  A na l y s i s   A v o l .   48 ,   no .   2 ,   pp .   1 - 14 ,   20 11 .   [ 10]   Al - B a y a t i ,   A . Y .   a nd  A l - K ha y a t ,   H . N . ,   D i f f e r e nt   t y pe s   of   T hr e e - T e r m   CG - M e t ho ds   w i t s uf f i c i e n t   de s c e n t     a nd  c o nj ug a c y   c o ndi t i o ns ,   J our na l   of   Z a nk o y   Su l e i m an i   P ar t - A   f o r   P ur e   and  A ppl i e Sc i e nc e s v o l .   16 ,   no .   2 ,   pp .   27 - 45 20 14 .   [ 11]   P e r r y ,   A . ,   A   m o di f i e d   c o nj ug a t e   g r a d i e n t   a l g o r i t hm ,   O pe r at i on s   R e s e ar c h v o l .   26 ,   no .   6 p p.   10 73 1 078 ,   1978 .   [ 12]   S ha nno ,   D . ,   C o nj ug a t e   g r a d i e n t   m e t ho ds   w i t i ne xa c t   s e a r c he s ,   M a t h .   of   O pe r a t i o R e s e ar c h ,   v o l .   3 ,   no .   3 ,     pp.   24 4 - 256 ,   1 978 .   [ 13]   D e nni s ,   J .   E . ,   J r . ,   a nd  S c hn a be l ,   R .   E .   N um e r i c al   m e t hod s   f or   unc o ns t r ai ne op t i m i z a t i on  and  non l i ne ar   e qua t i o ns N e w   J e r s e y P r e nt i c e - H a l l ,   198 3 .   [ 14]   H a s s a n,   B .   A . ,   A   ne w   c l a s s   o f   B F G S   up da t i ng   f o r m ul a   ba s e d   o t h e   n e w   Q u a s i - N e w t o e q ua t i o n,   I ndone s i an   J our nal   o f   E l e c t r i c a l   E ngi ne e r i ng   and   C om p ut e r   Sc i e nc e v o l .   13 ,   n o .   3,   p p.   94 5 - 953 ,   2 019 .   [ 15]   Al - B a y a t i   A . Y ;   A hm e d,   H . I .   a nd  H a m e d,   E . T . ,   ne w   h y br i a l g o r i t hm   f o r   c o nv e no nl i ne a r   unc o ns t r a i n e d   o pt i m i z a t i o n ,   H i ndaw i   J ou r na l   of   A p pl i e M a t he m at i c s v o l .   20 19 ,   pp .   1 - 6 ,   201 9 .   [ 16]   N a z a r e t L .   a n N o c e da l   J . ,   P r o pe r t i e s   o f   C G   m e t ho ds   w i t h   I ne xa c t   l i n e   s e a r c he s ,   R e po r t   780 - S y s t e m   O pt i m i z a t i o L a bo r a t o r y ,   D e pa r t m e nt   o f   O pe r a t i o R e s e a r c h,   S t a nf o r U ni v e r s i t y ,   U S A ,   19 78 .   [ 17]   N o c e da l ,   J . ,   C o nj ug a t e   g r a d i e nt   m e t ho ds   a nd  no nl i ne a r   o pt i m i z a t i o n,   L i ne ar   an N on l i ne ar   C onj ug at e   G r ad i e nt   R e l at e M e t ho ds p p.   9 23 1996 .   [ 18]   L i u,   D . C .   a n N o c e da l ,   J . ,   O t h e   l i m i t e m e m o r y   B F G S   m e t ho f o r   l a r g e   s c a l e   o pt i m i z a t i o n,   M at he m at i c al   P r ogr am v o l .   45 ,   no .   1 - 3 pp .   503 52 8 ,   19 89 .   [ 19]   A ndr e i ,   N .   A c c e l e r a t i o o f   c o nj ug a t e   g r a di e nt   a l g o r i t hm s   f o r   unc o ns t r a i n e o pt i m i z a t i o n,   A pp l i e M a t he m at i c al   C om put at i ona l v o l .   pp .   213 ,   no .   2 pp .   361 369 ,   2009 .   [ 20]   Al - B a y a t i ,   A . Y . ,   A   ne w   f a m i l y   o f   s e l f - s c a l i ng   v a r i a b l e   m e t r i c   a l g o r i t hm s   f o r   unc o ns t r a i n e o pt i m i z a t i o n,   J ou r na l   of   E duc .   and   S c i . ,   U n i v e r s i t y   of   M os ul ,   I r aq v o l .   12 ,   pp.   25 - 54 ,   19 9 1 .   [ 21]   O r e n ,   S . S . ,   O t he   s e l e c t i o o f   pa r a m e t e r s   i s e l f - s c a l i ng   v a r i a b l e   m e t r i c   a l g o r i t hm s ,   M at he m at i c al   P r ogr am m i n g v o l .   7 ,   no .   1 pp .   351 - 3 67 ,   1 974 .   [ 22]   Al - B a y a t i   A . Y . ;   H a m e d ,   E . T .   a nd   Al - K a w a z ,   R . Z . ,   N e w   i nv e s t i g a t i o f o r   T he   L i u - S t o r y   S c a l e c o nj ug a t e   g r a d i e n t   m e t ho ds   f o r   no nl i ne a r   o pt i m i z a t i o ns ,   H i ndaw i ,   J our nal   o f   M at he m at i c s v o l .   20 20 ,   p p.   1 - 12 ,   2020 .   [ 23]   H a s s a n,   B .   A . ,   e t   al . ,   A   ne w   k i n o f   pa r a m e t e r   c o nj ug a t e   g r a d i e nt   f o r   unc o ns t r a i n t   o pt i m i z a t i o n,   I ndone s i an   J our nal   o f   E l e c t r i c a l   E ngi ne e r i ng   and   C om p ut e r   Sc i e nc e v o l .   17 ,   n o .   1 ,   p p.   40 4 - 411 ,   2 020 .   [ 24]   H e s t e ne s ,   M . R .   a nd  S t i e f e l ,   E .   M e t ho ds   o f   t he   c o nj ug a t e   g r a di e n t   f o r   s o l v i ng  a   l i ne a r   s y s t e m ,   J o ur n al   of   R e s e ar c h   of   t he   N at i ona l   B ur e au   o f   St a nda r ds v o l .   49 ,   no .   6 ,   pp .   409 436 ,   1 952 .   [ 25]   P o l a k,   E .   a n R i b i è r e ,   G .   N o t e   S u r   l a   C o nv e r g e nc e   de   D i r e c t i o ns   C o nj ug e ,   R e v .   F r anc a i s e   I nf o r m a t   R e c he r c he   O pe r at i ona l l y ,   3e   A n e v o l .   16 ,   no .   3 p p.   35 43 ,   1969 .   [ 26]   B o ng a r t z ,   K . E . ,   C o nn  A . R . ,   G o ul N . I .   a nd  T o i n t ,   P . L . ,   C U T E ,   c o ns t r a i n e a n unc o ns t r a i ne t e s t i ng   e nv i r o nm e nt s ,   A C M   T r ans .   M at h.   So f t w ar e v o l .   21 ,   no .   1 ,   p p.   1 23 - 160 ,   199 5 .     Evaluation Warning : The document was created with Spire.PDF for Python.