I nte rna t io na l J o urna l o f   E lect rica l a nd   Co m p ute r  E ng in ee ring   ( I J E CE )   Vo l.   8 ,   No .   1 ,  Feb r u ar y   201 8 ,   p p .   2 9 1 ~ 2 9 8   I SS N:  2 0 8 8 - 8708 ,  DOI : 1 0 . 1 1 5 9 1 / i j ec e . v8 i 1 . p p 2 9 1 - 2 9 8          291       J o ur na l ho m ep a g e :  h ttp : //ia e s co r e . co m/ jo u r n a ls /in d ex . p h p / I JE C E   A   Self - Tuned   Si mula ted  An nea ling   Alg o rith m   u sing   H idden   M a rk o v  Mo del       M o ha m ed  L a la o ui,  Abdella t if   E l A f ia ,   Ra dd o ua ne  Chih e b   Na ti o n a l  S c h o o l  o f   Co m p u ter S c i e n c e   a n d   S y ste m s  A n a l y si s  (ENS IA S ) ,   M o h a m m e d   V   Un iv e rsity ,   M o ro c c o       Art icle  I nfo     AB ST RAC T     A r ticle  his to r y:   R ec eiv ed   Ma y   2 2 ,   2 0 1 7   R ev i s ed   Dec   3 ,   2 0 1 7   A cc ep ted   Dec   1 7 ,   2 0 1 7     S im u late d   A n n e a li n g   a lg o rit h m   ( S A )  is  a   we ll - k n o w n   p ro b a b il isti c   h e u risti c .   It  m i m i c s  th e   a n n e a li n g   p ro c e ss   in   m e tallu rg y   to   a p p ro x im a te  t h e   g lo b a l  m in i m u m   o f   a n   o p ti m iza ti o n   p r o b lem .   T h e   S A   h a s  m a n y   p a ra m e t e rs  w h ich   n e e d   t o   b e   tu n e d   m a n u a ll y   w h e n   a p p l ied   t o   a   sp e c if ic   p ro b lem .   T h e   tu n i n g   m a y   b e   d i ff icu lt   a n d   ti m e - c o n su m in g .   T h is  p a p e r  a i m s  to   o v e rc o m e   th is  d if f icu lt y   b y   u sin g   a   s e l f - tu n in g   a p p ro a c h   b a se d   o n   a   m a c h in e   lea rn in g   a lg o rit h m   c a ll e d   Hid d e n   M a rk o v   M o d e l  (HMM ) .   T h e   m a in   id e a   i s  a ll o w in g   th e   S A   to   a d a p t  h is   o w n   c o o li n g   l a w   a t  e a c h   it e ra ti o n ,   a c c o r d in g   t o   th e   se a rc h   h isto ry .   A n   e x p e ri m e n t  w a s  p e r f o r m e d   o n   m a n y   b e n c h m a r k   f u n c ti o n s   to   sh o w   th e   e ff icie n c y   o f   th is  a p p r o a c h   c o m p a re d   to   t h e   c las sic a l  o n e .   K ey w o r d :   Heu r is tic s   Hid d en   m ar k o v   m o d el   Ma ch i n e  lear n i n g   P r ed ictio n   Si m u lated   an n ea li n g   Co p y rig h t  ©   2 0 1 8   In stit u te o f  A d v a n c e d   E n g i n e e rin g   a n d   S c ien c e .    Al l  rig h ts  re se rv e d .   C o r r e s p o nd ing   A uth o r :   Mo h a m ed   L alao u i,    Natio n al  Sc h o o l o f   C o m p u ter   Scien ce   a n d   S y s te m s   An al y s i s   ( E NSI A S) ,   Mo h a m m ed   V  Un iv er s it y ,   Mo h a m m ed   B en   A b d allah   R e g r ag u i   A v en u e,   Ma d in at  A l I r f an e,   B P   7 1 3 ,   A g d al  R ab at,   Mo r o cc o .   E m ail:  m ed . lalao u i @ y ah o o . co m       1.   I NT RO D UCT I O N     Sin ce   t h e  f ir s t  v er s io n   o f   s i m u lated   an n ea li n g   alg o r it h m   d escr ib ed   b y   [ 1 ] ,   r esear ch er s   f o cu s ed   o n   t w o   s tr ate g ies   i n   o r d er   to   i m p r o v e  th e   p er f o r m a n ce   o f   S A .   T h e  f ir s t  s tr ateg y   w as   t h e   i m p le m e n tatio n   o f   p ar allel  s i m u lated   an n ea l in g   [ 2 - 4 ] .   T h e  s ec o n d   o n e  w as   th e  o p tim izatio n   o f   co o lin g   s ch ed u le  an d   th e   ad ap tatio n   o f   p ar am e ter s.   T h e  co o lin g   s ch ed u le  is   a n   i m p o r tan t  s et  o f   p ar a m eter s   th at  g o v er n s   t h e   co n v er g e n ce   o f   S A .   T h e  s et  o f   an n ea li n g   s ch ed u le  as  d ef i n e d   b y   [ 5 ] ,   in clu d es  th e  co o lin g   f ac to r ,   th e  s tar ti n g   an d   s to p p in g   te m p er at u r e,   an d   th e  n u m b er   o f   m o v e s   at  e ac h   te m p er at u r e.   T h e  co o lin g   f ac to r   is   th e  m o s t   in f lu e n tia l  f ea t u r e  a m o n g   th e  s et  o f   an n ea li n g   s c h ed u le.   T h i s   f ac to r   ca n   b e  d ef in ed   as  th e   m e th o d   f o r   w h ic h   th e  al g o r ith m   r ed u ce s   th e   te m p er at u r e  to   its   n e x t   v al u e.   I f   th e   te m p er at u r e  i s   r ed u c ed   v er y   q u ic k l y ,   a   co n v er g e n ce   to   a   lo ca l  m i n i m u m   m a y   o cc u r .   Ho w e v er ,   if   i t  is   r ed u ce d   to o   s lo w l y ,   t h e  al g o r ith m   ta k es  a  lo n g   ti m e  to   co n v er g e.   T h e  m o s t   f r eq u en t l y   u s ed   d ec r e m e n t  r u le  is   g eo m etr ic  s c h ed u le   [6 - 8]   in   w h ic h   t h e   te m p er atu r e  d ec r ea s e  at  ea ch   s tep   t  is   g o v er n ed   b y   th e  f o r m u la                       ,   w h er e   0 . 8 5   ≤   α   ≤   0 . 9 6   an d   α   is   a  co n s ta n t.  An o th er   m et h o d   w h i ch   o u tp er f o r m s   t h e  co m m o n l y   u s ed   g eo m etr ic  co o lin g ,   w as  p r o p o s ed   b y   L u n d y   [ 9 - 13 ] .   L u n d y ’ s   co o li n g   la w   u s e s   t h e  f lo w in g   f o r m u la  :                                         wh er e  β  i s   a  s u itab l y   s m all   v alu e.     T h e  u s e  o f   m ac h i n e  lear n i n g   t o   tu n e  h e u r is t ic  w a s   ad o p ted   b y   m a n y   r esear c h er s   [ 14 -   17 ] .   E s p ec iall y ,   th e  H id d en   Ma r k o v   Mo d el  ( HM M)   [ 18 ] .   HM Ms  s u cc e s s   is   d u e  to   ab ilit y   to   d ea l   w it h   t h e  v ar iab ilit y   b y   m ea n s   o f   s to ch as tic  m o d eli n g .   I t  w as  u s ed   to   en h a n ce   th e  b e h av io r   o f   m eta h eu r i s tic s   b y   es ti m ati n g   t h eir   b est   co n f i g u r atio n   [ 19 -   25 ].   T h is   p ap er   p r esen ts   a  n e w   ap p r o ac h   to   en h an ce   S A ,   w h ic h   co n s is t s   o f   tu n i n g   t h e  L u n d y ’ s   co o lin g   la w   d u r in g   t h e  r u n ,   u s i n g   t h e  Hid d en   Ma r k o v   C h ai n .   T h e  m ai n   id ea   is   to   p r ed ict  th e  b es t  co o lin g   la w   p ar am eter     b ased   o n   h is to r y   o f   th e  r u n .   T o   d o   th at,   f ir s t  w e  tr ain   th e  H MM   m o d el  b y   u p d atin g   its   p ar a m eter s   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 8 - 8708   I n t J   E lec  &   C o m p   E n g ,   Vo l.  8 ,   No .   1 ,  Feb r u ar y   2 0 1 8   :   2 9 1   –   2 9 8   292   u s i n g   B au m - W elc h   al g o r ith m   [ 1 8 ] .   T h en   w e  p r o ce ed   to   a  class i f icatio n   p r o ce s s   th r o u g h   t h e   Viter b i  alg o r ith m   [1 8 ]   w h ic h   g iv e s   t h e  m o s t  p r o b ab le  co o lin g   la w   p ar a m eter .   T h e  r est  o f   t h is   p ap er   is   o r g an ized   a s   f o llo w s .   S ec tio n   2   i s   d ev o ted   h y b r id i za tio n   m et h o d o lo g y   o f   HM M,   S A ,   t h en   s ec tio n   3   p r ese n ts   an d   d is c u s s es   th e   ex p er i m e n tal  r es u lts ,   a n d   f i n al l y ,   w e  co n cl u d e  th e  p ap er   in   s ec tio n   4 .       2.   T H E   R E S E ARCH   M E T H O D   T o   en h an c e  th e  p er f o r m an ce   o f   SA ,   an   h y b r id iza ti o n   w ith   th e  HM M  w as a d o p te d .   Du r in g   th e  r u n ,   th e   h id d en   Ma r k o v   m o d el  p e r f o r m s   class if ica ti o n   b as ed   o n   o b s er v a b l e  s e q u en ce   g en e r a te d   f r o m   a  s et  o f   r u les .   T h is   s eq u en ce   a l l o w s   th e  m o d el  to   g u ess   th e  h i d d en   s tat e  w h ich   ca n   b e  a  s l o w   co o lin g   h elp in g   th e  alg o r ith m   to   co n v e r g e  t o   a  g lo b a l  m in i m u m ,   a  m ed iu m   o r   r a p i d   c o o lin g   to   s p ee d   u p   th e  s e ar ch   w h en   n o   im p r o v em en t  in   s o lu ti o n   o cc u r s   ( Fig u r e  1 ).                   Fig u r e  1 .   Ma r k o v   ch ai n   f o r   s im u lated   an n ea li n g   al g o r ith m       T h e  Hid d en   Ma r k o v   Mo d el  ca n   b e  d ef in ed   as 5 - tu p le                            w h er e:   a.   S=  {     ,      ,       }  is   s et  o f   h id d en   s tates,   w h ic h   is     r esp ec tiv e l y :  s lo w ,   m ed iu m   a n d   r ap id   co o lin g .   b.       : is S A   w it h   a  s lo w   L u n d y   d ec r ea s e  la w ,   t h e  co o lin g   f ac to r   is               .    c.       :  is   th e  s a m e  v ar ia n t  o f   s i m u l ated   an n ea lin g ,   w h er e  th e  co o lin g   la w   is   f a s ter   th an   th e  p r ev io u s   o n e                 d.       : is L u n d y   s i m u lated   an n ea li n g   v ar ia n t  w it h   w h er e  th e  r ap id   co o lin g   la w                   e.                                   is   th e  s et  o f   th e  o b s er v a tio n   p er   s tate.   f.                  is   a  tr an s itio n   p r o b a b ilit y   m atr ix ,   w h er e         is   th e  p r o b ab ilit y   t h at  th e  s tate  at  ti m e          is         ,  is   g i v e n   w h e n   t h e  s tate  at  ti m e       is         g.                                         is   th e  i n itial p r o b ab ilit y ,   w h er e          is   th e  p r o b ab ilit y   o f   b ein g   i n   th e  s tate      .   h.                  is   th e  o b s er v atio n   p r o b ab ilit ies,    w h er e         is   th e  p r o b a b ilit y   o f   o b s er v in g         in   s tate      .   T h is   o b s er v atio n s   m atr i x       o f   h id d en   m ar k o v   m o d el  is   esti m ate d   at  ea r ly   s tag e  b y   Ma x i m u m   L ik e lih o o d   E s ti m a tio n   ( M L E ) .     T h e  m ai n   p u r p o s e  o f   th is   m o d el  is   to   esti m ate  s tate  s eq u e n ce   S  th at  b est  ex p lai n s   t h e  o b s er v atio n   s eq u en ce   O.   T o   g en er at e  th e  o b s er v ab le  s eq u en ce   o f   HM M  m o d el.   W e  u s e  a  p r o g r ess i o n   r ate  d escr ib ed   in   E q u atio n   ( 1 ) ,   an d   a  m ea s u r e  o f   th e  ac ce p ta n ce   r ate  o f   th e  p r o p o s ed   s o lu tio n   d escr ib ed   in   E q u atio n   ( 2 ) .                                                                                                ( 1 )     W h er e  in   E q u atio n   ( 1 ) ,   th e  n u m b er   o f   p r o p o s al  is   th e  n u m b er   o f   s o l u tio n   g en er ated   b y   t h e  n ei g h b o r h o o d   f u n ctio n   i n   ea ch   i ter atio n ,   i n n er   an d   o u ter   lo o p   ar e  th e  m a x i m u m   n u m b er   o f   iter atio n s   es tab lis h ed   f o r   S A   to   f i n d   th e  b est s o l u tio n .                                                                                                              ( 2 )   I n   E q u atio n   ( 2 ) ,   th e  n u m b er   o f   ac ce p ted   s o lu tio n s   at  iter atio n   t  is   th e  ac cu m u lated   n u m b er   o f   ac ce p ted   s o lu tio n   u n til  t h e  c u r r en t  iter at io n ;  an d   li k e  th e  E q .   1 ,   n u m b e r   o f   p r o p o s al  is   th e  n u m b er   o f   s o lu tio n   g e n er ated   d u r in g   th e  s ea r ch .   T h e  ac ce p t an ce   r ate      ,   an d   th e  p r o g r ess io n   r ate      ar e  th en   u s ed   to   g e n er a te  a  s eq u e n ce   o f   class   f r o m   a  s et  o f   r u les as  f o ll o w :   a.       : little d ec r ea s e  o f   ac ce p tan ce   r ate.   b.       : n o   i m p r o v e m en t in   co s t  f u n c tio n   ev e n   i f   th e  p r o g r ess io n   r at e  is   less   t h a n   5 0 %.    c.         : a   g r ea t d ec r ea s e  o f   ac ce p tan c e  r ate.   d.         : a   litt le  in cr ea s e  o f   ac ce p ta n c e  r ate.   e.         : a   h u g e  in cr ea s e  o f   ac ce p tan c e  r ate.     Ra p id   C o o li n g   M e d iu m   Co o li n g   S lo w   Co o li n g   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J   E lec  &   C o m p   E n g     I SS N:  2 0 8 8 - 8708       A   S elf - Tu n ed   S imu la ted   A n n ea lin g   A lg o r ith m  u s in g   Hid d en   Ma r ko v  Mo d el  ( Mo h a med   La la o u i )   293   Du r in g   t h e  r u n   a  s et  o f   o b s er v atio n   is   g en er ated   as  f o llo w :     A l g o r ith m   1 : G e n er ate_ Ob s er v atio n   Input:              ρ,  Rule_1(           ,   Rule_2(           , Rule_3(           ,  b b Rule_4(           , Rule_5(             Output : O Current Observation           If  Rule_1(           ==TRUE   then   O     1    End          If  Rule_2(           ==TRUE   then   O     2    End          If  Rule_3(           ==TRUE   then   O     3    End       If  Rule_4(           ==TRU E  then   O     4    End          If  Rule_5(           ==TRUE   then   O     5    End      Return  O     T h e  p u r p o s e  o f   th i s   m o d el  is   t o   esti m a te  s tate   S t h at  b es t e x p lain s   t h e  o b s er v a tio n   s eq u e n c e  O.   Giv e n   th e  o b s er v atio n   s eq u e n ce                           an d   a  m o d el                     .   Firstl y ,   w e  e s ti m ate   th e  tr an s itio n   a n d   e m is s io n   p r o b ab ilit ies  f r o m   t h e  f ir s t  s eq u en ce   o f   o b s er v a tio n   u s in g   a  s u p er v is ed   tr ai n in g .   I n   w h ic h ,   w e  co u n t   f r eq u en c ies o f   tr a n s m i s s io n s   a n d   e m i s s io n s   o f   t h e  m o d el:      A l g o r ith m   2 : M L E   Input:                               Output:  A =(        , B   =        )   For   i = 1 to T - 1  do                                             End   For   i = 1 to T    do                                        End      For   i = 1 to 3    do           =  ∑                and           =  ∑                   End   For           to     3   do               For   j=1   to   3    do                               End        For   t=1  to       do                              End   End   Return         T h en   w e  u s e  th e   Viter b i to   s el ec t th e   co r r esp o n d in g   s tate   s e q u en ce                         th a t b est e x p lai n s   o b s er v atio n s ,   s ec o n d l y ,   t h e   B au m   W elc h   ad j u s ts   t h e   m o d el  p ar a m eter s                       to   m ax i m ize         |         i.e . ,   th e  p r o b ab ilit y   o f   t h e  o b s er v atio n   s eq u en ce   g i v en   t h e  m o d el.       2 . 1 .   Vit er bi   A lg o rit h m   Af ter   m o d el  p ar a m eter s   d ef i n itio n ,   th e  Viter b i  alg o r it h m   is   u s ed   to   b u ild   HM M   cla s s i f icatio n   p r o ce s s .   T h is   alg o r ith m   is   u s e d   to   co m p u te  t h e  m o s t p r o b ab l e  p ath   as  w ell  as it s   p r o b ab ilit y .     A l g o r ith m   3 : V iter b i     Input:   S                                                           , A = (        ,   B =         )  ,                                            Output:                                       the most probable sequence of states   For i =                  do                                   and                    End    {Initialization}       For   t = 2 to  T  do           For   j=1 to 3   do                                                                              and                                                                   End   End                                                 ;                                            For t           to 1 do                                    End   Return          2 . 2 .   B a u m   Welc h   A lg o rit h m   T h e  B au m – W elch   a lg o r it h m   i s   u s ed   to   ad j u s t  th e   p ar a m eter s   o f   HM M.   T h is   tr ai n i n g   s tep   i s   b ased   o n   Fo r w ar d - B ac k w ar d   alg o r ith m .     2 . 2 . 1 .   F o rwa rd  A lg o rit h m     T h e  f ir s t  alg o r ith m   u s ed   b y   t h e  B au m - W elc h   alg o r ith m   is   th e  Fo r w ar d   alg o r ith m .   T h is   alg o r ith m   r etu r n s   th e  f o r w ar d   v ar iab le              d ef in ed   as  t h e  p r o b ab ilit y   o f   t h e  p ar tial  o b s er v atio n   s eq u e n ce   u n t il  ti m e  t,   w it h   s tate        at   ti m e  t,      ( t) =   (                           |   ) ,   a n d   w e  d ef in e        |       as  th e  p r o b a b ilit y   o f   th e   o b s er v atio n   s eq u e n ce   g iv e n   t h e  m o d el    .     A l g o r ith m   4 : Fo r w ar d   Input :  S =                           O =                       , A   =   (      )       B   =            ,                                       Output:                             ,        |                 Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 8 - 8708   I n t J   E lec  &   C o m p   E n g ,   Vo l.  8 ,   No .   1 ,  Feb r u ar y   2 0 1 8   :   2 9 1   –   2 9 8   294   For           to       do                               End   For           to     T - 1   do            For           to         do                  ( ∑                        )                  End   End           |       ∑                     Return            |         2 . 2 . 2 .   B a ck w a rd  A lg o rit h m   T h e  s ec o n d   al g o r ith m   u s ed   b y   B au m - W elc h   B ac k w ar d .   T h is   alg o r it h m   ca lc u late s   t h e   b ac k w ar d   v ar iab le               d ef in ed   as t h e  p r o b a b ilit y   o f   t h e  p ar tial o b s er v atio n   s eq u e n ce   af ter   ti m e     ,   g i v en   s t ate      :                                         |                       A l g o r ith m   5 : B ac k w ar d   Input   : S=                               O=                           A= (      )     B=            ,                                             Output   :                      :the probability of the partial observation sequence   For             to       do                      End   For               to           do               For           to         do              ∑                                         End   End     Return        T h e  B au m - W elc h   is   th e n   u s e d   to   r e - esti m ate  t h e  p ar a m ete r s   o f   th e  m o d el    ,   w h ich   m a x i m izes  th e   p r o b a b ilit y   o f   t h e  o b s er v atio n   s eq u en ce .   T h is   al g o r ith m   i s   d escr ib ed   as f o llo w :     A l g o r ith m   6 : B au m - W elc h     Input :   S=                               O=                           A=   (      )     B=                                                  ,                                       ,         |                 Output:         ̅             ̅            ̅             ̅          Repeat                        |         F o rward                       ;  β   Backward( O, A, B,       )          For   t=1   to  T       do          For  i=1   to  3       do                For  j=1   to  3    do                                                         |        End                             ∑                                 End        End      For   k=1   to  T     do         For  i=1   to  3     do              For  j=1   to  3    do    ̅                     ;    ̅      ∑                             ∑                           ;        ̅      ∑                               ∑                       End         End      End   While  (       |       increase)     Return    ̅     ̅     2 . 3 .   T he  H y bridi za t io n   o f   H M M   a nd   SA    I n   th e  f o llo w i n g   w e  w ill  i m p l e m en t  a  v ar ian t  s i m u la ted   an n ea lin g   b ased   o n   h id d en   Ma r k o v   m o d els.   T h e  in ter est  b eh i n d   h y b r id i za tio n   th e  s i m u lated   an n ea l in g   w it h   th e  H MM   is   to   i m p r o v e  th e  S A’ s   p er f o r m a n ce .     A l g o r ith m   7 : H MM - S A   al g o r i th m   Data : The objective function          Initialization   O:Empty   observation   sequence,        initial temperature,        final  temperature,              :starting point, cmp         ,    :progression rate,      :acceptance rate,     n     0:temperature stage     Repeat          Repeat                                           u is a Random vector from the uniform distribution over                           If                                        then                                               else  Generate a pseudo - random number                ∈                                                      If                                                        then                  End           End          Until     equmbrium is approached sufficiently closely at                Update(   ,       )   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J   E lec  &   C o m p   E n g     I SS N:  2 0 8 8 - 8708       A   S elf - Tu n ed   S imu la ted   A n n ea lin g   A lg o r ith m  u s in g   Hid d en   Ma r ko v  Mo d el  ( Mo h a med   La la o u i )   295                Generate - Observation                                                                             If                    then                                                       ;                MLE           ;  state   Viterbi                   ; cmp     cmp         ;                            else                                                    ;                Baum - Welch(O,A,B) ; state   Viterbi(O,A,B)                    End     Cooling_law                                        Cooling_law              Until                           indicating that the system is frozen     3.   E XP E R I M E NT   T h e  ex p er i m e n t   w as   d esi g n ed   to   m ea s u r e  th e   e f f ec t s   o f   h y b r id izatio n   o f   HM M  a n d   S A  a n d   to   s h o w  h o w   o u r   ap p r o ac h   ca n   i m p r o v e  th e  s o l u tio n   q u alit y ,   w e  h a v e  ch o s en   f i v e  b en c h m ar k   f u n c tio n s   s e lecte d   f r o m   th e  liter at u r e  ( T ab le  1 ) .         T ab le  1 .   B en ch m ar k   f u n ctio n s   N a me   F u n c t i o n   F o r mu l a   S i x - H u mp   C a me l               (                           )                                             L e v y   N °   1 3                                                                                                                       Q u a d r i c                 ∑ ( ∑             )             T a b l e t                            ∑                 S p h e r e               ∑                     T h e  p r o p o s ed   h y b r id izatio n   o f   S A   al g o r ith m   a n d   HM M   w as   co d ed   in   Scilab   p r o g r a m m i n g   lan g u a g e   an d   ex p er i m e n ts   w er e  co n d u cted   o n   a  P C   w it h   an   I n te l  C o r e  i7 - 5 5 0 0 U  2 . 4 0   GHz   ( 4   C P Us)  an d   8   GB   o f   R A M.   T h e  h y b r id izatio n   o f   S A   a n d   HM M  h a v e  b ee n   te s ted   u s i n g   t h e  b en c h m ar k   f u n ctio n s   p r ese n ted   ab o v e.   E ac h   f u n ctio n   w a s   te s ted   o v e r   3 0   tr ials .   W e  eli m i n ated   t h e   ef f ec ts   o f   o th er   f ac to r s   w h ic h   p la y   a n   i m p o r tan t   r o le  in   th e   p er f o r m a n ce   o f   al g o r ith m ,   b y   ch o o s i n g   th e   s a m e   s tar tin g   p o in ts   f o r   all  m eth o d s   ( in   ea c h   r u n )   a n d   th eir   lo ca tio n   w a s   ch o s en   to   b e  f ar   f r o m   b a s in s   o f   at tr ac tio n   o f   g lo b al  m in i m a.   Als o ,   w e  h a v e  ch o s e n   t h e  s a m e   in itial  ac ce p tan ce   p r o b ab ilit y   an d   an   id en tical  len g t h   o f   th e  in n er   an d   o u ter   lo o p s .   T h e  in it ial  te m p er atu r e,       ,  h av e  b ee n   ca lc u lated   f r o m   m e an   en er g y   r is e s         d u r in g   t h e  in it ializatio n .   B ef o r e  th e  s tar t o f   t h e  S A ,   t h e  m ea n   v alu e  o f   co s t  r is e s   is   esti m ate d   b y   a  co n s tan t   n u m b er   o f   m o v es  eq u al  to   1 0 0 .   T h en ,   in iti al  te m p er atu r e        is   ca lcu la ted   u s i n g   t h e  f o llo w i n g   f o r m u la                        [ 26 ] ,   w h er e         is   th e  i n it ial  a v er ag e  p r o b ab ilit y   o f   ac ce p tan ce   an d   is   ta k en   eq u a l to   0 . 9 5 .   T h e  len g t h       o f   o b s er v ed   s eq u en ce   w as c h o s e n   eq u al  t o   1 0 .     3 . 1 .   Nu m er ica l  R es ults   T h e  co m p u tatio n al  r es u lt s   a n d   s tati s ti ca l   an al y s e s   ar e  s u m m ar ized   in   T ab le  2 .   I t  p r o v id es  th e  d etail s   o f   th e  r es u lts   f o r   th e  test   f u n ctio n s .   T h e  o v er all  b est  s o lu ti o n   o f   th e  to tal  3 0   r ep licatio n s   is   s h o w n   i n   b o ld .   HM M - S A   p r o v id es  t h e  b est   s o lu tio n   f o r   th e  test   f u n ct io n s       ,           .   I n   g en er al,   HM M - S A  alg o r ith m   o v er co m es t h e  class ical  v ar ia n ts   in   all   b e n ch m ar k   f u n c tio n s .         T ab le  2 .   R esu lts   co m p ar i s o n s   b et w ee n   HM M - S A   a n d   th e  cla s s ical  S A     F u n c t i o n s H M M - S A C S A b e s t - 1 . 0 3 2 E + 0 0 - 1 . 0 3 1 E + 0 0 m e a n - 1 . 0 3 2 E + 0 0 - 1 . 0 3 1 E + 0 0 b e s t 3 . 7 6 8 E - 0 6 1 . 3 7 1 E - 0 5 m e a n 7 . 8 6 4 E - 0 2 6 . 9 4 4 E - 0 2 b e s t 2 . 0 1 3 E - 0 7 6 . 6 7 1 E - 0 6 m e a n 6 . 1 8 1 E - 0 6 4 . 0 0 0 E - 0 3 b e s t 9 . 9 0 3 E - 0 7 7 . 1 1 2 E - 0 6 m e a n 6 . 6 4 3 E - 0 5 1 . 4 3 2 E - 0 3 b e s t 4 . 3 1 1 E - 0 9 8 . 7 4 5 E - 0 6 m e a n 4 . 6 6 2 E - 0 6 1 . 1 5 5 E - 0 3                     Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 8 - 8708   I n t J   E lec  &   C o m p   E n g ,   Vo l.  8 ,   No .   1 ,  Feb r u ar y   2 0 1 8   :   2 9 1   –   2 9 8   296   3 . 2 .   Co m pa riso n   of   C o nv er g ence   P er f o r m a nce   T o   o b tain   f u r th er   in s i g h t s   i n to   th e  co n v er g en ce   b eh a v io r   o u r   ap p r o ac h ,   HM M - S A   m eth o d   w as   co m p ar ed   to   t h e  clas s ical  S A .   E x p er i m e n ts   w er e  d esi g n ed   t o   m ea s u r e  t h e  e f f ec t s   o f   t h e  h y b r id izatio n   o f   S A  an d   HM M  p r ese n ted   i n   t h e  p r ev io u s   s ec t io n .   I t  w a s   n o ticed   th at  t h e  H MM - S A   ca n   co n v er g e  r ap id l y   to   g lo b al   m i n i m u m .   T h e   ti m e  g ai n ed   i n   ea r l y   s tag e   ca n   b e  u s ed   to   co n v er g e  to   a  b etter   s o lu tio n .   T h is   b eh a v io r   i s   d ep icted   in   F ig u r e   2 .                                    Fig u r e  2 .   C o m p ar is o n   o f   H M M - S A   a n d   th e  cla s s ical  S A         3 . 3 .   Sta t is t ica l   A na ly s is   W e  p er f o r m ed   a  Ma n n – W h it n e y – W ilco x o n   ( MW W )   test   [ 27 ]   to   d eter m i n e  w h et h er   th e   alg o r it h m   r ea ch   a  s ig n i f ica n t  p er f o r m a n ce .   W e  ch o o s e  th is   s tat is tical  test   b ec au s e  w e  h a v e  t w o   h e u r is tics   to   co m p ar e.   T h e  Ma n n – W h it n e y – W ilco x o n   test   co m p ar es  w h et h er   th er e   is   an y   d if f er en ce   f r o m   t w o   al g o r ith m s .   T h e  n u ll   h y p o t h esi s        s ay s   th at  th e  t w o   alg o r ith m s   h av e  t h e  s am e  m ea n s   (                   )   an d   th e  alter n ati v e   h y p o t h esi s         s a y s   t h at  t w o   al g o r ith m s   h av e  a  d if f er en t  m e an s   (                 ) .   A cc o r d in g   to   tab le  3 ,   f o r   f u n ctio n s                         ,   th e  p - v alu e   is   les s   th a n   t h e  s ig n i f ica n ce   le v el  o f                .   W e  ca n   r ej ec t  th e  n u ll   h y p o t h esi s ,   s o   w e  ca n   co n cl u d e  th at  o u r   h y b r id izatio n   o f   H MM   an d   SA   o u tp er f o r m s   t h e  class ical  i n s ta n ce   o f   S A .         T ab le  3 .   S tatis tical  an al y s i s   f o r   b en ch m ar k   f u n ctio n s         4.   CO NCLU SI O N   I n   t h is   s t u d y ,   w e  p r o p o s ed   a  s elf - tu n i n g   ca p ab ilit y   o f   s i m u la ted   an n ea li n g   b ased   o n   Hid d en   Ma r k o v   Mo d el.   T o   test   t h e  p er f o r m a n c e  o f   t h i s   ap p r o ac h ,   it  w a s   ap p l ied   to   a  n u m b er   o f   b en c h m ar k   f u n c tio n s   s e lecte d   f r o m   liter at u r e.   T h is   ap p r o ac h   allo w s   to   co n tr o ls   th e  co o li n g   o f   S A   d u r i n g   t h e  r u n ,   b ased   o n   s eq u e n ce   o f   s tate   1 . 7 E - 0 4 0 . 2 4 1 . 9 E - 0 9 2 . 0 E - 0 7 3 . 7 E - 0 9                                                   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J   E lec  &   C o m p   E n g     I SS N:  2 0 8 8 - 8708       A   S elf - Tu n ed   S imu la ted   A n n ea lin g   A lg o r ith m  u s in g   Hid d en   Ma r ko v  Mo d el  ( Mo h a med   La la o u i )   297   g en er ated   f r o m   a  s et  o f   r u les.   T h e  HM M  p ar am eter s   ar e  c alcu lated   an d   u p d ated   at  ea ch   co o lin g   s tep .     T h e  Viter b i  alg o r ith m   i s   th e n   u s ed   to   class if y   t h e  o b s er v ed   s eq u en ce .   T h e  co m p ar is o n s   o f   t h e  p r o p o s ed   ap p r o ac h   an d   th e  clas s ical  s i m u lated   an n ea li n g   d e m o n s tr ate  th at  t h e  s i m u lated   an n ea li n g   b ased   o n   HM M  class i f ier   i s   ab le  to   f i n d   b etter   s o lu tio n s   i n   r ea s o n ab le  ti m e.   O u r   ap p r o ac h   i s   ab le  to   m a n a g e  ti m e   b y   r ap id l y   d ec r ea s in g   te m p er atu r e  a n d   th u s   a n ticip at in g   e x p lo itatio n   s tate,   t h i s   lea d   to   a  b etter   co n v er g en ce .   F u t u r e  r esear ch   m a y   b e   co m p ar ed   to   S A   w i th   f u zz y   lo g ic  co n tr o ller s   a n d   t h e  a p p licatio n   o f   o u r   m et h o d   to   s o m e   o p ti m izat io n   p r o b lem s   s h o u ld   b e  p u r s u ed .       RE F E R E NC E S   [1 ]   S .   Kirk p a tri k ,   " Op ti m iza ti o n   b y   sim u late d   a n n e a li n g , "   S c ien c e ,   v o l.   2 2 0 ,   No .   4 5 9 8 ,   6 7 1 – 6 8 0 ,   1 9 8 3 .   [2 ]   E.   A a rts,   F .   d e   Bo n t ,   E.   Ha b e r s,  a n d   P .   v a n   L a a rh o v e n ,   " P a ra ll e l  Im p le m e n tatio n s  o f   th e   S tat isti c a l  Co o li n g   A l g o rit h m , "   In teg ra ti o n ,   th e   VL S I   J o u rn a l ,   Vo l.   4 ,   2 0 9 - 2 3 8 ,   1 9 8 6 .   [3 ]   A .   C a so tt o ,   F .   Ro m e o   a n d   A .   S a n g io v a n n i - Vin c e n telli ,  " A  P a ra ll e l  S im u la te d   An n e a li n g   Al g o rit h m  fo r  th e   Pl a c e me n t  o f   M a c ro - Ce ll s, "   P r o c e e d in g s  o f   th e   IEE E   In ter n a ti o n a l   Co n f e re n c e   o n   C o m p u ter - A id e d   De sig n ,   3 0 - 3 3 ,   1 9 8 6 .   [4 ]   E.   A a rts,   a n d   J.  Ko rst,   " S im u late d   A n n e a li n g   a n d   Bo l tzm a n n   M a c h in e s:  A   S to c h a stic  A p p ro a c h   to   Co m b in a to ria l   Op ti m iza ti o n   a n d   Ne u ra l   Co m p u t in g ,   "   J o h n   W il e y   &   S o n s ,   1 9 8 9 .   [5 ]   A .   Kr.  Ya d a v   a n d   a l. ,   “ D e sig n   Op ti m iza ti o n   o f   Hi g h - F re q u e n c y   P o w e r  T r a n sf o r m e r   b y   Ge n e ti c   A lg o rit h m   a n d   S im u late d   A n n e a li n g ” ,   In ter n a ti o n a l  J o u rn a l  o f  El e c trica l  a n d   Co mp u ter   En g in e e rin g ,   V o l. 1 ,   No . 2 ,     p p .   1 0 2 ~ 1 0 9 ,   2 0 1 1   [6 ]   P .   Ilam a th i,   V .   S e ll a d u ra i,   K.  Ba la m u ru g a n ,   “ P re d ictiv e   M o d e ll i n g   a n d   Op ti m iza ti o n   o f   P o w e r  P la n t  Nitro g e n   Ox id e s E m is sio n ” ,   I AE S   I n ter n a t io n a l  J o u rn a l  o f  Arti f icia l  I n telli g e n c e   ( IJ - AI) ,   V o l.   1 ,   N o .   1 ,   p p .   1 1 ~ 1 8 ,   ,   2 0 1 2 .   [7 ]   Q.  Ch e n   a n d   a l. ,   “ S im u late d   A n n e a li n g   A lg o rit h m   f o r  F rictio n   P a ra m e ter s  Id e n ti f ica ti o n ” ,   T EL KOM NIKA   ( T e lec o mm u n ica ti o n   Co mp u ti n g   El e c tro n ics   a n d   C o n tro l   ) ,   V o l . 1 1 ,   No . 1 , p p .   2 4 5 ~ 2 5 2 ,   2 0 1 3 .   [8 ]   M .   L u n d y   a n d   A .   M e e s,   " Co n v e r g e n c e   o f  a n   A n n e a li n g   A l g o rit h m , "   M a th e ma ti c a l  Pro g ra mm in g ,   V o l  3 4 ,   p p   1 1 1 - 1 2 4 ,   1 9 8 6 .   [9 ]   W .   A .   Kh a n   a   a n d   D.  R.   H a y h u rst,   " Co m p u ter - a id e d   p a rt  p ro g ra m   se g m e n tatio n   a n d   re c o n stru c t io n   f o r   m in i m iza ti o n   o f   m a c h in e   to o l  re sid e n c e   ti m e " ,  In t.   J .   Co mp u ter   In teg ra ted   M a n u fa c t u rin g ,   Vo l.   4 ,   No . 5 ,   3 0 0 - 3 1 4 ,   1 9 9 1 .   [1 0 ]   A .   Af i f i  a n d   D.  R.   Ha y h u rst,   " Co m p u ter - a id e d   p a rt  p r o g ra m   o p ti m iza ti o n   o f   m u lt i - c o m p o n e n t  p a ll e t   re sid e n c e   ti m e   in   a   m a c h in in g   c e n tre  f o r  c a n n e d   c y c les   a n d   c u tt e r  to o l   c o m p e n sa ti o n " ,  I n t.   J .   Co m p u ter   I n teg ra ted   M a n u f a c tu ri n g ,   V o l .   8 ,   No . 1 ,   1 - 2 0 ,   1 9 9 5 .   [1 1 ]   A .   Af i f i,   D.R.   Ha y h u rst  a n d   W . A.  Kh a n ,   " No n - p r o d u c ti v e   to o l  p a t h   o p t im isa ti o n   o f   m u lt i - to o l  p a rt  p ro g ra m m e s,   "   In t  J   A d v   M a n u f  T e c h n o l ,   5 5 :1 0 0 7 – 1 0 2 3 ,   2 0 1 1 .   [1 2 ]   R.   Ba i,   J.  Blaz e w i c z ,   E. K.  Bu rk e ,   G .   K e n d a ll   a n d   B.   M c Co ll u m ,   " A  si m u late d   a n n e a li n g   h y p e r - h e u risti c   m e th o d o lo g y   f o r  f lex ib le d e c isio n   su p p o rt,   "   4 OR - Q J Op e r  Re s,  1 0 :4 3 – 6 6 ,   2 0 1 2 .   [1 3 ]   S . Ya n g   a n d   J.  M a rc io   M a c h a d o ,   " A   S e l f - L e a rn in g   S im u late d   A n n e a li n g   A l g o rit h m   f o r  G lo b a l  Op ti m iza ti o n s  o f  El e c tro m a g n e ti c   De v ic e s,   "  IEE E  T ra n sa c ti o n s  o n   M a g n e ti c s ,   V o l .   3 6 ,   N° .   4 ,   2 0 0 0 .   [1 4 ]   S .   S u n ,   F .   Z h u g e   a n d   S .   A .   Na p e l,   " Lea rn in g   e n h a n c e d   sim u late d   a n n e a li n g ,   "   Ap p li e d   I n telli g e n c e ,   Vo l.   2 8 ,   Iss u e   1 ,   p p   8 3 - 9 9 ,   2 0 0 8 .   [1 5 ]   S . J.  Je o n g   a n d   K - S .   Kim ,   " T h e   e ff icie n t  se a r c h   m e th o d   o f   sim u late d   a n n e a li n g   u si n g   f u z z y   lo g ic  c o n tro ll e r, "   Exp e rt   S y ste ms   wit h   Ap p li c a ti o n s   3 6 ,   7 0 0 9 9 - 7 1 0 3 ,   2 0 0 9 .   [1 6 ]   R.   Be ll io   a n d   S .   Ce sc h ia,  " F e a t u re - b a se d   t u n i n g   o f   sim u late d   a n n e a li n g   a p p li e d   t o   t h e   c u rricu lu m - b a s e d   c o u rse   ti m e tab li n g   p ro b lem ,   " J o u rn a l  o f  Co mp u ter s &   Op e ra ti o n s R e se a rc h ,   6 5 ,   8 3 – 9 2 ,   2 0 1 6 .   [1 7 ]   L .   Ra b in e r,   " A  tu t o ria l  o n   h id d e n   ma rk o v   mo d e ls  a n d   se lec ted   a p p li c a ti o n s  in   sp e e c h   re c o g n it io n , "   P r o c e e d in g s  o f   th e   IEE E ,   7 7 (2 ),   2 5 7 – 2 8 6 ,   1 9 8 9 .   [1 8 ]   O.  A o u n ,   M .   S a r h a n i  a n d   A .   El   A f i a ,   " Hid d e n   m a rk o v   m o d e l  c las sif i e r  f o r  th e   a d a p ti v e   p a rti c le  sw a r m   o p ti m iza ti o n , "   Re c e n t  De v e lo p m e n ts  in   M e tah e u rist ics ,  S p r in g e r ,  p p   1 - 1 5 ,   2 0 1 8 .   [1 9 ]   O.  A o u n ,   M   S a rh a n i  a n d   A .   El   Af ia,  " In v e stig a ti o n   o f  h id d e n   m a rk o v   mo d e l  fo r  th e   tu n i n g   o f  me ta h e u ristics   in   a irli n e   sc h e d u li n g   p r o b lem s, "   I F A C - P a p e rsO n L in e , 1 4 t h   IF A C  S y m p o siu m   o n   Co n tro l  in   T ra n sp o r tatio n   S y ste m s,  T u rk e y , V o l.   4 9 ,   Iss u e   3   p   3 4 7 – 3 5 2 ,   2 0 1 6 .   [2 0 ]   S .   Bo u z b i ta,  A .   El   Af i a   a n d   R.   F a izi,   " A  No v e l  Ba se d   Hid d e n   M a rk o v   M o d e l  Ap p ro a c h   fo r  Co n t ro ll in g   th e   ACS   Eva p o r a ti o n   P a ra me ter , "   su b m it ted   to   t h e   5 t h   In tern a ti o n a l  Co n f e re n c e   o n   M u l ti m e d ia  Co m p u ti n g   a n d   S y ste m s   IEE E  Co n f e re n c e ,   ICM CS ' 1 6 ,   M a rra k e c h ,   M o r o c c o ,   2 0 1 6 .   [2 1 ]   M .   L a lao u i,   A .   El   Af ia  a n d   R.   Ch ih e b ,   " Hi d d e n   M a rk o v   M o d e l  fo r a   S e lf - L e a r n in g   o f  S imu l a ted   A n n e a li n g   Co o l in g   L a w, "   su b m it ted   to   t h e   5 t h   I n ter n a ti o n a l  Co n f e re n c e   o n   M u l ti m e d ia  Co m p u ti n g   a n d   S y ste m s  IEE E  Co n f e re n c e ,  ICM CS ' 1 6 ,   M a rra k e c h ,   M o r o c c o ,   2 0 1 6 .   [2 2 ]   M .   L a lao u i,   A .   El   Af ia  a n d   R.   Ch ih e b ,   " Hi d d e n   M a rk o v   M o d e l  fo r a   S e lf - T u n i n g   o f  S im u la ted   An n e a li n g   Ge o me tric   Co o li n g   L a w  P a ra me ter , "   s u b m it ted   t o   t h e   6 th   In tern a ti o n a l   Co n f e r e n c e   o n   M e tah e u risti c s  a n d   N a tu re   In sp ired   Co m p u ti n g ,   M ET A ' 2 0 1 6 ,   M a rra k e c h ,   M o r o c c o ,   2 0 1 6 .   [2 3 ]   A .   El   Af ia,  S .   Bo u z b it a   a n d   R.   Ch ih e b ,   T h e   Eff e c t  o f   Up d a ti n g   th e   L o c a l   P h e ro m o n e   o n   A CS   P e rf o rm a n c e   u sin g   F u z z y   L o g ic ",   In ter n a ti o n a l  J o u r n a l  o f  E lec trica l  a n d   Co mp u ter   E n g i n e e rin g   ( IJ ECE ) ,   V o l .   7 ,   No   4 ,   2 0 1 7 .   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 8 - 8708   I n t J   E lec  &   C o m p   E n g ,   Vo l.  8 ,   No .   1 ,  Feb r u ar y   2 0 1 8   :   2 9 1   –   2 9 8   298   [2 4 ]   S .   Bo u z b it a ,   A .   El   A f i a ,   R .   F a izi,   M .   Zb a k h ,   " Dy n a mic   a d a p t a ti o n   o f  t h e   AC S - T S P   lo c a l  p h e ro mo n e   d e c a y   p a ra me ter   b a se d   o n   t h e   Hid d e n   M a rk o v   M o d e l " ,  th e   In ter n a ti o n a l   Co n f e re n c e   o n   Clo u d   Co m p u ti n g   Tec h n o lo g ies   a n d   A p p li c a ti o n s,  Cl o u d T e c h ,   3 4 4 - 3 4 9 ,  2 0 1 6 .   [2 5 ]   P .   Ko u v e li s,  W . - C.   Ch ian g ,   J.A .   F it z sim m o n s,  " S i m u late d   A n n e a li n g   P r o c e d u re s  f o r  M a c h in e   L a y o u t  P r o b lem s  in   th e   P re se n c e   o f   Zo n i n g   Co n stra in ts,   "   Eu r J Op e r R e s   5 7 (2 2 ),   2 0 3 – 2 2 3 ,   1 9 9 2 .   [2 6 ]   H.B.   M a n n   a n d   D.R.   W h it n e y ,   " On   a   T e st  o f   W h e th e r  o n e   o f  Tw o   Ra n d o m   V a riab les   is  S to c h a stica ll y   L a rg e r  th a n   th e   Oth e r,   "   A n n a ls  o f  M a th e ma ti c a l  S t a ti stics , 1 8   ( 1 ):   50 – 6 0 ,   1 9 4 7 .       B I O G RAP H I E S   O F   AUTH O RS        M o h a m e d   La l a o u i  is   c u rre n tl y   a   P h D  c a n d i d a te  a t  Na ti o n a l  S c h o o l  o f   Co m p u ter  S c ien c e   a n d   S y ste m s  A n a l y sis  (ENS I A S ) ,   M o h a m m e d   V   Un iv e rsit y ,   R a b a t,   M o ro c c o .   He   o b tai n e d   M . En g .   i n   2 0 1 1   i n   C o m p u ter  S c ien c e   f ro m   Na ti o n a l  S c h o o l  o f   Co m p u ter  S c ien c e   a n d   S y st e m s  A n a l y sis.   Re se a rc h   a re a s  o f   in tere st  a re   M e tah e u risti c s,  M a c h in e   L e a rn in g   a n d   In telli g e n t  M a n u f a c tu rin g .         Dr .   Ab d e ll a tif  El  Afia   is  a n   A ss o c iate   P r o f e ss o r  a t  Na ti o n a l  S c h o o l  o f   Co m p u ter  S c ien c e   a n d   S y ste m s  A n a l y sis  (ENS IA S ),   Ra b a t,   M o r o c c o .   He   re c e iv e d   h is   M . S c .   d e g re e s  in   A p p li e d   M a th e m a ti c s  f ro m   Un iv e rsit y   o f  S h e rb r o o k .   He   o b tai n e d   h is  P h . D.  in   1 9 9 9   in   Op e ra ti o n   Re se a rc h   f ro m   Un i v e rsit y   o f   S h e rb ro o k ,   Ca n a d a .   Re se a rc h   a re a s  o f   in tere st  a re   M a th e m a ti c a l   P r o g ra m m in g   (S to c h a stic  a n d   d e t e r m in isti c ),   M e tah e u risti c s,  Re c o m m e n d a ti o n   S y ste m s   a n d   M a c h in e   L e a rn in g .         Dr .   Ra d d o u a n e   C h i h e b   is  a n   As so c iate   P ro f e ss o r  a t  Na ti o n a l  S c h o o l  o f   Co m p u ter  S c ien c e   a n d   S y ste m s  A n a l y sis  (ENS I AS),   Ra b a t,   M o ro c c o .   He   g o t  P h . D.  in   1 9 9 8   in   A p p li e d   M a th e m a ti c s  f ro m   u n iv e rsit y   o f   Je a n   M o n n e t  o f   S a in t - Ét ien n e ,   F ra n c e .   Re se a rc h   a r e a s  o f  in tere st  a re   a u to m a ti c   g e n e ra t io n   o f   Re ti c u late d   S tr u c tu re s,   Re ti c u late d   S tr u c tu re s   o p ti m iza ti o n ,   D e v e lo p m e n t  o f   V a lu e   A n a l y sis T o o ls.       Evaluation Warning : The document was created with Spire.PDF for Python.