I nte rna t io na l J o urna l o f   E lect rica l a nd   Co m pu t er   E ng ineering   ( I J E CE )   Vo l.   10 ,   No .   4 ,  A u g u s t   2 0 2 0 ,   p p .   3 7 2 5 ~ 3 7 3 3   I SS N:  2088 - 8 7 0 8 ,  DOI : 1 0 . 1 1 5 9 1 / ijece . v 1 0 i 4 . p p 3 7 25 - 3 7 3 3          3725       J o ur na l ho m ep a g e :  h ttp : //ij ec e. ia esco r e. co m/in d ex . p h p /I JE C E   A hybrid  co nst ru ctive al g o rithm in co rpo ra ting   teaching - lea rnin g  bas ed optimiza ti o n f o r neural   network  training       M a hd ie h   K ho ra s ha diza de 1 ,  M o rt ez a   J o uy ba n 2 ,  M o ha mm a drez a   Asg ha ri  O s ko ei 3   1 De p a rtme n t  o f  Co m p u ter  S c ien c e ,   S istan   a n d   Ba lu c h e sta n   Un i v e rsity ,   Ira n   2, 3 De p a rtme n t  o f  C o m p u ter S c ien c e ,   Allam e h   Tab a tab a ’i  Un iv e rsit y ,   Ira n       Art icle  I nfo     AB S T RAC T   A r ticle  his to r y:   R ec eiv ed   Ma y   2 9 ,   2 0 1 9   R ev is ed   J an   1 6 ,   2 0 2 0   Acc ep ted   Feb   1 ,   2 0 2 0     In   n e u ra l  n e two rk s,  sim u lt a n e o u s  d e term in a ti o n   o f  t h e   o p t imu m   stru c tu re   a n d   we ig h ts  is  a   c h a ll e n g e .   T h is   p a p e r  p r o p o se s  a   c o m b in a t io n   o f   tea c h in g - lea rn in g   b a se d   o p ti m iza ti o n   (TL BO)  a lg o rit h m   a n d   a   c o n stru c ti v e   a lg o rit h m   (CA) t o   c o p e   with   t h e   c h a ll e n g e .   In   li tera tu re ,   TL BO i s u se d   t o   c h o o se   p ro p e r   we ig h ts,  wh i le  CA  is  a d o p ted   t o   c o n str u c t  d iffere n t  str u c tu re s  i n   o rd e r  t o   se lec t  th e   p r o p e r   o n e .   I n   th is   stu d y ,   th e   b a sic   TL BO   a lg o rit h m   a lo n g   with   a n   imp ro v e d   v e rsio n   o f  th is   a lg o rit h m   fo r   n e two r k   we ig h ts   se lec ti o n   a re   u ti l ize d .   M e a n wh il e ,   a s  a   c o n stru c ti v e   a l g o rit h m ,   a   n o v e l  m o d ifi c a ti o n   t o   m u lt ip le   o p e ra ti o n s,  u sin g   sta ti stica l  tes ts   (M OST ) ,   is   a p p li e d   a n d   tes ted   to   c h o o se   th e   p ro p e r  str u c tu re .   Th e   p r o p o se d   c o m b i n a to rial   a lg o rit h m s  a re   a p p li e d   t o   ten   c las sifica t io n   p ro b lem s  a n d   tw o - t ime - se ries   p re d ictio n   p ro b lem s,   a s  th e   b e n c h m a rk .   T h e   re su lt s   a re   e v a lu a ted   b a se d   o n   train i n g   a n d   tes ti n g   e rro r,   n e two r k   c o m p lex it y   a n d   m e a n - sq u a re   e rro r.   Th e   e x p e rim e n tal  re su lt s  il lu stra te  t h a t  t h e   p r o p o se d   h y b ri d   m e th o d   o f  th e   m o d i fie d   M OS T  c o n stru c ti v e   a lg o rit h m   a n d   t h e   imp ro v e d   T LBO  (M CO - ITL BO)   a lg o rit h m   o u t p e rfo rm   t h e   o t h e rs;  m o re o v e r,   th e y   h a v e   b e e n   p ro v e n   b y   Wi lco x o n   sta ti stica l  tes ts  a s  we ll .   Th e   p ro p o se d   m e th o d   d e m o n stra tes   les s  a v e ra g e   e rro r  with   les s c o m p lex it y   in   th e   n e tw o rk   stru c t u re .   K ey w o r d s :   Alg o r ith m   in co r p o r atin g   T ea ch in g - lear n in g   Op tim izatio n   Neu r al  n etwo r k   t r ain in g   Co p y rig h t  ©  2 0 2 0   In stit u te o f  A d v a n c e d   E n g i n e e rin g   a n d   S c ien c e .    Al l  rig h ts re se rv e d .   C o r r e s p o nd ing   A uth o r :   Ma h d ie h   Kh o r ash ad izad e ,   Dep ar tm en t o f   C o m p u ter   Scie n ce ,     Sis tan   an d   B alu ch estan   Un iv er s ity ,     Z ah ed an ,   I r an .   E m ail:  k h o r ash ad iza d e. m @ g m ail. co m       1.   I NT RO D UCT I O N   Ar tific ial  n eu r al  n etwo r k s   ( ANN) ,   h av in g   a  s tr o n g   s im ilit u d e  to   b io l o g ical  n etwo r k s ,   h av e  th e  ab ilit y   to   lear n   n o is e  d ata   as  well  as  th e  ab ilit y   to   class if y   an d   r ec o g n ize  d if f er en t  t y p es  o f   in p u t  p atter n s .   T h ese  tak e   p lace   o n ly   if   th e  n eu r al  n etwo r k   is   well  tr ain ed   with o u t  an   o v er - f itti n g   o r   u n d er - f itti n g   m o d el.   T h e  m o s t  well - k n o wn   t r ain in g   alg o r ith m   is   th e  b ac k   p r o p ag at io n   [ 1 ] ,   b u t  it  h as  n u m er o u s   d r aw b ac k s   s u ch   as  tr ap p in g   i n   lo ca l  m in im a  [ 2 ] .   He n ce ,   r ese ar ch er s   h av e   d ec id e d   to   u tili ze   ev o lu tio n ar y   al g o r ith m s   i n s t ea d .   I n   ad d itio n   to   th e  tr ain in g   an d   d eter m in atio n   o f   o p tim al  weig h ts ,   an o th er   c r itical  is s u e  is   th e  d esig n   o f   a n   ap p r o p r iate  ANN   ar ch itectu r e.   Ma n y   s tu d ies  h a v e  b ee n   c o n d u cted   f o r   ar ch ite ctu r e  as  well  as   weig h t  o p tim i za tio n .   Fo r   in s tan ce ,   in   ap p ly in g   a   n o v el  m eth o d   b ased   o n   Gau s s ian - PS O  an d   f u zz y   r ea s o n in g   [ 3 ]   ANN  weig h t  an d   s tr u ctu r e   o p tim izatio n   is   p r esen ted .   I n   liter atu r e,   th er e  ar e  o th er   m eth o d s   to   o p tim ize  ANN  ar ch itectu r e,   n am ely   co n s tr u ctiv e  alg o r ith m s   an d   p r u n in g   al g o r ith m s .   C o n s tr u cti v e  alg o r ith m s   h a v e  m a n y   a d v an tag es  o v er   p r u n i n g   alg o r ith m s ,   s u ch   as  ea s y   i n itiatio n ,   less   co m p lex ity   o f   th e   f in al  s o lu tio n ,   a n d   lig h ter   lo a d   o f   c o m p u tatio n .   Fu r th er m o r e ,   C A’ s   ar e  ab le  to   f r ee ze   th e  ex is tin g   weig h ts   in   th e  n eu r al  n etwo r k   if   t h ey   ar e  u s ef u l  in   o u tp u t;   as  a  r esu lt,  r esu ltin g   in   th e  r ed u ctio n   o f   th e  r e q u ir ed   tim e  an d   m em o r y .   I n   p r u n i n g   alg o r ith m s ,   s ev e r al   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 8 - 8 7 0 8   I n t J E lec  &   C o m p   E n g ,   Vo l.   10 ,   No .   4 ,  Au g u s t 2 0 2 0   :   3 7 2 5   -   3 7 3 3   3726   p r o b lem - d ep e n d en t  p ar a m eter s   ar e  to   b e  p r o p er ly   id e n tifie d   in   o r d er   to   o b tain   an   ac ce p tab le  n etw o r k   with   a  s atis f ac to r y   p er f o r m an ce .   T h is   m ak es it d if f icu lt to   b e  u s ed   in   r ea l - wo r ld   ap p licatio n s   [ 4 ].   T h is   p ap er   p o r tr a y s   a  co m b in atio n   o f   r an d o m   s ea r ch   p r o ce d u r es  an d   s y s tem atic  m eth o d s ,   p r o p o s in g  h y b r id izin g   im p r o v e d   teac h in g - lear n in g   alg o r ith m s   with   co n s tr u ctiv e  alg o r ith m s   f o r   th e  p u r p o s e  o f   ANN   d esig n .   T h e   h y b r id   is   a d v an ta g eo u s ,   f o r   teac h i n g - lear n in g   a lg o r ith m   is   a  p ar am eter - in d ep en d en t  o p tim izatio n   alg o r ith m   t h at  b alan ce   b etwe e n   ex p l o r atio n   a n d   ex p l o itatio n .   Me an wh ile,   c o n s tr u ctiv e   alg o r ith m s   ar e   ad o p ted   to   s elec t  an   ap p r o p r iate  ANN   ar ch itectu r e.   Sin ce   u s in g   co n s tr u ctiv e  alg o r ith m s   is   co s t - ef f ec tiv e  in   ter m s   o f     th e  tr ain in g - tim e  an d   co m p lex ity   o f   ANN,   it   h in d e r s   th e  p r o d u ctio n   o f   n etwo r k s   wit h   an   i n ef f icien t  v e r y   la r g e   ar ch itectu r e.   T h is   p ap e r ,   with   th e  aim   o f   s im u ltan eo u s ly   o p tim izin g   th e  ANN  weig h ts   an d   ar ch itectu r e,   co m b in es  tr ain i n g   a n d   c o n s tr u ctiv e  alg o r ith m s   ap p lie d   to   ten   class if icatio n   p r o b lem s   a n d   two - tim e   s er ies   p r ed ictio n   p r o b lem s ,   as  th e  b en ch m ar k .   Af ter   ev alu atin g   th e   p er f o r m a n ce   o f   p r o p o s ed   h y b r id   alg o r ith m s   an d   co m p ar in g   th eir   r esu lts ,   it  was   f o u n d   th at  th e  p r o p o s ed   m eth o d   o u tp e r f o r m ed   o th er   alg o r it h m s .   T h e  p r o p o s ed   co m b in atio n   m eth o d   p r o v es  t o   h a v e  a   lo wer   m ea n   e r r o r   in   m o s t  ca s es.  T h e  r est  o f   t h is   s tu d y   is   o r g a n ized   as  f o llo ws:   Sectio n   2   p r o v id es  a  b r ief   d escr ip tio n   o f   th e  al g o r ith m s   th at  we  p r o v id ed .   T h en ,   in   Sect io n   3 ,   a  h y b r id   p r o p o s ed   m eth o d   to   ANN  o p tim izatio n   is   p r esen t ed .   I n   Sectio n   4 ,   th e  e x p er im en tal  r esu lts   o f   th e  ap p licatio n   o f   th e  p r o p o s ed   a p p r o ac h es  to   th e  ANN  p r o b l em s   ar e  r ep o r ted ,   a n d   f in ally ,   th e  co n clu s io n   is   d r awn   in   th e   last   s ec tio n .       2.   AL G O RI T H M   D E SCR I P T I O N   2 . 1 .     I m pro v ed  t ea ching - lea r nin g   ba s ed  o ptim iza t io n ( I T L B O )   Alth o u g h   T L B O  p r o v id es  h ig h - q u ality   s o lu t io n s   in   th e  least  am o u n t  o f   tim e  an d   h as  a  g r e at  s tab ilit y   in   co n v e r g en ce   [ 5 ] ,   in   th e  le ar n er   p h ase  o f   th is   alg o r ith m ,   lear n er s   r an d o m ly   c h o o s e  an o th er   lear n e r   f r o m     th e  p o p u latio n .   T h is   d if f icu l ty   l ea d s   to   a  lack   o f   b ala n ce   b etwe en   t h e  two   co n ce p t s   o f   d iv er s ity   an d   co n v er g en ce .   I T L B O  with   an   im p r o v em en t  in t o   b asic  T L B O  o v er co m es  th is   d if f ic u lty .   I n   t h is   alg o r ith m ,   th e  teac h er   p h ase  is   th e  s am e  as  th e  teac h er   p h ase  in   t h e   b asic  T L B O  alg o r ith m   a n d   t h e  lear n er   p h ase  is   ex p r ess ed   as  f o llo ws.  T h e  I T L B O  h as  b ee n   d ev elo p e d   t o   im p r o v e  t h e  wea k n ess es  o f   T L B O  alg o r ith m;   f o r   e x am p le,   i n   T L B O  r an d o m   ch o ices  d u e  to   lo w  lo ca l  s ea r ch   ca p ab ilit y ,   b u t  in   I T L B O  with   ad d itio n   co n ce p t o f   n eig h b o r h o o d   we  t r y in g   to   r ed u ce   r an d o m   ch o ice s   an d   u tili ze   o f   n eig h b o r h o o d   ab ilit ies.  T h is   is s u e  in cr ea s es lo ca l sear ch   an d   g l o b al  s ea r ch   ca p ab ilit y .   T h e  m ai n   s ec tio n s   o f   I T L B O  ar e  as f o l lo ws:     2 . 1 . 1 .   I T L B O   lea rner   ph a s e   I n   th is   p h ase,   ea ch   lear n er   is   e n co d ed   with   a n   in teg er   a n d   p lace d   in   a  r ec tan g u lar   ar r ay .   le ar n er s   m ay   lear n   f r o m   th eir   n eig h b o r s   o r   f r o m   th e  b est  in d iv i d u al  in   w h o le  class .   T h is   p r o ce s s   is   b a s ed   o n   lo ca l  s ea r c h   ab ilit y ;  f u r th er m o r e,   b alan ce   b etwe en   g lo b al  s ea r ch   an d   lo ca l  s ea r ch   ab ilit y   is   ap p lied .   I n   lo ca l  s ea r c h ,   ea ch   lear n er   u p d ates  h is   p o s itio n   with   Pc  p r o b ab ilit y   b y   th e  b est  lear n er   in   h is   n eig h b o r h o o d   ( o r   ,  ℎ  )   an d   also   g lo b al  b est lea r n er   th at  in   p o p u latio n .     ,   =   ,  + 2 . ( , ℎ  − ,  ) + 3 . ( ℎ  − ,  )         ( 1 )       W h er e  , ℎ    is   th e   teac h er   in     n ei g h b o r h o o d ,   ℎ    is   teac h er   o f   wh o le  class ,   2   ,   3   ar e  r an d o m   n u m b er s   in   th e  r a n g e   of   ( 0 ,   1 ) .   T h e  n ew  p o s itio n   o f   ea ch   lear n er   will  b e  ac ce p ted   if   its   f itn ess   v alu e  h as   im p r o v e d .   I n   th e  c o n ce p t   o f   g lo b al  s ea r ch ,   if   Pc  p r o b ab ilit y   d o n ’ t   m ee t,  ea c h   lear n er   ch o o s es  a  r an d o m   lear n er   ( )   f r o m   th e  wh o le  class   to   p r o v id e  th e  lear n in g   g o al ,   if     is   b etter   th an   ,   o r   o t h er wis e,   lear n in g   o cc u r s   ac co r d in g   to   lear n er   p h ase  i n   b asic  T L B O.   T h er ef o r e,   u s in g   th ese  o p er atio n s   b o t h   lo ca l  an d   g lo b al   s ea r ch   ca p ab ilit y   will  b e  o b tain ed .   All  th e  ac ce p ted   lear n er s   at  th e  en d   o f   lear n er   p h ase  ar e  p r eser v ed .   Du e  to   th e  en h an ce d   ex p lo itatio n   ab i lity   alo n g   with   th e  ex p lo r atio n   ab ilit y ,   wh ic h   alr ea d y   ex is ted   in   th e  lear n in g   p h ase  o f   th e   o r ig i n al  alg o r ith m ,   we  u s e  th e  c o n ce p t   o f   n eig h b o r h o o d   in   th e   class r o o m .   F o r   ea ch   in d iv id u al   in   th e  p o p u latio n   ex is t  a  n u m b er   o f   n eig h b o r h o o d   m em b e r   th at  lear n   f r o m   th e  b est  o n e.   Fo r   m ain tain   o f   d iv er s ity   af te r   a  n u m b er   o f   ite r atio n s   th e  n eig h b o r h o o d   m e m b er s   o f   ea c h   in d iv id u al  a r e  ch an g ed .   T h is   is s u e  b alan ce   b etwe en   th e   ex p l o r at io n   an d   ex p lo itin g   ab ilit ies.  Oth er   ad v an ta g e  th er e  is   in   t h is   alg o r ith m ,   wh e n   a  n ew  p o s itio n   is   o b tain ed   f o r   ea ch   m em b er ,   it  m ay   lead   to   th e  p r o d u ctio n   o f   d ec is io n   v ar iab les  v alu es  th at  ar e  o u t  o f   t h e  r an g e  o f   th e  d ef in itio n   in ter v al.   I n   th is   ca s e,   m o s t  r esear ch er s   u s e  th e  co n v er g en ce   ap p r o ac h   to   th e  u p p e r   an d   lo wer   b o u n d   ac co r d in g   to   alg o r ith m ,   b u t  th is   m eth o d   is   Old   an d   d is ab led   m eth o d   witch   ca u s e  alg o r ith m   to   lo ca l  o p tim a.   I n   th e  im p r o v ed   teac h in g - lear n i n g   b ased   o p tim izatio n   m eth o d ,   we  u s e  m o d if ied   tech n iq u e  to   ch ec k   b o u n d ar ie s   o f   th e  v ar iab les  [ 6 ] .   I ts   ad v an tag e  is   av o id in g   eq u aliza tio n   o f   th e  d ec is io n   v ar iab les.     Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J E lec  &   C o m p   E n g     I SS N:  2 0 8 8 - 8 7 0 8       A   h yb r id   co n s tr u ctive   a lg o r ith m  in co r p o r a tin g   tea c h in g - le a r n in g   b a s ed   …  ( Ma h d ie h   K h o r a s h a d iz a d e )   3727   2 . 2 .   M o dified  M O ST   a lg o rit hm   ( M M O ST )   Dete r m in in g   th e   ar ch itectu r e   o f   ar tific ial  n etwo r k s   h as  lu r e d   m an y   r esear ch e r s   in   th e   f iel d   in   r ec en t  y ea r s .   W e  u s ed   Mu ltip le  Op e r ato r s   u s in g   Statis tica l  T est s   alg o r ith m   MO ST  [ 7 ] .   I n   MO ST  alg o r ith m ,   th er e  is n ’ t  an y   co n tr o lled   m eth o d   f o r   ch an g e  s tr u tu r e.   T h is   alg o r ith m   m ay   h a v e  lar g e  c h an g es  i n   n etwo r k   s tr u ctu r e   d u r in g   th e  alg o r ith m .   An o th e r   wea k n ess   o f   t h is   alg o r ith m   is   th e  ad d itio n   o f   la y er s   f r e q u en tly   with o u t  an y   co n d itio n   to   co n t r o l.  I n   m o d if ied   MO ST  alg o r ith m ,   th e  o p er ato r   p o o l  was  r em o v ed .   Fo r   ch an g in g   s tr u ctu r e   n eu r o n s   ar e   ad d e d   o n e   af ter   a n o th er .   Selectin g   t h e  n ew  s tr u ctu r es  is   d o n e  m o r e   ca r ef u lly   b y   a d d in g   m u ltip le  co n d itio n s .   At  th e  b eg in n i n g ,   alg o r ith m   s tar ts   with   a  s in g le  h id d en   lay er   n etwo r k   b y   th e  m in im u m   n u m b er   o f   n eu r o n s .   W e  ch o s e  o n e  o f   p o p u lar   ap p r o ac h   f o r   allo wed   m in im u m   n u m b er   th at  is   th e  av er ag e   o f   n u m b er   o f   o u tp u t  lay er   an d   in p u t  lay e r .   Netwo r k   in   th e  f ir s t  s tep   h as  a  s in g le  h id d en   lay er   an d   n eu r o n s   ar e  ad d ed   co n tin u ally   to   th e  h id d en   lay er   to   o b tain   a  p r o p e r   s tr u ctu r e  o f   th e  n etwo r k .   T o   av o id   c r ea tin g   v er y   lar g e  s tr u ctu r es  f o r   n etwo r k s ,   th e  n eu r o n s   ar e  ad d ed   to   s in g le  h i d d en   lay er   o f   th e  n etwo r k   u n til  th ey   d o n ’ t  ex ce ed   Max - h id d e n   n u m b er .   I n   f ac t,  n etwo r k s   with   v er y   lar g e  s tr u ctu r e  n o t  o n ly   d o n ’ t  h av e  g o o d   g en er aliza b ilit y ,   b u t  th e y   also   in cr ea s e  th e   c o m p u tatio n al   tim e  o f   t h e  al g o r ith m .   T o   elim in ate  t h is   wea k n ess ,   we  ad d   th e  s ec o n d   lay er   to   n etwo r k   s tr u ctu r e  to   cr ea te  p r o p e r   ar ch it ec tu r e  with   a  p r o b a b ilit y   less   t h an   P.  af ter   ad d in g   th e  s ec o n d   la y er ,   th e   n u m b er   o f   n eu r o n s   in   ea ch   h id d en   la y er   is   s et  b y   m i n - h id d en .   M MO ST  co n s tr u ctiv e   alg o r ith m   ch o o s es  th e  b est  ar ch itectu r e  b etwe en   co n s tr u cted   s tr u ctu r es.   So ,   as  n o ted   ab o v e,   th e   d if f e r en ce s   b etwe en   th e  MM OST  an d   MO ST  alg o r ith m   ar e  as  f o l lo ws:   o p er ato r ’ s   p o o l  is   d elete d ;  n eu r o n s   ar e  co n tin u ally   a d d ed ;  a n d   th er e   i s   a  m o r e  p r ec is e  ch o ice  b etw ee n   th e  th r e e  p r ev i o u s ,   cu r r en t  an d   th e  ca n d id ate  ar ch itectu r es.       3.   T H E   P RO P O SE D  M E T H O D   I n   th is   p ap er ,   we   p r o p o s ed   a   co m b in atio n   alg o r ith m   f o r   p r o d u cin g   a   n e u r al   n etwo r k   w ith   p r o p er   s tr u ctu r e  an d   weig h ts ,   to   s im u ltan eo u s   o p tim izatio n   o f   weig h ts   an d   s tr u ctu r e.   Fo r   th is   p u r p o s e,   a  co m b in atio n   o f   th e   m o d if ied   MO ST  co n s tr u ctiv e  alg o r ith m   with   an   i m p r o v e d   v er s io n   o f   th e   tr ain in g   alg o r ith m   was  p r o p o s ed .   T h e   r o le  o f   th e   co n s tr u ctiv e  alg o r it h m   in   t h e  p r o p o s ed   alg o r ith m   is   to   co n s tr u ct  d if f er en t  s tr u ct u r es  in   o r d er   to   s elec t  th e  p r o p er   o n e,   wh ich   is   ca r r ied   o u t  b y   u s in g   a  s witch in g   s y s tem atic  ap p r o ac h   b etwe en   th e  v ar io u s   s tr u ctu r es  allo wed   f o r   th e  n eu r al  n etwo r k .   On   t h e  o t h er   h an d ,   th e  r o le  o f   tr ain i n g   alg o r ith m   is   to   f in d   o p tim al  weig h ts   f o r   th e  s tr u ct u r e  th at  is   cr ea ted   b y   th e  c o n s tr u ctiv e  alg o r ith m .   Usi n g   co n s tr u ctiv e  alg o r ith m s   in   cr ea tin g   a  n etwo r k   ar ch itec tu r e  r ed u ce s   co m p u tatio n al  co s t  an d   co m p lex ity .   B u t  u s in g   t h ese  alg o r ith m s   in   s o lv in g   n o is y   p r o b lem s   [ 8 ]   h as  f ailed ,   wh ich   in   co m b in atio n   with   o th er   tech n iq u es,  s u ch   as  th e  u s e  o f   ev o lu tio n ar y   al g o r ith m s ,   ca n   b e  ef f ec tiv e   in   im p r o v in g   th e   c o n s tr u ctiv e  al g o r ith m .   I n   a d d it io n ,   we   h av e   m a d e  s o m e  m o d if icatio n s   o n   t h e  MO ST  co n s tr u ctiv e  alg o r ith m .   F o r   a  m o r e  d etailed   d e s cr ip tio n ,   th e  p s eu d o   co d e  o f   th e  p r o p o s ed   h y b r id   alg o r ith m s   is   s h o wn   in   Fig u r e  1 .   I n   o th er   wo r d s ,   in   o r d er   to   clar if y   th e  co m b in atio n   o f   ev o lu tio n ar y   tr ain in g   alg o r it h m s   an d   c o n s tr u ctiv e  alg o r it h m s ,   we  s h o wed   th e   p r o ce s s   in   f lo wch ar t   by   F ig u r e  2 .             Fi g u re    1 .   P se u d o   c o d e   c o m b i n e d   a lg o rit h m   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 8 - 8 7 0 8   I n t J E lec  &   C o m p   E n g ,   Vo l.   10 ,   No .   4 ,  Au g u s t 2 0 2 0   :   3 7 2 5   -   3 7 3 3   3728       F ig u re   2 .   F lo wc h a rt   o f  h y b rid   a lg o rit h m       4.   CO M P ARI SO N  RE SUL T S   I n   th is   s ec tio n ,   we  e v alu ate  t h e  ef f ec tiv e n ess   o f   p r o p o s ed   h y b r id   m eth o d s .   T h ese  alg o r ith m s   ar e   ap p lied   t o   ten   class if icatio n   p r o b lem   a n d   two   tim e   s er ies  p r ed ictio n   p r o b lem s .   W e  co m p a r e  th e   p er f o r m a n ce   o f   th e  p r o p o s ed   h y b r id   alg o r it h m s   f ir s t w ith   ea ch   o th er   an d   t h en   with   o th e r   av ailab le  m et h o d s .     4 . 1 .     Def ini t io n o f   cla s s if ica t io n a nd   t im e  s er ies predict io n pro blem s   T h e  task   o f   ass ig n in g   a  s am p le  to   a  p r o p er   g r o u p ,   b ased   o n   th e  ch ar ac ter is tics   o f   d escr ib in g   th at   o b ject  in   a  p r o b lem ,   is   d ef i n e d   as  class if icatio n .   T h e   class if icatio n   p r o b lem s   u s ed   in   t h is   ar ticle  in clu d e  i r is ,   d iab etes  d iag n o s is ,   th y r o id ,   b r ea s t  ca n ce r ,   cr ed it  ca r d ,   g l ass ,   h ea r t,  win e,   p ag e  b lo ck s ,   an d   liv e r .   T h ese  class if icatio n   p r o b lem s   ar e  tak en   f r o m   th e  UC I   m ac h in e  lear n in g   r e p o s ito r y   [ 9 ] .   B u t th e  ti m e  s er ies p r ed ictio n   p r o b lem s   u s e  a  s p ec if ic   m o d e l  to   p r ed ict  f u tu r e   v alu es  b ase d   o n   th eir   p r e v io u s   v alu es.  T h e  f ir s t  is   th e   Gas  Fu r n ac e  Data s et  [ 10 ] ,   wh ich   is   co m p iled   f r o m   J en k in s ' s   B o o k   o f   T im e  Ser ies  An aly s is .   I t  co n tain s   g as   co n ten t  an d   C O2   p e r ce n tag e   in   g as,  a n d   an o th e r   is   a   Ma ck ey   g lass   d ataset  o b tain ed   f r o m   th e   b elo w   d if f er en tial e q u atio n :        ( )  =   −  ( ) +  ( − ) 1 + 10 ( − )                 ( 2 )     All  p r o p o s ed   h y b r id   alg o r ith m s   in   th is   ar ticle  h a v e  b ee n   im p lem en ted   u s in g   MA T L AB   s o f twar e  an d   h av e  u s ed   3 0   tim e  r u n   to   ev alu ate  th e  p er f o r m an ce   o f   th ese  m eth o d s .   T h e  4 - f o ld - cr o s s - v al id atio n   m eth o d   h as   b ee n   u s ed   to   d iv id e   th e   o r ig i n al  d ataset  in to   two   tr ain in g   a n d   test in g   se ts .   T h is   m eth o d   ca n   ef f ec tiv el y   p r ev en t   tr ap p in g   t o   lo ca l  m in im a .   B ec au s e  b o th   th e  tr ai n in g   an d   te s tin g   s am p les  co n tr ib u te  to   le ar n in g   as  m u c h   as  p o s s ib le,   it  ca n   p r o v i d e  a  s ati s f ac to r y   lear n i n g   e f f ec t .   T h e   av er ag e  e r r o r   is   o b tain e d   f r o m   th e  4 - f o ld - cr o s s - v alid atio n   wh ich   is   p r esen ted   as  th e  f in al  er r o r   o f   th e   n et wo r k .   I n   ad d itio n ,   th e  in p u t  d ata s et  to   th e  n eu r al   n etwo r k   is   n o r m alize d   u s in g   th e  m in - m ax   n o r m aliza tio n   m eth o d   to   th e  in te r v al  [ - 1 . 1 ] .   T h e  r esu lts   o f     th e  co m p ar is o n   ar e  p r esen ted   in   two   p ar ts .   First,  th e  p r o p o s ed   alg o r ith m s   ar e  co m p ar ed   with   ea ch   o th er ,   an d   th en   th e  b est p r o p o s ed   m eth o d   is   co m p ar ed   with   t h e  ex is tin g   m eth o d s .     4. 2 .    Co m pa ring   pro po s ed  met ho ds   wit h e a ch  o t her   E ac h   o f   th ese  alg o r ith m s   h as  b ee n   ex ec u te d   3 0   tim es,  an d   t h e  r esu lts   o f   th e  ex p er im e n ts   h av e  b ee n   co m p ar ed   with   ea ch   o t h er   ac co r d in g   to   th r ee   cr iter ia:  class if icatio n   er r o r   p er ce n tag e  o f   tr ain in g   an d   test in g   d ata  an d   co m p lex ity   p er ce n ta g e.   T h e  f u n ctio n   o f   er r o r   ca lc u latio n   Fo r   th e  Ma ck ey   g lass   i s   R M SE  an d   f o r   g as  f u r n ac e  is   MSE .   First,  we  co m p ar e  th e  p e r f o r m an ce   o f   tw o   k in d   o f   tr ain in g   alg o r ith m   t h at  co n s is t  o f   class ic   tr ain in g   alg o r ith m   ( b ac k -   p r o p ag atio n )   an d   ev o lu tio n ar y   tr ain in g   alg o r ith m   ( im p r o v ed   t ea c h in g   lear n in g - b ased   o p tim izatio n ) .   T h e  r esu lts   f r o m   T ab le  1   s h o w  th at  th e  I T L B O  alg o r ith m   h as  a  h ig h er   ef f icien c y   f o r   m o s t  d ata  s ets.  Acc o r d in g   to   T ab le  1 ,   th e  I T L B O  alg o r ith m   f o r   all  o f   class if icatio n   p r o b lem s   h as  b etter   p er f o r m an ce   th an   th e  B p   alg o r ith m ,   th en   in   p ar t2   f r o m   T ab l e  1   we  s h o wed   th e  r esu lts   o f   c o m p ar in g   p r o p o s ed   h y b r id   alg o r ith m s   with   ea ch   o th er .   All  th e  r esu lts   ar e  b ased   o n   t h r ee   ch a r ac ter is tics   ( p ar am eter s )   o f   tr ain i n g   an d   test in g   er r o r   f o r   class if icatio n ,   MSE   e r r o r   a n d   c o m p le x ity .   T o   b etter   d em o n s tr ate  t h e  s u p er io r   alg o r ith m ,   we  d id   r an k   av er ag e  test ,   an d   th e  r an k   av er ag e  f o r   d if f er e n t  d ata  s et  wa s   p r esen ted   in   T ab le  2 .   As  ca n   b e  s ee n   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J E lec  &   C o m p   E n g     I SS N:  2 0 8 8 - 8 7 0 8       A   h yb r id   co n s tr u ctive   a lg o r ith m  in co r p o r a tin g   tea c h in g - le a r n in g   b a s ed   …  ( Ma h d ie h   K h o r a s h a d iz a d e )   3729   f r o m   T ab le  2 ,   MCO - I T L B O  h as  g ain ed   th e  f ir s t  r an k   f o r   all  o f   ch ar ac ter is tic.   T o   ev alu ate  wh eth er   th e  MCO - ITL B O  r esu lts   ar e  s ig n if ican tly   b etter   th a n   o th e r   ap p r o ac h es ,   we  ca lcu lated   th e  p - v al u e  test   with   a  s ig n if ican t   lev el  o f   0 . 0 5   f o r   d ata  s ets.  T h e  ca lcu lated   P -   v alu es  f o r   M C O - I T L B O  ar e  s h o wn   in   T ab le  3   in   co m p ar is o n   with   o th er   alg o r ith m s .   T h e  b est  r esu lts   ar e  b o ld ed   in   th e  tab les.  I n   Fig u r es  3   th e  b o x   p lo t  g r ap h s   s h o wed   th e  r esu lts   o f   th e  d is tr ib u tio n   o f   tr ain in g   an d   test in g   e r r o r s   f o r   th e  wh o le   d ata  s et  f o r   3 0   tim es  r u n n in g .   T h e  ch ar ts   s h o w  th at  MCO - I T L B O  is   s u p er io r   in   m o s t c ases .       Tab le  1 .   Av e ra g e   re su lt s  o f  3 0   r u n s o f  tw o   k in d   trai n in g   a lg o rit h m   (p a rt1 )  a n d   e a c h   h y b rid   a l g o ri th m   (p a rt2 )   D a t a s e t   C r i t e r i a   BP   I TLB O   ( p a r t 1 )   M C O - TLB O   M C O - I TLB O   M C O - BP   ( p a r t   2)   1 .   I r i s   Tr a i n i n g   e r r o r   ( %C l a ss)   Te st i n g   e r r o r   ( % C l a ss)   Tr a i n i n g   e r r o r   ( M S E)   Te st i n g   e r r o r   ( M S E)   C o n n e c t i o n   5 . 3 1 2 5   7 . 5 4 6 8   0 . 0 0 2 4   0 . 4 8 9 2   f i x   0 . 9 5 1 6   2 . 1 4 4 0   3 . 5 6 4 2 e - 09   1 . 7 7 2 9 e - 06   f i x   0 . 7 8 1 9   3 . 2 7 5 2   6 . 7 3 2 4 e - 05   0 . 0 7 2 1   2 6 . 4 6 6 7   0 . 0 1 3 8   2 . 2 9 7 5   6 . 2 4 8 0 e - 07   3 . 3 9 1 7 e - 03   2 1 . 5 8 0 6   7 . 6 0 6 1   9 . 8 9 9 0   1 . 0 2 9 0 e - 02   1 . 2 8 6 4   2 3 . 4 6 6 7   2.   D i a b e t e s   Tr a i n i n g   e r r o r   ( %C l a ss)   Te st i n g   e r r o r   ( % C l a ss)   Tr a i n i n g   e r r o r   ( M S E)   Te st i n g   e r r o r   ( M S E)   C o n n e c t i o n   3 1 . 2 3 2 2   3 5 . 2 8 8 7   0 . 6 0 1 3   0 . 6 9 3 3   f i x   1 8 . 6 8 9 7   2 7 . 8 4 7 3   1 . 1 6 3 7 e - 06   7 . 1 2 4 7 e - 05   f i x   1 9 . 5 2 8 2   2 9 . 3 7 9 5   1 . 5 2 9 e - 08   0 . 0 0 1 7 9   1 0 9 . 1 3 3 3   1 8 . 8 7 7 5   2 3 . 3 9 0 6   2 . 3 4 6 8 e - 10   4 . 1 8 2 2 e - 8   5 8 . 4 1 9 4   2 8 . 0 1 7 6   3 6 . 8 3 5 9   6 . 3 3 7 5 e - 04   1 . 3 3 4 9   1 2 9 . 2 3 3 3   3.   Th y r o i d   Tr a i n i n g   e r r o r   ( %C l a ss)   Te st i n g   e r r o r   ( % C l a ss)   Tr a i n i n g   e r r o r   ( M S E)   Te st i n g   e r r o r   ( M S E)   C o n n e c t i o n   1 7 . 8 3 4 0   1 6 . 5 6 7 2   0 . 1 3 9 9   1 . 5 9 6 8   f i x   6 . 7 7 9 8   1 2 . 5 9 0 3   1 . 3 9 8 7 e - 05   2 . 5 7 8 6 e - 04   f i x   8 . 2 2 1 5   1 1 . 1 3 1 8   4 . 8 9 7 6 e - 06   0 . 0 0 4 0 2   5 2 1 . 1   5 . 6 0 5 9   6 . 5 8 0 0   5 . 6 5 8 9 e - 09   2 . 6 1 5 8 e - 07   1 3 3 . 6 4 5 2   1 8 . 3 9 6 1   2 2 . 3 8 3 7   3 . 8 6 0 5 e - 03   1 . 4 0 9 5   1 6 8 . 2 2 3 5   4.   C a n c e r   Tr a i n i n g   e r r o r   ( %C l a ss)   Te st i n g   e r r o r   ( % C l a ss)   Tr a i n i n g   e r r o r   ( M S E)   Te st i n g   e r r o r   ( M S E)   C o n n e c t i o n   2 0 . 9 4 1 9   1 6 . 3 5 1 0   0 . 1 4 3 7   0 . 8 2 2 4   f i x   1 . 9 6 7 2   4 . 5 0 1 8   3 . 0 6 0 0 e - 04   0 . 0 2 2 0   f i x   1 . 7 2 1 3   8 . 5 9 4   2 . 3 6 0 4 e - 07   0 . 0 0 3 3 6   2 5 7 . 9 3 3 3   1 . 0 8 4 3   2 . 0 7 2 9   2 . 5 6 9 5 e - 11   7 . 3 6 7 9 e - 6   6 7 . 4 1 9 4   2 1 . 5 3 5 0   2 9 . 5 1 3 1   1 . 2 6 2 6 e - 03   7 . 4 2 8 5   7 7 . 4 5 4 5   5.   C a r d   Tr a i n i n g   e r r o r   ( %C l a ss)   Te st i n g   e r r o r   ( % C l a ss)   Tr a i n i n g   e r r o r   ( M S E)   Te st i n g   e r r o r   ( M S E)   C o n n e c t i o n   2 2 . 5 2 4 7   2 3 . 8 1 2 6   0 . 0 2 5 8   1 . 1 4 3 7   f i x   1 5 . 7 4 9 2   1 7 . 3 1 9 6   3 . 3 2 7 2 e - 09   3 . 0 9 3 9 e - 05   f i x   1 2 . 6 1 1 1   2 4 . 3 4 7 8   2 . 2 4 0 2 e - 04   0 . 0 1 8 4   4 5 2 . 6 6 6 7   1 2 . 2 3 7 9   1 3 . 5 8 8 9   7 . 2 0 6 6 e - 08   1 . 9 3 8 1 e - 03   1 2 7 . 4 1 9 4   1 9 . 9 4 3 2   3 0 . 4 4 8 0   3 . 4 9 8 5 e - 05   3 . 0 6 9 9   1 8 3 . 5 4 5 5   6.   G l a ss   Tr a i n i n g   e r r o r   ( %C l a ss)   Te st i n g   e r r o r   ( % C l a ss)   Tr a i n i n g   e r r o r   ( M S E)   Te st i n g   e r r o r   ( M S E)   C o n n e c t i o n   3 6 . 7 7 7 0   5 4 . 8 3 8 7   0 . 4 2 3 5   0 . 8 6 3 1   f i x   1 8 . 3 1 6 9   3 6 . 9 1 4 6   1 . 0 2 4 4 e - 06   0 . 1 4 3 1   f i x   1 8 . 2 2 5 2   3 1 . 7 1 7 2   9 . 2 0 8 1 e - 04   0 . 0 9 6 4   3 9 2 . 6 6 6 7   1 7 . 0 8 8 1   2 2 . 0 7 3 3   2 . 3 8 4 5 e - 10   3 . 2 6 9 e - 06   1 2 3 . 3 5 4 8   6 6 . 8 3 0 5   6 7 . 9 0 6 3   1 . 4 6 0 4 e - 04   3 . 7 1 4 1   1 0 4 . 7 2 7 3   7.   H e a r t   Tr a i n i n g   e r r o r   ( %C l a ss)   Te st i n g   e r r o r   ( % C l a ss)   Tr a i n i n g   e r r o r   ( M S E)   Te st i n g   e r r o r   ( M S E)   C o n n e c t i o n   2 1 . 2 2 0 8   2 3 . 6 7 4 6   0 . 0 0 2 2   0 . 8 0 8 6   f i x   1 0 . 4 4 7 3   2 0 . 9 8 7 7   7 . 4 4 4 1 e - 11   0 . 0 1 5 6   f i x   1 2 . 1 5 8 7   20   9 . 4 2 5 9 e - 05   8 . 7 6 6 1 e - 03   1 9 8 . 7 3 3 3   1 1 . 2 6 4 7   1 3 . 3 3 2 5   8 . 2 2 7 1 e - 12   1 . 0 2 6 0 e - 07   9 3 . 3 5 4 8   2 0 . 2 9 8 2   2 3 . 4 2 5 4   2 . 4 2 8 3 e - 06   0 . 2 2 1 3   1 0 0 . 9 0 9 1   8.   W i n e   Tr a i n i n g   e r r o r   ( %C l a ss)   Te st i n g   e r r o r   ( % C l a ss)   Tr a i n i n g   e r r o r   ( M S E)   Te st i n g   e r r o r   ( M S E)   C o n n e c t i o n   1 7 . 0 6 4 1   2 3 . 1 0 6 3   0 . 0 2 1 5   1 . 0 3 0 7   f i x   4 . 9 9 7 8   1 3 . 1 8 5 6   1 . 6 9 2 4 e - 09   0 . 0 0 8 9   f i x   0 . 5 1 4 9 1   3 . 8 1 8 2   3 . 9 9 8 3 e - 08   1 . 2 7 8 4 e - 03   2 8 6 . 9 3 3 3   0 . 4 6 8 7   3 . 8 0 9 4   1 . 9 5 1 6 e - 11   5 . 9 6 9 0 e - 06   1 1 7 . 6 1 2 9   2 1 . 0 4 2 1   2 3 . 5 5 3 7   1 . 5 4 0 3 e - 06   5 . 1 8 7 0   9 8 . 9 0 9 1   9.   P a g e - b l o c k s   Tr a i n i n g   e r r o r   ( %C l a ss)   Te st i n g   e r r o r   ( % C l a ss)   Tr a i n i n g   e r r o r   ( M S E)   Te st i n g   e r r o r   ( M S E)   C o n n e c t i o n   1 0 . 0 0 0 0   1 2 . 2 1 5 1   0 . 0 9 9 3   0 . 8 6 6 6   f i x   6 . 1 2 6 0   7 . 2 9 6 0   3 . 3 0 0 1 e - 07   5 . 1 3 1 2 e - 04   f i x   6 . 9 1 8   1 3 . 3 0 9   2 . 6 7 0 7 e - 09   0 . 0 2 8 4 8   3 2 8 . 9 3 3 3   6 . 3 4 7 1   6 . 4 5 7 5   2 . 1 1 4 3 e - 19   1 . 0 8 6 1 e - 08   1 0 7 . 7 0 9 7   1 2 . 8 0 4 3   1 6 . 6 0 3 0   1 . 3 9 5 4 e - 10   0 . 0 5 8 4   6 4 . 0 9 0 9   1 0 .   L i v e r   Tr a i n i n g   e r r o r   ( %C l a ss)   Te st i n g   e r r o r   ( % C l a ss)   Tr a i n i n g   e r r o r   ( M S E)   Te st i n g   e r r o r   ( M S E)   C o n n e c t i o n   3 7 . 6 3 4 4   3 8 . 5 5 4 3   0 . 0 9 1 9   0 . 5 5 9 6   f i x   2 4 . 3 1 5 4   2 5 . 8 6 2 2   7 . 0 0 2 4 e - 09   0 . 0 0 1 6   f i x   2 3 . 9 4 1 9   3 8 . 7 5   2 . 3 4 7 7 e - 05   0 . 0 2 6 7   8 6 . 4 6 6 7   2 2 . 9 5 7 7   2 7 . 9 2 1 0   5 . 4 3 1 7 e - 07   2 . 4 1 9 e - 03   4 7 . 2 9 0 3   4 5 . 2 2 8 2   4 3 . 8 8 1 1   9 . 2 1 6 3 e - 03   0 . 3 2 4 4   3 1 . 2 7 2 7   1 1 .   M a c k e y - g l a ss   Tr a i n i n g   e r r o r   ( %C l a ss)   Te st i n g   e r r o r   ( % C l a ss)   C o n n e c t i o n   8 . 3 0 5 4 e - 06   0 . 0 0 7 0   f i x   3 . 7 7 7 5 e - 04   0 . 0 2 8 0   f i x   2 . 2 4 8 9 e - 04   2 . 3 5 0 5 e - 04   4 7 . 7 5   1 . 5 4 7 5 e - 05   2 . 0 7 7 0 e - 04   4 0 . 8 7 1 0   3 . 8 4 6 8 e - 06   0 . 0 5 6 0   1 6 . 4 8 3 9   1 2 .   G a s   f u r n a c e   Tr a i n i n g   e r r o r   ( %C l a ss)   Te st i n g   e r r o r   ( % C l a ss)   C o n n e c t i o n   3 . 5 3 2 9 e - 04   4 . 6 3 5 2   f i x   0 . 0 0 7 1   0 . 1 9 8 7   f i x   1 . 5 9 3 2 e - 3   1 . 6 6 7 1 e - 3   6 2 . 6   1 . 2 1 0 1 e - 04   3 . 2 0 0 1 e - 03   4 7 . 1 9 3 5   6 . 8 4 6 e - 04   0 . 0 2 2 8   1 5 . 4 5 1 6           Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 8 - 8 7 0 8   I n t J E lec  &   C o m p   E n g ,   Vo l.   10 ,   No .   4 ,  Au g u s t 2 0 2 0   :   3 7 2 5   -   3 7 3 3   3730   T ab le  2 .  Av e r ag e  o f   th e  r a n k s   f o r   p r o p o s ed   alg o r ith m s   Tr a i n i n g   e r r o r   ( C l a ssi f i c a t i o n )   A l g o r i t h m   M C O - TL B O   M C O - I TLB O   M C O - Bp   R a n k   2 . 0 0 0 0   1 . 0 0 0 0   3 . 0 0 0 0   Te st i n g   e r r o r   ( C l a ss i f i c a t i o n )   A l g o r i t h m   M C O - TL B O   M C O - I TLB O   M C O - Bp   R a n k   2 . 0 0 0 0   1 . 0 0 0 0   3 . 0 0 0 0   Tr a i n i n g   e r r o r   ( M s e )   A l g o r i t h m   M C O - TL B O   M C O - I TLB O   M C O - Bp   R a n k   2 . 4 0 0 0   1 . 0 0 0 0   2 . 6 0 0 0   Te st i n g   e r r o r   ( M se)   A l g o r i t h m   M C O - TL B O   M C O - I TLB O   M C O - Bp   R a n k   2 . 0 0 0 0   1 . 0 0 0 0   3 . 0 0 0 0   N u mb e r   o f   c o n n e c t i o n s   A l g o r i t h m   M C O - TL B O   M C O - I TLB O   M C O - Bp   R a n k   2 . 8 0 0 0   1 . 4 0 0 0   1 . 8 0 0 0       T ab le  3 .   P - v al u e  r esu lts   f o r   p a ir wis e   co m p ar is o n   o f   MCO - I T L B O  v er s u s   o th er   alg o r ith m s   b y   wilco x o n   test   D a t a s e t   C r i t e r i a   M C O - TL B O   M C O - Bp   1 .   I r i s   t e st i n g   e r r o r   0 . 6 5 6 4 1   9 . 0 7 3 3 e - 12     c o n n e c t i o n   0 . 1 2 5 8   1 . 2 1 9 6 e - 11   2 .   D i a b e t e s   t e st i n g   e r r o r   0 . 0 9 3 7 7 9   2 . 9 1 7 4 e - 11     c o n n e c t i o n   0 . 3 0 6 1 7   9 . 8 3 7 5 e - 09   3 .   Th y r o i d   t e st i n g   e r r o r   1 . 2 3 6 9 e - 05   5 . 9 9 4 1 e - 07     c o n n e c t i o n   0 . 0 0 0 1 0 0 1 2   7 . 0 6 4 3 e - 09   4 .   C a n c e r   t e st i n g   e r r o r   0 . 4 0 8 9 8   2 . 6 7 5 7 e - 11     c o n n e c t i o n   0 . 3 1 6 0 4   5 . 0 4 2 2 e - 11   5 .   C a r d   t e st i n g   e r r o r   0 . 7 7 2 3 9   5 . 5 8 9 3 e - 11     c o n n e c t i o n   0 . 1 4 3 3   2 . 9 3 2 1 e - 11   6 .   G l a ss   t e st i n g   e r r o r   0 . 0 3 9 3 5   2 . 8 5 0 2 e - 11     c o n n e c t i o n   0 . 0 0 6 6 3 5   3 . 9 7 8 7 e - 10   7 .   H e a r t   t e st i n g   e r r o r   0 . 3 4 1 6   2 . 7 7 2 2 e - 11     c o n n e c t i o n   0 . 5 1 0 1 8   1 . 4 9 7 e - 10   8 .   W i n e   t e st i n g   e r r o r   0 . 0 4 3 9 2 4   2 . 3 4 8 1 e - 11     c o n n e c t i o n   0 . 0 2 6 3 4   3 . 1 3 7 2 e - 11   9 .   P a g e - b l o c k e s   t e st i n g   e r r o r   0 . 0 0 3 3 8   3 . 0 1 2 3 e - 11     c o n n e c t i o n   0 . 0 4 8 1 9   2 . 9 9 9 1 e - 11   1 0 .   l i v e r   t e st i n g   e r r o r   0 . 7 4 9 6 5   2 . 8 9 9 1 e - 11     c o n n e c t i o n   0 . 6 9 9 2 5   3 . 6 3 0 5 e - 09   1 1 .   M a c k e y - G l a ss   t e st i n g   e r r o r   0 . 0 0 1 1 1 4 3   0 . 0 0 7 9 5 9     c o n n e c t i o n   0 . 1 9 0 7 3   0 . 0 0 0 5 8 7 3 7   1 2 .   G a s   F u r n a c e   t e st i n g   e r r o r   0 . 1 4 5 3 2   5 . 4 6 2 e - 06     c o n n e c t i o n   3 . 3 5 2 e - 08   0 . 0 0 5 0 8 4 2                 Fig u r e  3 .   B o x   p lo ts   o f   tr ai n in g   an d   test in g   er r o r s   f o r   all  d atasets   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J E lec  &   C o m p   E n g     I SS N:  2 0 8 8 - 8 7 0 8       A   h yb r id   co n s tr u ctive   a lg o r ith m  in co r p o r a tin g   tea c h in g - le a r n in g   b a s ed   …  ( Ma h d ie h   K h o r a s h a d iz a d e )   3731                     Fig u r e  3 .   B o x   p lo ts   o f   tr ai n in g   an d   test in g   er r o r s   f o r   all  d atasets   ( co n tin u e )       4 . 3 .   Resul t s   o f   co m pa ring   t h e  bes t   pro po s ed  hy bri d m et ho d wit h o t her  m et ho ds   I n   th is   s ec tio n ,   we  co m p ar e   o u r   h y b r id   alg o r ith m s   with   o th er   liter atu r e  m eth o d s   in   T ab le   4 .     T h e  p e r ce n tag e   o f   tr ain in g   er r o r   a n d   test in g   er r o r   c o llectio n   in   t h is   tab le.   E ac h   ar ticle   wo r k s   o n   a   b atch   o f   d atasets .   T h e  ce lls   o f   th is   tab l e  th at  d o n ’ t h av e  an y   v alu e  ( th at  in d icate   with   an   -   ico n )   s h o ws th at  th ese  v alu es   ar e  m is s in g   d ata  o r   b elo n g   t o   a   d ataset  th at  ar ticles  d o n ’ t  wo r k   o n   t h is .   W e  g iv e  a  b r ief   d escr ip tio n   o f     th e  co m p ar ativ e  a p p r o ac h es  as  f o llo ws.  W e  r ef er en ce   all  th e  ap p r o ac h es  th at  we  co m p ar e d   o u r   b est  p r o p o s ed   m eth o d   with   th e m .   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 8 - 8 7 0 8   I n t J E lec  &   C o m p   E n g ,   Vo l.   10 ,   No .   4 ,  Au g u s t 2 0 2 0   :   3 7 2 5   -   3 7 3 3   3732   T ab le  4 .   C o m p a r in g   th e   r esu lts   o f   b est   alg o r ith m   with   o th er   m eth o d s   in   liter atu r e           5.   CO NCLU SI O N   I n   th is   p ap er ,   we  p r o p o s ed   a   h y b r id izatio n   o f   tr ain in g   alg o r ith m s   an d   co n s tr u ctiv e  alg o r ith m s   t o   s im u ltan eo u s ly   d eter m in e  th e  weig h t  a n d   s tr u ct u r e  o f   th e  n eu r al  n et wo r k .   T h e   g o al  is   to   e x am in e   h y b r id izatio n   o f   a  d eter m in i s tic  an d   s y s tem atic  p r o ce d u r e  ( co n s tr u ctiv e   alg o r ith m )   w ith   r an d o m   s ea r ch   ( ev o lu tio n a r y   alg o r ith m )   f o r   n eu r al  n etwo r k   o p tim izatio n .   C o m b in ed   m eth o d s   in clu d e  th e  b ase  an d   im p r o v ed   v er s io n   o f   th e   T L B O  alg o r i th m   with   th e   MM OST  alg o r ith m s .   T h en   we  co m p ar e d   h y b r id   alg o r ith m s ,   an d   s elec ted   th e   s u p er io r   alg o r ith m   in   class if icatio n   an d   tim e  s er ies  p r ed icti o n   p r o b le m s .   T h e  r esu lts   o f   th e  co m p a r is o n   illu s tr ate  th e   s u p er io r   p er f o r m a n ce   b el o n g s   to   th e  MCO - IT L B O  a lg o r ith m .   T h is   v e r s io n   h as   a  p o wer f u l  tr ai n in g   alg o r ith m   ag ain s t  ea r ly   co n v er g e n ce ,   a n d   b alan ce s   b etwe en   ex p lo itati o n   a n d   ex p lo r atio n .   T h is   alg o r ith m   i n   co m b in atio n   with   th e  MM OST  co n s tr u ctiv e  alg o r ith m ,   m o r e  ef f ec tiv ely   s elec ts   th e  o p tim al   n etwo r k   s tr u ctu r e.   W e  h av e  a ls o   v er if ied   th ese  r esu lts   with   s tatis tica l  test s ,   an d   f in ally   t h is   alg o r ith m   was   co m p ar ed   with   o th er   m eth o d s   in   liter atu r e  a n d   it  h as  b ee n   p r o v en   th at  it  is   m o r e   co n v en ien t  th a n   o t h e r   alg o r ith m s   f o r   class if icatio n   an d   tim e  s er ies  p r ed ictio n   e r r o r .   T h ese  p r o m is in g   r esu lts   m o tiv ate  u s   to   f in d   way s   to   ch a n g e  o u r   p ath   to   f u tu r e   wo r k .   T h is   d ev elo p m e n t  ca n   b e  u s in g   c h ao tic  ( d is o r d er )   m ap p in g s   i n   th is   m eth o d .       RE F E R E NC E S   [1 ]   N.  Zh a n g ,   “ An   o n li n e   g ra d ie n t  m e th o d   wit h   m o m e n t u m   fo r  tw o - lay e r  fe e d fo rwa rd   n e u ra l  n e tw o rk s,”   A p p li e d   M a t h e ma ti c s a n d   Co mp u ta ti o n ,   v o l.   2 1 2 ,   n o .   2 ,   p p . 4 8 8 – 4 9 8 ,   2 0 0 9 .   [2 ]   M .   G o ri,   A.  Tes i,   “ On   th e   p r o b le m   o f  lo c a l  m i n ima   in   b a c k - p ro p a g a ti o n , ”   IEE E  T ra n s a c ti o n s  o n   P a tt e rn   An a lys is  &   M a c h i n e   In tell ig e n c e ,   v o l .   1 4 ,   n o .   1 ,   p p .   7 6 – 8 6 ,   1 9 9 2 .   [3 ]   H.  M e lo ,   J.  Wata d a ,   “ G a u ss ian - P S O  with   fu z z y   re a so n i n g   b a se d   o n   stru c tu ra l  lea rn i n g , ”   Ne u ro c o m p u ti n g ,   v o l.   1 7 2 ,   p p .   4 0 5 - 4 1 2 ,   2 0 1 6 .   [4 ]   S .   Ya n g ,   Y.   Ch e n ,   “ An   e v o l u ti o n a ry   c o n stru c ti v e   a n d   p ru n in g   a l g o rit h m   fo r   a rti ficia l  n e u ra l, ”   Ne u ro c o mp u ti n g ,   v o l.   8 6 ,   p p .   1 4 0 – 1 4 9 ,   2 0 1 2 .   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J E lec  &   C o m p   E n g     I SS N:  2 0 8 8 - 8 7 0 8       A   h yb r id   co n s tr u ctive   a lg o r ith m  in co r p o r a tin g   tea c h in g - le a r n in g   b a s ed   …  ( Ma h d ie h   K h o r a s h a d iz a d e )   3733   [5 ]   R.   V.  Ra o ,   V.  J.  S a v sa n i,   D.  P .   V a k h a ria,  “ Tea c h in g – lea rn in g - b a se d   o p t imiz a ti o n :  A  n o v e l  m e th o d   f o r  c o n stra in e d   m e c h a n ica l  d e sig n   o p t imiz a ti o n   p ro b lem s,”   Co mp u ter - Ai d e d   De sig n ,   v o l.   4 3 ,   n o .   3 ,   p p .   3 0 3 - 3 1 5 ,   2 0 1 1 .   [6 ]   V.  Ho - Hu u ,   T.   Ng u y e n - T h o i,   T.   Vo - Du y ,   T.   Ng u y e n - Tran g ,   “ An   a d a p ti v e   e li ti st  d iffere n ti a l  e v o lu ti o n   f o r   o p ti m iza ti o n   o f   tr u ss   stru c t u re s  with   d isc re te  d e si g n   v a riab les , ”   Co mp u ter s   a n d   S tr u c tu re s ,   v o l.   1 6 5 ,   p p .   5 9 – 7 5 ,   2 0 1 6 .   [7 ]   O.  Ara n ,   E.   Alp a y d ın ,   “ An   in c re m e n tal  n e u ra l   n e two rk   c o n stru c t io n   a lg o rit h m   f o r  trai n in g   m u lt i lay e r   p e rc e p tro n s,”   Arti fi c ia l  Ne u ra l   Ne two rk s a n d   Ne u ra l  In fo rm a ti o n   P ro c e ss in g ,   2 0 0 3 .     [8 ]   M .   Az e v e d o ,   Bra g a ,   A.  P á d u a ,   d e   M e n e z e s,  B.   Ro d rig u e s,  “ Im p r o v i n g   n e u ra l  n e two r k s  g e n e ra li z a ti o n   wit h   n e w   c o n stru c ti v e   a n d   p r u n i n g   m e th o d s,”   J o u rn a l  o f   I n telli g e n t  &   F u zz y   S y ste ms ,   v o l.   1 3 ,   n o .   2 ,   p p .   7 5 - 8 3 ,   2 0 0 2 .   [9 ]   C.   L.   Blak e ,   C.   J.   M e rz ,   “ UCI   Re p o sito r y   o f   M a c h i n e   Lea rn i n g   Da tab a se s,  Un i v e rsity   o f   Ca li fo rn ia  a t   Irv i n e , ”   1 9 9 8 .   [1 0 ]   Av a il a b le at  h t tp :/ /d a ta se ts.co n n e c tmv . c o m /d a tas e ts/   [1 1 ]   M .   Kh ish e ,   M .   R.   M o sa v i,   M .   Ka v e h ,   “ Im p ro v e d   m ig ra ti o n   m o d e ls  o f  b i o g e o g ra p h y - b a se d   o p ti m iz a ti o n   fo r  so n a r   d a tas e t  c las sifica ti o n   b y   u si n g   n e u ra l  n e two r k , ”  A p p l ied   Aco u stics ,   v o l .   1 1 8 ,   p p .   1 5 – 2 9 ,   2 0 1 7 .   [1 2 ]   Q.  F a n ,   Z .   Wa n g ,   H.   Zh a ,   D.   G a o ,   “ M REKLM :  A   fa st  m u l ti p le  e m p iri c a l  k e r n e l  lea rn i n g   m a c h in e , ”   P a tt e r n   Rec o g n it io n ,   v o l.   6 1 ,   p p .   1 9 7 - 2 0 9   2 0 1 7 .   [1 3 ]   N.  S .   Ja d d i ,   S ,   A b d u ll a h ,   A.  R .   H a m d a n ,   “ A so lu ti o n   re p re se n tati o n   o f  g e n e ti c   a lg o r it h m   fo r  n e u ra l  n e two rk   we ig h ts   a n d   stru c t u re , ”.   I n fo rm a t io n   Pro c e ss in g   L e tt e rs ,   v o l.   1 1 6 ,   n o .   1 ,   p p . 2 2 - 2 5 ,   2 0 1 6 .   [1 4 ]   R.   M .   Cru z ,   R.   S a b o u rin ,   G .   D.  Ca v a lca n ti ,   “ M ET A - DES .   Ora c le:  M e ta - lea rn in g   a n d   fe a tu re   se lec ti o n   fo r  d y n a m ic   e n se m b le se lec ti o n , ”   In f o rm a ti o n   Fu sio n ,   v o l .   3 8 ,   p p .   84 - 1 0 3 ,   2 0 1 7 .   [1 5 ]   H.  Ba d e m ,   A.   Ba stu r k ,   A .   Ca li sk a n ,   M .   E .   Y u k se l,   “ A  n e w   e fficie n t  trai n i n g   stra teg y   fo r   d e e p   n e u r a l  n e two r k s  b y   h y b rid iza ti o n   o f   a rti ficia l  b e e   c o l o n y   a n d   l imited -- m e m o ry   B F G S   o p ti m iza ti o n   a l g o ri th m s,”   Ne u r o c o m p u ti n g ,   v o l .   2 6 6 ,   p p .   5 0 6 – 5 2 6 ,   2 0 1 7 .   [1 6 ]   M .   De   G re g o rio   M .   G io rd a n o ,   “ An   e x p e rime n tal  e v a lu a ti o n   o f  we ig h tl e ss   n e u ra l   n e two r k s  fo r  m u lt i - c las s  c las sifica ti o n , ”   Ap p l.   S o f t  Co m p u t . ,   v o l.   7 2 ,   p p .   3 3 8 - 3 5 4 ,   2 0 1 8 .   [1 7 ]   C.   Z h a n g ,   C .   L iu ,   X.   Z h a n g ,   G .   Alm p a n i d is ,   “ A n   u p - to - d a te  c o m p a riso n   o f   sta te - of - th e - a rt  c las sifica ti o n   a lg o rit h m s , ”   Exp e rt S y ste ms   wit h   Ap p li c a ti o n s ,   v o l .   82 ,   p p . 1 2 8 - 1 5 0 ,   2 0 1 7 .   [1 8 ]   N.  S .   Ja d d i,   S .   Ab d u ll a h ,   “ A   c o o p e ra ti v e - c o m p e ti ti v e   m a ste r - sla v e   g lo b a l - b e st  h a rm o n y   se a rc h   fo r  AN N   o p ti m iza ti o n   a n d   wa ter - q u a li ty   p r e d ictio n , ”   Ap p li e d   S o ft   C o mp u ti n g ,   v o l.   51 ,   p p . 2 0 9 - 2 2 4 ,   2 0 1 7 .   [1 9 ]   J.  Va sh ish th a ,   P .   G o y a l,   J.   Ah u ja,  a n d   o t h e rs,  “ A  No v e l  F it n e s s  Co m p u tatio n   F ra m e wo rk   fo r   Na tu re   In sp ire d   Clas sifica ti o n   Alg o rit h m s,”   Pro c e d ia   C o mp u t.   S c i. ,   v o l.   1 3 2 ,   p p .   2 0 8 – 2 1 7 ,   2 0 1 8 .   [2 0 ]   D.  P .   F .   Cr u z ,   R .   D.  M a i a ,   L.   A.   d a   S il v a ,   L.   N .   d e   Ca stro , ”   Be e RBF :  a   b e e - i n sp ired   d a ta  c l u ste rin g   a p p r o a c h   t o   d e sig n   RB F   n e u ra l  n e two r k   c las si fiers , ”   Ne u ro c o mp u ti n g ,   v o l .   1 7 2 ,   p p .   4 2 7 - 4 3 7 ,   2 0 1 6 .   [2 1 ]   Z.   Xie ,   Y.  Xu ,   Q.  H u ,   “ Un c e rtai n   d a ta  c las sifica ti o n   wit h   a d d it iv e   k e rn e l  su p p o rt  v e c to r  m a c h in e , ”   Da ta   Kn o wl .   En g .   v o l.   1 1 7 ,   p p .   8 7 - 9 7 ,   2 0 1 8 .   [2 2 ]   N.  S .   Ja d d i ,   S .   A b d u ll a h ,   M .   A b d u l   M a lek ,   “ M a ste r - Lea d e r - S lav e   Cu c k o o   S e a rc h   wi th   P a ra m e ter  Co n tr o l  f o r   a n n   Op ti m iza ti o n   a n d   I ts Rea l - Wo rl d   Ap p li c a ti o n   t o   Wate r  Qu a li ty   P re d ictio n , "  PL o S   ONE .   v o l. 1 2 ( 1 ) ,   2 0 1 7 .   [2 3 ]   A.  Ca li sk a n ,   M .   E .   Yu k se l,   H .   B a d e m ,   A.  Ba stu r k ,   “ P e rfo rm a n c e   imp ro v e m e n t   o f   d e e p   n e u ra l   n e t wo rk   c las sifiers   b y   a   sim p le  train i n g   stra teg y , ”   E n g in e e rin g   Ap p li c a ti o n s o f  Arti fi c i a l   In telli g e n c e .   v o l.   6 7 ,   p p .   1 4 – 2 3 ,   2 0 1 8 .   [2 4 ]   M .   F .   M o h a m m e d ,   C.   P .   Li m ,   “ Im p ro v i n g   th e   F u z z y   M i n - M a x   n e u ra l  n e two rk   with   a   K - n e a re st  h y p e rb o x   e x p a n sio n   r u le fo r   p a tt e rn   c las sifica ti o n , ”   A p p li e d   S o ft   C o mp u ti n g ,   v o l.   5 2 ,   p p .   1 3 5 - 1 4 5 ,   2 0 1 7 .   [2 5 ]   B.   Y.  Hie w,  S .   C.   Tan ,   W .   S .   Li m ,   “ A  d o u b le - e li m i n a ti o n - to u rn a m e n t - b a se d   c o m p e ti ti v e   c o - e v o l u ti o n a r y   a rti ficia l   n e u ra l  n e tw o rk   c las sifier , ”   Ne u ro c o mp u ti n g ,   v o l.   2 4 9 ,   p p .   3 4 5 - 3 5 6 ,   2 0 1 7 .   [2 6 ]   K.  S u n ,   J.   Zh a n g ,   C.   Z h a n g ,   J.   Hu ,   “ G e n e ra li z e d   e x trem e   lea rn i n g   m a c h in e   a u to e n c o d e r   a n d   a   n e w  d e e p   n e u ra l   n e two rk , ”   Ne u ro c o mp u ti n g ,   v o l.   230 ,   p p .   3 7 4 - 3 8 1 ,   2 0 1 7 .   [2 7 ]   Z.   G a o ,   C.   M a ,   D.  S o n g ,   Y.  Li u ,   “ De e p   q u a n tu m   in s p ired   n e u ra l  n e two rk   wit h   a p p li c a ti o n   to   a ircr a ft  fu e l  sy ste m   fa u lt   d ia g n o sis , ”   Ne u ro c o m p u ti n g ,   v o l.   2 3 8 ,   p p .   13 - 2 3 ,   2 0 1 7 .   [2 8 ]   J.  Wan g ,   Q.   Ca i,   Q.   Ch a n g ,   J.   M .   Zu ra d a ,   “ Co n v e rg e n c e   a n a l y se s  o n   s p a rse   fe e d fo rwa rd   n e u ra l  n e t wo rk s  v ia  g r o u p   las so   re g u lariz a ti o n , ”   In fo rm a t io n   S c ien c e s ,   v o l.   3 8 1 ,   p p .   2 5 0 - 2 6 9 ,   2 0 1 7 .   [2 9 ]   S .   S h in d e ,   U.   Ku l k a rn i ,   “ Ex ten d e d   fu z z y   h y p e rli n e - se g m e n t  n e u r a l  n e two r k   wit h   c las sifica ti o n   ru le  e x trac ti o n , ”   Ne u ro c o mp u ti n g ,   v o l .   2 6 0 ,   p p .   7 9 – 9 1 ,   2 0 1 7 .     Evaluation Warning : The document was created with Spire.PDF for Python.