I nte rna t io na l J o urna l o f   E lect rica l a nd   Co m pu t er   E ng ineering   ( I J E CE )   Vo l.   10 ,   No .   4 A u g u s t   2 0 2 0 ,   p p .   3 7 2 5 ~ 3 7 3 3   I SS N:  2088 - 8 7 0 8 DOI : 1 0 . 1 1 5 9 1 / ijece . v 1 0 i 4 . p p 3 7 25 - 3 7 3 3          3725       J o ur na l ho m ep a g e h ttp : //ij ec e. ia esco r e. co m/in d ex . p h p /I JE C E   A hybrid  co nst ru ctive al g o rithm in co rpo ra ting   teaching - lea rnin g  bas ed optimiza ti o n f o r neural   network  training       M a hd ie h   K ho ra s ha diza de 1 M o rt ez a   J o uy ba n 2 M o ha mm a drez a   Asg ha ri  O s ko ei 3   1 De p a rtme n o Co m p u ter  S c ien c e ,   S istan   a n d   Ba lu c h e sta n   Un i v e rsity ,   Ira n   2, 3 De p a rtme n o C o m p u ter S c ien c e ,   Allam e h   Tab a tab a ’i  Un iv e rsit y ,   Ira n       Art icle  I nfo     AB S T RAC T   A r ticle  his to r y:   R ec eiv ed   Ma y   2 9 ,   2 0 1 9   R ev is ed   J an   1 6 ,   2 0 2 0   Acc ep ted   Feb   1 ,   2 0 2 0     In   n e u ra n e two rk s,  sim u lt a n e o u d e term in a ti o n   o t h e   o p t imu m   stru c tu re   a n d   we ig h ts  is  a   c h a ll e n g e .   T h is   p a p e p r o p o se a   c o m b in a t io n   o f   tea c h in g - lea rn in g   b a se d   o p ti m iza ti o n   (TL BO)  a lg o rit h m   a n d   a   c o n stru c ti v e   a lg o rit h m   (CA) t o   c o p e   with   t h e   c h a ll e n g e .   In   li tera tu re ,   TL BO i s u se d   t o   c h o o se   p ro p e r   we ig h ts,  wh i le  CA  is  a d o p ted   t o   c o n str u c d iffere n str u c tu re i n   o rd e t o   se lec th e   p r o p e r   o n e .   I n   th is   stu d y ,   th e   b a sic   TL BO   a lg o rit h m   a lo n g   with   a n   imp ro v e d   v e rsio n   o th is   a lg o rit h m   fo r   n e two r k   we ig h ts   se lec ti o n   a re   u ti l ize d .   M e a n wh il e ,   a a   c o n stru c ti v e   a l g o rit h m ,   a   n o v e m o d ifi c a ti o n   t o   m u lt ip le   o p e ra ti o n s,  u sin g   sta ti stica tes ts   (M OST ) ,   is   a p p li e d   a n d   tes ted   to   c h o o se   th e   p ro p e str u c tu re .   Th e   p r o p o se d   c o m b i n a to rial   a lg o rit h m a re   a p p li e d   t o   ten   c las sifica t io n   p ro b lem a n d   tw o - t ime - se ries   p re d ictio n   p ro b lem s,   a th e   b e n c h m a rk .   T h e   re su lt s   a re   e v a lu a ted   b a se d   o n   train i n g   a n d   tes ti n g   e rro r,   n e two r k   c o m p lex it y   a n d   m e a n - sq u a re   e rro r.   Th e   e x p e rim e n tal  re su lt il lu stra te  t h a t h e   p r o p o se d   h y b ri d   m e th o d   o th e   m o d i fie d   M OS c o n stru c ti v e   a lg o rit h m   a n d   t h e   imp ro v e d   T LBO  (M CO - ITL BO)   a lg o rit h m   o u t p e rfo rm   t h e   o t h e rs;  m o re o v e r,   th e y   h a v e   b e e n   p ro v e n   b y   Wi lco x o n   sta ti stica tes ts  a we ll .   Th e   p ro p o se d   m e th o d   d e m o n stra tes   les a v e ra g e   e rro with   les s c o m p lex it y   in   th e   n e tw o rk   stru c t u re .   K ey w o r d s :   Alg o r ith m   in co r p o r atin g   T ea ch in g - lear n in g   Op tim izatio n   Neu r al  n etwo r k   t r ain in g   Co p y rig h ©  2 0 2 0   In stit u te o A d v a n c e d   E n g i n e e rin g   a n d   S c ien c e   Al rig h ts re se rv e d .   C o r r e s p o nd ing   A uth o r :   Ma h d ie h   Kh o r ash ad izad e ,   Dep ar tm en t o f   C o m p u ter   Scie n ce ,     Sis tan   an d   B alu ch estan   Un iv er s ity ,     Z ah ed an ,   I r an .   E m ail:  k h o r ash ad iza d e. m @ g m ail. co m       1.   I NT RO D UCT I O N   Ar tific ial  n eu r al  n etwo r k s   ( ANN) ,   h av in g   s tr o n g   s im ilit u d to   b io l o g ical  n etwo r k s ,   h av th ab ilit y   to   lear n   n o is d ata   as  well  as  th ab ilit y   to   class if y   an d   r ec o g n ize  d if f er en t y p es  o f   in p u p atter n s .   T h ese  tak e   p lace   o n ly   if   th n eu r al  n etwo r k   is   well  tr ain ed   with o u an   o v er - f itti n g   o r   u n d er - f itti n g   m o d el.   T h m o s well - k n o wn   t r ain in g   alg o r ith m   is   th b ac k   p r o p ag at io n   [ 1 ] ,   b u it  h as  n u m er o u s   d r aw b ac k s   s u ch   as  tr ap p in g   i n   lo ca m in im [ 2 ] .   He n ce ,   r ese ar ch er s   h av e   d ec id e d   to   u tili ze   ev o lu tio n ar y   al g o r ith m s   i n s t ea d .   I n   ad d itio n   to   th tr ain in g   an d   d eter m in atio n   o f   o p tim al  weig h ts ,   an o th er   c r itical  is s u is   th d esig n   o f   a n   ap p r o p r iate  ANN   ar ch itectu r e.   Ma n y   s tu d ies  h a v b ee n   c o n d u cted   f o r   ar ch ite ctu r as  well  as   weig h o p tim i za tio n .   Fo r   in s tan ce ,   in   ap p ly in g   a   n o v el  m eth o d   b ased   o n   Gau s s ian - PS an d   f u zz y   r ea s o n in g   [ 3 ]   ANN  weig h an d   s tr u ctu r e   o p tim izatio n   is   p r esen ted .   I n   liter atu r e,   th er ar o th er   m eth o d s   to   o p tim ize  ANN  ar ch itectu r e,   n am ely   co n s tr u ctiv alg o r ith m s   an d   p r u n in g   al g o r ith m s .   C o n s tr u cti v alg o r ith m s   h a v m a n y   a d v an tag es  o v er   p r u n i n g   alg o r ith m s ,   s u ch   as  ea s y   i n itiatio n ,   less   co m p lex ity   o f   th e   f in al  s o lu tio n ,   a n d   lig h ter   lo a d   o f   c o m p u tatio n .   Fu r th er m o r e ,   C A’ s   ar ab le  to   f r ee ze   th ex is tin g   weig h ts   in   th n eu r al  n etwo r k   if   t h ey   ar u s ef u in   o u tp u t;   as  r esu lt,  r esu ltin g   in   th r ed u ctio n   o f   th r e q u ir ed   tim an d   m em o r y .   I n   p r u n i n g   alg o r ith m s ,   s ev e r al   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 8 - 8 7 0 8   I n t J E lec  &   C o m p   E n g ,   Vo l.   10 ,   No .   4 Au g u s t 2 0 2 0   :   3 7 2 5   -   3 7 3 3   3726   p r o b lem - d ep e n d en p ar a m eter s   ar to   b p r o p er ly   id e n tifie d   in   o r d er   to   o b tain   an   ac ce p tab le  n etw o r k   with   s atis f ac to r y   p er f o r m an ce .   T h is   m ak es it d if f icu lt to   b u s ed   in   r ea l - wo r ld   ap p licatio n s   [ 4 ].   T h is   p ap er   p o r tr a y s   co m b in atio n   o f   r an d o m   s ea r ch   p r o ce d u r es  an d   s y s tem atic  m eth o d s ,   p r o p o s in h y b r id izin g   im p r o v e d   teac h in g - lear n in g   alg o r ith m s   with   co n s tr u ctiv alg o r ith m s   f o r   th p u r p o s o f   ANN   d esig n .   T h e   h y b r id   is   a d v an ta g eo u s ,   f o r   teac h i n g - lear n in g   a lg o r ith m   is   p ar am eter - in d ep en d en o p tim izatio n   alg o r ith m   t h at  b alan ce   b etwe e n   ex p l o r atio n   a n d   ex p l o itatio n .   Me an wh ile,   c o n s tr u ctiv e   alg o r ith m s   ar e   ad o p ted   to   s elec an   ap p r o p r iate  ANN   ar ch itectu r e.   Sin ce   u s in g   co n s tr u ctiv alg o r ith m s   is   co s t - ef f ec tiv in   ter m s   o f     th tr ain in g - tim an d   co m p lex ity   o f   ANN,   it   h in d e r s   th p r o d u ctio n   o f   n etwo r k s   wit h   an   i n ef f icien v e r y   la r g e   ar ch itectu r e.   T h is   p ap e r ,   with   th aim   o f   s im u ltan eo u s ly   o p tim izin g   th ANN  weig h ts   an d   ar ch itectu r e,   co m b in es  tr ain i n g   a n d   c o n s tr u ctiv alg o r ith m s   ap p lie d   to   ten   class if icatio n   p r o b lem s   a n d   two - tim e   s er ies   p r ed ictio n   p r o b lem s ,   as  th b en ch m ar k .   Af ter   ev alu atin g   th e   p er f o r m a n ce   o f   p r o p o s ed   h y b r id   alg o r ith m s   an d   co m p ar in g   th eir   r esu lts ,   it  was   f o u n d   th at  th p r o p o s ed   m eth o d   o u tp e r f o r m ed   o th er   alg o r it h m s .   T h p r o p o s ed   co m b in atio n   m eth o d   p r o v es  t o   h a v a   lo wer   m ea n   e r r o r   in   m o s ca s es.  T h r est  o f   t h is   s tu d y   is   o r g a n ized   as  f o llo ws:   Sectio n   2   p r o v id es  b r ief   d escr ip tio n   o f   th al g o r ith m s   th at  we  p r o v id ed .   T h en ,   in   Sect io n   3 ,   h y b r id   p r o p o s ed   m eth o d   to   ANN  o p tim izatio n   is   p r esen t ed .   I n   Sectio n   4 ,   th e x p er im en tal  r esu lts   o f   th ap p licatio n   o f   th p r o p o s ed   a p p r o ac h es  to   th ANN  p r o b l em s   ar r ep o r ted ,   a n d   f in ally ,   th co n clu s io n   is   d r awn   in   th e   last   s ec tio n .       2.   AL G O RI T H M   D E SCR I P T I O N   2 . 1 .     I m pro v ed  t ea ching - lea r nin g   ba s ed  o ptim iza t io n ( I T L B O )   Alth o u g h   T L B p r o v id es  h ig h - q u ality   s o lu t io n s   in   th least  am o u n o f   tim an d   h as  g r e at  s tab ilit y   in   co n v e r g en ce   [ 5 ] ,   in   th le ar n er   p h ase  o f   th is   alg o r ith m ,   lear n er s   r an d o m ly   c h o o s an o th er   lear n e r   f r o m     th p o p u latio n .   T h is   d if f icu l ty   l ea d s   to   lack   o f   b ala n ce   b etwe en   t h two   co n ce p t s   o f   d iv er s ity   an d   co n v er g en ce .   I T L B with   an   im p r o v em en in t o   b asic  T L B o v er co m es  th is   d if f ic u lty .   I n   t h is   alg o r ith m ,   th teac h er   p h ase  is   th s am as  th teac h er   p h ase  in   t h e   b asic  T L B alg o r ith m   a n d   t h lear n er   p h ase  is   ex p r ess ed   as  f o llo ws.  T h I T L B h as  b ee n   d ev elo p e d   t o   im p r o v t h wea k n ess es  o f   T L B alg o r ith m;   f o r   e x am p le,   i n   T L B r an d o m   ch o ices  d u to   lo lo ca s ea r ch   ca p ab ilit y ,   b u in   I T L B with   ad d itio n   co n ce p t o f   n eig h b o r h o o d   we  t r y in g   to   r ed u ce   r an d o m   ch o ice s   an d   u tili ze   o f   n eig h b o r h o o d   ab ilit ies.  T h is   is s u in cr ea s es lo ca l sear ch   an d   g l o b al  s ea r ch   ca p ab ilit y .   T h m ai n   s ec tio n s   o f   I T L B ar as f o l lo ws:     2 . 1 . 1 .   I T L B O   lea rner   ph a s e   I n   th is   p h ase,   ea ch   lear n er   is   e n co d ed   with   a n   in teg er   a n d   p lace d   in   r ec tan g u lar   ar r ay .   le ar n er s   m ay   lear n   f r o m   th eir   n eig h b o r s   o r   f r o m   th b est  in d iv i d u al  in   w h o le  class .   T h is   p r o ce s s   is   b a s ed   o n   lo ca s ea r c h   ab ilit y f u r th er m o r e,   b alan ce   b etwe en   g lo b al  s ea r ch   an d   lo ca s ea r ch   ab ilit y   is   ap p lied .   I n   lo ca s ea r c h ,   ea ch   lear n er   u p d ates  h is   p o s itio n   with   Pc  p r o b ab ilit y   b y   th b est  lear n er   in   h is   n eig h b o r h o o d   ( o r   ,   )   an d   also   g lo b al  b est lea r n er   th at  in   p o p u latio n .     ,   =   ,  + 2 . ( ,  ,  ) + 3 . (  ,  )         ( 1 )       W h er ,    is   th e   teac h er   in     n ei g h b o r h o o d ,      is   teac h er   o f   wh o le  class ,   2   ,   3   ar r an d o m   n u m b er s   in   th r a n g e   of   ( 0 ,   1 ) .   T h n ew  p o s itio n   o f   ea ch   lear n er   will  b ac ce p ted   if   its   f itn ess   v alu h as   im p r o v e d .   I n   th c o n ce p t   o f   g lo b al  s ea r ch ,   if   Pc  p r o b ab ilit y   d o n t   m ee t,  ea c h   lear n er   ch o o s es  r an d o m   lear n er   ( )   f r o m   th wh o le  class   to   p r o v id th lear n in g   g o al ,   if     is   b etter   th an   ,   o r   o t h er wis e,   lear n in g   o cc u r s   ac co r d in g   to   lear n er   p h ase  i n   b asic  T L B O.   T h er ef o r e,   u s in g   th ese  o p er atio n s   b o t h   lo ca an d   g lo b al   s ea r ch   ca p ab ilit y   will  b o b tain ed .   All  th ac ce p ted   lear n er s   at  th en d   o f   lear n er   p h ase  ar p r eser v ed .   Du to   th en h an ce d   ex p lo itatio n   ab i lity   alo n g   with   th ex p lo r atio n   ab ilit y ,   wh ic h   alr ea d y   ex is ted   in   th lear n in g   p h ase  o f   th e   o r ig i n al  alg o r ith m ,   we  u s th c o n ce p t   o f   n eig h b o r h o o d   in   th e   class r o o m .   F o r   ea ch   in d iv id u al   in   th p o p u latio n   ex is n u m b er   o f   n eig h b o r h o o d   m em b e r   th at  lear n   f r o m   th b est  o n e.   Fo r   m ain tain   o f   d iv er s ity   af te r   n u m b er   o f   ite r atio n s   th n eig h b o r h o o d   m e m b er s   o f   ea c h   in d iv id u al  a r ch an g ed .   T h is   is s u b alan ce   b etwe en   th e   ex p l o r at io n   an d   ex p lo itin g   ab ilit ies.  Oth er   ad v an ta g th er is   in   t h is   alg o r ith m ,   wh e n   n ew  p o s itio n   is   o b tain ed   f o r   ea ch   m em b er ,   it  m ay   lead   to   th p r o d u ctio n   o f   d ec is io n   v ar iab les  v alu es  th at  ar o u o f   t h r an g o f   th d ef in itio n   in ter v al.   I n   th is   ca s e,   m o s r esear ch er s   u s th co n v er g en ce   ap p r o ac h   to   th u p p e r   an d   lo wer   b o u n d   ac co r d in g   to   alg o r ith m ,   b u th is   m eth o d   is   Old   an d   d is ab led   m eth o d   witch   ca u s alg o r ith m   to   lo ca o p tim a.   I n   th im p r o v ed   teac h in g - lear n i n g   b ased   o p tim izatio n   m eth o d ,   we  u s m o d if ied   tech n iq u to   ch ec k   b o u n d ar ie s   o f   th v ar iab les  [ 6 ] .   I ts   ad v an tag is   av o id in g   eq u aliza tio n   o f   th d ec is io n   v ar iab les.     Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J E lec  &   C o m p   E n g     I SS N:  2 0 8 8 - 8 7 0 8       A   h yb r id   co n s tr u ctive   a lg o r ith in co r p o r a tin g   tea c h in g - le a r n in g   b a s ed   …  ( Ma h d ie h   K h o r a s h a d iz a d e )   3727   2 . 2 .   M o dified  M O ST   a lg o rit hm   ( M M O ST )   Dete r m in in g   th e   ar ch itectu r e   o f   ar tific ial  n etwo r k s   h as  lu r e d   m an y   r esear ch e r s   in   th e   f iel d   in   r ec en y ea r s .   W u s ed   Mu ltip le  Op e r ato r s   u s in g   Statis tica T est s   alg o r ith m   MO ST  [ 7 ] .   I n   MO ST  alg o r ith m ,   th er is n an y   co n tr o lled   m eth o d   f o r   ch an g s tr u tu r e.   T h is   alg o r ith m   m ay   h a v lar g c h an g es  i n   n etwo r k   s tr u ctu r e   d u r in g   th alg o r ith m .   An o th e r   wea k n ess   o f   t h is   alg o r ith m   is   th ad d itio n   o f   la y er s   f r e q u en tly   with o u an y   co n d itio n   to   co n t r o l.  I n   m o d if ied   MO ST  alg o r ith m ,   th o p er ato r   p o o was  r em o v ed .   Fo r   ch an g in g   s tr u ctu r e   n eu r o n s   ar e   ad d e d   o n e   af ter   a n o th er .   Selectin g   t h n ew  s tr u ctu r es  is   d o n m o r e   ca r ef u lly   b y   a d d in g   m u ltip le  co n d itio n s .   At  th b eg in n i n g ,   alg o r ith m   s tar ts   with   s in g le  h id d en   lay er   n etwo r k   b y   th m in im u m   n u m b er   o f   n eu r o n s .   W ch o s o n o f   p o p u lar   ap p r o ac h   f o r   allo wed   m in im u m   n u m b er   th at  is   th av er ag e   o f   n u m b er   o f   o u tp u lay er   an d   in p u lay e r .   Netwo r k   in   th f ir s s tep   h as  s in g le  h id d en   lay er   an d   n eu r o n s   ar ad d ed   co n tin u ally   to   th h id d en   lay er   to   o b tain   p r o p e r   s tr u ctu r o f   th n etwo r k .   T o   av o id   c r ea tin g   v er y   lar g s tr u ctu r es  f o r   n etwo r k s ,   th n eu r o n s   ar ad d ed   to   s in g le  h i d d en   lay er   o f   th n etwo r k   u n til  th ey   d o n ex ce ed   Max - h id d e n   n u m b er .   I n   f ac t,  n etwo r k s   with   v er y   lar g s tr u ctu r n o o n ly   d o n h av g o o d   g en er aliza b ilit y ,   b u th e y   also   in cr ea s th e   c o m p u tatio n al   tim o f   t h al g o r ith m .   T o   elim in ate  t h is   wea k n ess ,   we  ad d   th s ec o n d   lay er   to   n etwo r k   s tr u ctu r to   cr ea te  p r o p e r   ar ch it ec tu r with   p r o b a b ilit y   less   t h an   P.  af ter   ad d in g   th s ec o n d   la y er ,   th e   n u m b er   o f   n eu r o n s   in   ea ch   h id d en   la y er   is   s et  b y   m i n - h id d en .   M MO ST  co n s tr u ctiv e   alg o r ith m   ch o o s es  th b est  ar ch itectu r b etwe en   co n s tr u cted   s tr u ctu r es.   So ,   as  n o ted   ab o v e,   th e   d if f e r en ce s   b etwe en   th MM OST  an d   MO ST  alg o r ith m   ar as  f o l lo ws:   o p er ato r s   p o o is   d elete d n eu r o n s   ar co n tin u ally   a d d ed a n d   th er e   i s   m o r p r ec is ch o ice  b etw ee n   th th r e p r ev i o u s ,   cu r r en an d   th ca n d id ate  ar ch itectu r es.       3.   T H E   P RO P O SE M E T H O D   I n   th is   p ap er ,   we   p r o p o s ed   a   co m b in atio n   alg o r ith m   f o r   p r o d u cin g   a   n e u r al   n etwo r k   w ith   p r o p er   s tr u ctu r an d   weig h ts ,   to   s im u ltan eo u s   o p tim izatio n   o f   weig h ts   an d   s tr u ctu r e.   Fo r   th is   p u r p o s e,   co m b in atio n   o f   th e   m o d if ied   MO ST  co n s tr u ctiv alg o r ith m   with   an   i m p r o v e d   v er s io n   o f   th e   tr ain in g   alg o r ith m   was  p r o p o s ed .   T h e   r o le  o f   th e   co n s tr u ctiv alg o r it h m   in   t h p r o p o s ed   alg o r ith m   is   to   co n s tr u ct  d if f er en s tr u ct u r es  in   o r d er   to   s elec th p r o p er   o n e,   wh ich   is   ca r r ied   o u b y   u s in g   s witch in g   s y s tem atic  ap p r o ac h   b etwe en   th v ar io u s   s tr u ctu r es  allo wed   f o r   th n eu r al  n etwo r k .   On   t h o t h er   h an d ,   th r o le  o f   tr ain i n g   alg o r ith m   is   to   f in d   o p tim al  weig h ts   f o r   th s tr u ct u r th at  is   cr ea ted   b y   th c o n s tr u ctiv alg o r ith m .   Usi n g   co n s tr u ctiv alg o r ith m s   in   cr ea tin g   n etwo r k   ar ch itec tu r r ed u ce s   co m p u tatio n al  co s an d   co m p lex ity .   B u u s in g   t h ese  alg o r ith m s   in   s o lv in g   n o is y   p r o b lem s   [ 8 ]   h as  f ailed ,   wh ich   in   co m b in atio n   with   o th er   tech n iq u es,  s u ch   as  th u s o f   ev o lu tio n ar y   al g o r ith m s ,   ca n   b ef f ec tiv e   in   im p r o v in g   th e   c o n s tr u ctiv al g o r ith m .   I n   a d d it io n ,   we   h av e   m a d s o m m o d if icatio n s   o n   t h MO ST  co n s tr u ctiv alg o r ith m .   F o r   m o r d etailed   d e s cr ip tio n ,   th p s eu d o   co d o f   th p r o p o s ed   h y b r id   alg o r ith m s   is   s h o wn   in   Fig u r 1 .   I n   o th er   wo r d s ,   in   o r d er   to   clar if y   th co m b in atio n   o f   ev o lu tio n ar y   tr ain in g   alg o r it h m s   an d   c o n s tr u ctiv alg o r it h m s ,   we  s h o wed   th e   p r o ce s s   in   f lo wch ar t   by   F ig u r 2 .             Fi g u re    1 .   P se u d o   c o d e   c o m b i n e d   a lg o rit h m   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 8 - 8 7 0 8   I n t J E lec  &   C o m p   E n g ,   Vo l.   10 ,   No .   4 Au g u s t 2 0 2 0   :   3 7 2 5   -   3 7 3 3   3728       F ig u re   2 .   F lo wc h a rt   o h y b rid   a lg o rit h m       4.   CO M P ARI SO RE SUL T S   I n   th is   s ec tio n ,   we  e v alu ate  t h ef f ec tiv e n ess   o f   p r o p o s ed   h y b r id   m eth o d s .   T h ese  alg o r ith m s   ar e   ap p lied   t o   ten   class if icatio n   p r o b lem   a n d   two   tim e   s er ies  p r ed ictio n   p r o b lem s .   W co m p a r th e   p er f o r m a n ce   o f   th p r o p o s ed   h y b r id   alg o r it h m s   f ir s t w ith   ea ch   o th er   an d   t h en   with   o th e r   av ailab le  m et h o d s .     4 . 1 .     Def ini t io n o f   cla s s if ica t io n a nd   t im s er ies predict io n pro blem s   T h task   o f   ass ig n in g   s am p le  to   p r o p er   g r o u p ,   b ased   o n   th ch ar ac ter is tics   o f   d escr ib in g   th at   o b ject  in   p r o b lem ,   is   d ef i n e d   as  class if icatio n .   T h e   class if icatio n   p r o b lem s   u s ed   in   t h is   ar ticle  in clu d i r is ,   d iab etes  d iag n o s is ,   th y r o id ,   b r ea s ca n ce r ,   cr ed it  ca r d ,   g l ass ,   h ea r t,  win e,   p ag b lo ck s ,   an d   liv e r .   T h ese  class if icatio n   p r o b lem s   ar tak en   f r o m   th UC I   m ac h in lear n in g   r e p o s ito r y   [ 9 ] .   B u t th ti m s er ies p r ed ictio n   p r o b lem s   u s s p ec if ic   m o d e to   p r ed ict  f u tu r e   v alu es  b ase d   o n   th eir   p r e v io u s   v alu es.  T h f ir s is   th e   Gas  Fu r n ac Data s et  [ 10 ] ,   wh ich   is   co m p iled   f r o m   J en k in s ' s   B o o k   o f   T im Ser ies  An aly s is .   I co n tain s   g as   co n ten an d   C O2   p e r ce n tag e   in   g as,  a n d   an o th e r   is   a   Ma ck ey   g lass   d ataset  o b tain ed   f r o m   th e   b elo w   d if f er en tial e q u atio n :        ( )  =    ( ) +  ( ) 1 + 10 ( )                 ( 2 )     All  p r o p o s ed   h y b r id   alg o r ith m s   in   th is   ar ticle  h a v b ee n   im p lem en ted   u s in g   MA T L AB   s o f twar an d   h av u s ed   3 0   tim r u n   to   ev alu ate  th p er f o r m an ce   o f   th ese  m eth o d s .   T h 4 - f o ld - cr o s s - v al id atio n   m eth o d   h as   b ee n   u s ed   to   d iv id e   th e   o r ig i n al  d ataset  in to   two   tr ain in g   a n d   test in g   se ts .   T h is   m eth o d   ca n   ef f ec tiv el y   p r ev en t   tr ap p in g   t o   lo ca m in im a .   B ec au s b o th   th tr ai n in g   an d   te s tin g   s am p les  co n tr ib u te  to   le ar n in g   as  m u c h   as  p o s s ib le,   it  ca n   p r o v i d s ati s f ac to r y   lear n i n g   e f f ec t .   T h e   av er ag e r r o r   is   o b tain e d   f r o m   th 4 - f o ld - cr o s s - v alid atio n   wh ich   is   p r esen ted   as  th f in al  er r o r   o f   th e   n et wo r k .   I n   ad d itio n ,   th in p u d ata s et  to   th n eu r al   n etwo r k   is   n o r m alize d   u s in g   th m in - m ax   n o r m aliza tio n   m eth o d   to   th in te r v al  [ - 1 . 1 ] .   T h r esu lts   o f     th co m p ar is o n   ar p r esen ted   in   two   p ar ts .   First,  th p r o p o s ed   alg o r ith m s   ar co m p ar ed   with   ea ch   o th er ,   an d   th en   th b est p r o p o s ed   m eth o d   is   co m p ar ed   with   t h ex is tin g   m eth o d s .     4. 2   Co m pa ring   pro po s ed  met ho ds   wit h e a ch  o t her   E ac h   o f   th ese  alg o r ith m s   h as  b ee n   ex ec u te d   3 0   tim es,  an d   t h r esu lts   o f   th ex p er im e n ts   h av b ee n   co m p ar ed   with   ea ch   o t h er   ac co r d in g   to   th r ee   cr iter ia:  class if icatio n   er r o r   p er ce n tag o f   tr ain in g   an d   test in g   d ata  an d   co m p lex ity   p er ce n ta g e.   T h f u n ctio n   o f   er r o r   ca lc u latio n   Fo r   th Ma ck ey   g lass   i s   R M SE  an d   f o r   g as  f u r n ac is   MSE .   First,  we  co m p ar th p e r f o r m an ce   o f   tw o   k in d   o f   tr ain in g   alg o r ith m   t h at  co n s is o f   class ic   tr ain in g   alg o r ith m   ( b ac k -   p r o p ag atio n )   an d   ev o lu tio n ar y   tr ain in g   alg o r ith m   ( im p r o v ed   t ea c h in g   lear n in g - b ased   o p tim izatio n ) .   T h r esu lts   f r o m   T ab le  1   s h o th at  th I T L B alg o r ith m   h as  h ig h er   ef f icien c y   f o r   m o s d ata  s ets.  Acc o r d in g   to   T ab le  1 ,   th I T L B alg o r ith m   f o r   all  o f   class if icatio n   p r o b lem s   h as  b etter   p er f o r m an ce   th an   th B p   alg o r ith m ,   th en   in   p ar t2   f r o m   T ab l 1   we  s h o wed   th r esu lts   o f   c o m p ar in g   p r o p o s ed   h y b r id   alg o r ith m s   with   ea ch   o th er .   All  th r esu lts   ar b ased   o n   t h r ee   ch a r ac ter is tics   ( p ar am eter s )   o f   tr ain i n g   an d   test in g   er r o r   f o r   class if icatio n ,   MSE   e r r o r   a n d   c o m p le x ity .   T o   b etter   d em o n s tr ate  t h s u p er io r   alg o r ith m ,   we  d id   r an k   av er ag test ,   an d   th r an k   av er ag f o r   d if f er e n d ata  s et  wa s   p r esen ted   in   T ab le  2 .   As  ca n   b s ee n   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J E lec  &   C o m p   E n g     I SS N:  2 0 8 8 - 8 7 0 8       A   h yb r id   co n s tr u ctive   a lg o r ith in co r p o r a tin g   tea c h in g - le a r n in g   b a s ed   …  ( Ma h d ie h   K h o r a s h a d iz a d e )   3729   f r o m   T ab le  2 ,   MCO - I T L B h as  g ain ed   th f ir s r an k   f o r   all  o f   ch ar ac ter is tic.   T o   ev alu ate  wh eth er   th MCO - ITL B r esu lts   ar s ig n if ican tly   b etter   th a n   o th e r   ap p r o ac h es ,   we  ca lcu lated   th p - v al u test   with   s ig n if ican t   lev el  o f   0 . 0 5   f o r   d ata  s ets.  T h ca lcu lated   P -   v alu es  f o r   M C O - I T L B ar s h o wn   in   T ab le  3   in   co m p ar is o n   with   o th er   alg o r ith m s .   T h b est  r esu lts   ar b o ld ed   in   th tab les.  I n   Fig u r es  3   th b o x   p lo g r ap h s   s h o wed   th r esu lts   o f   th d is tr ib u tio n   o f   tr ain in g   an d   test in g   e r r o r s   f o r   th wh o le   d ata  s et  f o r   3 0   tim es  r u n n in g .   T h ch ar ts   s h o th at  MCO - I T L B is   s u p er io r   in   m o s t c ases .       Tab le  1 .   Av e ra g e   re su lt o 3 0   r u n s o tw o   k in d   trai n in g   a lg o rit h m   (p a rt1 a n d   e a c h   h y b rid   a l g o ri th m   (p a rt2 )   D a t a s e t   C r i t e r i a   BP   I TLB O   ( p a r t 1 )   M C O - TLB O   M C O - I TLB O   M C O - BP   ( p a r t   2)   1 .   I r i s   Tr a i n i n g   e r r o r   ( %C l a ss)   Te st i n g   e r r o r   ( % C l a ss)   Tr a i n i n g   e r r o r   ( M S E)   Te st i n g   e r r o r   ( M S E)   C o n n e c t i o n   5 . 3 1 2 5   7 . 5 4 6 8   0 . 0 0 2 4   0 . 4 8 9 2   f i x   0 . 9 5 1 6   2 . 1 4 4 0   3 . 5 6 4 2 e - 09   1 . 7 7 2 9 e - 06   f i x   0 . 7 8 1 9   3 . 2 7 5 2   6 . 7 3 2 4 e - 05   0 . 0 7 2 1   2 6 . 4 6 6 7   0 . 0 1 3 8   2 . 2 9 7 5   6 . 2 4 8 0 e - 07   3 . 3 9 1 7 e - 03   2 1 . 5 8 0 6   7 . 6 0 6 1   9 . 8 9 9 0   1 . 0 2 9 0 e - 02   1 . 2 8 6 4   2 3 . 4 6 6 7   2.   D i a b e t e s   Tr a i n i n g   e r r o r   ( %C l a ss)   Te st i n g   e r r o r   ( % C l a ss)   Tr a i n i n g   e r r o r   ( M S E)   Te st i n g   e r r o r   ( M S E)   C o n n e c t i o n   3 1 . 2 3 2 2   3 5 . 2 8 8 7   0 . 6 0 1 3   0 . 6 9 3 3   f i x   1 8 . 6 8 9 7   2 7 . 8 4 7 3   1 . 1 6 3 7 e - 06   7 . 1 2 4 7 e - 05   f i x   1 9 . 5 2 8 2   2 9 . 3 7 9 5   1 . 5 2 9 e - 08   0 . 0 0 1 7 9   1 0 9 . 1 3 3 3   1 8 . 8 7 7 5   2 3 . 3 9 0 6   2 . 3 4 6 8 e - 10   4 . 1 8 2 2 e - 8   5 8 . 4 1 9 4   2 8 . 0 1 7 6   3 6 . 8 3 5 9   6 . 3 3 7 5 e - 04   1 . 3 3 4 9   1 2 9 . 2 3 3 3   3.   Th y r o i d   Tr a i n i n g   e r r o r   ( %C l a ss)   Te st i n g   e r r o r   ( % C l a ss)   Tr a i n i n g   e r r o r   ( M S E)   Te st i n g   e r r o r   ( M S E)   C o n n e c t i o n   1 7 . 8 3 4 0   1 6 . 5 6 7 2   0 . 1 3 9 9   1 . 5 9 6 8   f i x   6 . 7 7 9 8   1 2 . 5 9 0 3   1 . 3 9 8 7 e - 05   2 . 5 7 8 6 e - 04   f i x   8 . 2 2 1 5   1 1 . 1 3 1 8   4 . 8 9 7 6 e - 06   0 . 0 0 4 0 2   5 2 1 . 1   5 . 6 0 5 9   6 . 5 8 0 0   5 . 6 5 8 9 e - 09   2 . 6 1 5 8 e - 07   1 3 3 . 6 4 5 2   1 8 . 3 9 6 1   2 2 . 3 8 3 7   3 . 8 6 0 5 e - 03   1 . 4 0 9 5   1 6 8 . 2 2 3 5   4.   C a n c e r   Tr a i n i n g   e r r o r   ( %C l a ss)   Te st i n g   e r r o r   ( % C l a ss)   Tr a i n i n g   e r r o r   ( M S E)   Te st i n g   e r r o r   ( M S E)   C o n n e c t i o n   2 0 . 9 4 1 9   1 6 . 3 5 1 0   0 . 1 4 3 7   0 . 8 2 2 4   f i x   1 . 9 6 7 2   4 . 5 0 1 8   3 . 0 6 0 0 e - 04   0 . 0 2 2 0   f i x   1 . 7 2 1 3   8 . 5 9 4   2 . 3 6 0 4 e - 07   0 . 0 0 3 3 6   2 5 7 . 9 3 3 3   1 . 0 8 4 3   2 . 0 7 2 9   2 . 5 6 9 5 e - 11   7 . 3 6 7 9 e - 6   6 7 . 4 1 9 4   2 1 . 5 3 5 0   2 9 . 5 1 3 1   1 . 2 6 2 6 e - 03   7 . 4 2 8 5   7 7 . 4 5 4 5   5.   C a r d   Tr a i n i n g   e r r o r   ( %C l a ss)   Te st i n g   e r r o r   ( % C l a ss)   Tr a i n i n g   e r r o r   ( M S E)   Te st i n g   e r r o r   ( M S E)   C o n n e c t i o n   2 2 . 5 2 4 7   2 3 . 8 1 2 6   0 . 0 2 5 8   1 . 1 4 3 7   f i x   1 5 . 7 4 9 2   1 7 . 3 1 9 6   3 . 3 2 7 2 e - 09   3 . 0 9 3 9 e - 05   f i x   1 2 . 6 1 1 1   2 4 . 3 4 7 8   2 . 2 4 0 2 e - 04   0 . 0 1 8 4   4 5 2 . 6 6 6 7   1 2 . 2 3 7 9   1 3 . 5 8 8 9   7 . 2 0 6 6 e - 08   1 . 9 3 8 1 e - 03   1 2 7 . 4 1 9 4   1 9 . 9 4 3 2   3 0 . 4 4 8 0   3 . 4 9 8 5 e - 05   3 . 0 6 9 9   1 8 3 . 5 4 5 5   6.   G l a ss   Tr a i n i n g   e r r o r   ( %C l a ss)   Te st i n g   e r r o r   ( % C l a ss)   Tr a i n i n g   e r r o r   ( M S E)   Te st i n g   e r r o r   ( M S E)   C o n n e c t i o n   3 6 . 7 7 7 0   5 4 . 8 3 8 7   0 . 4 2 3 5   0 . 8 6 3 1   f i x   1 8 . 3 1 6 9   3 6 . 9 1 4 6   1 . 0 2 4 4 e - 06   0 . 1 4 3 1   f i x   1 8 . 2 2 5 2   3 1 . 7 1 7 2   9 . 2 0 8 1 e - 04   0 . 0 9 6 4   3 9 2 . 6 6 6 7   1 7 . 0 8 8 1   2 2 . 0 7 3 3   2 . 3 8 4 5 e - 10   3 . 2 6 9 e - 06   1 2 3 . 3 5 4 8   6 6 . 8 3 0 5   6 7 . 9 0 6 3   1 . 4 6 0 4 e - 04   3 . 7 1 4 1   1 0 4 . 7 2 7 3   7.   H e a r t   Tr a i n i n g   e r r o r   ( %C l a ss)   Te st i n g   e r r o r   ( % C l a ss)   Tr a i n i n g   e r r o r   ( M S E)   Te st i n g   e r r o r   ( M S E)   C o n n e c t i o n   2 1 . 2 2 0 8   2 3 . 6 7 4 6   0 . 0 0 2 2   0 . 8 0 8 6   f i x   1 0 . 4 4 7 3   2 0 . 9 8 7 7   7 . 4 4 4 1 e - 11   0 . 0 1 5 6   f i x   1 2 . 1 5 8 7   20   9 . 4 2 5 9 e - 05   8 . 7 6 6 1 e - 03   1 9 8 . 7 3 3 3   1 1 . 2 6 4 7   1 3 . 3 3 2 5   8 . 2 2 7 1 e - 12   1 . 0 2 6 0 e - 07   9 3 . 3 5 4 8   2 0 . 2 9 8 2   2 3 . 4 2 5 4   2 . 4 2 8 3 e - 06   0 . 2 2 1 3   1 0 0 . 9 0 9 1   8.   W i n e   Tr a i n i n g   e r r o r   ( %C l a ss)   Te st i n g   e r r o r   ( % C l a ss)   Tr a i n i n g   e r r o r   ( M S E)   Te st i n g   e r r o r   ( M S E)   C o n n e c t i o n   1 7 . 0 6 4 1   2 3 . 1 0 6 3   0 . 0 2 1 5   1 . 0 3 0 7   f i x   4 . 9 9 7 8   1 3 . 1 8 5 6   1 . 6 9 2 4 e - 09   0 . 0 0 8 9   f i x   0 . 5 1 4 9 1   3 . 8 1 8 2   3 . 9 9 8 3 e - 08   1 . 2 7 8 4 e - 03   2 8 6 . 9 3 3 3   0 . 4 6 8 7   3 . 8 0 9 4   1 . 9 5 1 6 e - 11   5 . 9 6 9 0 e - 06   1 1 7 . 6 1 2 9   2 1 . 0 4 2 1   2 3 . 5 5 3 7   1 . 5 4 0 3 e - 06   5 . 1 8 7 0   9 8 . 9 0 9 1   9.   P a g e - b l o c k s   Tr a i n i n g   e r r o r   ( %C l a ss)   Te st i n g   e r r o r   ( % C l a ss)   Tr a i n i n g   e r r o r   ( M S E)   Te st i n g   e r r o r   ( M S E)   C o n n e c t i o n   1 0 . 0 0 0 0   1 2 . 2 1 5 1   0 . 0 9 9 3   0 . 8 6 6 6   f i x   6 . 1 2 6 0   7 . 2 9 6 0   3 . 3 0 0 1 e - 07   5 . 1 3 1 2 e - 04   f i x   6 . 9 1 8   1 3 . 3 0 9   2 . 6 7 0 7 e - 09   0 . 0 2 8 4 8   3 2 8 . 9 3 3 3   6 . 3 4 7 1   6 . 4 5 7 5   2 . 1 1 4 3 e - 19   1 . 0 8 6 1 e - 08   1 0 7 . 7 0 9 7   1 2 . 8 0 4 3   1 6 . 6 0 3 0   1 . 3 9 5 4 e - 10   0 . 0 5 8 4   6 4 . 0 9 0 9   1 0 .   L i v e r   Tr a i n i n g   e r r o r   ( %C l a ss)   Te st i n g   e r r o r   ( % C l a ss)   Tr a i n i n g   e r r o r   ( M S E)   Te st i n g   e r r o r   ( M S E)   C o n n e c t i o n   3 7 . 6 3 4 4   3 8 . 5 5 4 3   0 . 0 9 1 9   0 . 5 5 9 6   f i x   2 4 . 3 1 5 4   2 5 . 8 6 2 2   7 . 0 0 2 4 e - 09   0 . 0 0 1 6   f i x   2 3 . 9 4 1 9   3 8 . 7 5   2 . 3 4 7 7 e - 05   0 . 0 2 6 7   8 6 . 4 6 6 7   2 2 . 9 5 7 7   2 7 . 9 2 1 0   5 . 4 3 1 7 e - 07   2 . 4 1 9 e - 03   4 7 . 2 9 0 3   4 5 . 2 2 8 2   4 3 . 8 8 1 1   9 . 2 1 6 3 e - 03   0 . 3 2 4 4   3 1 . 2 7 2 7   1 1 .   M a c k e y - g l a ss   Tr a i n i n g   e r r o r   ( %C l a ss)   Te st i n g   e r r o r   ( % C l a ss)   C o n n e c t i o n   8 . 3 0 5 4 e - 06   0 . 0 0 7 0   f i x   3 . 7 7 7 5 e - 04   0 . 0 2 8 0   f i x   2 . 2 4 8 9 e - 04   2 . 3 5 0 5 e - 04   4 7 . 7 5   1 . 5 4 7 5 e - 05   2 . 0 7 7 0 e - 04   4 0 . 8 7 1 0   3 . 8 4 6 8 e - 06   0 . 0 5 6 0   1 6 . 4 8 3 9   1 2 .   G a s   f u r n a c e   Tr a i n i n g   e r r o r   ( %C l a ss)   Te st i n g   e r r o r   ( % C l a ss)   C o n n e c t i o n   3 . 5 3 2 9 e - 04   4 . 6 3 5 2   f i x   0 . 0 0 7 1   0 . 1 9 8 7   f i x   1 . 5 9 3 2 e - 3   1 . 6 6 7 1 e - 3   6 2 . 6   1 . 2 1 0 1 e - 04   3 . 2 0 0 1 e - 03   4 7 . 1 9 3 5   6 . 8 4 6 e - 04   0 . 0 2 2 8   1 5 . 4 5 1 6           Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 8 - 8 7 0 8   I n t J E lec  &   C o m p   E n g ,   Vo l.   10 ,   No .   4 Au g u s t 2 0 2 0   :   3 7 2 5   -   3 7 3 3   3730   T ab le  2 Av e r ag o f   th r a n k s   f o r   p r o p o s ed   alg o r ith m s   Tr a i n i n g   e r r o r   ( C l a ssi f i c a t i o n )   A l g o r i t h m   M C O - TL B O   M C O - I TLB O   M C O - Bp   R a n k   2 . 0 0 0 0   1 . 0 0 0 0   3 . 0 0 0 0   Te st i n g   e r r o r   ( C l a ss i f i c a t i o n )   A l g o r i t h m   M C O - TL B O   M C O - I TLB O   M C O - Bp   R a n k   2 . 0 0 0 0   1 . 0 0 0 0   3 . 0 0 0 0   Tr a i n i n g   e r r o r   ( M s e )   A l g o r i t h m   M C O - TL B O   M C O - I TLB O   M C O - Bp   R a n k   2 . 4 0 0 0   1 . 0 0 0 0   2 . 6 0 0 0   Te st i n g   e r r o r   ( M se)   A l g o r i t h m   M C O - TL B O   M C O - I TLB O   M C O - Bp   R a n k   2 . 0 0 0 0   1 . 0 0 0 0   3 . 0 0 0 0   N u mb e r   o f   c o n n e c t i o n s   A l g o r i t h m   M C O - TL B O   M C O - I TLB O   M C O - Bp   R a n k   2 . 8 0 0 0   1 . 4 0 0 0   1 . 8 0 0 0       T ab le  3 .   P - v al u r esu lts   f o r   p a ir wis e   co m p ar is o n   o f   MCO - I T L B v er s u s   o th er   alg o r ith m s   b y   wilco x o n   test   D a t a s e t   C r i t e r i a   M C O - TL B O   M C O - Bp   1 .   I r i s   t e st i n g   e r r o r   0 . 6 5 6 4 1   9 . 0 7 3 3 e - 12     c o n n e c t i o n   0 . 1 2 5 8   1 . 2 1 9 6 e - 11   2 .   D i a b e t e s   t e st i n g   e r r o r   0 . 0 9 3 7 7 9   2 . 9 1 7 4 e - 11     c o n n e c t i o n   0 . 3 0 6 1 7   9 . 8 3 7 5 e - 09   3 .   Th y r o i d   t e st i n g   e r r o r   1 . 2 3 6 9 e - 05   5 . 9 9 4 1 e - 07     c o n n e c t i o n   0 . 0 0 0 1 0 0 1 2   7 . 0 6 4 3 e - 09   4 .   C a n c e r   t e st i n g   e r r o r   0 . 4 0 8 9 8   2 . 6 7 5 7 e - 11     c o n n e c t i o n   0 . 3 1 6 0 4   5 . 0 4 2 2 e - 11   5 .   C a r d   t e st i n g   e r r o r   0 . 7 7 2 3 9   5 . 5 8 9 3 e - 11     c o n n e c t i o n   0 . 1 4 3 3   2 . 9 3 2 1 e - 11   6 .   G l a ss   t e st i n g   e r r o r   0 . 0 3 9 3 5   2 . 8 5 0 2 e - 11     c o n n e c t i o n   0 . 0 0 6 6 3 5   3 . 9 7 8 7 e - 10   7 .   H e a r t   t e st i n g   e r r o r   0 . 3 4 1 6   2 . 7 7 2 2 e - 11     c o n n e c t i o n   0 . 5 1 0 1 8   1 . 4 9 7 e - 10   8 .   W i n e   t e st i n g   e r r o r   0 . 0 4 3 9 2 4   2 . 3 4 8 1 e - 11     c o n n e c t i o n   0 . 0 2 6 3 4   3 . 1 3 7 2 e - 11   9 .   P a g e - b l o c k e s   t e st i n g   e r r o r   0 . 0 0 3 3 8   3 . 0 1 2 3 e - 11     c o n n e c t i o n   0 . 0 4 8 1 9   2 . 9 9 9 1 e - 11   1 0 .   l i v e r   t e st i n g   e r r o r   0 . 7 4 9 6 5   2 . 8 9 9 1 e - 11     c o n n e c t i o n   0 . 6 9 9 2 5   3 . 6 3 0 5 e - 09   1 1 .   M a c k e y - G l a ss   t e st i n g   e r r o r   0 . 0 0 1 1 1 4 3   0 . 0 0 7 9 5 9     c o n n e c t i o n   0 . 1 9 0 7 3   0 . 0 0 0 5 8 7 3 7   1 2 .   G a s   F u r n a c e   t e st i n g   e r r o r   0 . 1 4 5 3 2   5 . 4 6 2 e - 06     c o n n e c t i o n   3 . 3 5 2 e - 08   0 . 0 0 5 0 8 4 2                 Fig u r 3 .   B o x   p lo ts   o f   tr ai n in g   an d   test in g   er r o r s   f o r   all  d atasets   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J E lec  &   C o m p   E n g     I SS N:  2 0 8 8 - 8 7 0 8       A   h yb r id   co n s tr u ctive   a lg o r ith in co r p o r a tin g   tea c h in g - le a r n in g   b a s ed   …  ( Ma h d ie h   K h o r a s h a d iz a d e )   3731                     Fig u r 3 .   B o x   p lo ts   o f   tr ai n in g   an d   test in g   er r o r s   f o r   all  d atasets   ( co n tin u e )       4 . 3 .   Resul t s   o f   co m pa ring   t h bes t   pro po s ed  hy bri d m et ho d wit h o t her  m et ho ds   I n   th is   s ec tio n ,   we  co m p ar e   o u r   h y b r id   alg o r ith m s   with   o th er   liter atu r m eth o d s   in   T ab le   4 .     T h p e r ce n tag e   o f   tr ain in g   er r o r   a n d   test in g   er r o r   c o llectio n   in   t h is   tab le.   E ac h   ar ticle   wo r k s   o n   a   b atch   o f   d atasets .   T h ce lls   o f   th is   tab l th at  d o n t h av an y   v alu ( th at  in d icate   with   an   -   ico n )   s h o ws th at  th ese  v alu es   ar m is s in g   d ata  o r   b elo n g   t o   a   d ataset  th at  ar ticles  d o n wo r k   o n   t h is .   W g iv b r ief   d escr ip tio n   o f     th co m p ar ativ a p p r o ac h es  as  f o llo ws.  W r ef er en ce   all  th ap p r o ac h es  th at  we  co m p ar e d   o u r   b est  p r o p o s ed   m eth o d   with   th e m .   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 8 - 8 7 0 8   I n t J E lec  &   C o m p   E n g ,   Vo l.   10 ,   No .   4 Au g u s t 2 0 2 0   :   3 7 2 5   -   3 7 3 3   3732   T ab le  4 .   C o m p a r in g   th e   r esu lts   o f   b est   alg o r ith m   with   o th er   m eth o d s   in   liter atu r e           5.   CO NCLU SI O N   I n   th is   p ap er ,   we  p r o p o s ed   a   h y b r id izatio n   o f   tr ain in g   alg o r ith m s   an d   co n s tr u ctiv alg o r ith m s   t o   s im u ltan eo u s ly   d eter m in th weig h a n d   s tr u ct u r o f   th n eu r al  n et wo r k .   T h e   g o al  is   to   e x am in e   h y b r id izatio n   o f   d eter m in i s tic  an d   s y s tem atic  p r o ce d u r ( co n s tr u ctiv e   alg o r ith m )   w ith   r an d o m   s ea r ch   ( ev o lu tio n a r y   alg o r ith m )   f o r   n eu r al  n etwo r k   o p tim izatio n .   C o m b in ed   m eth o d s   in clu d th b ase  an d   im p r o v ed   v er s io n   o f   th e   T L B alg o r i th m   with   th e   MM OST  alg o r ith m s .   T h en   we  co m p ar e d   h y b r id   alg o r ith m s ,   an d   s elec ted   th e   s u p er io r   alg o r ith m   in   class if icatio n   an d   tim s er ies  p r ed icti o n   p r o b le m s .   T h r esu lts   o f   th co m p a r is o n   illu s tr ate  th e   s u p er io r   p er f o r m a n ce   b el o n g s   to   th MCO - IT L B a lg o r ith m .   T h is   v e r s io n   h as   p o wer f u tr ai n in g   alg o r ith m   ag ain s ea r ly   co n v er g e n ce ,   a n d   b alan ce s   b etwe en   ex p lo itati o n   a n d   ex p lo r atio n .   T h is   alg o r ith m   i n   co m b in atio n   with   th MM OST  co n s tr u ctiv alg o r ith m ,   m o r ef f ec tiv ely   s elec ts   th o p tim al   n etwo r k   s tr u ctu r e.   W h av a ls o   v er if ied   th ese  r esu lts   with   s tatis tica test s ,   an d   f in ally   t h is   alg o r ith m   was   co m p ar ed   with   o th er   m eth o d s   in   liter atu r a n d   it  h as  b ee n   p r o v en   th at  it  is   m o r e   co n v en ien th a n   o t h e r   alg o r ith m s   f o r   class if icatio n   an d   tim s er ies  p r ed ictio n   e r r o r .   T h ese  p r o m is in g   r esu lts   m o tiv ate  u s   to   f in d   way s   to   ch a n g o u r   p ath   to   f u tu r e   wo r k .   T h is   d ev elo p m e n ca n   b u s in g   c h ao tic  ( d is o r d er )   m ap p in g s   i n   th is   m eth o d .       RE F E R E NC E S   [1 ]   N.  Zh a n g ,   An   o n li n e   g ra d ie n m e th o d   wit h   m o m e n t u m   fo tw o - lay e fe e d fo rwa rd   n e u ra n e tw o rk s,”   A p p li e d   M a t h e ma ti c s a n d   Co mp u ta ti o n ,   v o l.   2 1 2 ,   n o .   2 ,   p p . 4 8 8 4 9 8 ,   2 0 0 9 .   [2 ]   M .   G o ri,   A.  Tes i,   On   th e   p r o b le m   o lo c a m i n ima   in   b a c k - p ro p a g a ti o n ,   IEE T ra n s a c ti o n o n   P a tt e rn   An a lys is  &   M a c h i n e   In tell ig e n c e ,   v o l .   1 4 ,   n o .   1 ,   p p .   7 6 8 6 ,   1 9 9 2 .   [3 ]   H.  M e lo ,   J.  Wata d a ,   G a u ss ian - P S with   fu z z y   re a so n i n g   b a se d   o n   stru c tu ra lea rn i n g ,   Ne u ro c o m p u ti n g ,   v o l.   1 7 2 ,   p p .   4 0 5 - 4 1 2 ,   2 0 1 6 .   [4 ]   S .   Ya n g ,   Y.   Ch e n ,   An   e v o l u ti o n a ry   c o n stru c ti v e   a n d   p ru n in g   a l g o rit h m   fo r   a rti ficia n e u ra l,   Ne u ro c o mp u ti n g ,   v o l.   8 6 ,   p p .   1 4 0 1 4 9 ,   2 0 1 2 .   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J E lec  &   C o m p   E n g     I SS N:  2 0 8 8 - 8 7 0 8       A   h yb r id   co n s tr u ctive   a lg o r ith in co r p o r a tin g   tea c h in g - le a r n in g   b a s ed   …  ( Ma h d ie h   K h o r a s h a d iz a d e )   3733   [5 ]   R.   V.  Ra o ,   V.  J.  S a v sa n i,   D.  P .   V a k h a ria,  Tea c h in g lea rn in g - b a se d   o p t imiz a ti o n n o v e m e th o d   f o c o n stra in e d   m e c h a n ica d e sig n   o p t imiz a ti o n   p ro b lem s,”   Co mp u ter - Ai d e d   De sig n ,   v o l.   4 3 ,   n o .   3 ,   p p .   3 0 3 - 3 1 5 ,   2 0 1 1 .   [6 ]   V.  Ho - Hu u ,   T.   Ng u y e n - T h o i,   T.   Vo - Du y ,   T.   Ng u y e n - Tran g ,   An   a d a p ti v e   e li ti st  d iffere n ti a e v o lu ti o n   f o r   o p ti m iza ti o n   o f   tr u ss   stru c t u re with   d isc re te  d e si g n   v a riab les ,   Co mp u ter s   a n d   S tr u c tu re s ,   v o l.   1 6 5 ,   p p .   5 9 7 5 ,   2 0 1 6 .   [7 ]   O.  Ara n ,   E.   Alp a y d ın ,   An   in c re m e n tal  n e u ra l   n e two rk   c o n stru c t io n   a lg o rit h m   f o trai n in g   m u lt i lay e r   p e rc e p tro n s,”   Arti fi c ia Ne u ra l   Ne two rk s a n d   Ne u ra In fo rm a ti o n   P ro c e ss in g ,   2 0 0 3 .     [8 ]   M .   Az e v e d o ,   Bra g a ,   A.  P á d u a ,   d e   M e n e z e s,  B.   Ro d rig u e s,  Im p r o v i n g   n e u ra n e two r k g e n e ra li z a ti o n   wit h   n e w   c o n stru c ti v e   a n d   p r u n i n g   m e th o d s,”   J o u rn a o f   I n telli g e n &   F u zz y   S y ste ms ,   v o l.   1 3 ,   n o .   2 ,   p p .   7 5 - 8 3 ,   2 0 0 2 .   [9 ]   C.   L.   Blak e ,   C.   J.   M e rz ,   UCI   Re p o sito r y   o f   M a c h i n e   Lea rn i n g   Da tab a se s,  Un i v e rsity   o f   Ca li fo rn ia  a t   Irv i n e ,   1 9 9 8 .   [1 0 ]   Av a il a b le at  h t tp :/ /d a ta se ts.co n n e c tmv . c o m /d a tas e ts/   [1 1 ]   M .   Kh ish e ,   M .   R.   M o sa v i,   M .   Ka v e h ,   Im p ro v e d   m ig ra ti o n   m o d e ls  o b i o g e o g ra p h y - b a se d   o p ti m iz a ti o n   fo so n a r   d a tas e c las sifica ti o n   b y   u si n g   n e u ra n e two r k , ”  A p p l ied   Aco u stics ,   v o l .   1 1 8 ,   p p .   1 5 2 9 ,   2 0 1 7 .   [1 2 ]   Q.  F a n ,   Z .   Wa n g ,   H.   Zh a ,   D.   G a o ,   M REKLM A   fa st  m u l ti p le  e m p iri c a k e r n e lea rn i n g   m a c h in e ,   P a tt e r n   Rec o g n it io n ,   v o l.   6 1 ,   p p .   1 9 7 - 2 0 9   2 0 1 7 .   [1 3 ]   N.  S .   Ja d d i ,   S ,   A b d u ll a h ,   A.  R .   H a m d a n ,   A so lu ti o n   re p re se n tati o n   o g e n e ti c   a lg o r it h m   fo n e u ra n e two rk   we ig h ts   a n d   stru c t u re , ”.   I n fo rm a t io n   Pro c e ss in g   L e tt e rs ,   v o l.   1 1 6 ,   n o .   1 ,   p p . 2 2 - 2 5 ,   2 0 1 6 .   [1 4 ]   R.   M .   Cru z ,   R.   S a b o u rin ,   G .   D.  Ca v a lca n ti ,   M ET A - DES .   Ora c le:  M e ta - lea rn in g   a n d   fe a tu re   se lec ti o n   fo d y n a m ic   e n se m b le se lec ti o n ,   In f o rm a ti o n   Fu sio n ,   v o l .   3 8 ,   p p .   84 - 1 0 3 ,   2 0 1 7 .   [1 5 ]   H.  Ba d e m ,   A.   Ba stu r k ,   A .   Ca li sk a n ,   M .   E .   Y u k se l,   n e w   e fficie n trai n i n g   stra teg y   fo r   d e e p   n e u r a n e two r k b y   h y b rid iza ti o n   o f   a rti ficia b e e   c o l o n y   a n d   l imited -- m e m o ry   B F G S   o p ti m iza ti o n   a l g o ri th m s,”   Ne u r o c o m p u ti n g ,   v o l .   2 6 6 ,   p p .   5 0 6 5 2 6 ,   2 0 1 7 .   [1 6 ]   M .   De   G re g o rio   M .   G io rd a n o ,   An   e x p e rime n tal  e v a lu a ti o n   o we ig h tl e ss   n e u ra l   n e two r k fo m u lt i - c las c las sifica ti o n ,   Ap p l.   S o f Co m p u t . ,   v o l.   7 2 ,   p p .   3 3 8 - 3 5 4 ,   2 0 1 8 .   [1 7 ]   C.   Z h a n g ,   C .   L iu ,   X.   Z h a n g ,   G .   Alm p a n i d is ,   A n   u p - to - d a te  c o m p a riso n   o f   sta te - of - th e - a rt  c las sifica ti o n   a lg o rit h m s ,   Exp e rt S y ste ms   wit h   Ap p li c a ti o n s ,   v o l .   82 ,   p p . 1 2 8 - 1 5 0 ,   2 0 1 7 .   [1 8 ]   N.  S .   Ja d d i,   S .   Ab d u ll a h ,   A   c o o p e ra ti v e - c o m p e ti ti v e   m a ste r - sla v e   g lo b a l - b e st  h a rm o n y   se a rc h   fo AN N   o p ti m iza ti o n   a n d   wa ter - q u a li ty   p r e d ictio n ,   Ap p li e d   S o ft   C o mp u ti n g ,   v o l.   51 ,   p p . 2 0 9 - 2 2 4 ,   2 0 1 7 .   [1 9 ]   J.  Va sh ish th a ,   P .   G o y a l,   J.   Ah u ja,  a n d   o t h e rs,  No v e F it n e s Co m p u tatio n   F ra m e wo rk   fo r   Na tu re   In sp ire d   Clas sifica ti o n   Alg o rit h m s,”   Pro c e d ia   C o mp u t.   S c i. ,   v o l.   1 3 2 ,   p p .   2 0 8 2 1 7 ,   2 0 1 8 .   [2 0 ]   D.  P .   F .   Cr u z ,   R .   D.  M a i a ,   L.   A.   d a   S il v a ,   L.   N .   d e   Ca stro ,   Be e RBF a   b e e - i n sp ired   d a ta  c l u ste rin g   a p p r o a c h   t o   d e sig n   RB F   n e u ra n e two r k   c las si fiers ,   Ne u ro c o mp u ti n g ,   v o l .   1 7 2 ,   p p .   4 2 7 - 4 3 7 ,   2 0 1 6 .   [2 1 ]   Z.   Xie ,   Y.  Xu ,   Q.  H u ,   Un c e rtai n   d a ta  c las sifica ti o n   wit h   a d d it iv e   k e rn e su p p o rt  v e c to m a c h in e ,   Da ta   Kn o wl .   En g .   v o l.   1 1 7 ,   p p .   8 7 - 9 7 ,   2 0 1 8 .   [2 2 ]   N.  S .   Ja d d i ,   S .   A b d u ll a h ,   M .   A b d u l   M a lek ,   M a ste r - Lea d e r - S lav e   Cu c k o o   S e a rc h   wi th   P a ra m e ter  Co n tr o f o r   a n n   Op ti m iza ti o n   a n d   I ts Rea l - Wo rl d   Ap p li c a ti o n   t o   Wate Qu a li ty   P re d ictio n , PL o S   ONE .   v o l. 1 2 ( 1 ) ,   2 0 1 7 .   [2 3 ]   A.  Ca li sk a n ,   M .   E .   Yu k se l,   H .   B a d e m ,   A.  Ba stu r k ,   P e rfo rm a n c e   imp ro v e m e n t   o f   d e e p   n e u ra l   n e t wo rk   c las sifiers   b y   a   sim p le  train i n g   stra teg y ,   E n g in e e rin g   Ap p li c a ti o n s o Arti fi c i a l   In telli g e n c e .   v o l.   6 7 ,   p p .   1 4 2 3 ,   2 0 1 8 .   [2 4 ]   M .   F .   M o h a m m e d ,   C.   P .   Li m ,   Im p ro v i n g   th e   F u z z y   M i n - M a x   n e u ra n e two rk   with   a   K - n e a re st  h y p e rb o x   e x p a n sio n   r u le fo r   p a tt e rn   c las sifica ti o n ,   A p p li e d   S o ft   C o mp u ti n g ,   v o l.   5 2 ,   p p .   1 3 5 - 1 4 5 ,   2 0 1 7 .   [2 5 ]   B.   Y.  Hie w,  S .   C.   Tan ,   W .   S .   Li m ,   d o u b le - e li m i n a ti o n - to u rn a m e n t - b a se d   c o m p e ti ti v e   c o - e v o l u ti o n a r y   a rti ficia l   n e u ra n e tw o rk   c las sifier ,   Ne u ro c o mp u ti n g ,   v o l.   2 4 9 ,   p p .   3 4 5 - 3 5 6 ,   2 0 1 7 .   [2 6 ]   K.  S u n ,   J.   Zh a n g ,   C.   Z h a n g ,   J.   Hu ,   G e n e ra li z e d   e x trem e   lea rn i n g   m a c h in e   a u to e n c o d e r   a n d   a   n e d e e p   n e u ra l   n e two rk ,   Ne u ro c o mp u ti n g ,   v o l.   230 ,   p p .   3 7 4 - 3 8 1 ,   2 0 1 7 .   [2 7 ]   Z.   G a o ,   C.   M a ,   D.  S o n g ,   Y.  Li u ,   De e p   q u a n tu m   in s p ired   n e u ra n e two rk   wit h   a p p li c a ti o n   to   a ircr a ft  fu e sy ste m   fa u lt   d ia g n o sis ,   Ne u ro c o m p u ti n g ,   v o l.   2 3 8 ,   p p .   13 - 2 3 ,   2 0 1 7 .   [2 8 ]   J.  Wan g ,   Q.   Ca i,   Q.   Ch a n g ,   J.   M .   Zu ra d a ,   Co n v e rg e n c e   a n a l y se o n   s p a rse   fe e d fo rwa rd   n e u ra n e t wo rk v ia  g r o u p   las so   re g u lariz a ti o n ,   In fo rm a t io n   S c ien c e s ,   v o l.   3 8 1 ,   p p .   2 5 0 - 2 6 9 ,   2 0 1 7 .   [2 9 ]   S .   S h in d e ,   U.   Ku l k a rn i ,   Ex ten d e d   fu z z y   h y p e rli n e - se g m e n n e u r a n e two r k   wit h   c las sifica ti o n   ru le  e x trac ti o n ,   Ne u ro c o mp u ti n g ,   v o l .   2 6 0 ,   p p .   7 9 9 1 ,   2 0 1 7 .     Evaluation Warning : The document was created with Spire.PDF for Python.