I nte rna t io na l J o urna l o f   E lect rica l a nd   Co m pu t er   E ng ineering   ( I J E CE )   Vo l.   11 ,   No .   6 Dec em b er   2 0 2 1 ,   p p .   5 2 7 7 ~ 5 2 8 5   I SS N:  2 0 8 8 - 8 7 0 8 DOI : 1 0 . 1 1 5 9 1 / ijece . v 1 1 i 6 . pp 5 2 7 7 - 5 2 8 5          5277       J o ur na l ho m ep a g e h ttp : //ij ec e. ia esco r e. co m   Using  t he  mo difie k - mea n   a lg o rith m with  an impro v ed  teaching - lea rning - ba sed  o ptimiza t i o a lg o rithm  for   f eedforwa rd   neura l net wo rk   tr a in ing       M o rt ez a   J o uy ba n 1 M a hd ie h   K ho ra s ha diza de 2   1 De p a rtme n o Co m p u ter  S c ien c e ,   Allam e h   Tab a tab a ’i  Un i v e rsity ,   Teh ra n ,   Ira n   2 De p a rtme n o Co m p u ter  S c ien c e ,   S istan   a n d   Ba lu c h e sta n   Un i v e rsity ,   Za h e d a n ,   Ira n       Art icle  I nfo     AB S T RAC T   A r ticle  his to r y:   R ec eiv ed   Au g   16 ,   2 0 20   R ev is ed   May   19 ,   2 0 21   Acc ep ted   Ju n   11 ,   2 0 2 1       In   t h is  p a p e we   p ro p o se d   a   n o v e p ro c e d u re   f o trai n in g   a   f e e d fo rwa rd   n e u ra n e two r k .   Th e   a c c u ra c y   o a rti ficia n e u ra n e two r k   o u t p u ts  a fter  d e term in in g   th e   p r o p e stru c t u re   fo e a c h   p ro b lem   d e p e n d o n   c h o o sin g   th e   a p p ro p riate   m e th o d   fo r   d e ter m in in g   t h e   b e st   we ig h ts,  w h i c h   is  t h e   a p p ro p riate   trai n in g   a lg o rit h m .   If   th e   train in g   a l g o rit h m   sta rts   fro m   a   g o o d   sta rti n g   p o in t ,   it   is  se v e ra ste p s   c lo se to   a c h iev in g   g l o b a o p ti m iza ti o n .   I n   th is  p a p e r,   we   p re se n a n   o p ti m iza ti o n   stra teg y   fo r   se lec ti n g   th e   i n it ial   p o p u lati o n   a n d   d e term in i n g   t h e   o p ti m a we ig h ts  wit h   th e   a im  o m in imiz in g   n e u ra n e two r k   e rro r.   Tea c h in g - lea rn in g - b a se d   o p ti m iza ti o n   (TL B O)   is  a   les s   p a ra m e tri c   a lg o rit h m   ra th e t h a n   o th e e v o lu t io n a ry   a lg o rit h m s,  so   it   is  e a sie r   to   imp lem e n t.   We  h a v e   imp r o v e d   th is  a l g o r i th m   t o   in c re a se   e fficie n c y   a n d   b a lan c e   b e twe e n   g lo b a a n d   lo c a se a rc h .   Th e   imp ro v e d   tea c h i n g - lea rn in g - b a se d   o p ti m iza ti o n   (IT LBO)   a lg o rit h m   h a a d d e d   th e   c o n c e p o f   n e ig h b o r h o o d   t o   t h e   b a sic   a l g o ri th m ,   wh ich   im p ro v e th e   a b il it y   o f   g l o b a l   se a rc h .   Us in g   a n   i n it ial  p o p u latio n   th a in c lu d e th e   b e st  c lu ste c e n ters   a fter  c lu ste rin g   wit h   t h e   m o d ifi e d   k - m e a n   a lg o rit h m   a ls o   h e lp s   th e   a lg o rit h m   to   a c h iev e   g lo b a o p ti m u m .   T h e   re su lt a re   p ro m isin g ,   c lo se   to   o p ti m a l,   a n d   b e tt e th a n   o t h e a p p ro a c h   wh ich   we   c o m p a re d   o u p ro p o se d   a lg o rit h m   with   th e m .   K ey w o r d s :   K - m ea n   clu s ter in g     Neu r al  n etwo r k   T ea ch in g - lear n in g   al g o r ith m   T h is i a n   o p e n   a c c e ss   a rticle   u n d e r th e   CC B Y - SA   li c e n se .     C o r r e s p o nd ing   A uth o r :   Mo r teza   J o u y b a n   Dep ar tm en t o f   C o m p u ter   Scie n ce   Allam eh   T ab atab a’ i U n iv e r s ity     T eh r an ,   I r an   E m ail:  m . jo u y b a n @ g m ail. co m       1.   I NT RO D UCT I O N     Ar tific ial  n eu r al  n etwo r k s   ( ANN)   ar n ew  co m p u tatio n al  m eth o d s   an d   s y s tem s   f o r   m ac h in lear n in g ,   k n o wled g d em o n s tr atio n ,   an d   u ltima tely   th ap p licatio n   o f   k n o wled g to   o v er s ee   th o u tp u o f   co m p lex   s y s tem s .   T h m ain   id ea   o f   n etwo r k s   is   in s p ir ed   b y   th way   th b io lo g ical  n eu r al   s y s tem   to   p r o ce s s   d ata  an d   in f o r m atio n   in   o r d er   to   lear n   an d   cr ea te  k n o wled g e.   T h m ain   p h ilo s o p h y   o f   th ar tific ial  n eu r al  n etwo r k   is   to   m o d el  th p r o ce s s in g   ch ar ac ter is tics   o f   th h u m an   b r ain   to   ap p r o x im ate  th u s u al  co m p u tatio n al  m eth o d s   with   th b io lo g ical  p r o ce s s in g   m eth o d .   I n   o th er   wo r d s ,   th ar tific ial  n eu r al  n etwo r k   is   m eth o d   th at  lear n s   th co m m u n icatio n   k n o wled g b etwe en   s ev er al  s ets  o f   d ata  th r o u g h   tr ain in g   an d   s av es  it  f o r   u s in   s im ilar   ca s es.  T h is   p r o ce s s o r   wo r k s   in   two   way s   s im ilar   to   th h u m an   b r ain L ea r n in g   th n eu r al  n etwo r k   is   d o n th r o u g h   tr ain in g ,   an d   weig h tin g   in   th n eu r al  n etwo r k   is   s im ilar   to   th in f o r m atio n   s to r ag s y s tem   o f   th h u m an   b r ain .   W ith   th h elp   o f   co m p u ter   p r o g r am m in g   k n o wled g e,   it is   p o s s ib le  to   d esig n   d ata  s tr u ctu r th at  Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 8 - 8 7 0 8   I n t J E lec  &   C o m p   E n g ,   Vo l.   11 ,   No .   6 Dec em b e r   2 0 2 1     5 2 7 7   -   5 2 8 5   5278   ac ts   lik n eu r o n .   T h en   th n etwo r k   tr ain   b y   cr ea tin g   n etwo r k   o f   th ese  co n n ec ted   ar tific ial  n eu r o n s ,   cr ea tin g   a   tr ain in g   alg o r ith m   f o r   th n etwo r k ,   an d   ap p ly in g   th is   alg o r ith m   to   th n etwo r k .   T r ain in g   th n eu r al  n etwo r k   m ea n s   d eter m in in g   th ap p r o p r iate  weig h ts   f o r   th n eu r al  n etwo r k .   Fo r   th is   p u r p o s e,   s tr o n g   an d   f ast  o p tim izatio n   m eth o d   s h o u ld   b u s ed .   I n itially ,   r esear ch er s   wh o   wer r eq u ir ed   to   tr ain   n eu r al  n etwo r k s   to   s o lv th eir   p r o b lem s ,   g en er ally   u s ed   f r o m   class ical  n eu r al  n etwo r k   tr ain in g   alg o r ith m s   s u ch   as  g r ad ien t - b ased   o p tim izat io n   lik e   er r o r   b ac k - p r o p ag atio n   alg o r ith m   [ 1 ] .   B u th ese  alg o r ith m s ,   alo n g   with   th eir   h ig h   s p ee d ,   h av e   m ajo r   d is ad v an tag es,  s u ch   as  th p r o b lem   o f   tr ap p in g   in to   th lo ca m in im u m   [ 2 ] .   An o th er   wea k n ess   o f   th es e   alg o r ith m s   is   th at  th ey   m u s t   b ap p lied   to   s p ec if ic  an d   s tan d ar d   ca teg o r y   o f   n eu r al  n etwo r k s   s u ch   as  m u ltil ay er   p er ce p tr o n   [ 3 ] .   Alth o u g h   ev o lu tio n ar y   alg o r ith m s   ar s lig h tly   s lo wer   th an   g r ad ien t - b ased   alg o r ith m s ,   th ey   h av th ab ilit y   to   escap f r o m   lo ca m in im u m   tr ap s ,   an d   ev o lu tio n ar y   alg o r ith m s   a r n o d ep en d en o n   s p ec if ic  n etwo r k   s tr u ctu r an d   ca n   b d ef in ed   b y   an y   n etwo r k   s tr u ctu r e.   T h er ef o r e,   m an y   r esear ch er s   h av u s ed   ev o lu tio n ar y   alg o r ith m s   to   tr ain   n eu r al  n etwo r k s   [ 4 ] - [ 6 ] .   T h er ef o r e,   th u s o f   ev o lu tio n ar y   alg o r ith m s   in   th n eu r al  n etwo r k   h as  th ad v an tag o f   escap in g   f r o m   lo ca m in im u m   tr ap s   an d   also   n o t b ein g   d ep en d en t o n   ce r tain   n etwo r k   s tr u ctu r e.   C lu s ter in g   is   o n o f   th m o s t p o p u lar   way s   to   d is co v er   d ata   k n o wled g e .   T h d is co v er y   o f   k n o wled g is   b r o ad ly   d iv id ed   in to   two   ca teg o r ies:   s u p er v is ed   an d   u n s u p er v is ed .   s u p er v is ed   k n o wled g d is co v er y   p r o ce s s   ty p ically   r eq u ir es  class   lab els  th at  ar s o m e tim es  n o av ailab le  in   th d ataset .   T h is   m ac h in m o d el  lear n s   u s in g   lab e led   d ata  an d   h av in g   th r ig h an s wer s .   Un s u p er v is ed   m ac h in lear n in g   is   th p r o ce s s   th at  m ac h in lear n s   with o u u s in g   lab eled   d ata  an d   an y   teac h er s .   Kn o wn   d is co v er y   k n o wled g e   tech n iq u es  s u ch   as  clu s ter in g   ca n   h an d le  u n lab eled   d ataset s .   T h K - m ea n s   alg o r i th m   f o r   clu s ter in g   is   o n o f   th m o s p o p u lar   an d   wid ely   u s ed   alg o r ith m s   [ 7 ] .   I n   th is   p ap er ,   af ter   ex ten s iv r esear ch ,   we  h av co n clu d ed   th at  th s elec tio n   o f   th in itial   p o p u latio n   f o r   ar tific ial  n eu r al  n etwo r k   tr ain in g   alg o r i th m s   is   v er y   im p o r tan t .   So   in s tead   o f   r an d o m ly   s elec tio n   an   in itial  p o p u latio n   in   s m all  s ea r ch   s p ac e,   we  d ec id ed   to   u s r esu lt  o f   clu s ter in g   in   lar g er   s ea r ch   s p ac e.   Sear ch in g   in   lar g er   s p ac in cr ea s es  th ch an ce s   o f   f in d in g   g lo b al  o p tim al  o r   ex tr em ely   clo s to   o p tim al  an s wer s .   Usi n g   th m o d if ied   k - m ea n   alg o r ith m ,   we  d iv id e   o u r   lar g in itial  p o p u latio n   in to   lim ited   n u m b er   o f   clu s ter s ,   an d   th en   co n s id er   th b est  clu s ter   ce n ter s   as  th in itial  p o p u latio n   o f   o u r   tr ain in g   alg o r ith m .   W th en   u s an   im p r o v ed   teac h in g - lear n in g   b ased   o p tim izatio n   alg o r ith m   ( I T L B O)   as  th e   tr ain in g   alg o r ith m .   T h is   alg o r ith m   s o lv es  th p r o b lem   o f   tr ap p in g   in   th lo ca o p tim al  an d   b y   cr ea tin g   p r o p er   b alan ce   b etwe en   ex p lo r atio n   an d   ex p lo itatio n ,   it h as b ee n   ab le  to   g et  clo s er   to   th g lo b al  o p tim al .   T h r e s o f   th is   ar ticle  is   b ein g   as I n   th is   ar ticle,   we  will  f ir s g iv b r ief   d escr ip tio n   o f   th clu s ter in g   alg o r ith m   u s ed   in   s ec tio n   2 ,   an d   th en   we  p r esen th e   I T L B alg o r ith m s ,   an d   th en   we  d escr ib e   o u r   p r o p o s ed   m eth o d .   T h en ,   in   s ec tio n   3 ,   we  f ir s p r o v id b r ief   d escr ip tio n   o f   c ase  s tu d y   d ata s et s ,   an d   th en   we  s h o th r esu lts   o f   ex p er im en ts   u s in g   th p r o p o s ed   ap p r o ac h   ap p lied   to   th n eu r al  n etwo r k   p r o b lem .   T h co n clu s io n   o f   th is   wo r k   is   p r esen ted   in   th last   s ec tio n .       2.   M AT E RIAL AND  M E T H O DS   2 . 1 .     K - m ea c lus t er ing   No wad ay s ,   clu s ter in g   is   o n o f   th m o s wid ely   u s ed   is s u es  in   th f ield   o f   ar tific ial  in tellig en ce .   T h is s u o f   clu s ter in g   h as   p ar ticu lar   im p o r tan ce   d u to   th g r o win g   v o lu m o f   web - b ased   tex ts ,   tex tu al  s tatu es,  ar ticles ,   an d   ca n   also   b e   ef f ec tiv in   im p r o v in g   th r esu lts   o b tain ed   f r o m   s ea r ch   en g in es  an d   in f o r m atio n   class if icatio n .   Pro p er   clu s ter in g   m ak es  it  ea s ier   to   s ea r ch   an d   ac ce s s   in f o r m atio n   m o r ef f icien tly .   I n   g en er al,   clu s ter in g   alg o r ith m s   ca n   b d iv id ed   in to   two   g en er al  ca teg o r i es:  O v er lap p in g   clu s ter in g   m eth o d   an d   ex clu s iv clu s ter in g   m eth o d .   I n   th o v er lap p in g   clu s ter in g   m eth o d ,   d ata  ca n   b elo n g   to   s ev er al  clu s ter s   with   d if f er en r atio s ,   an   ex am p le  o f   wh ich   is   f u zz y   clu s ter in g .   I n   th ex clu s iv clu s ter in g   m eth o d ,   af ter   clu s ter in g ,   ea ch   d ata  i s   ass ig n ed   ex ac tly   o n clu s ter ,   k - m ea n   alg o r ith m   b elo n g s   to   th is   ca teg o r y .   T h k - m ea n   clu s ter in g   is   th p r o ce s s   o f   class if y in g   s et  o f   o b jects in to   clu s ter s ,   in   wh ich   th in ter n al  m em b er s   o f   ea ch   clu s ter   ar m o s s im ilar   to   ea ch   o th er   an d   h av th least  s im ilar   to   m em b er s   o f   o th er   clu s ter s .   C lu s ter in g   is   th p r o ce s s   o f   s ep ar atin g   d ata  o r   o b jects  in to   s u b class es  ca lled   clu s ter s .   E ac h   clu s ter   co n tain s   d ata  th at  s ee m s   to   b m o r s im ilar   to   ea ch   o th er ,   an d   d ata  th at  ap p ea r s   to   b less   s i m ilar   to   ea ch   o th er   is   p lace d   in   d if f er en t c lu s ter s .     T h k - m ea n   alg o r ith m   is   o n o f   th m o s t w id ely   u s ed   clu s ter in g   alg o r ith m s .   T h is   alg o r ith m   was  f ir s in tr o d u ce d   b y   Mc Qu ee n   in   1 9 6 7   [ 8 ]   th at  is   d esig n ed   f o r   clu s ter in g   n u m er ical  d ata.   I n   th k - m ea n   alg o r i th m ,   f ir s th e   k   m em b er   is   r an d o m ly   s elec ted   f r o m   th n   m em b er s   as  th clu s ter   ce n ter s   ( k <n ) .   T h r em ain in g   n - m em b er s   ar th en   ass ig n ed   to   th n ea r est  clu s ter   ce n ter   b ased   o n   E u clid ea n   d is tan ce .   Af ter   allo ca tin g   all  m em b er s ,   th clu s ter   ce n ter s   ar r ec al cu lated   b y   th av er ag v alu o f   th clu s ter s   m em b er s ,   an d   th is   co n tin u es  u n til th clu s ter   ce n ter s   r em ain   s tab le.   Su p p o s th at  =   { 1 , 2 , , }   is   s et  of   n   d ata  an d   1 , 2 , , k   ar s ep ar ate  clu s ter s   o n   D,   in   wh ich   ca s th er r o r   f u n ctio n   is   d ef in ed   is   b ein g   as :     Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J E lec  &   C o m p   E n g     I SS N:  2 0 8 8 - 8 7 0 8       Usi n g   th mo d ified   k - mea n   a l g o r ith w ith   a n   imp r o ve d   tea ch in g   lea r n in g   b a s ed   …  ( Mo r teza   Jo u yb a n )   5279   = ( , ( ) ) = 1   ( 1 )     w h er e   μ   ( )   is   th ce n ter   o f   th   clu s ter   an d   d   ( x ,   μ   ( ) )   is   th d is tan ce   b etwe en   x   an d   μ   ( ) .   E u clid ea n   d is tan ce s   ar co m m o n ly   u s ed   to   ca lcu late  d is tan ce   in   th is   f o r m u la.   B u in   th is   p ap er ,   we  u s Ma n h attan   d is tan ce   to   id en tify   m em b er s   b elo n g in g   to   clu s ter s ,   an d   we  m o d if y   th k - m ea n   alg o r ith m   in   th is   way .   T h is   m o d if ied   alg o r ith m   m ain tain s   b o th   n u m er ical  an d   ca teg o r ical  f ea tu r es  o f   th s am p les.  T h d is tan ce   in   o u r   m eth o d   is   ca lcu lated   is   b ein g   as   in   ( 2 ) .     ( , ( ) ) =   | , ( ) , | + ( , ( ) , ) = + 1 = 1 | |   ( 2 )     T h Ma n h attan ' s   d is tan ce   is   b ased   o n   t h s u m   a b s o lu te  v alu es  er r o r s   an d   is   less   s en s i tiv th an   th e   s u m   s q u ar es e r r o r s .       2. 2   I m pro v ing   t ea ching - lea rning   o ptim iza t io n a lg o rit hm   ( I T L B O )   T h teac h in g - lear n in g   o p tim izatio n   ( T L B O)   alg o r ith m   was  in tr o d u ce d   b y   R ao .   I n   2 0 1 1   [ 9 ]   th is   alg o r ith m   is   p o p u lar   an d   p o wer f u o p tim izatio n   alg o r ith m   th at  is   u s ed   in   m an y   en g in ee r in g   an d   r ea l - wo r ld   p r o b lem s .   T h alg o r ith m   is   in s p ir ed   b y   th p r o ce s s   o f   teac h in g   an d   lear n in g   in   ty p ical  class r o o m .     Alth o u g h   T L B o f f er s   h ig h - q u ality   s o lu tio n s   in   th s h o r test   p o s s ib le  tim an d   h as  co n s is ten co n v er g en ce   [ 9 ] ,   in   th lear n in g   p h ase  o f   th is   alg o r ith m ,   ea ch   lear n er   r an d o m ly   s elec ts   an o th er   lear n er   f r o m   th p o p u latio n .   T h is   p r o b lem   lead s   to   an   im b alan ce   b etwe en   th two   co n ce p ts   o f   d iv er s ity   an d   co n v er g en ce .   I T L B s o lv es  th is   p r o b lem   b y   im p r o v in g   th b asic  T L B O.   I n   th is   alg o r ith m ,   th teac h in g   p h ase  is   th s am as  th b asic  T L B alg o r ith m ,   an d   th lear n in g   p h ase  is   d escr ib ed   is   b ein g   as .   At  th is   s tag e,   all  lear n er s   ar r an d o m ly   p lace d   in   r ec tan g u lar   s tr u ctu r e.   E v er y   lear n er   h av e   to   lear n   f r o m   th eir   n eig h b o r s .   Her e,   in   o r d er   to   in cr ea s th d iv er s ity   in   th alg o r ith m ,   af ter   ce r tain   n u m b er   o f   iter atio n s ,   th m em b er s   ar r an d o m ly   r ea r r an g ed   in   r ec tan g u lar   s tr u ctu r e.   IT L B h as  b ee n   d ev elo p ed   to   im p r o v th T L B alg o r ith m .   I n   T L B O,   f o r   ex am p le,   r an d o m   ch o ices m ak lo lo ca l sear ch   ab ilit ies,  b u t in   I T L B O,   alo n g   with   ad d in g   th co n ce p t o f   n eig h b o r h o o d ,   we  tr y   to   r ed u ce   r an d o m   ch o ices a n d   u s th ca p ab ilit ies o f   n eig h b o r s .   T h is   in cr ea s es th lo ca an d   g lo b al   s ea r ch   ab ilit y .   T h m ain   s ec tio n s   o f   I T L B ar e:     2 . 2 . 1 .   I T L B O   lea rning   ph a s e   I n   th is   p h ase,   ea ch   lear n er   is   k n o wn   with   an   in teg er   an d   p lace d   in   r ec tan g u lar   ar r ay .   Neig h b o r s   o f   ea ch   lear n er   ar clea r ly   id en t if ied   in   Fig u r 1 .   At  th is   s tep ,   lear n er s   m ay   lear n   f r o m   n eig h b o r s   o r   th b est  p er s o n   in   th class .   T h is   p r o ce s s   is   b ased   o n   lo ca s ea r ch   ca p ab ilit y ,   in   ad d itio n ,   b alan ce   is   estab lis h ed   b etwe en   lo ca l a n d   g lo b al  s ea r ch .   I n   lo ca l sear ch ,   ea ch   lear n er   u p d ates  th eir   p o s itio n   with   th p r o b ab ilit y   o f   a   Pc  b y   th b est lea r n er   in   th eir   n eig h b o r h o o d   o r   b y   th teac h er ,   th e   g lo b al   b est in   th p o p u latio n .           Fig u r 1 .   class   o f   lear n er s   a r r an g e d   in   r ec ta n g le       ,    =   ,  + 2 . ( ,  ,  ) + 3 . (  ,  )   (3 )     W h er e   ,    is   th teac h er   in   th n eig h b o r h o o d   o f   an d      is   th teac h er   o f   th wh o le  class ,   an d   2 ,   3   a re   r an d o m   n u m b er s   in   th r an g o f   ( 0 ,   1 ) .   I f   th n ew  p o s itio n   o f   each   m em b er   is   im p r o v ed ,   th n ew  p o s itio n   will  b ac ce p ted .   I n   th g lo b al  s ea r ch ,   if   th p r o b ab ilit y   o f   Pc  is   n o m et,   ea ch   lear n er   s elec ts   r an d o m   lear n er   lik e     f r o m   th wh o le  class   to   p r o v id lear n in g ,   if     is   b etter   th an   ,   o r   else,  lear n in g   estab lis h   b ased   o n   T L B alg o r ith m   lear n in g   p h ase  b y   ( 4 ) ,   ( 5 ) .       Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 8 - 8 7 0 8   I n t J E lec  &   C o m p   E n g ,   Vo l.   11 ,   No .   6 Dec em b e r   2 0 2 1     5 2 7 7   -   5 2 8 5   5280    =   + . (   )      ( ) > ( )   (4 )        =   + . (   )      ( ) < ( )   (5 )     T h er ef o r e,   u s in g   th is   o p er atio n ,   b o th   lo ca an d   g lo b al  s ea r ch   ca p ab ilit ies  ar o b tain ed .   I n   th is   alg o r ith m ,   we  im p r o v e   ex p lo itatio n   ca p ab ilit y   b y   th is   co n ce p t   th at  f o r   ea ch   p er s o n   in   th p o p u latio n   th er ar n u m b er   o f   n eig h b o r s   wh o   lear n   f r o m   th b est  o f   th em .   T o   m ain tain   d iv er s ity   af ter   n u m b er   o f   iter at io n s ,   eac h   p er s o n ' s   n eig h b o r in g   m em b er s   ch an g e.   T h is   m ak es  b alan ce   b etwe en   ex p lo r atio n   an d   ex p lo itatio n   ca p ab ilit ies.      2 . 3 .     I nv estig a t e   t he  ra ng o f   v a ria ble c ha ng es   I n   ev o lu tio n ar y   alg o r ith m s ,   wh en   n ew  p o s itio n   is   o b tain ed   f o r   ea ch   in d iv id u al,   it  m ay   lead   to   th p r o d u ctio n   o f   v ar iab les  th at  ar o u ts id th d ef in ed   r an g e.   I n   th is   ca s e,   m o s r esear ch er s   u s f r o m   co n v er g en ce   ap p r o ac h   b ased   o n   alg o r ith m   1 ,   b u th is   m eth o d   is   an   o ld   an d   o b s o lete  m eth o d   th at  ca u s es  th alg o r ith m   to   tr ap p in g   in   th lo ca m in im u m .   T o   o v er co m th ese  p r o b lem s ,   we  h av p r o p o s ed   n ew  m eth o d   in   a lg o r ith m   2   to   d eter m in th r an g o f   v ar iab le  ch an g es as  s h o wn   in   Fig u r 2 .   T h is   alg o r ith m   p r ev en ts   th alg o r ith m   f r o m   tr ap p in g   in   th lo ca o p tim a an d   also   p r ev en f r o m   m ak in g   th b est  an s wer s   in   h ig h   n u m b er   of   iter atio n       Alg o r ith m   1 .   B asic  bound   c o n s tr ain ts   h an d lin g   1.   For j= 1 dim   2.     If  ( ) >    ( )   3.     ( ) =    ( )   4.     Else if   ( ) <     ( )   5.     ( ) =     ( )   6.     End if   7.   End for     ( a)       Alg o r ith m   2 .   Mo d if ied   b o u n d   co n s tr ain ts   h an d lin g   1.   For j= 1 dim   2.     If  ( ) <     ( )   3.     ( ) = (2*       ( ) ) ( )   4.     Else if  ( ) >    ( )   5.       ( ) = (2*      ( ) ) ( )     6.     End if   7.   End for     ( b )     Fig u r 2 .   T h r an g o f   v ar iab l ch an g es ;   ( a)   a l g o r ith m   1 :   b a s ic  b o u n d   c o n s tr ain ts   h an d li n g   ( b )   alg o r ith m   2 m o d if ie d   b o u n d   co n s tr ain ts   h a n d lin g       3.   T H E   P RO P O SE M E T H O D   T h b asic T L B O   alg o r ith m ,   lik o th er   ev o lu tio n ar y   alg o r ith m s ,   s u f f er s   f r o m   lo co n v er g en ce   s p ee d .   I n   o r d er   to   im p r o v th p er f o r m an ce   o f   th alg o r ith m   we  m o d if ied   th lear n in g   p h ase  o f   T L B O   alg o r ith m   an d   th en   we  p r esen ted   I T L B alg o r ith m   with   b alan ce   b etwe en   lo ca an d   g lo b al  s ea r ch .   An d   also ,   we  u s ed   f r o m   d ata m in in g   tech n iq u ca lled   M k - m ea n   to   m ak m o r ef f icien u s o f   th h id d en   in f o r m atio n   in   th s ea r ch   s p ac to   cr ea te  m o r s u itab le  in itial  p o p u latio n .   C lu s ter in g   m e an s   p lacin g   d ata  in   ea ch   clu s ter   th at  h as  th least  d is tan ce   an d   th m o s t similar ity .   T h im p o r tan ce   o f   in itial  p o p u latio n s   in   ev o lu tio n ar y   alg o r ith m s   h as  lo n g   b ee n   d eb ated .   T h in itial  p o p u latio n   is   th s tar tin g   p o in o f   an y   alg o r ith m ,   an d   alg o r ith m s   th at  s tar at  p r o p er   s tar tin g   p o in m ay   h av b etter   r esu lts   th an   o th er s .   I n   th is   ar ticle ,   we  h av tr ied   to   s tar o f   s tr o n g er   in itial  p o p u latio n   b y   b etter   an aly zin g   th s ea r ch   s p ac e.   T h r o u tin is   to   u s f r o m   clu s ter   ce n ter s   o f   a   lar g p o p u latio n   as  in itial  p o p u latio n   in s tead   o f   r an d o m ly   s elec t   th lim ited   in itial p o p u latio n .   W co n s id er   th b est clu s ter in g   ce n ter s   a th in itial  p o p u latio n   o f   o u r   alg o r ith m .   T h p s e udo co d o f   th p r o p o s ed   alg o r ith m   f o r   m o r d etails  is   s h o wn   in   Fig u r 3 .   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J E lec  &   C o m p   E n g     I SS N:  2 0 8 8 - 8 7 0 8       Usi n g   th mo d ified   k - mea n   a l g o r ith w ith   a n   imp r o ve d   tea ch in g   lea r n in g   b a s ed   …  ( Mo r teza   Jo u yb a n )   5281   Alg o r ith m   3 .   Pro p o s ed   alg o r it h m   Clustering section:   Input: Dataset D, Number of Clusters k, Dimensions d:   {   is the  ith   cluster}   {% Initialization Phase for Clustering algorithm}   1: ( 1 , 2 , , ) =Initial partition of D.   {% Iteration Phase for Clustering algorithm}   2: While (Iter < Max_Iter)   3:   =distance between case i and cluster j;   4:  min (  ) ;   5: Assign case i to cluster  ;   6: Re - compute the cluster means of any changed clusters above;   7: End While   Training section:   8: Training algorithm population = Clustering Output results.   {% Initialization Phase for Training  algorithm}   9: Objective function  ( )   = ( 1 , 2 , , )   d = number of design variables   {% Iteration Phase for Training algorithm}   10:  While ( Iter < Max_Iter )   {%Teacher Phase}   11:   Calculate the mean of each design variable       12:   Identify the best solution (     13: For i  =   1   pop size    14: Calculate teaching factor     using   =      [ 1 +  ( 0 , 1 ) ]     15: Modify solution based on best solution (teacher) using   = + . (    .  )   16: Calculate objective function for new mapped student  (    )   17: If     is better than    18:          19: End If %End of Teac her Phase   {% Learner Phase}   20: finding neighbors for each learner   21: If rand<P_c   22: Update the solution using Eq. ( 3 );    23: Else   24: Randomly select another learner , such that        25: If  is better than      26: Update the solution  using Eq. ( 5 );    27: Else   28: Update the solution using Eq. ( 4 );    29: End If   30: If     is better than    31:            32:   End If    33: End If   29: End For   30: End While     Fig u r 3 .   Su g g ested   m eth o d       4.   E XP E RIM E NT S   4 . 1 .     Def ini ng   cla s s if ica t io n pro blem s   a nd   predict ing   t im s er ies   In   th is   s ec tio n ,   we  ev alu ate  th ef f ec tiv en ess   o f   th p r o p o s ed   m eth o d   u s in g   ten   cl ass if icatio n   p r o b lem s   a n d   two   tim e   s er ies  p r ed ictio n   p r o b lem s ,   a n d   to   p r o v th e   ef f ec tiv en ess   o f   th e   p r o p o s ed   al g o r ith m ,   it s   r esu lts   ar co m p ar ed   with   o th er   alg o r ith m s   s u ch   as  b asic  T L B an d   I T L B O.   I n   a d d itio n ,   th r esu lts   o f   th e   im p r o v e d   tr ain i n g   al g o r ith m   h av b e en   c o m p ar e d   with   th b asic  n eu r al  n etwo r k   tr ai n in g   alg o r ith m s   f r o m   o th er   ar ticles,  an d   th en   in   an o th er   s tep ,   th p er f o r m an ce   o f   th p r o p o s ed   m eth o d   h as  b ee n   co m p ar ed   with   o th er   m eth o d s   av ailab le   in   th r esear ch   liter atu r e ,   t h e   f o llo win g   e x p er im e n ts   ca n   b s ee n   in   d etail .   C las s if icatio n   p r o b lem s   i n clu d I r is ,   d iab etes  d iag n o s is ,   t h y r o id   d is ea s e ,   b r ea s ca n ce r ,   cr ed it  ca r d ,   g lass ,   h ea r t,  win e,   p ag b lo c k s ,   an d   liv er   d is o r d er s .   T im s er ies  p r ed ictio n   p r o b lem s   in clu d Ma ck ey - Glass   [1 0 ]   an d   g as  f u r n ac es  [ 1 1 ] .   T h n u m b e r   o f   f ea tu r es  in   th class if icatio n   p r o b lem ,   th n u m b e r   o f   cl ass es   an d   th to tal   n umbe r   o f   s am p les  lis ted   in   T ab le  1 .   C las s if icatio n   p r o b lem s   ar tak en   f r o m   th UC I   m ac h in lear n in g   r ep o s it or y   [1 2 ] .   T h e   Ma c k ey - Glass   i s   d ataset  th at  o b tain ed   f r o m   th ( 6 ) ,   wh ich   is   td =1 7 .      ( )  =    ( ) +  ( ) 1 + 10 ( )     ( 6 )     Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 8 - 8 7 0 8   I n t J E lec  &   C o m p   E n g ,   Vo l.   11 ,   No .   6 Dec em b e r   2 0 2 1     5 2 7 7   -   5 2 8 5   5282   Fo r   th Ma ck ey - Glass   d ata s et,   we  co n s id er ed   th x   ( t+ 6 )   o u t p u with   th in p u v ar iab les  x ( t ) ,   x ( t - 6 ) ,   x ( t - 1 2 )   an d   x ( t - 1 8 ) .   Fo r   g as  f u r n ac d ata s et ,   th in p u v ar iab les  ar u ( t - 3 ) ,   u ( t - 2 ) ,   u ( - 1 ) ,   y ( t - 3 ) ,   y ( t - 2 ) ,   y ( t - 1 )   an d   th o u tp u v ar iab le  is   y ( t) ,   as  r ep o r te d   in   p r ev io u s   wo r k s   [ 1 3 ].   W im p lem en t ed   th is   alg o r ith m   b y   MA T L AB .   W u s ed   3 0   r u n s   t o   ev alu ate  th p er f o r m a n ce   o f   th is   m o d el.   T h d ata s ets   wer r an d o m l y   d iv id e d   in to   two   s ets:   T h tr ain in g   s et  an d   th e   test   s et  f o r   ea ch   r u n .   7 0 o f   th e   to tal  d ata  was  u s ed   f o r   th e   tr ain in g   s et  an d   th e   r est  o f   th d ata  was  u s ed   as  test   s et  to   ex a m in t h m o d el.   Data s et s   ar n o r m ali ze d   to   th e   in ter v al     [ - 1 ] [ 1 ]   u s in g   th m i n - m ax   n o r m aliza tio n   m eth o d .       T ab le  1 .   E x p lain   th d ata s et u s ed   f o r   th p r o p o s ed   m eth o d   D a t a s e t   I n st a n c e s   F e a t u r e s   C l a s ses   1 .   I r i s   2 .   D i a b e t e s   3 .   Th y r o i d   4 .   C a n c e r   5 .   C a r d   6 .   G l a ss   7 .   H e a r t   8 .   W i n e   9 .   P a g e - b l o c k s   1 0 .   L i v e r   1 1 .   M a c k e y - G l a ss   1 2 .   G a s   F u r n a c e   1 5 0   7 6 8   7 2 0 0   6 9 9   6 9 0   2 1 4   2 7 0   1 7 8   5 4 7 3   3 4 5   1 0 0 0   2 9 6   4   8   21   10   15   10   13   13   10   6   1   2   3   2   3   2   2   6   2   3   5   2   0   0       4 . 2 .     T he  re s ults o f   t he  co m pa riso n o f   t he  pro po s ed  m et ho ds   T h p er f o r m an ce   o f   th alg o r ith m ev alu ated   an d   co m p ar ed   b ased   o n   two   cr iter ia t r ain in g ,   an d   test in g   er r o r s   th at  on  th class if icatio n   p r o b lem s   it  m ea n s   class if icatio n   er r o r   p er ce n tag e.   T h er r o r   f u n ctio n   f o r   Ma ck ey - Glass   d ata s et   is   r o o m ea n   s q u ar ed   er r o r   ( R MSE )   an d   f o r   g as  f u r n ac e   d ataset   is   MSE .   T h av er ag r esu lts   af ter   3 0   r u n s   f o r   th a lg o r ith m s   ar e   s h o wn   in   T ab le  2 T h r esu lts   s h o th s u p er io r ity   o f   th p r o p o s ed   m eth o d .   I ca n   b s ee n   th at  th MK - I T L B alg o r ith m   p er f o r m s   b etter   th an   o th er   m eth o d s .   W u s ed   th av er ag r an k in g   test   to   f in d   th b est  alg o r ith m .   T h ese  r esu lts   ar f o u n d   u s in g   th R ANK  f u n ctio n   in   Mic r o s o f t   E x ce l,  an d   th av er ag r an k in g s   ar s h o wn   in   T ab le  3 .   T h r esu lts   s h o th at  MK - I T L B r an k s   f ir s t in   all  ca s es  f o r   tr ain in g   er r o r s   an d   test in g   er r o r s .       T ab le  2 .   Av e r ag r a n k in g   f o r   th p r o p o s ed   alg o r ith m s   Tr a i n i n g   e r r o r   TLB O   I TLB O   MK - I TLB O   A l g o r i t h m   2 . 7 5 0 0   2 . 1 6 6 7     1 . 0 8 3 3     R a n k   Te st i n g   e r r o r   TLB O   I TLB O   MK - I TLB O   A l g o r i t h m   2 . 9 1 6 7   2 . 0 0 0 0     1 . 0 8 3 3     R a n k       T ab le  3 .   P - v al u e   r esu lts   f o r   p a ir wis co m p ar in g   of   MK - I T L B v er s u s   o th er   alg o r ith m s   b y   W ilco x o n   test   TLB O   I TLB O   C r i t e r i a     D a t a set     1.   I r i     Tr a i n i n g   e r r o r   Te st i n g   e r r o r   2 . 0 0 5 6 e - 0 3     3 . 7 4 4 6 e - 0 4     5 . 2 4 5 3 e - 05   2 . 9 9 4 0 e - 05   2.   D i a b e t e     Tr a i n i n g   e r r o r   Te st i n g   e r r o r   2 . 9 7 0 7 e - 0 5     1 . 5 8 8 4 e - 0 4     2 . 5 4 4 4 e - 08   1 . 0 4 0 5 e - 09   3.   Th y r o i d       Tr a i n i n g   e r r o r   Te st i n g   e r r o r   2 . 9 0 2 7 e - 1 1     3 . 6 2 0 5 e - 11   9 . 5 9 8 2 e - 10   2 . 9 0 8 2 e - 11   4.   C a n c e r       Tr a i n i n g   e r r o r   Te st i n g   e r r o r   5 . 5 5 6 9 e - 0 4     3 . 0 0 5 0 e - 0 7     3 . 0 6 7 1 e - 09   2 . 6 7 0 6 e - 11   5.   C a r d       Tr a i n i n g   e r r o r   Te st i n g   e r r o r   1 . 3 0 5 4 e - 0 5     1 . 8 5 0 8 e - 1 0     7 . 8 2 6 3 e - 08   6 . 5 2 7 7 e - 10   6.   G l a ss       Tr a i n i n g   e r r o r   Te st i n g   e r r o r   2 . 1 9 5 7 e - 0 2     9 . 9 7 9 7 e - 1 0     6 . 3 2 4 3 e - 08   2 . 5 4 3 2 e - 11   7.   H e a r t     Tr a i n i n g   e r r o r   3 . 7 8 1 6 e - 0 5     4 . 6 3 9 8 e - 06   8.   W i n e   Te st i n g   e r r o r     Tr a i n i n g   e r r o r   7 . 5 1 0 2 e - 0 5     3 . 3 8 0 1 e - 0 1     2 . 6 6 8 9 e - 11   3 . 3 7 2 7 e - 02   9.   P a g e - b l o c k s       Te st i n g   e r r o r     Tr a i n i n g   e r r o r   2 . 4 0 0 9 e - 0 8     3 . 4 3 3 9 e - 0 1     2 . 5 6 7 6 e - 11   1 . 6 7 4 4 e - 01   1 0 .   L i v e r       Te st i n g   e r r o r     Tr a i n i n g   e r r o r   9 . 9 4 0 7 e - 0 1     5 . 1 1 3 8 e - 0 5     2 . 9 8 6 0 e - 11   2 . 4 1 9 8 e - 01   1 1 .   M a c k e y G l a ss     Te st i n g   e r r o r     Tr a i n i n g   e r r o r   5 . 2 7 4 6 e - 0 2     1 . 6 7 4 3 e - 0 4     1 . 3 6 0 4 e - 11   7 . 0 5 0 7 e - 09   1 2 .   G a s   F u r n a c e       Te st i n g   e r r o r     Tr a i n i n g   e r r o r   Te st i n g   e r r o r     3 . 3 0 7 9 e - 0 2     5 . 8 2 8 2 e - 03   1 . 5 0 3 0 e - 02   7 . 0 5 0 7 e - 09   4 . 3 3 4 9 e - 07   3 . 0 1 9 9 e - 11   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J E lec  &   C o m p   E n g     I SS N:  2 0 8 8 - 8 7 0 8       Usi n g   th mo d ified   k - mea n   a l g o r ith w ith   a n   imp r o ve d   tea ch in g   lea r n in g   b a s ed   …  ( Mo r teza   Jo u yb a n )   5283   T o   ev alu atio n   wh eth er   th MK - I T L B r esu lt  was  s ig n if ican tly   b etter   th an   o th er   alg o r ith m s ,   we  ca lcu lated   th p - v alu test   f o r   all  d ata s ets  with   s ig n if ican lev el  o f   0 . 0 5   f o r   d atasets .   Fro m   s tatis tical  p er s p ec tiv p - v alu e,   th p r o b ab ilit y   o f   r ejec tin g   th n u ll  h y p o th e s is   with   th ac cu r ac y   co n d itio n s   is   b ased   o n   th o b s er v ed   d ata.   T h s m aller   th p r o b ab ilit y ,   th g r ea ter   o u r   co n f id en ce   in   th r ea lity   o f   th o b s er v ed   d if f er en ce .   T h P - v alu es  ca lcu lated   f o r   MK - I T L B co m p ar ed   to   o th er   alg o r ith m s   ar s h o wn   in   T ab le  4 .   T ab le   5   co m p ar es o u r   p r o p o s ed   MK - I T L B alg o r ith m   an d   o th er   ap p r o ac h es  f o r   class if icatio n   p r o b lem s .         T ab le  4 .   C o m p a r is o n   o f   MK - I T L B an d   o th er   a p p r o ac h es  f o r   class if icatio n   p r o b lem s   D a t a s e t   MK - I TLB O   T - Lo g i s t i c B a t D N   SA   TS   GA   PSO   G a TSa+ B P   I r i s   0   5 . 2 6 3 2   1 2 . 6 4 9   1 2 . 4 7 8   2 . 5 6 4 1   4 . 6 1 5 4   5 . 2 5 6 4   D i a b e t e s   1 8 . 0 6 9 8   3 . 1 5 7 9   2 7 . 1 5 6   2 7 . 4 0 4   2 5 . 9 9 4   2 5 . 8 7 6   2 7 . 0 6 1   Th y r o i d   5 . 0 8 2 5   2 2 . 0 1 6 4   7 . 3 8 1 3   7 . 3 4 0 6   7 . 2 8 5 0   7 . 3 3 2 2   7 . 1 5 0 9   C a n c e r   2 . 1 6 4 3   5 . 2 2 2 2   7 . 1 7 2 9   7 . 2 7 7 9   7 . 4 2 2 0   6 . 2 8 4 6   1 5 . 2 4 2   C a r d   1 1 . 8 4 2 8   6 . 9 4 2 5   2 3 . 4 6 9   1 8 . 0 4 2   3 1 . 7 2 4   2 1 . 2 6 9   1 5 . 2 4 2   G l a ss   2 0 . 0 5 3 5   6 . 4 4 2 3   5 8 . 3 8 1   5 6 . 4 1 2   5 8 . 0 3 1   5 7 . 7 7 7   5 5 . 1 4 2       T ab le  5 .   C o m p a r in g   th e   r esu lts   o f   b est alg o r ith m   with   o th er   m eth o d s   in   liter atu r e     A r t i c l e   n u mb e r   ( a p p r o a c h )   D a t a s e t   C r i t e r i a   [ 14 ]   [ 1 5 ]   [ 1 6 ]   [ 1 7 ]   [ 1 8 ]   [ 1 9 ]   [ 2 0 ]   [ 2 1 ]   [ 2 2 ]   [ 2 3 ]   [ 2 4 ]   [ 2 5 ]   Mk - I TLB O   I r i s   Tr _ ( %)   Te _ ( %)   -   -   -   1 . 3 3   1 . 7 9   1 . 9 5   -   3 . 7 3   1 . 5 3   1 . 6 9   -     2 . 3   2 . 2   -   2 . 6 7   2 . 7   4 . 8 7   0 . 8 8   4 . 3 7   3 . 3 3   -   -   4 . 6 1   0   0   D i a b e t e s   Tr _ ( %)   Te _ ( %)   -   2 1 . 6 6   -   1 4 . 9 6   1 6 . 6 3   -   2 3 . 0 9   1 3 . 9 6   1 5 . 6 3   -     2 1 . 6   2 1 . 8   -   2 3 . 9 5   -     [ 2 6 ]   -   2 9 . 8 7     -   2 5 . 8 7   1 6 . 1 9 7   1 8 . 0 6 9 8     Th y r o i d   Tr _ ( %)   Te _ ( %)   -   -   3 . 1 8   5 . 2 7   5 . 4 1   -     5 . 4 7   5 . 1 1   -     -     -     -     [ 2 6 ]   -   9 . 7 2   -   6 . 0 5   -   7 . 3 2   5 . 0 5 1 9   5 . 0 8 2 5   C a n c e r   Tr _ ( %)   Te _ ( %)   -   2 . 5 9   -   2 . 9 5   3 . 0 2   -   3 . 1 3   2 . 3 5   2 . 4 5   -   5 . 3 4   2 . 6   2 . 3   -   2 . 3 6   2 . 2 7   2 . 3 9   -     -     -     1 . 6 1 8 2   2 . 1 6 4 3   C a r d   Tr _ ( %)   Te _ ( %)   -   -   1 2 . 9 0   1 3 . 1 4   -     1 2 . 5 7   1 2 . 5 8   -     -     -     -     [ 2 6 ]   -   5 . 5 6   -   7 . 9 7   -     1 1 . 5 5 5 6   1 1 . 8 4 2 8   W i n e   Tr _ ( %)   Te _ ( %)   -   0 . 4 8   -   5 . 2 7   -   -   2 . 8 1   -   -   3 . 9 5   1 . 6   0 . 3   -   1 . 1 1   1 . 5 5   6 . 3   [ 2 4 ]   3 . 9 2   4 . 6 6   -   2 . 8 1   -   0 . 5 4 2 0 1     3 . 0 4 2 4   H e a r t   Tr _ ( %)   Te _ ( %)   -   1 3 . 5 6   -   1 5 . 5 5   -   -   4 0 . 8 8   -   -   -   1 6 . 6   -   -   -   -   1 5 . 7 4   -   1 0 . 4 2 3 3   1 2 . 5 2 5 5   Li v e r   Tr _ ( %)   Te _ ( %)   -   2 7 . 9 8   -   -   -   -   -   -   2 4 . 2 8   -   -   2 0 . 8 7   -   2 0 . 7 4 5 1   2 2 . 9 2 3 1   p a g e - b l o c k s   Tr _ ( %)   Te _ ( %)   -   -   -   -   -   -   3 . 9 2   -   -   -   [ 2 6 ]   -   5 . 5 6   -   -   5 . 8 5 4 4   6 . 3 7 2 7   G l a ss   Tr _ ( %)   Te _ ( %)   -   3 1 . 2 3   -   3 3 . 0 5   3 4 . 0 9   3 8 . 9 4   -   2 6 . 0 5   2 8 . 0 9   -   2 6 . 5   -   -   -   2 5 . 6   -     -   -   2 6 . 1 7   -   -   1 6 . 2 3 8 7   2 0 . 0 5 3 5   M a c k e y - G l a ss   Tr _ ( %)   Te _ ( %)   -   [ 2 7 ]   5 . 5 E - 04   4 . 7 E - 04   1 . 6 E - 05   1 . 7 E - 05   -   0 . 0 0 1   0 . 0 0 1   -   -   -   -   -   -   -   0 . 6 8   2 . 1 5 1 4 e - 4   2 . 4 2 2 4 e - 4   G a F u r n a c e   Tr _ ( %)   Te _ ( %)   -   [ 2 7 ]   0 . 0 0 3   0 . 0 0 4   0 . 2 6   0 . 2 8   -   0 . 1 8   0 . 1 9   -   -   -   -   -   -   -   6 . 1 9 3 6 e - 4   7 . 9 3 9 3 e - 4   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 8 - 8 7 0 8   I n t J E lec  &   C o m p   E n g ,   Vo l.   11 ,   No .   6 Dec em b e r   2 0 2 1     5 2 7 7   -   5 2 8 5   5284   T h is   tab le  s h o ws  th r esu lts   o f   o u r   p r o p o s ed   m eth o d   with   s o m d ata s ets  th at   h av b ee n   s elec ted   as  s am p le .   T h r esu lts   r ep r esen th at  th p r o p o s ed   m eth o d   is   s u p er io r   to   o th er   b asic  n eu r al  n etwo r k   tr ain in g   alg o r ith m s .     4 . 3 .   T he  re s ults  co m pa re   t he  pro po s ed  co m bin ed  m et ho d wit h o t her  m et h o ds   a v a ila ble in t he  lite ra t ure   I n   th is   s ec tio n ,   we  co m p ar th to p   alg o r ith m   am o n g   th p r o p o s ed   h y b r id   alg o r ith m s   with   o th er   m eth o d s   av ailab le  in   th liter atu r an d   m ak all  co m p ar is o n s   with   th d ataset  s ets  in tr o d u ce d   in   th is   p ap er .   T ab le  5   co m p ar es  th MK _ I T L B m eth o d   with   th ap p r o ac h es  in tr o d u ce d   ab o v e.   Field s   with   s y m b o l - in d icate   th at  th p r o p o s ed   ap p r o ac h   d id   n o wo r k   o n   th at  d ataset   o r   th at  th r esu lts   ar n o av ailab le.   I n   th is   tab le  T r _ E   ( %)   m ea n s   tr ain in g   er r o r   p er ce n tag an d   T e_ E   ( %)   m ea n s   test in g   er r o r   p er ce n tag e.       5.   C O N C L U SIO N   T h is   ar ticle  p r esen ted   an   im p r o v ed   teac h in g - lear n in g   b ased   o p tim izatio n   alg o r ith m   f o r   n eu r al  n etwo r k   tr ain in g .   W u s ed   two   m eth o d s   to   im p r o v th p er f o r m an ce   o f   th b asic   alg o r ith m .   First,  to   m ak m o r ef f ec tiv s ea r ch   s p ac f o r   th in itial   po p u latio n   o f   th alg o r ith m ,   in s tead   o f   r an d o m ly   s elec tin g   th p o p u latio n   we  u s ed   r esu lt  o f   clu s ter in g   with   th m o d if ied   k - m ea n   alg o r ith m ,   an d   s ec o n d ,   we  h av im p r o v ed   th teac h in g - lear n in g   o p tim izatio n   alg o r ith m   to   cr ea te  b alan ce   b etwe en   ex p lo itatio n   an d   ex p lo r atio n .   W h av ap p lied   o u r   m eth o d   to   class if icatio n   an d   tim s er ies   p r ed ictio n   p r o b lem s .   T h r esu lts   in   s ec tio n   4   s h o th s u p er io r   p er f o r m an ce   o f   th p r o p o s ed   alg o r ith m ,   as  m en tio n ed ,   th is   v er s io n   h as  p o wer f u tr ain in g   alg o r ith m   ag ain s p r em atu r co n v er g en ce   th at  also   b alan ce s   ex p lo itatio n   an d   ex p lo r atio n .   I n   ad d itio n ,   it  is   co m b in ed   with   th Mk - m ea n   alg o r ith m ,   wh ich   ex am in es  th s ea r ch   s p ac e   m o r ef f ec tiv ely .   W also   co n f ir m ed   th ese  r esu lts   with   s tatis tical  test s ,   an d   th en   co m p ar ed   th is   alg o r ith m   with   o th er   m eth o d s   o f   liter atu r e,   an d   b ased   o n   d if f er en ev alu atio n s   it  was  co n clu d ed   th at  th is   alg o r ith m   h as  b etter   ab ilit y   th an   o th er   alg o r ith m s   r eg ar d in g   class if icatio n   an d   tim s er ies  p r ed ictio n   er r o r s .   T h r esu lts   m o tiv ate  u s   to   f in d   ap p r o ac h   to   ch an g o u r   m eth o d   t o   th f u tu r e   wo r k s .   T h is   d ev elo p m en t c o u ld   b in   th u s o f   ch ao tic  m ap p in g   in   th m eth o d .       R E FE R E N C E S   [1 ]   N.  Zh a n g ,   " A n   o n li n e   g ra d ien t   m e th o d   with   m o m e n t u m   f o tw o - lay e fe e d f o rwa rd   n e u ra l   n e tw o rk s,"   A p p l ied   M a t h e ma ti c s   Co m p u t a ti o n ,   v o l.   2 1 2 ,   n o .   2 ,   p p .   4 8 8 - 4 9 8 ,   2 0 0 9 ,   d o i:   1 0 . 1 0 1 6 / j. a m c . 2 0 0 9 . 0 2 . 0 3 8 .   [2 ]   M .   G o ri  a n d   A.  Tes i,   " On   t h e   p ro b lem   o l o c a m in ima   in   b a c k p ro p a g a ti o n , "   i n   IEE T ra n sa c ti o n o n   Pa tt e rn   An a lys is  a n d   M a c h i n e   In tell ig e n c e ,   v o l .   1 4 ,   n o .   1 ,   p p .   7 6 - 8 6 ,   Ja n .   1 9 9 2 ,   d o i:   1 0 . 1 1 0 9 /3 4 . 1 0 7 0 1 4 .   [3 ]   O .   Ara n   a n d   E.   Al p a y d ı n ,   " An   In c re m e n tal  Ne u ra Ne two rk   Co n stru c t io n   Alg o r it h m   fo Train in g   M u lt i lay e r   P e rc e p tro n s, "   Arti fi c ia Ne u ra N e two rk a n d   Ne u ra In f o rm a ti o n   Pro c e ss in g Ista n b u l,   T u rk e y I CAN N/ICON IP   2 0 0 3 .   [4 ]   S .   Ku ll u k L Oz b a k ir ,   a n d   A Ba y k a so g lu ,   " Train i n g   n e u ra l   n e two rk s   with   h a rm o n y   se a rc h   a lg o r it h m f o r   c las sifica ti o n   p ro b lem s,"   E n g i n e e rin g   A p p l ica ti o n o Arti fi c i a I n t e ll ig e n c e ,   v o l.   2 5 ,   n o .   1 .   p p .   1 1 - 1 9 ,   F e b .   2 0 1 2 d o i:   1 0 . 1 0 1 6 /j . e n g a p p a i. 2 0 1 1 . 0 7 . 0 0 6 .   [5 ]   N.  S .   Ja d d i,   S .   Ab d u ll a h ,   a n d   A.  R.   Ha m d a n ,   " Op t imiz a ti o n   o f   n e u ra n e tw o rk   m o d e l   u si n g   m o d ifi e d   b a t - i n sp ire d , "   Ap p li e d   S o ft   Co mp u ti n g ,   v o l.   3 7 ,   p p .   7 1 - 8 6 ,   De c .   2 0 1 5 ,   d o i 1 0 . 1 0 1 6 /j . a so c . 2 0 1 5 . 0 8 . 0 0 2 .   [6 ]   V.  G .   G u d ise   a n d   G .   K.  Ve n a y a g a m o o rt h y ,   " Co m p a riso n   o p a rti c le  sw a rm   o p ti m iza ti o n   a n d   b a c k p ro p a g a ti o n   a s   train in g   a lg o r it h m fo n e u ra n e two rk s,"   Pr o c e e d in g o th e   2 0 0 3   IEE S w a rm   In telli g e n c e   S y mp o siu m .   S IS ' 0 3   (Ca t.   N o . 0 3 EX 7 0 6 ) ,   2 0 0 3 ,   p p .   1 1 0 - 1 1 7 ,   d o i:   1 0 . 1 1 0 9 / S IS . 2 0 0 3 . 1 2 0 2 2 5 5 .   [7 ]   K.  Krish n a   a n d   M .   N.   M u r ty ,   " G e n e ti c   K - m e a n a lg o rit h m , "   in   IEE E   T ra n sa c ti o n o n   S y ste ms ,   M a n ,   a n d   Cy b e rn e ti c s,  Pa rt B   (Cy b e rn e ti c s) ,   v o l.   2 9 ,   n o .   3 ,   p p .   4 3 3 - 4 3 9 ,   Ju n .   1 9 9 9 ,   d o i:   1 0 . 1 1 0 9 / 3 4 7 7 . 7 6 4 8 7 9 .   [8 ]   J.  M a c Qu e e n ,   " S o m e   m e th o d s   fo c las sifica ti o n   a n d   a n a ly s is  o m u lt iv a riate   o b se rv a t io n s,"   Pro c e e d in g o t h e   fi ft h   Ber k e ley   s y mp o siu m o n   ma th e ma t ica sta t isti c s a n d   p ro b a b il it y ,   v o l .   1 ,   n o .   1 4 ,   p p .   2 8 1 - 2 9 7 ,   J u n .   1 9 6 7 .   [9 ]   R.   V.   Ra o   a n d   V.   J.   S D.   P.   V a k h a ria ,   " Tea c h in g - lea rn i n g - b a se d   o p ti m iza ti o n n o v e m e th o d   fo c o n stra in e d   m e c h a n ica d e sig n   o p ti m iza ti o n   p ro b lem s,"   Co m p u ter - Ai d e d   De si g n ,   v o l.   4 3 ,   n o .   3 ,   p p .   3 0 3 - 3 1 5 ,   M a r .   2 0 1 1 ,   d o i:   1 0 . 1 0 1 6 / j. c a d . 2 0 1 0 . 1 2 . 0 1 5 .   [1 0 ]   C.   H.  L ó p e z - Ca ra b a ll o ,   S a lfate ,   J.  A.  Laz z ú s,  P .   R o jas ,   M .   Ri v e ra ,   a n d   L.   P a lma - Ch il la ,   " M a c k e y - G las n o isy   c h a o ti c   ti m e   se ries   p re d ictio n   b y   a   sw a r m - o p ti m ize d   n e u ra n e two rk , "   J o u rn a o Ph y sic s:  Co n fer e n c e   S e rie s.   IOP  Pu b li s h in g ,   v o l.   7 2 0 ,   n o .   1 ,   p p .   1 2 0 0 2 - 1 2 0 1 1 ,   M a y   2 0 1 6 ,   d o i:   1 0 . 1 0 8 8 / 1 7 4 2 - 6 5 9 6 / 7 2 0 /1 /0 1 2 0 0 2 .   [1 1 ]   K.   Du n n ,   " T h e   g a f u rn a c e   d a ta  s e fro m   Bo x   a n d   Je n k i n Bo o k   o n   Ti m e   S e ries   An a l y sis ,"   Op e n M V.n e Da tas e ts ,   2 0 1 8 .   [On li n e ].   Av a il a b le:  h t tp :/ / o p e n m v . n e t/ i n fo / g a s - fu r n a c e   [1 2 ]   C Blak e ,   " UCI Re p o sit o ry   o M a c h in e   Lea rn i n g   Da tab a se s, "   U n iv e rsity   o Ca li f o rn ia at I rv i n e ,   1 9 9 8 .   [1 3 ]   K.  Yu ,   X.  Wan g ,   a n d   Z.   Wan g ,   " Co n stra in e d   o p ti m iza ti o n   b a se d   o n   imp r o v e d   tea c h in g - lea rn i n g - b a se d   o p ti m iza ti o n   a lg o rit h m , "   I n fo rm a ti o n   S c ien c e s,  v o l .   3 5 2 - 3 5 3 ,   p p .   6 1 - 7 8 ,   J u l.   2 0 1 6 ,   d o i:   1 0 . 1 0 1 6 /j . in s. 2 0 1 6 . 0 2 . 0 5 4 .   [1 4 ]   R.   M .   O.   Cr u z ,   R.   S a b o u rin ,   a n d   G D.  C.   Ca v a lca n ti ,   " M ET A - DE S .   Ora c le:  M e ta - lea rn in g   a n d   fe a tu re   se lec ti o n   f o r   d y n a m ic en se m b le se lec ti o n , "   I n f o rm a ti o n   F u sio n ,   v o l.   3 8 ,   p p .   8 4 - 1 0 3 ,   2 0 1 7 ,   d o i:   1 0 . 1 0 1 6 / j. in ffu s. 2 0 1 7 . 0 2 . 0 1 0 .   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J E lec  &   C o m p   E n g     I SS N:  2 0 8 8 - 8 7 0 8       Usi n g   th mo d ified   k - mea n   a l g o r ith w ith   a n   imp r o ve d   tea ch in g   lea r n in g   b a s ed   …  ( Mo r teza   Jo u yb a n )   5285   [1 5 ]   H.  Wan g   a n d   Z.   Z h o u ,   " An   imp r o v e d   r o u g h   m a rg in - b a se d   ν - twin   b o u n d e d   su p p o rt  v e c to m a c h in e , "   Kn o wled g e - Ba se d   S y ste ms ,   v o l.   1 2 8 ,   p p .   1 2 5 - 1 3 8 ,   Ju l .   2 0 1 7 ,   d o i:   1 0 . 1 0 1 6 / j. k n o sy s.2 0 1 7 . 0 5 . 0 0 4 .   [1 6 ]   N.  S .   Ja d d a n d   S .   A b d u ll a h ,   " c o o p e ra ti v e - c o m p e ti ti v e   m a st e r - sla v e   g lo b a l - b e st  h a rm o n y   se a rc h   fo AN o p ti m iza ti o n   a n d   wa ter - q u a li ty   p re d ictio n , "   A p p li e d   S o ft   Co m p u ti n g ,   v o l.   5 1 ,   p p .   2 0 9 - 2 2 4 ,   F e b .   2 0 1 7 ,   d o i:   1 0 . 1 0 1 6 / j. a so c . 2 0 1 6 . 1 2 . 0 1 1 .   [1 7 ]   D.  P .   F .   Cr u z R D .   M a ia,  L .   A d a   S il v a ,   a n L .   N .   Ca stro ,   " Be e RBF a   b e e - in sp ire d   d a ta  c lu ste ri n g   a p p ro a c h   t o   d e sig n   RBF   n e u ra n e two r k   c las sifiers , "   Ne u ro c o mp u ti n g ,   v o l.   1 7 2 ,   p p .   4 2 7 - 4 3 7 ,   Ja n .   2 0 1 6 ,   d o i:   1 0 . 1 0 1 6 / j. n e u c o m . 2 0 1 5 . 0 3 . 1 0 6 .   [1 8 ]   N.  S .   Ja d d i,   S .   Ab d u ll a h ,   a n d   M .   A.  M a lek ,   " M a ste r - Lea d e r - S lav e   Cu c k o o   S e a rc h   with   P a ra m e ter  Co n tr o fo AN N   Op ti m iza ti o n   a n d   Its   Re a l - Wo rl d   A p p li c a ti o n   to   Wate r   Qu a li t y   P re d icti o n , "   PL o S   ONE ,   v o l.   12 ,   n o .   1 ,   2 0 1 7   Art .   n o .   e 0 1 7 0 3 7 2 ,   d o i:   1 0 . 1 3 7 1 /j o u r n a l. p o n e . 0 1 7 0 3 7 2 .   [1 9 ]   M .   F .   M o h a m m e d a   a n d   C.   P .   L im ,   " Im p ro v in g   t h e   F u z z y   M i n - M a x   n e u ra n e two r k   wit h   a   K - n e a re st  h y p e rb o x   e x p a n sio n   ru le   fo r   p a tt e r n   c las sifica ti o n , "   A p p li e d   S o ft   Co mp u ti n g ,   v o l.   5 2 ,   p p .   1 3 5 - 1 4 5 ,   M a r.   2 0 1 7 ,   d o i :   1 0 . 1 0 1 6 / j. a so c . 2 0 1 6 . 1 2 . 0 0 1 .   [2 0 ]   B.   Y.  Hie w,   S .   C Tan ,   a n d   W .   S Li m b ,   " d o u b le - e li m in a ti o n - to u rn a m e n t - b a se d   c o m p e ti ti v e   c o - e v o l u ti o n a ry   a rti ficia n e u ra n e two r k   c la ss ifi e r, "   Ne u ro c o mp u ti n g ,   v o l .   2 4 9 ,   p p .   3 4 5 - 3 5 6 ,   Au g .   2 0 1 7 ,   d o i 1 0 . 1 0 1 6 / j. n e u c o m . 2 0 1 6 . 1 1 . 0 8 2 .   [2 1 ]   K.  S u n ,   J.  Z h a n g ,   C.   Z h a n g ,   a n d   J.  Hu ,   " G e n e ra li z e d   e x trem e   lea r n in g   m a c h in e   a u t o e n c o d e a n d   a   n e d e e p   n e u ra l   n e two rk , "   Ne u r o c o mp u ti n g ,   v o l.   2 3 0 ,   p p .   3 7 4 - 3 8 1 ,   M a r.   2 0 1 7 ,   d o i:   1 0 . 1 0 1 6 /j . n e u c o m . 2 0 1 6 . 1 2 . 0 2 7 .   [2 2 ]   Z.   G a o ,   C.   M a ,   D.  S o n g ,   a n d   Y .   Li u ,   " De e p   q u a n t u m   in s p ired   n e u ra n e two rk   wit h   a p p li c a ti o n   to   a ircra ft  fu e l   sy ste m   fa u lt   d ia g n o sis,"   Ne u r o c o mp u ti n g ,   v o l.   2 3 8 ,   p p .   1 3 - 2 3 ,   M a y   2 0 1 7 ,   d o i 1 0 . 1 0 1 6 /j . n e u c o m . 2 0 1 7 . 0 1 . 0 3 2 .   [2 3 ]   J.  Wan g ,   Q.  Ca i,   Q.  C h a n g ,   a n d   J .   M.   Z u ra d a ,   " Co n v e r g e n c e   a n a l y se o n   sp a rse   fe e d fo rwa rd   n e u ra n e two r k v ia  g ro u p   las so   re g u lariz a ti o n , "   In fo rm a ti o n   S c ien c e s,  v o l .   3 8 1 ,   p p .   2 5 0 - 2 6 9 ,   M a r.   2 0 1 7 ,   d o i :   1 0 . 1 0 1 6 / j. in s . 2 0 1 6 . 1 1 . 0 2 0 .   [2 4 ]   S .   S h in d e   a n d   U.  Ku lk a rn i ,   " Ex te n d e d   fu z z y   h y p e rli n e - se g m e n n e u ra n e two r k   wit h   c las sifica ti o n   r u le  e x trac ti o n , "   Ne u ro c o mp u ti n g v o l .   2 6 0 ,   p p .   7 9 - 9 1 ,   Oc t .   2 0 1 7 ,   d o i 1 0 . 1 0 1 6 /j . n e u c o m . 2 0 1 7 . 0 3 . 0 3 6 .   [2 5 ]   T.   B.   Lu d e rm ir,   A.  Ya m a z a k i ,   a n d   C.   Zan c h e tt i n ,   " An   O p ti m iza ti o n   M e th o d o lo g y   f o Ne u ra Ne two rk   Weig h ts  a n d   Arc h it e c tu re s,"   in   IEE E   T r a n sa c ti o n s   o n   Ne u r a l   Ne two rk s ,   v o l .   1 7 ,   n o .   6 ,   p p .   1 4 5 2 - 1 4 5 9 ,   N o v .   2 0 0 6 ,   d o i:   1 0 . 1 1 0 9 / TNN.2 0 0 6 . 8 8 1 0 4 7 .   [2 6 ]   C.   Zh a n g a ,   C.   Li u ,   X.  Zh a n g ,   a n d   G .   Alm p a n id is ,   " An   u p - to - d a te  c o m p a riso n   o sta te - of - t h e - a rt  c las sifica ti o n   a lg o rit h m s,"   Exp e rt  S y ste ms   wit h   Ap p li c a ti ons ,   v o l .   8 2 ,   p p .   1 2 8 - 1 5 0 ,   Oc t .   2 0 1 7 ,   d o i:   1 0 . 1 0 1 6 /j . e sw a . 2 0 1 7 . 0 4 . 0 0 3 .   [2 7 ]   N.  S .   Ja d d i ,   S .   Ab d u ll a h ,   a n d   A.   R Ha m d a n ,   " A   so l u ti o n   re p re se n tatio n   o g e n e ti c   a l g o rit h m   f o n e u ra n e two rk   we ig h ts  a n d   stru c tu re , "   In fo r ma ti o n   Pro c e ss in g   L e tt e rs ,   v o l.   1 1 6 ,   n o .   1 ,   p p .   2 2 - 2 5 ,   J a n .   2 0 1 6 ,   d o i :   1 0 . 1 0 1 6 / j. ip l. 2 0 1 5 . 0 8 . 0 0 1 .     Evaluation Warning : The document was created with Spire.PDF for Python.