Int ern at i onal  Journ al of Ele ctrical  an d  Co mput er  En gin eeri ng   (IJ E C E)   Vo l.   8 , No .   6 ,  Decem ber   201 8 , p p.   4810 ~ 4822   IS S N: 20 88 - 8708 ,  DOI: 10 .11 591/ ijece . v8 i 6 . pp4810 - 48 22          4810       Journ al h om e page :  http: // ia es core .c om/ journa ls /i ndex. ph p/IJECE   A  N ovel Neur ogli al  A rchitectu re fo r  M odell ing  Sin gu lar  Perturb atio n S ystem        Sa mi a  S alah,  M’hame d H adj  S adok , Ab derrez ak  Gue sso um   Depa rt m ent   o f  e l ec tron ic s,   Unive rsit y   Saad   Dahl a b   Bli d a1,   Alger i a       Art ic le  In f o     ABSTR A CT    Art ic le  history:   Re cei ved   Ja n   23 , 2 01 8   Re vised  Ju l   5 ,   201 8   Accepte d  J ul   29 , 2 01 8       Thi s  work  deve lops  a  new  m o dula r  arc h it e ct ur e  tha t  emula te s   a  rec entl y - discove red   biol o gic a l  par adi gm .   I t  origi n ates  from   the  hum an  bra in   where   th e   informati on  flo ws   al ong  two  di ffe ren t  pa t hwa y s   and  is  proc essed  al ong  two  ti m e  sca le s: on e is a   f ast  neur al   n e twork  (NN )  an d  the   o the r   is a  sl ow ne twork   ca l le d  th e  glial   net work  (GN ).   It  was  found  tha t  th e  neur al   net work  is   powere d  an d   c ontrol le d   b y   th e  glial  n et work .   Based   on  our   biol ogi cal   knowledge   of   g li al  c el ls  and  th e  powerful   con c ept   of   m odula rity ,   a   nove l  appr oac h   call ed  a rti f ic i al   n eur ogl ia l  Ne twork   (AN GN )   was  designe d  and  an   al gorit hm   base d  on  diffe ren t  con ce pts  of  m odula r ity   w as  al so  dev el oped .   The   implementa t ion   is  base d  on   the   noti on  of  m ult i - ti m e  sca le   s y st ems .   Vali da ti on  is  p e rform ed  through  an  as y nchr onou s  m ac hine   (AS M)  m odel ed   in  the   stand ard   singula rl y   per turbe d  form .   W e  apply   the  geometri c al  appr oac h ,   b ase d  on  Gerschgori n’ s  ci rc le  the or em  (GCT),   to   sepa r at e   the  fas t   and  slow  var ia b le s,  as  wel l  as   t he  sin gul ar  p erturbat ion   m et hod   (SP M)   to   det ermine   th e  r educ ed   m odel s.  Thi s  new  arc h itect ur e  m ake s  it  poss ibl e  to   obta in   sm al le r   n et works   with le s s c om ple xity   an d  bett er   per form anc e .   Ke yw or d:   Ar ti fici al   ne uro   glial   n et w ork   Async hro nous   m achine   Ger sc hgori n’s  ci rcle  t heorem   Glia l netw ork   Singular   p e rtu r bation  m et ho d   Copyright   ©   201 8   Instit ut e  o f Ad vanc ed   Engi n ee r ing  and  S cienc e .    Al l   rights re serv ed .   Corres pond in g  Aut h or :   Sam ia  Salah ,   Dep a rtm ent  of   E le ct ro nics ,   Un i ver sit y Saa d Dah la b  Bl ida 1,       Soum aa   Road , B P 270, Bli da ,   Alge ria ,  (+ 213)  25 43 3 8 50   Em a il  :   sal ah_ s a m ia @yaho o.f r       1.   INTROD U CTION   The  la st  few   ye ars  ha ve  witn essed  a  trem en dous   gr ow t h  in  the  fiel d  of   in te ll igent  syst e m s .   In sp i re d  by  bio lo gical   ne ur al   net works ,  on e  s uch   s uc cess  has  bee n  achieve d  in  ev olu ti on  of  arti f ic ia l  neu ral  networks  (ANNs).  A N Ns  are  c har a ct erized  by  their  disti nctiv e  capab il it ie s  of   e xh i biti ng   m assive  par al le li s m ,  gen e rali zat ion   ab il it y  and   bei ng   good  f unct ion   a ppr oxim a t or s .  This  re nd e rs  them   us efu l  for  so l ving  a  va riet y  of  pro blem s  in  patte r n  r eco gnit ion ,   pre dicti on,  op ti m iz ati on  an d  a sso ci a ti ve  m e m or y  [1] ,   [ 2] .  A dd it ion al ly ,   they  are  al s o b ei ng  em plo ye d i n  syst em   m od el ing  a nd contr ol  [ 3] ,   [4] .   These  A NN s ,  eff ic ie nt  in   nu m ero us  ap plica ti on s,  a re  not  a s  well   su it e d  f or  ap pro xim ating   non - li ne ar   and   high - dim e ns io nal  f un ct io ns   wit h  m ulti p le   tim e   dynam ic s  li ke  the  on es  in  sin gu la r  per t urbati on   syst e m s  (S PS s )  wh ic h  increase s    the  di ff ic ulti es  in  sy stem   m od el ing,  analy sis  an d  con t ro ll er  desi gn   .An  e ff ect iv e  way   to  overc om e  t his  pro blem   is   to  sepa rate  th e  or igi nal  syst e m   sta te s  into  su bsy ste m s  that  change  ra pidl y  and   tho se  that  var y  slow ly   on the c ho s en  tim e scal e, u si ng sin gu l arly  p ert urbati on m et ho d (SP M).   So m e  recent  re search   res ults  us in g  t he  ( SP M)  to  a naly ze  and  co ntr ol  the   SPSs   are   pu blished  in  [5] ,   [6] .  H ow e ver,  accurate  a nd  fa it hf ul  m at he m a ti cal   m od el s  for  th os e  syst em s  are  usual ly   diff ic ult  to   obta in  du e   to  th e   unce rtai nties  an d  no nlinearit ie s.  In   this  case,  adequate   syst e m   identific at ion   be com es  i m po rtant  a nd   necessa ry,  befor e  a sin gula r pert urbati on  th eor y - base d   c on trol sc hem e can be  desig ne d.   R ecentl y ,  resea rch  us i ng  m ulti  tim es  scal e  ne ur al   netw orks   hav e   been  pr opose d  in  li te rat ur e   to  so l ve  the  syst e m   identific at ion   pro blem   of   the  nonlinea r  SP Ss.   Am on g  them   there  are  m ulti - tim e - scal e  dynam ic  Evaluation Warning : The document was created with Spire.PDF for Python.
In t J  Elec  &  C om p  En g     IS S N: 20 88 - 8708       A Novel N e ur ogli al Arc hitec ture f or  M odel li ng S i ngular  Pe rturbati on  Syst em  ( Sami a S ala h)   4811   neural  netw ork   (D N N )  pro po s ed  in  [7] .  O r  re current  ne ural   netw ork  (RN N )  pro po se d  in  [ 8] .  In   these  pa per s ,   trai ning  m et ho ds   are  base d  on  a  gra dient  de scent  up dating  al gorithm   with  fixe d  “l ear ning  gai n”,   s uc h  a s  bac k  pro pag at i on   (B P)   a nd  RN N   al gorithm s.  The  m ai n  dr a w bac k  of  these   trai ni ng   m et hods   is  that  the  c onve r gen c e   sp ee d  is  us uall y  ver y  sl ow.  T o  acce le rate  t he   trai ning  proc ess  ,r e searc hers  inv e sti gated  t he  e xten ded  K alm an  filt er  (E KF)  ba sed  trai ning  m et hods   for  NN  in  [ 9] .   T he  t he or et ic al   analy si s  of  E KF   base d  trai ning  al go rith m   requires  t he  m od el ing   unce rtai nty  of   th e  NN   t o  be  a  Gau s sia n  proc ess,  w hich  m ay   no t  be  t ru e   in  real  app li cat io ns .    So m e  oth er   res earche rs  al s o  st ud ie d  op ti m al   bounde d  el li psoid  (O B E)  al gorithm - base d   l earn i ng  la ws  f or NN  [10 ] - [ 12] . A ll   of  these m et ho ds   are c om plex  an d  c om pu ta ti onal ly  intensive.   In   this  pa per ,   we  pro pose  a  new   m ulti   t i m e - scal e  NN  arch it ect ur e  cal le d  "arti fici al   neu r ogli al   netw ork"  ( A N GN)  ba sed  on   the  powe rful   con ce pt  of   " m od ularit y"   to  so lve  t he  pr ob le m s  of   sin gu la r  per t urbati on  syst e m   trai nin g.   The  basic  idea  is  to  us e  t he  know le dg e   ab out  the  ne rvo us   sy stem   and   the  hum an   br ai n,   w her e  th e   inform ation   f lows   al ong  tw o  dif fer e nt  pathw ay s  an d  is  proces sed  al ong  two - ti m e   scales:  one   is  a  fast - neural   netw ork  (NN)  and  the o the r  is  a  slo w  net wor k  cal le d  the g li al   network  ( G N) .   It w as  f ound  tha t   the n e ural  n et work is  powe r ed  a nd contr olled  by the  glial   netw ork  [13] ,   [ 14 ] .   In   our  ex pe rim ent,  for  a  giv e n  ap plica ti on ,  de pendin g  on  the  c om plexit y  and  the  ph ysi cal   char act e risti cs  of  the   pro blem ,  we   d ivide   our   gl ob al   m od el   i nto  tw o  s ub - m od el s:  slo w  a nd  fast  on e s  us ing  th e   singular  pe rtu rb at io n  m et hod  (S PM ).   T he   first  dif ficult y  that  arises   wh e n  dec oupl ing   va riables  is  the  identific at ion   of   bo t h  the  sl ow   a nd  fast  m od el   var ia bl es.  The  s olu ti on   is  based   o n  Ge rsc hgor i n’s  ci rcle   geo m et ric  theo rem   (G CT)   [ 15] .  This  te c hniqu e  m akes  it   po s sible  to  l oc at e  the  ei genv al ues  in  t he  co m plex  plane  within  gro ups  of  ci rcle s.  The  gro u pi ng  of  the  m od e s  is  i m m ediat e   wh e ne ver   ci rc le s  are  disjoint ,  an d  afterwa r d,  t he nu m ber   of slo w  a nd f ast  m odes is dete rm ine d.   Vali dation  of   the  pro posed  appr oach   is  c arr ie d  out  on  the  AS M  m od el ,  unde r  th e  singularly   per t urbed   sta ndar d  f orm .  Su bse quently ,  an  a lgorit hm   is  ad op te d  to  te st  th e  eff ect ive ness   and   perf or m ance  of   the  pro posed  ANG N.   T his  ne w  arc hitec tur e  has  m ade  it   po s sible  to  ob t ai n  netw orks  of  co ns ide ra bly  sm a ll er   siz e  with  sim ple  structu res   w hich  ha ve  a   str ong  nonline ar  appr ox im at ion   capa bili ty   and  w hich  e na bles   it   to   m od el   nonline ar  sin gula rly   pe rturbe d  syst e m s  m or e  accur at el y  with  le ss   com pu ta ti on  c om plexity ,  co m par ed   to the c onve nti on al   ne ur al   net work m od el .       2.   S INGUL AR P ERTU RBATI ON MET HO D     This  m et ho d  i s  us e d  f or  m ulti - tim e  scal e  syst e m s  that  can  be   re duced   to  the  sta nd a rd   form   of   equ at io n  ( 3)   by   the  deter m inati on   of  the  pa rasit ic   te r m   ε .   Con si der   the   sta te   m od el   o f  a  li near   syst e m   of   dim ension   n:     { ̇ =  +  =  }       (1)     Ev olv in g  ac co r di ng  t o  two - ti m e   scal es,  it   c an  be  dec ouple d  i nto   t wo   slo w  an d  fast  su bsy stem s.  The  sta te   vector   X  con ta in s  al l  the  sta te   var ia bles  cor re spo nd i ng  to  the  dyna m ic   e lem ents.  If   x  is  the  set   of   sta te  var ia bles of sl ow ele m ents, and  z is  the set  of  f ast  elem ents  the m od el  is  wri tt en     , 2 1 22 21 12 11 U B B z x A A A A z x                                                                                       (2)     z x C C y , 2 1   with   :     - ( 0 ) = 0       ,      ( 0 ) = 0   - 2 22 21 , , B A A -   are  ver y l a rge com par ed  to 1 12 11 , , B A A .    We  intr oduce  t he  pa ram et er  ε   to  norm al iz e  ou r  m od el ,  we  wr it e: 21 * 21 A A   , 22 * 22 A A , . 2 * 2 B B   can  be give n by: 0 12 0 1 22 L A A A   with   :  21 1 22 0 A A L an d 0 1 12 11 0 L A A A   By   assum ing   that  m at rix  A 22  is  inv e rtible ,  the  sta te   e qu at ion   i n  t he  sta ndar d  si ngularl y  per t urbe d  form  w it h  ε as  the p e rtu rb at i on  par am et er is then   w ritt en  as :   Evaluation Warning : The document was created with Spire.PDF for Python.
                          IS S N :   2088 - 8708   In t J  Elec  &  C om p  En g,   V ol.  8 , N o.   6 ,  Dece m ber  2 01 8  :   4810   -   4822   4812   , * 2 1 * 22 * 21 12 11 U B B z x A A A A z x     ( 3)     2.1.   Slow a nd fa st re duced  mo de ls   The  sl ow r e du ced m od el  is  de te rm ined  fro m  eq . ( 3)  by conside rin g  that : 0       s s s s s s s s s s s s s u B x A A z u D x C y u B x A x 2 21 1 22     ( 4)     wh e re  s s s s y u z x , , ,   are t he sl ow   com pone nts  of  t he varia bles  y u z x , , , resp ect ive ly ,  with   :     2 1 22 2 21 1 22 2 1 2 1 22 12 1 21 1 22 12 11 B A C D A A C C C B A A B B A A A A A s s s s                                                                                                                            ( 5)     with: 0 0 x t x s .T he  init ia l value  of the   slow   com pone nts s z is   : 0 12 1 22 0 t x A A t z s s   wh ic h  is  ge neral ly   diff ere nt  f rom 0 z .  The  fast  var ia bles  z cannot  the refor e   be   ap pro xim a te d  by  s z   in  th e   tim e  interval , 0 T   .  We  int rod uce  the  c orrecti ve  t erm f z ,  de fine d  by     :  s f z z z wh ic h  repr esents  ra pi d  changes  in z .Th e refor e , th e  bo unda ry lay er e quat ion, e xpress ed  in  the  dilat ed  ti m e fo ll ows:     ( dt dz f d dz f ):     ( 6)       The  fast re duc ed  m od el  is the n wr it te n:      0 21 1 22 0 0 2 2 22 x A A z t z z C y u B z A d dz f f f f f f                                                                                                        ( 7)                           3.   I DENTIF IC A TION  OF TH E GEOMET R IC DYN AMI CS   Sett ing   the  pre vious  sta ndar d  fo rm   assum es :  a)  Kno wled ge   of   the  ei ge nv al ues  to  dete r m ine  the  siz e   of the sl ow and  f ast  eige nvect or s .   b)  A suit a ble gr ouping  of slo w  m od es  a nd f ast  m od es .   Our  at te ntio n  is  f ocu s ed  on  geo m et rical  m e tho ds  incl ud i ng  the  ci r cl es  of  ge rsc hgori n.    T he   local iz at ion   of  the  ei g e nval ue s  on  t he  c om plex  plane   m akes  it   possible   to   put  a  syst em   i n  t he  sta nd a rd  for m   without  ha ving   to  cal culat e  t hese  ei ge nv al ue s.  In   the  case   of   GCT,  t he  gro up i ng   of   m od e s  is  i m m ediat e  as   so on  as  the   ei genvalue s  are   ci rcu m scribed   in  dis joint  ci rc le s .   The   ge ome tric   m e tho d  ba sed  on  GCT  for  t he   sel ect ion  a nd s epar at io n of di ff e ren t t im e scal es is re pr ese nt ed  as  fo ll ows:     3.1.   Gersch go ri n ’s  circ le s t he ore m ( G CT)   No ti ng n j i a ij . .. . . 1 , , as the el e m ents o f  the  s ta te   m at rix  A  , ,    are  expre ssed  b y   Evaluation Warning : The document was created with Spire.PDF for Python.
In t J  Elec  &  C om p  En g     IS S N: 20 88 - 8708       A Novel N e ur ogli al Arc hitec ture f or  M odel li ng S i ngular  Pe rturbati on  Syst em  ( Sami a S ala h)   4813   , 1 n i j j ij i a p n i ., , .. . .. . .. . 2 , 1   (8)     , 1 n i j i ij i a Q n j ., , .. . .. . . .. 2 , 1   (9)     Geo m et rical   se par at io n  of  the   diff e ren t  dyna m ic   m od es  is  base d  on  the  a pp li cat io n  of  the  f ollow i ng   two  the or em s.  These  the or e m s   ob ta ined  f ro m   Ger sch go rin  gi v e  a  loc al iz at ion   of   th e  e igen values  on   t he   com plex  pla ne .     3.1.1.   Theorem  1   All  the  ei genv al ues  of  a  m atr ix  of  ar bitra r y  ran k  n,   a re  con ta ine d  in  n  ci rcle  bundle s  centere d  at   11 , 22 , … . . ,  and   rad ii   1 , 2 , … . . ,    fo r   the  li nes  or   1 , 2 , … . . ,  f or   the  c olu m ns ,  w hich  ar e   ob ta ine d by s um m ing  the m od ules  of the  off - dia gonal term s appeari ng in  t he  sam e li ne  or   colum n:      =             = .     3.1.2.   Theorem  2   Wh e n  a  gro up   of   k  li ne - ci rcle s  (o r  k  colum n - ci rcles)  is  co m ple te ly  disj oi nt  from   the  othe r  ci rcles,  it  con ta in s  k  ei ge nv al ues   [ 16 ] .  Wh e n  a  gro up  of   k  ci rcles  is  com plete ly  disj oi nt  from   the  oth e r  ci rcles,  it   can  be  sai d  that t he   syst e m  then  h as at l east   two - ti m e   scal es. W he ther  this g rou p  of  circl es is to the r ig ht o r  t o  the left  of   the  oth e r  ci r cl es,  we  can  de te rm ine  the  k  s low  m od es  co r respo nd i ng   t o  these  k  ci rcles  or   resp ect ively   the  k  fast  m od es.  Ea ch  ci rcle  re pr es ents  a  sta te   of   t he  syst em .  It  is   then  po s sible  to  gi ve  an  a de quat e  pa rtit ion   of  the   m od el .   Gen e r al ly ,  this  dire ct   m et ho d  does  not  m ake  i t  po ssi ble  to  con cl ud e   im mediat el y  in  al l   cases.   Daup hin - Tan guy   [ 17]   then  pr opos es  the  us e   of tran sf or m at i on s:     ) 1 ,...., 1 , , 1 ,..., 1 ( k k d i a g S ,  n k , , 2 , 1 ;      these  par am et ers  al low  the  va riat ion   of  the   ci rcles  siz e  a nd   thei r  optim iz at ion   l ead  to   ci rcles  of   m i nim u m   rad ii .   H ow e ver, this m et ho d d oes n ot sep a rat e all  syst e m s.     3.1.3.   Chan ging th e   radius si z e   Let  the m at rix  be:     ) 1 ,...., 1 , , 1 ,..., 1 ( k k d i a g S , n k , , 2 , 1     ( 10)     The  c hange  of  base  X S X k '   le ads  to  a  ne w  sta te   m at rix.     The   rad ii   k R 1 an d ck R becom e  k k R 1   and k ck R   res pecti vely   [18] .  I f   the  oper at io n  is  re peated   severa l  tim e s,  the  a ggre ga te d  trans form ation   is:     1 S A S A X S X with:       k k S S     ( 11)     If  t her e  are  t wo d is j oi n t set s  of circl es, th en  th e p e rm utati on  m at rix  is:     1 P A P A X P X                                                                                                                          ( 12)     3.1.4.   Movin g Circ le  C en ters     In   or der   to  im pr ov e  the  s epar at io n  of  dynam ic s,  it  is  so m e tim es  necessary  to   introdu ce  a   disp la cem ent of the  circl es  whic h  is c har act er iz ed  by t he foll ow i ng tra ns f orm at ion   [ 18 ] :                                                   Evaluation Warning : The document was created with Spire.PDF for Python.
                          IS S N :   2088 - 8708   In t J  Elec  &  C om p  En g,   V ol.  8 , N o.   6 ,  Dece m ber  2 01 8  :   4810   -   4822   4814   ij l n l J B I T . .     ( 13)     On ly   the  el e m ents  of   li ne i and  colum n  j cha nge,  the  centers  of   the  ci rcles i and j are  sh ifte d  f ro m ii a and jj a to   ji l ii a B a and ji l jj a B a ,  res pecti vely .   The   cho ic e  of   l B can   be  m ade  in  su ch  a  way  that  0 ) ( 2 ji l ii jj l ij ij a B a a B a X   If  se ver al   ci r cl es  intersect ,  the  te rm s  ,... 2 , 1 l B l are  cal culat ed  in   th e   sam e w ay , s o  t he  final tra ns f orm ation  is:     1 T A T A X T X         with:     T l T   ,                                                                                            ( 14)             If  t wo gr oups   of circl es a re  dis j oi nt,  the  perm utati on  m at rix  P   is again:     1 P A P A X P X   (15)       4.   CONCE PT  O F MOD ULA R ITY   The  ap plica ti on  of  co nce pt  of  m od ularit y  to  def ine  t he  ne w  arc hitec ture  of   sm al l  arti fic ia l  netwo r ks  involves  the  fol lowing  four st eps:     4.1.   The dec ompos ition   The  dec om po s it ion   of   a  ta s k  into  subta s ks   is  the  first  ste p  toward  the  a ppli cat ion   of  m odularit y.  It   can  be  done   on   t he  in put  sp ace  (ho rizo ntal  decom po sit ion )  or   on   t he  in put  var ia bles  (v e rtic al       dec om po sit io n)  [ 19] .      4.2.   Org an iz at io n  of t he  m od ul ar  a rchi tectu r e .   The  interc onne ct ion   of  the  m od ules  can  be  pa rall el   or   in  series.  I n  the  pa rall el   arch it ect ur e,  al l   m od ules  proce ss  their  in f or m at io n  sim ultaneousl y.  The  gl ob al   ou t pu t  i nvol ves   s om e  m odules  or   al l  of  them ,   dep e ndin g  on  t he  ap plica ti on.   The  c ooperat ion   li nk  betwee n  the  m od ules  wh ic h  can  be  of     ty pe  "a nd"  or   of  ty pe  "o r"  [ 20] .      4.3.   Nature  of lear ning    The  orga nizat ion  of  NN s   in  a  m od ular  a rc hitec ture  m akes  le arn i ng  m or e  di f ficult .  T he   m od ules  of   su c h  a n   arc hite ct ur e ca n fo ll ow  diff e re nt learni ng pro ce sse s.     4.3.1.   Indepen den t  l earnin g       Trainin g  m odul es  ind e pe nd e nt ly   see m s  to  be  the  sim plest  way.  This  s ugge sts  that  the  othe r  m od ule s   of   t he  arc hitec ture  do   not  pa rtic ipate   in  le arn i ng.  The  i nteracti on   betwe en  the  m od ule s  then  occ ur s  on l y   durin g resti tuti on phase   [ 21 ] .     4.3.2.   Coop er ati ve  l earnin g   The  pro po se d  idea  is  to  us e  a  global  m et ho d  to  trai n  al l  m od ules  at   the   sam e  tim e.  It  is  necessa ry   then  t o hav e  a  fixe d  arc hitec ture , det erm ined  in  adva nce. An exam ple is  giv e n by ME  [ 22 ] .     4.4.   Co m munic at i on   between  m od ules     The  te ch nique s  for  cal culat ing   the  ov e rall   ou tp ut  of  a  m ul ti - networ k  arch it ect ur e  a re  div e rsely   var ie d,  am on g wh ic h  is t he  te chn i qu e  of   w e igh te d v otes  [23] . A  w ei gh t i s  the n  ass ociat ed  with eac h  cl assifi er   represe nting   a  m easur e  of  pe r form ance.    Anothe r  te chn i que  is  to  m ini m i ze  the  m ean  square  e rror   (M S E)  of  the g l ob al   outp ut.       5.   PROPE SED  NEU ROGL IAL N ET W O RK A RCHIT ECTU RE    The  a rch it ect ure  a dopted   f or  our  ANG N  is  par tl y  base d  on  the   co nce pts   of  m od ularit y  an d  rem ai ns   ver y  cl os e  to  t he  ab ov e - m entione d  arc hitec ture  "M E".  I n  this  arch it ect ur e,  a  nu m ber   of  N Ns  (e xp e rts)  are   Evaluation Warning : The document was created with Spire.PDF for Python.
In t J  Elec  &  C om p  En g     IS S N: 20 88 - 8708       A Novel N e ur ogli al Arc hitec ture f or  M odel li ng S i ngular  Pe rturbati on  Syst em  ( Sami a S ala h)   4815   su pe r vised  by  a  GN   (F i g ure  1).  The  glial   su pe r visor  net w ork  determ ines  the  wei gh ti ng   coeffic ie nts  of  each   exp e rt’s  par ti ci pation  acc ordi ng   to  t he  input.   Th e  A NGN  use s  the  "divi de   and   c onquer"  strat egy  in  w hich  the   respo ns es  f r om  the  ex per t NNs  are  com bin ed   into  a  sin gle  r apid  respo ns e. Th e  la tt er  is  ag gr e gated   t o  the   slo w   respo ns e  of  the  glial   super visor  netw ork,  res ulti ng  in  the  ove rall   re sp onse   of  our   syst e m .  Algo rithm   dev el op e d  in  t his  arti cl e  is  based   on  softm ax  f un ct io n.   In  this  al go rithm ,  the  super visor  GN   e valuate s  the  perform ance o f  each  e xpert  N N  acc or ding t o t he  in put a nd s el ect s the b e st  of them  to  be  a ct ivate d.           Fig ure   1 .   Ne urog li al  n et w ork a rch it ect ure       As  il lustrate d  i n  Fig ure  1,  our   global  A NGN   is  com po sed  of  K  fast  N Ns  a nd   a  slo w  supe rv is or   G N .   The  vecto r  of  the  in pu ts  is  di vid e d  int o  tw o  vecto rs  X s  an d  X f      rep rese ntin g,   resp ect i vely ,  the  slo w  in pu t s  an d  the  fast  inputs   of   the  net wor k.   T he  vecto r  X s   is  assigned  to  the  su pe r vi so r  net wor k  and   the  vecto r  X f  is  ass ign e d  t o  t he   va rio us   e xpert s.  T he  respo nse s  of  the   e xp e r t  m od ules   are   com bin ed  t o  f or m   the  fast  outp ut.  The  supe rv is or  GN   has  tw o  outp uts,  the  first   on e,  wh ic h  is  us e d  for  co ntr ol   and   super visi on   of   the  e xp e r ts  by  sel ect ing   the  m os t  su it able  netw ork  an d  de act ivati ng   the   oth ers  for  ea ch  input  vect or.  The  sec ond  ou tp ut   represe nts  the   slow   res ponse   of   t he  GN,  this  outp ut  is  aggre gated  at   the  fast  ou t pu t   to  f or m   the  global   respo ns e  of  th e  ANGN.  The   structu re  of  the  global  A N GN   is  cl os e  to   m ulti - m od el   appr oach.  I nd ee d,   eac h  exp e rt  netw ork   is  spe ci al iz ed  in  a  pr eci se   s ub - pro blem ,  a  ve rtic al   deco m posit ion  of  t he  i nput  var ia bles  into   fast an d sl ow i nputs,  as  well  as a  horizo ntal  deco m po sit io n of t he fast  in pu t space  X f    a nd  slow   X s  is use d.      5.1.   Algori th m  b ase d on func tion so ft m ax   In   t he  A N GN,   the  vect or   of  the  fast  in puts   X f   is  sect ion e d  bot h  seq ue nt ia ll y  and   in  pa rall el   into  K  vecto rs  X f1 ,  X f2 ,….,   X fK   .  T hes e  K  vecto rs  X fi   const it ute  the  r especti ve  in puts  of   t he  K  e xperts.  T he  slo w  input   vecto r  X S  is  al so   sect io ned   i n  t he  sam e  way  into  K  vecto rs  X S1 ,  X S2 ,…,  X S K  wh ic h  a re  a ppli ed    c on sec ut ively   to   the s up e rv is or  GN.   In  this  al gorith m ,  each  vect or  of  t he  fast  in puts  ( ) , ( = 1 , 2 ,…,K)   is  a pp li ed   to   al l  e xp e rts  at   t he   sam e  t i m e.  These  m od ules  le arn   dif fer e nt  e xam ples  from   the  le ar ning  ba se  an d  s pecial iz e  in  s pecific  gro ups   of   res ponse s  that  are  then  w ei gh te d  by  the  su pe rv is or   G N  accor ding  to  their  abs olu t e  diff ere nces  a nd   th e   desire d  res po ns e.  T he  e xp ert  w ho se   res pons e  is  t he  cl os est   to  the   desire d  re spon s e  will   ha ve   the    highest  weig ht.   The  s uper vis or  G N,  w hose  i nput  is   the   vect or  of  slo w  i nput s   ( ) ,  e valuates  t he   pe rfor m ance  of  eac h   exp e rt  acc ordi ng  to   the  i nput   an d  sel ect s   th e  best  one  t o  be   act ivate d.  T hi s  al gorithm   shows  m any  si m i la riti e s   t o  the  on e  de ve lop e d  by  Jaco b  [ 22]   in  the  a r chite ct ur e  "m i xtures  of  e xp e r ts" .  These  sim i la riti es  are  relat ed  to   the s up e rv isi on and select io n of ex per ts , howeve r  t her e a r e thr ee  m ai n  dif fe ren ces:     In   t he  "m ixtur e  of   e xperts"  a rch it ect ure,  the   super visor  an d  the  e xp e rts  ha ve  the  sam e  tim e  scal e.  Fo r  ou r   ANG N,  t he  tw o  ty pes  of m odules  work on t wo d i ff e ren t t i m e scal es, slow a nd f ast .     The  ta sk   of  the  su pe rv is or   in   the  ME  app roach  is  to  su perv ise   and   c on tr ol  the  com petition   of  ex per ts.   I n  our  ap proac h,   the  GN   s uper vi ses  and   c on t r ols  the  com petit ion   of   e xpert s  as  well   as  con t rib uting   to  the  ov e rall  r es ponse  of the  syst em  b y  pro vid in g  t he  sl ow r es ponse .               1 2 . .        Exp ert   n etwo rk  k     ∑     Exp ert  n etwo rk 1   ex p ert  1     Glial   n etwo rk   ∑     Exp ert  n etwo rk 2           = 1 , 2 , … ,       Evaluation Warning : The document was created with Spire.PDF for Python.
                          IS S N :   2088 - 8708   In t J  Elec  &  C om p  En g,   V ol.  8 , N o.   6 ,  Dece m ber  2 01 8  :   4810   -   4822   4816     Fo r   the  sel ect ion,  the  e xperts '   weigh ti ng  i s  bin a ry  (0  or  1).  I n  the  ME  a ppr oac h  wei gh t s  are  prob a bili ti es  betwee n 0 a nd  1.   Be fore  present ing   our  al gorit hm ,  it  is  wo rth   no ti ng  that  th e  exp e rts’  le ar ning  are  c oope rati ve,   w hic h  m eans  ex pe rts learn  sim ultaneousl y  an d  div i de  the   ta sk  du r ing   t he  le ar nin g  process .  T he  weig hts o f  t he  exp e rt   and   th os e  of  the  G N,   f or   the   sel ect ed  vecto r,   are  up dated  at   the  sa m e  tim e  by  pr opaga ti on .   T he  le arni ng   of   exp e rts a nd the  GN is ca rr ie d ou t  sim ultaneou sly  b y  fo ll owi ng these  steps:   1.   The  se pa rati on of in put vect or X  i nto   both  slow an d fast  ve ct or s:    and   .   2.   Each   vecto r  ( ) , ( = 1 , 2 ,…,K)  is i nten de d for all  expe r ts.   3.   Each  vecto r  ( ) , ( = 1 , 2 , …,K) is i nten de d for the  s up e rv is or GN.   4.   The  le ar ni ng of the  GN t o ob t ai n  the  desir ed   sl ow   res pons e   corres pondin g t o  the i nput.   5.   The   sel ect ion  of  t he  ex per t   ac cordin g  to   the   value   of  the   prob a bili ty   ( / )  and  sel ect ion   of  t he   it h  ex pe rt  by    e valuati ng the sl ow in pu t ( )   .   6.   The  outp ut  of  exp e rt  i  repres ents  the  co ndit ion al   ave rag e  of   the  desire d  respo ns e  with  resp ect   the  in put   and the e xpert  netw ork.             The  le ar ni ng algorit hm  o f  th e  ANG N  arc hite ct ur e .   1.    I niti al iz at io n of t he  sy nap t ic  w ei ghts  of  e xp e rts a nd the  GN.   2.     f or each  slo w  in put vect or  ( )   :   2.1   Ca lc ulate   for      = 1 , 2 , …                                              f or   = 1 , 2 , … ,                                                                                                                          e nd  for      2.2.  Re peat ste p 2.1  un ti l t he   al gorithm   con ve rg es .   2.3. If   m ax i g     t han 1 i g             el se   g i   =  O   2.4.   ) ( ) ( 1 ) ( 1 ) ( ( f i s i K i i f i K i i f i y y y g y Y                   Aggregati on  of the tw o sl ow a nd f ast   outp uts    end f or     ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( 1 2 ) ( 2 ) ( 2 1 ) ( ) ( ) ( ) ( 1 ) ( 1 ) ( 1 1 2 1 e x p 2 1 e x p ) ( ) ( ] ,..., , [ ) ( ) ( )) ( e x p ( )) ( e x p ( ) ( ) ( ) ( s i i i i i f i m f i i m f i m f i m f i m f m f i s i m s i m s i m s i m s i m s m s i m s i m s i m s i k j f i f j f i f i i T q i i i f i m f i T f i m f i k j j i i i T s i i X k g k h k a k a X k e k h k W k W k y k e X k e k W k W k y k d k e k W X y y d g y d n g k h y y y k y k W X y k u k u k g k a X k u d Evaluation Warning : The document was created with Spire.PDF for Python.
In t J  Elec  &  C om p  En g     IS S N: 20 88 - 8708       A Novel N e ur ogli al Arc hitec ture f or  M odel li ng S i ngular  Pe rturbati on  Syst em  ( Sami a S ala h)   4817   6.   APPLI CA TI ON   The  A SM  is  a  highly   coupled   nonlinear  c omplex  syst em   an d  is  a  ty pical   e xam ple  of   two  tim e - scal es  syst e m .  The  per f or m ance  of   t he  pro posed  A NGN  arc hitec ture  is  assesse d  on   both  t he  re du ce d,   sl ow   a nd  fast  m od el s  of  the   m achine.  The   sta te   m od el   of  the  in duct ion  m achine   in   the   sta ti on a ry  c oord i nate   syst em   ( , )   can  be writt en a s:     0 . 1 1 1 2 2      s r s r r r s r S r s v I T R B T R T B I T dt d                                                                       (16)       r T s s r em J R L B P T 2                                                                                                                 (17)       Or:             . 1 1 1 2 2 I T R B T R T B I T A rp r rp sp r sp     with   : r rp s sp T T T T , , =  = ( 1 − 2 ) / ( ∗ )   )      Applic at ion   of  the  GCT  t o  th e  sta te   m at rix  A  res ults  in  tw o  ci rcles  wh ic h  inters ect   (F i g ure  2a) .     A   change i n  th e s iz e o f   rays is   c arr ie d o ut  by tr ansfo rm ation   1.       R B I P P r r s 0 0 , 2 1 1 1     To  get:      . 1 1 1 1 2 2 2 2 2 1 J I T I T I T I T A rp rp sp sp                                                                                             (18)     The  ce nters  of  the tw o  ci rcles   (F ig ur e   2a )  a re  r el ocate d by:     , 0 , 2 2 2 2 1 2 2 I I I P P   And     . 1 1 0 2 2 2 2 2 2 J I T J I T I T A sp sp sp      The ne w  li ne  c ircl es are s ti ll  double  a nd d is jo int (Fi g ure  2 b);  the  final tra nsf or m at ion  is:         r s P P 2 1 ,   R B I I P P r 2 2 2 1 0                                          ( 19)   Evaluation Warning : The document was created with Spire.PDF for Python.
                          IS S N :   2088 - 8708   In t J  Elec  &  C om p  En g,   V ol.  8 , N o.   6 ,  Dece m ber  2 01 8  :   4810   -   4822   4818                (a)                      ( b)     Fig ure   2 .   (a )  C i rcles that  inter sect ;   (b)   Disjointed Circl es       In   this  case,  t he   slow   an d  fas t  com po nen ts  are  easi ly identifie d.   W e  ca n  then  a pp ly   SP M  to  dev el op   the slo w  a nd f a st su bm od el s.   By     putt ing :      z x     We   get:                                                                                              (20 )   z J x L p T T sp em 2     This  f orm   is  st and a r d,   the   fl ux  x  is  slo w  a nd  the  flu x  z  is  fast.  By   dec om po sing   the   fl ux e s,  the   volt ages  a nd  the   to rque,  w e   ob ta in:        f s s s s f s s v t v v z t z z t x x                                                                                                   (21)   f em s em em T T T     The red uce d  sl ow m od el  is th en:     s s s s s s r r s s v v T T dt d 1 1 1 0 0 1 1                                      , 1 s s s s s s s s s em v v L pT T     - 2 5 0 - 2 0 0 - 1 5 0 - 1 0 0 - 5 0 0 - 2 0 0 - 1 5 0 - 1 0 0 - 5 0 0 50 100 150 200 Re Im     - 2 0 0 - 1 0 0 0 100 - 3 0 0 - 2 0 0 - 1 0 0 0 100 200 300 Re Im     A c t u a l   E i g e n v a l u e s A c t u a l   E i g e n v a l u e s , 0 0 . 1 1 . 1 0 2 2 2 2 2  s r sp rp sp v R B I I z x I T I T I T z x dt d Evaluation Warning : The document was created with Spire.PDF for Python.
In t J  Elec  &  C om p  En g     IS S N: 20 88 - 8708       A Novel N e ur ogli al Arc hitec ture f or  M odel li ng S i ngular  Pe rturbati on  Syst em  ( Sami a S ala h)   4819   The red uce d  fa st m od el  is:               , 1 1 1 s s sp s s sp s s v T L I           f s r s f r s s sp s s r s r I R B L v T R B       1 1 1 1     6.1.   Results  and  discussi on.   The  ANGN_ MAS  m od el   is  com po sed  of   two  groups  of   inputs  v sα ,  v sβ ,  wh ic h  are  dec om po sed  i nt o  two  sl ow   i nput s  v sα( s ) ,  v sβ ( s )   and   tw o  fa st  inputs  v sα( f ) ,  v sβ( f ) .   The  ANG N_M AS   c on sist s  of   fou r  ex pe rts  and  a   glial   su pe rv is or  netw ork .  The   four   e xp e rts  a nd   t he  glial   ne twork  hav e  si m il ar  arch it ectu res ,  co ns ist in g  of  an   input  la ye r  of   four   neurons  a nd   a n   ou t put  l ay er  of   one  ne uro n.   The  ef fe ct iveness  of  th e  ANGN   al gor it h m   pro po se d  i n  th is  pap e r  is  il lu strat ed  by  the  perform ance  ind e x  root  m ea n  s qu a re  (RMS)  value.  T he  RM S  of   the stat es er ror i s calc ulate d  as :     RM S= √ ( ∑ 2 ( ) = 1 ) ⁄     wh e re  n  is  the  nu m ber   of   sim ulati on   ste ps ,  a nd   ( )   is  the  diff e ren ce  betwee n  the  sta te   var ia bl es  of   t he  m od e l   and   t h e  true  sy stem   at   the  it h  ste p.   Fig ure  3  ( a)  an d  ( b)   s ho w  the  go od   c onve r gen ce of   t his  le arn i ng   al gorithm .   The  m ini m u m   value,  w hich   i s  ve ry  cl os e   to   zer o  occurs  a f te r  only   tw o  it erati on s .  T he  a lgorit hm   con ve rge d  perfect ly  and  quic kly.                 (a)           (b)     Fig ure   3. (a )  E vo l ution o f  t he gli al  n et w ork ;   (b)  E voluti on  of e xp e rts       Fo r  a  c om par ison   with  the  al gorithm s  in  [7] ,  we  ch oose  the  sam e   par am et e rs  of  the   induct ion   m oto r .  The  sim ulati on   resu lt s  are  pre sented  in  Fi g ure   4  and   5.   T he   RM S  values  f or   sta te   var ia bles  are  pr ese nte d  in  Table  1.   2 4 0 0 . 2 0 . 4 0 . 6 0 . 8 1 x   1 0 -26 i t e r a t i o n R M S     2 4 0 0 . 2 0 . 4 0 . 6 0 . 8 x   1 0 -28 X :   2 Y :   7 . 5 5 e - 0 3 0 i t e r a t i o n R M S E x p e r t 1 E x p e r t 2 E x p e r t 3 E x p e r t 4 f s s f s s f em I I p T f s f s s f s f s s s f s f s v v L I I T T I I dt d 1 1 0 0 1 Evaluation Warning : The document was created with Spire.PDF for Python.