TELKOMNI KA   ISSN:  1693-6930        Modula r  Network SOM (m nSOM): A Ne w Powe rful T ool …… (M.  Aziz Mu slim 169 MODULAR NETWORK SOM (M NSOM): A NEW  POWERFUL TOOL IN NEURAL NETWORKS      Muhammad Azi z   Muslim   Electri c al Eng i neeri ng Dep a rtment, Bra w ijaya University  Jl. MT Ha ryo no 167, Mala ng 651 45, Ind one sia, Phon e/fax: (0341)  5541 66   Email: muhazizm @ gmail. com       Abs t rak   Pada pa per i n i dipe rkenal kan  su atu arsitektu r   ba ru  dalam  jaring a n  syaraf tirua n , yan g   dise but seba gai m odula r   netwo rk SOM  (m nSOM).  m n SOM  adal ah  suatu gen erali s a s da ri Self  Orga nizi ng  M aps (SO M ) yang  dibe ntuk den gan  m e n gganti  unit-u n it nod e p a d a  SOM  de ng an  m odul-m odul  fungsi. M o d u l fung si ini  dapat b e ru p a  su atu m u lti laye r pe rce p tron, recurren t   neural n e two r atau  bah kan SOM  itu  sen d iri. Ka re na m e m iliki fleksibilita s  ya ng  sang at tin ggi,  m a ka m n SOM m enjadi tool yan g  sa ng at berm anfaa t dalam  bidang jaring an syaraf tirua n .     Kata kunci m odul-m odul fungsi, ge neralisa s i da ri SOM, m n SOM       A b st r a ct  In this  pap er, a ne po werful  m e tho d  in  artificial   neu ral networks, calle d m odular  netwo rk SO M (m nSOM) is introd uced.  m n SOM is   a gene ralization of  Self  Orga nizi ng M aps  (SOM) fo rm ed by re pla c in g each ve ctor unit of SO with functio n  m odule. The m odular fun c tion   coul d be a m u lti laye r pe rceptron, a re curre n t neu ra l netwo rk o r   eve n  SOM itself. Ha ving t h is  flexibility, m n SOM becom es a  new powerful tool in ar ti ficial neural network.     Key w ords : f unctio n  m odules, gen erali z ation of SOM, m n SOM       1. INTRO DUCTIO N   Artificial Neural Net w orks,  comm only referred  a s   “Ne u ral  Networks” i s  o ne of t he majo research areas i n  artificial in telligence. Using neural net works,  sci entist s   try   to solve many  probl em s by  mimicking  le arnin g  m e ch anism  of  h u m an b r ai n.G enerally spea king, th ere  a r e two  major le arni n g  strate gie s  of neural net works. Fi rst is su pe rvise d  learni ng. Mult ilayer pe rcept ron  and  Radi al  Basis Fun c ti on a r e exam ples  of famo us n e u r al n e t works archit ecture  whi c h  are  trained in  supervi sed  way. The later is un s u p e rvise d  lea r ning. The  most succe s sfu l   unsupe rvise d  learne d network i s  Koho ne n m odel of Self Organi zin g  Maps  (SO M ) [1].  SOM ca n onl y deal with ve ctori z ed  data.  To co pe with  this difficulty, many modifi cation to  the stand ard algo rithm   have been  prop osed  [1].  Most  of the  modification  is  by chang ing  comp etitive process o r  ad aptiv e pro c e s s in the stan dard SOM al gorithm. In 2 003, Tokuna ga  et.al. [2] prop ose d  a  gene ralizatio n of S O M alg o rithm  calle d mo dul ar n e two r k SOM (m nSOM ).  The idea i s  q u ite simple: repla c e ea ch  nodal u n it  in SOM by a function mo dul e. By choosin g an  approp riate f unctio n  mo d u le a c cording  to the ta sk,  the mnSOM   deal with n o t merely vector  data but also deal s with  function s, systems  an d manifold s. By employing  a multi layer  percept ron  (MLP) fo r exa m ple, the  mn SOM lea r n s  i nput-o utput  relation s a s   set of fu nctio n  an simultan eou sl y generate s  feature m a p s  rep r e s entin g the relatio n s.   This  pap er  aims to int r od u c e m n SOM a nd di scus s it s further ap plication. The  re st of this  pape r is  org a n ize d  a s  follo ws. Se ction II briefly  explai ns a r chitectu re and al go rithm of mnSO M.  Suc c ess f ul applications  of mnSOM are given in  Sec t ion III. Finally Sec t ion IV c o nc ludes  t he  pape r by discussion of futu re re se arch di rectio n on mn SOM.      2. THE  MN SOM  mnSOM is a n  extensio n of SOM in which e a ch vector u n it is repla c ed by functio n   module. Stud ying the mn SOM mean s studying SO M more d e e p ly. In this section the o re tical  Evaluation Warning : The document was created with Spire.PDF for Python.
                                        ISSN: 1 693-693 0     TELKOM NIKA   Vol. 7, No. 3,  Desem b e r  2009 :  169  - 174   170 asp e ct of m n SOM will b e  discu s sed  briefly,  starts from b r ief  explanation  on SOM theory  followe d by discussio n  on  mnSOM.     2.1. Self Organizing Map s  [1]   The p r in cipal   goal of  self -o rgani zin g  ma ps i s  to t r an sform  an in co ming  sign al p a ttern of   arbitrary dim e nsio n into o n e  or t w o dim e nsio nal di scre te map a nd t o  pe rform thi s  tra n sfo r mati on   adaptively in a topologi call y ordered fashion, as  sho w n Fig. 1.         Fig.1 Kohon e n  model of SOM     There are two ways to train SOM, on-line lea r nin g  and batch l earni ng. Fro m  weight   adaptatio n p o int of view,  on-lin e lea r ni ng al ways  m a ke wei ght  a daptation on every  sin g le data  being  present ed to t he  net work,  on th other ha nd  b a tch l e a r ning   SOM ma ke  weight a daptati o n   after all of data being p r e s e n ted to the ne twork.   SOM algorith m  con s ist s  of 4 pro c e s ses [ 1 ]:  1. Evaluative  Proce ss  After initializi ng syna ptic  weig hts in th e netwo rk, fo r each input  pattern, the n euro n  in th e   netwo rk  com pute their respective value s  of a discrimi nant functio n   2 2 1 k i k i w x E   for all  k         ( 1 )     In this equati on,  i x  and k w are in put pattern a nd syna ptic weight, respe c tively  2. Comp etitive  Process  Usi ng th e di scrimin ant fu nction  in e q u a tion (1) a s   the ba si s for com petition  among  the   neuron s, the particula r neu ron  with the large s value  of discrimin a n t function i s  decl a re d a s   winn er  of the co mpetitio n. Usi ng Eu clide an  cr ite r ion,  the win ner of  the competition  i s   neuron which  gives minimu m Euclide an  distan ce to th e particula r in put pattern.     k i k i E k min arg *          ( 2 )     3. Coo perative  Process  Usi ng the to pologi cal nei ghbo rho od centere d   at the win n ing  neuron,  a se t of excited  neuron s is de termine d On-lin e lea r ni ng:     ) , ( * i k i k k h           ( 3 )     Batch lea r nin g :     ' * ' * ) , ( ) , ( i i i k i k k h k k h          ( 4 )   Evaluation Warning : The document was created with Spire.PDF for Python.
TELKOMNI KA   ISSN:  1693-6930        Modula r  Network SOM (m nSOM): A Ne w Powe rful T ool …… (M.  Aziz Mu slim 171 usin g Gau s si an neig hbo rh ood fun c tion :    2 * 2 * 2 ) , ( exp ) , ( i i k k l k k h         ( 5 )     whe r ) , ( * 2 i k k l is lateral distan ce to  the winning  neuron. The  para m eter   i s  the effective   width  of the t opolo g ical  ne ighbo rho od.  Usually  the  si ze  of topol ogi cal  neig hbo rh ood  sh rin k with time. In t h is  case,   can be cho s en  in the form of:    ) / exp( ). ( ) ( min max min t t        ( 6 )     whe r  is  time c o ns tant.   4. Adaptive  Pro c e s In adaptive process ea ch  synapti c  weig ht of the network were u p dated usi ng the followin g   equatio ns:   On-lin e lea r ni ng:     i k i k i k w x w ) (         ( 7 )     is learning  rat e  para m eter,  and this p a ra meter can be  decrea s in g wi th time such as      ) / exp( ). ( ) ( 1 min max min t t        ( 8 )     Batch lea r nin g :     i i k i k x w          ( 9 )     whe r k i is normalize d  neig hborhoo d fun c tion  state d  in equatio n 4.    2.2. Modular Net w o r k SO M (mnSOM)  The mnS O M  con s i s t of a n  array of fu nction  modul es o n  a l a ttice. Type  of function   module i s  d e termin ed by d e sig ner. F o dynamical  sy stem, a recurrent ne ural n e twork  (RNN) is a  good  can d ida t e [3]. An example of the  architectu re  of mnSOM with RNN mod u les i s  sho w n in  Fig. 2.         Fig 2. mnSO M architectu re [4]  Evaluation Warning : The document was created with Spire.PDF for Python.
                                        ISSN: 1 693-693 0     TELKOM NIKA   Vol. 7, No. 3,  Desem b e r  2009 :  169  - 174   172 A learni ng  al gorithm  of m n SOM i s  si mi lar to th at of the bat ch l earning SOM. It  con s i s ts  of four pro c e s ses [2][3]: evaluative, co mpetitiv e, cooperative and  adaptive  pro c e s ses. Let a  set  of input -outp u t sig nal of  a dyna mical  system  be   L j M i y x ij ij , , 1 ; , , 1 , , where  M   and  L  are the  numbe r of data cla s ses a nd the numb e r  of each data  in each  cla s s, respe c tively.  1. Evaluative  proce ss  Inputs  ij x  are  entered to  all mod u le s, and th corre s p ondin g  output ) ( ~ k ij y are  evaluated by:    2 1 ) ( ) ( ~ 1 L j ij k ij k i y y L E                 (10 )   L j M i K k , , 1 ; , , 1 ; , , 1     whe r k  sta n d s for th e mo dule nu mbe r K  stand s for the numb e of module s i  st and s f o the numbe r o f  data classe s, and   j  stand s for the data  numbe r in ea ch cl ass.   2. Comp etitive  process  The mod u le  with the mini mum  ) ( k i E  with res p ec t to  k  is the win ner fo r data cla s i   ) ( * min arg k i k i E k                                (11 )     3. Coo perative  pro c e s Learning rate s of the mod u les a r e dete r mine d by the following n o rmali z e d  nei ghbo rho od  function:   T t t v k r t v k r t M i i i k i ,..., 1 ; ) ); , ( ( ) ); , ( ( ) ( 1 ' * * ) (                     (12)            ) ( 2 exp ) ; ( 2 2 t r t r                              (13)    t e t ) ( ) ( min max min                              (14)    whe r ) , ( 2 1 k k r  stan ds fo r the  di stan ce b e twe en mo dule  1 k a nd mo dule  2 k t is the  iteration num ber in mnSO M, T is t he numbe r of iterations in mnS O M,  min  is the minimum   neigh borhoo d  size, max  is the  maximum n e i ghbo rho od  si ze, an  is  a neig hbo rho od  decay  rate. mnSOM  term inates whe n  no  si gnifi ca nt cha nge i s  o b se rved in th e re sulting   map.  4. Adaptive  Pro c e s Suppo se th at RNN i s  em p l oyed a s  fun c tion m odule,  con n e c tion  weig hts a r modified by   Backpropa ga tion Thro ugh  Time (BPTT)  learni ng a s  follows,     M i k k i k i k E t 1 ) ( ) ( ) ( ) ( ) ( w w                           (15)    whe r ) ( k w is  the con n e c tion weights  i n   mod u le  k Fi g.  3 summ ari z e s  a  learning al gorithm  of mnSOM.     Evaluation Warning : The document was created with Spire.PDF for Python.
TELKOMNI KA   ISSN:  1693-6930        Modula r  Network SOM (m nSOM): A Ne w Powe rful T ool …… (M.  Aziz Mu slim 173                                   3. SUCCESS FUL APLI CATIONS OF  MN SOM  Since int r od u c ed i n  20 03,  mnSOM h a applie d in  wi de a r ea s. To kun aga  et.al.[3] use d   mnSOM  with  MLP mod u le s to ge nerate  map of  we ath e r of  Japan  b a se d o n  mete orolo g ical d a ta:  atmosp he ric  pre s sure, tem peratu r e, h u m idity and  su nshi ne h ours.  Usi ng the  re sulting  map, t hey  can p r edi ct weather  cha r a c te ristic  of unknown pla c e s       Fig. 4 Control l er for AUV[9]  base d  on  mnSOM.         Fig. 5 Face M aps G ene rate d by SOM 2  [11]      T. Minatohara et.al.[13] first appli ed  mnSOM  in control with t heir propo sal  of Self  Orga nizi ng A daptive Co ntrolle r (SOA C) for cont rolli ng inverte d  pend ulum. O ne year late r,  S.Nishid et.al. [9] propo sed m n SOM t o  contro l their “Twi n Burg er” Auton o m ous Unde rwa t er  Vehicle  (A UV ). Fig.4  depi cts the  structu r e, a nd F a ce  Map s   Gen e rated by S O M 2  in Fig.5  sta nd  for  Fo rward Model Mod u les and   Controller Modul es,  re spe c tively. M. Aziz Mu slim et.al. [4 -8]  prop osed ta sk  seg m entati on in  mo bile  ro bot by  mn SOM follo we d by a  g r ap h - map  ap pro a c h.  Acco rdi ngly complex navig ation task of mobile  robot  can b e  simplif ied to some e x tent.  S pecial m n S O M cla ss,   cal l ed S O M n , has bee n pro p o s ed by T.Fu ruka wa [10]. Here, the  function m o dule is SOM itself. Thi s  is fo llowe d by the  prop osal of  S e lf Org anizi n g  Hom o topy [11]  claime d a s  a  foundatio n for brain-li ke int e lligen ce. Ap plicatio n of SOM n  can  be f ound in [1 2]. In   that paper, S O M 2  is used for face  re cog n ition.  Initialization and Initial evaluative process  for t=1 to T      Competitive process (Eq.(11))      Cooperative process (Eqs.(12), (13) and (14))      for p=1 to P            for i=1 to M           for j =1 to L              fo r k=1 to K                    BPTT lear ning (Eq. (15))              en          end            end      end  end     Fig. 3 Summary of mnSO M Trainin g  Algorithm [4]     Evaluation Warning : The document was created with Spire.PDF for Python.
                                        ISSN: 1 693-693 0     TELKOM NIKA   Vol. 7, No. 3,  Desem b e r  2009 :  169  - 174   174 4. CON C L U D I NG REM A R K As a  gen erali z ation  of SO M, mnSOM i nher it s all  of  advantag eou s a nd di sa dvantage ou of SOM. In a ddition it al so  has  advanta geou ove r   convention a l SOM, sin c m n SOM can d eal  with un-ve cto r ize d  data.   Many fun c tio n  mod u le s h a ve be en tri ed  su ccessfu lly, such a s   Elman n e two r ks, fully  con n e c ted RNN, MLP, Neural G a s an d SOM it self. Howeve r, st ill so many neural n e two r ks  architectu re  remain  untou ched, for exa m ple radial   b a si s fun c tion s family. It is a l so inte re stin g to   inclu de sto c h a stic p r o c e ss  in the functio n  module of  mnSOM.   Re cent a ppli c ation  of mn SOM deal with off-lin data only. It is challe ngin g  to u s e   mnSOM in re al-time. Altho ugh  current v e rsi on of mn SOM algo rith m doe s not p r ovide  with th is   capability, we believe that  by  minor m o dification on the  st andard algorithm,  m n SOM can  deal  with real -time  data. As a relatively new  appro a ch, mnSOM still has ma ny open que stion s  to   answe an d has wide app lication  a r e a  whi c is re m a in untou ch e d . Hen c e, extensive  re sea r ch  on mnSOM i s  our co mmon  task.       REFERE NC ES  [1].  T. Kohonen, “ Self-Or g anizing Maps ,” S p ring er, 19 95   [2].  K. Toku naga,  T. Furukawa , and S. Ya sui, '' Modular   Net w o r k  SO M: Ex tensio n of S O M   to th e real m of fun c ti on spac e ," Proc. of  Wo rksho p  on  Self Orga nizing Map s   (WSO M 20 03)}, pp. 173-1 7 8 , 2003.   [3].  T. Furukawa, K. Tokunag a, S. K aneko, K. Kimotsuki, and S. Yasui, '' Gen e ral i zed self- organizin g  maps (mnS OM) fo r de aling  w i th dy namical s y stems ," Pro c . of 2004  Internation a l  Symposiu m  on  Nonlin e a r Th eo ry and Its Ap p lication  (NO L TA200 4),  Fuku oka, Jap an, pp. 231-2 34, 2004.   [4].  M. Aziz Mu slim, M.  Ishika wa, and  T. Furukawa , '' A Ne w   Appro ach to Task   Segmenta tio n  in Mobile Robo ts by   mnSOM ," Proc. of 2006 I EEE World  Congress on  Comp utation a l Intelligen ce (IJCNN20 0 6  Se ction ) , pp. 6542 -654 9 ,  Vancouve r , Cana da,  2006.   [5].   M. Az iz Mus l im, M. Is hik a wa, and  T. Furuk a wa, '' Ta sk Segme n tation in  a M obile Ro bot  b y  mnSOM : A Ne w   App r oach To  Tr aining Exper t  Module s ," Neu r al  Comp uting and   Applicatio n, vol. 16, pp. 571-58 0, Spring er, 2007.   [6].  M. Aziz Mu sli m , M. Ishika wa, and T. F u ru ka wa, ” T a sk Segmen tation in a M obile Robot   b y  mnSOM  and Hiera r c h ical Cluste ring ,” Interna t ional Wo rkshop on Self-Orga n izi n g   Maps  (WS O M ) 200 7, Bielefeld, Germ a n y, 2007   [7].   M. Az iz  Mus l im, Mas u mi Is hik a wa, Tet s uo  Furukawa, “ Tas k  Seg m enta tion in  a Mobile   Robo t b y  mnSOM and   Clustering  w i th Spa t io-temporal  Co ntiguit y ”, Internatio nal   Jou r nal  of I nnovative  Computing,  In format ion  an d Control  (ICIC),  ISSN  1349 -41 98,  Volume 5, Nu mber 4, April  2009.   [8].   M. Az iz  Mus lim, Masumi Is hik a wa, “ Formation o f  Graph - ba s e d Maps fo r Mobile   Robo ts usi ng Hidden  Markov  Mo dels ”, Pro c . of 2008 IEEE World Congress on   Computational Intelligen ce  (IJCNN200 8 Section ) , Hon g ko ng, 200 8.  [9].  S. Nishida, K .  Ishii, a nd  T .  Furu ka wa,  “ An  Online  Adaptation  Control Sy stem Using  mnSOM ”, L e cture Note s in Co mpu t er Scien c e ( Edited boo k of 13th Internation a Confe r en ce  of Neu r al In formation Proc e s sing (ICONIP200 6)),  Vol.4232, p p .935-942,   2006.   [10].    T. Furuk a wa, “ SOM 2  as " S OM of S O Ms" ,” Pro c e e d ing s  of the  5th Wo rksho p  on Self - Orga nizi ng M aps (WSO M0 5), pp.41 -48,  Fran ce, 20 05 [11].    T. Furuk a wa, “ Modular  Net w o r k SO M  and S e lf-Or g anizing  Ho motop y  Netw o r as  Foundation  for Brain-like Intelligence ,” 6th Int. Wo rksho p  on  Self-Org ani zing Map s   (WSO M  200 7 ) , Bielefeld/G e rma n y, S eptembe r 3-6th  2007 (K eynot e Speech).   [12].    J. Jian g, L. Zhang, a nd T .  Furu ka wa,”  Impro v ing the Gene raliza t ion of Fish e r fac e  b y   Training Cla ss Selec t ion  Using SOM 2 ,” Le cture  Note s in Co mputer S c ien c e(E d ited  boo k of 1 3 th  Internation a Confe r en ce  o f   Neu r al Info rmation Proce ssi ng  (ICO NI P2006 )) ,  Vol.4233, pp. 278-285, 20 0 6 [13].    T. Minatohara, T. Furuk a wa,”  Self-Organiz ing Adaptiv e  C ontr o llers: Appli cation   to   the Inv e rted  Pendulum ,” Proceedin g s of the 5th Wo rksho p  on  Self-Org ani zing Map s   (WSO M 05 ), Fran ce, 20 05 Evaluation Warning : The document was created with Spire.PDF for Python.