I AE S  I nte rna t io na l J o urna l o f   Ar t if icia l In t ellig ence   ( I J - AI )   Vo l.   5 ,   No .   3 ,  Sep tem b er   2 0 1 6 ,   p p .   95 ~ 1 0 4   I SS N:  2252 - 8938          95       J o ur na l ho m ep a g e :  h ttp : //ia e s jo u r n a l.c o m/o n lin e/in d ex . p h p /I J AI   Na tural I mm une   Sy ste m  Respo nse   A s Co m plex e  A da ptive  Sy ste m  Using   Lea rning  F u zz y  Cog nitive M a ps       A hm ed   T li l i ,     S a l i m   Ch ik h i   De p a rtme n t  o f   Co m p u ter S c ien c e   a n d   i ts  A p p li c a ti o n s ,   Ne w   F a c u lt y   o f   In f o r m a ti o n   T e c h n o lo g ies   a n d   Co m m u n ica ti o n   A b d e lh a m id   M e h ri  Un iv e rsity ,   C o n sta n ti n e ,   A lg e ria       Art icle  I nfo     AB ST RAC T     A r ticle  his to r y:   R ec eiv ed   J u n   4 ,   2 0 1 6   R ev i s ed   A u g   7 ,   2 0 1 6   A cc ep ted   A u g u s t 2 3 ,   2 0 1 6       In   th e   Na tu ra l  Im m u n e   S y ste m s   NIS ,   a d a p ti v e   a n d   e m e rg e n t  b e h a v io rs  re su lt  f ro m   th e   b e h a v io rs  o f   e a c h   c e ll   a n d   th e ir  i n tera c ti o n s  w it h   o th e r  c e ll s    a n d   e n v iro n m e n t.   M o d e li n g   a n d   S im u latin g   NIS  re q u ires   a g g re g a ti n g   th e se   c o g n it iv e   in tera c ti o n s  b e tw e e n   th e   in d iv id u a l  c e ll s  a n d   t h e   e n v iro n m e n t.   In   las t  y e a rs  th e   F u z z y   Co g n it iv e   M a p s  (F CM )   h a s  b e e n   sh o w n   to   b e     a   c o n v e n ien t  to o l  f o r  m o d e li n g ,   c o n tr o ll i n g   a n d   sim u latin g   c o m p lex   s y ste m s.   In   th is  p a p e r,     a   n e w   t y p e   o f   le a rn in g   f u z z y   c o g n it iv e   m a p s  (LF CM )  h a v e   b e e n   p r o p o se d   a s  a n   e x ten sio n   o f   trad it io n a l  F C M   f o r  m o d e li n g   c o m p le x   a d a p ti v e   s y ste m   is  d e s c rib e d .   O u r  a p p r o a c h   is  su m m a rize d   in   tw o   m a jo r   id e a s:  T h e   f irst  o n e   is  to   i n c re a se   th e   re in f o rc e m e n t  lea rn in g   c a p a b il it ies   o f   th e   F CM   b y   u sin g   a n   a d a p tatio n   o f   Q - lea rn in g   tec h n iq u e   a n d   t h e   se c o n d   o n e   is  to   f o ste r  d iv e rsit y   o f   c o n c e p t' s  sta te s  w it h in   th e   F CM   b y   a d o p ti n g   a n     IF - T HEN  ru le  b a se d   s y ste m .   T h r o u g h   m o d e li n g   a n d   sim u latin g   re sp o n se   o f   n a tu ra l  imm u n e   sy ste m ,   w e   sh o w  th e   e f fe c ti v e n e s s  o f   th e   p ro p o se d   a p p ro a c h   in   m o d e li n g   CA S s.      K ey w o r d :   C o m p le x   A d ap tiv e  S y s te m   Fu zz y   C o g n it iv e  Ma p s   I m m u n e  S y s te m   R e s p o n s e   R ein f o r ce m e n t  L ea r n i n g     Co p y rig h t  ©   2 0 1 6   In stit u te o f  A d v a n c e d   E n g i n e e rin g   a n d   S c ien c e .     Al l  rig h ts  re se rv e d .   C o r r e s p o nd ing   A uth o r :   A h m e d   T l i li ,    Dep ar t m en t o f   C o m p u ter   Scie n ce   an d   its   A p p licatio n s ,     Ne w   Facu l t y   o f   I n f o r m atio n   T ec h n o lo g ies a n d   C o m m u n ica ti o n   A b d el h a m id   Me h r i U n iv er s it y ,   C o n s tan ti n e,   A l g er ia .   E m ail:  a g en t2 5 0 0 0 @ y a h o o . co m       1.   I NT RO D UCT I O N     A   C o m p le x   A d ap ti v e  S y s te m   ( C A S)   [ 2 1 ]   is   d ef i n ed   as   a  co l lectio n   o f   en t ities   ( ag e n ts ),   w i th   s i m p le   r u les  o f   b eh a v io r ,   m er g ed   in   a  d y n a m ic  an d   u n k n o w n   e n v ir o n m e n t  an d   ab le  to   ad ap t  to   it  b y   lear n in g   ex p er ien ce s .   T h e  o v er all   ad ap tatio n   to   t h e  e n v ir o n m e n t  ap p ea r s   th r o u g h   t h e  lo ca l  b eh a v i o r   o f   en titi e s   t h at  i s   ad ap tiv e.   Fo u n d   i n   n at u r e,   m a n y   b io lo g ical  an d   s o cial  s y s te m s   ar e  s i m ilar   to   th e  C AS:  t h e  i m m u n e  s y s te m ,   b ir d   f lo ck s ,   t h e  ce ll,  i n s ec t  co lo n ies,  b r ain ,   ec o n o m ic  m ar k ets  etc. . . .   All  t h ese  s y s te m s   a r e  ch ar ac ter ized   b y   th eir   t w o   k e y   co n ce p ts ,   n a m el y   th e  e m er g e n ce   o f   g lo b al  b eh av io r ,   w h ich   i s   d u e  to   o f   th e   lack   o f   ce n tr alize d   co n tr o l a n d   m ea s u r i n g   s e lf - o r g an iza tio n   ad ap tatio n   to   th e  e n v ir o n m en t b y   r elativ e  lear n i n g .   I n   th e  Nat u r al  I m m u n e  S y s t e m s   ( NI S),   e m er g e n t  b eh a v i o r s   r esu lt  f r o m   t h e  b eh a v io r s   o f   ea c h   in d iv id u al  ce ll   a n d   th eir   i n t er ac tio n s   w it h   t h e  en v ir o n m en t.  Mo d elin g   NI S  r eq u ir es  in co r p o r atin g   t h ese   ad ap tiv e  in ter ac tio n s   a m o n g   th e  in d i v id u al  ce ll s   an d   th e  en v ir o n m e n t.  Mo d elin g   ap p r o ac h es  f o r   NI S  ar e   g r o u p ed   in to   t w o   ca te g o r ies:   m at h e m atica l   m o d els  g en er all y   ta k e  th e   f o r m   o f   p ar tial  d i f f er en tial  eq u at io n s ,   an d   c ell - b ased   m o d els  s i m u la te  ea ch   in d iv id u al  ce ll  b eh av io r   an d   in ter ac tio n s   b et w ee n   th e m   e n ab li n g   t h e   o b s er v atio n   o f   t h e  e m er g e n t   b eh av io r .   T h is   s t u d y   f o c u s e s   o n   t h e  ce l l - b ased   m o d els   o f   NI S,  an d   m ai n l y ,   t h e   tech n ical  asp ec t  o f   t h e  f u zz y   r u le - b ased   s i m u latio n   m et h o d   f o r   NI S  is   d esc r ib ed .   Ho w   to   i m p le m en t  th e  ce l l  b eh av io r s   a n d   t h e  i n ter ac tio n s   w ith   t h e  e n v ir o n m e n t   in to   th e  co m p u tat io n al  d o m ain   is   d is cu s s ed .   T h e  s y s te m   b eh av io r s   d escr ib ed   in   t h is   p a p er   ar e  d if f er en tiatio n s   m ec h a n is m   b et w ee n   s el f   an d   n o - s el f   ce lls .       Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8938   IJ - AI    Vo l.  5 ,   No .   3 ,     Sep tem b er   2 0 1 6   :   95   –   104   96   L ast l y   to   g et  a   b etter   u n d er s tan d i n g   w h y   N I S  is   co n s id er ed   as  co m p le x   ad ap tiv e   s y s te m   th e   f o llo w in g   p o in t s   m a y   b e  r elev an t:    1.   NI S is   a  d ec en tr alize d   s y s te m .     2.   NI S  m ec h an i s m   is   a  co g n iti v e  task .   3.   T h er e  ar e  s im ilar it ies b et w ee n   NI S a n d   ad ap tiv e  s o cial  in s ec ts   co lo n ies,  e. g .   a n t s   a n d   b ee s .     4.   T h e  o v er all  b eh av io r   ad ap tatio n   o f   NI S  ap p ea r s   th r o u g h   t h e  l o ca l b eh av io r   ad ap tatio n   o f   e ac h   ce ll .   I n   th e  litt ér at u r e ,  ag e n t - b a s ed   m o d el s   ( A B M)   an d   ce ll u lar   au to m ata  ( C A )   ar e  t w o   o f   th e  co m m o n l y   u s ed   m et h o d o lo g ies   f o r   m o d e lin g   o f   NI S   [ 1 6 ,   17 ].   T h e  A B M   ar e  cr iticized   f o r   th eir   co m p lex it y ,   b y   a g ain s t  th e  C As ar e  also   cr iticized   f o r   lack   o f   e n v ir o n m e n t.   R ec en t l y ,   m a n y   s t u d ies  h a v e  u s i n g   F C Ms  a n d   t h eir   m u ltip l e  ex te n s io n s   [ 1 - 2 , 1 9 ] ,   to   m o d el  co m p lex   s y s te m s   w h er e  C A S s   ar e  a  s p ec ial  ca s e,   an d   h a v e  g i v e n   e n co u r ag i n g   r esu l ts   [ 3 - 5] .   I n   th is   p ap er   w e  p r ese n t  a n   ap p r o ac h   f o r   m o d eli n g   C A S s   b ased   o n   o n e   co n n ec tio n   o f   th e  f u zz y   co g n it iv e  m ap s   ( FC M )   th eo r y   a n d   ad p ativ e  r ein f o r ce m e n t  lear n in g   alg o r it h m   Q - L ea r n i n g ,   a ls o   lin ea r   w ei g h t  ad ap tatio n   m et h o d   b ased   o n   h eb b ian   lear n i n g   al g o r ith m   [ 7 ]   d ev elo p ed   f o r   n eu r al  n et w o r k s   is   u s ed   to   tr ain   FC M  b y   u p d ates  o n l y   t h e  in itia l  w ei g h ts   o f   FC M.       2.   RE S E ARCH   M E T H O D     T h e  Natu r al  I m m u n e  S y s te m   ( NI S)  is   o n e  o f   t h e  m o s t  ad v an ce d   an d   co m p le x   ad ap ti v e  b io lo g ical  s y s te m s .   I n   o r d er   to   m ai n tai n   i n d ep en d en ce   a n d   h elp   i n   av o id in g   au to i m m u n i t y ,   a  l iv in g   o r g an i s m   m u s t   p r ev en t  in v as io n   b y   n u m er o u s   m icr o o r g an is m s   a n d   h ar m f u l  s u b s tan ce s   f r o m   t h e  en v i r o n m e n t,  an d   m u s t   h an d le  t h o s e  t h at  d o   e n ter .   NI S  h a s   a  d o u b le  o b j ec tiv e  s i n ce   it  h a s   to   m ax i m i ze   h ar m f u l  a n ti g en s   eli m i n atio n   an d   at  th e  s a m e  ti m e  m i n i m i ze   h ar m   to   s elf   ( au to i m m u n i t y ) .   I m m u n it y   i n cl u d es  f u n cti o n s   to   d is tin g u i s h   b et w ee n   s el f   a n d   n o   s el f   co m p o n en ts   ( ce ll s ) ,   an d   to   r e m o v e  th e   latter .   T h e  i m m u n e  r esp o n s e  p r o ce s s   i s   d ep icted   in   Fig u r e  5 .            Fig u r e  1 .   Natu r al  i m m u n e  r es p o n s e  m ec h an is m s       I m m u n e  r esp o n s es  ar e  i m p le m en ted   b y   s p ec ial   ce lls   ca lle d   l y m p h o c y tes.  T h ese   ce ll s   ar e  f u r n i s h ed   w it h   a  s o r t  o f   a n te n n a s   to   r ec o g n ize  n o   s el f   c h e m ical  s tr u c tu r es  ( a n ti g en   d eter m i n an t s )   n o t  in cl u d ed   a m o n g  th e  s el f   co m p o n e n t s .   B   ce lls   an d   T   ce lls   ar e  tw o   m aj o r   ty p es  o f   l y m p h o c y tes  a n d   ar e  d er iv ed   f r o m   h e m ato p o ietic  s te m   ce lls   i n   th e  b o n e  m ar r o w .   B   ce lls   ar e  in v o lv ed   i n   t h e  h u m o r al  i m m u n e  r esp o n s e.   T h ey   w o r k   c h ief l y   b y   s ec r etin g   s u b s tan ce s   ca lled   an tib o d ies   in to   th e  b o d y ‟ s   f l u id s .   Mo r eo v er ,   T   ce lls   ar e   in v o lv ed   in   ce ll - m ed iate d   i m m u n e  r esp o n s e  a n d   ca n   b e  s u b d iv id ed   in to   t w o   g r o u p s :  th e  h elp er   T   ce ll  ( T h )   an d   th e  s u p p r ess o r   T   ce ll  ( T s ) .   A ctiv a tio n   o f   T   ce lls   b y   an ti g en - p r ese n t i n g   ce lls   ( A P C s )   in   l y m p h   n o d es  i s   a  k e y   st ar tin g   ev en t  in   m a n y   n atu r al   i m m u n e  r esp o n s es.   T h   ce ll s   ar e  p ar tic u lar l y   i m p o r t an t  i n   th e   i m m u n e  s y s te m .   B ec au s e  th e   T h   ce ll s   ca n   n o t  r ec o g n ize   an tig e n   d ir e ctl y ,   t h e  a n ti g en   h a v e  to   b e  p r o ce s s ed   b y   s o m e  o t h er   ac ce s s o r y   ce l ls   ( An ti g e n - P r esen tin g   C ell s   ( A P C ) )   in   ad v an ce .   T h e  ac tiv atio n   o f   T h   c ells   d ep en d s   o n   th e  in ter ac tio n   o f   T   ce ll  r ec ep to r s   ( T C R s ) ,   w h ic h   ar e  m o lec u les   f o u n d   o n   t h e  s u r f ac e  o f   T   ce lls   t h at  ar e  g e n er all y   r e s p o n s i b le  f o r   r ec o g n izi n g   Evaluation Warning : The document was created with Spire.PDF for Python.
IJ - AI     I SS N:  2252 - 8938       N a tu r a l I mmu n e  S ystem  R esp o n s e  A s   C o mp lexe   A d a p tive  S ystem  Usi n g   Lea r n in g   F u z z y  …( A h m e d   T l il i )   97   p ep tid es  b o u n d   to   Ma j o r   His t o co m p atib ilit y   C o m p le x   ( M H C )   m o lec u le s ,   w it h   p ep tid es   t h at  ar e  d i s p la y ed   o n   th e  s u r f ac e  o f   an ti g e n - p r ese n tin g   ce lls .   T   ce ll   r ec ep to r s   s ca n   th e  s u r f ac e  o f   an ti g e n   p r esen ti n g   ce ll s   f o r   s p ec if ic  p ep tid es  b o u n d   to   m o lecu les  o f   th e  MH C .   I f   t h e  s p ec if ic   p ep tid es  ar e  f o u n d ,   th e  T h   ce ll   is   ac tiv ated ,   an d   s ec r etes  in ter le u k in   ( I L +)   an d   o th er   v ar io u s   c h e m ical  s i g n als.  T h e  s ec r eted   in ter leu k i n   p lay s   an   i m p o r tan t   r o le  in   ac tiv ati n g   B   ce lls .   O n   th e  o t h er   h a n d ,   th e  s u p p r ess o r   T   ce ll  ( T s )   ca n   s ec r ete  s u p p r ess i n g   s i g n a l  in ter le u k i n   ( I L - )   to   in h i b it t h e  ac tio n   o f   i m m u n e  r esp o n s e.           Fig u r e  2 .   Ou r   C o m p le x   ad ap tiv e  ar tif ic ial  i m m u n e  s y s te m   ( C AA I S)  m o d eled   in   t h e  b ac k g r o u n d   o f   th e  L F C M.   Mo to r   co n ce p t T h ,   af ter   ac tiv atio n   p r o ce s s ,   h a s   t w o   p o s s ib le  ac tio n s   SE L F a n d   N O - SE L F a ct io n   as  r esp o n s e  to   en v ir o n m e n t.       P r o p o s ed   f r a m e w o r k   f o r   m o d elin g   a n d   s i m u lati n g   n at u r a l  i m m u n e  s y s te m   r esp o n s e  a s   co m p le x   ad ap tiv e  s y s te m   is   s u m m ar ize d   in   F ig u r e  3 .   T h e  m ain   id ea   i s   a  co n n ec tio n   b et w ee n   t h e  f u zz y   co g n iti v e  m ap s   an d   r ein f o r ce m e n t le ar n i n g .   T h e  f ir s t s tep   is   to   m o d el  t h e  s y s te m   in   t h e  b ac k g r o u n d   o f   t h e  p r o p o s ed   ap p r o ac h ,   i.e .   th e   FC M.   T h en   w e  d escr i b e  th e  r e f lecto r s   co n ce p ts ,   i n t er m ed iates  co n ce p ts   a n d   m o to r s   co n ce p ts ,   a n d   i n   th e  las t  p o in t  o f   th e  f ir s t  s tep ,   w e  d eter m in e  a n d   d escr ib e  th e  r elatio n   o r   li n k   b et w ee n   c o n ce p ts   w it h   t h eir   v alu e s   w ei g h t.  I n   t h e  s ec o n d   s tep ,   th e  s y s te m   is   ca p ab le  o f   lear n in g   f r o m   e x p er ien ce   w it h   th e  e n v ir o n m e n t   u s i n g   a  r e w ar d - p u n is h m e n t  p r o ce d u r e,   ca lled   r ein f o r ce m e n t  lear n i n g   b ased   ad ap tiv e  Q - lear n i n g   alg o r it h m   ( Fig u r e  2 ) .             Fig u r e3 .   F r a m e w o r k   o f   t h e  p r o p o s ed   ap p r o ac h       R ein f o r ce m en t  lear n in g   is   ca lled   o n - lin e  m eth o d   in   m ac h in e  lear n in g   th eo r y   an d   th e  in ter ac tio n   b etw ee n   th e  lear n in g   NI S  m o d eled   an d   w ith   en v ir o n m en t,  Fig u r e  2 ,   is   its   m ain   s o u r ce   o f   in tellig en ce .   A   m o s t  u s ed   R L   alg o r ith m   is   Q - L ea r n in g   [ 9 ]   in   m ac h in e  lear n in g ,   w o r k s   b y   lear n in g   an   ac tio n - s tate  v alu e  f u n ctio n   th at  ex p r ess es  cu m u lativ e  r ew ar d   o f   tak in g   a  g iv en   ac tio n   in   a  g iv en   s tate.     Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8938   IJ - AI    Vo l.  5 ,   No .   3 ,     Sep tem b er   2 0 1 6   :   95   –   104   98       Fig u r e  4 .   T h e  r ein f o r ce m en t le ar n in g   m o d el.       2 . 1 .   F uzzy   Co g nitiv e  M a ps   T h e  ter m   co g n iti v e  m ap   ( C M)   ap p ea r s   f o r   th e  f ir s t  ti m e   in   1 9 4 8 's   i n   ar ticle  b y   E .   T o l m an   [ 1 0 ]   co g n iti v e  m ap s   in   r at s   a n d   m e n   to   d escr ib e  t h e  ab s tr ac t  m e n tal  r ep r esen tatio n   o f   s p ac e  b u i lt  b y   r ats   tr ain ed   to   n av i g ate  i n   t h e  lab y r i n t h .   T h e  ter m   F C M  ( F u zz y   C o g n iti v e  Ma p )   w as  i n tr o d u ce d   in   1 9 8 6   b y   B .   Ko s k o   [ 2 ] ,   to   d escr ib e  a  s i m p le   e x te n s io n   o f   C Ms  b y   th e   co m b in a tio n   o f   f u zz y   lo g ic  a n d   ar tif ic ial  n eu r al  n et w o r k s .   T h is   r o b u s t  co m b in a tio n   g i v en   F C Ms  a  s tr u ct u r e  s i m i lar   to   ar tif icial  r ec u r r en t  n eu r al  n et w o r k s   ( A r tif ic ial   R ec u r r en t  Ne u r al  Net w o r k   AR NN.   F C M s   ( Fi g u r e  3 )   ca n   d escr ib e    th e   co m p le x   b eh a v io r   o f   e n titi e s .   T h e y   ar e  r ep r esen ted   as  d ir ec ted   g r ap h s   w h o s e  n o d es  ar e  co n ce p ts   ( class i f ied   in to   th r ee   t y p es :  s en s o r y ,   m o to r   an d   ef f ec to r s )   an d   t h e  ar c s   r ep r esen t  ca u s al   r elatio n s h ip s   b et w e e n   t h ese   co n ce p ts .     E ac h   ar c   f r o m   o n e  co n ce p t  C i   to   o n e  co n ce p t  C j   is   a s s o ciate d   w it h   a  w e ig h t  w ij   r ef lec tin g   a  r elatio n s h ip   o f   in h ib itio n   ( w ij   <0 )   o r   ex citatio n   (w ij   >  0 ) .   E ac h   co n ce p t  is   a s s o ciate d   w it h   a  d eg r ee   o f   ac ti v atio n ,   r ep r ese n t ' s   t h e  s tate  at   ti m e  t,  an d   ca n   b e   m o d i f ied   o v er   ti m e.   T h e  d y n a m ics  o f   an   F C M  ca n   b e  s u m m ar ized   in   o n e  c y cle  ( f r o m   t  t o   t  +1 )   b y   u p d ati n g   th e  ac ti v atio n s   v ec to r .           Fig u r e  5 .   An   FC M  a s   a  g r ap h       T h e  f o llo w i n g   g i v es  a  f o r m a l  d escr ip tio n   o f   an   FC M  [ 6 ] .   K   d en o tes  o n e  o f   th e  r in g s   or ,   b y   δ   o n e  o f   th e  n u m b er s   0   o r   1 ,   f o r   V  o n e  o f   th e  s ets  {0 ,   1 },   { - 1 . 0 ,   1 },   o r   [ - δ , a] .   L et  ( n ,   t 0 )  ∈   I N²  an d   k   ∈ * + .     An   F C M  F is   a  s ix f o ld   ( C ,   K ,   W ,   A ,   f a ,   R ) :     a.   C   = { C 1 ,…,C n }  i s   th e  s et  o f   n   co n ce p ts   f o r m in g   t h e  n o d es o f   a  g r ap h .     b.   K  ⊂   C   ×  C   is   t h e  s et  o f   ar cs ( C i , C j )   f r o m   C i   to   C j .     c.   W :   C ×C →K              (C i ,   C j )   →  W ij   is   a  f u n ctio n   o f   C ×C   to   IR   ass o ciatin g   a  w eig h t  W ij   to   a  p air   o f   co n ce p ts   (C i ,   C j ) ,  w ith   W ij   =  0   if   (C i ,   C j )  ∉   A ,   o r   W ij   eq u al  to   th e  w eig h t  o f   th e  ed g e  if   (C i ,   C j )  ∈   A .   No te  th at  W ( C   ×  C )   =  ( W ij )  ∈   K n  ×   n   is   a  m atr ix   o f     M n   ( I R ) .      a.   A : C →V n   Evaluation Warning : The document was created with Spire.PDF for Python.
IJ - AI     I SS N:  2252 - 8938       N a tu r a l I mmu n e  S ystem  R esp o n s e  A s   C o mp lexe   A d a p tive  S ystem  Usi n g   Lea r n in g   F u z z y  …( A h m e d   T l il i )   99   C i   →a i   is   a  f u n ctio n   th a t  m ap s   ea ch   co n ce p t  C i   to   t h e  s eq u en ce   o f   i ts   ac ti v atio n   d eg r ee   at  th e   m o m e n t  t  ∈   I N,   a i   ( t)   ∈   V   is   its   d eg r ee   o f   ac tiv at io n   at  th e  m o m e n t  t .   W e  No te  a   ( t)   =  [ ( a i   ( t) )   i  ∈   [[1,   n ] ]   T   th e  v ec to r   o f   ac tiv at io n s   at  t h e  m o m en t  t .    b.   f a   ∈   ( IR   n )  N   is   a  s eq u en ce   o f   v ec to r s   o f   f o r ce d   ac tiv atio n s   s u c h   as  f o r   i  ∈ [ 1 ,   n ]   an d       t  ≥   t 0   is   th e   f o r ce d   ac tiv atio n   o f   th e  co n ce p t C i   at    m o m e n t t.   c.   ( R)   is   a   r ec u r r en ce   r elat io n s h i p   o n   t ≥   t 0   b et w ee n   a i   ( t +  1 ) ,  a i (t )   an d   f ai   ( t )   f o r     i  ∈ [ 1 , n ]   in d icatin g   t h e   d y n a m ics o f   th e  m ap   F .   ( R )   :     ∀ i  ∈   [ 1 ,   n ] ,   ∀ t  ≥  t 0,               a i   (t 0 )   =  0             a i   ( t+1 )   =  σ [ g i ( ƒ   ai ( t) , ∑ j ∈ [1, n] W ij   a j ( t )) ]           Fig u r e  6 .   C o g n itiv e  m ap s   s tan d ar d izin g   f u n ctio n .       T h e  Mo d e  r e p r esen ted   b y   th e  f u n ctio n      is   to   r ed u ce   t h e  v al u e  o f   co n ce p t s   w it h i n   th e  r an g e  o f   v al u es  tak e n   a s   t h e  ar ea   an d   ca n   b e  ei th er   b i n ar y ,   ter n ar y   a n d   s i g m o id .   T h e  v al u e   o f   ea c h   co n ce p t  i s   ca lcu lated   w it h   o r ig i n al  f o r m u la  p r o p o s ed   b y   Ko s k o   [ 2 ] :            O th er   alter n at iv e s   ar e  to   tak e  in to   ac co u n t  t h e  p ast  h is to r y   o f   co n ce p ts   an d   j o in tl y   p r o p o s ed   th e  f o llo w in g   eq u at io n :           W      T h e  A lg o r it h m   1   s h o w s   t h e   s tep s   to   f o llo w   f o r   th e  ca lc u latio n   o f   th e  n ex t  i n p u t  v ec to r   at  ea ch   ite r atio n .   A l g o r ith m   1 :   C alc u lat io n   o f   t h e  o u tp u t   v ec to r     Step   1 :   R ea d   th e  in p u t v ec to r   an d   w ei g h t  m atr i x   W .   Step   2 : Calcu late   t h e   o u tp u t v ec to r               W   Step   3 : A p p l y   t h e  tr an s f er   f u n ctio n     to   th e   o u tp u t  v ec to r    Step   4 :   v er if y   th e  co n d itio n s   o f   ter m in at io n   o f   t h e  alg o r it h m     2 . 2 .   B a s ics Re info rc e m ent   L ea rn ing   ( RL )   T h e  Ma r k o v   Dec is io n   P r o ce s s es  ( MD P )   d ef i n es  t h e   f o r m al  f r a m e w o r k   o f   r ei n f o r ce m en t     lear n in g   [ 1 3 ] .   Mo r e  f o r m all y ,   an   MD P   p r o ce s s   is   d ef in ed   b y :   a.   S,  a  f in ite  s et  o f   s ta tes.  s   Є   S    b.   A ,   a  f in i te  s et  o f   ac tio n s   i n   s tat e  s .   a  Є   A ( s )   c.   r ,   a  r ew ar d   f u n ctio n .   r ( s ,   a)   Є   R    d.   P ,   th e  p r o b ab ilit y   o f   tr a n s i t io n   f r o m   o n e  s tate  to   an o t h er   d ep en d in g   o n   t h e  s elec t ed   ac tio n .     P   ( s   '|   s ,   a)   =  P a ( s ,   s ' ) .   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8938   IJ - AI    Vo l.  5 ,   No .   3 ,     Sep tem b er   2 0 1 6   :   95   –   104   100   T h e  p r o b lem   is   to   f in d   a n   o p ti m al  p o lic y   o f   ac t io n s   t h at   ac h ie v es  th e   g o al  b y   m ax i m izi n g   t h e  r e w ar d s ,   s tar ti n g   f r o m   an y   in itial  s tate.   A t  ea ch   iter atio n ,   th e  ag e n t  b ein g   in   t h e  s tate  ch o o s es  an   ac tio n ,   a cc o r d in g   to   th e s e  o u tp u ts   t h e  en v ir o n m e n t  s en d s   eit h er     a w ar d   o r   a  p en alt y   to   th e  a g en t   s h o w n   b y   t h e   f o llo w in g   f o r m u la:    r k   =  h   ( s k ,   a k , s k+ 1 ) .     T o   f in d   th e  to tal  co s t,  w h ic h   i s   r ep r esen ted   b y   t h e  f o r m u la  Σ   h ( s k ,a k   ,s k + 1 ) ,   th e  co s t s   ar e    a cc u m u lated   at  ea ch   iter atio n   o f     th e    s y s te m .   I n   [ 8 ]   th e  ex p ec ted   r ew ar d   is   w e ig h ted   b y   th e  p ar a m eter   γ   an d   b ec o m es  Σ   γ   h  (s i ,a i ,s i+ 1 )   w it h   0   ≤   γ   ≤   1 .   T h e  R L   i s   to   f in d   a  p o licy   o r   an   o p ti m al  s tr ate g y   π * ,   a m o n g   th e   d if f er e n t  π   p o s s ib le   s tr ateg ie s   in   t h e  s elec tio n   o f   t h e  ac tio n .   C o n s id er in g   th at  a n   o p ti m al  p o lic y   π   e x is t s ,   an d   th e n   th e  B ell m a n   [ 1 1 ]   o p tim a lit y   eq u atio n   i s   s ati s f ie d :     V π *    =  V * (s i )   =  m a x   { R ( s i , a)   +  δ ( ∑P ( s i →s i+ 1 , a)   V * (s i + 1 )} ∀ s ∈ S                                               E q u atio n   ( 2 )   s ets  th e   v al u e  f u n ctio n   o f   t h e  o p ti m a l  p o lic y   t h at   r ein f o r ce m e n t  lear n i n g   w i ll  s ee k   to   ass es s :      V * ( s )   =  m ax   V π   ( s )     I n   Q - L ea r n i n g   a lg o r it h m   tech n iq u e  [ 1 3 ] ,   th e  a g en t,  Fo r   an y   p o licy   π  a n d   a n y   s tate  s  ∈  S ,   t h e  v a lu e  o f   tak i n g   ac tio n   a  i n   s ta te   s  u n d e r   p o licy   π ,   d en o ted   Q π ( s , a ) ,   is   th e  e x p ec ted   d is co u n ted   f u t u r e  r e w ar d   s tar ti n g   i n   s ,   tak i n g   a ,   an d   h e n ce f o r t h   f o l lo w i n g   π .   I n   th is   ca s e  t h e  f u n ctio n   ( 3 )   ca n   also   b e  ex p r ess ed   f o r   a   s tate - ac tio n   p air :     Q * ( s , a )   =  m a x   Q π ( s , a )             Q - lear n in g   i s   o n e   o f   t h e  m o s t  p o p u lar   r ein f o r ce m e n t  lear n i n g   m et h o d s   d ev elo p ed   b y   W atk in s   ( 1 9 8 9 )   an d   is   b a s ed   o n   T D( 0 ) .   I t  in v o lv e s   f in d i n g   s ta te - ac t io n   q u alitie s   r at h er   th a n   j u s t  s tate  v alu e s .   Q - L ea r n i n g   alg o r ith m     tech n iq u e  is   to   in tr o d u ce   a  q u alit y   f u n ctio n   Q  r ep r esen ts   a  v al u e  f o r   ea ch   s tate - ac tio n   p air   an d   Q π   ( s ,   a)   is   to   s tr en g th e n   esti m ate   w h e n   s tar ti n g   f r o m   s tate  s ,   ex ec u ti n g   ac tio n   a  b y   f o llo w in g   a  p o licy   π :          Q π ( s ,   a)   =  E   Σγ r i    a n d   Q * ( s ,   a)   i s   t h e   o p ti m al  s tate - ac tio n   p air   b y   f o llo w i n g   p o lic y   π *   i f   Q * ( s ,   a)   =  m a x   Q π ( s ,   a)     an d   if   w e  r ea ch   th e  Q * ( s i ,   a i )     f o r   ea ch   p air   s tate - ac t io n   th e n   w e  s a y   th at  t h e  ag e n t  ca n   r ea ch   th e   g o al  s tar tin g   f r o m   an y   i n it ial  s tate.   T h e  v al u e  o f   Q  is   u p d ated   b y   t h e  f o llo w in g   eq u atio n :     Q +1 (s i   ,a i )   =  Q   (s i   ,a i )   +  α [ h ( s i ,a i  ,s i+ 1 )   +  γ   ar g   m ax ( Q   (s i+ 1, a) )   –   Q   (s i   ,a i ) ]             2. 3 .     T he  a da pta t io n o f   L ea r nin g   F uzzy   Co g nitiv e  M a ps   T h e  r atio n ale  o f   th e  p r o p o s ed   im m u n e  r esp o n s e  in s p ir ed   L FC M  is   to   f o s ter   lear n in g   ca p ab ilit y   an d   m em o r y   ac q u is itio n   o f   th e  L FC M.   T o   s h o w   h o w   th ese  tw o   is s u es  h av e  b ee n   ad d r ess ed ,   th e  C o m p lex   ad ap tiv e  ar t if icial  I m m u n e  s y s tem   h as   b ee n   co n s id er ed   an d   m o d eled   in   th e  b ac k g r o u n d   o f   p r esen tin g   L FC M   [ 1 5 ] .   I n   im m u n e  r esp o n s e  th e  ab ilit y   to   m em o r ize  m o s t  p r ev io u s ly   en co u n ter ed   an tig en s   b y   B   ce lls ,   en ab les  it  to   m o u n t  a  m o r e  ef f ec tiv e  r ea ctio n   in   an y   f u tu r e  en co u n t er s .   T h is   m ec h an is m   in   th e  n atu r al  im m u n e  s y s tem   is   u s u ally   d esig n ed   as  th e  ab ilit y   o f   ad ap tiv e  lear n in g   an d   im m u n e  m em o r y   ac q u is itio n .   T h is   is   th e  b asis   o f   m ath em atica l  ad ap tatio n   o f   th e  Q - L ea r n in g   alg o r ith m   in   th e  s en s e  o f   in s tr u ctin g       th e  ag en t  to   co n s id er   o p tim ally   its   h is to r y ,   ie  th e  v alu e  o f   Q  to   aim   to   m em o r ize  th e  s tate  v is ited   b y   th e  ag en t .   in   o th er s   w o r d s ,   o n ce   th e  B   ce ll  id en tif ies  th e  in ter leu k in   s u b s tan ce   f r o m   th e  T h   ce ll  co n ce p t,  it  d iv id es  in to   an tib o d y   s y n th etic  ce lls ,   an d   f in aly   s ec r etes t h e  an tib o d y   ( A b ) .     T h e  C ASs   ar e  d is ti n g u is h ed   f r o m   o t h er   s y s te m s   b y   t h eir   d y n a m ic  i m p r o v e m e n ts   i n   c u r r en t  p o lic y   f o r   ea ch   in ter ac tio n   w ith   t h e  e n v ir o n m e n t.  So   th i s   is   a  lo ca l  co n s tr u ct io n   th a t  d o es  n o t  r eq u ir e  an   ass e s s m e n t   o f   th e   o v er all  s tr ateg y .   T h is   o b s er v atio n   lead s   u s   to   o v er lo o k   t h e  v a lu e  o f   t h e  q u a lit y   f u n c tio n   Q  i n   s tep   ( i+1 ) .   T h is   tr an s late s   m ath e m at icall y   b y :  Q n (s i+ 1 ,   a)   =  0   an d   th er ef o r e  eq u atio n   ( 6 )   o f   th e  f u n ctio n   Q  b ec o m es  a s   f o llo w s :     Q   (s i , a i )   = Q   (s i ,   a i )   + α   [ r i   -   Q   (s i ,   a i ) ]               T h e  v alu e   o f   Q   en ab le  s y s te m   to   m o u n t  a   m o r e  e f f ec ti v e   ac tio n   i n   a n y   f u t u r e  e n co u n t er ed   s tate  alr ea d y   v is ited .   So   th e   Q  v al u e  is   d e s ig n ed   to   in s tr u ct   t h e  a g en t  to   co n s id er   o p ti m all y   i ts   h is to r ical  p as t.  I f   th e   ag en t is   i n   a  s tate  a lr ea d y   v is i t ed ,   w it h   a   Q  v al u e  i n   t h e  tab le  o f   v al u es,  i t  w il l b e  d ir ec tl y   e x p lo ited   to   m o v e  to   th e  n ex t  s ta te,   o th er w i s e  it   w i ll  e x p lo r e  th e  p o s s ib le  ac t io n s   i n   t h i s   s ta te  ac co r d in g   to   th eir   r esp ec ti v e  p r o b a b ilit ies T h e  f o ll o w in g   p s eu d o   co d e  p r o v id es a n   u p d ate  o f   th e  v alu e  o f   Q  f u n ctio n :     Evaluation Warning : The document was created with Spire.PDF for Python.
IJ - AI     I SS N:  2252 - 8938       N a tu r a l I mmu n e  S ystem  R esp o n s e  A s   C o mp lexe   A d a p tive  S ystem  Usi n g   Lea r n in g   F u z z y  …( A h m e d   T l il i )   101   I f   r   =  1   / /  Aw ar d       Q (s i , a i )   = Q (s i ,   a i )   + α [ 1 -   Q (s i   ,a i )]       I f   r   =  0   / /  P en alt y     Q (s i ,   a i )   = ( 1   -   α )   Q (s i ,   a i )     I n   o u r   ap p r o ac h ,   if   th e  s tate s   ar e  r ep r esen ted   af ter   f u zz y f ic atio n   b y   t h e  co n ce p ts   i n p u ts   o r   s en s o r y   co n ce p ts ,   th e   o u tp u t  v ec to r   is   r ep r esen ted   b y   t h e  s e t  o f   o u t p u t  co n ce p ts   o r   ef f ec to r s   co n ce p ts   th at   r ep r esen t   ac tio n s   to   p er f o r m   in   t h e  en v i r o n m e n t  af ter   d ef u zz y f icat io n .   T h e  m o to r s   co n ce p ts     ar e  th e  d ec is io n - m a k in g   m ec h a n i s m .   T h e  ex p lo r atio n   o f   th e  ac tio n s   i s   ac co m p an ied   b y   a n   u p d ate  o f   t h eir   p r o b ab ilit ies   ac co r d in g   to   th e  li n ea r   s ch e m e  [ 9 ] :     I f   r   =  1   / /  Aw ar d     P   (s i , a i )    =  P (s i ,   a i )   +  β ( 1   -   P (s i ,   a i ))         I f   r   =  0   / /  P en alty     P (s i , a i )   =  ( 1 - β )   P (s i ,   a i )     2 . 4   O pera t io na l   m ec ha ni s m   m o del   T h e  m ec h a n is m   to   id en tify   t h e  n at u r e  o f   t h e  a n ti g en   a n d   th e  s elec tin g   o f   ac tio n   to   c o n s id er   is   s u m m ar ized   b y   t h e  f u zz y   r u l e  b ased   s y s te m .   A   s et   o f   I F - T HE N  lin g u is t ic  r u le s ,   w it h   th e  i n p u t s   a n d   th e   o u tp u ts   ar e  co m p o s ed   o f   f u zz y   s tate m e n t s ,   is   t h e  ess e n tial p a r t o f   th e  f u zz y   r u le:   I F a   s et  o f   co n d itio n s   ar e  s atis f ied   T HE N  a  s et  o f   r esu lts   ca n   b e  in f er r ed     I n   th i s   p r o p o s ed   a p p r o ac h ,   th e  w ei g h t s ,   w ij ,   ar e  d y n a m ic  an d   ca n   b e  m o d if ied   ac co r d in g   to   r ein f o r ce m en t   lear n i n g   al g o r ith m   to   p er m it   th e   n et w o r k   t o   b e  tr ain ed   b y   ex p er ie n ce   [ 2 0 ] .   B ased   o n   th e  th eo r etica l  asp ec ts   d escr ib e d   ab o v e,   th e  p s eu d o   co d e   o f   A l g o r ith m   2   s u m m ar i ze s   o u r   ap p r o ac h .     A l g o r ith m   2 :  P s eu d o   co d e   o f   th e  p r o p o s ed   ap p r o ac h   Step   1 :   R ea d   th e  v ec to r   k   an d   w eig h t  m atr ix   W   Step   2 :  C alcu late  th e  o u tp u t  v ec to r   k   :    k    k     k   W    Step   3 :  A p p ly   th e  tr an s f er   f u n ctio n       to   th e   o u tp u t v ec to r   k  St ep   4 :   A m o n g   th e  ac tiv e  co n ce p ts   ch o o s e  th e  o n e  th at   h as  th e  h ig h est   v alu e  o f   th e  f u n ctio n   Q ,   if   n o t  p r o b ab ilit y   Step   5 :   ca lcu late   th e  n ew   o u tp u t  v ec to r   ( o u tp u t  co n ce p ts )    k  Step   6 :  Dep en d in g   o n   th e  r esp o n s e   to   th e  en v ir o n m en t :       If   r   =  1   /   / A w ar d   ( Up d atin g   th e  p r o b ab ilit y   P ij   an d   th e  Q  v alu e )   Q   ( s i , a i )  =  Q ( s i ,   a i )   + α   [ 1   –   Q (s i ,   a i )]   W   C i ,C j )   =  W   C i ,C j )   P (a i )   = P (a i )   +  β   [ 1   -   P (a i )]   If   r   =   o   / /   P en alty   ( Up d atin g   t h e  p r o b ab ilit y   P ij ,  th e  w eig h t o f   th e  co n n ec tio n   a n d   th e  v a lu e   of   Q)     Q k    (s i , a i ) )   = ( 1 -   α )   Q k   (s i , a i )   W   C i ,C j )   =  W   C i ,C j )   + η [ 1   -   W   C i ,C j )]   P (a i )   = ( 1 - β )   P (a i )     Step   7 :   I f   th e  ter m in a tio n   co n d itio n s   ar e  r ea lized   Sto p .   Oth er w i s e   g o   to   Step   2 .       3.   RE SU L T S  A ND  AN AL Y SI S     T o   ev alu ate  th e  p er f o r m a n c e  o f   o u r   p r o p o s ed   ap p r o ac h ,   th e  s i m u latio n   o f   t h e  s y s te m   w a s   i m p le m en ted   i n   M A T L AB ,   w h ic h   co m p r i s es  F u zz if icatio n   an d   d ef u zz i f ic atio n   w it h   F C M     m o d eli n g   [ 2 2 ] .   T ab le  2   s h o w s   w eig h t  v al u es  b et w ee n   co n c ep ts   af ter   d ef f u zi f icatio n   p r o ce s s   i n   th e  b i m o d al   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8938   IJ - AI    Vo l.  5 ,   No .   3 ,     Sep tem b er   2 0 1 6   :   95   –   104   102   m o d e.   T h e  m ai n   p u r p o s e  o f   t h e  i m m u n e   s y s te m   is   to   r ec o g n ize  all  ce ll s   w i th i n   th e   b o d y   a n d   ca teg o r ize  t h o s e   ce lls   as   s el f   o r   n o n - s el f .   A cti v atio n   o f   T   ce lls   b y   a n ti g en - p r esen ti n g   ce ll s   ( A P C s ) ,   w it h   t h e   ac ce s s o r y   co n ce p t   MH C ,   i n   l y m p h   n o d es   is   a  k e y   i n itia tin g   e v e n t  in   n at u r al  i m m u n e   r esp o n s e s .   I n   t h is   ca s e  t h e  T h   co n ce p t     ( T h   ce lls )   is   co n s id er ed   as  t h e  m o to r   co n ce p t  a n d   t h e  a ll  o th er s   co n ce p ts   ar e  co n s i d er ed   as  ac ce s s o r y   co n ce p ts .   T   ce lls   ar e  ab le  alo n e  to   d if f er en tiate   b et w ee n   s el f   an d   n o   s e lf   ( an ti g e n s )   ce ll s .   T   ce ll  r ec ep to r s   s ca n   th e  s u r f ac e  o f   A P C   f o r   s p ec if i c  p ep tid es  b o u n d   to   m o lecu le s   o f   t h e  MH C .   I f   t h e  s p ec i f ic  p ep tid es  ar e  f o u n d ,   th e  T h   ce l l  i s   ac ti v ated ,   s o   th e  n o - s el f   ac t io n   i s   e x ec u ted   a n d   t h e  a n tib o d y   w i ll  b e  s ec r eted ,   o th er w is e   th e   an ti g en   i s   r ec o g n ized   as  s el f   ce ll  th e n   th e  s elf   ac t io n   is   e x ec u ted   an d   th e  i m m u n e  r esp o n s e   is   ter m i n ated .         T ab le  1 .   C o n ce p t D escr ip tio n   o f   T h e  C AA I S i n   L F C M  B ac k g r o u n d   C o n c e p t s   D e scri p t i o n   Ag   A n t i g e n s (v i r u s  a n d   b a c t e r i a )   A P C   A n t i g e n   P r e se n t i n g   C e l l s   M H C   M a j o r   H i st o c o m p a t i b i l i t y   C o mp l e x   mo l e c u l e   Th   T h e   H e l p e r   T   c e l l   I L +   T h e   i n t e r l e u k i n   p o si t i v e   si g n a l   se c r e t e d   b y   T h   c e l l   B   B   C e l l   Ab   A n t i b o d y   p r o d u c e d   b y   B   c e l l s   Ts   T h e   su p p r e sso r   T   c e l l   IL -   T h e   i n t e r l e u k i n   n e g a t i v e   si g n a l   se c r e t e d   b y   T s c e l l       T h e  n u m b er   o f   co n ce p ts   h as  b ee n   r ed u ce d   to   9   co n ce p ts   th u s   to   av o id   th e  co m p lex i t y   o f   t h e  C AA I S   m o d eled   in   t h is   L F C M  t y p e  a n d   f o r   th e  p r o p o s ed   tech n iq u e   to   b e   m o r e  clea r   to   n o   s p ec ia lis t  r ea d er s   w e  u s e   f u zz y f ied   b in ar y   m o d e.   C o n ce p ts   Ag   a n d   A b   ar e  th e  F ac to r - co n ce p ts   ( s e n s o r y   co n c ep ts   an d   ef f ec to r s   co n ce p ts   r esp ec tiv el y ) ,   w h ic h   r ep r esen t  th e  in p u t  an d   o u tp u t  co n ce p t  ( in   ter m   o f   i n ter ac tio n   w it h   th e   en v ir o n m e n t) .       T ab le  2 .   W eig h t  Valu es B et wee n   C o n ce p t s   in   t h e  B i m o d al  Mo d e   C o n c e p t s   Ag   A P C   M H C   Th   I L +   B   Ab   Ts   IL -   Ag   0   +1   0   0   0   +1   0   0   0   A P C   0   0   +1   0   0   0   0   0   0   M H C   0   0   0   +1   0   0   0   0   0   Th   - 1   0   0   0   +1   0   0   0   0   I L +   0   0   0   0   0   +1   0   0   0   B   0   0   0   0   0   0   +1   0   0   Ab   - 1   0   0   0   0   0   0   +1   0   Ts   0   0   0   0   0   0   0   0   +1   IL -   0   0   0   - 1   0   0   0   0   0       T h e  W   m a tr ix   li n k   ass o ciate d   t o   th is   m o d el  ca n   b e  w r itte n   as  f o llo w s :         T h e  FC M  ( Fi g u r e  2 )   h a s   t welv e  ed g e s   an d   n i n e  co n ce p t s   w it h   li n k s   e x citato r y   ( +1 )   o f   'A g '   to   'A P C ' , 'A P C '   to   ' MH C ' ,   ' MH C '  to   ' T h ' ,   ' T h '   to   ' I L + ' ,   ' I L + '   to   ' B ' ,   ' B '   to   'A b ' ,   'A b '   to   ' T s '   a n d   ' T s '   to   ' I L - '   ,   a n d   lin k ed   in h ib ito r   ( - 1 )   o f   'A b '   to   'Ag ' ,   ' I L - '  to   ' T h '   a n d   ' T h '   to   'Ag ' .               T h e  co n ce p t  is   ac tiv e  if   its   v a lu e  is   eq u al  to   1 ,   o th er w i s e  it  is   in ac ti v e  ( b in ar y   m o d e) .   I t  is   g iv e n   an   in itial  ac t iv atio n   v ec to r   A   =  ( 1   0   0   0   0   0   0   0   0 ) .   T ab le  I   s h o w ‟ s   t h e  v a lu e s   P ( a i )   o f   th e  p r o b ab ilit ies  o f   ac tio n s   an d   v alu e s   o f   t h e  f u n ct io n   Q   u p d ated   at  ea ch   iter atio n .   T a b le  I I   g iv es  th e  o u tp u t  v ec to r   f o r   all  iter atio n s   i n   r esp o n s e  to   th e  en v ir o n m e n t.     Evaluation Warning : The document was created with Spire.PDF for Python.
IJ - AI     I SS N:  2252 - 8938       N a tu r a l I mmu n e  S ystem  R esp o n s e  A s   C o mp lexe   A d a p tive  S ystem  Usi n g   Lea r n in g   F u z z y  …( A h m e d   T l il i )   103     T ab le  3 .   A ctio n   P r o b ab ilit ies an d   Q - F u n ctio n   Va lu e s     a i   P ( a i )   Q( s i , a i )   Valu e   se l f   no - se l f   0 . 5   0 . 5   (Ag i , se l f )   (Ag i , n o - se l f )   0   0       T ab le  4 .   Vec to r   Ou tp u t a t E ac h   I ter atio n s   I n p u t s   v e c t o r   O u t p u t   v e c t o r   I t e r a t i o n   ( 1   0   0   0   0   0   0   0   0 )             1   1   0   0   0   0   0   0   0        1     1   1   1   0   0   0   0   0   0   2     1   1   1   1   0   0   0   0   0   3     1   1   1   1   1   0   0   0   0   4       A t   iter atio n   n °  4   th e   i m m u n e  s y s te m   i s   f ac i n g   a  s itu a tio n   wh er e  it   h a s   t w o   p o s s ib le  ac tio n s ,   if     t h e   s tate  is   n o t  e n co u n tr ed ,   r ep r esen ted   b y   t h e  ac ti v e  co n ce p ts   T h ,   th e  ex ec u tio n   o f   t h e  ac tio n   SE L F  lead s   to   th e   d ea ctiv atio n   o f   Ag   co n ce p t  a n d   ex ec u tio n   o f   t h e  ac tio n   N O - SE L F  lead s   to   th e  ac t iv at i o n   o f   t h e  B   co n ce p t  ( th r o u g h   I L +  co n ce p t)   ai m s   to   n eu tr alize   th e  an tig e n   b u t  m u s t  ch o o s e  o n e  a m o n g   t h e m   a n d   th i s   ch o ice  is   gui d ed   ei th er   b y   t h e  v al u e  o f   f u n ctio n   Q,   if   t h e  s tate  i s   alr e ad y   v is ited   o r   a n ti g en   alr ea d y   en co u n ter ed ,   o r   b y   th e  v al u e  o f   th e   p r o b ab ilit y   o f   th e  ac tio n   i f   t h e  f ir s t p ass   i n   t h is   s ta te.   T h is   m ec h an is m   to   id en ti f y   t h e  n a tu r e  o f   th e  an ti g e n   an d   th e  s elec tin g   ac tio n   to   co n s id er   is   s u m m ar ized   b y   th e  f o llo w i n g   th r e e  f u zz y   r u le  b ased   s y s te m :     R 1   :   if A g   is   Q( A g , S E LF)   th en   Th   is   S E LF - a ctio n     R 2   :   if A g   is   Q( A g ,   N O - S E LF)   th en   Th   is   N O - S E LF - a ctio n .     R 3   :   if  A g   is   n o t  Q( A g ,   S E LF)   a n d   A g   is   n o t   Q( A g ,   n o - s elf)   th en   Th   is   a ctio n   to   p erfo r m  s elec ted   a cc o r d in g   to   th e  p r o b a b ilit y.     I n   th is   s y s tem   b ased   o n   r u les  th e  co n d itio n s   o f   th e  f ir s t  tw o   r u les  R 1   an d   R 2   r esu lt  th at  s y s tem   h as  m et   th e  an tig en   b ef o r e  an d   class if y   it  as  a  p ar t  o f   th e  s elf   o r   n o - s elf   b y   th e  u p d ate  tab le  o f   Q  v alu es,  f o r   m o r eo v er   th e  R 3   r u le  r eq u ir es  th e  T h   co n ce p t  to   ex p lo it  s p ac e  o f   p o s s ib le  ac tio n s   ac co r d in g   to   th eir   r esp ec tiv e  p r o b ab ilit ies.       4.   CO NCLU SI O N     T h e  s o f t  co m p u t in g   tec h n iq u e  o f   f u zz y   co g n iti v e  m ap s   f o r   m o d elin g   an d   s i m u lat in g   co m p le x   ad ap tiv e  s y s te m   h a s   b ee n   d is cu s s ed   in   th is   p ap er .   A   n e w   co n n ec t io n   b et w ee n   f u zz y   s y s te m   a n d   r ein f o r ce m en t   lear n in g   h as  b ee n   p r o p o s ed   f o r   an al y zi n g   n a tu r al  i m m u n e  s y s te m   r esp o n s e.   I n   t h e  ar ti f ici al  in tell ig e n ce   f ield   th e  n atu r al  i m m u n e  s y s te m   N I S  is   ar g u ed   t h at  it   is   a  co m p l ex   ad ap tiv e  s y s te m .     Glo b al  e m er g e n t  b e h av io r s   ca n   b e  o b s er v ed   b y   ap p ly i n g   lo ca l  r u les  to   in d iv id u al  ce ll s   as  d escr ib ed   b y   Ho llan d   in   co m p le x   ad ap tiv e  s y s te m   t h eo r y .   T h e  co m p le x i t y   a n d   cr itici s m   r aised   b y   th e  co m m u n it y   i n   th e   ar ea   o f   m o d eli n g   C A S s   b y  A B M s   a n d   C A s ,   led   u s   to   s ee k   an o t h er   ap p r o ac h ,   w h ic h   is   c o n tain ed   i n   s a m e  co n ce p ts   in s p ir ed   b y   th e  ar ea   o f   lif e.   I n   p s y c h o lo g y   b e h av io r   is   g e n er all y   r elate d   to   th e  co n ce p ts   o f   e m o tio n s ,   p er ce p tio n s   an d   s e n s atio n s .   T h ese  k e y   co n ce p ts   o f   lif e  ca n   b e  s u p p o r ted   b y   FC M s .   C ASs   ar e  th er ef o r e  in   th e  f ield   o f   ar tif icial  lif e   m o r e   th an   o th er   ar ea s   o f   co m p u tin g .   T h e  ar ea   o f   F C M s ,   d esp ite  t h e  i m p r o v e m e n t  m ad e  b y   d if f er en t  r esear c h   tea m s   in   th e  w o r ld ,   r e m ai n s   a n   ar ea   d en s e,   lo w - u n if ied .     ACK NO WL E D G E M E NT S     T h is   p ap er   i s   t h e  r es u lt   o f   a   r esear ch   p r o j ec t  en titl ed   " Mo d elin g   a n d   i m p le m en t in g   o f   co m p le x   ad ap tiv e  s y s te m s "   w h ich   w as   s u p p o r ted   b y   th e   MI SC   lab o r ato r y   o f   ab d elh a m id   m eh r i  Un i v er s it y ,   A l g er ia.   W e  th an k   all  th e  lab o r ato r y   te a m s   a n d   r esp o n s ib le  f o r   t h eir   co o p er atio n   an d   s u p p o r ts .       RE F E R E NC E S     [1 ]   Ax elr o d   R o b er t ( 1 9 7 6 ) .   ' Stru c t u r e  o f   d ec is io n ' .   P r in ce to n   u n i v er s it y   p r ess ,   P r in ce to n ,   Ne w J er s y   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8938   IJ - AI    Vo l.  5 ,   No .   3 ,     Sep tem b er   2 0 1 6   :   95   –   104   104   [2 ]   Ko s k o   B . ,   Fu zz y   C o g n iti v e  M ap s ,   I n tern a tio n a l J o u r n a l Ma n - Ma ch in e  S tu d ies ,   2 4 : 6 5 - 7 5 ,   1 9 8 6   [3 ]   Ma ik el    L eó n 1 ,     C ir o     R o d r ig u ez 1 ,     Ma r ía    M.     Gar cía1 ,     R af ae l    B ello 1 ,     an d     Ko en     Van h o o f   „ Fu zz y   C o g n iti v e  Ma p s   Fo r   Mo d elin g   C o m p lex   S y s te m s ‟ .   © Sp r in g er - Ver lag   2 0 1 0 .   [4 ]   C h r y s o s to m o s     D.     Sty l io s     an d     P eter     P.Gr o u m p o s .   „ Mo d elin g   C o m p lex   S y s te m s   Usi n g   Fu zz y   C o g n iti v e  Ma p s ' .   I E E E   tr a n s a ctio n s   o n   s y s tems,  Ma n   a n d   cy b ern etics .   J an u ar y   2 0 0 4 .   [5 ]   T ah ar   Gu er r a m 1 ,   R a m d an e   Ma a m r i2   a n d   Z a id i  Sa h n o u n 2 'A  T o o l  f o r   Qu alitat iv e   C a u s a l  R ea s o n i n g   O n   C o m p le x   S y s te m s ' .   I JCS I   I n te r n a tio n a l  Jo u r n a l  o f  C o mp u te r   S cien ce   I s s u es ,   Vo l.  7 ,   I s s u e  6 ,   No v em b er   2 0 1 0   I SS N  ( On li n e) :  1694 - 0 8 1 4 .   [6 ]   C .   B u c h e,   P .   C h ev a illi er ,   A .   N ´ ed ´ elec ,   M.   P ar en t h o ¨ en   an d   J .   T is s ea u   „ Fu zz y   co g n iti v e   m ap s   f o r   t h e   s i m u lat io n   o f   i n d iv id u al  ad ap tiv e  b eh a v io r s ‟     W ile y   On lin e  L ib r ar y   2 0 1 0   [7 ]   E lp in ik i P ap ag eo r g io u   an d   P et er   Gr o u m p o s .   „ A  W eig h t  A d a p tatio n   Me t h o d   f o r   Fu zz y   C o g n iti v e  Ma p s   to   a  P r o ce s s   C o n tr o l   P r o b lem ‟ .   Sp r in g er   2 0 0 4   [8 ]   R ich ar d   S.  S u tto n   a n d   A n d r e w   G.   B ar to .   „ R ei n f o r ce m e n t  L ea r n i n g :  An   I n tr o d u ctio n ‟ .   A   B r ad f o r d   B o o k   T h e  MI T   P r ess   C a m b r id g e,   M ass ac h u s etts   L o n d o n ,   E n g lan d   2 0 0 5   [9 ]     “ T SP   Ho m e  p ag e” ,   h ttp ://co m o p t.i f i. u n i - h eid elb er g . d /s o f t w ar e/T SP L I B /in d ex . h t m l   [1 0 ]   E .   T o lm a n .   C o g n it iv e  m ap s   i n   r ats an d   m e n .   P s y ch o lo g ical  R ev ie w   v o l u m e5 5   ,   1 9 4 8 .   [1 1 ]   T h o m as J .   Sar g e n t,  D y n a m ic  Ma cr o ec o n o m ic  T h eo r y ,   Secti o n   1 . 1 - 1 . 4 .   [1 2 ]   W ei  W an g ,   Sh a n g ce   Gao ,   Z h en g   T an g .   'A   C o mp lex  a r tifi ciel  im mu n e  s ystem'    Fo u r th   I n ter n at io n a l   C o n f er en ce   o n   Nat u r al  C o m p u tatio n .   2 0 0 8   I E E E .   [1 3 ]   E . A .   J as m i n .   T . P .   I m t h ia s   A h a m ed .   V. P .   J ag ath y   R aj .   „ R e in f o r ce m e n t  L ea r n i n g   ap p r o ac h es  to   E co n o m ic   Dis p atch   p r o b le m ‟ .   E ls ev ier _   2 0 1 1 .   [1 4 ]   E v a  Vo ln a1   ' Ne u r o ev o lu t io n a r y   o p ti m izatio n ' .   I JCS I   I n tern a tio n a l  Jo u r n a l  o f  C o mp u ter  S cien ce   I s s u es ,  Vo l.  7 ,   I s s u e  2 ,   No   4 ,   Ma r ch   2 0 1 0   I SS N  ( On lin e) : 1 6 9 4 - 0 7 8 4 .   [1 5 ]   Ah m ed   T lili ,   Salim   c h i k h i  'M o d elin g   C o m p lex   A d ap tiv e s   S y s te m s   u s i n g   L ea r n i n g   F u zz y   C o g n iti v e   Ma p s ' .   I n tern a n tio n a l J o u r n a l   o f Co mp u ter A p p lica tio n   I JCA .   Vo lu m e  5 3   No   3   2 0 1 2 .     [1 6 ]   T h o r n e,   B .   C . ,   A .   M.   B aile y ,   D.   W .   DeSi m o n e,   a n d   S.  M.   P eir ce .   A g e n t - b a s ed   m o d elin g   o f   m u lticell   m o r p h o g e n ic  p r o ce s s es d u r i n g   d ev elo p m e n t.  B ir th   De f ec t s   R es.  C   E m b r y o   T o d ay   8 1 :3 4 4 – 3 5 3 ,   2 0 0 7 .   [1 7 ]   C h a v ali,   A .   K. ,   E .   P .   Gian ch an d a n i,  K.   S.  T u n g ,   M.   B .   L a w r e n ce ,   S.  M.   P eir ce ,   an d   J .   A .   P ap in .   C h ar ac ter izi n g   e m er g e n t  p r o p er ties   o f   i m m u n o lo g ical   s y s te m s   w it h   m u lticel lu l ar   r u le - b a s ed   co m p u tatio n al  m o d eli n g .   T r en d s   [1 8 ]   I m m u n o l.  2 9 :5 8 9 – 5 9 9 ,   2 0 0 8 .     [1 9 ]   H.   A t lan ,   “ T h e  li v i n g   ce ll  as  a  p ar ad i g m   o f   co m p lex   n at u r a l  s y s te m s , ”  C o m p le x u s ,   v o l.  1 8 ,   n o .   6 – 7 ,   p p .   764 – 7 6 6 ,   2 0 0 3 .   [2 0 ]   Min a k s h i  S h ar m a   ,   Dr .   So u r ab h   Mu k h er j ee .   " Fu zz y   C - Me an s ,   A N FIS  a n d   Gen etic   A l g o r ith m   f o r   Seg m en tin g   Ast r o c y to m a  – A   T y p e  o f   B r ain   T u m o r ". I A E S   I n tern a tio n a l  Jo u r n a l  o f  A r tifi c ia l   I n tellig en ce   ( I J - AI)   Vo l.  3 ,   No .   1 ,   Ma r ch   2 0 1 4 ,   p p .   1 6 ~2 3 .   [2 1 ]   HOP FIE L D,   J .   J .   &   T ANK,   D .   W .   ( 1 9 8 6 ) .   C o m p u ti n g   w it h   n eu r al   n et w o r k s :   a  m o d el.   Sci en ce   2 3 3 ,   6 2 5 - 633.   [2 2 ]   J ea n   Ho llan d .     ' St u d y in g   C o m p lex   A d ap tiv es S y s te m s ' .   2 0 0 6   Sp r in g er   Scie n ce   +  B u s i n es s   Me d ia,   I n c.   [2 3 ]   B ea le,   M.   an d   H.   De m u t h ,   1 9 9 4 .   Fu zz y   s y s te m s   2 7 .   A l - E m r an   A . ,   P .   Kap u r   D.   P f a h l  a n d   G.   R u h e,   2 0 1 0 .   to o lb o x :  Fo r   u s e  w i th   M A T L A B   P W S  P u b lis h i n g   S tu d y i n g   t h e  i m p ac t  o f   u n ce r tai n t y   in   o p er atio n al  C o m p an y .       B I B L I O G R AP H Y  O F   AUT H O RS          A h m e d   T li li   w a s   b o rn   in   Co n st a n ti n e ,   A lg e ria   o n   M a r  2 1 ,   1 9 7 7 .   He   re c e i v e d   th e   M a g ister   d e g re e s  f ro m   El h a d j  L a k h d a r  U n iv e rsity   o f   Ba tn a ,   A lg e ri a ,   in   2 0 0 7 .   I n   2 0 1 0 ,   h e   jo i n e d   th e   De p a rtme n t  o f   Co m p u ter  S c ie n c e   a n d   it s  A p p li c a ti o n s,  Ne w s   F a c u lt y   o f   In f o r m a ti o n   T e c h n o lo g ies   a n d   Co m m u n ica ti o n   A b d e l h a m id   M e h ri  U n iv e rsity ,   Co n sta n ti n e   a s  a   stu d e n t   re se a rc h e r.   His   in tere stin g   a r e a s  a re   A rti f i c ial  In telli g e n c e ,   s o f twa re   e n g in e e rin g ,   Ne u ra l   n e tw o rk ,   F u z z y   lo g ic an d   F u z z y   I n f e re n c e   S y ste m .           Evaluation Warning : The document was created with Spire.PDF for Python.