I AE I nte rna t io na l J o urna l o f   Ar t if icia l In t ellig ence   ( I J - AI )   Vo l.   5 ,   No .   3 Sep tem b er   2 0 1 6 ,   p p .   95 ~ 1 0 4   I SS N:  2252 - 8938          95       J o ur na l ho m ep a g e h ttp : //ia e s jo u r n a l.c o m/o n lin e/in d ex . p h p /I J AI   Na tural I mm une   Sy ste m  Respo nse   A s Co m plex A da ptive  Sy ste m  Using   Lea rning  F u zz y  Cog nitive M a ps       A hm ed   T li l i ,     S a l i m   Ch ik h i   De p a rtme n o f   Co m p u ter S c ien c e   a n d   i ts  A p p li c a ti o n s ,   Ne w   F a c u lt y   o f   In f o r m a ti o n   T e c h n o lo g ies   a n d   Co m m u n ica ti o n   A b d e lh a m id   M e h ri  Un iv e rsity ,   C o n sta n ti n e ,   A lg e ria       Art icle  I nfo     AB ST RAC T     A r ticle  his to r y:   R ec eiv ed   J u n   4 ,   2 0 1 6   R ev i s ed   A u g   7 ,   2 0 1 6   A cc ep ted   A u g u s t 2 3 ,   2 0 1 6       In   th e   Na tu ra Im m u n e   S y ste m s   NIS ,   a d a p ti v e   a n d   e m e rg e n b e h a v io rs  re su lt  f ro m   th e   b e h a v io rs  o f   e a c h   c e ll   a n d   th e ir  i n tera c ti o n w it h   o th e c e ll   a n d   e n v iro n m e n t.   M o d e li n g   a n d   S im u latin g   NIS  re q u ires   a g g re g a ti n g   th e se   c o g n it iv e   in tera c ti o n b e tw e e n   th e   in d iv id u a c e ll a n d   t h e   e n v iro n m e n t.   In   las y e a rs  th e   F u z z y   Co g n it iv e   M a p (F CM )   h a b e e n   sh o w n   to   b e     a   c o n v e n ien to o f o m o d e li n g ,   c o n tr o ll i n g   a n d   sim u latin g   c o m p lex   s y ste m s.   In   th is  p a p e r,     a   n e w   t y p e   o f   le a rn in g   f u z z y   c o g n it iv e   m a p (LF CM h a v e   b e e n   p r o p o se d   a a n   e x ten sio n   o f   trad it io n a F C M   f o m o d e li n g   c o m p le x   a d a p ti v e   s y ste m   is  d e s c rib e d .   O u a p p r o a c h   is  su m m a rize d   in   tw o   m a jo r   id e a s:  T h e   f irst  o n e   is  to   i n c re a se   th e   re in f o rc e m e n lea rn in g   c a p a b il it ies   o f   th e   F CM   b y   u sin g   a n   a d a p tatio n   o f   Q - lea rn in g   tec h n iq u e   a n d   t h e   se c o n d   o n e   is  to   f o ste d iv e rsit y   o f   c o n c e p t' sta te w it h in   th e   F CM   b y   a d o p ti n g   a n     IF - T HEN  ru le  b a se d   s y ste m .   T h r o u g h   m o d e li n g   a n d   sim u latin g   re sp o n se   o f   n a tu ra imm u n e   sy ste m ,   w e   sh o th e   e f fe c ti v e n e s o f   th e   p ro p o se d   a p p ro a c h   in   m o d e li n g   CA S s.      K ey w o r d :   C o m p le x   A d ap tiv S y s te m   Fu zz y   C o g n it iv Ma p s   I m m u n S y s te m   R e s p o n s e   R ein f o r ce m e n L ea r n i n g     Co p y rig h ©   2 0 1 6   In stit u te o A d v a n c e d   E n g i n e e rin g   a n d   S c ien c e .     Al rig h ts  re se rv e d .   C o r r e s p o nd ing   A uth o r :   A h m e d   T l i li   Dep ar t m en t o f   C o m p u ter   Scie n ce   an d   its   A p p licatio n s ,     Ne w   Facu l t y   o f   I n f o r m atio n   T ec h n o lo g ies a n d   C o m m u n ica ti o n   A b d el h a m id   Me h r i U n iv er s it y ,   C o n s tan ti n e,   A l g er ia .   E m ail:  a g en t2 5 0 0 0 @ y a h o o . co m       1.   I NT RO D UCT I O N     A   C o m p le x   A d ap ti v S y s te m   ( C A S)   [ 2 1 ]   is   d ef i n ed   as   co l lectio n   o f   en t ities   ( ag e n ts ),   w i th   s i m p le   r u les  o f   b eh a v io r ,   m er g ed   in   d y n a m ic  an d   u n k n o w n   e n v ir o n m e n an d   ab le  to   ad ap to   it  b y   lear n in g   ex p er ien ce s .   T h o v er all   ad ap tatio n   to   t h e n v ir o n m e n ap p ea r s   th r o u g h   t h lo ca b eh a v i o r   o f   en titi e s   t h at  i s   ad ap tiv e.   Fo u n d   i n   n at u r e,   m a n y   b io lo g ical  an d   s o cial  s y s te m s   ar s i m ilar   to   th C AS:  t h i m m u n s y s te m ,   b ir d   f lo ck s ,   t h ce ll,  i n s ec co lo n ies,  b r ain ,   ec o n o m ic  m ar k ets  etc. . . .   All  t h ese  s y s te m s   a r ch ar ac ter ized   b y   th eir   t w o   k e y   co n ce p ts ,   n a m el y   th e m er g e n ce   o f   g lo b al  b eh av io r ,   w h ich   i s   d u to   o f   th e   lack   o f   ce n tr alize d   co n tr o l a n d   m ea s u r i n g   s e lf - o r g an iza tio n   ad ap tatio n   to   th e n v ir o n m en t b y   r elativ lear n i n g .   I n   th Nat u r al  I m m u n S y s t e m s   ( NI S),   e m er g e n b eh a v i o r s   r esu lt  f r o m   t h b eh a v io r s   o f   ea c h   in d iv id u al  ce ll   a n d   th eir   i n t er ac tio n s   w it h   t h en v ir o n m en t.  Mo d elin g   NI r eq u ir es  in co r p o r atin g   t h ese   ad ap tiv in ter ac tio n s   a m o n g   th in d i v id u al  ce ll s   an d   th en v ir o n m e n t.  Mo d elin g   ap p r o ac h es  f o r   NI ar e   g r o u p ed   in to   t w o   ca te g o r ies:   m at h e m atica l   m o d els  g en er all y   ta k th e   f o r m   o f   p ar tial  d i f f er en tial  eq u at io n s ,   an d   c ell - b ased   m o d els  s i m u la te  ea ch   in d iv id u al  ce ll  b eh av io r   an d   in ter ac tio n s   b et w ee n   th e m   e n ab li n g   t h e   o b s er v atio n   o f   t h e m er g e n t   b eh av io r .   T h is   s t u d y   f o c u s e s   o n   t h ce l l - b ased   m o d els   o f   NI S,  an d   m ai n l y ,   t h e   tech n ical  asp ec o f   t h f u zz y   r u le - b ased   s i m u latio n   m et h o d   f o r   NI is   d esc r ib ed .   Ho w   to   i m p le m en th ce l b eh av io r s   a n d   t h i n ter ac tio n s   w ith   t h e n v ir o n m e n t   in to   th co m p u tat io n al  d o m ain   is   d is cu s s ed .   T h s y s te m   b eh av io r s   d escr ib ed   in   t h is   p a p er   ar d if f er en tiatio n s   m ec h a n is m   b et w ee n   s el f   an d   n o - s el f   ce lls .       Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8938   IJ - AI    Vo l.  5 ,   No .   3 ,     Sep tem b er   2 0 1 6   :   95     104   96   L ast l y   to   g et  a   b etter   u n d er s tan d i n g   w h y   N I is   co n s id er ed   as  co m p le x   ad ap tiv e   s y s te m   th e   f o llo w in g   p o in t s   m a y   b r elev an t:    1.   NI S is   d ec en tr alize d   s y s te m .     2.   NI m ec h an i s m   is   co g n iti v task .   3.   T h er ar s im ilar it ies b et w ee n   NI S a n d   ad ap tiv s o cial  in s ec ts   co lo n ies,  e. g .   a n t s   a n d   b ee s .     4.   T h o v er all  b eh av io r   ad ap tatio n   o f   NI ap p ea r s   th r o u g h   t h l o ca l b eh av io r   ad ap tatio n   o f   e ac h   ce ll .   I n   th litt ér at u r e ag e n t - b a s ed   m o d el s   ( A B M)   an d   ce ll u lar   au to m ata  ( C A )   ar t w o   o f   th co m m o n l y   u s ed   m et h o d o lo g ies   f o r   m o d e lin g   o f   NI S   [ 1 6 ,   17 ].   T h A B M   ar cr iticized   f o r   th eir   co m p lex it y ,   b y   a g ain s th C As ar also   cr iticized   f o r   lack   o f   e n v ir o n m e n t.   R ec en t l y ,   m a n y   s t u d ies  h a v u s i n g   F C Ms  a n d   t h eir   m u ltip l ex te n s io n s   [ 1 - 2 , 1 9 ] ,   to   m o d el  co m p lex   s y s te m s   w h er C A S s   ar s p ec ial  ca s e,   an d   h a v g i v e n   e n co u r ag i n g   r esu l ts   [ 3 - 5] .   I n   th is   p ap er   w p r ese n a n   ap p r o ac h   f o r   m o d eli n g   C A S s   b ased   o n   o n e   co n n ec tio n   o f   th f u zz y   co g n it iv m ap s   ( FC M )   th eo r y   a n d   ad p ativ r ein f o r ce m e n lear n in g   alg o r it h m   Q - L ea r n i n g ,   a ls o   lin ea r   w ei g h ad ap tatio n   m et h o d   b ased   o n   h eb b ian   lear n i n g   al g o r ith m   [ 7 ]   d ev elo p ed   f o r   n eu r al  n et w o r k s   is   u s ed   to   tr ain   FC b y   u p d ates  o n l y   t h in itia w ei g h ts   o f   FC M.       2.   RE S E ARCH   M E T H O D     T h Natu r al  I m m u n S y s te m   ( NI S)  is   o n o f   t h m o s ad v an ce d   an d   co m p le x   ad ap ti v b io lo g ical  s y s te m s .   I n   o r d er   to   m ai n tai n   i n d ep en d en ce   a n d   h elp   i n   av o id in g   au to i m m u n i t y ,   l iv in g   o r g an i s m   m u s t   p r ev en in v as io n   b y   n u m er o u s   m icr o o r g an is m s   a n d   h ar m f u s u b s tan ce s   f r o m   t h en v i r o n m e n t,  an d   m u s t   h an d le  t h o s t h at  d o   e n ter .   NI h a s   d o u b le  o b j ec tiv s i n ce   it  h a s   to   m ax i m i ze   h ar m f u a n ti g en s   eli m i n atio n   an d   at  th s a m ti m m i n i m i ze   h ar m   to   s elf   ( au to i m m u n i t y ) .   I m m u n it y   i n cl u d es  f u n cti o n s   to   d is tin g u i s h   b et w ee n   s el f   a n d   n o   s el f   co m p o n en ts   ( ce ll s ) ,   an d   to   r e m o v th e   latter .   T h i m m u n r esp o n s p r o ce s s   i s   d ep icted   in   Fig u r 5           Fig u r 1 .   Natu r al  i m m u n r es p o n s m ec h an is m s       I m m u n r esp o n s es  ar i m p le m en ted   b y   s p ec ial   ce lls   ca lle d   l y m p h o c y tes.  T h ese   ce ll s   ar f u r n i s h ed   w it h   s o r o f   a n te n n a s   to   r ec o g n ize  n o   s el f   c h e m ical  s tr u c tu r es  ( a n ti g en   d eter m i n an t s )   n o in cl u d ed   a m o n th s el f   co m p o n e n t s .   B   ce lls   an d   T   ce lls   ar tw o   m aj o r   ty p es  o f   l y m p h o c y tes  a n d   ar d er iv ed   f r o m   h e m ato p o ietic  s te m   ce lls   i n   th b o n m ar r o w .   B   ce lls   ar in v o lv ed   i n   t h h u m o r al  i m m u n r esp o n s e.   T h ey   w o r k   c h ief l y   b y   s ec r etin g   s u b s tan ce s   ca lled   an tib o d ies   in to   th b o d y s   f l u id s .   Mo r eo v er ,   T   ce lls   ar e   in v o lv ed   in   ce ll - m ed iate d   i m m u n r esp o n s a n d   ca n   b s u b d iv id ed   in to   t w o   g r o u p s th h elp er   T   ce ll  ( T h )   an d   th s u p p r ess o r   T   ce ll  ( T s ) .   A ctiv a tio n   o f   T   ce lls   b y   an ti g en - p r ese n t i n g   ce lls   ( A P C s )   in   l y m p h   n o d es  i s   k e y   st ar tin g   ev en in   m a n y   n atu r al   i m m u n r esp o n s es.   T h   ce ll s   ar p ar tic u lar l y   i m p o r t an i n   th e   i m m u n s y s te m .   B ec au s th e   T h   ce ll s   ca n   n o r ec o g n ize   an tig e n   d ir e ctl y ,   t h a n ti g en   h a v to   b p r o ce s s ed   b y   s o m o t h er   ac ce s s o r y   ce l ls   ( An ti g e n - P r esen tin g   C ell s   ( A P C ) )   in   ad v an ce .   T h ac tiv atio n   o f   T h   c ells   d ep en d s   o n   th in ter ac tio n   o f   T   ce ll  r ec ep to r s   ( T C R s ) ,   w h ic h   ar m o lec u les   f o u n d   o n   t h s u r f ac o f   T   ce lls   t h at  ar g e n er all y   r e s p o n s i b le  f o r   r ec o g n izi n g   Evaluation Warning : The document was created with Spire.PDF for Python.
IJ - AI     I SS N:  2252 - 8938       N a tu r a l I mmu n S ystem  R esp o n s A s   C o mp lexe   A d a p tive  S ystem  Usi n g   Lea r n in g   F u z z …( A h m e d   T l il i )   97   p ep tid es  b o u n d   to   Ma j o r   His t o co m p atib ilit y   C o m p le x   ( M H C )   m o lec u le s ,   w it h   p ep tid es   t h at  ar d i s p la y ed   o n   th s u r f ac o f   an ti g e n - p r ese n tin g   ce lls .   T   ce ll   r ec ep to r s   s ca n   th s u r f ac o f   an ti g e n   p r esen ti n g   ce ll s   f o r   s p ec if ic  p ep tid es  b o u n d   to   m o lecu les  o f   th MH C .   I f   t h s p ec if ic   p ep tid es  ar f o u n d ,   th T h   ce ll   is   ac tiv ated ,   an d   s ec r etes  in ter le u k in   ( I L +)   an d   o th er   v ar io u s   c h e m ical  s i g n als.  T h s ec r eted   in ter leu k i n   p lay s   an   i m p o r tan t   r o le  in   ac tiv ati n g   B   ce lls .   O n   th o t h er   h a n d ,   th s u p p r ess o r   T   ce ll  ( T s )   ca n   s ec r ete  s u p p r ess i n g   s i g n a in ter le u k i n   ( I L - )   to   in h i b it t h ac tio n   o f   i m m u n r esp o n s e.           Fig u r 2 .   Ou r   C o m p le x   ad ap tiv ar tif ic ial  i m m u n s y s te m   ( C AA I S)  m o d eled   in   t h b ac k g r o u n d   o f   th L F C M.   Mo to r   co n ce p t T h ,   af ter   ac tiv atio n   p r o ce s s ,   h a s   t w o   p o s s ib le  ac tio n s   SE L F a n d   N O - SE L F a ct io n   as  r esp o n s to   en v ir o n m e n t.       P r o p o s ed   f r a m e w o r k   f o r   m o d elin g   a n d   s i m u lati n g   n at u r a i m m u n s y s te m   r esp o n s a s   co m p le x   ad ap tiv s y s te m   is   s u m m ar ize d   in   F ig u r 3 .   T h m ain   id ea   i s   co n n ec tio n   b et w ee n   t h f u zz y   co g n iti v m ap s   an d   r ein f o r ce m e n t le ar n i n g .   T h f ir s t s tep   is   to   m o d el  t h s y s te m   in   t h b ac k g r o u n d   o f   t h p r o p o s ed   ap p r o ac h ,   i.e .   th e   FC M.   T h en   w d escr i b th r e f lecto r s   co n ce p ts ,   i n t er m ed iates  co n ce p ts   a n d   m o to r s   co n ce p ts ,   a n d   i n   th las p o in o f   th f ir s s tep ,   w d eter m in a n d   d escr ib th r elatio n   o r   li n k   b et w ee n   c o n ce p ts   w it h   t h eir   v alu e s   w ei g h t.  I n   t h s ec o n d   s tep ,   th s y s te m   is   ca p ab le  o f   lear n in g   f r o m   e x p er ien ce   w it h   th e n v ir o n m e n t   u s i n g   r e w ar d - p u n is h m e n p r o ce d u r e,   ca lled   r ein f o r ce m e n lear n i n g   b ased   ad ap tiv Q - lear n i n g   alg o r it h m   ( Fig u r 2 ) .             Fig u r e3 .   F r a m e w o r k   o f   t h p r o p o s ed   ap p r o ac h       R ein f o r ce m en lear n in g   is   ca lled   o n - lin m eth o d   in   m ac h in lear n in g   th eo r y   an d   th in ter ac tio n   b etw ee n   th lear n in g   NI m o d eled   an d   w ith   en v ir o n m en t,  Fig u r 2 ,   is   its   m ain   s o u r ce   o f   in tellig en ce .   A   m o s u s ed   R L   alg o r ith m   is   Q - L ea r n in g   [ 9 ]   in   m ac h in lear n in g ,   w o r k s   b y   lear n in g   an   ac tio n - s tate  v alu f u n ctio n   th at  ex p r ess es  cu m u lativ r ew ar d   o f   tak in g   g iv en   ac tio n   in   g iv en   s tate.     Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8938   IJ - AI    Vo l.  5 ,   No .   3 ,     Sep tem b er   2 0 1 6   :   95     104   98       Fig u r 4 .   T h r ein f o r ce m en t le ar n in g   m o d el.       2 . 1 .   F uzzy   Co g nitiv M a ps   T h ter m   co g n iti v m ap   ( C M)   ap p ea r s   f o r   th f ir s ti m e   in   1 9 4 8 's   i n   ar ticle  b y   E .   T o l m an   [ 1 0 ]   co g n iti v m ap s   in   r at s   a n d   m e n   to   d escr ib t h ab s tr ac m e n tal  r ep r esen tatio n   o f   s p ac b u i lt  b y   r ats   tr ain ed   to   n av i g ate  i n   t h lab y r i n t h .   T h ter m   F C ( F u zz y   C o g n iti v Ma p )   w as  i n tr o d u ce d   in   1 9 8 6   b y   B .   Ko s k o   [ 2 ] ,   to   d escr ib s i m p le   e x te n s io n   o f   C Ms  b y   th e   co m b in a tio n   o f   f u zz y   lo g ic  a n d   ar tif ic ial  n eu r al  n et w o r k s .   T h is   r o b u s co m b in a tio n   g i v en   F C Ms  s tr u ct u r s i m i lar   to   ar tif icial  r ec u r r en n eu r al  n et w o r k s   ( A r tif ic ial   R ec u r r en Ne u r al  Net w o r k   AR NN.   F C M s   ( Fi g u r 3 )   ca n   d escr ib   th e   co m p le x   b eh a v io r   o f   e n titi e s .   T h e y   ar r ep r esen ted   as  d ir ec ted   g r ap h s   w h o s n o d es  ar co n ce p ts   ( class i f ied   in to   th r ee   t y p es s en s o r y ,   m o to r   an d   ef f ec to r s )   an d   t h ar c s   r ep r esen ca u s al   r elatio n s h ip s   b et w e e n   t h ese   co n ce p ts .     E ac h   ar c   f r o m   o n co n ce p C i   to   o n co n ce p C j   is   a s s o ciate d   w it h   w e ig h w ij   r ef lec tin g   r elatio n s h ip   o f   in h ib itio n   ( w ij   <0 )   o r   ex citatio n   (w ij   0 ) .   E ac h   co n ce p is   a s s o ciate d   w it h   d eg r ee   o f   ac ti v atio n ,   r ep r ese n t ' s   t h s tate  at   ti m t,  an d   ca n   b e   m o d i f ied   o v er   ti m e.   T h d y n a m ics  o f   an   F C ca n   b s u m m ar ized   in   o n c y cle  ( f r o m   t o   +1 )   b y   u p d ati n g   th ac ti v atio n s   v ec to r .           Fig u r 5 .   An   FC a s   g r ap h       T h f o llo w i n g   g i v es  f o r m a d escr ip tio n   o f   an   FC [ 6 ] .   K   d en o tes  o n o f   th r in g s   or ,   b y   δ   o n o f   th n u m b er s   0   o r   1 ,   f o r   o n o f   th s ets  {0 ,   1 },   { - 1 . 0 ,   1 },   o r   [ - δ , a] .   L et  ( n ,   t 0   I N²  an d   k   * + .     An   F C F is   s ix f o ld   ( C ,   K ,   W ,   A ,   f a ,   R ) :     a.   C   = { C 1 ,…,C n i s   th s et  o f   n   co n ce p ts   f o r m in g   t h n o d es o f   g r ap h .     b.     C   ×  C   is   t h s et  o f   ar cs ( C i , C j )   f r o m   C i   to   C j .     c.   W :   C ×C →K              (C i ,   C j )   →  W ij   is   f u n ctio n   o f   C ×C   to   IR   ass o ciatin g   w eig h W ij   to   p air   o f   co n ce p ts   (C i ,   C j ) w ith   W ij   0   if   (C i ,   C j   A ,   o r   W ij   eq u al  to   th w eig h o f   th ed g if   (C i ,   C j   A .   No te  th at  W ( C   ×  C )   ( W ij   K ×   n   is   m atr ix   o f     M n   ( I R )     a.   A : C →V n   Evaluation Warning : The document was created with Spire.PDF for Python.
IJ - AI     I SS N:  2252 - 8938       N a tu r a l I mmu n S ystem  R esp o n s A s   C o mp lexe   A d a p tive  S ystem  Usi n g   Lea r n in g   F u z z …( A h m e d   T l il i )   99   C i   →a i   is   f u n ctio n   th a m ap s   ea ch   co n ce p C i   to   t h s eq u en ce   o f   i ts   ac ti v atio n   d eg r ee   at  th e   m o m e n   I N,   a i   ( t)     V   is   its   d eg r ee   o f   ac tiv at io n   at  th m o m e n t .   W No te  a   ( t)   [ ( a i   ( t) )     [[1,   n ] ]   T   th v ec to r   o f   ac tiv at io n s   at  t h m o m en t   b.   f a     ( IR   n N   is   s eq u en ce   o f   v ec to r s   o f   f o r ce d   ac tiv atio n s   s u c h   as  f o r   [ 1 ,   n ]   an d         t 0   is   th e   f o r ce d   ac tiv atio n   o f   th co n ce p t C i   at    m o m e n t t.   c.   ( R)   is   a   r ec u r r en ce   r elat io n s h i p   o n   t ≥   t 0   b et w ee n   a i   ( t +  1 ) a i (t )   an d   f ai   ( t )   f o r     [ 1 , n ]   in d icatin g   t h e   d y n a m ics o f   th m ap   F .   ( R )   :       [ 1 ,   n ] ,   ≥  t 0,               a i   (t 0 )   0             a i   ( t+1 )   σ [ g i ( ƒ   ai ( t) , j [1, n] W ij   a j ( t )) ]           Fig u r 6 .   C o g n itiv m ap s   s tan d ar d izin g   f u n ctio n .       T h Mo d r e p r esen ted   b y   th f u n ctio n      is   to   r ed u ce   t h v al u o f   co n ce p t s   w it h i n   th r an g o f   v al u es  tak e n   a s   t h ar ea   an d   ca n   b ei th er   b i n ar y ,   ter n ar y   a n d   s i g m o id .   T h v al u e   o f   ea c h   co n ce p i s   ca lcu lated   w it h   o r ig i n al  f o r m u la  p r o p o s ed   b y   Ko s k o   [ 2 ] :            O th er   alter n at iv e s   ar to   tak in to   ac co u n t h p ast  h is to r y   o f   co n ce p ts   an d   j o in tl y   p r o p o s ed   th f o llo w in g   eq u at io n :           W      T h A lg o r it h m   1   s h o w s   t h e   s tep s   to   f o llo w   f o r   th ca lc u latio n   o f   th n ex i n p u v ec to r   at  ea ch   ite r atio n .   A l g o r ith m   1 :   C alc u lat io n   o f   t h o u tp u t   v ec to r     Step   1 :   R ea d   th in p u t v ec to r   an d   w ei g h m atr i x   W .   Step   2 : Calcu late   t h e   o u tp u t v ec to r               W   Step   3 : A p p l y   t h tr an s f er   f u n ctio n     to   th e   o u tp u v ec to r    Step   4 :   v er if y   th co n d itio n s   o f   ter m in at io n   o f   t h alg o r it h m     2 . 2 .   B a s ics Re info rc e m ent   L ea rn ing   ( RL )   T h Ma r k o v   Dec is io n   P r o ce s s es  ( MD P )   d ef i n es  t h e   f o r m al  f r a m e w o r k   o f   r ei n f o r ce m en t     lear n in g   [ 1 3 ] .   Mo r f o r m all y ,   an   MD P   p r o ce s s   is   d ef in ed   b y :   a.   S,  f in ite  s et  o f   s ta tes.  s   Є     b.   A ,   f in i te  s et  o f   ac tio n s   i n   s tat s .   Є   A ( s )   c.   r ,   r ew ar d   f u n ctio n .   r ( s ,   a)   Є     d.   P ,   th p r o b ab ilit y   o f   tr a n s i t io n   f r o m   o n s tate  to   an o t h er   d ep en d in g   o n   t h s elec t ed   ac tio n .     P   ( s   '|   s ,   a)   P a ( s ,   s ' ) .   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8938   IJ - AI    Vo l.  5 ,   No .   3 ,     Sep tem b er   2 0 1 6   :   95     104   100   T h p r o b lem   is   to   f in d   a n   o p ti m al  p o lic y   o f   ac t io n s   t h at   ac h ie v es  th e   g o al  b y   m ax i m izi n g   t h r e w ar d s ,   s tar ti n g   f r o m   an y   in itial  s tate.   A ea ch   iter atio n ,   th ag e n b ein g   in   t h s tate  ch o o s es  an   ac tio n ,   a cc o r d in g   to   th e s o u tp u ts   t h en v ir o n m e n s en d s   eit h er     a w ar d   o r   p en alt y   to   th a g en t   s h o w n   b y   t h e   f o llo w in g   f o r m u la:    r k   h   ( s k ,   a k , s k+ 1 ) .     T o   f in d   th to tal  co s t,  w h ic h   i s   r ep r esen ted   b y   t h f o r m u la  Σ   h ( s k ,a k   ,s k + 1 ) ,   th co s t s   ar   a cc u m u lated   at  ea ch   iter atio n   o f     th   s y s te m .   I n   [ 8 ]   th ex p ec ted   r ew ar d   is   w e ig h ted   b y   th p ar a m eter   γ   an d   b ec o m es  Σ   γ   (s i ,a i ,s i+ 1 )   w it h   0     γ     1 .   T h R L   i s   to   f in d   p o licy   o r   an   o p ti m al  s tr ate g y   π * ,   a m o n g   th e   d if f er e n π   p o s s ib le   s tr ateg ie s   in   t h s elec tio n   o f   t h ac tio n .   C o n s id er in g   th at  a n   o p ti m al  p o lic y   π   e x is t s ,   an d   th e n   th B ell m a n   [ 1 1 ]   o p tim a lit y   eq u atio n   i s   s ati s f ie d :     V π   =  V * (s i )   m a x   { R ( s i , a)   δ ( ∑P ( s i →s i+ 1 , a)   V * (s i + 1 )} s                                              E q u atio n   ( 2 )   s ets  th e   v al u f u n ctio n   o f   t h o p ti m a p o lic y   t h at   r ein f o r ce m e n lear n i n g   w i ll  s ee k   to   ass es s     V * ( s )   m ax   V π   ( s )     I n   Q - L ea r n i n g   a lg o r it h m   tech n iq u [ 1 3 ] ,   th a g en t,  Fo r   an y   p o licy   π  a n d   a n y   s tate   S ,   t h v a lu o f   tak i n g   ac tio n   i n   s ta te   u n d e r   p o licy   π ,   d en o ted   Q π ( s , a ) ,   is   th e x p ec ted   d is co u n ted   f u t u r r e w ar d   s tar ti n g   i n   s ,   tak i n g   a ,   an d   h e n ce f o r t h   f o l lo w i n g   π .   I n   th is   ca s t h f u n ctio n   ( 3 )   ca n   also   b ex p r ess ed   f o r   a   s tate - ac tio n   p air :     Q * ( s , a )   m a x   Q π ( s , a            Q - lear n in g   i s   o n e   o f   t h m o s p o p u lar   r ein f o r ce m e n lear n i n g   m et h o d s   d ev elo p ed   b y   W atk in s   ( 1 9 8 9 )   an d   is   b a s ed   o n   T D( 0 ) .   I in v o lv e s   f in d i n g   s ta te - ac t io n   q u alitie s   r at h er   th a n   j u s s tate  v alu e s .   Q - L ea r n i n g   alg o r ith m     tech n iq u is   to   in tr o d u ce   q u alit y   f u n ctio n   r ep r esen ts   v al u f o r   ea ch   s tate - ac tio n   p air   an d   Q π   ( s ,   a)   is   to   s tr en g th e n   esti m ate   w h e n   s tar ti n g   f r o m   s tate  s ,   ex ec u ti n g   ac tio n   b y   f o llo w in g   p o licy   π         Q π ( s ,   a)   E   Σγ r i    a n d   Q * ( s ,   a)   i s   t h e   o p ti m al  s tate - ac tio n   p air   b y   f o llo w i n g   p o lic y   π *   i f   Q * ( s ,   a)   m a x   Q π ( s ,   a)     an d   if   w r ea ch   th Q * ( s i ,   a i )     f o r   ea ch   p air   s tate - ac t io n   th e n   w s a y   th at  t h ag e n ca n   r ea ch   th e   g o al  s tar tin g   f r o m   an y   i n it ial  s tate.   T h v al u o f   is   u p d ated   b y   t h f o llo w in g   eq u atio n :     Q +1 (s i   ,a i )   Q   (s i   ,a i )   α [ h ( s i ,a ,s i+ 1 )   γ   ar g   m ax ( Q   (s i+ 1, a) )     Q   (s i   ,a i ) ]             2. 3 .     T he  a da pta t io n o f   L ea r nin g   F uzzy   Co g nitiv M a ps   T h r atio n ale  o f   th p r o p o s ed   im m u n r esp o n s in s p ir ed   L FC is   to   f o s ter   lear n in g   ca p ab ilit y   an d   m em o r y   ac q u is itio n   o f   th L FC M.   T o   s h o w   h o w   th ese  tw o   is s u es  h av b ee n   ad d r ess ed ,   th C o m p lex   ad ap tiv ar t if icial  I m m u n s y s tem   h as   b ee n   co n s id er ed   an d   m o d eled   in   th b ac k g r o u n d   o f   p r esen tin g   L FC M   [ 1 5 ] .   I n   im m u n r esp o n s th ab ilit y   to   m em o r ize  m o s p r ev io u s ly   en co u n ter ed   an tig en s   b y   B   ce lls ,   en ab les  it  to   m o u n m o r ef f ec tiv r ea ctio n   in   an y   f u tu r en co u n t er s .   T h is   m ec h an is m   in   th n atu r al  im m u n s y s tem   is   u s u ally   d esig n ed   as  th ab ilit y   o f   ad ap tiv lear n in g   an d   im m u n m em o r y   ac q u is itio n .   T h is   is   th b asis   o f   m ath em atica ad ap tatio n   o f   th Q - L ea r n in g   alg o r ith m   in   th s en s o f   in s tr u ctin g       th ag en to   co n s id er   o p tim ally   its   h is to r y ,   ie  th v alu o f   to   aim   to   m em o r ize  th s tate  v is ited   b y   th ag en t .   in   o th er s   w o r d s ,   o n ce   th B   ce ll  id en tif ies  th in ter leu k in   s u b s tan ce   f r o m   th T h   ce ll  co n ce p t,  it  d iv id es  in to   an tib o d y   s y n th etic  ce lls ,   an d   f in aly   s ec r etes t h an tib o d y   ( A b ) .     T h C ASs   ar d is ti n g u is h ed   f r o m   o t h er   s y s te m s   b y   t h eir   d y n a m ic  i m p r o v e m e n ts   i n   c u r r en p o lic y   f o r   ea ch   in ter ac tio n   w ith   t h e n v ir o n m e n t.  So   th i s   is   lo ca co n s tr u ct io n   th a d o es  n o r eq u ir an   ass e s s m e n t   o f   th e   o v er all  s tr ateg y .   T h is   o b s er v atio n   lead s   u s   to   o v er lo o k   t h v a lu o f   t h q u a lit y   f u n c tio n   i n   s tep   ( i+1 ) .   T h is   tr an s late s   m ath e m at icall y   b y Q n (s i+ 1 ,   a)   0   an d   th er ef o r eq u atio n   ( 6 )   o f   th f u n ctio n   b ec o m es  a s   f o llo w s :     Q   (s i , a i )   = Q   (s i ,   a i )   + α   [ r i   -   Q   (s i ,   a i ) ]               T h v alu e   o f   Q   en ab le  s y s te m   to   m o u n a   m o r e f f ec ti v e   ac tio n   i n   a n y   f u t u r e n co u n t er ed   s tate  alr ea d y   v is ited .   So   th e   v al u is   d e s ig n ed   to   in s tr u ct   t h a g en to   co n s id er   o p ti m all y   i ts   h is to r ical  p as t.  I f   th e   ag en t is   i n   s tate  a lr ea d y   v is i t ed ,   w it h   a   v al u i n   t h tab le  o f   v al u es,  i w il l b d ir ec tl y   e x p lo ited   to   m o v to   th n ex s ta te,   o th er w i s it   w i ll  e x p lo r th p o s s ib le  ac t io n s   i n   t h i s   s ta te  ac co r d in g   to   th eir   r esp ec ti v p r o b a b ilit ies T h f o ll o w in g   p s eu d o   co d p r o v id es a n   u p d ate  o f   th v alu o f   f u n ctio n :     Evaluation Warning : The document was created with Spire.PDF for Python.
IJ - AI     I SS N:  2252 - 8938       N a tu r a l I mmu n S ystem  R esp o n s A s   C o mp lexe   A d a p tive  S ystem  Usi n g   Lea r n in g   F u z z …( A h m e d   T l il i )   101   I f   r   1   / /  Aw ar d       Q (s i , a i )   = Q (s i ,   a i )   + α [ 1 -   Q (s i   ,a i )]       I f   r   0   / /  P en alt y     Q (s i ,   a i )   = ( 1   -   α )   Q (s i ,   a i )     I n   o u r   ap p r o ac h ,   if   th s tate s   ar r ep r esen ted   af ter   f u zz y f ic atio n   b y   t h co n ce p ts   i n p u ts   o r   s en s o r y   co n ce p ts ,   th e   o u tp u v ec to r   is   r ep r esen ted   b y   t h s e o f   o u t p u co n ce p ts   o r   ef f ec to r s   co n ce p ts   th at   r ep r esen t   ac tio n s   to   p er f o r m   in   t h en v i r o n m e n af ter   d ef u zz y f icat io n .   T h m o to r s   co n ce p ts     ar th d ec is io n - m a k in g   m ec h a n i s m .   T h ex p lo r atio n   o f   th ac tio n s   i s   ac co m p an ied   b y   a n   u p d ate  o f   t h eir   p r o b ab ilit ies   ac co r d in g   to   th li n ea r   s ch e m [ 9 ] :     I f   r   1   / /  Aw ar d     P   (s i , a i   P (s i ,   a i )   β ( 1   -   P (s i ,   a i ))         I f   r   0   / /  P en alty     P (s i , a i )   ( 1 - β )   P (s i ,   a i )     2 . 4   O pera t io na l   m ec ha ni s m   m o del   T h m ec h a n is m   to   id en tify   t h n at u r o f   t h a n ti g en   a n d   th s elec tin g   o f   ac tio n   to   c o n s id er   is   s u m m ar ized   b y   t h f u zz y   r u l b ased   s y s te m .   A   s et   o f   I F - T HE lin g u is t ic  r u le s ,   w it h   th i n p u t s   a n d   th e   o u tp u ts   ar co m p o s ed   o f   f u zz y   s tate m e n t s ,   is   t h ess e n tial p a r t o f   th f u zz y   r u le:   I F a   s et  o f   co n d itio n s   ar s atis f ied   T HE s et  o f   r esu lts   ca n   b in f er r ed     I n   th i s   p r o p o s ed   a p p r o ac h ,   th w ei g h t s ,   w ij ,   ar d y n a m ic  an d   ca n   b m o d if ied   ac co r d in g   to   r ein f o r ce m en t   lear n i n g   al g o r ith m   to   p er m it   th e   n et w o r k   t o   b tr ain ed   b y   ex p er ie n ce   [ 2 0 ] .   B ased   o n   th th eo r etica asp ec ts   d escr ib e d   ab o v e,   th p s eu d o   co d e   o f   A l g o r ith m   2   s u m m ar i ze s   o u r   ap p r o ac h .     A l g o r ith m   2 P s eu d o   co d e   o f   th p r o p o s ed   ap p r o ac h   Step   1 :   R ea d   th v ec to r   k   an d   w eig h m atr ix   W   Step   2 C alcu late  th o u tp u v ec to r   k     k    k     k   W    Step   3 A p p ly   th tr an s f er   f u n ctio n       to   th e   o u tp u t v ec to r   k  St ep   4 :   A m o n g   th ac tiv co n ce p ts   ch o o s th o n th at   h as  th h ig h est   v alu o f   th f u n ctio n   Q ,   if   n o p r o b ab ilit y   Step   5 :   ca lcu late   th n ew   o u tp u v ec to r   ( o u tp u co n ce p ts   k  Step   6 Dep en d in g   o n   th r esp o n s e   to   th en v ir o n m en t :       If   r   1   /   / A w ar d   ( Up d atin g   th p r o b ab ilit y   P ij   an d   th v alu e )   Q   ( s i , a i )  =  Q ( s i ,   a i )   + α   [ 1     Q (s i ,   a i )]   W   C i ,C j )   W   C i ,C j )   P (a i )   = P (a i )   β   [ 1   -   P (a i )]   If   r   =   o   / /   P en alty   ( Up d atin g   t h p r o b ab ilit y   P ij th w eig h t o f   th co n n ec tio n   a n d   th v a lu e   of   Q)     Q k    (s i , a i ) )   = ( 1 -   α )   Q k   (s i , a i )   W   C i ,C j )   W   C i ,C j )   + η [ 1   -   W   C i ,C j )]   P (a i )   = ( 1 - β )   P (a i )     Step   7 :   I f   th ter m in a tio n   co n d itio n s   ar r ea lized   Sto p .   Oth er w i s e   g o   to   Step   2 .       3.   RE SU L T A ND  AN AL Y SI S     T o   ev alu ate  th p er f o r m a n c o f   o u r   p r o p o s ed   ap p r o ac h ,   th s i m u latio n   o f   t h s y s te m   w a s   i m p le m en ted   i n   M A T L AB ,   w h ic h   co m p r i s es  F u zz if icatio n   an d   d ef u zz i f ic atio n   w it h   F C M     m o d eli n g   [ 2 2 ] .   T ab le  2   s h o w s   w eig h v al u es  b et w ee n   co n c ep ts   af ter   d ef f u zi f icatio n   p r o ce s s   i n   th b i m o d al   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8938   IJ - AI    Vo l.  5 ,   No .   3 ,     Sep tem b er   2 0 1 6   :   95     104   102   m o d e.   T h m ai n   p u r p o s o f   t h i m m u n e   s y s te m   is   to   r ec o g n ize  all  ce ll s   w i th i n   th e   b o d y   a n d   ca teg o r ize  t h o s e   ce lls   as   s el f   o r   n o n - s el f .   A cti v atio n   o f   T   ce lls   b y   a n ti g en - p r esen ti n g   ce ll s   ( A P C s ) ,   w it h   t h e   ac ce s s o r y   co n ce p t   MH C ,   i n   l y m p h   n o d es   is   k e y   i n itia tin g   e v e n in   n at u r al  i m m u n e   r esp o n s e s .   I n   t h is   ca s t h T h   co n ce p t     ( T h   ce lls )   is   co n s id er ed   as  t h m o to r   co n ce p a n d   t h a ll  o th er s   co n ce p ts   ar co n s i d er ed   as  ac ce s s o r y   co n ce p ts .   T   ce lls   ar ab le  alo n to   d if f er en tiate   b et w ee n   s el f   an d   n o   s e lf   ( an ti g e n s )   ce ll s .   T   ce ll  r ec ep to r s   s ca n   th s u r f ac o f   A P C   f o r   s p ec if i p ep tid es  b o u n d   to   m o lecu le s   o f   t h MH C .   I f   t h s p ec i f ic  p ep tid es  ar f o u n d ,   th T h   ce l i s   ac ti v ated ,   s o   th n o - s el f   ac t io n   i s   e x ec u ted   a n d   t h a n tib o d y   w i ll  b s ec r eted ,   o th er w is e   th e   an ti g en   i s   r ec o g n ized   as  s el f   ce ll  th e n   th s elf   ac t io n   is   e x ec u ted   an d   th i m m u n r esp o n s e   is   ter m i n ated .         T ab le  1 .   C o n ce p t D escr ip tio n   o f   T h C AA I S i n   L F C B ac k g r o u n d   C o n c e p t s   D e scri p t i o n   Ag   A n t i g e n s (v i r u a n d   b a c t e r i a )   A P C   A n t i g e n   P r e se n t i n g   C e l l s   M H C   M a j o r   H i st o c o m p a t i b i l i t y   C o mp l e x   mo l e c u l e   Th   T h e   H e l p e r   T   c e l l   I L +   T h e   i n t e r l e u k i n   p o si t i v e   si g n a l   se c r e t e d   b y   T h   c e l l   B   B   C e l l   Ab   A n t i b o d y   p r o d u c e d   b y   B   c e l l s   Ts   T h e   su p p r e sso r   T   c e l l   IL -   T h e   i n t e r l e u k i n   n e g a t i v e   si g n a l   se c r e t e d   b y   T s c e l l       T h n u m b er   o f   co n ce p ts   h as  b ee n   r ed u ce d   to   9   co n ce p ts   th u s   to   av o id   th co m p lex i t y   o f   t h C AA I S   m o d eled   in   t h is   L F C t y p a n d   f o r   th p r o p o s ed   tech n iq u e   to   b e   m o r clea r   to   n o   s p ec ia lis r ea d er s   w u s e   f u zz y f ied   b in ar y   m o d e.   C o n ce p ts   Ag   a n d   A b   ar th F ac to r - co n ce p ts   ( s e n s o r y   co n c ep ts   an d   ef f ec to r s   co n ce p ts   r esp ec tiv el y ) ,   w h ic h   r ep r esen th in p u an d   o u tp u co n ce p ( in   ter m   o f   i n ter ac tio n   w it h   th e   en v ir o n m e n t) .       T ab le  2 .   W eig h Valu es B et wee n   C o n ce p t s   in   t h B i m o d al  Mo d e   C o n c e p t s   Ag   A P C   M H C   Th   I L +   B   Ab   Ts   IL -   Ag   0   +1   0   0   0   +1   0   0   0   A P C   0   0   +1   0   0   0   0   0   0   M H C   0   0   0   +1   0   0   0   0   0   Th   - 1   0   0   0   +1   0   0   0   0   I L +   0   0   0   0   0   +1   0   0   0   B   0   0   0   0   0   0   +1   0   0   Ab   - 1   0   0   0   0   0   0   +1   0   Ts   0   0   0   0   0   0   0   0   +1   IL -   0   0   0   - 1   0   0   0   0   0       T h W   m a tr ix   li n k   ass o ciate d   t o   th is   m o d el  ca n   b w r itte n   as  f o llo w s :         T h FC ( Fi g u r 2 )   h a s   t welv ed g e s   an d   n i n co n ce p t s   w it h   li n k s   e x citato r y   ( +1 )   o f   'A g '   to   'A P C ' , 'A P C '   to   ' MH C ' ,   ' MH C to   ' T h ' ,   ' T h '   to   ' I L + ' ,   ' I L + '   to   ' B ' ,   ' B '   to   'A b ' ,   'A b '   to   ' T s '   a n d   ' T s '   to   ' I L - '   ,   a n d   lin k ed   in h ib ito r   ( - 1 )   o f   'A b '   to   'Ag ' ,   ' I L - to   ' T h '   a n d   ' T h '   to   'Ag ' .               T h co n ce p is   ac tiv if   its   v a lu is   eq u al  to   1 ,   o th er w i s it  is   in ac ti v ( b in ar y   m o d e) .   I is   g iv e n   an   in itial  ac t iv atio n   v ec to r   A   ( 1   0   0   0   0   0   0   0   0 ) .   T ab le  I   s h o w s   t h v a lu e s   P ( a i )   o f   th p r o b ab ilit ies  o f   ac tio n s   an d   v alu e s   o f   t h f u n ct io n   Q   u p d ated   at  ea ch   iter atio n .   T a b le  I I   g iv es  th o u tp u v ec to r   f o r   all  iter atio n s   i n   r esp o n s to   th en v ir o n m e n t.     Evaluation Warning : The document was created with Spire.PDF for Python.
IJ - AI     I SS N:  2252 - 8938       N a tu r a l I mmu n S ystem  R esp o n s A s   C o mp lexe   A d a p tive  S ystem  Usi n g   Lea r n in g   F u z z …( A h m e d   T l il i )   103     T ab le  3 .   A ctio n   P r o b ab ilit ies an d   Q - F u n ctio n   Va lu e s     a i   P ( a i )   Q( s i , a i )   Valu e   se l f   no - se l f   0 . 5   0 . 5   (Ag i , se l f )   (Ag i , n o - se l f )   0   0       T ab le  4 .   Vec to r   Ou tp u t a t E ac h   I ter atio n s   I n p u t s   v e c t o r   O u t p u t   v e c t o r   I t e r a t i o n   ( 1   0   0   0   0   0   0   0   0 )             1   1   0   0   0   0   0   0   0        1     1   1   1   0   0   0   0   0   0   2     1   1   1   1   0   0   0   0   0   3     1   1   1   1   1   0   0   0   0   4       A t   iter atio n   n °  4   th e   i m m u n s y s te m   i s   f ac i n g   s itu a tio n   wh er it   h a s   t w o   p o s s ib le  ac tio n s ,   if     t h e   s tate  is   n o e n co u n tr ed ,   r ep r esen ted   b y   t h ac ti v co n ce p ts   T h ,   th ex ec u tio n   o f   t h ac tio n   SE L lead s   to   th e   d ea ctiv atio n   o f   Ag   co n ce p a n d   ex ec u tio n   o f   t h ac tio n   N O - SE L lead s   to   th ac t iv at i o n   o f   t h B   co n ce p ( th r o u g h   I L co n ce p t)   ai m s   to   n eu tr alize   th an tig e n   b u m u s ch o o s o n a m o n g   t h e m   a n d   th i s   ch o ice  is   gui d ed   ei th er   b y   t h v al u o f   f u n ctio n   Q,   if   t h s tate  i s   alr e ad y   v is ited   o r   a n ti g en   alr ea d y   en co u n ter ed ,   o r   b y   th v al u o f   th e   p r o b ab ilit y   o f   th ac tio n   i f   t h f ir s t p ass   i n   t h is   s ta te.   T h is   m ec h an is m   to   id en ti f y   t h n a tu r o f   th an ti g e n   an d   th s elec tin g   ac tio n   to   co n s id er   is   s u m m ar ized   b y   th f o llo w i n g   th r e f u zz y   r u le  b ased   s y s te m :     R 1   :   if A g   is   Q( A g , S E LF)   th en   Th   is   S E LF - a ctio n     R 2   :   if A g   is   Q( A g ,   N O - S E LF)   th en   Th   is   N O - S E LF - a ctio n .     R 3   :   if  A g   is   n o Q( A g ,   S E LF)   a n d   A g   is   n o t   Q( A g ,   n o - s elf)   th en   Th   is   a ctio n   to   p erfo r s elec ted   a cc o r d in g   to   th p r o b a b ilit y.     I n   th is   s y s tem   b ased   o n   r u les  th co n d itio n s   o f   th f ir s tw o   r u les  R 1   an d   R 2   r esu lt  th at  s y s tem   h as  m et   th an tig en   b ef o r an d   class if y   it  as  p ar o f   th s elf   o r   n o - s elf   b y   th u p d ate  tab le  o f   v alu es,  f o r   m o r eo v er   th R 3   r u le  r eq u ir es  th T h   co n ce p to   ex p lo it  s p ac o f   p o s s ib le  ac tio n s   ac co r d in g   to   th eir   r esp ec tiv p r o b ab ilit ies.       4.   CO NCLU SI O N     T h s o f co m p u t in g   tec h n iq u o f   f u zz y   co g n iti v m ap s   f o r   m o d elin g   an d   s i m u lat in g   co m p le x   ad ap tiv s y s te m   h a s   b ee n   d is cu s s ed   in   th is   p ap er .   A   n e w   co n n ec t io n   b et w ee n   f u zz y   s y s te m   a n d   r ein f o r ce m en t   lear n in g   h as  b ee n   p r o p o s ed   f o r   an al y zi n g   n a tu r al  i m m u n s y s te m   r esp o n s e.   I n   t h ar ti f ici al  in tell ig e n ce   f ield   th n atu r al  i m m u n s y s te m   N I is   ar g u ed   t h at  it   is   co m p l ex   ad ap tiv s y s te m .     Glo b al  e m er g e n b e h av io r s   ca n   b o b s er v ed   b y   ap p ly i n g   lo ca r u les  to   in d iv id u al  ce ll s   as  d escr ib ed   b y   Ho llan d   in   co m p le x   ad ap tiv s y s te m   t h eo r y .   T h co m p le x i t y   a n d   cr itici s m   r aised   b y   th co m m u n it y   i n   th e   ar ea   o f   m o d eli n g   C A S s   b A B M s   a n d   C A s ,   led   u s   to   s ee k   an o t h er   ap p r o ac h ,   w h ic h   is   c o n tain ed   i n   s a m co n ce p ts   in s p ir ed   b y   th ar ea   o f   lif e.   I n   p s y c h o lo g y   b e h av io r   is   g e n er all y   r elate d   to   th co n ce p ts   o f   e m o tio n s ,   p er ce p tio n s   an d   s e n s atio n s .   T h ese  k e y   co n ce p ts   o f   lif ca n   b s u p p o r ted   b y   FC M s .   C ASs   ar th er ef o r in   th f ield   o f   ar tif icial  lif e   m o r e   th an   o th er   ar ea s   o f   co m p u tin g .   T h ar ea   o f   F C M s ,   d esp ite  t h i m p r o v e m e n m ad b y   d if f er en r esear c h   tea m s   in   th w o r ld ,   r e m ai n s   a n   ar ea   d en s e,   lo w - u n if ied .     ACK NO WL E D G E M E NT S     T h is   p ap er   i s   t h r es u lt   o f   a   r esear ch   p r o j ec en titl ed   " Mo d elin g   a n d   i m p le m en t in g   o f   co m p le x   ad ap tiv s y s te m s "   w h ich   w as   s u p p o r ted   b y   th e   MI SC   lab o r ato r y   o f   ab d elh a m id   m eh r Un i v er s it y ,   A l g er ia.   W th an k   all  th lab o r ato r y   te a m s   a n d   r esp o n s ib le  f o r   t h eir   co o p er atio n   an d   s u p p o r ts .       RE F E R E NC E S     [1 ]   Ax elr o d   R o b er t ( 1 9 7 6 ) .   ' Stru c t u r o f   d ec is io n ' .   P r in ce to n   u n i v er s it y   p r ess ,   P r in ce to n ,   Ne w J er s y   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8938   IJ - AI    Vo l.  5 ,   No .   3 ,     Sep tem b er   2 0 1 6   :   95     104   104   [2 ]   Ko s k o   B . ,   Fu zz y   C o g n iti v M ap s ,   I n tern a tio n a l J o u r n a l Ma n - Ma ch in S tu d ies ,   2 4 : 6 5 - 7 5 ,   1 9 8 6   [3 ]   Ma ik el    L n 1 ,     C ir o     R o d r ig u ez 1 ,     Ma r ía    M.     Gar cía1 ,     R af ae   B ello 1 ,     an d     Ko en     Van h o o f   Fu zz y   C o g n iti v Ma p s   Fo r   Mo d elin g   C o m p lex   S y s te m s .   © Sp r in g er - Ver lag   2 0 1 0 .   [4 ]   C h r y s o s to m o s     D.     Sty l io s     an d     P eter     P.Gr o u m p o s .   Mo d elin g   C o m p lex   S y s te m s   Usi n g   Fu zz y   C o g n iti v Ma p s ' .   I E E E   tr a n s a ctio n s   o n   s y s tems,  Ma n   a n d   cy b ern etics .   J an u ar y   2 0 0 4 .   [5 ]   T ah ar   Gu er r a m 1 ,   R a m d an e   Ma a m r i2   a n d   Z a id Sa h n o u n 2 'A  T o o f o r   Qu alitat iv e   C a u s a R ea s o n i n g   O n   C o m p le x   S y s te m s ' .   I JCS I   I n te r n a tio n a Jo u r n a o C o mp u te r   S cien ce   I s s u es ,   Vo l.  7 ,   I s s u 6 ,   No v em b er   2 0 1 0   I SS ( On li n e) 1694 - 0 8 1 4 .   [6 ]   C .   B u c h e,   P .   C h ev a illi er ,   A .   N ´ ed ´ elec ,   M.   P ar en t h o ¨ en   an d   J .   T is s ea u   Fu zz y   co g n iti v e   m ap s   f o r   t h e   s i m u lat io n   o f   i n d iv id u al  ad ap tiv b eh a v io r s     W ile y   On lin L ib r ar y   2 0 1 0   [7 ]   E lp in ik i P ap ag eo r g io u   an d   P et er   Gr o u m p o s .   W eig h A d a p tatio n   Me t h o d   f o r   Fu zz y   C o g n iti v Ma p s   to   P r o ce s s   C o n tr o l   P r o b lem .   Sp r in g er   2 0 0 4   [8 ]   R ich ar d   S.  S u tto n   a n d   A n d r e w   G.   B ar to .   R ei n f o r ce m e n L ea r n i n g An   I n tr o d u ctio n .   A   B r ad f o r d   B o o k   T h MI T   P r ess   C a m b r id g e,   M ass ac h u s etts   L o n d o n ,   E n g lan d   2 0 0 5   [9 ]     T SP   Ho m p ag e” ,   h ttp ://co m o p t.i f i. u n i - h eid elb er g . d /s o f t w ar e/T SP L I B /in d ex . h t m l   [1 0 ]   E .   T o lm a n .   C o g n it iv m ap s   i n   r ats an d   m e n .   P s y ch o lo g ical  R ev ie w   v o l u m e5 5   ,   1 9 4 8 .   [1 1 ]   T h o m as J .   Sar g e n t,  D y n a m ic  Ma cr o ec o n o m ic  T h eo r y ,   Secti o n   1 . 1 - 1 . 4 .   [1 2 ]   W ei  W an g ,   Sh a n g ce   Gao ,   Z h en g   T an g .   'A   C o mp lex  a r tifi ciel  im mu n s ystem'    Fo u r th   I n ter n at io n a l   C o n f er en ce   o n   Nat u r al  C o m p u tatio n .   2 0 0 8   I E E E .   [1 3 ]   E . A .   J as m i n .   T . P .   I m t h ia s   A h a m ed .   V. P .   J ag ath y   R aj .   R e in f o r ce m e n L ea r n i n g   ap p r o ac h es  to   E co n o m ic   Dis p atch   p r o b le m .   E ls ev ier _   2 0 1 1 .   [1 4 ]   E v Vo ln a1   ' Ne u r o ev o lu t io n a r y   o p ti m izatio n ' .   I JCS I   I n tern a tio n a Jo u r n a o C o mp u ter  S cien ce   I s s u es Vo l.  7 ,   I s s u 2 ,   No   4 ,   Ma r ch   2 0 1 0   I SS ( On lin e) : 1 6 9 4 - 0 7 8 4 .   [1 5 ]   Ah m ed   T lili ,   Salim   c h i k h 'M o d elin g   C o m p lex   A d ap tiv e s   S y s te m s   u s i n g   L ea r n i n g   F u zz y   C o g n iti v e   Ma p s ' .   I n tern a n tio n a l J o u r n a l   o f Co mp u ter A p p lica tio n   I JCA .   Vo lu m 5 3   No   3   2 0 1 2 .     [1 6 ]   T h o r n e,   B .   C . ,   A .   M.   B aile y ,   D.   W .   DeSi m o n e,   a n d   S.  M.   P eir ce .   A g e n t - b a s ed   m o d elin g   o f   m u lticell   m o r p h o g e n ic  p r o ce s s es d u r i n g   d ev elo p m e n t.  B ir th   De f ec t s   R es.  C   E m b r y o   T o d ay   8 1 :3 4 4 3 5 3 ,   2 0 0 7 .   [1 7 ]   C h a v ali,   A .   K. ,   E .   P .   Gian ch an d a n i,  K.   S.  T u n g ,   M.   B .   L a w r e n ce ,   S.  M.   P eir ce ,   an d   J .   A .   P ap in .   C h ar ac ter izi n g   e m er g e n p r o p er ties   o f   i m m u n o lo g ical   s y s te m s   w it h   m u lticel lu l ar   r u le - b a s ed   co m p u tatio n al  m o d eli n g .   T r en d s   [1 8 ]   I m m u n o l.  2 9 :5 8 9 5 9 9 ,   2 0 0 8 .     [1 9 ]   H.   A t lan ,   T h li v i n g   ce ll  as  p ar ad i g m   o f   co m p lex   n at u r a s y s te m s , ”  C o m p le x u s ,   v o l.  1 8 ,   n o .   6 7 ,   p p .   764 7 6 6 ,   2 0 0 3 .   [2 0 ]   Min a k s h S h ar m a   ,   Dr .   So u r ab h   Mu k h er j ee .   " Fu zz y   C - Me an s ,   A N FIS  a n d   Gen etic   A l g o r ith m   f o r   Seg m en tin g   Ast r o c y to m A   T y p o f   B r ain   T u m o r ". I A E S   I n tern a tio n a Jo u r n a o A r tifi c ia l   I n tellig en ce   ( I J - AI)   Vo l.  3 ,   No .   1 ,   Ma r ch   2 0 1 4 ,   p p .   1 6 ~2 3 .   [2 1 ]   HOP FIE L D,   J .   J .   &   T ANK,   D .   W .   ( 1 9 8 6 ) .   C o m p u ti n g   w it h   n eu r al   n et w o r k s :   m o d el.   Sci en ce   2 3 3 ,   6 2 5 - 633.   [2 2 ]   J ea n   Ho llan d .     ' St u d y in g   C o m p lex   A d ap tiv es S y s te m s ' .   2 0 0 6   Sp r in g er   Scie n ce   B u s i n es s   Me d ia,   I n c.   [2 3 ]   B ea le,   M.   an d   H.   De m u t h ,   1 9 9 4 .   Fu zz y   s y s te m s   2 7 .   A l - E m r an   A . ,   P .   Kap u r   D.   P f a h a n d   G.   R u h e,   2 0 1 0 .   to o lb o x Fo r   u s w i th   M A T L A B   P W P u b lis h i n g   S tu d y i n g   t h i m p ac o f   u n ce r tai n t y   in   o p er atio n al  C o m p an y .       B I B L I O G R AP H O F   AUT H O RS          A h m e d   T li li   w a s   b o rn   in   Co n st a n ti n e ,   A lg e ria   o n   M a 2 1 ,   1 9 7 7 .   He   re c e i v e d   th e   M a g ister   d e g re e f ro m   El h a d L a k h d a U n iv e rsity   o f   Ba tn a ,   A lg e ri a ,   in   2 0 0 7 .   I n   2 0 1 0 ,   h e   jo i n e d   th e   De p a rtme n o f   Co m p u ter  S c ie n c e   a n d   it A p p li c a ti o n s,  Ne w s   F a c u lt y   o f   In f o r m a ti o n   T e c h n o lo g ies   a n d   Co m m u n ica ti o n   A b d e l h a m id   M e h ri  U n iv e rsity ,   Co n sta n ti n e   a a   stu d e n t   re se a rc h e r.   His   in tere stin g   a r e a a re   A rti f i c ial  In telli g e n c e ,   s o f twa re   e n g in e e rin g ,   Ne u ra l   n e tw o rk ,   F u z z y   lo g ic an d   F u z z y   I n f e re n c e   S y ste m .           Evaluation Warning : The document was created with Spire.PDF for Python.