I nd o ne s ia n J o urna l o f   E lect rica l En g ineering   a nd   Co m p u t er   Science   Vo l.   1 2 ,   No .   2 ,  N o v e m b er   201 8 ,   p p .   6 9 9 ~ 7 0 5   I SS N:  2502 - 4752 ,   DOI : 1 0 . 1 1 5 9 1 / i j ee cs . v 1 2 .i 2 . p p 699 - 7 0 5       699       J o ur na l ho m ep a g e :  h ttp : //ia e s co r e. co m/jo u r n a ls /in d ex . p h p / ijeec s   I m ple m e ntatio n o f  Dee p Lea rning  i n Spa tial M ult ipl ex ing   M IM O  Co mm uni ca tion       M a hd in Ro h m a t illa h 1 ,   H a di Su y o no 2 ,   Ra h m a dw a t i 3 ,   Sh o l eh  H a di P ra m o no 4   1 De p a rtme n t  o f   El e c tri c a l  En g in e e rin g ,   Na ti o n a l  S u n   Ya t - S e n   U n iv e rsit y ,   Ka o h siu n g ,   8 0 4 ,   T a iw a n ,   R. O.C   1, 2, 3, 4 El e c tri c a l  En g in e e rin g   De p a r tm e n t,   Un iv e rsitas   Bra w ij a y a ,   Jln .   M T .   Ha r y o n o   1 6 7 ,   M a lan g   6 5 1 4 5 ,   I n d o n e sia       Art icle  I nfo     AB ST RAC T   A r ticle  his to r y:   R ec eiv ed   A p r   9 ,   2 0 1 8   R ev i s ed   Ma y   2 0 ,   2 0 1 8   A cc ep ted   Ju l   11 ,   2 0 1 8     Re se a rc h   in   M u lt ip le  In p u t  M u lt i p le  Ou tp u t  (M IM O)  c o m m u n ica ti o n   sy ste m   h a s  b e e n   d e v e lo p e d   ra p id ly   in   o rd e r  t o   im p ro v e   th e   e ff e c ti v e n e ss   o f  c o m m u n ica ti o n   a m o n g   u se rs.  Ho w e v e r,   trad e - o ff   p h e n o m e n o n   b e tw e e n   p e rf o r m a n c e   a n d   c o m p u tatio n a l   c o m p lex it y   a l wa y s  b e c o m e   th e   h u g e st  d il e m m a   su ff e r e d   b y   re s e a rc h e r s.  A s  a n   a lt e rn a ti v e   so lu ti o n ,   t h is  p a p e r   p ro p o se s  a n   o p ti m iza ti o n   in   3 x 3   sp a ti a l  m u lt ip lex in g   M IM O  c o m m u n ica ti o n   s y ste m   u sin g   e n d - to - e n d   b a se d   l e a rn in g ,   sp e c if ica ll y ,   it   a d a p ts  a u to e n c o d e r   b a se d   m o d e l  w it h   th e   k n o w led g e   o f   Ch a n n e l   S tate   In f o rm a ti o n   ( CS I)  in   th e   re c e iv e r  sid e ,   m a k e   it   f a irl y   c o m p a re d   w it h   th e   b a se li n e   m e th o d .   T h e   p ro p o se d   m o d e ls  w e re   e v a lu a te d   in   o n e   o f   th e   m o st  c o m m o n   c h a n n e l   im p a ir m e n t  w h ich   is  f a st  Ra y lei g h   f a d in g   w it h   a d d it i o n a l  A d d i t iv e   W h it e   G a u ss ian   No ise   ( AWG N).  B y   a p p ro p riate ly   d e ter m in in g   h y p e r p a ra m e ters   a n d   t h e   h e lp   o f   P Re L U  (P a ra m e t ric  Re c ti f ied   L in e a r  Un it ),   th e   re su lt s  sh o w  th a t  th is  a u t o e n c o d e r  b a se d   M IM O  c o m m u n ica ti o n   s y ste m   r e su lt s  in   v e r y   p ro m isin g   re su lt s  b y   e x c e e d in g   th e   b a se li n e   m e th o d s  (m e th o d s  w id e ly   u se d   in   c o n v e n ti o n a l   M IM O   c o m m u n i c a ti o n )  b y   re a c h in g   BER   lo w e r  th a n            a t   S NR 2 2 . 5   d B .   K ey w o r d s :   Au to en co d er   E n d - to - en d   lear n i n g   MI MO   co m m u n icatio n   Sp atial  Mu lt ip lex i n g   Co p y rig h t  ©   2 0 1 8   In stit u te o f  A d v a n c e d   E n g i n e e rin g   a n d   S c ien c e .    Al l  rig h ts  re se rv e d .   C o r r e s p o nd ing   A uth o r :   Ma h d in   R o h m atilla h ,    Dep ar t m en t o f   E lectr ical  E n g i n ee r in g ,   Natio n al  S u n   Yat - Sen   U n i v er s it y ,   Kao h s i u n g ,   8 0 4 ,   T ai w an ,   R . O. C .   E m ail:  r o h m atil lah m a h d in 1 9 9 4 @ g m ail. co m       1.   I NT RO D UCT I O N   T h e  u tili za tio n   o f   s ev er al  a n t en n a s   eit h er   at  tr an s m itter   o r   r ec eiv er   o r   at  b o th   o f   t h e m   h as  b ec o m e   m o r e  p o p u lar   n o w ad a y s   d u e  t o   its   ab ilit y   to   m ain tain   a   r eli ab le  co m m u n icatio n   in   a   w ir eless   c h an n el  w it h   s o m e  i m p air m e n t  p r ed o m i n an tl y   b y   f ad i n g .   T h is   r elia b le  co m m u n icatio n   ca n   b e  m ai n tai n ed   b ec au s e  m u ltip le   an ten n a s   tech n o lo g y   p r o v id es   b en ef it s   i n   a  co m m u n ica tio n   s y s te m   w h ich   ar e  ar r a y   g ai n ,   s p atial  d iv er s i t y   o r   s p atial  m u ltip le x i n g   g ai n   an d   i n ter f er e n ce   r ed u ctio n   a n d   av o i d an ce   [ 1 ] .     Fo r   y ea r s ,   r esear c h er s   h a v e  b e en   d ev elo p in g   al g o r ith m s   i n   m u ltip le  an te n n as  tec h n o lo g y   in   o r d er   to   i m p r o v e  it s   p er f o r m an ce   eith e r   in   d etec tio n   ta s k   o r   ch a n n el   esti m atio n   tas k   o r   o th er   tas k s .   Ho w e v er ,   th e   is s u e   o f   a  tr ad e - o f f   b et w ee n   p er f o r m an ce   i m p r o v e m en t  a n d   co m p u tat io n al  co m p le x it y   al w a y s   b ec o m e  a  m ai n   r estrictio n   a n d   co n s id er atio n .   As  a  s o l u tio n ,   m ac h i n e  lear n i n g ,   a n   ap p r o ac h   s h in in g   n o w ad ay s   esp ec iall y   i n   d o m ai n s   s u c h   as  co m p u ter   v i s io n ,   is   i n tr o d u ce d   in   m u ltip l e  an ten n a s   co m m u n icat io n   s y s te m .   As  a  r es u lt,  it   p er f o r m s   v er y   w ell  a n d   ev en   b etter   co m p ar ed   to   th e  b aseli n e  m et h o d s .   So m e  o f   t h e  m o s t  i n ter es tin g   r esu l ts   o f   m ac h in e  lear n in g   i m p le m e n tatio n   in   a  co m m u n icat io n   s y s te m   ar e  p ap er   titl ed   An   I n tr o d u ctio n   to   Dee p   L ea r n i n g   f o r   th e  P h y s ical  L a y er   [ 2 ]   an d   Dee p _ L ea r n in g - B ased   C o m m u n icat io n   o v er   t h e  A ir   [ 3 ]   w h ich   in tr o d u ce   d ee p   lear n in g   a s   an   en d - to - e n d   s y s te m   in   SISO   co m m u n icatio n .   T h is   e n d - to - en d   m o d el  m ea n s   th at   tr an s m itter ,   c h a n n el   i m p air m e n ts ,   an d   r ec ei v er   ar e  r ep r esen ted   b y   o n e  o r   s ev er al  n eu r al  n et w o r k   la y er   ( d en s e )   th en   in ter p r et  t h e  w h o le  s y s te m   as a n   a u to en co d er ,   Evaluation Warning : The document was created with Spire.PDF for Python.
            I SS N :   2502 - 4752   I n d o n esia n   J   E lec  E n g   &   C o m p   Sci,   Vo l .  1 2 ,   No .   2 ,  No v e m b er   201 8   :   6 9 9   –   7 0 5   700   a  p o w er f u l  m et h o d   f o r   p er f o r m in g   u n s u p er v i s ed   lear n in g   [ 4 ] .   Sin ce   th e y   s h o w   g o o d   r esu lts ,   r esear ch e s   r elate d   to   au to en co d er   i m p le m en tatio n   i n   MI MO   co m m u n ica tio n   h as b ee n   d ev elo p in g   r ap i d ly ,   f o r   i n s ta n ce   i ts   ap p licatio n   in   ch a n n el  d ec o d in g   [ 5 ]   an d   Or th o g o n al  Fre q u en c y   Di v is io n   Mu l tip lex i n g   ( OF DM )   [ 6 ] .   Ho w ev er ,   th e  n ee d   o f   i m p r o v e m e n t  i n   t h is   to p ic  is   s t ill  r eq u ir ed   esp ec i all y   i n   en d - to - e n d   lear n in g   b a s ed   m o d el  in   o r d er   to   m a k e  it  f ea s ib le  to   b e  i m p le m en ted   in   t h e  r ea l  w o r ld   co n d i tio n .   I n   th i s   w o r k ,   in v est ig at io n   o f   en d - to - e n d   lear n i n g   in   3 x 3   MI MO   co m m u n icatio n   s y s te m   in   s p atial   m u ltip lex in g   is   d i s cu s s ed   w it h   f air   co m p ar i s o n s   to   t h e   b as elin e  m et h o d s   w h er e  k n o w led g e  o f   C h a n n el  State   I n f o r m a tio n   ( C SI)   is   p er f e ctl y   k n o w n   i n   th e  r ec eiv er   s id e.   T h e  h ig h   o r ig in a lit y ,   w h ic h   p r o p o s ed   a  n e w   m et h o d   o r   alg o r ith m ,   t h e  ad d itio n al  c h ap ter   af ter   t h e  R e s u lt s   s h o w   t h at   en d - to - e n d   l ea r n in g   b ased   d ee p   lear n in g   MI MO   co m m u n icati o n   r esu lt s   in   b etter   p er f o r m a n c e  co m p ar ed   to   th e  b as eli n e  m e th o d s .       2.   RE S E ARCH   M E T H O D   B asicall y ,   t h e  m o d el  p r o p o s ed   in   th i s   w o r k   is   in s p ir ed   b y   t h e   m o d el  i n   a  p ap er   titl ed   Dee p   L ea r n i n g - B ased   MI MO   C o m m u n icatio n s   [ 7 ] .   Ho w ev er ,   th er e  ar e  s o m e  d i f f er en ce s   t h at  w ill  b e   ex p lain ed   in   t h e  f o llo w in g   s ec tio n .   F u r th er m o r e,   th i s   s ec tio n   also   b r ief l y   d es cr ib es b aselin e   m eth o d s   u s ed   f o r   co m p ar is o n   w i th   d ee p   lear n in g   b ased   m e th o d s     2 . 1 .   M o del A rc hite ct ure   A r c h itect u r e  m o d el  f o r   t h e  f ir s t  an d   t h e  s ec o n d   o f   s p atial  m u ltip le x i n g   ca s e  ar e  d ep icted   b y   Fi g u r e  1   an d   Fi g u r e  2   r esp ec ti v el y .   T h ese  p r o p o s ed   m o d els  co n s is t  o f   s e v er al  d en s e  an d   la m b d a  la y er   w h ic h   r ep r esen t  en d - to - en d   lear n i n g   s y s te m .   6   b it  s eq u en ce s   ar e  r ep r esen ted   b y   i n te g er s   f r o m   0   u n til  6 3 ,   s o   th at  to tal  o f   in p u t   s eq u en ce s   ar e  6 4   d if f er en t   i n p u t s   ( S ) .   T h o s e  in p u ts   ar e  f ir s t  f ed   to   e m b ed d in g   la y er   to   cr ea te  v ec to r   o f   m es s ag e  i n d ices.  T h en ,   th e y   ar e  en co d ed   b y   d en s e  la y er   i n   tr an s m it ter   b lo ck   to   f o r m         p ar allel  tr an s m it  s tr ea m s   o f   1   ti m e  s a m p les  ( X )   w i th   t h e  te n s o r   s h ap e  [ b atch _ s ize,       , 2 , 1 ]   w h er e  t h e  t h ir d   d i m en s io n   r ep r esen ts   r ea l  a n d   i m a g i n ar y   p ar t.  T h is   p ar allel  s tr ea m s   s h a p e  is   d o n e  b y   r es h ap e  la y er .   Nex t,  t h ese  p ar alle l   tr an s m itted   s y m b o l s   w ill  b e  f e d   in to   s ev er al  la m b d a  la y er s   r ep r esen tin g   c h an n el  a n d   n o is e   ef f ec t s   i n   w ir eles s   p r o p ag atio n   r esu ltin g   in   te n s o r   s h ap e  [ b atch _ s ize,       , 2 , 1 ] .         an d         d en o tes  n u m b er   o f   r ec eiv e r   an ten n a   an d   tr an s m itter   a n te n n a   r esp ec tiv el y .   E v en t u all y ,   t h e  r ec e iv er   b lo ck   w h ich   h a s   s ev er al   d en s e   la y er s   w it h   s o f t m ax   ac t iv atio n   f u n ctio n   at   th e  en d   w ill  d ec o d e  th e  r ec eiv ed   s ig n al  to   p r o d u ce     ̂ .   C o n ca ten ate  la y er s   b o th   in   tr an s m itter   an d   r ec eiv er   m e an   th at  t h e  in f o r m a tio n   o f   c h a n n el  r ep o n s e  H   is   co n ca ten ate d   to   th e  o u tp u t  o f   n eu r al  n e t w o r k   la y er   in   o r d er   t o   h elp   th e  w ei g h t  a n d   b ias  u p d ate  p r o ce s s .   T h e  d if f er en ce   b etw ee n   th e  f i r s t  an d   th e  s ec o n d   m o d el  w h ic h   o n l y   u s e  p er f ec t   C SI  i n   t h e  r ec ei v er   s id e  is   j u s t   t h e  p o s itio n   o f   r esh ap e  la y er .   T h is   r esh ap e  la y er   ac t u all y   h as  a   s i g n i f ica n t   i m p ac t   to   t h e  p er f o r m an ce   a n d   th e   s h ap e  o f   co n s t ellatio n   p o in ts   o f   t h e   s y s te m .   B y   c h an g i n g   p o s itio n   o f   r esh ap e  la y er ,   th e n   w e  m u s t   s et  th e  h y p er p ar a m eter s   d if f er en tl y   to   o b tain   th e  b est r esu lt.   T ab le  1   an d   T ab le  2   s h o w   la y o u t o f   Ne u r al  Net wo r k   u s ed   in   t h i s   w o r k .           Fig u r e  1 .   Au to en co d er   b ased   s p atial  m u ltip lex in g   p er f ec t C S I T   an d   C SIR     Evaluation Warning : The document was created with Spire.PDF for Python.
I n d o n esia n   J   E lec  E n g   &   C o m p   Sci     I SS N:  2502 - 4752       I mp leme n ta tio n   o f D ee p   Lea r n in g   in   S p a tia l Mu ltip lexin g   MIMO  C o mmu n ica tio n   ( Ma h d in   R o h ma till a h )   701       Fig u r e  2 .   Au to en co d er   b ased   s p atial  m u ltip lex in g   C SIR       T ab le  1 .   L ay o u t o f   p er f ec t  C SI T   an d   C SIR c ase   T r a n sm i t t e r   ( T X )   :   Pa r a m e t e r s   Ou t p u t   D i m e n si o n   I n p u t   0   1   Emb e d d i n g   7 6 8   1 , 1 2   D e n se   ( P R e L U )   3 1 2   24   L i n e a r   1   24   N o r mal i z a t i o n   0   4         R e c e i v e r   ( R X )   :   Pa r a m e t e r s   Ou t p u t   D i m e n si o n   I n p u t   0   24   D e n se   ( P R e L U )   6 4 0 0   2 5 6   D e n se   ( P R e L U )   3 2 8 9 6   1 2 8   D e n se   ( S o f t max )   8 2 5 6   64       T ab le  2 .   L ay o u t o f   p er f ec t  C SI R   ca s e   T r a n sm i t t e r   ( T X )   :     Pa r a m e t e r s   Ou t p u t   D i m e n si o n   I n p u t   0   1   Emb e d d i n g   7 6 8   1 , 1 2   C o n c a t e n a t e   0   3 , 2 , 5   D e n se   ( P R e L U )   7 4 4   24   L i n e a r   1   24   N o r mal i z a t i o n   0   4   R e c e i v e r   ( R X )   :   Pa r a m e t e r s   Ou t p u t   D i m e n si o n   I n p u t   0   24   D e n se   ( P R e L U )   6 4 0 0   2 5 6   D e n se   ( P R e L U )   3 2 8 9 6   1 2 8   D e n se   ( S o f t max )   8 2 5 6   64       C o m p ar ed   to   th e  p r ev io u s   m o d el,   m o d els  s h o w n   b y   Fig u r e  1   an d   Fig u r e  2   alr ea d y   s h o w s   s ev er al   d if f er e n ce s   b es id e  th e   d ep th   o f   t h e  n er w o r k .   Firs t,  b o th   m o d el  u s e  C h an n el  State  I n f o r m atio n   i n   t h e  r ec eiv er   s id e  s o   t h at  w e  ca n   m ak e   a  f air   co m p ar is o n   w i th   th e  b as e lin e  m et h o d   w h ic h   i m p le m en ts   p r ef ec t  C SI R   i n   o r d er   to   d ec o d e  th e  r ec eiv ed   s ig n a l.  Mo r eo v er ,   th e  ch an n el  an d   n o is e  ar e  r ep r esen ted   as  in p u t s   o f   th e  m o d el   u s i n g   “ r a n d n ”  f u n ctio n   f r o m   Nu m p y   lib r ar y   r ath er   th a n   g e n er ated   b y   s e v er al  la m b d a  lay er s   th at  e m er g e  a   d o u b t  w h et h er   th e  g en er ated   c h an n el  r esp o n s e  s u itab le  to   th e  p r ed eter m in ed   s ta n d ar d .   T h e  s ec o n d ,   n o n li n ea r   ac tiv atio n   f u n ctio n   u s ed   is   P R eL U  [ 8 ]   in s tead   o f   R e L U.   On e  o f   th e   ad v a n tag e s   o f   u s in g   P R e L U  is   t h e  n eg at iv e  v al u e  i n p u t  w il l  s til l  h av e  o u tp u t  r at h e r   th a n   ze r o .   As  th e  d ata  f lo w i n g   i n   t h e  m o d el  h as  a  r an g e  o f   -     to     ,   th e  P R eL U  p r o p er ties   is   v er y   b en ef ic ial  f o r   i m p r o v e  th e  m o d el  ac cu r ac y .   T h e  o u tp u t  o f   P R eL U   ac tiv atio n   f u n ctio n   f o llo w s   t h e   eq u atio n       (     )   {                                                             ( 1)   Evaluation Warning : The document was created with Spire.PDF for Python.
            I SS N :   2502 - 4752   I n d o n esia n   J   E lec  E n g   &   C o m p   Sci,   Vo l .  1 2 ,   No .   2 ,  No v e m b er   201 8   :   6 9 9   –   7 0 5   702         is   th e  in p u t  o f   n o n l in ea r   ac t iv atio n   f u n ctio n   f   o n   th e          ch an n el,   w h ile        is   a  co ef f icien t   ad ap tiv el y   co n tr o llin g   th e  s lo p e  o f   th e  n eg ati v e  p ar ts .   T h is   co ef f icie n t  is   u p d ated   u s in g   m o m en tu m   m et h o d   w h ic h   is   g iv e n   b y                                                    ( 2 )     w h er e      an d       d en o tes  th e  m o m en tu m   an d   lear n i n g   r ate  r esp ec tiv el y .   R e L U,   ac tiv atio n   p r o p o s ed   in   th e  p r ev io u s   w o r k ,   h as b ee n   tr ied   to   b e  im p le m e n ted   in   th i s   m o d el.   Un f o r tu n atel y ,   t h e  tr ai n i n g   an d   v alid atio n   lo s s   b ec o m e  v er y   h ig h   d u e  to   ze r o   g r ad ien t is s u e.   T h e  th ir d   o r   th e   last ,   in   t h is   wo r k   w e  s i m u lated   3 x 3   MI MO   co m m u n icatio n   s y s te m ,   n o t  2 x 2   MI MO   co m m u n icatio n   s y s te m .   T h e  ch an n el  i s   f ast   R a y lei g h   f ad i n g   w h ich   m ea n s   th at  th e  f ad in g   v ar ie s   at  e v er y   tr an s m itted   s y m b o l  w h ile  n o is e  is   A d ap ti v e  W h ite  Ga u s s ia n   No is e  ( A W GN) .     2 . 2 .   T ra ini ng   P ha s e   I n p u t  d ata  u s ed   f o r   tr ain i n g   an d   test i n g   ( b its ,   ch a n n e l  an d   n o is e)   w er e  r an d o m l y   g e n er ated   b y   f u n ctio n   in   th e  N u m p y   lib r ar y .   T o tal   am o u n t  o f   i n p u t  d ata   ( b its )   f o r   tr ain in g   w as  8 0 0 0 0 0 0   b its .   T h is   m o d el  w a s   t h en   tr ai n ed   i n   1 0 0   ep o ch s   w it h   b atc h   s ize  eq u al   to   5 0 0 .   Sev er al  h y p er p ar am eter s   t u n i n g   w er e  i m p le m en ted   i n   ce r tain   la y er s ,   f o r   in s ta n ce   w e  s et  g a m m a  co n s tr ain t  in   b atch n o r m a lizati o n   la y er   in   o r d er   to   g iv e   p o w er   co n s tr ain t  in   th e  tr an s m itter   s id e.   Mo r eo v er ,   th is   m o d el  w as  tr ai n ed   in   a  f i x ed   v alu e   o f           ⁄      d B .   As  w e  i n ter p r et  th i s   m o d el  a s   an   a u to en co d er   b ased   class i f icatio n   tas k ,   a  ca te g o r ical  cr o s s - en tr o p y   lo s s   f u n ct io n   (      )   m a y   b e  an   ap p r o p r iate  l o s s   f u n ctio n   to   b e  u s ed   f o r   o p tim izatio n   u s i n g   g r ad ien t  d escen t  to   s elec t n et w o r k   p a r a m eter s .   C a teg o r ical  cr o s s - e n tr o p y   lo s s   f u n ctio n   (      )   is   g i v en   b y          (       ̂ )       |   | ∑   (     |   |               (   ̂   )   (         )        (       ̂   )             ( 3 )     Usi n g   a  f o r m   o f   s to ch as tic  g r ad ien t  d escen t,  A d a m   [ 9 ] ,   w e ig h ts   w er e  iter ati v el y   u p d ated   b ased   o n   lo s s   g r ad ien t  u s i n g   b ac k - p r o p ag atio n   [ 1 0 ] .   A l th o u g h   A d a m   ca n   w o r k   ad ap ti v el y   as  it   tak es   b en e f its   o f   A d ap tiv e   Gr ad ien t   A l g o r ith m   [ 1 1 ]   an d   R o o t  Me an   Sq u ar e  P r o p ag atio n   ( R MSP r o p )   [ 1 2 ] ,   w e  s t ill  s et  t h e  lear n in g   r ate  to   b e  d ec r ea s in g   if   t h e  v alid atio n   lo s s   i s   n o t r ed u cin g   s ig n i f ica n tl y .     2 . 3 .   T esting   P ha s e   Si m i lar   w it h   t h e  tr ain i n g   p h a s e,   in p u t  d ata  f o r   te s ti n g   w er e  r an d o m l y   g en er ated   u s in g   f u n ct io n   i n   Nu m p y ,   s o   th a t t h e y   w er e  d i f f er en t  w it h   d ata  f ed   i n   tr ain i n g   s ec tio n .   T h e  to tal   n u m b er   o f   b its   i n   t h i s   s ec tio n   i s   1 0 0 0 0 0 0   b its   an d   B it E r r o r   R ate  ( B E R )   w as iter ati v el y   ca lcu lated   in   r an g e  o f   SN R   - 4 d B   u n til 2 2 . 5   d B .     2 . 3 .   B a s eline  M e t ho d   I n   t h is   w o r k ,   w e  co n s id er   MI MO   s p atial  m u ltip le x i n g   s y s te m   i n   t w o   d if f er en t   ca s e s ,   f ir s t   is   s y s te m   u s i n g   b o th   C SIT   an d   C SIR  a n d   th e  s ec o n d   is   s y s te m   u s i n g   o n l y   C SIR.  T h e  co n f ig u r atio n   o f   ea ch   s y s te m   is   d is cu s s ed   in   th e   f o llo w i n g   p ar ag r ap h s .   Si m ilar   w it h   t h e  d ee p   lear n in g   b ased   m et h o d ,   th es e  b aselin e  m et h o d s   w er e  also   s i m u lated   i n   3 x 3   MI MO   co m m u n icatio n   s y s te m .     Fo r   th e  f ir s t  s y s te m ,   w e  co n s id er   a  lin ea r   p r e - eq u aliza tio n   w h ic h   e m p lo y s   p r e - eq u aliza ti o n   o n   th e   tr an s m it ter   s id e  as d ep icted   b y   Fig u r e  3   [ 1 3 ] .             Fig u r e  3 .   L in ea r   p r e - eq u aliza ti o n       T h e  p r ec o d ed   s y m b o l  v ec to r                   ca n   b e  r ep r esen ted   as              ̃                       ( 4 )   Evaluation Warning : The document was created with Spire.PDF for Python.
I n d o n esia n   J   E lec  E n g   &   C o m p   Sci     I SS N:  2502 - 4752       I mp leme n ta tio n   o f D ee p   Lea r n in g   in   S p a tia l Mu ltip lexin g   MIMO  C o mmu n ica tio n   ( Ma h d in   R o h ma till a h )   703   W h er e    ̃   is   th e  o r ig in al  s y m b o l  v ec to r   f o r   tr an s m is s io n   an d                     is   a  p r e - eq u alize r   w eig h t  m atr ix .   A s   th e  MM SE  p r e - eq u a lizatio n   was u s ed   i n   th e  s i m u la tio n ,   t h e  w ei g h t  m a tr ix   i s   g i v e n   b y                                * ‖         (      ̃     )     ̃ ‖             (                     )         ( 5 )     w h ile       is   a  co n s ta n t to   m ee t t h e  to tal  tr an s m itted   p o w er   co n s tr ain t a f ter   p r e - eq u aliza tio n   an d   it is   g i v en   as         √         (       (       )   )                   ( 6 )     w h er e   H  an d         d en o te  a  ch an n e l r esp o n s e  an d   n u m b er   o f   tr a n s m i tter   an te n n a  r esp ec ti v el y .   Fo r   th e  s ec o n d   s y s te m ,   Ma x i m u m   L i k eli h o o d   ( ML )   alg o r ith m   w a s   u s ed   to   d etec t    .   ML   d etec tio n   ca lcu late s   th e  E u cl id ea n   d is tan ce   b et w ee n   t h e  r ec eiv ed   s ig n al  v ec to r   an d   th e  p r o d u ct  o f   all  p o s s ib le  tr an s m itted   s i g n al  v ec to r s   w i t h   th e  g i v en   c h an n el  H .   M L   d etec t io n   d eter m i n es t h e  tr an s m i tted   s y m b o l  x   as       ̂               ‖        ‖                   ( 7 )       3.   RE SU L T S  A ND  AN AL Y SI S   I n   th i s   s ec tio n ,   w e  tr ai n ed   th e  en d - to - en d   lear n i n g   b ased   MI MO   co m m u n icatio n   m o d el  d escr ib ed   o n   th e  p r ev io u s   s ec tio n   w i th   t h e   h elp   o f   Ker as  w i th   te n s o r f lo w - g p u   b ac k e n d   an d   ev al u ated   th e  B E R   o v er   th e   r an g e  o f   SN R s .   T h e  r esu lts   a r e  f air l y   co m p ar ed   w it h   b aselin e  m et h o d s   s i m u lated   in   M AT L A B   w i th   QP SK   m o d u latio n   w a s   u s ed   to   m o d u late  in p u t  b its .   B o th   s y s te m s   w er e  s i m u lated   in   3 x 3   MI MO   co m m u n icatio n   s y s te m.     3 . 1 .   Sp a t ia l  M ultiplex ing   P er f ec t   CSI R  a nd   CSI T   Fo r   th e  f ir s t  m o d el,   w e  s i m u la ted   3 x 3   MI MO   s y s te m   w it h   p er f ec t  C SIT   an d   C SIR  s o   t h at  th er e  is   n o   f ee d b ac k   f r o m   r ec ei v er   to   tr a n s m itter .   I n   b aseli n e  m et h o d s ,   th e  p o w er   o f   ea c h   a n te n n a   w a s   s et   to   b e  eq u al,   w h ile  i n   a u to en co d er   b ased   m o d el  tr an s m i t  p o w er   o f   e ac h   an ten n a  i s   d if f er en t  d u e  to   d if f er e n t  w ei g h ts   a n d   b iases   o f   ea ch   an ten n a  as  a  r esu lt  o f   tr ain i n g   s ec tio n .   Ho w e v er ,   th e  av er a g e  en er g y   is   eq u al  to   1   ( r ea ch in g   it s   av er ag ed   p o w er   b y   u n ev e n   p o w er   d is tr ib u tio n   b et w ee n   ea ch   a n te n n a) .   C o n s tellat io n   p o in t  o f   ea c h   au to en co d er   b ased   MI MO   an d   its   r ec eiv ed   p o in t s   is   s h o w n   b y   Fi g u r e  4 .   Me a n w h ile,   th e  p er f o r m a n ce   o f   th e   p r o p o s ed   s y s te m   is   d ep icted   b y   F ig u r e  5 .   P er f o r m a n ce   i s   e v alu ated   i n   ter m s   o f   B E R   w h ic h   i s   a n   a v er ag e   o f   all  B E R   co m p u ted   b y   ea ch   a n ten n a.   I t  s ee m s   th at  t h e  au t o en co d er   b ased   m o d el  o u tp er f o r m s   t h e  b aselin e   m et h o d   s i n ce   t h e  v al u e  o f   S NR   i s   5 d B .   A s   th e   SN R   g et   h ig h er ,   t h e  h u g e   g ap   p er f o r m an ce   b et w ee n   ea c h   m et h o d   b ec o m e  h ig h er .   T h is   p er f o r m a n ce   w a s   ac h ie v ed   w i th   s o m e  h y p er p ar a m eter s   t u n i n g ,   f o r   in s tan ce   i n   th e  n o r m aliza tio n   la y er ,   w e  s et  th e  m a x   n o r m   o f   g a m m a  c o n s tr ain t  to   an   ap p r o p r iate  v alu e  ( 1 . 1 )   in   o r d er   to   ef f ec tiv e l y   p u t a   p o w er   co n s tr ain t i n   th e  e n co d er   b lo ck   m o d e           Fig u r e   4 .   L ea r n ed   co n s te llatio n   au to e n co d er   b ased   MI MO   p er f ec t CS I T   an d   C SIR   Evaluation Warning : The document was created with Spire.PDF for Python.
            I SS N :   2502 - 4752   I n d o n esia n   J   E lec  E n g   &   C o m p   Sci,   Vo l .  1 2 ,   No .   2 ,  No v e m b er   201 8   :   6 9 9   –   7 0 5   704       Fig u r e  5 .   B E R   co m p ar is o n   b etw ee n   p r o p o s ed   MI MO   p e r f ec t CS I T   an d   C SIR  m o d el  an d   b a s elin e  m et h o d       3 . 2 .   Sp a t ia l  M ultiplex ing   P er f ec t   CSI R     Si m ilar   to   th e  p r ev io u s l y   d i s cu s s ed   m o d el,   in   th e   p er f ec t  C SIR  ca s e,   t h e  p o w er   o f   ea ch   an te n n a  is   u n e v e n l y   d is tr ib u ted ,   b u t  s till   ac h iev e s   i ts   a v er ag e   p o w er   tr a n s m i s s io n .   L ea r n ed   co n s tellati o n   p o in t  i s   s h o w n   b y   Fi g u r e  6 ,   w h i le  s y s te m   p er f o r m a n ce   e v alu a tio n   in   ter m s   o f   B E R   co m p ar i s o n   b et w ee n   au to en co d er   b ased   m et h o d   an d   b aselin e  m et h o d   is   s h o w n   b y   Fi g u r e  7 .   I n   t h is   c ase,   th e  e n d - to - en d   b ased   m o d el  o u tp er f o r m s   t h e   b aselin e  m e th o d   s in ce   n ea r l y   2   d B .   T h is   p er f o r m a n ce   also   ac h iev ed   w it h   s ev er al  h y p er p ar a m eter s   t u n i n g ,   f o r   in s ta n ce   th e  co n s tr ain t  in   th e  b atch n o r m a lizatio n   la y er .   W e  m u s t  s et  t h e  m ax   n o r m   o f   g a m m a  co n s tr ai n t  to   b e   0 . 8 .   W e  also   f o u n d   th at  th e  i n cr ea s e  o f   d ataset  n u m b er   w il l  n o t  i m p r o v e  th e  p er f o r m a n ce   d ir ec tl y .   B atch   s ize  an d   co n s tr ai n t in   s ev er al  la y er s   m u s t b e  d if f er en tl y   s et  to   g et   th e  b est p er f o r m a n ce .           Fig u r e   6 .   L ea r n ed   co n s te llatio n   au to e n co d er   b ased   MI MO   p er f ec t CS I R       Evaluation Warning : The document was created with Spire.PDF for Python.
I n d o n esia n   J   E lec  E n g   &   C o m p   Sci     I SS N:  2502 - 4752       I mp leme n ta tio n   o f D ee p   Lea r n in g   in   S p a tia l Mu ltip lexin g   MIMO  C o mmu n ica tio n   ( Ma h d in   R o h ma till a h )   705       Fig u r e  7 .   B E R   co m p ar is o n   b etw ee n   p r o p o s ed   MI MO   p e r f ec t CS I R   m o d el  a n d   b aselin e  m et h o d       4.   CO NCLU SI O N   As a  s o lu tio n   o f   tr ad e - o f f   p h e n o m e n o n   i n   MI MO   co m m u n i ca tio n   o p ti m izatio n ,   th is   p ap er   p r o p o s es a   m et h o d   i m p le m e n ti n g   o n e  o f   t h e  m o d el  i n   d ee p   lear n in g   ar ea ,   en d - to - e n d   lear n i n g   au to e n c o d er .   T h is   m eth o d   s h o w s   p r o m i s i n g   r es u lt s   co m p ar e  to   th e  b aselin e  m et h o d s   in   ter m s   o f   B E R   o v er   f ast  R a y le ig h   f ad i n g   c h an n el   b y   r ea ch i n g   m o r e  th a n            in   ter m   o f   B E R .   Mo r eo v er ,   b y   u s in g   d ee p   lear n in g   b ased   m e th o d ,   th e   co m p u tatio n al  co m p le x it y   ca n   b e  r ed u ce d   b ec au s e  i n   d ee p   le ar n in g   f ield ,   co m p u tatio n al  co m p lex i t y   j u s t ta k es   p la ce   in   th e  tr ai n in g   s ec tio n .   Ho w e v er ,   th er e  ar e  s til l  s o m e  co n s id er atio n s   in   o r d er   to   m a k e  th e  p r o p o s ed   m o d els  to   b e  f itted   w it h   th e  r ea l  w o r ld   i m p air m e n t s .   On e  o f   t h e m   is   b y   d o i n g   o n li n e  lear n in g   i n s tead   o f   d o i n g   o f f lin e   lear n i n g   u s i n g   s y n t h etica ll y   g en er a ted   d ata.   Mo r eo v er ,   th e  c h an n el   esti m atio n   m o d el  ca n   b e  i m p le m en ted   u s i n g   d ee p   lear n in g   b a s ed   m e th o d   b ec a u s e  s o m e ti m es  i t  w i ll  b e  h ar d   to   o b tain   p er f ec t  C SI  i n   t h e  r ea l   w o r ld   co m m u n icatio n .       RE F E R E NC E S   [1 ]     Big li e ri  E,   Ca ld e rb a n k   R,   Co n sta n ti n i d e s  A ,   G o ld s m it h   A ,   P a u lraj  A ,   P o o r  HV .   M I M O  w irele s s  c o m m u n ica ti o n s.   Ca m b rid g e   u n iv e rsity   p re ss .   2 0 0 7 :  1 - 8.   [2 ]     O’Sh e a   T ,   Ho y d is  J.  A n   in tro d u c ti o n   to   d e e p   lea rn in g   f o r  th e   p h y sic a l  la y e r.   IEE E  T ra n sa c ti o n s  o n   Co g n i ti v e   Co m m u n ica ti o n s an d   Ne tw o rk in g .   2 0 1 7   ;3 ( 4 ): 5 6 3 - 7 5 .   [3 ]     Do rn e r  S ,   Ca m m e re r  S ,   Ho y d is  J,  ten   Br in k   S .   On   d e e p   lea rn in g - b a se d   c o m m u n ica ti o n   o v e r  t h e   a ir.   S ig n a ls,   S y st e m s,  a n d   Co m p u ters   5 1 st   A si lo m a r  Co n f e re n c e .   2 0 1 7 :   1 7 9 1 - 1 7 9 5   [4 ]     Ba ld i  P .   A u to e n c o d e rs,  u n su p e rv ise d   lea rn in g ,   a n d   d e e p   a rc h it e c tu re s.  P r o c e e d in g s  o f   ICM L   w o rk sh o p   o n   u n su p e rv ise d   a n d   tran sf e r  lea rn in g . 2 0 1 2 :3 7 - 4 9 .   [5 ]     G ru b e r  T ,   Ca m m e re r  S ,   Ho y d is  J,  ten   Bri n k   S .   O n   d e e p   lea rn in g - b a se d   c h a n n e l   d e c o d in g .   I n In f o r m a ti o n   S c ien c e s  a n d   S y ste m s (CIS S ),   2 0 1 7   5 1 st   A n n u a l   Co n f e re n c e .   2 0 1 7 :1 - 6.   [6 ]     Ye   H,  L i  G Y,  Ju a n g   BH.  P o w e r   o f   d e e p   lea rn in g   f o r  c h a n n e l  e st im a ti o n   a n d   sig n a l  d e tec ti o n   in   OFDM   s y ste m s.  IEE E  W irele ss   Co m m u n ica ti o n s L e tt e rs.  2 0 1 8 ;   (1 ): 1 1 4 - 7.   [7 ]     O' S h e a   T J,  Erp e k   T ,   Clan c y   T C.   De e p   le a rn in g   b a se d   M IM O  c o m m u n ica ti o n s.  a rX iv   p re p rin t  a rX iv :1 7 0 7 . 0 7 9 8 0 .   2 0 1 7 .   [8 ]     He   K,  Zh a n g   X ,   Re n   S ,   S u n   J.   De lv in g   d e e p   i n to   re c ti f iers :  S u rp a ss in g   h u m a n - lev e l  p e rf o r m a n c e   o n   im a g e n e t   c las si f ica ti o n .   In P ro c e e d in g s o f   th e   IEE E  in tern a ti o n a l  c o n f e re n c e   o n   c o m p u ter v isio n .   2 0 1 5 :  1 0 2 6 - 1 0 3 4 .   [9 ]     Kin g m a   DP ,   Ba   J.  A d a m :  A   m e th o d   f o r  st o c h a stic o p ti m iza ti o n .   a r X iv   p re p r in t   a rX iv :1 4 1 2 . 6 9 8 0 .   2 0 1 4 .   [1 0 ]     Ru m e lh a rt  DE,   Hin to n   G E,   W i ll iam s  R J.  Lea rn in g   re p re se n tatio n s  b y   b a c k - p ro p a g a ti n g   e rro rs.  n a tu re .   1 9 8 6 ;   3 2 3 (6 0 8 8 ):  5 3 3 .   [1 1 ]     Du c h i  J,  Ha z a n   E,   S in g e r  Y.  A d a p ti v e   su b g ra d ien t  m e th o d s  f o r  o n li n e   lea rn in g   a n d   sto c h a stic  o p t i m iz a ti o n .   Jo u r n a l  o f   M a c h in e   L e a rn in g   Re se a rc h .   2 0 1 1 ;1 2 :2 1 2 1 - 5 9 .   [1 2 ]     Da u p h i n   YN ,   De   V ries   H,  Ch u n g   J,  Be n g io   Y.  RM S P ro p   a n d   e q u il ib ra te d   a d a p ti v e   lea rn in g   ra tes   f o r  n o n - c o n v e x   o p ti m iza ti o n .   a r X iv   p re p rin t   a rX i v :1 5 0 2 . 0 4 3 9 0 . .   2 0 1 5   [1 3 ]     Ch o   YS,   Kim   J,  Ya n g   W Y,  Ka n g   CG .   M IM O - OFDM   w irele ss   c o m m u n ica ti o n s  w it h   M ATLA B .   Jo h n   W il e y   &   S o n s;  2 0 1 0 :  3 2 7 - 3 3 9 ,   3 8 1 - 3 8 3 .   Evaluation Warning : The document was created with Spire.PDF for Python.