I nte rna t io na l J o urna l o f   E lect rica l a nd   Co m p ute r  E ng in ee ring   ( I J E CE )   Vo l.   10 ,   No .   6 ,  Dec em b er   2 0 2 0 ,   p p .   5 8 2 4 ~ 5 8 3 1   I SS N:  2 088 - 8708 ,  DOI : 1 0 . 1 1 5 9 1 / i j ec e . v 1 0 i 6 . pp 5 8 2 4 - 5 8 3 1          5824       J o ur na l ho m ep a g e :  h ttp : //ij ec e. ia esco r e. co m/in d ex . p h p /I JE C E   Q - l ea rni ng   v ertic a l  ha ndo v er s che m e   in  tw o - t ier LTE - A   n etw o rk s       A mm a r  B a t hich 1 ,  M o hd   Asr i  M a ns o r 2 ,  Sa if ul I zw a n Sul im a n 3 ,  Sin a n  G ha s s a n Abi d Ali 4   1, 2, 3 F a c u l ty   o f   El e c tri c a l  En g in e e ri n g ,   Un iv e rsiti   T e k n o lo g i  M A RA ,   M a la y sia   4 F a c u lt y   o f   Co m p u ter T e c h n o lo g i e s E n g in e e rin g ,   Ira q   U n iv e rsity   C o ll e g e ,   Ira q       Art icle  I nfo     AB ST RAC T     A r ticle  his to r y:   R ec eiv ed   A p r   1 ,   2 0 20   R ev i s ed   A p r   11 ,   2 0 2 0   A cc ep ted   Ma y   1 ,   2 0 2 0       G lo b a l  m o b il e   c o m m u n ica ti o n   n e c e ss it a tes   i m p ro v e d   c a p a c it y   a n d   p r o p e r   q u a li ty   a ss u ra n c e   f o r  se r v ice s.  T o   a c h iev e   th e se   re q u ire m e n ts,  s m a ll   c e ll s   h a v e   b e e n   d e p lo y e d   in ten siv e l y   b y   lo n g   ter m   e v o lu ti o n   ( LTE )   n e tw o rk s   o p e ra to rs  b e sid e   c o n v e n ti o n a l  b a se   sta ti o n   stru c tu re   to   p ro v id e   c u sto m e rs   w it h   b e tt e r  se rv ice   a n d   c a p a c it y   c o v e ra g e .   A c c o m p li sh m e n t  o f   se a m les s   h a n d o v e r  b e tw e e n   M a c ro c e ll   la y e r  (f irst  ti e r)  a n d   F e m to c e ll   la y e r  (se c o n d   ti e r)  is  o n e   o f   th e   k e y   c h a l len g e s   to   a tt a in   th e   Qo S   re q u irem e n ts.  Ha n d o v e r  re late d   in f o rm a ti o n   g a th e rin g   b e c o m e s  v e r y   h a rd   in   h ig h   d e n se   f e m to c e ll   n e tw o rk s,  e ff e c ti v e   h a n d o v e r  d e c isio n   tec h n iq u e s  a re   i m p o rtan t  to   m in i m ize   u n n e c e ss a r y   h a n d o v e rs  o c c u rre d   a n d   a v o id   P in g - P o n g   e ff e c t.   In   th is  w o rk ,   w e   p ro p o se d   a n d   im p lem e n t ed   a n   e ff icie n t  h a n d o v e r  d e c isio n   p ro c e d u re   b a se d   o n   u se rs’  p ro f il e s  u sin g   Q - lea rn in g   tec h n iq u e   in   a n   LTE - A   m a c ro c e ll - f e m to c e ll   n e tw o rk s.  Ne w  m u lt i - c rit e rio n   h a n d o v e r  d e c isio n   p a ra m e ters   a re   p ro p o se d   i n   ty p ica l/ d e n se   f e m to c e ll s  in   m icro c e ll s  e n v iro n m e n t  to   e stim a t e   th e   targ e t  c e ll   f o r  h a n d o v e r.   T h e   p ro p o se d   h a n d o v e r  a lg o rit h m s  a r e   v a li d a ted   u sin g   th e   L T E - S im   si m u lato r  u n d e r  a n   u rb a n   e n v iro n m e n t.   T h e   sim u la ti o n   re su lt s sh o w e d   n o tew o rth y   re d u c ti o n   in   t h e   a v e ra g e   n u m b e r  o f   h a n d o v e rs .   K ey w o r d s :   L T E - A    Q - l ea r n in g   T w o - t ier   n et w o r k s     Ver tical  h a n d o v er   Co p y rig h t  ©   2 0 2 0   In stit u te o f  A d v a n c e d   E n g i n e e rin g   a n d   S c ien c e .    Al l  rig h ts re se rv e d .   C o r r e s p o nd ing   A uth o r :   Am m ar   B ath ic h ,    Facu lt y   o f   E lectr ical  E n g in ee r in g ,   Un i v er s iti  T ek n o lo g i M A R A ,   4 0 4 5 0   Sh ah   A la m ,   Sela n g o r ,   Ma la y s ia.   E m ail:  a m m ar b at2 0 0 3 @ g m ail . co m       1.   I NT RO D UCT I O N     Dep en d en c y   o n   u s i n g   th e  h an d o v er   p r o ce d u r e  in   lo n g   ter m   ev o lu tio n   ad v a n ce d   ( L T E - A )   n et w o r k s   f o r   th e   User   E q u ip m e n t  UE   m o b il it y   r es u lts   in   t h e  r ed u cti o n   in   w ir eles s   n et w o r k   co m p l ex it y   [ 1 ] .   I n   s p ite   o f   th is   ad v a n ta g e,   th e  h a n d o v er   s till   ex p er ie n ce s   m u lti f u n ctio n .   Fo r   ex a m p le,   th e  h a n d o v er   d ec is io n   is   af f ec ted   b y   ca r r ier   in ter f er en ce s   a n d   i n f lex ib il it y   [ 2 - 4 ] .   T h is   k ee p s   u s   w it h   t h e  Qo S  r eq u ir e m en t s   i n   h i g h   d ela y   an d   lo s s   d u r i n g   h an d o v er   a m o n g   c ells   [ 5 ] .   T h e  h a n d o v er   p r o ce d u r e  w ill   b ec o m e  m o r e  cr itical   w h e n   t h e  UE   s tar ts   m o v i n g   f r o m   t h e  s er v in g   s tat i o n   to   th e  tar g et  s tatio n   [ 6 ] .   Fu r th er m o r e,   th e  s m o o th   h a n d o v er   tech n iq u e  n ee d s   to   b e  p er io d ic  an d   f ast,  an d   th e  d at a  tr an s f er   s h o u ld   n o t  b e  lo s t  an d   d ela y ed .   E v en   m o r e,   th e  in cr ea s i n g   d em a n d s   f o r   u s in g   w ir eles s   b r o ad b an d   h as  led   to   th e  m o b ile  n et w o r k   o p er ato r s   d e p lo y i n g   m o r e  w ir eles s   ce lls   o f   v ar io u s   t y p es  ( m ac r o ce ll  ( eNB )   an d   f e m to ce ll  ( HeN B ) )   to   f u l f il  t h e  d ata  tr af f ic  r ate  [ 7 ] .   T h u s ,   a  h a n d o v er   b et w ee n   th e  t w o - tier   n et w o r k s   w i ll  ca u s e  a n   u n n ec e s s ar y   h an d o v er   ef f ec t,   h a n d o v er   f ai lu r e  an d   a  d r o p   in   th e  p er f o r m a n ce   o f   t h e  w ir ele s s   n e t w o r k .   T h e  Fig u r e  1   s h o w s   e NB   an d   HeN B s   ce lls   i n   E - UT R A N  L T E - A  ar ch itect u r e.   T h e  s tan d ar d   h an d o v er   d ec is io n   in   L T E - A   is   b ased   o n   th e  r ec eiv ed   s i g n al  s tr en g t h   ( R SS )   an d   r ec eiv ed   s i g n al  q u alit y   ( R SQ)   p ar am eter s .   T h u s ,   t h e  d ep lo y m en t  o f   d en s e  HeN B s   i n s id e  t h e  eNB   ce ll  w o u ld   in cr ea s e  th e  i n ter f er e n ce .   T h is   in ter f er e n ce   r ed u ce s   th e  R S Q  b y   d ec r ea s i n g   th e  R SS   r ati o   in   co m p ar is o n   to   th e  R ec ei v ed   Sig n al  Stre n g t h   I n d icato r   R SS I .   A s   a  r es u lt,  a  d eg r ad a tio n   in   h a n d o v er   p er f o r m an ce   is   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J   E lec  &   C o m p   E n g     I SS N:  2 0 8 8 - 8708       Q - lea r n in g   ve r tica l h a n d o ve r   s ch eme   in   tw o - tier   LT E - A   n etw o r ks  ( A mma r   B a th ich )   5825   o b s er v ed   [ 8 ] .   Mo r e o v er ,   th e  v ar iatio n   i n   tr a n s m it tin g   p o wer   b et w ee n   th e  t w o   t y p e s   o f   w ir ele s s   n et w o r k s   ( eNB   an d   HeN B )   is   an o th er   is s u e.   W h e n   th e  He NB   lo ca tio n   is   n ea r   t h e  eNB   to w er ,   th e  R S S o f   th e  He NB   w il l   al w a y s   b e  les s   th a n   t h e  eNB   [ 9 - 1 2 ] .       Ma n y   r esear ch e s   h av e   w o r k e d   o n   en h a n cin g   t h e  h a n d o v er   p r o ce d u r e  in   t h e  w ir eles s   n e t w o r k s   i n   L T E - A .   T h is   h as   b ee n   ac h ie v ed   b y   r ed u ci n g   p ac k e t  lo s s   an d   p ac k et  d ela y   a n d   s i m u lta n eo u s l y   in cr ea s in g   n et w o r k   t h r o u g h p u t.  L T E - A   p r o m i s es  i m p r o v e m en t  i n   h an d o v er   p er f o r m a n ce   an d   g u ar a n t ee   o f   a  s atis f ac to r y   Qo S  f o r   r ea l  ti m e  ap p licatio n s .   Ho w ev er ,   t h er e  ar e  s ti ll  m a n y   co n ce r n s   r eg ar d i n g   th e   ca p ab ilit y   o f   ad o p tin g   th ese   s c h e m e s   i n   r ea l   en v ir o n m en ts .   T h is   r ea l  e n v ir o n m e n t   d ep lo y m e n t  i s s u e  ca n   b e  s o l v ed   b y   m i n i m izi n g   th e  ex tr a  o v er h ea d   o f   co r r esp o n d in g   m ec h a n is m s   a n d   th u s   m in i m ize  ca lc u latio n   t i m e.   T h e  d r aw b ac k s   th at  m u s t  b e  ad d r ess ed   in   L T E - A   h an d o v er   t ec h n iq u e  co u ld   b e  s u m m ar iz ed   in   th r ee   p o in ts :  Firstl y ,   c u r r en t   s elec ti o n   o f   h a n d o v er   d ec is io n   p ar a m eter s   is   b ased   o n   R S S  a n d   R SQ   p ar a m eter s ,   w h ic h   ar e  i n ap p r o p r iate  f o r   h ig h - d e n s it y   HeN B   d ep lo y m e n t  in   L T E - A   n et w o r k s .   Seco n d l y ,   lo n g   s ea r ch i n g   ti m e/ f r eq u e n t  h a n d o v er s   d u e   to   p r esen ce   o f   m u lt ip le  tar g et  ce lls   w h ic h   ca u s e  d eg r ad atio n   o f   h a n d o v er   p er f o r m a n ce .   T h ir d l y ,   in e f f ici en t  i n   th e   s ta n d ar d   h a n d o v er   s ch e m e  i n   th e   p r esen ce   o f   He NB   ce lls   y ield s   to   u n n ec es s ar y   h an d o v er s ,   h a n d o v er   f ail u r e  an d   d r o p p in g   th e  n et w o r k   p er f o r m an ce .       Var io u s   w o r k s   i n   t h e  h a n d o v er   d ec is io n   w er e  p r o p o s ed   in   [ 1 3 - 1 6 ]   t o   f in d   o u t  th e  tar g et  s tatio n .   I n   [ 1 5 ,  1 6 ] ,   th e  m o b ilit y   f o r ec ast o f   a  u s er   eq u ip m e n t i s   b ase d   o n   k ee p   tr ac k i n g   o f   its   p r ev i o u s   t h r ee   lo ca tio n s .   Nev er th e less ,   t h e  r esear c h er s   d id   n o t  ex p lain   th eir   m et h o d o lo g ies  f o r   ch o o s in g   t h e  lo ca tio n s   o f   UE   as  w e ll  as   th e  d is ta n ce s   a m o n g   th e m ,   t h e y   d id   n o t  tak e  i n to   co n s id er atio n   m ac r o ce ll  lo ad .   Fu r t h er m o r e,   i n   [ 1 3 ,  1 4 ] ,   th e  tar g et  s tatio n   w a s   s elec ted   b ased   o n   th e  p r o b a b ilit y   o f   th e  UE   m o v e m en t  ac ti v it y   i n   s y s te m a tic  d ir ec tio n s   w it h   f i x ed   s p ee d ,   n e v er th ele s s ,   th i s   s u g g e s ted   m e th o d   ca n n o t  b e  r ea lized   in   r ea l  co n d it io n s .   I n   t h i s   w o r k ,   a  n o v el   h a n d o v er   d ec is io n   s tr u ctu r e   is   p r o p o s ed   f o r   c h o o s in g   t h e  tar g et  s tatio n   b ased   o n   UE   m o b ilit y   h is to r y   b y   ap p l y i n g   a  Q - lear n i n g   b as ed   tech n iq u e  t h at  tak e s   a  h a n d o v er   d ec is io n   ac co r d in g   to   t h e  c u r r en t  a n d   p ast   h is to r y   o f   t h e  e n v ir o n m en t.   W e  co m p ar ed   o u r   h a n d o v er   p r o p o s ed   alg o r ith m   w it h   S u m a n   w o r k   [ 1 7 ]   in   ter m s   o f   av er a g e  n u m b er   o f   h an d o v er s .   L T E - Si m   s i m u lato r   h as  b ee n   d ev elo p ed   to   ev alu a te  t h e  s y s te m   p er f o r m a n ce .   T h e  r e m ai n d er   o f   t h e   p ap er   is   s tr u ct u r ed   as  f o llo w s :  Sect io n   2   s h o w s   a n d   d is c u s s es   th e  Q - lear n in g   e n v ir o n m e n t  u s ed .   T h e  p r o p o s ed   m o d el  h a s   b ee n   d is cu s s ed   i n   s ec tio n   3 .   S ec tio n   4   co n d en s e s   th e  p er f o r m a n ce   ev al u atio n   o f   th e  p r o p o s ed   w o r k .   Fi n all y ,   s e ctio n   5   s u m m ar ies t h e  p ap er .           Fig u r e  1 .   HeN B s   in   E - UT R AN  ar ch itect u r e       2.   Q - L E ARN I N G   AL G O R I T H M   Q - L ea r n i n g   is   a  t y p e  o f   m ac h i n e  lear n i n g   tec h n iq u e  w h er e  an   ag e n t  atte m p t s   to   f in d   an   id ea l  s tr ate g y   f r o m   i ts   h i s to r y   o f   m o v e m en t   in s id e  a  d y n a m ic  f r a m e w o r k   [ 1 8 ] .   I n   Q - lear n in g   tec h n iq u e,   an   a g en t  s t u d ies   id ea l  ac tiv itie s /actio n s   v ia  ex p er i m en tatio n   co m m u n icatio n   w it h   it s   s u r r o u n d i n g .   On   ea c h   p r o g r ess ,   th e  a g en t   p ick s   a n   ac tiv i t y   t h at  m o d if i es  t h e  co n d itio n   o f   t h e  f r a m e w o r k   v ia   a  p r o g r es s   s tag e,   at  th a t  p o in t   it  g et s     a  r e w ar d   s h o w i n g   h o w   p o s iti v e  o r   n e g ati v e  t h e  ac ti v it y   w as.   T h e  ag e n t  o b j ec tiv e  i s   to   s tr e n g t h e n   t h i s   r e w ar d   b y   ca lcu lati n g   th e   id ea l  ap p r o ac h   an d   p ic k in g   th e   b est  ac tiv it y   f o r   ea ch   co n d itio n   o f   t h e  f r a m e w o r k .     T h e  o b j ec tiv e  o f   Q - L ea r n i n g   is   to   g ai n   p r o f ic ien c y   w i th   an   ap p r o ac h   th at   ad v is e s   an   ag en t  w h ic h   ac tiv it y /actio n s   to   m a k e  u n d er   w h ic h   co n d itio n s .   Defin itio n :  I n   Q - lear n i n g   p r o ce d u r e,   an   ag e n t  at te m p t s   to   d is co v er   th e  s tr ateg y   t h at  m ax i m ize s     th e  Q - v al u e  f u n ctio n   w h ic h   o f f er s   t h e  ex p ec ted   u ti lit y   o f   ch o o s in g   an   ac tio n   a   in   an   e x is t in g   s tate  s .     Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 8 - 8708   I n t J   E lec  &   C o m p   E n g ,   Vo l.  10 ,   No .   6 ,  Dec em b er   2 0 2 0   :    5 8 2 4   -   5 8 3 1   5826   F o r mu la tio n :  T h e  o b j ec tiv e  o f   a  Q - lear n in g   p r o ce s s   is   t o   d is co v er   th e  b est  s tr ateg y   Π opt   th at   m ax i m izes  t h e  cu m u lati v e  e x p ec ted   r e w ar d   ( o v er   m an y   tr ials )   in   t h e  lear n i n g   p r o ce s s   (   is   th e  n u m b er     o f   tr ials ) :     ∏ (   [ ∑  ( − ) = 0 ] )     ( 1 )     γ   w h ic h   is   ( 0   ≤   γ   ≤   1 )   r e p r esen ts   a  d is co u n t  f ac to r .   A t  lear n in g   tr ial  ,   w it h   an   ac t io n     tak en   in   s tate  ,    th e  r ec ei v ed   r e w ar d   i s   r ep r esen ted   a s   ( − ) .   Fo r   γ   =  0   u p co m in g   r e w ar d s   h a v e  n o   e f f ec t  o n     th e  s tate  v alu e,   w h er ea s   f o r   γ   clo s e  to   1 ,   u p co m i n g   ac tio n s   ar e  co n s id er ed   as  i m p o r ta n t  as  th e   i m m ed iate   r e w ar d s .   A   Q - f u n c tio n   i s   d ef i n ed   f o r   a  g iv en   p o lic y   Π  as:     ( , ) = ( , ) + ∑ ,   ( ) ( , ) ∈   ( 2 )     w h er e:   ( , )   is   th e  ex p ec ted   r ew ar d   o f   th e   cu r r en t  p ai r   o f   s tate - ac tio n ,   w h ic h   r ep r esen ts   an   ac tio n   a   ta k en   i n   s tat e   en v ir o n m e n t  s .    ,   ( )   is   th e  p r o b ab ilit y   o f   tr an s itio n   f r o m   t h e  cu r r en t  s tate  s   to   th e  n ex t state  υ   as a n   o u tco m e  o f   ac t io n   a .   ( , )   is   th e  n e w   s tate - ac t io n   p air s   Q - f u n ctio n   v al u e.   T o   en s u r e  t h at  t h er e  i s   at  lea s t  o n e   o p ti m al   s tr ate g y   Π *   i n   a  s i n g le  a g en t  e n v ir o n m e n t,  w e   ap p l y   B ell m an ’ s   o p ti m alit y   [ 1 9 ] .   Q - f u n ctio n   m a x i m u m   v al u e  w h ic h   in d icate s   th e  o p ti m al   ac tio n     f o r   ev er y   p o s s ib le  n ex t p air   ( , )   is   d en o ted   as  ∗ ( , )   .     ∗ ( , ) = ( , ) + ∑ ,   ( )    ∈   ∗ ( , ) ∈   ( 3 )     I n   an   iter ativ e  p r o ce d u r e,   Q - lear n in g   d eter m i n es  th e  o p tim al   ∗ ( , ) .   A t  ea ch   s tag e  d u r in g   th e  lear n in g   p r o ce d u r e,   th e  Q - v al u e  f u n ctio n   s h o u ld   b e  u p d ated   u s i n g   t h e  ( 4 ) :     ( , ) = ( 1 − α ) − 1 ( , ) + α ( ( , ) +      − 1 ( , ) )   ( 4 )     w h er e  α   r ep r esen t t h e  lear n in g   r ate.       3.   RE S E ARCH   M E T H O D   A ll  p ar a m eter s   r elate d   to   h an d o v er   d ec is io n   p h ase  b ased   o n   Q - lear n i n g   tech n iq u e  ar e  d ef in ed     as  f o llo w s :   a.   E n v ir o n m e n t : i n v o lv e s   a ll c o m p o n en ts   b esid es t h e  ag e n t     I n   o u r   f r a m e w o r k ,   it   co n tai n s   t h e  m ac r o ce ll  eNB   an d   all  f e m to ce lls   HeN B s   i n   t h e  UE eNB ’ s   n eig h b o r in g   ce ll  lis t  ( N C L ) .   W e  co n s id er   th at  th e  e n v ir o n m en t  is   a  d is cr ete - ti m e,   f in i te - s tate   an d   s to ch as tic  d y n a m ic  s y s te m .   b.   Ag e n t : is t h e  d ec is io n   m a k er     I n   o u r   ca s e,   th e  a g e n t  i n v o lv e s   th e   m ac r o ce ll  m o b ile  u s er   U E eNB   ex ec u ti n g   a  h a n d o v er   p r o ce s s   f r o m   its   s er v in g   ce ll to   an o t h er   n ei g h b o r in g   ce ll t h at  p r o v id e  b etter   p er f o r m a n ce .   c.   State:   is   t h e  en v ir o n m e n t ’ s   c u r r en t state   I n   o u r   f r a m e w o r k ,   i t  i n v o l v es   th e  c u r r en t   UE eNB   se r v i n g   ce ll ,   w h ic h   i s   th e   m ac r o ce ll   eNB .   T h e  s tat e   s et  S   is   d e f in ed   a s   =   { = 1 , 2 , … ,  + 1 }   w h er e     is   th e  n u m b er   o f   n eig h b o r in g   f e m t o ce lls .   ( = 1 )  r ef er s   to   th e  in it ial  s tate  w h er e  th e  m o b ile  u s er   UE eNB   is   co n n ec ted   to   th e  m ac r o c ell  eNB .   T o   s el ec t     th e  tar g et  ce l l  i n   a   s h o r t  ti m e  w e  h av e   to   s h o r t - lis t   th e   n eig h b o r in g   f e m to ce ll s ,   to   o p t i m ize   th e   ca n d id ate  n eig h b o r in g   ce ll li s t  w e  p r o p o s e  Dis ta n ce   a n d   m o v i n g   Dir ec tio n   Q - lear n i n g   b ased   tech n iq u e  ( D 2 Q  tech n iq u e ) .  T h e  UE   d ir ec tio n   ass i s ts   t h e   h an d o v er   d ec is io n   t h r o u g h   av o id in g   s i g n ali n g   m ea s u r e m en t  co n tr o ls   w i t h   n eig h b o r   ce lls   t h at  ar e  n o t  ah ea d   o f   th e  UE   tr aj ec to r y   as  w ell   as  i n   s elec tin g   t h e  n ei g h b o r   ce ll  th at  f i ts   a s     th e  tar g e t  ce ll.  T h e  d is tan ce   b et w ee n   UE   a n d   tar g et  ce l l  is   i m p o r ta n t,  w h ich   s h o u ld   n o t  e x ce ed   th e  ce ll  r ad iu s ,   in   o r d er   th at  ce lls   w h ich   ar e  f a r   a w a y   f r o m   t h e  m o b ile  u s er   a r e  n o t in v o l v ed   in   t h e  ca n d id at e  n eig h b o r in g   lis t.   Neig h b o r   ce lls   lo ca tio n   an d   ea ch   u s er   eq u ip m e n t  UE   p o s itio n   ar e  d eter m i n ed   u s i n g   GP S  [ 20 ] .   | ∓ ℎ ° |   is   th e  r an g e  th a t  all  n o m i n e e  ce lls   s h o u ld   b e  s itu ated   ah ea d   o f   th e  u s er   eq u ip m en t  UE   d ir ec tio n ,     an d   ea ch   ce ll  t h at  i s   lo ca ted   in s id e  t h is   zo n e  w ill  h a v e  t h e   p r io r ity   to   b e  c o m b in ed   i n to   th e  ca n d id ate  ce ll   lis t  [ 20 ] .   A s s u m e  th at  a  UE   is   m o v i n g   f r o m   lo ca tio n   P 1   to   lo ca tio n   P 2   as  s h o w n   i n   Fi g u r e   2 ,   P 3   is   th e  n eig h b o r   ce ll  lo ca tio n .   E v er y   n ei g h b o r   ce ll  o f   th e  u s er   eq u ip m e n t  is   test ed   v ia  ca lc u lati n g   th e   an g le    o f   ∠ 2 , 1 , 3     as f o llo w i n g :   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J   E lec  &   C o m p   E n g     I SS N:  2 0 8 8 - 8708       Q - lea r n in g   ve r tica l h a n d o ve r   s ch eme   in   tw o - tier   LT E - A   n etw o r ks  ( A mma r   B a th ich )   5827   2 , 1 ,   3 = c os − 1 ( 3 − 1   ) . ( 2 − 1   ) | 3 − 1   | | 2 − 1   |     ( 5 )     w h er e  1   , 2     an d   3   ar e  1   ( 1   , 1   ) , 2   ( 2   , 2   )   an d   3   ( 3 , 3   )   r esp ec tiv e l y .    T h e  d is tan ce   b et w ee n   t h e  u s er   eq u ip m e n t  a n d   t h e  n ei g h b o r   ce ll  is   ap p lied ,   w h ic h   s h o u ld   n o t  ex ce ed   th e  n ei g h b o r   ce ll  r ad iu s ,   in   o r d er   th at  ce lls   w h ic h   ar e  f ar   aw a y   f r o m   t h e  u s er   eq u ip m e n t   ar e  n o t  in v o lv ed   i n   th e  ca n d id ate  ce ll  lis t  [ 2 1 - 2 3 ] .   T h e  d is tan ce   b et w ee n   th e  u s er   eq u ip m e n t  at  p o s itio n     2   an d   th e  ce ll  at  lo ca tio n   3   is   ca lc u lated   b y   ( 6 ) :     3 , 2   = √ ( 3 − 2 ) 2 + ( 3   − 2 ) 2         ( 6 )     Fo r   UE   m o v es  f r o m   p o s itio n   P 2     to w ar d s   n ei g h b o r   ce ll  lo ca ted   at  P 3   ,   w e  co n s id er   t h e  n eig h b o u r   ce ll   to   b e   a  ca n d id ate  ce ll   if ( θ ≤ | ∓ θ th ° | )   an d ( d p 3 , p 2     ≤   n e ighb or   c e l l   r a dius   d th   ) .   T h e  n ex t  s tag e  co n tai n s   s elec ti n g   t h e  tar g et  ce ll  f r o m   th e  n o m i n ee   ca n d id ate  lis t   b y   u tili zi n g   th e  W eig h t  A d j u s t m en t  alg o r it h m   [ 20 ] .   I n   o u r   w o r k ,   t h e  s h o r test   d is tan ce   to   th e  u s er   eq u ip m e n t’ s   cu r r en t   p o s itio n   a n d   t h e  n ar r o w es t  θ   f r o m     th e  ca n d id ate  ce ll  lis t  w o u ld   b e  th e  m o s t  ap p r o p r iate  tar g et  ce ll.  T h e  W eig h t  A d j u s t m e n t  a lg o r ith m   is   s h o w n   in   A l g o r ith m   1 .     A l g o r ith m   1 .   W eig h t  a d j u s t m e n t   1: Input   2 , 1 , 3   and  3 , 2   2: Output:     3:   = 1 −   2 , 1 , 3   4:   = 1 −   3 , 2 2   5:   =    +                                 is   u s ed   f o r   ch o o s i n g   th e  tar g e t  ce ll.  Fu r t h er m o r e,   n o r m aliza tio n   is   al s o   i m p le m e n ted   f o r   b o th   d is tan ce   a n d   a n g le,   in   o r d er   th at  b o th   w ill   b e  ac co r d in g   to   s t an d ar d   in te g r atio n .   Fo r   n o r m a lizatio n   w e   u s e    as   th e  an g le  v al u e.      in v o l v es  t h e  r esu lt  o f   a n g le  n o r m aliza tio n   as  all  an g les  o f   th e  ca n d id ate  ce lls   ar e  les s   th an   o r   eq u al  | ∓ ℎ ° | ,   th i s   an g le  ( )   is   u s ed   f o r   n o r m a lizatio n   p r o ce d u r e.      in v o lv e s   t h e  r esu lt   o f   d is tan ce   n o r m aliza tio n   w h ic h   is   n o r m alize d   v ia  ce ll  tr an s m is s io n   r an g e  (  )   to   en h an ce   th e  p r io r ity   o f     th e  an g le  v alu e,   a s   th e  d is tan c e  o f   all  n o m in ee   ce ll l is t i s   les s   o r   eq u al  to   .    T h ese  m et h o d o lo g ies  f o r   ch o o s in g   th e  ca n d id ate  ce ll li s t a n d   s ele ctin g   th e  tar g et  ce ll a r e  illu s tr a ted   in   Alg o r it h m   2 .     A l g o r ith m   2 .   C h o o s in g   t h e  ca n d id ate  ce ll lis t a n d   s elec ti n g   t h e  tar g et  ce ll   Input :     (   ,   ) ,   (   ,   )   and    ( ,   )   Output :       N is an empty array which will include the candidate cell list   1:     for  each neighbor cell   do   2:                            , ,   =  − ( −   ) . ( −   ) | −   | | −   |   3:             if  ( , ,   ≤ | ∓  ° | ) then   4:                  add cell to N   5:               end if  // line 3   6:      end for  // line 1   7:     if  N   is not empty   then   8:        for each cell  ⊂   do   9:          ,   = √ ( − ) + (   − )   // cell position   is  ( − )   10:            =    +   ( +   )   11:       end for //  for line 8   12:           =                    13:        rest       of all cells by 0   14:     else // line 7   15:                =   16:     end if //line 7   17:  return         d.   A ctio n :   is   t h e  a g en t d ec is io n   r esu lt   I n   o u r   f r a m e w o r k ,   it  r ef er s   to   th e  h a n d o v er   d ec is io n   r esu lts :  th e  UE eNB   m a y   k ee p   its     co n n ec tio n   w it h   t h e  s er v i n g   m ac r o ce ll  eNB   ( ac tio n 1 )   o r   s elec t  o n e  o f   t h e  f e m to ce lls   H eNB s   f r o m   its   N C L   ( ac tio n   2 ,   …,   ac tio n   N N C L + 1 ) .   I n   o u r   p r o p o s al  alg o r ith m ,   w e   u s e  t h e  ϵ - Gr ee d y   tec h n iq u e  w ith   an   ad ap tiv e  ϵ   s ch e m e  b y   p r ese n ti n g   R S R Q - d ep en d en t  e x p lo r atio n   i n s tead   o f   a  f i x ed   o r   a  h an d - tu n in g   ϵ   p ar a m eter     ( R SR Q   Q - lear n i n g   b ased   tec h n iq u e  ( Q2   tech n iq u e ) )   [ 24,   25 ] .   Un lik e   t h e  tr ad itio n al   ϵ - Gr ee d y   m et h o d ,    Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 8 - 8708   I n t J   E lec  &   C o m p   E n g ,   Vo l.  10 ,   No .   6 ,  Dec em b er   2 0 2 0   :    5 8 2 4   -   5 8 3 1   5828   w h ic h   u s e  a  f i x ed   ϵ   p ar a m ete r ,   th e  r eq u ir ed   ac tio n   o f   Q2   t ec h n iq u e  i s   to   m ak e   th e   ag e n t  m o r e  ex p lo r ati v e     in   cir c u m s ta n ce s   w h e n   t h e  in f o r m atio n   ab o u t  t h e  e n v ir o n m e n t  i s   u n c lear .   Q2   tech n iq u e  a lg o r it h m   i s     s h o w n   in   A l g o r it h m   3 .     A l g o r ith m   3 .     Q 2   tech n iq u e   Δϵ: the amount of  decrease or  increase of ϵ, 0 < ϵ < 1   Stage 1: Set Δϵ to 0.01 and ϵ to 0.1   Stage 2: At each trail, we compare  RSRQ t - 1   and  RSRQ t .   - if  RSRQ t - 1    <  RSRQ t  , then  ϵ =  ϵ  -    Δϵ   - else  ϵ =  ϵ +  Δϵ     e.   R e w ar d :   I t  in d icate s   t h e  q u alit y   o r   g o o d n ess   o f   t h e  ac tio n   a  in   t h e  s tate   s ,   co n s id er ed   as  a   u tili t y   f u n ctio n   an d   d en o ted   b y   R     I n   o u r   f r a m e w o r k ,   th e  r e w ar d   is   th e  ea r n ed   ca p ac it y   a f te r   co n n ec ti n g   to   t h e  tar g et  ce ll  ( eNB   o r   HeNB ) .   Ou r   o b j ec tiv e  is   to   m ai n tai n   an d   m a x i m ize  t h e  c ap ac it y   o f   UE eNB   co n n ec ti n g   to   a  n e w   ce l l  af ter   a  h a n d o v er   p r o ce s s   ( C ap ac it y   Q - lear n i n g   b ased   tec h n i q u e  ( C Q   tech n iq u e) ) .   T h u s ,   if   UE eNB  s elec ts   th e  m ac r o ce ll  eNB   a s   a  s er v in g   ce ll,  t h e  u tili t y   f u n ct io n   R   wh ich   is   a  p er ce i v ed   r e w ar d   ( ca p ac it y )   o f   t h e  tar g et   ce ll  is   e x p r ess ed   a s   1 .   E ls e  i f   UE eNB   s elec t s   to   co n n ec t  to   o n e  o f   t h e  f e m to ce lls   He N B s   in   its   N C L ,   t h e  u tili t y   f u n ctio n   R  is   ex p r es s ed   as 2   [ 2 6 ,  2 7 ] .     L et     b e  th e  tr an s m it ted   p o w er   b y   t h e  m ac r o ce ll  eNB   an d   ℎ  ,   th e   g ain   o f   t h e  ch a n n e l  b et w ee n   th e  m ac r o ce ll  eNB   an d   it s   s er v in g   k th   m ac r o ce ll  u s er   UE eNB .   Si m i lar l y ,   h i, j   r ep r esen ts   th e  g ain   o f   t h e  c h an n e l   b et w ee n   t h e  i th    f e m to ce ll  He NB   an d   th e  j th   f e m to ce ll  u s er   UE HeNB .   L a s tl y ,   P i   r ep r esen t s   t h e  tr an s m it  p o w er   o f   th e  i th   f e m to ce ll  HeN B .   A n   Ad d itiv e  W h ite  Gau s s ia n   No is e   ( A W GN)   is   co n s id er ed   at  m a cr o ce ll  u s er   UE eNB   w it h   2   p o w er .   Ma cr o ce ll u s er   UE eNB   k   ca p ac ity   f r o m   it s   s er v in g   m ac r o ce ll e NB   is   ca lc u lated   by   ( 7 ) :     =     l og 2 ( 1 + | ℎ  ,   | 2  2 + )     ( 7 )     w h er e    is   t h e  av ailab le  b an d w id t h ,   =   ∑ | ℎ ,   | 2  = 1     is   th e  in ter f er en ce   f r o m   n ei g h b o r in g   f e m to ce ll s   HeN B s ,   an d      is   t h e  n u m b er   o f   n ei g h b o r in g   f e m to ce ll s   He NB s .   W e  co n s id er   th at   th e   b an d w id th   i s   eq u all y   allo ca ted   to   all  u s er s   ( UE eNB   an d   UE HeNB ) .   T h e  ca p a cit y   at  f e m to ce ll  u s er   j  ( UE HeNB )    j   f r o m   f e m to ce ll   ( HeN B )   i  is   g iv e n   b y   ( 8 ) :      =     l og 2 ( 1 + | ℎ ,   | 2 2 +  +    )   ( 8 )     w h er e   =   | ℎ  ,   | 2    is   th e  i n ter f er en ce   f r o m   m ac r o ce ll  eNB ,   ℎ  ,   is   th e  g ain   o f   t h e  c h an n el   b et w ee n   m ac r o ce ll  eNB   an d   u s er   j.  A l s o ,    =   ∑ | ℎ ,   | 2 ≠   is   th e  in ter f er e n ce   f r o m   o th er   f e m to ce lls   HeN B s   an d   ℎ ,   is   th e  g ai n   o f   t h e  ch an n el  b et w ee n   HeN B l  ,   tr an s m i tti n g   w i th   p o w er     ,   an d   u s er   j .           Fig u r e  2 .   User   eq u ip m e n t d is t an ce   an d   m o v i n g   d ir ec tio n   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J   E lec  &   C o m p   E n g     I SS N:  2 0 8 8 - 8708       Q - lea r n in g   ve r tica l h a n d o ve r   s ch eme   in   tw o - tier   LT E - A   n etw o r ks  ( A mma r   B a th ich )   5829   4.   RE SU L T S  A ND  D I SCU SS I O N   T h e  L T E - Si m   s i m u lato r   [ 28 ]   is   u s ed   to   ev alu ate  t h e   p er f o r m an ce   o f   th e  p r o p o s ed   alg o r ith m   d ep en d in g   o n   t h e  n u m b er   o f   th e  h a n d o v er s   w i th   co m p ar e  to   th e   alg o r it h m   i n tr o d u ce d   b y   S u m a n   [ 1 7 ] .     T h e  to p o lo g y   co n s i s ts   o f   t w o   m ac r o ce lls   ( eNB )   w it h   a  r ad i u s   o f   1 k m   ea c h   a n d   v ar io u s   f e m to ce lls   ( HeN B s )   d en s it y ,   t h e  f e m to ce ll  n u m b er   is   co n f ig u r ed   as  3 0 ,   5 0 ,   7 0   an d   9 0   in   ea ch   m ac r o ce ll,  a n d   all  f e m to ce lls   ar e  co v er ed   b y   o p en   ac ce s s   t y p e  to   allo w   t h e  u s er   eq u ip m en t  U E   to   h an d o v er   to   ea ch   f em to ce ll.  E ac h   f e m to ce l l   r ad iu s   co v er s   3 0   m eter s .   T h e  UE   n u m b er   i s   co n f i g u r ed   as  1 5 ,   3 0 ,   4 5   an d   6 0 .   T h e  UE s   ar e  d is tr ib u ted   r an d o m l y   in   ea c h   m ac r o ce ll  co v er ag e  ar ea   an d   ea c h   UE   s tar ts   m o v i n g   f r o m   th e  ce n ter   o f   its   s er v i n g   eNB   b ased   o n   r an d o m   m o b ilit y .     T h e  h an d o v er   d ec is io n   i n   th e   p r o p o s ed   to p o lo g y   w ill  co v er   th r ee   v er tical  h an d o v er   t y p es:   Han d - in ,   Han d - b et w ee n   an d   Han d - o u t  h an d o v er s   b ased   o n   th e   av ailab ilit y   o f   ea c h   v er tic al  h an d o v er   t y p e.     E ac h   f e m to ce ll  w ill  b e  r an d o m l y   lo ca ted   b et w ee n   5 0   m ete r s   to   1 0 0 0   m eter s   f r o m   th e  m ac r o ce ll  lo ca tio n   in   th r ee   d ep en d en t  s ce n ar io s :  cl o s e,   m id d le  an d   at   th e   ed g e .   C o n ce r n in g   f e m to ce lls   d i s t r ib u tio n   s ce n ar io s :     clo s e,   m id d le  a n d   at  t h e  ed g e,   f e m to ce lls   ar e  d is tr ib u ted   in   f o u r   d i f f er en t  g r o u p s :   3 0 ,   5 0 ,   7 0   an d   9 0   in   ea c h   s ce n ar io .   Fi g u r e  3   p r esen t s   th e  av er ag e  n u m b er   o f   h a n d o v e r s   f o r   th e  p r o p o s ed   alg o r ith m   in   ea ch   s ce n ar io   f o r   30  UE s .   A s   s h o w n   i n   Fig u r e   3 ,   th e  r elatio n s h ip   b et w ee n   t h e  av er ag e  n u m b er   o f   h a n d o v er s   an d   f e m to ce ll s   d en s it y   is   p o s iti v e  r elatio n s h ip ,   w h ich   m ea n s   th a t  th e  av er a g e  n u m b er   o f   h an d o v er s   in cr ea s e  w h e n   f e m to ce lls   d en s it y   in cr ea s e.   W h ile  it  h a s   th e  lo w est  a v er ag e  w h e n   t h e  f e m to ce ll s   d is tr ib u tio n   is   at  th e  ed g e.   T h is   is   b ec au s e  t h e  m o b ile  u s er s   s tar t  to   m o v e  f r o m   t h e  lo ca tio n   o f   m ac r o ce ll  to w er .   I n   ad d iti o n ,   th e   av er a g e  o f   h an d o v er s   n u m b er   i n cr ea s es a s   th e  n u m b er   o f   f e m to ce ll s   in   all  d is t r ib u tio n   s ce n ar io s   i n cr e ases .     Fu r t h er m o r e,   th e  r es u lts   o f   t h e   av er ag e  n u m b er   o f   h an d o v er s   f o r   th e  p r o p o s ed   alg o r ith m   an d   Su m a n   h an d o v er   alg o r it h m   w er e  d is c u s s ed   in   ter m s   o f   f e m to ce ll s   th at  ar e  d is tr ib u ted   to   g r o u p s   o f   3 0 , 5 0 , 7 0   an d   9 0   p er   ea ch   m ac r o ce ll,  an d   t w o   g r o u p s   o f  UE s   ( 1 5   an d   3 0 )   as  p r esen ted   i n   Fi g u r e  4 .   B a s ed   o n   ea ch   r es u lt,   it  is   ev id en t  t h at  b y   in cr ea s in g   th e  f e m to ce ll s   n u m b er ,   b o th   alg o r ith m s   s h o w   a n   in cr e m en t  in   t h e  av er ag e   h an d o v er s   n u m b er ,   b ec au s e  m o b ile  u s er s   m a k e  ad d itio n al  h a n d o v er s   w it h   r esp ec t  to   th ei r   m o v e m e n ts   i n   ea ch   m o b ile  u s er   g r o u p .   T h e  r esu lts   e m p h a s ize  th a t  th e  b est  p er f o r m a n ce   w a s   ac h ie v ed   b y   o u r   alg o r it h m   in   all  d i s tr ib u tio n s   o f   f e m to ce ll s   an d   al l  d en s ities .   T h is   is   b ec au s e  o f   u til izin g   Q - lear n in g   m et h o d o lo g y   w h ic h   allo w   t h e  m o b il e   u s er   to   le ar n   f r o m   h i s   p r ev io u s   h is to r y ,   i n   ad d itio n   to   o th er   s u p p o r tin g   m et h o d o lo g ies  w h ic h   d o   n o t  allo w     th e  m o b ile   u s er   to   co n n ec t to   f e m to ce lls   th a t a r e  o n l y   clo s e  t o   th e  it,  b u t to   co n n ec t to   t h o s e  lo ca ted   in   f r o n t o f   o r   ap p r o x i m atel y   a h ea d   o f   c u r r en t  m o b ile  u s er   p o s itio n   i n   o r d er   to   av o id   th e  r ed u n d an t h a n d o v er .   T h e  u s er   eq u ip m en t   o n l y   n o m i n ates  t h e  f e m to ce ll  w h o s e   to w er   lo ca tio n   is   le s s   t h a n   | ± 2 5 |   an d     th e  d is ta n ce   b et w ee n   t h e  UE   an d   th e  ca n d id ate  f e m to ce ll  i s   less   t h a n   o r   eq u al  2 8   m eter s .   On   t h e  co n tr ar y ,     in   t h e  ca s e  o f   S u m a n   h a n d o v e r   d ec is io n   th e  h an d o v er   p r o ce d u r e  is   tr ig g er ed   w h e n   th e  R S S  b et w ee n   t h e  UE   an d   its   n ei g h b o r   f e m to ce ll s   is   h i g h er   th a n   th e  R SS   b et w ee n   th e  UE   a n d   its   s er v in g   ce ll  w it h o u t  a n y   co n s id er atio n   o f   h o w   lo n g   th e  tar g et  f e m to ce ll  w i ll se r v e  t h e  UE   an d   its   u s e f u l n es s   to   d o   h an d o v er   o r   n o t.            Fig u r e  3.   C o m p ar is o n   o f   a v er a g e  n u m b er   o f   h an d o v er s   o f   t h e   p r o p o s ed   alg o r ith m   i n   t h r ee   s ce n ar io s :    c lo s e,   m id d le  an d   at  th e  ed g e   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 8 - 8708   I n t J   E lec  &   C o m p   E n g ,   Vo l.  10 ,   No .   6 ,  Dec em b er   2 0 2 0   :    5 8 2 4   -   5 8 3 1   5830       Fig u r e   4.   C o m p ar is o n   o f   a v er a g e  n u m b er   o f   h an d o v er s   f o r   b o th   alg o r it h m s       Fin all y ,   r eg ar d in g   th e  to tal  av er ag e  n u m b er   o f   h a n d o v er s   f o r   ea ch   UE   g r o u p ,   it  is   r ed u ce d   in     th e  p r o p o s ed   alg o r ith m   b y   ( 5 5 . 6 3 %)   co m p ar ed   to   Su m a n   h a n d o v er   alg o r ith m   f o r   all  v ar io u s   f e m to ce ll s   d en s itie s   w h e n   th e  n u m b er   o f   UE   is   1 5 .   Mo r eo v er ,   th e  p r o p o s ed   alg o r ith m   r ed u ce s   th e  to t al  av er ag e  n u m b er   o f   h a n d o v er s   b y   ( 4 1 . 7 4 %)  co m p ar ed   to   S u m an   h a n d o v er   alg o r ith m   f o r   all  v ar io u s   f e m to c ells   d en s ities   w h e n   th e  UE s   n u m b er   is   3 0 .       5.   CO NCLU SI O N   A ND  F U T U RE   WO RK   T h e  s i m u latio n   r es u lt s   s h o w   t h at  t h e  p r o p o s ed   alg o r ith m   p er f o r m s   w ell  i n   e n h an ci n g   t h e  h a n d o v er   d ec is io n   i n   L T E - A   n et w o r k s .   T h e  s i m u lat io n   r es u lt s   e x a m i n ed   th e   p r o p o s ed   alg o r ith m   f o r   f e m to ce ll s   o f     th e  o p en   ac ce s s   t y p e  i n   o r d er   to   en h a n ce   t h e  tar g et   f e m to ce ll  s elec t io n   in   t h e  v er tical  h an d o v er   d ec is io n .     T h e  s elec tio n   o f   s u itab le  p ar am eter s   to   i m p r o v e  th e  h an d o v er   d ec is io n   s till   e n co m p as s es a   w id e  ar ea   r esear ch .   T h er ef o r e,   th e  r ec o m m e n d ati o n   f o r   f u r th er   r e s ea r ch   in   t h is   f ield   ca n   b e  as  f o llo w s :  F ir s t l y ,   i s   to   i n v est ig ate   d if f er e n t  p ar a m eter s   o f   u s er   p er f o r m an ce   i n   l ig h t   o f   h a n d o v er   an d   lo ad   b ala n cin g   in   t h e  wir eless   s y s te m   o v er   h o r izo n tal  a n d   v er tical   n et w o r k s .   Seco n d l y ,   to   i n v esti g ate   d if f er en t   p ar a m eter s   o f   u s er   p e r f o r m an ce   o n   b o th   f e m to ce ll   t y p e s :  th e  clo s e  an d   h y b r id .   Fin a ll y ,   i n   r eg ar d   to   im p le m e n tat io n ,   UE   v elo cit y   s h o u ld   b e  tak e n   in to   ac co u n t  i n   t h e  h an d o v er   d ec is io n   as  t h e  m ai n   b eh a v io r .   T h u s ,   b y   m o n ito r i n g   t h e  t h r ee   m a in   b eh a v io r s   at  U E   w h ic h   ar e  th e  UE   m o b ilit y ,   ac ce ler atio n ,   an d   d ec e ler atio n   as  th e  f r eq u e n t  li n e  ch a n g es ,   th e  s u i tab ilit y   o f     th e  p r o p o s ed   alg o r ith m   f o r   th e   UE   b eh av io r   ca n   b e  en s u r ed .       ACK NO WL E D G E M E NT S     T h e  au th o r s   w o u ld   li k e  to   ex p r ess   t h e  g r atit u d e  to   t h e   Min i s tr y   o f   E d u ca tio n ,   Ma la y s ia   an d   Un i v er s iti   T ek n o lo g i   M AR A ,   Sela n g o r ,   Ma la y s ia   f o r   th e   f i n an cia l  s u p p o r t  g i v e n   f o r   t h is   p r o j ec t  ( Ger an   B estar i P er d an a)   [ Fil e  No :   6 0 0 - I R MI /P E R D AN A   5 /3   B E STARI  ( 0 9 5 /2 0 1 8 ) .       RE F E R E NC E S     [1 ]   B.   M a ,   e t  a l. ,   “ M o d e li n g   a n d   A n a ly sis  f o r  V e rti c a l  Ha n d o f f  Ba s e d   o n   th e   De c isio n   T re e   in   a   H e tero g e n e o u s V e h icle   Ne tw o rk , ”   IEE E  Acc e ss ,   v o l.   5 ,   p p .   8 8 1 2 - 8 8 2 4 ,   2 0 1 7 .   [2 ]   T .   Zah ir,   e t  a l. ,   “ In terf e re n c e   M a n a g e m e n t  in   F e m to c e ll s , ”  IEE E  Co mm u n ica ti o n s  S u rv e y s  &   T u to ria ls ,  v o l.   1 5 ,     n o .   1 ,   pp .   2 9 3 - 3 1 1 ,   2 0 1 3 .   [3 ]   G .   G o d o r,   e t   a l. ,   “ A   S u rv e y   o f   Ha n d o v e r  M a n a g e m e n t  in   L te - Ba se d   M u lt i - T ier  F e m to c e ll   Ne tw o rk s :  Re q u irem e n ts,   Ch a ll e n g e s a n d   S o lu ti o n s , ”   Co mp u ter   Ne two rk s ,  v o l.   7 6 ,   pp .   1 7 - 41 ,  2 0 1 5 .   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J   E lec  &   C o m p   E n g     I SS N:  2 0 8 8 - 8708       Q - lea r n in g   ve r tica l h a n d o ve r   s ch eme   in   tw o - tier   LT E - A   n etw o r ks  ( A mma r   B a th ich )   5831   [4 ]   S .   Bh o sa le  a n d   R.   Da ru w a la . ,   “ M u lt i - c rit e ria  V e rti c a l  Ha n d o f f  De c isio n   A lg o rit h m   Us in g   Hie ra rc h y   M o d e li n g   a n d   A d d it iv e   W e i g h ti n g   in   a n   I n teg ra ted   W LA N/ W iM A X /UM T S   En v iro n m e n t - A   Ca se   S tu d y , ”   KS II  T ra n sa c ti o n s  o n   In ter n e t  &   In fo rm a ti o n   S y ste ms ,   v o l.   8 ,   n o .   1 ,   p p .   3 5 - 5 7 ,   2 0 1 4 .   [5 ]   N .   Ra ju le,  e t  a l. ,   “ S u rv e y   o f   v e rti c a l  h a n d o v e r  d e c isio n   a lg o rit h m s,”   In t e rn a ti o n a l   J o u rn a l  o f   In n o v a t i o n s  i n   En g i n e e rin g   a n d   T e c h n o l o g y   ( IJ I ET ) ,   v o l.   2 ,   n o .   1 ,   pp.   3 6 2 - 3 6 8 ,  2 0 1 3 .   [6 ]   H .   K w a k ,  e t  a l. ,   “ M o b il it y   m a n a g e m e n t  su rv e y   f o r  h o m e - e NB  b a se d   3 G P P   L T E  s y ste m s,”   J o u rn a l  o f   In fo rm a ti o n   Pro c e ss in g   S y st e ms ,   v o l.   4 ,   n o .   4 ,   p p .   1 4 5 - 152 ,   2 0 0 8 .   [7 ]   S .   Ne e ra ja,  e t  a l. ,   “ A n a l y sis  o f   Ad a p ti v e   Hy ste r e sis  Ba se d   Ho rizo n tal  Ha n d o f f   A lg o rit h m   f o r  G S M , ”   In ter n a ti o n a l   J o u rn a l  o f   In n o v a t ive   Res e a rc h   in   El e c trica l,   El e c tro n ics ,   I n st ru me n ta ti o n   a n d   C o n tr o l  En g i n e e rin g ,   v o l.   1 ,     n o .   9 ,   p p .   4 3 3 - 4 3 7 ,   2 0 1 3 .   [8 ]   X .   Ya n ,   e t  a l. ,   “ A   su rv e y   o f   v e r ti c a l  h a n d o v e r  d e c isio n   a lg o rit h m s  in   f o u rth   g e n e ra ti o n   h e tero g e n e o u s  w irele ss   n e tw o rk s,”   Co mp u t er   Ne tw o rk s ,   v o l.   54 ,   n o .   11,   p p .   1 8 4 8 - 1 8 6 3 ,   2 0 1 0 .   [9 ]   A .   G h a rs a ll a h ,   e t  a l. ,   “ Ne t w o rk   S e lec ti o n   in   He tero g e n e o u s  W irele ss   S y ste m   En v iro n m e n ts,”  J o u rn a l  o f  Ne two rk s ,   v o l .   10 ,   n o .   1 2 ,   p p .   6 3 3 - 6 4 1 ,   2 0 1 5 .   [1 0 ]   S.  Cio c h in a ,   e t  a l. ,   “ A n   Op ti m ize d   Nlm s  A lg o rit h m   f o r  S y ste m   Id e n ti f ic a ti o n ,”   S i g n a l  Pro c e ss in g ,  v o l.   1 1 8 ,     pp .   1 1 5 - 1 2 1 ,   2 0 1 6 .   [1 1 ]   Y.  C.   W a n g   a n d   C.   A .   Ch u a n g ,   “ Eff icie n t  En b   De p lo y m e n t  S trate g y   f o r  He tero g e n e o u s  Ce ll s  i n   4 G   L TE   S y ste m s , ”   Co mp u ter   Ne tw o rk s ,  v o l.   7 9 ,   pp .   297 - 3 1 2 ,   2 0 1 5 .   [1 2 ]   M .   H.  Ha c h e m i,   e t  a l. ,   “ P re d icti n g   th e   P ro b a b il i ty   o f   S p e c tru m   S e n sin g   w it h   L m s   P ro c e ss   i n   He tero g e n e o u s  L TE   Ne tw o rk s , ”   Ra d io e n g i n e e rin g ,  v o l.   2 5 ,   n o .   4 ,   pp .   8 0 8 - 82 0 ,   2 0 1 6 .   [1 3 ]   H.  G e ,   e t  a l. ,   “ A   h isto ry - b a se d   h a n d o v e r  p re d icti o n   f o r  L T E  s y ste m s, ”  2 0 0 9   I n t e rn a ti o n a l   S y mp o si u m  o n   C o mp u t er   Ne tw o rk   a n d   M u lt ime d ia   T e c h n o l ogy ,   p p .   1 - 4 ,   2 0 0 9 .   [1 4 ]   Y.  H.  W a n g ,   e t  a l. ,   “ A   h a n d o v e r  p re d ictio n   m e c h a n is m   b a se d   o n   L T E - A   UE  h isto ry   in f o rm a ti o n , ”   2014  In t e rn a t io n a l   C o n f e re n c e   o n   C o mp u t e r,   I n f o rm a ti o n   a n d   T e lec o mm u n ica ti o n   S y st e ms   ( CIT S ) ,  p p .   1 - 5 ,   2 0 1 4 .   [1 5 ]   X .   C h e n ,   e t  a l. ,   “ Ef f icie n t  a n d   p ro m p t  h a n d o v e r  in   L T E - b a se d   sy ste m s  b y   p re d ictin g   th e   targ e t  e No d e Bs,”   2 0 1 4   In t e rn a t io n a l   C o n f e re n c e   o n   Cy b e r - En a b le d   Distrib u ted   C o mp u t in g   a n d   K n o w l e d g e   Disc o v e ry ,   p p .   406 - 4 1 3 ,   2 0 1 4 .   [1 6 ]   F .   M .   Ch a n g ,   e t  a l . ,   “ A n   e ff icie n t  h a n d o v e r  m e c h a n is m   b y   a d o p ti n g   d irec ti o n   p re d icti o n   a n d   a d a p ti v e   ti m e - to - tri g g e r  in   L T E  n e tw o rk s,”   In ter n a ti o n a l  C o n fer e n c e   o n   Co mp u t a ti o n a l   S c ien c e   a n d   Its   Ap p li c a t io n s ,   v o l.   7 9 7 5 ,     p p .   2 7 0 - 2 8 0 ,   2 0 1 3 .   [1 7 ]   S.  De sw a l  a n d   A .   S in g h ro v a ,   “ A   V e rti c a l   Ha n d o v e r  A lg o rit h m   in   In teg ra ted   M a c ro c e ll   F e m to c e ll   Ne t w o rk s , ”   In ter n a t io n a l  J o u rn a l  o f  E lec trica l  a n d   C o mp u ter   En g in e e rin g   ( IJ ECE ) ,   v o l.   7 ,   n o .   1 ,   p p .   2 9 9 - 3 0 8 ,   2 0 1 7 .   [1 8 ]   E.   A lp a y d in ,   “ I n tr o d u c ti o n   t o   m a c h in e   lea rn i n g , ”  M IT   p re ss ,  2 n d   e d it io n ,   2 0 1 0 .   [1 9 ]   C.   J.  C.   H.   W a tk in s a n d   P .   Da y a n ,   “ T e c h n ica l  n o te:  Q - lea rn in g , ”   M a c h in e   L e a rn i n g ,   v o l.   8 ,   pp .   2 7 9 - 2 9 2 ,   1 9 9 2 .   [2 0 ]   Y .  S .   Hu a n g ,   e t  a l. ,   “ A   Ha n d o v e r  S c h e m e   f o r  LT E  W irele ss   N e tw o rk s  u n d e r  th e   A ss istan c e   o f   GPS ,”   Pro c e e d in g   2 0 1 3   8 th   In ter n a ti o n a l  Co n fer e n c e   o n   Bro a d b a n d   a n d   W ire les s  Co mp u t in g ,   C o mm u n ic a ti o n   a n d   Ap p li c a ti o n s,   BW CCA ,  pp .   3 9 9 - 4 0 3 ,   2 0 1 3 .   [2 1 ]   A .   Bo g d a n o v ,   “ L o c a ti o n   id e n ti f ica ti o n   a n d   h a n d o v e r  in   n e w - g e n e ra ti o n   m o b il e   n e tw o rk s, ”   2 0 2 0   M o s c o w  W o rk sh o p   o n   E lec tro n ic  a n d   Ne two rk in g   T e c h n o l o g ies   ( M W ENT ) ,   M o sc o w ,   Ru ss ia,  p p .   1 - 4 ,  2 0 2 0 .   [2 2 ]   M .   A .   W o n g ,   J.  A .   J  A lsa y a y d e h ,   S .   M .   I d ru s,  N .   Z u lk if li ,   a n d   M .   El sh a ik h ,   “ Eff icie n t  P 2 P   d a ta  d isse m in a ti o n   i n   in teg ra ted   o p ti c a l  a n d   w irele ss   n e tw o rk s  w it h   T a g u c h i  m e th o d , ”   T EL KOM NIKA  T e lec o mm u n ica ti o n ,   Co mp u ti n g ,   El e c tro n ics   a n d   C o n tro l ,  v o l.   1 7 ,  n o.   4 ,  pp .  1 6 4 2 - 1 6 4 7 ,   2 0 1 9 .   [2 3 ]   K.  A h u ja,  e t  a l. ,   “ Ne t w o rk   S e lec ti o n   Ba se d   o n   W e ig h t  Esti m a ti o n   o f   Qo S   P a ra m e ters   in   He tero g e n e o u s     W irele ss   M u lt im e d ia  Ne t w o rk s, ”   In ter n a ti o n a l   J o u rn a l  o f  W ire les s  Per so n a l   Co mm u n ica ti o n s ,   v o l .   77 ,   n o .   4 ,     p p .   3 0 2 7 - 3 0 4 0 ,   2 0 1 4 .   [2 4 ]   H.  A .   M a h m o u d ,   e t  a l. ,   “ P e rf o rm a n c e   o f   Op e n   A c c e ss   F e m to c e ll   Ne tw o rk s  w it h   Diffe re n t  Ce ll - S e lec ti o n   M e th o d s, ”   in   2 0 1 0   IE EE   V e h icu la r  T e c h n o lo g y   C o n fer e n c e ,   p p .   1 - 5,   2 0 1 0 .   [2 5 ]   C.   Dh a h ri  a n d   T .   Oh tsu k i,   “ L e a rn in g - b a se d   Ce ll   S e lec ti o n   M e th o d   f o r  F e m to c e ll   Ne t w o rk s,”   I EE E  V e h ic u la r   T e c h n o l o g y   C o n fer e n c e ,  p p .   1 - 5 ,   2 0 1 2 .   [2 6 ]   B.   L iu ,   e t  a l . ,   “ A HP   a n d   G a m e   T h e o ry   b a se d   A p p ro a c h   f o r  Ne tw o rk   S e lec ti o n   in   He tero g e n e o u s  W irele ss   Ne tw o rk s,”   IEE E  Co n su me r  Co mm u n ica ti o n s  a n d   Ne two rk in g   Co n fer e n c e   ( CCNC) ,   L a s  V e g a s ,   Ne v a d a ,   US A ,     p p .   5 0 1 - 5 0 6 ,   2 0 1 4 .   [2 7 ]   V .   A .   Na ra y a n a n ,   e t  a l. ,   “ A n   I n telli g e n t  V e rti c a l  Ha n d o v e r  De c isio n   A lg o rit h m   f o r  W irel e ss   He tero g e n e o u s   Ne tw o rk s,”   Ame ric a n   J o u rn a l  o f  Ap p li e d   S c ie n c e s ,   v o l .   11 ,   n o .   5 ,   p p .   7 3 2 - 7 3 9 ,   2 0 1 4 .   [2 8 ]   G .   P iro ,   e t  a l. ,  “ S im u latin g   LT E   c e ll u lar  s y ste m s:  a n   o p e n   so u rc e   f r a m e w o rk , ”  IEE E  T ra n sa c ti o n s  o n   Veh ic u la r   T e c h n o l o g y ,  v o l.   60 ,   n o .   2,   pp.   498 - 5 1 3 ,   2 0 1 1 .   Evaluation Warning : The document was created with Spire.PDF for Python.