I nte rna t io na l J o urna l o f   E lect rica l a nd   Co m p ute E ng in ee ring   ( I J E CE )   Vo l.   10 ,   No .   6 Dec em b er   2 0 2 0 ,   p p .   5 8 2 4 ~ 5 8 3 1   I SS N:  2 088 - 8708 DOI : 1 0 . 1 1 5 9 1 / i j ec e . v 1 0 i 6 . pp 5 8 2 4 - 5 8 3 1          5824       J o ur na l ho m ep a g e h ttp : //ij ec e. ia esco r e. co m/in d ex . p h p /I JE C E   Q - l ea rni ng   v ertic a ha ndo v er s che m e   in  tw o - t ier LTE - A   n etw o rk s       A mm a B a t hich 1 M o hd   Asr M a ns o r 2 Sa if ul I zw a n Sul im a n 3 Sin a G ha s s a n Abi d Ali 4   1, 2, 3 F a c u l ty   o f   El e c tri c a En g in e e ri n g ,   Un iv e rsiti   T e k n o lo g M A RA ,   M a la y sia   4 F a c u lt y   o f   Co m p u ter T e c h n o lo g i e s E n g in e e rin g ,   Ira q   U n iv e rsity   C o ll e g e ,   Ira q       Art icle  I nfo     AB ST RAC T     A r ticle  his to r y:   R ec eiv ed   A p r   1 ,   2 0 20   R ev i s ed   A p r   11 ,   2 0 2 0   A cc ep ted   Ma y   1 ,   2 0 2 0       G lo b a m o b il e   c o m m u n ica ti o n   n e c e ss it a tes   i m p ro v e d   c a p a c it y   a n d   p r o p e r   q u a li ty   a ss u ra n c e   f o se r v ice s.  T o   a c h iev e   th e se   re q u ire m e n ts,  s m a ll   c e ll s   h a v e   b e e n   d e p lo y e d   in ten siv e l y   b y   lo n g   ter m   e v o lu ti o n   ( LTE )   n e tw o rk s   o p e ra to rs  b e sid e   c o n v e n ti o n a b a se   sta ti o n   stru c tu re   to   p ro v id e   c u sto m e rs   w it h   b e tt e se rv ice   a n d   c a p a c it y   c o v e ra g e .   A c c o m p li sh m e n o f   se a m les s   h a n d o v e b e tw e e n   M a c ro c e ll   la y e (f irst  ti e r)  a n d   F e m to c e ll   la y e (se c o n d   ti e r)  is  o n e   o f   th e   k e y   c h a l len g e s   to   a tt a in   th e   Qo S   re q u irem e n ts.  Ha n d o v e re late d   in f o rm a ti o n   g a th e rin g   b e c o m e v e r y   h a rd   in   h ig h   d e n se   f e m to c e ll   n e tw o rk s,  e ff e c ti v e   h a n d o v e d e c isio n   tec h n iq u e a re   i m p o rtan to   m in i m ize   u n n e c e ss a r y   h a n d o v e rs  o c c u rre d   a n d   a v o id   P in g - P o n g   e ff e c t.   In   th is  w o rk ,   w e   p ro p o se d   a n d   im p lem e n t ed   a n   e ff icie n h a n d o v e d e c isio n   p ro c e d u re   b a se d   o n   u se rs’  p ro f il e u sin g   Q - lea rn in g   tec h n iq u e   in   a n   LTE - A   m a c ro c e ll - f e m to c e ll   n e tw o rk s.  Ne m u lt i - c rit e rio n   h a n d o v e d e c isio n   p a ra m e ters   a re   p ro p o se d   i n   ty p ica l/ d e n se   f e m to c e ll in   m icro c e ll e n v iro n m e n to   e stim a t e   th e   targ e c e ll   f o h a n d o v e r.   T h e   p ro p o se d   h a n d o v e a lg o rit h m a r e   v a li d a ted   u sin g   th e   L T E - S im   si m u lato u n d e a n   u rb a n   e n v iro n m e n t.   T h e   sim u la ti o n   re su lt s sh o w e d   n o tew o rth y   re d u c ti o n   in   t h e   a v e ra g e   n u m b e o f   h a n d o v e rs .   K ey w o r d s :   L T E -   Q - l ea r n in g   T w o - t ier   n et w o r k s     Ver tical  h a n d o v er   Co p y rig h ©   2 0 2 0   In stit u te o A d v a n c e d   E n g i n e e rin g   a n d   S c ien c e   Al rig h ts re se rv e d .   C o r r e s p o nd ing   A uth o r :   Am m ar   B ath ic h   Facu lt y   o f   E lectr ical  E n g in ee r in g ,   Un i v er s iti  T ek n o lo g i M A R A ,   4 0 4 5 0   Sh ah   A la m ,   Sela n g o r ,   Ma la y s ia.   E m ail:  a m m ar b at2 0 0 3 @ g m ail . co m       1.   I NT RO D UCT I O N     Dep en d en c y   o n   u s i n g   th h an d o v er   p r o ce d u r in   lo n g   ter m   ev o lu tio n   ad v a n ce d   ( L T E - A )   n et w o r k s   f o r   th e   User   E q u ip m e n UE   m o b il it y   r es u lts   in   t h r ed u cti o n   in   w ir eles s   n et w o r k   co m p l ex it y   [ 1 ] .   I n   s p ite   o f   th is   ad v a n ta g e,   th h a n d o v er   s till   ex p er ie n ce s   m u lti f u n ctio n .   Fo r   ex a m p le,   th h a n d o v er   d ec is io n   is   af f ec ted   b y   ca r r ier   in ter f er en ce s   a n d   i n f lex ib il it y   [ 2 - 4 ] .   T h is   k ee p s   u s   w it h   t h Qo r eq u ir e m en t s   i n   h i g h   d ela y   an d   lo s s   d u r i n g   h an d o v er   a m o n g   c ells   [ 5 ] .   T h h a n d o v er   p r o ce d u r w ill   b ec o m m o r cr itical   w h e n   t h UE   s tar ts   m o v i n g   f r o m   t h s er v in g   s tat i o n   to   th tar g et  s tatio n   [ 6 ] .   Fu r th er m o r e,   th s m o o th   h a n d o v er   tech n iq u n ee d s   to   b p er io d ic  an d   f ast,  an d   th d at tr an s f er   s h o u ld   n o b lo s an d   d ela y ed .   E v en   m o r e,   th in cr ea s i n g   d em a n d s   f o r   u s in g   w ir eles s   b r o ad b an d   h as  led   to   th m o b ile  n et w o r k   o p er ato r s   d e p lo y i n g   m o r w ir eles s   ce lls   o f   v ar io u s   t y p es  ( m ac r o ce ll  ( eNB )   an d   f e m to ce ll  ( HeN B ) )   to   f u l f il  t h d ata  tr af f ic  r ate  [ 7 ] .   T h u s ,   h a n d o v er   b et w ee n   th t w o - tier   n et w o r k s   w i ll  ca u s a n   u n n ec e s s ar y   h an d o v er   ef f ec t,   h a n d o v er   f ai lu r an d   d r o p   in   th p er f o r m a n ce   o f   t h w ir ele s s   n e t w o r k .   T h Fig u r 1   s h o w s   e NB   an d   HeN B s   ce lls   i n   E - UT R A L T E - ar ch itect u r e.   T h s tan d ar d   h an d o v er   d ec is io n   in   L T E - A   is   b ased   o n   th r ec eiv ed   s i g n al  s tr en g t h   ( R SS )   an d   r ec eiv ed   s i g n al  q u alit y   ( R SQ)   p ar am eter s .   T h u s ,   t h d ep lo y m en o f   d en s HeN B s   i n s id t h eNB   ce ll  w o u ld   in cr ea s th i n ter f er e n ce .   T h is   in ter f er e n ce   r ed u ce s   th R S b y   d ec r ea s i n g   th R SS   r ati o   in   co m p ar is o n   to   th R ec ei v ed   Sig n al  Stre n g t h   I n d icato r   R SS I .   A s   r es u lt,  d eg r ad a tio n   in   h a n d o v er   p er f o r m an ce   is   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J   E lec  &   C o m p   E n g     I SS N:  2 0 8 8 - 8708       Q - lea r n in g   ve r tica l h a n d o ve r   s ch eme   in   tw o - tier   LT E - A   n etw o r ks  ( A mma r   B a th ich )   5825   o b s er v ed   [ 8 ] .   Mo r e o v er ,   th v ar iatio n   i n   tr a n s m it tin g   p o wer   b et w ee n   th t w o   t y p e s   o f   w ir ele s s   n et w o r k s   ( eNB   an d   HeN B )   is   an o th er   is s u e.   W h e n   th He NB   lo ca tio n   is   n ea r   t h eNB   to w er ,   th R S S o f   th He NB   w il l   al w a y s   b les s   th a n   t h eNB   [ 9 - 1 2 ] .       Ma n y   r esear ch e s   h av e   w o r k e d   o n   en h a n cin g   t h h a n d o v er   p r o ce d u r in   t h w ir eles s   n e t w o r k s   i n   L T E - A .   T h is   h as   b ee n   ac h ie v ed   b y   r ed u ci n g   p ac k e lo s s   an d   p ac k et  d ela y   a n d   s i m u lta n eo u s l y   in cr ea s in g   n et w o r k   t h r o u g h p u t.  L T E - A   p r o m i s es  i m p r o v e m en i n   h an d o v er   p er f o r m a n ce   an d   g u ar a n t ee   o f   s atis f ac to r y   Qo f o r   r ea ti m ap p licatio n s .   Ho w ev er ,   t h er ar s ti ll  m a n y   co n ce r n s   r eg ar d i n g   th e   ca p ab ilit y   o f   ad o p tin g   th ese   s c h e m e s   i n   r ea l   en v ir o n m en ts .   T h is   r ea e n v ir o n m e n t   d ep lo y m e n i s s u ca n   b s o l v ed   b y   m i n i m izi n g   th ex tr o v er h ea d   o f   co r r esp o n d in g   m ec h a n is m s   a n d   th u s   m in i m ize  ca lc u latio n   t i m e.   T h d r aw b ac k s   th at  m u s b ad d r ess ed   in   L T E - A   h an d o v er   t ec h n iq u co u ld   b s u m m ar iz ed   in   th r ee   p o in ts Firstl y ,   c u r r en t   s elec ti o n   o f   h a n d o v er   d ec is io n   p ar a m eter s   is   b ased   o n   R S a n d   R SQ   p ar a m eter s ,   w h ic h   ar i n ap p r o p r iate  f o r   h ig h - d e n s it y   HeN B   d ep lo y m e n in   L T E - A   n et w o r k s .   Seco n d l y ,   lo n g   s ea r ch i n g   ti m e/ f r eq u e n h a n d o v er s   d u e   to   p r esen ce   o f   m u lt ip le  tar g et  ce lls   w h ic h   ca u s d eg r ad atio n   o f   h a n d o v er   p er f o r m a n ce .   T h ir d l y ,   in e f f ici en i n   th e   s ta n d ar d   h a n d o v er   s ch e m i n   th e   p r esen ce   o f   He NB   ce lls   y ield s   to   u n n ec es s ar y   h an d o v er s ,   h a n d o v er   f ail u r an d   d r o p p in g   th n et w o r k   p er f o r m an ce .       Var io u s   w o r k s   i n   t h h a n d o v er   d ec is io n   w er p r o p o s ed   in   [ 1 3 - 1 6 ]   t o   f in d   o u th tar g et  s tatio n .   I n   [ 1 5 1 6 ] ,   th m o b ilit y   f o r ec ast o f   u s er   eq u ip m e n t i s   b ase d   o n   k ee p   tr ac k i n g   o f   its   p r ev i o u s   t h r ee   lo ca tio n s .   Nev er th e less ,   t h r esear c h er s   d id   n o ex p lain   th eir   m et h o d o lo g ies  f o r   ch o o s in g   t h lo ca tio n s   o f   UE   as  w e ll  as   th d is ta n ce s   a m o n g   th e m ,   t h e y   d id   n o tak i n to   co n s id er atio n   m ac r o ce ll  lo ad .   Fu r t h er m o r e,   i n   [ 1 3 1 4 ] ,   th tar g et  s tatio n   w a s   s elec ted   b ased   o n   th p r o b a b ilit y   o f   th UE   m o v e m en ac ti v it y   i n   s y s te m a tic  d ir ec tio n s   w it h   f i x ed   s p ee d ,   n e v er th ele s s ,   th i s   s u g g e s ted   m e th o d   ca n n o b r ea lized   in   r ea co n d it io n s .   I n   t h i s   w o r k ,   n o v el   h a n d o v er   d ec is io n   s tr u ctu r e   is   p r o p o s ed   f o r   c h o o s in g   t h tar g et  s tatio n   b ased   o n   UE   m o b ilit y   h is to r y   b y   ap p l y i n g   Q - lear n i n g   b as ed   tech n iq u t h at  tak e s   h a n d o v er   d ec is io n   ac co r d in g   to   t h c u r r en a n d   p ast   h is to r y   o f   t h e n v ir o n m en t.   W co m p ar ed   o u r   h a n d o v er   p r o p o s ed   alg o r ith m   w it h   S u m a n   w o r k   [ 1 7 ]   in   ter m s   o f   av er a g n u m b er   o f   h an d o v er s .   L T E - Si m   s i m u lato r   h as  b ee n   d ev elo p ed   to   ev alu a te  t h s y s te m   p er f o r m a n ce .   T h r e m ai n d er   o f   t h e   p ap er   is   s tr u ct u r ed   as  f o llo w s Sect io n   2   s h o w s   a n d   d is c u s s es   th Q - lear n in g   e n v ir o n m e n u s ed .   T h p r o p o s ed   m o d el  h a s   b ee n   d is cu s s ed   i n   s ec tio n   3 .   S ec tio n   4   co n d en s e s   th p er f o r m a n ce   ev al u atio n   o f   th p r o p o s ed   w o r k .   Fi n all y ,   s e ctio n   5   s u m m ar ies t h p ap er .           Fig u r 1 .   HeN B s   in   E - UT R AN  ar ch itect u r e       2.   Q - L E ARN I N G   AL G O R I T H M   Q - L ea r n i n g   is   t y p o f   m ac h i n lear n i n g   tec h n iq u w h er an   ag e n atte m p t s   to   f in d   an   id ea s tr ate g y   f r o m   i ts   h i s to r y   o f   m o v e m en t   in s id d y n a m ic  f r a m e w o r k   [ 1 8 ] .   I n   Q - lear n in g   tec h n iq u e,   an   a g en s t u d ies   id ea ac tiv itie s /actio n s   v ia  ex p er i m en tatio n   co m m u n icatio n   w it h   it s   s u r r o u n d i n g .   On   ea c h   p r o g r ess ,   th a g en t   p ick s   a n   ac tiv i t y   t h at  m o d if i es  t h co n d itio n   o f   t h f r a m e w o r k   v ia   p r o g r es s   s tag e,   at  th a p o in t   it  g et s     r e w ar d   s h o w i n g   h o w   p o s iti v o r   n e g ati v t h ac ti v it y   w as.   T h ag e n o b j ec tiv i s   to   s tr e n g t h e n   t h i s   r e w ar d   b y   ca lcu lati n g   th e   id ea ap p r o ac h   an d   p ic k in g   th e   b est  ac tiv it y   f o r   ea ch   co n d itio n   o f   t h f r a m e w o r k .     T h o b j ec tiv o f   Q - L ea r n i n g   is   to   g ai n   p r o f ic ien c y   w i th   an   ap p r o ac h   th at   ad v is e s   an   ag en w h ic h   ac tiv it y /actio n s   to   m a k u n d er   w h ic h   co n d itio n s .   Defin itio n I n   Q - lear n i n g   p r o ce d u r e,   an   ag e n at te m p t s   to   d is co v er   th s tr ateg y   t h at  m ax i m ize s     th Q - v al u f u n ctio n   w h ic h   o f f er s   t h ex p ec ted   u ti lit y   o f   ch o o s in g   an   ac tio n   a   in   an   e x is t in g   s tate  s .     Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 8 - 8708   I n t J   E lec  &   C o m p   E n g ,   Vo l.  10 ,   No .   6 Dec em b er   2 0 2 0     5 8 2 4   -   5 8 3 1   5826   F o r mu la tio n T h o b j ec tiv o f   Q - lear n in g   p r o ce s s   is   t o   d is co v er   th b est  s tr ateg y   Π opt   th at   m ax i m izes  t h cu m u lati v e x p ec ted   r e w ar d   ( o v er   m an y   tr ials )   in   t h lear n i n g   p r o ce s s   (   is   th n u m b er     o f   tr ials ) :     (   [  ( ) = 0 ] )     ( 1 )     γ   w h ic h   is   ( 0     γ     1 )   r e p r esen ts   d is co u n f ac to r .   A lear n in g   tr ial  ,   w it h   an   ac t io n     tak en   in   s tate    th r ec ei v ed   r e w ar d   i s   r ep r esen ted   a s   ( ) .   Fo r   γ   0   u p co m in g   r e w ar d s   h a v n o   e f f ec o n     th s tate  v alu e,   w h er ea s   f o r   γ   clo s to   1 ,   u p co m i n g   ac tio n s   ar co n s id er ed   as  i m p o r ta n as  th e   i m m ed iate   r e w ar d s .   A   Q - f u n c tio n   i s   d ef i n ed   f o r   g iv en   p o lic y   Π  as:     ( , ) = ( , ) + ,   ( ) ( , )   ( 2 )     w h er e:   ( , )   is   th ex p ec ted   r ew ar d   o f   th e   cu r r en p ai r   o f   s tate - ac tio n ,   w h ic h   r ep r esen ts   an   ac tio n   a   ta k en   i n   s tat e   en v ir o n m e n s   ,   ( )   is   th p r o b ab ilit y   o f   tr an s itio n   f r o m   t h cu r r en s tate  s   to   th n ex t state  υ   as a n   o u tco m o f   ac t io n   a .   ( , )   is   th n e w   s tate - ac t io n   p air s   Q - f u n ctio n   v al u e.   T o   en s u r t h at  t h er i s   at  lea s o n e   o p ti m al   s tr ate g y   Π *   i n   s i n g le  a g en e n v ir o n m e n t,  w e   ap p l y   B ell m an s   o p ti m alit y   [ 1 9 ] .   Q - f u n ctio n   m a x i m u m   v al u w h ic h   in d icate s   th o p ti m al   ac tio n     f o r   ev er y   p o s s ib le  n ex t p air   ( , )   is   d en o ted   as  ( , )   .     ( , ) = ( , ) + ,   ( )      ( , )   ( 3 )     I n   an   iter ativ p r o ce d u r e,   Q - lear n in g   d eter m i n es  th o p tim al   ( , ) .   A ea ch   s tag d u r in g   th lear n in g   p r o ce d u r e,   th Q - v al u f u n ctio n   s h o u ld   b u p d ated   u s i n g   t h ( 4 ) :     ( , ) = ( 1 α ) 1 ( , ) + α ( ( , ) +      1 ( , ) )   ( 4 )     w h er α   r ep r esen t t h lear n in g   r ate.       3.   RE S E ARCH   M E T H O D   A ll  p ar a m eter s   r elate d   to   h an d o v er   d ec is io n   p h ase  b ased   o n   Q - lear n i n g   tech n iq u ar d ef in ed     as  f o llo w s :   a.   E n v ir o n m e n t : i n v o lv e s   a ll c o m p o n en ts   b esid es t h ag e n t     I n   o u r   f r a m e w o r k ,   it   co n tai n s   t h m ac r o ce ll  eNB   an d   all  f e m to ce lls   HeN B s   i n   t h UE eNB s   n eig h b o r in g   ce ll  lis ( N C L ) .   W co n s id er   th at  th e n v ir o n m en is   d is cr ete - ti m e,   f in i te - s tate   an d   s to ch as tic  d y n a m ic  s y s te m .   b.   Ag e n t : is t h d ec is io n   m a k er     I n   o u r   ca s e,   th a g e n i n v o lv e s   th e   m ac r o ce ll  m o b ile  u s er   U E eNB   ex ec u ti n g   h a n d o v er   p r o ce s s   f r o m   its   s er v in g   ce ll to   an o t h er   n ei g h b o r in g   ce ll t h at  p r o v id b etter   p er f o r m a n ce .   c.   State:   is   t h en v ir o n m e n t s   c u r r en t state   I n   o u r   f r a m e w o r k ,   i i n v o l v es   th c u r r en t   UE eNB   se r v i n g   ce ll ,   w h ic h   i s   th e   m ac r o ce ll   eNB .   T h s tat e   s et  S   is   d e f in ed   a s   =   { = 1 , 2 , ,  + 1 }   w h er    is   th n u m b er   o f   n eig h b o r in g   f e m t o ce lls .   ( = 1 r ef er s   to   th in it ial  s tate  w h er th m o b ile  u s er   UE eNB   is   co n n ec ted   to   th m ac r o c ell  eNB .   T o   s el ec t     th tar g et  ce l i n   a   s h o r ti m w h av e   to   s h o r t - lis t   th e   n eig h b o r in g   f e m to ce ll s ,   to   o p t i m ize   th e   ca n d id ate  n eig h b o r in g   ce ll li s w p r o p o s Dis ta n ce   a n d   m o v i n g   Dir ec tio n   Q - lear n i n g   b ased   tech n iq u ( D 2 tech n iq u e ) T h UE   d ir ec tio n   ass i s ts   t h e   h an d o v er   d ec is io n   t h r o u g h   av o id in g   s i g n ali n g   m ea s u r e m en co n tr o ls   w i t h   n eig h b o r   ce lls   t h at  ar n o ah ea d   o f   th UE   tr aj ec to r y   as  w ell   as  i n   s elec tin g   t h n ei g h b o r   ce ll  th at  f i ts   a s     th tar g e ce ll.  T h d is tan ce   b et w ee n   UE   a n d   tar g et  ce l is   i m p o r ta n t,  w h ich   s h o u ld   n o e x ce ed   th ce ll  r ad iu s ,   in   o r d er   th at  ce lls   w h ich   ar f a r   a w a y   f r o m   t h m o b ile  u s er   a r n o t in v o l v ed   in   t h ca n d id at n eig h b o r in g   lis t.   Neig h b o r   ce lls   lo ca tio n   an d   ea ch   u s er   eq u ip m e n UE   p o s itio n   ar d eter m i n ed   u s i n g   GP [ 20 ] .   | ° |   is   th r an g th a all  n o m i n e ce lls   s h o u ld   b s itu ated   ah ea d   o f   th u s er   eq u ip m en UE   d ir ec tio n ,     an d   ea ch   ce ll  t h at  i s   lo ca ted   in s id t h is   zo n w ill  h a v t h e   p r io r ity   to   b c o m b in ed   i n to   th ca n d id ate  ce ll   lis [ 20 ] .   A s s u m th at  UE   is   m o v i n g   f r o m   lo ca tio n   P 1   to   lo ca tio n   P 2   as  s h o w n   i n   Fi g u r e   2 ,   P 3   is   th n eig h b o r   ce ll  lo ca tio n .   E v er y   n ei g h b o r   ce ll  o f   th u s er   eq u ip m e n is   test ed   v ia  ca lc u lati n g   th e   an g le    o f   2 , 1 , 3     as f o llo w i n g :   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J   E lec  &   C o m p   E n g     I SS N:  2 0 8 8 - 8708       Q - lea r n in g   ve r tica l h a n d o ve r   s ch eme   in   tw o - tier   LT E - A   n etw o r ks  ( A mma r   B a th ich )   5827   2 , 1 ,   3 = c os 1 ( 3 1   ) . ( 2 1   ) | 3 1   | | 2 1   |     ( 5 )     w h er 1   , 2     an d   3   ar 1   ( 1   , 1   ) , 2   ( 2   , 2   )   an d   3   ( 3 , 3   )   r esp ec tiv e l y   T h d is tan ce   b et w ee n   t h u s er   eq u ip m e n a n d   t h n ei g h b o r   ce ll  is   ap p lied ,   w h ic h   s h o u ld   n o ex ce ed   th n ei g h b o r   ce ll  r ad iu s ,   in   o r d er   th at  ce lls   w h ic h   ar f ar   aw a y   f r o m   t h u s er   eq u ip m e n t   ar n o in v o lv ed   i n   th ca n d id ate  ce ll  lis [ 2 1 - 2 3 ] .   T h d is tan ce   b et w ee n   th u s er   eq u ip m e n at  p o s itio n     2   an d   th ce ll  at  lo ca tio n   3   is   ca lc u lated   b y   ( 6 ) :     3 , 2   = ( 3 2 ) 2 + ( 3   2 ) 2         ( 6 )     Fo r   UE   m o v es  f r o m   p o s itio n   P 2     to w ar d s   n ei g h b o r   ce ll  lo ca ted   at  P 3   ,   w co n s id er   t h n eig h b o u r   ce ll   to   b e   ca n d id ate  ce ll   if ( θ | θ th ° | )   an d ( d p 3 , p 2       n e ighb or   c e l l   r a dius   d th   ) .   T h n ex s tag co n tai n s   s elec ti n g   t h tar g et  ce ll  f r o m   th n o m i n ee   ca n d id ate  lis t   b y   u tili zi n g   th W eig h A d j u s t m en alg o r it h m   [ 20 ] .   I n   o u r   w o r k ,   t h s h o r test   d is tan ce   to   th u s er   eq u ip m e n t’ s   cu r r en t   p o s itio n   a n d   t h n ar r o w es θ   f r o m     th ca n d id ate  ce ll  lis w o u ld   b th m o s ap p r o p r iate  tar g et  ce ll.  T h W eig h A d j u s t m e n a lg o r ith m   is   s h o w n   in   A l g o r ith m   1 .     A l g o r ith m   1 .   W eig h a d j u s t m e n t   1: Input   2 , 1 , 3   and  3 , 2   2: Output:     3:   = 1   2 , 1 , 3   4:   = 1   3 , 2 2   5:   =    +                                 is   u s ed   f o r   ch o o s i n g   th tar g e ce ll.  Fu r t h er m o r e,   n o r m aliza tio n   is   al s o   i m p le m e n ted   f o r   b o th   d is tan ce   a n d   a n g le,   in   o r d er   th at  b o th   w ill   b ac co r d in g   to   s t an d ar d   in te g r atio n .   Fo r   n o r m a lizatio n   w e   u s   as   th an g le  v al u e.      in v o l v es  t h r esu lt  o f   a n g le  n o r m aliza tio n   as  all  an g les  o f   th ca n d id ate  ce lls   ar les s   th an   o r   eq u al  | ° | ,   th i s   an g le  ( )   is   u s ed   f o r   n o r m a lizatio n   p r o ce d u r e.      in v o lv e s   t h r esu lt   o f   d is tan ce   n o r m aliza tio n   w h ic h   is   n o r m alize d   v ia  ce ll  tr an s m is s io n   r an g (  )   to   en h an ce   th p r io r ity   o f     th an g le  v alu e,   a s   th d is tan c o f   all  n o m in ee   ce ll l is t i s   les s   o r   eq u al  to     T h ese  m et h o d o lo g ies  f o r   ch o o s in g   th ca n d id ate  ce ll li s t a n d   s ele ctin g   th tar g et  ce ll a r illu s tr a ted   in   Alg o r it h m   2 .     A l g o r ith m   2 .   C h o o s in g   t h ca n d id ate  ce ll lis t a n d   s elec ti n g   t h tar g et  ce ll   Input :     (   ,   ) ,   (   ,   )   and    ( ,   )   Output      N is an empty array which will include the candidate cell list   1:     for  each neighbor cell   do   2:                            , ,   =  (   ) . (   ) |   | |   |   3:             if  ( , ,   |  ° | ) then   4:                  add cell to N   5:               end if  // line 3   6:      end for  // line 1   7:     if  N   is not empty   then   8:        for each cell    do   9:          ,   = ( ) + (   )   // cell position   is  ( )   10:            =    +   ( +   )   11:       end for //  for line 8   12:           =                    13:        rest       of all cells by 0   14:     else // line 7   15:                =   16:     end if //line 7   17:  return         d.   A ctio n :   is   t h a g en t d ec is io n   r esu lt   I n   o u r   f r a m e w o r k ,   it  r ef er s   to   th h a n d o v er   d ec is io n   r esu lts th UE eNB   m a y   k ee p   its     co n n ec tio n   w it h   t h s er v i n g   m ac r o ce ll  eNB   ( ac tio n 1 )   o r   s elec o n o f   t h f e m to ce lls   H eNB s   f r o m   its   N C L   ( ac tio n   2 ,   …,   ac tio n   N N C L + 1 ) .   I n   o u r   p r o p o s al  alg o r ith m ,   w e   u s t h ϵ - Gr ee d y   tec h n iq u w ith   an   ad ap tiv ϵ   s ch e m b y   p r ese n ti n g   R S R Q - d ep en d en e x p lo r atio n   i n s tead   o f   f i x ed   o r   h an d - tu n in g   ϵ   p ar a m eter     ( R SR Q   Q - lear n i n g   b ased   tec h n iq u ( Q2   tech n iq u e ) )   [ 24,   25 ] .   Un lik e   t h tr ad itio n al   ϵ - Gr ee d y   m et h o d   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 8 - 8708   I n t J   E lec  &   C o m p   E n g ,   Vo l.  10 ,   No .   6 Dec em b er   2 0 2 0     5 8 2 4   -   5 8 3 1   5828   w h ic h   u s f i x ed   ϵ   p ar a m ete r ,   th r eq u ir ed   ac tio n   o f   Q2   t ec h n iq u i s   to   m ak e   th e   ag e n m o r ex p lo r ati v e     in   cir c u m s ta n ce s   w h e n   t h in f o r m atio n   ab o u t h e n v ir o n m e n i s   u n c lear .   Q2   tech n iq u a lg o r it h m   i s     s h o w n   in   A l g o r it h m   3 .     A l g o r ith m   3 .     Q 2   tech n iq u e   Δϵ: the amount of  decrease or  increase of ϵ, 0 < ϵ < 1   Stage 1: Set Δϵ to 0.01 and ϵ to 0.1   Stage 2: At each trail, we compare  RSRQ t - 1   and  RSRQ t .   - if  RSRQ t - 1    RSRQ , then  ϵ =  ϵ  -    Δϵ   - else  ϵ =  ϵ +  Δϵ     e.   R e w ar d :   I in d icate s   t h q u alit y   o r   g o o d n ess   o f   t h ac tio n   in   t h s tate   s ,   co n s id er ed   as  a   u tili t y   f u n ctio n   an d   d en o ted   b y   R     I n   o u r   f r a m e w o r k ,   th r e w ar d   is   th ea r n ed   ca p ac it y   a f te r   co n n ec ti n g   to   t h tar g et  ce ll  ( eNB   o r   HeNB ) .   Ou r   o b j ec tiv is   to   m ai n tai n   an d   m a x i m ize  t h c ap ac it y   o f   UE eNB   co n n ec ti n g   to   n e w   ce l af ter   h a n d o v er   p r o ce s s   ( C ap ac it y   Q - lear n i n g   b ased   tec h n i q u ( C Q   tech n iq u e) ) .   T h u s ,   if   UE eNB  s elec ts   th m ac r o ce ll  eNB   a s   s er v in g   ce ll,  t h u tili t y   f u n ct io n   R   wh ich   is   p er ce i v ed   r e w ar d   ( ca p ac it y )   o f   t h tar g et   ce ll  is   e x p r ess ed   a s   1 .   E ls i f   UE eNB   s elec t s   to   co n n ec to   o n o f   t h f e m to ce lls   He N B s   in   its   N C L ,   t h u tili t y   f u n ctio n   is   ex p r es s ed   as 2   [ 2 6 2 7 ] .     L et     b th tr an s m it ted   p o w er   b y   t h m ac r o ce ll  eNB   an d    ,   th e   g ain   o f   t h ch a n n e b et w ee n   th m ac r o ce ll  eNB   an d   it s   s er v in g   k th   m ac r o ce ll  u s er   UE eNB .   Si m i lar l y ,   h i, j   r ep r esen ts   th g ain   o f   t h c h an n e l   b et w ee n   t h i th    f e m to ce ll  He NB   an d   th j th   f e m to ce ll  u s er   UE HeNB .   L a s tl y ,   P i   r ep r esen t s   t h tr an s m it  p o w er   o f   th i th   f e m to ce ll  HeN B .   A n   Ad d itiv W h ite  Gau s s ia n   No is e   ( A W GN)   is   co n s id er ed   at  m a cr o ce ll  u s er   UE eNB   w it h   2   p o w er .   Ma cr o ce ll u s er   UE eNB   k   ca p ac ity   f r o m   it s   s er v in g   m ac r o ce ll e NB   is   ca lc u lated   by   ( 7 ) :     =     l og 2 ( 1 + |  ,   | 2  2 + )     ( 7 )     w h er   is   t h av ailab le  b an d w id t h ,   =   | ,   | 2  = 1     is   th in ter f er en ce   f r o m   n ei g h b o r in g   f e m to ce ll s   HeN B s ,   an d      is   t h n u m b er   o f   n ei g h b o r in g   f e m to ce ll s   He NB s .   W co n s id er   th at   th e   b an d w id th   i s   eq u all y   allo ca ted   to   all  u s er s   ( UE eNB   an d   UE HeNB ) .   T h ca p a cit y   at  f e m to ce ll  u s er   ( UE HeNB )    j   f r o m   f e m to ce ll   ( HeN B )   is   g iv e n   b y   ( 8 )     =     l og 2 ( 1 + | ,   | 2 2 +  +    )   ( 8 )     w h er  =   |  ,   | 2    is   th i n ter f er en ce   f r o m   m ac r o ce ll  eNB ,    ,   is   th g ain   o f   t h c h an n el   b et w ee n   m ac r o ce ll  eNB   an d   u s er   j.  A l s o ,    =   | ,   | 2   is   th in ter f er e n ce   f r o m   o th er   f e m to ce lls   HeN B s   an d   ,   is   th g ai n   o f   t h ch an n el  b et w ee n   HeN B ,   tr an s m i tti n g   w i th   p o w er     ,   an d   u s er   j .           Fig u r 2 .   User   eq u ip m e n t d is t an ce   an d   m o v i n g   d ir ec tio n   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J   E lec  &   C o m p   E n g     I SS N:  2 0 8 8 - 8708       Q - lea r n in g   ve r tica l h a n d o ve r   s ch eme   in   tw o - tier   LT E - A   n etw o r ks  ( A mma r   B a th ich )   5829   4.   RE SU L T A ND  D I SCU SS I O N   T h L T E - Si m   s i m u lato r   [ 28 ]   is   u s ed   to   ev alu ate  t h e   p er f o r m an ce   o f   th p r o p o s ed   alg o r ith m   d ep en d in g   o n   t h n u m b er   o f   th h a n d o v er s   w i th   co m p ar to   th e   alg o r it h m   i n tr o d u ce d   b y   S u m a n   [ 1 7 ] .     T h to p o lo g y   co n s i s ts   o f   t w o   m ac r o ce lls   ( eNB )   w it h   r ad i u s   o f   1 k m   ea c h   a n d   v ar io u s   f e m to ce lls   ( HeN B s )   d en s it y ,   t h f e m to ce ll  n u m b er   is   co n f ig u r ed   as  3 0 ,   5 0 ,   7 0   an d   9 0   in   ea ch   m ac r o ce ll,  a n d   all  f e m to ce lls   ar co v er ed   b y   o p en   ac ce s s   t y p to   allo w   t h u s er   eq u ip m en U E   to   h an d o v er   to   ea ch   f em to ce ll.  E ac h   f e m to ce l l   r ad iu s   co v er s   3 0   m eter s .   T h UE   n u m b er   i s   co n f i g u r ed   as  1 5 ,   3 0 ,   4 5   an d   6 0 .   T h UE s   ar d is tr ib u ted   r an d o m l y   in   ea c h   m ac r o ce ll  co v er ag ar ea   an d   ea c h   UE   s tar ts   m o v i n g   f r o m   th ce n ter   o f   its   s er v i n g   eNB   b ased   o n   r an d o m   m o b ilit y .     T h h an d o v er   d ec is io n   i n   th e   p r o p o s ed   to p o lo g y   w ill  co v er   th r ee   v er tical  h an d o v er   t y p es:   Han d - in ,   Han d - b et w ee n   an d   Han d - o u h an d o v er s   b ased   o n   th e   av ailab ilit y   o f   ea c h   v er tic al  h an d o v er   t y p e.     E ac h   f e m to ce ll  w ill  b r an d o m l y   lo ca ted   b et w ee n   5 0   m ete r s   to   1 0 0 0   m eter s   f r o m   th m ac r o ce ll  lo ca tio n   in   th r ee   d ep en d en s ce n ar io s cl o s e,   m id d le  an d   at   th e   ed g e .   C o n ce r n in g   f e m to ce lls   d i s t r ib u tio n   s ce n ar io s :     clo s e,   m id d le  a n d   at  t h ed g e,   f e m to ce lls   ar d is tr ib u ted   in   f o u r   d i f f er en g r o u p s :   3 0 ,   5 0 ,   7 0   an d   9 0   in   ea c h   s ce n ar io .   Fi g u r 3   p r esen t s   th av er ag n u m b er   o f   h a n d o v e r s   f o r   th p r o p o s ed   alg o r ith m   in   ea ch   s ce n ar io   f o r   30  UE s .   A s   s h o w n   i n   Fig u r e   3 ,   th r elatio n s h ip   b et w ee n   t h av er ag n u m b er   o f   h a n d o v er s   an d   f e m to ce ll s   d en s it y   is   p o s iti v r elatio n s h ip ,   w h ich   m ea n s   th a th av er a g n u m b er   o f   h an d o v er s   in cr ea s w h e n   f e m to ce lls   d en s it y   in cr ea s e.   W h ile  it  h a s   th lo w est  a v er ag w h e n   t h f e m to ce ll s   d is tr ib u tio n   is   at  th ed g e.   T h is   is   b ec au s t h m o b ile  u s er s   s tar to   m o v f r o m   t h lo ca tio n   o f   m ac r o ce ll  to w er .   I n   ad d iti o n ,   th e   av er a g o f   h an d o v er s   n u m b er   i n cr ea s es a s   th n u m b er   o f   f e m to ce ll s   in   all  d is t r ib u tio n   s ce n ar io s   i n cr e ases .     Fu r t h er m o r e,   th r es u lts   o f   t h e   av er ag n u m b er   o f   h an d o v er s   f o r   th p r o p o s ed   alg o r ith m   an d   Su m a n   h an d o v er   alg o r it h m   w er d is c u s s ed   in   ter m s   o f   f e m to ce ll s   th at  ar d is tr ib u ted   to   g r o u p s   o f   3 0 , 5 0 , 7 0   an d   9 0   p er   ea ch   m ac r o ce ll,  an d   t w o   g r o u p s   o UE s   ( 1 5   an d   3 0 )   as  p r esen ted   i n   Fi g u r 4 .   B a s ed   o n   ea ch   r es u lt,   it  is   ev id en t h at  b y   in cr ea s in g   th f e m to ce ll s   n u m b er ,   b o th   alg o r ith m s   s h o w   a n   in cr e m en in   t h av er ag e   h an d o v er s   n u m b er ,   b ec au s m o b ile  u s er s   m a k ad d itio n al  h a n d o v er s   w it h   r esp ec to   th ei r   m o v e m e n ts   i n   ea ch   m o b ile  u s er   g r o u p .   T h r esu lts   e m p h a s ize  th a th b est  p er f o r m a n ce   w a s   ac h ie v ed   b y   o u r   alg o r it h m   in   all  d i s tr ib u tio n s   o f   f e m to ce ll s   an d   al d en s ities .   T h is   is   b ec au s o f   u til izin g   Q - lear n in g   m et h o d o lo g y   w h ic h   allo w   t h m o b il e   u s er   to   le ar n   f r o m   h i s   p r ev io u s   h is to r y ,   i n   ad d itio n   to   o th er   s u p p o r tin g   m et h o d o lo g ies  w h ic h   d o   n o allo w     th m o b ile   u s er   to   co n n ec t to   f e m to ce lls   th a t a r o n l y   clo s t o   th it,  b u t to   co n n ec t to   t h o s lo ca ted   in   f r o n t o f   o r   ap p r o x i m atel y   a h ea d   o f   c u r r en m o b ile  u s er   p o s itio n   i n   o r d er   to   av o id   th r ed u n d an t h a n d o v er .   T h u s er   eq u ip m en t   o n l y   n o m i n ates  t h f e m to ce ll  w h o s e   to w er   lo ca tio n   is   le s s   t h a n   | ± 2 5 |   an d     th d is ta n ce   b et w ee n   t h UE   an d   th ca n d id ate  f e m to ce ll  i s   less   t h a n   o r   eq u al  2 8   m eter s .   On   t h co n tr ar y ,     in   t h ca s o f   S u m a n   h a n d o v e r   d ec is io n   th h an d o v er   p r o ce d u r is   tr ig g er ed   w h e n   th R S b et w ee n   t h UE   an d   its   n ei g h b o r   f e m to ce ll s   is   h i g h er   th a n   th R SS   b et w ee n   th UE   a n d   its   s er v in g   ce ll  w it h o u a n y   co n s id er atio n   o f   h o w   lo n g   th tar g et  f e m to ce ll  w i ll se r v t h UE   an d   its   u s e f u l n es s   to   d o   h an d o v er   o r   n o t.            Fig u r 3.   C o m p ar is o n   o f   a v er a g n u m b er   o f   h an d o v er s   o f   t h e   p r o p o s ed   alg o r ith m   i n   t h r ee   s ce n ar io s   c lo s e,   m id d le  an d   at  th ed g e   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 8 - 8708   I n t J   E lec  &   C o m p   E n g ,   Vo l.  10 ,   No .   6 Dec em b er   2 0 2 0     5 8 2 4   -   5 8 3 1   5830       Fig u r e   4.   C o m p ar is o n   o f   a v er a g n u m b er   o f   h an d o v er s   f o r   b o th   alg o r it h m s       Fin all y ,   r eg ar d in g   th to tal  av er ag n u m b er   o f   h a n d o v er s   f o r   ea ch   UE   g r o u p ,   it  is   r ed u ce d   in     th p r o p o s ed   alg o r ith m   b y   ( 5 5 . 6 3 %)   co m p ar ed   to   Su m a n   h a n d o v er   alg o r ith m   f o r   all  v ar io u s   f e m to ce ll s   d en s itie s   w h e n   th n u m b er   o f   UE   is   1 5 .   Mo r eo v er ,   th p r o p o s ed   alg o r ith m   r ed u ce s   th to t al  av er ag n u m b er   o f   h a n d o v er s   b y   ( 4 1 . 7 4 %)  co m p ar ed   to   S u m an   h a n d o v er   alg o r ith m   f o r   all  v ar io u s   f e m to c ells   d en s ities   w h e n   th UE s   n u m b er   is   3 0 .       5.   CO NCLU SI O N   A ND  F U T U RE   WO RK   T h s i m u latio n   r es u lt s   s h o w   t h at  t h p r o p o s ed   alg o r ith m   p er f o r m s   w ell  i n   e n h an ci n g   t h h a n d o v er   d ec is io n   i n   L T E - A   n et w o r k s .   T h s i m u lat io n   r es u lt s   e x a m i n ed   th e   p r o p o s ed   alg o r ith m   f o r   f e m to ce ll s   o f     th o p en   ac ce s s   t y p i n   o r d er   to   en h a n ce   t h tar g et   f e m to ce ll  s elec t io n   in   t h v er tical  h an d o v er   d ec is io n .     T h s elec tio n   o f   s u itab le  p ar am eter s   to   i m p r o v th h an d o v er   d ec is io n   s till   e n co m p as s es a   w id ar ea   r esear ch .   T h er ef o r e,   th r ec o m m e n d ati o n   f o r   f u r th er   r e s ea r ch   in   t h is   f ield   ca n   b as  f o llo w s F ir s t l y ,   i s   to   i n v est ig ate   d if f er e n p ar a m eter s   o f   u s er   p er f o r m an ce   i n   l ig h t   o f   h a n d o v er   an d   lo ad   b ala n cin g   in   t h wir eless   s y s te m   o v er   h o r izo n tal  a n d   v er tical   n et w o r k s .   Seco n d l y ,   to   i n v esti g ate   d if f er en t   p ar a m eter s   o f   u s er   p e r f o r m an ce   o n   b o th   f e m to ce ll   t y p e s th clo s an d   h y b r id .   Fin a ll y ,   i n   r eg ar d   to   im p le m e n tat io n ,   UE   v elo cit y   s h o u ld   b tak e n   in to   ac co u n i n   t h h an d o v er   d ec is io n   as  t h m ai n   b eh a v io r .   T h u s ,   b y   m o n ito r i n g   t h t h r ee   m a in   b eh a v io r s   at  U E   w h ic h   ar th UE   m o b ilit y ,   ac ce ler atio n ,   an d   d ec e ler atio n   as  th f r eq u e n li n ch a n g es ,   th s u i tab ilit y   o f     th p r o p o s ed   alg o r ith m   f o r   th e   UE   b eh av io r   ca n   b en s u r ed .       ACK NO WL E D G E M E NT S     T h au th o r s   w o u ld   li k to   ex p r ess   t h g r atit u d to   t h e   Min i s tr y   o f   E d u ca tio n ,   Ma la y s ia   an d   Un i v er s iti   T ek n o lo g i   M AR A ,   Sela n g o r ,   Ma la y s ia   f o r   th e   f i n an cia s u p p o r g i v e n   f o r   t h is   p r o j ec ( Ger an   B estar i P er d an a)   [ Fil No :   6 0 0 - I R MI /P E R D AN A   5 /3   B E STARI  ( 0 9 5 /2 0 1 8 ) .       RE F E R E NC E S     [1 ]   B.   M a ,   e a l. ,   M o d e li n g   a n d   A n a ly sis  f o V e rti c a Ha n d o f Ba s e d   o n   th e   De c isio n   T re e   in   a   H e tero g e n e o u s V e h icle   Ne tw o rk ,   IEE Acc e ss ,   v o l.   5 ,   p p .   8 8 1 2 - 8 8 2 4 ,   2 0 1 7 .   [2 ]   T .   Zah ir,   e a l. ,   In terf e re n c e   M a n a g e m e n in   F e m to c e ll s , ”  IEE Co mm u n ica ti o n S u rv e y &   T u to ria ls v o l.   1 5 ,     n o .   1 ,   pp .   2 9 3 - 3 1 1 ,   2 0 1 3 .   [3 ]   G .   G o d o r,   e t   a l. ,   A   S u rv e y   o f   Ha n d o v e M a n a g e m e n in   L te - Ba se d   M u lt i - T ier  F e m to c e ll   Ne tw o rk s Re q u irem e n ts,   Ch a ll e n g e s a n d   S o lu ti o n s ,   Co mp u ter   Ne two rk s v o l.   7 6 ,   pp .   1 7 - 41 2 0 1 5 .   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J   E lec  &   C o m p   E n g     I SS N:  2 0 8 8 - 8708       Q - lea r n in g   ve r tica l h a n d o ve r   s ch eme   in   tw o - tier   LT E - A   n etw o r ks  ( A mma r   B a th ich )   5831   [4 ]   S .   Bh o sa le  a n d   R.   Da ru w a la . ,   M u lt i - c rit e ria  V e rti c a Ha n d o f De c isio n   A lg o rit h m   Us in g   Hie ra rc h y   M o d e li n g   a n d   A d d it iv e   W e i g h ti n g   in   a n   I n teg ra ted   W LA N/ W iM A X /UM T S   En v iro n m e n t - A   Ca se   S tu d y ,   KS II  T ra n sa c ti o n o n   In ter n e &   In fo rm a ti o n   S y ste ms ,   v o l.   8 ,   n o .   1 ,   p p .   3 5 - 5 7 ,   2 0 1 4 .   [5 ]   N .   Ra ju le,  e a l. ,   S u rv e y   o f   v e rti c a h a n d o v e d e c isio n   a lg o rit h m s,”   In t e rn a ti o n a l   J o u rn a o f   In n o v a t i o n i n   En g i n e e rin g   a n d   T e c h n o l o g y   ( IJ I ET ) ,   v o l.   2 ,   n o .   1 ,   pp.   3 6 2 - 3 6 8 2 0 1 3 .   [6 ]   H .   K w a k e a l. ,   M o b il it y   m a n a g e m e n su rv e y   f o h o m e - e NB  b a se d   3 G P P   L T s y ste m s,”   J o u rn a o f   In fo rm a ti o n   Pro c e ss in g   S y st e ms ,   v o l.   4 ,   n o .   4 ,   p p .   1 4 5 - 152 ,   2 0 0 8 .   [7 ]   S .   Ne e ra ja,  e a l. ,   A n a l y sis  o f   Ad a p ti v e   Hy ste r e sis  Ba se d   Ho rizo n tal  Ha n d o f f   A lg o rit h m   f o G S M ,   In ter n a ti o n a l   J o u rn a o f   In n o v a t ive   Res e a rc h   in   El e c trica l,   El e c tro n ics ,   I n st ru me n ta ti o n   a n d   C o n tr o En g i n e e rin g ,   v o l.   1 ,     n o .   9 ,   p p .   4 3 3 - 4 3 7 ,   2 0 1 3 .   [8 ]   X .   Ya n ,   e a l. ,   A   su rv e y   o f   v e r ti c a h a n d o v e d e c isio n   a lg o rit h m in   f o u rth   g e n e ra ti o n   h e tero g e n e o u w irele ss   n e tw o rk s,”   Co mp u t er   Ne tw o rk s ,   v o l.   54 ,   n o .   11,   p p .   1 8 4 8 - 1 8 6 3 ,   2 0 1 0 .   [9 ]   A .   G h a rs a ll a h ,   e a l. ,   Ne t w o rk   S e lec ti o n   in   He tero g e n e o u W irele ss   S y ste m   En v iro n m e n ts,”  J o u rn a o Ne two rk s ,   v o l .   10 ,   n o .   1 2 ,   p p .   6 3 3 - 6 4 1 ,   2 0 1 5 .   [1 0 ]   S.  Cio c h in a ,   e a l. ,   A n   Op ti m ize d   Nlm A lg o rit h m   f o S y ste m   Id e n ti f ic a ti o n ,”   S i g n a Pro c e ss in g v o l.   1 1 8 ,     pp .   1 1 5 - 1 2 1 ,   2 0 1 6 .   [1 1 ]   Y.  C.   W a n g   a n d   C.   A .   Ch u a n g ,   Eff icie n En b   De p lo y m e n S trate g y   f o He tero g e n e o u Ce ll i n   4 G   L TE   S y ste m s ,   Co mp u ter   Ne tw o rk s v o l.   7 9 ,   pp .   297 - 3 1 2 ,   2 0 1 5 .   [1 2 ]   M .   H.  Ha c h e m i,   e a l. ,   P re d icti n g   th e   P ro b a b il i ty   o f   S p e c tru m   S e n sin g   w it h   L m s   P ro c e ss   i n   He tero g e n e o u L TE   Ne tw o rk s ,   Ra d io e n g i n e e rin g v o l.   2 5 ,   n o .   4 ,   pp .   8 0 8 - 82 0 ,   2 0 1 6 .   [1 3 ]   H.  G e ,   e a l. ,   A   h isto ry - b a se d   h a n d o v e p re d icti o n   f o L T s y ste m s, ”  2 0 0 9   I n t e rn a ti o n a l   S y mp o si u o n   C o mp u t er   Ne tw o rk   a n d   M u lt ime d ia   T e c h n o l ogy ,   p p .   1 - 4 ,   2 0 0 9 .   [1 4 ]   Y.  H.  W a n g ,   e a l. ,   A   h a n d o v e p re d ictio n   m e c h a n is m   b a se d   o n   L T E - A   UE  h isto ry   in f o rm a ti o n ,   2014  In t e rn a t io n a l   C o n f e re n c e   o n   C o mp u t e r,   I n f o rm a ti o n   a n d   T e lec o mm u n ica ti o n   S y st e ms   ( CIT S ) p p .   1 - 5 ,   2 0 1 4 .   [1 5 ]   X .   C h e n ,   e a l. ,   Ef f icie n a n d   p ro m p h a n d o v e in   L T E - b a se d   sy ste m b y   p re d ictin g   th e   targ e e No d e Bs,”   2 0 1 4   In t e rn a t io n a l   C o n f e re n c e   o n   Cy b e r - En a b le d   Distrib u ted   C o mp u t in g   a n d   K n o w l e d g e   Disc o v e ry ,   p p .   406 - 4 1 3 ,   2 0 1 4 .   [1 6 ]   F .   M .   Ch a n g ,   e a l . ,   A n   e ff icie n h a n d o v e m e c h a n is m   b y   a d o p ti n g   d irec ti o n   p re d icti o n   a n d   a d a p ti v e   ti m e - to - tri g g e in   L T n e tw o rk s,”   In ter n a ti o n a C o n fer e n c e   o n   Co mp u t a ti o n a l   S c ien c e   a n d   Its   Ap p li c a t io n s ,   v o l.   7 9 7 5 ,     p p .   2 7 0 - 2 8 0 ,   2 0 1 3 .   [1 7 ]   S.  De sw a a n d   A .   S in g h ro v a ,   A   V e rti c a l   Ha n d o v e A lg o rit h m   in   In teg ra ted   M a c ro c e ll   F e m to c e ll   Ne t w o rk s ,   In ter n a t io n a J o u rn a o E lec trica a n d   C o mp u ter   En g in e e rin g   ( IJ ECE ) ,   v o l.   7 ,   n o .   1 ,   p p .   2 9 9 - 3 0 8 ,   2 0 1 7 .   [1 8 ]   E.   A lp a y d in ,   I n tr o d u c ti o n   t o   m a c h in e   lea rn i n g , ”  M IT   p re ss 2 n d   e d it io n ,   2 0 1 0 .   [1 9 ]   C.   J.  C.   H.   W a tk in s a n d   P .   Da y a n ,   T e c h n ica n o te:  Q - lea rn in g ,   M a c h in e   L e a rn i n g ,   v o l.   8 ,   pp .   2 7 9 - 2 9 2 ,   1 9 9 2 .   [2 0 ]   Y S .   Hu a n g ,   e a l. ,   A   Ha n d o v e S c h e m e   f o LT W irele ss   N e tw o rk u n d e th e   A ss istan c e   o f   GPS ,”   Pro c e e d in g   2 0 1 3   8 th   In ter n a ti o n a Co n fer e n c e   o n   Bro a d b a n d   a n d   W ire les Co mp u t in g ,   C o mm u n ic a ti o n   a n d   Ap p li c a ti o n s,   BW CCA pp .   3 9 9 - 4 0 3 ,   2 0 1 3 .   [2 1 ]   A .   Bo g d a n o v ,   L o c a ti o n   id e n ti f ica ti o n   a n d   h a n d o v e in   n e w - g e n e ra ti o n   m o b il e   n e tw o rk s,   2 0 2 0   M o s c o W o rk sh o p   o n   E lec tro n ic  a n d   Ne two rk in g   T e c h n o l o g ies   ( M W ENT ) ,   M o sc o w ,   Ru ss ia,  p p .   1 - 4 2 0 2 0 .   [2 2 ]   M .   A .   W o n g ,   J.  A .   A lsa y a y d e h ,   S .   M .   I d ru s,  N .   Z u lk if li ,   a n d   M .   El sh a ik h ,   Eff icie n P 2 P   d a ta  d isse m in a ti o n   i n   in teg ra ted   o p ti c a a n d   w irele ss   n e tw o rk w it h   T a g u c h m e th o d ,   T EL KOM NIKA  T e lec o mm u n ica ti o n ,   Co mp u ti n g ,   El e c tro n ics   a n d   C o n tro l v o l.   1 7 n o.   4 pp 1 6 4 2 - 1 6 4 7 ,   2 0 1 9 .   [2 3 ]   K.  A h u ja,  e a l. ,   Ne t w o rk   S e lec ti o n   Ba se d   o n   W e ig h Esti m a ti o n   o f   Qo S   P a ra m e ters   in   He tero g e n e o u s     W irele ss   M u lt im e d ia  Ne t w o rk s,   In ter n a ti o n a l   J o u rn a o W ire les Per so n a l   Co mm u n ica ti o n s ,   v o l .   77 ,   n o .   4 ,     p p .   3 0 2 7 - 3 0 4 0 ,   2 0 1 4 .   [2 4 ]   H.  A .   M a h m o u d ,   e a l. ,   P e rf o rm a n c e   o f   Op e n   A c c e ss   F e m to c e ll   Ne tw o rk w it h   Diffe re n Ce ll - S e lec ti o n   M e th o d s,   in   2 0 1 0   IE EE   V e h icu la T e c h n o lo g y   C o n fer e n c e ,   p p .   1 - 5,   2 0 1 0 .   [2 5 ]   C.   Dh a h ri  a n d   T .   Oh tsu k i,   L e a rn in g - b a se d   Ce ll   S e lec ti o n   M e th o d   f o F e m to c e ll   Ne t w o rk s,”   I EE V e h ic u la r   T e c h n o l o g y   C o n fer e n c e p p .   1 - 5 ,   2 0 1 2 .   [2 6 ]   B.   L iu ,   e a l . ,   A HP   a n d   G a m e   T h e o ry   b a se d   A p p ro a c h   f o Ne tw o rk   S e lec ti o n   in   He tero g e n e o u W irele ss   Ne tw o rk s,”   IEE Co n su me Co mm u n ica ti o n a n d   Ne two rk in g   Co n fer e n c e   ( CCNC) ,   L a V e g a s ,   Ne v a d a ,   US A ,     p p .   5 0 1 - 5 0 6 ,   2 0 1 4 .   [2 7 ]   V .   A .   Na ra y a n a n ,   e a l. ,   A n   I n telli g e n V e rti c a Ha n d o v e De c isio n   A lg o rit h m   f o W irel e ss   He tero g e n e o u s   Ne tw o rk s,”   Ame ric a n   J o u rn a o Ap p li e d   S c ie n c e s ,   v o l .   11 ,   n o .   5 ,   p p .   7 3 2 - 7 3 9 ,   2 0 1 4 .   [2 8 ]   G .   P iro ,   e a l. S im u latin g   LT E   c e ll u lar  s y ste m s:  a n   o p e n   so u rc e   f r a m e w o rk , ”  IEE T ra n sa c ti o n o n   Veh ic u la r   T e c h n o l o g y v o l.   60 ,   n o .   2,   pp.   498 - 5 1 3 ,   2 0 1 1 .   Evaluation Warning : The document was created with Spire.PDF for Python.