I nd o ne s ia n J o urna l o f   E lect rica l En g ineering   a nd   Co m pu t er   Science   Vo l.   3 9 ,   No .   1 ,  Ju ly   2 0 2 5 ,   p p .   1 90 ~ 2 0 1   I SS N:  2502 - 4 7 5 2 ,   DOI : 1 0 . 1 1 5 9 1 /ijeecs.v 3 9 .i 1 . pp 1 90 - 2 0 1           190     J o ur na l ho m ep a g e :  h ttp : //ij ee cs.ia esco r e. co m   Benchm a rking  sp ectr a l hand o f f  ra t e perf o rma nc e in  co g nitive  wireless ne tworks  wit h  real mul ti - u ser a ccess       Cesa r  H er ná nd ez ,   Dieg o   G ira l,   F re dy   M a rt ínez   D e p a r t me n t   o f   El e c t r i c a l   En g i n e e r i n g ,   F a c u l t y   Te c h n o l o g y ,   U n i v e r si d a d   D i s t r i t a l   F r a n c i s c o   Jo s é   d e   C a l d a s,   B o g o t á   D . C ,   C o l o mb i a       Art icle  I nfo     AB S T RAC T   A r ticle  his to r y:   R ec eiv ed   Au g   24 ,  2 0 2 4   R ev is ed   Dec   2 ,  2 0 2 4   Acc ep ted   Feb   28 ,  2 0 2 5       Co g n it iv e   ra d io   (CR)   h a s  p r o v e n   to   b e   a n   e x c e ll e n t   a lt e rn a ti v e   to   t h e   p ro b lem   o f  i n e fficie n t  s p e c tru m   u se   in   wire les s  n e two r k s.  Ho we v e r ,   th e   v a st   m a jo rit y   o f  p r o p o sa ls  fo u n d   in   th e   c u rre n t  l it e ra tu re   a re   re stricte d   to   t h e   a c c e s s  o f  a   sin g le  se c o n d a ry   u se r   (S U)   to   th e   n e two rk ,   a n d   t h e   fe w  p ro p o sa ls   with   m u lt i p le  a c c e ss   d o   n o t  tak e   in to   a c c o u n t   th e   a c c e ss   o f  o th e r  p rima ry   u se rs   (P Us )   d u ri n g   th e   o p p o rtu n i stic  tran sm issio n   o f   t h e   SU .   T h e   o b jec ti v e   o f  t h is  w o rk   is   to   p e rf o rm   a   c o m p a ra ti v e   e v a l u a ti o n   o f   th e   sp e c tral  h a n d o ff   (S H)   ra t e   in   c o g n it iv e   wire les s   n e two rk s   with   m u lt i - u se r  a c c e ss   in   a n   e n v iro n m e n t  wit h   o th e r  P Us   in te ra c ti n g .   T o   c a rry   o u t  t h is  e v a lu a ti o n ,   fo u r   SH   m o d e ls  wit h   b e tt e r  p e rf o rm a n c e   we re   se lec ted :  d e e p   lea rn i n g   (DL) ,  fe e d b a c k   fu z z y   a n a ly ti c   h iera r c h y   p ro c e ss   ( F F AH P ) ,   sim p le   a d d it iv e   we ig h ti n g   ( S AW ),   a n d   Na ïv e   Ba y e s   (NB) ,   w h ich   we re   v a li d a ted   a c c o rd in g   to   th e   m e tri c   o f  th e   n u m b e r  o f  to tal  h a n d o ffs,  u n d e r  fo u r  sc e n a ri o s  g iv e n   b y   th e   c o m b in a ti o n   o f   t h e   f o ll o wi n g   p a ra m e ters :  lo w   sp e c tral  a v a il a b il it y ,   h ig h   sp e c tral  a v a il a b il it y ,   a c ti v e   p re se n c e   o f  o th e rs  S Us ,   a n d   p a ss iv e   p re se n c e   o f   o th e rs  S Us .   Th e   re s u lt s  sh o w  t h a t   e a c h   m o d e l  p e rfo rm s  we ll   a c c o rd in g   to   th e   sc e n a rio   in   wh ic h   it   is  e x e c u ted ,   su g g e stin g   a n   a d a p t iv e   m u lt i - m o d e l  a s  a   p ro p o sa l.   K ey w o r d s :   B en ch m ar k in g   C o g n itiv e  r ad io   n etwo r k s   Han d o f f   m o d els   Mu ltiu s er   Per f o r m an ce   S p ec tr u m   allo ca tio n   Sp ec tr u m   h an d o f f   T h is i s  a n   o p e n   a c c e ss   a rticle   u n d e r th e   CC B Y - SA   li c e n se .     C o r r e s p o nd ing   A uth o r :   C esar   Her n án d ez   Dep ar tm en t o f   E lectr ical  E n g i n ee r in g ,   Facu lty   T ec h n o lo g y   Un iv er s id ad   Dis tr ital Fr an cisco   J o s é  d e  C ald as   B o g o tá  D.   C . ,   C o lo m b ia   E m ail: c ah er n an d ez s @ u d is tr it al. ed u . co       1.   I NT RO D UCT I O N   T h e  id ea   b eh in d   c o g n itiv e  r ad io   ( C R )   s tem s   f r o m   th e  u n d er s tan d in g   th at  th e  r ad io   f r eq u e n cy   s p ec tr u m   is   a  f in ite  r eso u r ce ,   wh ich   is   o f ten   s ig n if ican tl y   u n d e r u tili ze d .   T h is   u n d er u tili za tio n   r esu lts   in   d im in is h ed   o v er all  s p ec tr u m   ef f icien c y .   As  n o ted   in   v ar io u s   s tu d ies,  CR   tech n o lo g y   aim s   to   f u lf ill   th e   in cr ea s in g   b an d wid th   ( B W )   d em an d s   o f   m o d e r n   d ev ices  th r o u g h   its   ab ilit y   to   d y n am icall y   r ec o n f ig u r e  its elf .   C o n s eq u en tly ,   t h e  o p er atio n   o f   a  c o g n itiv e   n etwo r k   ( s p ec if i ca lly   r eg ar d in g   th e   allo ca tio n   an d   d ea llo ca t io n   o f   r ad io   r eso u r ce s )   is   in h er e n tly   co m p lex .   T h is   co m p le x ity   ar is es  b ec au s e  th e  n etwo r k   n o d es  m u s t  co n tin u o u s ly   ad ap t th eir   b e h av io r   b ased   o n   th e  lo ca l in f o r m atio n   a v ailab le  ab o u t th eir   s u r r o u n d i n g   en v ir o n m en t [ 1 ] - [ 4 ] .   C o g n itiv e  r ad io   n etwo r k s   ( C R Ns)  h av e  b ee n   p r o p o s ed   as  a  v iab le  s o lu tio n   to   ad d r ess   th e  is s u e  o f   s p ec tr al  s ca r city   b y   allo win g   s ec o n d ar y   u s er s   ( SUs )   to   tem p o r ar ily   u tili ze   u n u s ed   s p ec tr u m   s eg m en ts ,   k n o w n   as  s p ec tr al  o p p o r tu n ities   ( SO s ) .   T h is   ac ce s s   is   p r o v i d ed   o n   th e  c o n d itio n   th at  p r im ar y   u s er s   ( PUs )   d o   n o t  ex p er ien ce   an y   d eg r a d atio n   in   th eir   q u ality   o f   s er v ice.   A  s ig n if ican t c h allen g e  with in   th is   co n tex t is m an ag in g   s p ec tr al  h an d o f f s   ( SHs )   ( o r   th e  s witch in g   o f   ch an n els am o n g   CR s )   ef f icien tly ,   with   th e  ai m   o f   m in im izin g   th e  f r eq u e n cy   o f   th es e  h an d o f f s   d u r in g   e x ten d ed   co m m u n icatio n   p er io d s   [ 5 ] - [ 8 ] .   Evaluation Warning : The document was created with Spire.PDF for Python.
I n d o n esian   J   E lec  E n g   &   C o m p   Sci     I SS N:   2502 - 4 7 5 2       B en ch ma r kin g   s p ec tr a l h a n d o ff ra te  p erfo r ma n ce   in   co g n itiv e  w ir ele s s   n etw o r k s   …   ( C esa r   Hern á n d ez )   191   Mo r eo v er ,   it  is   cr itical  to   co n s id er   s ce n ar io s   wh er e   m u ltip le  SUs   s im u ltan eo u s ly   s ee k   to   o p p o r tu n is tically   ac ce s s   th e  licen s ed   s p ec tr u m   h eld   b y   P Us .   I n   s u ch   ca s es,  ef f ec tiv e   m u lti - u s er   ac ce s s   s tr ateg ies m u s t b e  d ev elo p ed   to   ac co u n t  f o r   t h e  u n p r ed ictab l e  ar r iv al  an d   d ep ar t u r e  o f   PUs   d u r in g   th e  o n g o in g   tr an s m is s io n s   o f   SUs .   T h is   d y n am ic  b eh av io r   n ec ess itates  s o p h is ticated   ap p r o ac h es  to   en s u r e  s ea m less   co m m u n ica tio n   an d   o p tim al  u s e  o f   th e  av ailab l e  s p ec tr u m   [ 9 ] - [ 1 3 ] .   B u ild in g   u p o n   th e  af o r e m en ti o n ed   co n tex t,  th is   s tu d y   aim s   to   co n d u ct  a  c o m p ar ativ e  a n aly s is   o f   th e  SH  r ate  in   co g n itiv e  wir el ess   n etwo r k s   f ea tu r i n g   m u l ti - u s er   ac ce s s   with in   a   r ea l is tic  en v ir o n m e n t.  Sp ec if ically ,   th is   en v ir o n m en t   in clu d es  PUs   d y n am ically   en ter in g   an d   e x itin g   th e  licen s ed   s p ec tr u m   d u r i n g   th e  o p p o r t u n is tic  u tili za tio n   b y   SUs .   Fo r   th is   ev alu atio n ,   f o u r   SH  m o d els  d e m o n s tr atin g   s u p er io r   p e r f o r m an ce   wer e  ch o s en :  d ee p   lea r n in g   ( DL ) ,   f ee d b ac k   f u zz y   an al y tic  h ier ar ch y   p r o ce s s   ( FF AHP ) ,   s im p le  ad d itiv e   weig h tin g   ( SAW ) ,   an d   Naïv e  B ay es   ( NB ) .   T h ese   m o d el s   wer e  ass ess ed   b ased   o n   th e  to tal  n u m b e r   o f   h an d o f f s   ( AAH)   u n d er   f o u r   d is tin ct  s ce n ar io s ,   ch ar ac ter ized   b y   th e  f o llo win g   co m b in ati o n s   o f   p ar am eter s :   lo w  s p ec tr al  av ailab ilit y   ( h ig h   tr af f ic  o r   HT ) ,   h ig h   s p ec tr al  a v ailab ilit y   ( lo w  tr a f f ic  o r   L T ) ,   ac tiv e  p r esen ce   o f   SUs   ( r ea l  m o d e ) ,   a n d   p ass iv e  p r esen ce   o f   SUs   ( co n v en tio n a l  m o d e) .   I n   th e   cu r r en t   liter atu r e  we  d o   n o t   f in d   r elate d   wo r k s   th at  co n s id er   a  r ea lis tic  m u lti - u s er   en v ir o n m e n t w ith   d y n am ic  b eh av io r   o f   th e  PUs .   T h e  s tr u ctu r e  o f   th is   s tu d y   is   o r g an ized   in to   f iv e  s ec tio n s .   Sectio n   2   p r o v id es  a  d etailed   d escr ip tio n   o f   th e  r esear ch   m eth o d o lo g y ,   in clu d in g   th e  s elec tio n   o f   S H  m o d els,  ex p er im en tal  d esi g n ,   d ec is io n - m a k in g   cr iter ia,   an d   p er f o r m an ce   m e tr ics.  Sectio n   3   p r esen ts   th e  r esu lts   o b tain ed   f r o m   th e  an aly s is   an d   o f f er s   a  co m p ar ativ e  e x am in atio n   o f   th e  ev alu atio n   m etr ics.  Sectio n   4   f o cu s es  o n   th e  d is cu s s io n   o f   th ese  r esu lts ,   in ter p r etin g   th e  f in d in g s   in   th e  co n tex t  o f   th e  o b jectiv es  s et  f o r th .   T h e  f in al  s ec tio n   s u m m ar izes  th e  m ain   co n clu s io n s   o f   t h e  s tu d y ,   h ig h l ig h tin g   th e  k ey   c o n tr ib u tio n s   a n d   p o te n tial a r ea s   f o r   f u tu r e   r e s ea r ch .       2.   M E T H O D   T h is   s ec tio n   o u tlin es  th e  m eth o d o lo g y   em p lo y e d   in   th e   r esear ch .   I t  b e g in s   with   a   d etailed   d escr ip tio n   o f   th e  ex p er im en t al  d esig n ,   wh ich   f o r m s   th e  f o u n d atio n   o f   th e  s tu d y .   Fo llo w in g   th is ,   th e  cr iter ia  u s ed   f o r   d ec is io n - m ak i n g   in   s elec tin g   th e  o p tim al  f r e q u en cy   ch a n n el  o r   s p ec tr al  o p p o r tu n ity   ( SO)   f o r   ex ec u tin g   t h e  SH   ar e  e x p lain e d .   Nex t,  t h e  s ec tio n   p r o v i d e s   an   o v e r v iew  o f   th e  s p ec if ic   h a n d o f f   ( HS)   m o d els  th at  wer e  c h o s en   f o r   ev alu ati o n .   Fin ally ,   it  co n clu d es  with   a  p r esen tatio n   o f   t h e  p e r f o r m an ce   m etr ics  th at   wer e  ap p lied   to   f ac ilit ate  th e  co m p ar ativ e  a n aly s is   o f   th ese  m o d els.       2 . 1 .     E x perim ent   d esig n   T h e  co m p ar ativ e  e v alu atio n   o f   th e  s elec ted   SH  m o d els  was  co n d u cted   u s in g   a   s im u latio n   to o l  p r ev io u s ly   d ev elo p ed   f o r   th i s   p u r p o s e.   T h is   to o l  u tili ze s   r ea l  s p ec tr al  o cc u p a n cy   d at a  g ath er e d   f r o m   a   m ea s u r em en t  ca m p aig n   ca r r ie d   o u t   in   B o g o tá,   C o lo m b ia   [ 1 4 ] .   T h e   s im u latio n   t o o l  r ec o n s tr u cts  th e  s p ec tr u m   o cc u p an c y   p atter n s   o v er   tim e  b y   em p lo y in g   ex p er im en tal  d ata  tr ac es  r ec o r d e d   in   th e  GS M  b an d ,   p r o v id in g   a  clo s e  ap p r o x im atio n   o f   th e  r e al  b eh av io r   o f   PUs   with in   th e   s im u lated   en v ir o n m en t.  T h is   ap p r o ac h   en ab les  a   mo r e  ac cu r ate  ass ess m en t  o f   ea ch   alg o r ith m ’ s   ac tu al  p er f o r m an ce   [ 1 5 ] ,   [ 1 6 ] .   T h e  d a ta  s et  u s ed   in   th e  s im u latio n   r ef lects o n e  m o n th   o f   co n tin u o u s   o b s er v atio n   co ll ec ted   in   B o g o tá  D. C . ,   C o lo m b ia  [ 1 4 ] .   W h en   a  SU  in ten d s   to   tr an s m it  f o r   φ  m in u tes,  th e  s im u latio n   to o l  f o llo ws  a  s tr u ctu r ed   s e q u en ce   o f   s tep s .   First,  it u p d ates th e  d ec is io n   cr iter ia  ( DC )   v alu es b ased   o n   in f o r m atio n   av ailab le  b ef o r e  th e  cu r r en t tim e   in s tan t,  r ef er r ed   to   as τ 0 ,   wh en   th e  SU r eq u ests   ac ce s s   to   th e  s p ec tr al  r eso u r ce .   Seco n d ,   th e  to o l r an k s   th e  SO s   ac co r d in g   to   th e  s co r es  g en e r a ted   b y   th e  d ec is io n - m ak i n g   al g o r ith m   u n d er   ev alu ati o n .   T h i r d ,   th e  SO  with   th e   h ig h est  r an k   is   s elec ted   an d   as s ig n ed   to   th e   SU,  in itiatin g   its   tr an s m is s io n .   Fo u r th ,   at  tim e   τ 1 ,   th e  t o o l  c h ec k s   th e  d atab ase  o f   ca p tu r ed   a n d   p r o ce s s ed   d ata  to   d eter m in e   wh eth er   th e  s elec ted   SO  r e m a in s   av ailab le.   Sin ce   SH  m o d els  r ely   s o lely   o n   th e  p r o b a b ilit y   o f   av ailab ilit y   ( AP)   r ath er   th an   r ea l - tim e  av ailab i lity   d ata,   if   th e  S O   is   s t ill  ac ce s s ib le,   th e  cu m u lati v e  h an d o f f   m etr ic  ( AAH)   is   in cr em en ted   b y   o n e,   an d   th e  n e x t  s tep   is   ex ec u ted .   I f   n o t,  t h e  alter n ativ e  h an d o f f   m etr ic  ( AAFH)   is   in cr em en ted ,   an d   t h e  n ex t  r an k e d   SO  is   ch o s en ,   r etu r n in g   to   th e  p r ev io u s   s tep .   T h e  to o l  th e n   p e r f o r m s   a  co n ti n u o u s   ch ec k   at  ea ch   tim e  s tep   ( T S)  to   v er i f y   if   t h e  SO  cu r r e n tly   in   u s e  b y   th e  SU  r em ain s   av ailab le.   I f ,   at  an y   tim e  τ k ,   a  PU  d em an d s   th e  s elec ted   SO,  r en d er in g   it  u n av ailab le   ac co r d in g   to   th e  d ata b ase,   an d   th e  elap s ed   tim e,   ca lcu lated   a s   Δ τ   =  τ k   –   τ 1 ,   is   less   th an   6 0   s ec o n d s ,   th e  s y s tem   s elec ts   th e  n ex t   SO  in   th e  r an k in g   an d   r etu r n s   to   th e  p r io r   s tep .   I f   th is   co n d itio n   is   n o t  m et,   τ 0   is   u p d ated   to   r ef lect  th e  n ew  cu r r en t  tim e,   an d   th e  en tire   p r o ce d u r e  b e g in s   an ew.   I f ,   a f ter   a  d u r atio n   o f   ζ   s ec o n d s ,   n o   s u itab le  ch an n el  is   f o u n d ,   t h e  co m m u n icatio n   is   d ee m e d   t o   h av e  f ailed .     2 . 2 .    Dec is io n  c rit er ia   All  h an d o f f   ( HS)   m o d els  u tili ze d   in   th is   s tu d y   r elied   o n   f o u r   k ey   DC   to   id en tify   t h e  o p tim al  ch an n el   f o r   SH : th e  AP ,   th e  e s tim ated   tim e  o f   av ailab ilit y   ( E T A) ,   th e  s ig n al - to - n o is e  r atio   ( SIN R ) ,   an d   th e  B W .   T h ese   cr iter ia  wer e  d er iv ed   f r o m   s p ec tr al  d ata  th at  h ad   b ee n   p r ev io u s ly   co llected .   T o   ac cu r ately   p er f o r m   th e   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 5 0 2 - 4 7 5 2   I n d o n esian   J   E lec  E n g   &   C o m p   Sci ,  Vo l.  3 9 ,   No .   1 ,   Ju ly   20 25 :   1 90 - 2 0 1   192   ev alu atio n ,   it  was  cr u cial  to   c o m p u te  v alu es  f o r   ea ch   o f   th e  f o u r   DC   ( AP,  E T A,   SIN R ,   an d   B W )   f o r   ev er y   en tr y   in   th e   tr ain in g   m atr ix ,   g iv en   th at  th e  SH  alg o r ith m s   d id   n o t  h a v e  an y   p r e - e x is tin g   k n o wled g e  o f   th ese  v alu es.   T h e  AP  v ar iab le  o f f er s   a  n o r m alize d   r ep r esen tatio n   o f   th e  d u ty   cy cle  f o r   ea c h   o f   t h e  5 0 0   p o ten tial   SO s   p r esen t  in   t h e  m at r ix .   T h e  E T A  v ar iab le   ca lcu lates  th e  av er ag e   d u r atio n   f o r   wh ich   ea ch   ch a n n el  r em ain s   co n tin u o u s ly   av ailab le.   T h is   is   d eter m in ed   b y   f ir s t  id en tify in g   all  p er io d s   d u r in g   w h ich   a  ch an n el  is   co n tin u o u s ly   ac ce s s ib le,   f o llo wed   b y   ca lcu latin g   th e  m ea n   o f   th ese  d u r atio n s   f o r   ea c h   ch a n n el.   T h e  SIN R   v ar iab le  q u an tifie s   th e  av er ag e   r ati o   o f   s ig n al  p o wer   to   th e  n o is e  f lo o r ,   wh ic h   r ef lects  th e  q u ality   o f   th e   ch a n n el.   T h e  B W   v ar iab le  d e n o tes  th e   av er a g e  BW   f o r   ea c h   c h an n el.   Sin c e  all  ch an n els  h av e   an   id en tical  BW   o f   1 0 0   k Hz,   th e  B W   v ar iab le  d o es  n o t  p r o v id e  s ig n if ican t  d if f er en tiatio n   in   it s   b asic   f o r m .   T o   en h an ce   th e  r elev a n ce   o f   t h e  BW  cr iter io n ,   th e   B W   f o r   e ac h   p o te n tial  SO  was  ex p an d e d   to   i n co r p o r ate  u p   to   f o u r   ad jace n t  ch a n n els  o n   b o th   s id es,  ass u m in g   th ey   wer e  co n tin u o u s ly   av ailab le,   th u s   cr ea tin g   a  b r o ad e r ,   co m p o s ite  ch an n el.   Alth o u g h   all  ch an n els  in   th e  GSM  b a n d   ty p ically   h av e  a  BW   o f   2 0 0   k Hz,   d u e  to   th e   s p ec if ic  tech n ical  p ar am eter s   s et  o n   th e  s p ec tr u m   a n aly ze r   d u r in g   th e  m ea s u r em e n t  ca m p aig n ,   th e  s p ec tr al   o cc u p an c y   d ata  was c ap tu r ed   i n   s eg m en ts   with   a  f ix ed   BW   o f   1 0 0   k Hz.     2 . 3 .    H a n do f f   m o dels   A  r ev iew  o f   th e  cu r r en t  liter at u r e  o n   SH  in   C R N  was  co n d u cted   to   id en tify   s u itab le  alg o r ith m s   f o r   co m p ar is o n   with   th e  n ewly   d ev elo p ed   alg o r ith m s   p r esen te d   in   th is   s tu d y .   T h e  s elec tio n   p r o ce s s   to o k   in to   ac co u n t  t h e  p er f o r m an ce   o u tc o m es  r ep o r ted   f o r   th ese  alg o r ith m s ,   alo n g   with   th eir   u n d er l y in g   m ath em atica l   p r in cip les  an d   th e  clar ity   o f   th eir   m eth o d o l o g ies,  wh ich   f ac ilit ate  r ep r o d u cib ilit y .   Mu lt i - cr iter ia  d ec is io n - m ak in g   ( MCDM)   m eth o d s   we r e  ch o s en   as  th ey   o f f e r   a  r o b u s t  m ath em atica l  f r am ewo r k   f o r   m o d elin g   th e  SH  p r o ce s s   in   s itu atio n s   in v o l v in g   m u ltip le  v a r iab les,  p r o v id in g   a  h ig h ly   ef f ec tiv e  ap p r o ac h   f o r   e v alu atin g   an d   s elec tin g   SO s   [ 1 ] ,   [ 1 7 ] - [ 2 0 ] .   Du e  to   th eir   p r o v en   ef f icac y ,   MCDM  m eth o d s   h av e  b ee n   w id ely   ap p lied   in   SH  co n tex ts .   T h e   s p ec if ic  alg o r ith m s   s elec ted   f o r   c o m p a r is o n   in   th is   s tu d y   ar e   FF AHP,   NB ,   SAW ,   an d     DL   [ 1 ] ,   [ 2 1 ] - [ 2 8 ] .     2 . 3 . 1   F F AH P   T h e  FF AHP  alg o r ith m   is   d esi g n ed   to   e n h an ce   t h e  ac cu r ac y   o f   s elec tin g   SO s .   T o   ac h iev e   th is   g o al,   FF AHP   u tili ze s   f ee d b ac k   f r o m   p r ev io u s ly   co n d u cted   SO  ev alu atio n s   to   r ef in e  its   s ele ctio n   p r o ce s s .   T h e   ch o ice  o f   SO is d eter m in e d   b y   an aly zin g   b o th   c u r r e n t sp ec tr al  d ata  an d   h is to r ical  ass ess m e n t r esu lts .   T h e  s p ec tr u m   d ata   d etec tio n   p r o ce s s   in v o l v es  ca p tu r i n g   k e y   p ar a m eter s ,   s u ch   as  f r e q u en cy ,   s ig n al   p o wer ,   a n d   tim e  in ter v als.  T h ese  m ea s u r em en ts   ar e  in f lu en ce d   b y   s ettin g s   o n   th e   s p ec tr u m   an aly ze r ,   in clu d in g   th e  r eso lu ti o n   b an d wid th   ( R B W ) ,   th e  f r eq u en c y   s p an ,   an d   th e  s wee p   tim e   [ 1 4 ] ,   [ 1 6 ] .   All  th e   ac q u ir ed   d ata  a r e  s y s tem atica lly   s to r ed   i n   a   d ed icate d   d ata b ase.   T h e   p r o c ess in g   u n it   p er io d ically   ca lcu lates   th e  v alu es   f o r   th e   DC   ( s u ch   a s   AP ,   E T A,   SIN R ,   a n d   B W )   an d   n o r m alize s   th ese   v alu es  o n   a   s ca le  f r o m   0   to   1 0 0 .   T h e  FF AHP  alg o r ith m   th en   u tili ze s   th is   n o r m alize d   d ata  to   ass es s   ea ch   SO.  T h e  s c o r e  ass ig n ed   to   ea ch   SO ,   in d icate d   b y   i ,   is   d eter m i n ed   u s in g   ( 1 ) ,   wh er e  t h e  s co r e  r an g es  b etwe en   0   an d   1 0 0 ,   with   1 0 0   in d icatin g   th e  h ig h est p o s s ib le  s co r e.   Fig u r e  1   illu s tr ates th e  d esig n   a n d   wo r k f lo w  o f   th e  FF AHP  alg o r ith m .           Fig u r e  1 .   Sch em atic  r ep r esen t atio n   o f   th e   p r o p o s e d   FF AHP  alg o r ith m       At  th is   s tag e  o f   th e  p r o ce s s ,   ea ch   SO  is   in itially   r an k ed   b ased   s o lely   o n   th e  cu r r en t v alu es o f   th e  DC .  Ho wev er ,   th e   SO  th at  r a n k s   h ig h est  at  th is   p o in t  m ay   n o t  u ltima tely   b e   ch o s en ,   as  t h e  f in al  e v alu atio n   in co r p o r ates  weig h ted   ad ju s t m en ts   u s in g   h is to r ical  s u r v e y   d ata.   T h e   f ee d b ac k   m ec h a n is m   in teg r ates  th e  Evaluation Warning : The document was created with Spire.PDF for Python.
I n d o n esian   J   E lec  E n g   &   C o m p   Sci     I SS N:   2502 - 4 7 5 2       B en ch ma r kin g   s p ec tr a l h a n d o ff ra te  p erfo r ma n ce   in   co g n itiv e  w ir ele s s   n etw o r k s   …   ( C esa r   Hern á n d ez )   193   cu r r en t  s u r v ey   r esu lts   ( PS )   f o r   ea ch   SO  with   b o th   th e  m o s t  r ec en t  s u r v e y   d ata  ( L S)  an d   th e  av er ag e  s u r v e y   r esu lts   ( AS)   co llected   o v er   t h e  p r ec ed in g   h o u r .   T h ese  we ig h ted   i n p u ts   ar e   th e n   u s ed   t o   co m p u te   a  f in al  r an k in g   f o r   ea ch   SO.  T h e  m et h o d   f o r   ca lcu latin g   th is   f in al  r an k in g   is   o u tlin ed   in   ( 1 ) .      _  = ×  + ×  + ( 1 − − ) ×    ( 1 )     Her e,   α   an d   β  a r e  c o ef f icien ts   with in   th e  r an g e   [ 0 , 1 ] ,   an d   t h e   ter m   “ Fin al_ Sco r e ”   r ep r esen t s   th e  f in al   s u r v ey   v al u e  ass ig n ed   to   ea c h   SO .   T h e  SO  with   th e  h ig h est  f in al  s co r e  is   ch o s en   to   in itiate  d ata  tr an s m is s io n   f o r   th e  SU.  Su b s eq u en tly ,   th e  f ee d b ac k   m ec h an is m   u p d at es  th e  last   s u r v ey   ( L S)  v alu e   b y   tr an s f er r in g   th e   p r esen t  s u r v e y   ( PS )   v alu e  an d   r ec alcu lates  th e  AS  v alu e  t o   r ef lect  t h e  n ew   L S  v alu e.   I f   th e  c h o s en   SO  is   f o u n d   to   b e   o cc u p ied ,   th e  FF A HP a lg o r ith m   r esets   th e  L S v a lu e  to   ze r o   f o r   t h at  p ar ticu lar   SO [ 2 1 ] .     2 . 3 . 2 .   Na ïv e  B a y es   A  k ey   f ac to r   in   s elec tin g   an   ap p r o p r iate   p r e d ictio n   m o d e l  is   its   ab ilit y   to   i n co r p o r ate   m u ltip le   ch ar ac ter is tics   o r   cr iter ia  th at   en h an ce   th e  ac c u r ac y   o f   p r ed ictio n s .   T h is   is   im p o r tan t  b ec au s e  d u r in g   t h e   tr ain in g   p h ase,   v a r io u s   cr iter i a  s u ch   as  AP ,   E T A,   SIN R ,   a n d   B W   ca n   b e   u s ed ,   all  o f   wh ich   co n t r ib u te  to   im p r o v in g   th e  p r ed ictio n   p er f o r m an ce   [ 2 2 ] ,   [ 2 5 ] .   Giv en   th is   c o n tex t   an d   th e   p r in cip les  o f   NB   th eo r em ,   it   ca n   b e   co n clu d ed   th at   th e   in d ep en d e n t  v ar iab les,  o r   p r ed icto r s ,   in   th i s   s p ec if ic  s ce n ar io   ar e   AP  an d   E T A,   wh ile  th e   d e p en d e n t  v ar iab le,   o r   th e   class   to   b e  p r ed icted ,   is   ch an n el  av a ilab ilit y .   T h e  NB   m o d el  is   p ar ticu lar ly   ef f ec tiv e  f o r   p r ed icti n g   m u ltip le  class es   b ec au s e  it  o p er ates  u n d er   th e  ass u m p tio n   th at  ea ch   p r ed icto r   is   i n d ep en d en t  o f   th e  o th er s .   I n   o th er   wo r d s ,   a   NB   class if ier   as s u m es  th at  th e  p r esen ce   o r   a b s en ce   o f   a   p ar ticu lar   f ea tu r e  is   n o t   in f lu e n ce d   b y   a n y   o th er   f ea tu r e.   E v en   wh e n   s o m e   f ea t u r es  m ay   h av e  d ep en d en cies,  t h e  m o d el  tr ea ts   all  th ese  ch ar a cter is tics   as  if   t h ey   co n tr ib u te   in d ep e n d en tly   to   t h e  o u tc o m e.   O n e  o f   th e   m a in   b en e f its   o f   th is   a p p r o ac h   is   its   ca p ac ity   to   ef f icien tly   h an d le  v er y   lar g e  d atasets .   B ay es ’   th eo r em   o f f e r s   a  f r a m ewo r k   t o   ca lcu late   th e  p o s ter io r   p r o b a b ilit y   P ( c ∣ x )   u s in g   th e   p r io r   p r o b a b ilit ies  P ( c ) ,   P ( x ) ,   a n d   th e  lik elih o o d   P ( x ∣ c ) ,   as sh o wn   i n   ( 2 ) .     P ( c | x ) = P ( x | c ) P ( c ) P ( x )                 ( 2 )     W h er e:   −   P ( c ∣ x )   r ep r esen ts   th e  p o s ter io r   p r o b a b ilit y   o f   t h e  class   c   ( th e  tar g et  v ar iab le)   g iv en   th e  p r e d icto r   x   ( th e  in p u t f ea tu r es).   −   P ( c )   d en o tes th e  p r io r   p r o b ab il ity   o f   th e  class .   −   P ( x ∣ c )   is   th e  lik elih o o d ,   o r   t h e  p r o b a b ilit y   o f   th e   p r ed icto r   g i v en   th at  th e  class   is   k n o wn .   −   P ( x )   in d icate s   th e  p r io r   p r o b a b ilit y   o f   th e  p r ed icto r .   Usi n g   ( 2 )   an d   co n s id er in g   th e  in d ep en d en t v ar iab les ( AP  an d   E T A)   as o u tlin ed   in   ea r lier   p ar ag r ap h s ,   alo n g   with   t h e  d e p en d e n t  v a r iab le  o r   class ,   wh ich   in   t h is   co n tex t  is   th e  ch a n n el ’ s   s tatu s   ( e ith er   “ o cc u p ied ”   o r   “ av ailab le ” ) ,   we  ca n   d er iv e  th e  ex p r ess io n s   p r esen ted   in   ( 3 )   an d   ( 4 ) .     Poste r ior ( oc c upie d ) = P ( o ccu p i ed ) p ( TED | oc uppie d ) p ( PD | oc c upie d ) ev i d e n ce   ( 3 )     Poste r ior ( a va il a b l e ) = P ( av a i l ab l e ) p ( TED | a va il a b l e ) p ( PD | a va il a b l e ) ev i d e n ce           ( 4 )     W h er e  “ ev id en ce ”   wo u ld   b e  g iv en   b y   ( 5 ) .     e vide n c e = P ( oc c upie d ) p ( TED│ocu pp ie d ) p ( PD│ oc c upie d ) + P ( a va il a b l e ) p ( TED | a va il a b l e ) p ( PD | a va il a b l e )   ( 5 )     2 . 3 . 3   Si m ple a dd it iv e  weig hting   T h e  alg o r ith m   c r ea tes  a  d ec is io n   m atr ix   th at  in co r p o r ates  m u ltip le  attr ib u tes  an d   p o s s ib le  alter n ativ es.  Fo r   ea ch   i n ter s ec tio n   with in   th is   m atr ix ,   a  weig h t  is   allo ca ted   ac co r d in g   to   th e   d esig n er ’ s  p r ed ef in e d   cr iter ia.   T h is   p r o c ess   o f   ass ig n in g   weig h ts   en ab les  th e  ca lcu latio n   o f   a  s co r e  f o r   ea ch   SO  u n d er   ev alu atio n ,   r esu ltin g   in   a  p r io r itized   r an k i n g   o f   all  p o ten tia l  a lter n ativ es.  T h e   SO  th at  ac h iev es  th e  h i g h est  s co r e  in   t h is   r an k i n g   is   s elec t ed   as  th e   o p tim al   ch o ice.   T h e  m ath em atica l  r e p r esen tatio n   o f   an   alter n ativ e,   d en o ted   as  A i ,   is   p r esen ted   in   ( 6 ) .     Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 5 0 2 - 4 7 5 2   I n d o n esian   J   E lec  E n g   &   C o m p   Sci ,  Vo l.  3 9 ,   No .   1 ,   Ju ly   20 25 :   1 90 - 2 0 1   194   = ∑ = 1 ,   ∀ ∈ 1 , . . . ,   ( 6 )     Her e,   r i, j   r ep r esen ts   an   elem en t  with in   th e  m atr ix ,   an d   th e  to tal  o f   all  as s ig n ed   weig h ts   eq u als  1 .   T h e  s tep s   in v o lv ed   in   d e v elo p in g   th is   alg o r ith m   ar e  as  f o ll o ws:   ( 1 )   id en tify   th e  o b ject iv es  an d   p o ten tial   alter n ativ es;  ( 2 )   p er f o r m   a n   ev alu atio n   o f   t h ese  alter n ativ es;  ( 3 )   ass ig n   w eig h ts   to   ea ch   c o m b in atio n   b ased   o n   th eir   im p o r tan ce ;  ( 4 )   ca lcu la te  th e  ag g r eg ated   v al u es  ac co r d in g   to   t h e  estab lis h ed   p r ef er en ce s ;  an d   ( 5 )   co n d u ct  a  s en s itiv ity   an aly s is   to   ass es s   th e  r o b u s tn ess   o f   th e   r esu lts .   I n   s ev er al  s tu d ies,  th e  SAW   m eth o d   h as  b ee n   ap p lied   to   id e n tify   t h e  o p tim al  SO  with in   a  GSM  f r eq u en cy   b an d ,   to   ass ess   th e  n u m b er   o f   h an d o f f s   ex ec u ted ,   a n d   to   c o m p ar e   th e  p er f o r m an ce   with   th at  o f   o t h er   s p ec tr u m   allo ca tio n   al g o r ith m s   [ 1 ] .     2 . 3 . 4   Dee p lea rning   A   c o m p r e h e n s i v e   d e s c r i p t i o n   o f   t h e   DL   a l g o r i t h m   e m p l o y e d   i n   t h i s   s t u d y   c a n   b e   f o u n d   i n   r e f e r e n c e   [ 2 4 ] .     2 . 4 .    E v a lua t i o n   T h e  p er f o r m an ce   o f   th e  s elec ted   h an d o f f   ( HS)   m o d els  was  e v alu ated   u s in g   f o u r   s p ec if ic  m etr ics:   th e  to tal  n u m b er   o f   ch a n n el  ch an g es  ( AAH) ,   th e  n u m b e r   o f   in ter f er in g   ch a n n el  ch a n g es  ( A AI ) ,   th e  n u m b er   o f   an ticip ated   ch a n n el  c h an g es  ( AAU) ,   an d   t h e  n u m b er   o f   p e r f ec t  ch an n el  ch a n g es  ( AAP) .   T h ese  m etr ics  wer e   ass es s ed   u n d er   two   tr af f ic  lev els  ( h ig h   ( HT )   an d   lo w  ( L T ) )   as  well  a s   f o r   two   ty p es  o f   SU  b eh av io r :  p ass iv e  ( co n v e n tio n al  m o d e)   a n d   ac tiv e  ( r ea l m o d e) .   T o   co n d u ct  a   co m p r eh en s iv e  m u lti - u s er   ev alu atio n ,   th e   s elec ted   SH  m o d els  wer e  a p p lied   ac r o s s   f o u r   d if f er en t   s ce n ar io s :  ( 1 )   c o n v e n tio n al  m o d e  with   HT ,   ( 2 )   r ea l  m o d e   with   H T ,   ( 3 )   co n v en ti o n al  m o d e  with   lo w   tr af f ic  ( L T ) ,   a n d   ( 4 )   r ea l  m o d e  with   lo w  tr af f ic  ( L T ) .   Fo r   e ac h   s ce n ar io ,   th e  p e r f o r m an c e  o f   th e  SH  m o d el   was  an aly ze d   with   v ar y in g   n u m b er s   o f   s im u ltan eo u s   u s er s ,   s p ec if ically   f o r   1 ,   2 ,   4 ,   6 ,   8 ,   an d   1 0   u s er s .   Giv en   th e  v o lu m e   o f   d ata,   co m p lete  r esu lts   ar e   s u m m ar ized   in   tab les  p r o v id ed   in   th e  r esu lts   s ec tio n ,   w h ile  th e   f ig u r es p r im a r ily   illu s tr ate  th e  b eh av io r   f o r   th e  ca s e  o f   1 0   u s er s .   T ab le  1   o u tlin es  th e  ev al u atio n   m etr ics  u s ed   to   ass ess   th e  p er f o r m a n ce   o f   th e   SH  m o d els,   in clu d in g   AAH,   AAI ,   AAU,   an d   AAP.   T h e  tab le  d etails th e  ac r o n y m s ,   d ef in itio n s ,   d escr ip tio n s ,   an d   ty p es o f   ev al u atio n   m etr ics,  in d icatin g   wh eth er   a  m etr ic  r ep r esen ts   a  b e n ef it  ( w h er e  a   h ig h er   v alu e  is   b etter )   o r   a   co s t  ( wh e r e  a   lo wer   v alu e  is   p r ef er r ed ) .   T h e   ter m   “ av er ag e ”   in   th e  co n tex t  o f   ev alu atio n   m etr ics  r ef lect s   th at  th ese  r esu lt s   ar e  b ased   o n   th e  m ea n   v alu es  o b tain ed   f r o m   m u ltip le  ex p er im en ts .   W h ile  th e  AAH  m etr i c  ap p lies   to   all  HS   m o d els,  th e  o th e r   m etr ics ar e  s p ec if ic  to   th e  NB   p r ed ictio n   m o d el.       T ab le  1 .   E v alu ati o n   m et r ics f o r   HS m o d els   A c r o n y m   N a me   D e sc r i p t i o n   E v a l u a t i o n   me t r i c   t y p e   AAH   C u m u l a t i v e   a v e r a g e   h a n d o f f   n u m b e r   T h i s   i s   t h e   t o t a l   n u m b e r   o f   h a n d o f f s  p e r f o r m e d   d u r i n g   t h e   9   mi n u t e s   o f   S U   t r a n s m i s s i o n   C o s t   AAI   C u m u l a t i v e   a v e r a g e   i n t e r f e r e n c e   h a n d o f f   n u m b e r   I t   i s   t h e   t o t a l   n u m b e r   o f   r e a c t i v e   h a n d o f f s   p e r f o r m e d   o n c e   t h e   P U   a r r i v e s ,   d u r i n g   t h e   t r a n sm i ss i o n   t i me   o f   t h e   S U   C o s t   AAP   C u m u l a t i v e   a v e r a g e   p e r f e c t   h a n d o f f   n u m b e r   I t   i s   t h e   n u m b e r   o f   n o n - i n t e r f e r e n c e   h a n d o f f s   p e r f o r m e d   v e r y   c l o s e   t o   t h e   a r r i v a l   o f   t h e   P U ,   b u t   w i t h o u t   c a u s i n g   i n t e r f e r e n c e   t o   t h e   l a t t e r ,   d u r i n g   t h e   t r a n sm i s s i o n   t i me   o f   t h e   S U   C o s t   AAU   C u m u l a t i v e   a v e r a g e   a n t i c i p a t e d   h a n d o f f   n u m b e r   I t   i s   t h e   n u m b e r   o f   n o n - i n t e r f e r e n c e   h a n d o f f s   p e r f o r m e d   w e l l   i n   a d v a n c e   o f   t h e   a r r i v a l   o f   t h e   P U ,   d u r i n g   t h e   t r a n sm i ss i o n   t i m e   o f   t h e   S U   C o s t       T o   f ac ilit ate  th e  co m p ar ativ e  an aly s is   o f   ea ch   alg o r ith m ,   t h e  r elativ e  v alu es  ( in   p er ce n ta g e)   o f   ea c h   ev alu atio n   m etr ic  wer e   ca lcu l ated .   Fo r   th e  c o s t  m etr ics,  th e   r elativ e  v alu e   ( R el)   o f   alg o r ith m   i  was  ca lcu lated   b ased   o n   th e   ab s o lu te  v al u e  ( Ab s )   an d   th e  m i n im u m   v alu e  ( Min )   o f   th e   ev alu atio n   m etr ic,   as d escr ib ed   in   ( 7 ) .     =   × 100%   ( 7 )       3.   RE SU L T S   Fig u r es  2   to   9   d escr ib e  th e  r esu lts   f o r   ea ch   o f   th e  HS  m o d el s .  Fig u r e  2   s h o ws  d ee p   lear n i n g   with   1 0   SUs   in   HT   with   an d   with o u t  ad d itio n al  r an d o m   SUs ,   Fig u r e  2 ( a)   c o n v e n tio n al  m o d e  in   HT   an d   Fig u r e  2 ( b )   r ea l  m o d e   in   HT .  Fig u r e  3   s h o ws  d ee p   lear n in g   with   1 0   SUs   in   L T   with   a n d   with o u t  ad d itio n al  r an d o m   SUs ,   Fig u r e  3 ( a)   c o n v e n tio n al  m o d e  in   L T   an d   Fig u r e  3 ( b )   r ea l  m o d e  in   L T .  Fig u r e  4   s h o ws  FF AHP  with   1 0   SU s   in   HT   with   an d   with o u t   ad d it io n al  r an d o m   SUs ,   Fig u r e   4 ( a )   c o n v en tio n al  m o d e   in   HT   a n d   Fig u r e   4 ( b )   r e al   Evaluation Warning : The document was created with Spire.PDF for Python.
I n d o n esian   J   E lec  E n g   &   C o m p   Sci     I SS N:   2502 - 4 7 5 2       B en ch ma r kin g   s p ec tr a l h a n d o ff ra te  p erfo r ma n ce   in   co g n itiv e  w ir ele s s   n etw o r k s   …   ( C esa r   Hern á n d ez )   195   m o d e  in   HT ;  Fig u r e  5   s h o ws  FF AH P  with   1 0   SUs   in   L T   with   an d   with o u t   ad d it io n al  r an d o m   SUs ,     Fig u r e   5 ( a)   c o n v e n tio n al  m o d e  in   L T   an d   Fig u r e   5 ( b )   r ea l  m o d e  in   L T .   Fig u r e  6   s h o ws  Naïv e  B ay es  AAH   with   1 0   SUs   in   HT   with   an d   with o u t  ad d itio n al  r an d o m   SUs ,   Fig u r e  6 ( a)   c o n v en tio n a l  m o d e  in   HT   an d   Fig u r e  6 ( b )   r ea l  m o d e  in   HT ;  Fig u r e  7   s h o ws  Naïv e  B ay es  AAH  wi th   1 0   SUs   in   L T   with   an d   with o u t  ad d itio n al  r an d o m   SUs ,   Fig u r e   7 ( a)   c o n v en tio n al  m o d e  i n   L T   an d   Fig u r e   7 ( b )   r ea l  m o d e  in   L T ;  Fig u r e  8   s h o ws  SAW   AAH  with   1 0   SUs   in   HT   with   a n d   with o u t  a d d itio n al  r a n d o m   SUs ,   Fig u r e   8 ( a)   c o n v en tio n a l   m o d e  in   HT   an d   Fig u r e   8 ( b )   r ea l  m o d e  in   HT ;  Fig u r e  9   s h o ws  SA W   AA H  with   1 0   S Us  in   L T   with   an d   with o u t  ad d itio n al  r an d o m   SUs ,   Fig u r e   9 ( a )   c o n v en tio n al  m o d e  in   L T   an d   Fig u r e   9 ( b )   r ea l  m o d e  i n   L T .   E ac h   f ig u r e  s h o ws  th e  SH  m o d el s ’   r esu lts   d u r in g   a  9 - m i n u te   tr an s m is s io n ,   with   a  tr ac e  o f   HT   an d   L T   i n   co n v en tio n al  an d   r ea l m o d es o n   a  GSM  n etwo r k .           ( a)   ( b )     Fig u r e  2 .   Dee p   l ea r n in g   with   1 0   SUs   in   HT   with   an d   with o u t   ad d itio n al  r a n d o m   SUs   ( a)   co n v en tio n al  m o d e  i n   HT   a n d   ( b )   r ea l m o d e  in   HT           ( a)   ( b )       Fig u r e  3 .   Dee p   l ea r n in g   with   1 0   SUs   in   L T   with   an d   with o u t  ad d itio n al  r an d o m   SUs   ( a)   co n v en tio n al  m o d e  i n   L T   a n d   ( b )   r ea l m o d e  in   L T           ( a)   ( b )     Fig u r e  4 .   FF AHP  with   1 0   SUs   in   HT   with   an d   with o u t a d d itio n al  r an d o m   SUs   ( a)   co n v en tio n al  m o d e  i n   H T   an d   ( b )   r ea l m o d e  in   H T         Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 5 0 2 - 4 7 5 2   I n d o n esian   J   E lec  E n g   &   C o m p   Sci ,  Vo l.  3 9 ,   No .   1 ,   Ju ly   20 25 :   1 90 - 2 0 1   196       ( a)   ( b )     Fig u r e  5 .   FF AHP  with   1 0   SUs   in   L T   with   an d   with o u t a d d itio n al  r an d o m   SUs   ( a)   co n v en tio n al  m o d e  i n   L T   a n d   ( b )   r ea l m o d e  in   L T           ( a)   ( b )     Fig u r e  6 .  Naïv e  B ay es  AAH  with   1 0   SUs   in   HT   with   an d   w ith o u t a d d itio n al  r an d o m   SUs   ( a)   co n v en tio n al  m o d e  i n   H T   an d   ( b )   r ea l m o d e  in   H T           ( a)   ( b )     Fig u r e  7 .  Naïv e  B ay es  AAH  with   1 0   SUs   in   L T   with   an d   with o u t a d d itio n al  r an d o m   SUs   ( a)   co n v en tio n al  m o d e  i n   L T   a n d   ( b )   r ea l m o d e  in   L T           ( a)   ( b )     Fig u r e  8 .   SAW   AAH  with   1 0   SUs   in   HT   with   an d   with o u t a d d itio n al  r an d o m   SUs   ( a)   co n v en tio n al  m o d e  i n   H T   an d   ( b )   r ea l m o d e  in   H T       Evaluation Warning : The document was created with Spire.PDF for Python.
I n d o n esian   J   E lec  E n g   &   C o m p   Sci     I SS N:   2502 - 4 7 5 2       B en ch ma r kin g   s p ec tr a l h a n d o ff ra te  p erfo r ma n ce   in   co g n itiv e  w ir ele s s   n etw o r k s   …   ( C esa r   Hern á n d ez )   197       ( a)   ( b )     Fig u r e  9 .   SAW   AAH  with   1 0   SUs   in   L T   with   an d   with o u t a d d itio n al  r an d o m   SUs   ( a)   co n v en tio n al  m o d e  i n   L T   a n d   ( b )   r ea l m o d e  in   L T       3 . 1 .     M ulti - us er   benchm a rk ing   T ab le s   2 - 5   p r esen t  th e   co m p a r ativ e  p er ce n tag es  o f   th e  p er f o r m an ce   o f   ea c h   alg o r ith m   f o r   th e  m u lti - u s er   en v i r o n m e n t  in   co n v en ti o n al  m o d e   an d   th e   r ea l  m o d e   f o r   1 ,   2 ,   4 ,   6 ,   8 ,   an d   1 0   u s er s .   T h e   ab o v e  aim s   to   an aly ze   ea ch   m o d el ’ s   b eh av i o r   as  th e  n u m b er   o f   s im u ltan eo u s   ac ce s s es   o f   th e  E D  in cr ea s es.  T ab le  2   an d   T ab le  3   p r esen t th e   m u lti - u s er   b en ch m ar k in g   f o r   HT   a n d   L T   in   co n v e n tio n al  an d   r ea l m o d e s .   T ab le  4   p r esen ts   th e  o v er all  b e n ch m a r k in g   b y   tr af f ic  ty p e  f o r   HT   a n d   L T   in   co n v en tio n al  a n d   r ea l  m o d es.  Fin ally ,   T ab le  5   p r esen ts   th e  m u lt i - u s er   b e n ch m ar k in g   f o r   t h e  p r e d ictio n   m et r ics f o r   NB .       T ab le  2 .   Mu lti - u s er   b en ch m ar k in g   f o r   HT   M u l t i - u s e r   f e a t u r e s   D e e p   l e a r n i n g   A r med   f o r c e s   N a ï v e   B a y e s   S A W   M S U 1   -   C o n v e n t i o n a l   1 0 0   9 6 , 2 2   8 0 , 0 5   8 6 , 4 3   M S U 2   –   C o n v e n t i o n a l   1 0 0   8 9 , 9   9 7 , 4 2   8 9 , 6   M S U 4   –   C o n v e n t i o n a l   8 4 , 6 5   8 3 , 6 5   1 0 0   7 9 , 7 1   M S U 6   –   C o n v e n t i o n a l   7 7 , 6   7 8 , 2 6   1 0 0   7 6 , 5 9   M S U 8   –   C o n v e n t i o n a l   7 4 , 7 9   7 4 , 5 7   1 0 0   7 5 , 3 6   M S U 1 0   –   C o n v e n t i o n a l   7 1 , 8 7   7 2 , 2 2   1 0 0   7 2 , 6 1   C o n v e n t i o n a l   S c o r e   8 4 , 8 2   8 2 , 4 7   9 6 , 2 5   8 0 , 0 5   M S U 1   –   R e a l   8 5 , 2 9   1 0 0   8 3 . 2   8 9 , 8 2   M S U 2   –   R e a l   8 0 , 9 4   8 0 , 7   1 0 0   8 3 , 7 7   M S U 4   –   R e a l   7 8 , 3   7 5 , 1 2   1 0 0   7 5 , 6 4   M S U 6   –   R e a l   7 8 , 5 8   7 7 , 4 9   1 0 0   7 7 , 7   M S U 8   –   R e a l   7 1 , 9 4   7 1 , 4 1   1 0 0   7 3 , 3 3   M S U 1 0   –   R e a l   6 6 , 1 2   6 8 , 9 7   1 0 0   7 0 , 7 5   S c o r e   R e a l   7 6 , 8 6   7 8 , 9 5   9 7 , 2   7 8 , 5       T ab le  3 .   Mu lti - u s er   b en ch m ar k in g   f o r   L T   M u l t i - u s e r   f e a t u r e s   D e e p   l e a r n i n g   F F A H P   N a ï v e   B a y e s   S A W   M S U 1   -   C o n v e n t i o n a l   1 6 , 2 3   7 7 , 8 9   8 , 4 1   9 2 , 5   M S U 2   –   C o n v e n t i o n a l   1 8 , 3 6   7 4 , 4 5   1 0 , 8 9   1 0 0   M S U 4   –   C o n v e n t i o n a l   1 3 , 5 2   7 2 , 5 1   1 5 , 2 9   1 0 0   M S U 6   –   C o n v e n t i o n a l   1 3 , 1 2   7 7 , 2   1 8 , 5 6   1 0 0   M S U 8   –   C o n v e n t i o n a l   1 3 , 6 6   7 7 , 9 1   2 1 , 4 1   1 0 0   M S U 1 0   –   C o n v e n t i o n a l   1 4 , 4   7 9 , 4 3   2 3 , 8 3   1 0 0   C o n v e n t i o n a l   S c o r e   1 4 , 8 8   7 6 , 5 7   1 6 , 4   9 8 , 7 5   M S U 1   –   R e a l   1 7 , 5 4   8 4 , 2 1   9 , 1   1 0 0   M S U 2   –   R e a l   1 3 , 9 2   7 3 , 2 9   1 3 , 2 1   1 0 0   M S U 4   –   R e a l   1 2 , 2 4   5 4 , 2 6   1 5 , 3 7   1 0 0   M S U 6   –   R e a l   1 2 , 6 1   6 4 , 6   1 9 , 9 6   1 0 0   M S U 8   –   R e a l   1 3 , 7 7   6 3 , 8 7   2 1 , 3 9   7 4 , 5 2   M S U 1 0   –   R e a l   1 4 , 8 9   7 3 , 8 6   2 6 , 7   8 3 , 9 4   S c o r e   R e a l   1 4 , 1 6   6 9 , 0 2   1 7 , 6 2   9 3 , 0 8       T ab le  4 .   Glo b al  b en ch m ar k in g   b y   tr af f ic  ty p e   S c e n a r i o   D e e p   l e a r n i n g   F F A H P   N a ï v e   B a y e s   S A W   A A H   H T  C o n v e n t i o n a l   8 4 , 8 2   8 2 , 4 7   9 6 , 2 5   8 0 , 0 5   A A H   H T  R e a l   7 6 , 8 6   7 8 , 9 5   9 7 , 2   7 8 , 5   A A H   LT  C o n v e n t i o n a l   1 4 , 8 8   7 6 , 5 7   1 6 , 4   9 8 , 7 5   A A H   LT  R e a l   1 4 , 1 6   6 9 , 0 2   1 7 , 6 2   9 3 , 0 8   S c o r e   H T  G l o b a l   8 0 , 8 4   8 0 , 7 1   9 6 , 7 3   7 9 , 2 8   S c o r e   LT  G l o b a l   1 4 , 5 2   7 2 , 8   1 7 , 0 1   9 5 , 9 2     Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 5 0 2 - 4 7 5 2   I n d o n esian   J   E lec  E n g   &   C o m p   Sci ,  Vo l.  3 9 ,   No .   1 ,   Ju ly   20 25 :   1 90 - 2 0 1   198   T ab le  5 .   Mu lti - User   b e n ch m ar k in g   f o r   Naïv e  B ay es  i n ter f er e n ce   M u l t i - u s e r   f e a t u r e s   AAIH - HT   AAIH - LT   AAUH - HT   AAUH - LT   A A P H - HT   A A P H - LT   S c o r e   M S U 1   -   C o n v e n t i o n a l   5 2 , 6   75   1 0 0   1 0 0   1 0 0   4 4 , 6 7   7 8 , 7 1   M S U 2   –   C o n v e n t i o n a l   6 8 , 1 8   1 0 0   6 5 , 6 6   4 7 , 1 7   9 8 , 6 5   5 2 , 6 3   7 2 , 0 5   M S U 4   –   C o n v e n t i o n a l   8 6 , 8 9   8 2 , 7 6   5 2 , 0 1   2 6 , 7 7   9 1 , 2 6   7 9 , 5 7   6 9 , 8 8   M S U 6   –   C o n v e n t i o n a l   9 2 , 1 9   60   5 0 , 3 3   2 3 , 2 4   8 5 , 4 2   9 7 , 3 4   6 8 , 0 9   M S U 8   –   C o n v e n t i o n a l   9 5 , 6 5   5 0 , 5 1   4 7 , 0 8   2 2 , 3 4   8 2 , 8 9   1 0 0   6 6 , 4 1   M S U 1 0   –   C o n v e n t i o n a l   1 0 0   4 0 , 2 7   4 3 , 6 5   2 2 , 0 4   8 1 , 7 9   9 6 , 2 6   64   C o n v e n t i o n a l   S c o r e   8 2 , 5 9   6 8 , 0 9   5 9 , 7 9   4 0 , 2 6   90   7 8 , 4 1   6 9 , 8 6   M S U 1   –   R e a l   4 7 , 3 5   6 2 , 5   1 0 0   1 0 0   1 0 0   4 5 , 9 3   7 5 , 9 6   M S U 2   –   R e a l   7 9 , 8 9   1 0 0   4 9 , 6 7   4 0 , 9 8   9 7 , 5 1   5 8 , 4 1   7 1 , 0 8   M S U 4   –   R e a l   7 6 , 2 7   5 8 , 8 2   5 3 , 4 3   2 3 , 7 3   8 9 , 8 4   9 4 , 0 2   6 6 , 0 2   M S U 6   –   R e a l   8 0 , 5 4   50   4 9 , 0 6   2 3 , 2 7   8 3 , 4 9   1 0 0   6 4 , 3 9   M S U 8   –   R e a l   8 7 , 7 3   2 8 , 9 9   4 5 , 2 4   2 1 , 3   8 2 , 5 1   9 7 , 7 6   6 0 , 5 9   M S U 1 0   –   R e a l   1 0 0   3 1 , 6 5   3 7 , 3 5   2 1 , 2 6   8 1 , 0 1   9 4 , 9 8   6 1 , 0 4   S c o r e   R e a l   7 8 , 6 3   5 5 , 3 3   5 5 , 7 9   3 8 , 4 2   8 9 , 0 6   8 1 , 8 5   6 6 , 5 1   S c o r e   G l o b a l   H T   8 0 , 6 1   ON   5 7 , 7 9   ON   8 9 , 5 3   ON   7 5 , 9 8   S c o r e   G l o b a l   LT   ON   6 1 , 7 1   ON   3 9 , 3 4   ON   8 0 , 1 3   6 0 , 3 9       4.   DIS CU SS I O N   I n   th e  m u lti - u s er   ev alu atio n ,   b o th   p r e d ictiv e  an d   n o n - p r ed ictiv e  m o d els  wer e  em p l o y ed .   Fo r   s ce n ar io s   in v o lv in g   HT ,   t h e  m o d els u s ed   in clu d e  DL ,   th e  NB   p r ed ictiv e  m o d el,   an d   th e  M C DM   tech n iq u es o f   FF AHP   an d   SAW .   T h ese  m o d els  wer e  im p lem en ted   u n d er   b o th   co n v e n tio n al  an d   r ea l  m o d es,  with   ev alu atio n s   co n d u cted   f o r   v a r i o u s   u s er   c o u n ts ,   s p ec if ically   f o r   1 ,   2 ,   4 ,   6 ,   8 ,   an d   1 0   u s er s .   T h e  p r im a r y   m etr ic  u s ed   f o r   th is   ev al u atio n   was  t h e  cu m u lativ e  av e r ag e  h an d o f f   ( AAH) .   T h e  c o m p ar ativ e   r e s u lts ,   b ased   o n   th e   ty p e  o f   s i m u latio n   ( eith er   r e al  o r   c o n v e n tio n al)   an d   th e  n u m b er   o f   u s er s ,   a r e  p r esen ted   in   T ab le  2 .   T h e   f in d in g s   i n d icate   t h at  as  th e   n u m b er   o f   s im u ltan eo u s   u s er s   i n cr ea s es,  th e  p er f o r m an ce   o f   ea ch   m o d el  te n d s   t o   d ec lin e,   as th e  av ailab le  SOs   b ec o m e  m o r e   lim ited   an d   ch all en g in g   t o   id en tify .   Acc o r d in g   t o   th e  s co r e  o b tain ed   in   T ab le  2   f o r   HT ,   in   co n v en tio n al  m o d e,   th e  b est  p er f o r m an ce   is   NB ,   with   a  s co r e  o f   9 6 . 2 5 %,  f o llo wed   b y   DL ,   FF AHP  an d   SAW ,   o n   av er ag e;  th e  av er ag e  d if f er en ce   o f   ea ch   m o d el  c o m p ar e d   to   NB   is   1 3 . 6 5 %.  Fo r   th e  r ea l  m o d e,   Naiv e  B ay as  co n tin u es   to   b e  th e   m o d el  with   th e  b est  p er f o r m an ce ,   h o wev e r ,   th er e   is   v ar iatio n   with   r esp ec t  to   th e  s co r e  o f   th e  o th er   tech n i q u es,  DL   d r o p s   i n   p o s itio n   an d   is   lo ca ted   in   th e   f o u r th   s co r e ,   FF AHP  an d   SAW   in cr ea s e  in   p o s itio n   m ain tai n in g   th e   o r d e r   o f   th e   class if icatio n ; th e  av er ag e  d if f er en ce   o f   ea ch   m o d el  with   r es p ec t to   NB   is   1 7 . 4 8 %.    Acc o r d in g   to   th e  s co r e   o b tain ed   in   T ab le  3   f o r   L T ,   in   c o n v en tio n al  m o d e,   th e  b est  p er f o r m an ce   is   o b tain ed   b y   m u lti - cr iter ia  tech n iq u e s ,   u n lik e  HT ,   DL ,   an d   th e  NB   p r ed ictiv e  m o d el  ar e  n o t   lo ca ted   in   th e  f ir s t   p lace s ,   in   th e   s am e  wa y .   R e g ar d in g   th e   m u lti - cr iter ia   tec h n iq u e,   SAW   o b tain s   th e   h i g h est  s co r e,   wh ile  FF AHP  i s   in   s ec o n d   p o s itio n .   T h e  b est  p er f o r m er   is   SAW ,   with   a  s co r e  o f   9 8 . 7 5 %  f o llo wed   b y   FF AHP  with   7 6 . 5 7 %;   th e  l o west  s co r es  ar e   f o r   NB   a n d   DL   b elo w  1 7 %;  th e  d if f e r en ce   o f   ea ch   m o d el  wit h   r esp ec t   to   SAW   is   b elo w  2 2 . 1 8 %  f o r   FF AHP,   f o r   NB   7 5 . 4 6 % ,   an d   f o r   DL   7 8 . 9 2 %.  Fo r   th e  r ea l   m o d e  th e   b eh a v io r   is   p r o p o r tio n al,   th e  b est  p er f o r m an ce   is   SAW ,   with   a  s co r e   o f   9 3 . 0 8 %  f o llo wed   b y   FF AHP  with   6 9 . 0 2 %,   th e   lo west  s co r es  ar e  f o r   NB   an d   DL   with   s co r es  b elo w  2 0 %;  th e  d if f e r en ce   o f   ea c h   m o d el  with   r esp ec t  to   SAW   is   b elo w  2 0 %  f o r   m u lti - cr iter ia  tech n iq u es  an d   7 5 . 4 6 %  an d   7 8 . 9 2 %  f o r   p r ed ictiv e  m o d el   an d   DL   r esp ec tiv ely .   T ab le  4   p r esen ts   th e  co m p ar at iv e  ev alu atio n   ac co r d in g   to   th e  n u m b er   o f   Han d o f f s   f o r   HT   an d   L T ,   in   co n v en tio n al  an d   r ea l  m o d es.  Fo r   HT   th e  h ig h est  s co r e  is   NB ,   ad d itio n ally ,   th is   p r ed ictio n   tech n iq u e  h as   an o th er   r elev an t  ch a r ac ter is tic   co m p ar e d   to   th e  o th er s ,   p er f o r m a n ce   in cr ea s es  f o r   a  r ea lis tic  m o d el,   as  ex p ec ted   in   a  r ea lis tic  s ce n ar i o ,   with   u s er s   en ter in g   an d   leav in g   in   r an d o m   tim e,   th e  p r o f it  m etr ics  s h o u ld   d ec r ea s e,   h o wev er ,   alth o u g h   th er e  is   an   in cr ea s e  in   p er f o r m an ce ,   i t  is   o n ly   0 . 9 5 %,  wh ich   allo ws  u s   to   estab lis h   th at  th is   s tr ateg y   is   n o t  af f ec ted   b y   th e  in co r p o r atio n   o f   r an d o m   u s er s .   Fo r   th e  r est  o f   th e  s tr ateg ies,   th e  v ar iatio n   o f   th e  r ea lis tic  s ce n ar io   with   r esp ec t  to   th e  co n v en tio n al  o n e  is   less   th an   2 %  f o r   SAW   an d   f o r   FF AHP   i t is 3 . 5 2 % ,   an d   f in ally ,   th e  g r ea test   v ar iatio n   is   DL   with   7 . 9 6 %.    I n   L T   th e   b est  s co r es  ar e  f o r   t h e  m u lti - cr iter ia  tech n iq u es  S AW   an d   FF AHP  with   9 5 . 9 2 %  an d   7 2 . 8 %  r esp ec tiv ely ,   DL   a n d   NB   o b t ain   s co r es  b elo w  2 0 %,  with   r esp ec t  to   th e  v ar iatio n s   o f   th e  r ea l is tic  s ce n ar io   v er s u s   th e  co n v e n tio n al  o n e,   th e  g r ea test   v ar iatio n   is   p r ese n ted   in   th e  m u lti - c r iter ia  tech n iq u es,  7 . 5 5 %  f o r   FF AHP  an d   5 . 6 7 %  f o r   SAW ,   th e  v ar iatio n s   o f   DL   a n d   NB   a r e  b elo w  1 %,  alth o u g h   as  in   HT ,   NB   p r esen ts   an   in cr ea s e  in   p er f o r m an ce .   B ased   o n   th e  cu m u lativ e  c o s t  m etr ic  an aly ze d   ac r o s s   v ar io u s   d ec is io n - m ak i n g   m o d els  d u r in g   th e   n in e - m in u te   tr an s m is s io n   p er io d ,   b o th   in   co n v en tio n al  a n d   r ea l  m o d es,  th er e   is   a  n o t ab le  d ec lin e  in   th e   p er f o r m an ce   o f   th e  m u lti - cr ite r ia  tech n iq u es  as  th e  n u m b er   o f   u s er s   in cr ea s es.  T h e  s ce n ar io   with   a  s in g le  SU  d em o n s tr ates  th e  b est  p er f o r m an ce ,   with   th e  f ewe s t  ac cu m u lated   h an d o f f s ,   wh ile  th e  s ce n ar io   with   ten   SUs   Evaluation Warning : The document was created with Spire.PDF for Python.
I n d o n esian   J   E lec  E n g   &   C o m p   Sci     I SS N:   2502 - 4 7 5 2       B en ch ma r kin g   s p ec tr a l h a n d o ff ra te  p erfo r ma n ce   in   co g n itiv e  w ir ele s s   n etw o r k s   …   ( C esa r   Hern á n d ez )   199   s h o ws  th e  p o o r est  p er f o r m a n ce ,   with   th e  h ig h est  n u m b e r   o f   ac c u m u lated   h an d o f f s .   Fo r   s ce n ar io s   with   in ter m e d iate  n u m b er s   o f   u s er s ,   th e  o r d er   o f   p er f o r m an ce   f lu ctu ates  d u r in g   th e  f ir s t  th r ee   m in u tes;   h o wev er ,   b ey o n d   th is   p o in t,  s ce n ar i o s   in v o lv in g   2   to   5   SUs   ex p er ien ce   th e  m o s t  s ig n if ican t  a v er ag e  in cr ea s e  i n   h an d o f f s .   Per f o r m an ce   in   r ea l  m o d e  is   co n s is ten tly   lo wer   th an   in   c o n v en tio n al  m o d e,   p r im ar ily   d u e  to   th e   in tr o d u ctio n   o f   r an d o m   u s er s ,   wh ich   d im in is h es  th e  n u m b er   o f   av ailab le  SOs ,   m ak in g   th em   m o r e  ch allen g in g   to   id en tify .   I t  is   clea r   f r o m   t h e  r esu lts   th at  as  th e  n u m b er   o f   u s er s   r is es,  th e  ef f ec tiv en ess   o f   t h e  MCD M   m o d els  d ec r ea s es,  u n d er s co r in g   th e  lim itatio n s   o f   th ese   tech n iq u es  in   en v ir o n m e n ts   with   h ig h e r   u s er   d en s ities .       5.   CO NCLU SI O N   W ith   r esp ec t  to   th e  m u lti - u s er   en v ir o n m e n t,  it  was  ev id en t  t h at  as  th e  n u m b er   o f   u s er s   in cr ea s es,  th e  p er f o r m an ce   o f   ea ch   o f   th e  m o d els  d ec r ea s es.  NB   r esp o n d s   v er y   well  to   m u lti - u s er   tr a f f ic,   DL   is   n o t  af f ec ted   b y   r ea lis tic  s ce n ar io s   an d   th e  m u lti - cr iter ia   FF AHP  an d   SA W   tech n iq u es  p er f o r m   well  f o r   s ce n ar io s   with   lo w  tr af f ic.   I t is also   in ter esti n g   to   n o te  h o w  at  HT   lev els th e  p er f o r m an ce   o f   th e  e v alu ated   s tr at eg ies is   r ed u ce d   b y   ar o u n d   2 5 %  wh en   i n co r p o r ati n g   r a n d o m   u s er s ,   wh ile  f o r   lo w  tr af f ic  p e r f o r m an ce   i s   o n ly   af f ec ted   b y   ab o u t  1 2 %  in   th e  s am e  s ce n ar io   o f   r an d o m   u s er s .   T h is   s h o ws  th e  im p o r tan ce   o f   ca r r y i n g   o u t  s im u latio n s   in   en v ir o n m en ts   clo s er   t o   r ea lity ,   s in ce   th e   r esu lts   ca n   b e   af f e cted   b y   s ig n if ican t   m ag n itu d e s .   No w,   tak in g   in t o   ac co u n t  o n ly   th e  n u m b e r   o f   s im u ltan eo u s   u s er s ,   it  is   ev id en t   th at  in   ef f ec t  th e  g r e ater   th e  n u m b er   o f   u s er s ,   th e   lo wer   th e  lev el  o f   p er f o r m an c e,   h o wev e r ,   th e   r ed u ctio n   in   th is   ca s e  is   b etter   th an   th at  o b s er v ed   in   th e  ca s e  o f   r an d o m   u s er s ,   f o r   HT   it  is   o n ly   1 0 %  an d   f o r   lo w  tr a f f ic  th er e  is   n o   e v id en ce   o f   a n y   af f e ctatio n .   I n   g en er al,   ea ch   s tr ateg y   p er f o r m s   s atis f ac to r ily   in   ce r tain   s ce n ar io s ,   to   im p r o v e   p er f o r m a n ce   in   m u lti - u s er   ac ce s s ,   an   in ter esti n g   p r o p o s al  wo u ld   b e  to   h y b r id ize  th e   im p lem e n t ed   s tr ateg ies  o r   d e v elo p   a  m u lti - mod el  with   an   ad ap tiv e  m o d u le   th at  s elec ts   th e  b est  s tr ateg y   b ased   o n   t h e  s ce n ar io   an d   ap p licatio n   th at   is   b ein g   e x ec u ted   at   th at  tim e.   Fo r   f u tu r e  r esear ch ,   two   m ain   d ir ec tio n s   ar e  s u g g ested .   T h e  f ir s t  in v o lv es  d ev elo p in g   an   ad ap tiv e   m o d u le   ca p ab le   o f   d y n am ic al ly   ch o o s in g   t h e  m o s t  s u itab le  s p ec tr al  s elec tio n   m o d el   b ased   o n   th e   s p ec if ic   r eq u ir em e n ts   o f   th e  ac ti v e  ap p licatio n .   T h e   s ec o n d   d ir ec tio n   f o cu s es  o n   co n d u ctin g   ev alu atio n s   an d   v alid atio n s   u s in g   ac tu al  CR   eq u ip m en t   th at  ca n   m im ic  th e   b eh av io r   o f   a  CRN ,   r a th er   th a n   r ely in g   s o lely   o n   s im u latio n s .   T h is   ap p r o ac h   wo u ld   in c o r p o r ate  r ea l   s p ec tr al  o cc u p a n cy   d ata  to   p r o v id e   m o r e   r ea lis tic  an d   r eliab le  ass ess m en ts .       ACK NO WL E DG E M E NT S   T h e  au th o r s   g r atef u lly   ac k n o wled g e  th e  s u p p o r t  p r o v id ed   b y   th e  C en ter   f o r   R esear ch   an d   Scien tific   Dev elo p m en t   at  Un iv e r s id ad   Dis tr ital  Fra n cisco   J o s é  d e  C ald as,  wh ich   was  i n s tr u m en ta l  in   f ac ilit atin g   th is   r esear ch   p r o ject.       F UNDING   I NF O R M A T I O N    T h is   r esear ch   was  f u n d ed   b y   Un iv er s id ad   Dis tr ital   Fra n cisco   J o s é  d e  C ald as  u n d er   th e  f r a m ewo r k   o f   co n tr ac t 0 6 - 2 0 1 9 .       AUTHO R  CO NT RI B UT I O NS ST A T E M E N T       Na m e  o f   Aut ho r   C   M   So   Va   Fo   I   R   D   O   E   Vi   Su   P   Fu   C esar   Her n an d ez   ✓   ✓     ✓   ✓   ✓       ✓   ✓     ✓   ✓   ✓   Dieg o   Gir al     ✓   ✓   ✓     ✓   ✓     ✓   ✓   ✓         Fre d y   Ma r tin ez       ✓   ✓   ✓   ✓     ✓     ✓             C   :    C o n c e p t u a l i z a t i o n   M   :    M e t h o d o l o g y   So   :    So f t w a r e   Va   :    Va l i d a t i o n   Fo   :    Fo r mal   a n a l y s i s   I   :    I n v e s t i g a t i o n   R   :    R e so u r c e s   D   :   D a t a   C u r a t i o n   O   :   W r i t i n g   -   O r i g i n a l   D r a f t   E   :   W r i t i n g   -   R e v i e w   &   E d i t i n g   Vi   :    Vi su a l i z a t i o n   Su   :    Su p e r v i s i o n   P   :    P r o j e c t   a d mi n i st r a t i o n   Fu   :    Fu n d i n g   a c q u i si t i o n         Evaluation Warning : The document was created with Spire.PDF for Python.