TELKOM NIKA , Vol.14, No .4, Dece mbe r  2016, pp. 15 34~154 4   ISSN: 1693-6 930,  accredited  A  by DIKTI, De cree No: 58/DIK T I/Kep/2013   DOI :  10.12928/TELKOMNIKA.v14i4.3295    1534      Re cei v ed  De cem ber 1 8 , 2015; Re vi sed  Septem ber 4, 2016; Accept ed Septem be r 19, 2016   A Methodology for Characterizing Re al-Time  Multimedia Quality of Service in Limited Bandwidth  Network      Yoanes Ban dung* 1 , Idi S u mardi 2   1,2 School of Ele c trical Eng i ne e r ing a nd In form atics, Institut  T e kno l og i Ban d ung,   Jala n Ganes a 10 Ban d u ng, In don esia, Ph.: + 62-2 2 -25 0 0 9 8 5   *Corres p o ndi n g  author, e-ma i l : band un g@st ei.itb.ac.id 1 , idi s umardi @gm a i l .com 2       A b st r a ct   T h is pap er pre s ents how  to character i z e  the  qual it y of mu l t ime d i a  w h ich  consists of au dio a n d   vide o that ar e  transmitted i n  real-t i m e c o mmu n ic ation thr oug h the Inter net w i th li mite d ba ndw idth.  W e   deve l op ed a method ol ogy of  character i z i n g   t he mu lti m ed ia Quality-of-Ser v i ce  (QoS) by measur ing   netw o rk  para m eters (i.e ., bandw idth ca pacity, pack e t loss rate (PLR),  and e nd-to- e n d  del ay) of testbed n e tw ork a n d   simulati ng  the  aud io-v ide o   deliv ery  accor d in g to th e  measur ed  netw o rk par a m eter s. T he an alysi s of   netw o rk para m eters w a s aime d to describ e the netw o rk  cha r acteristics. Multimedi a QoS w a s character i z e d  by cond uctin g  a simul a tion  u s ing d a ta w h ic h w a s collecte d  from the  pre v ious n e tw ork character i z a tio n . A  simulati on n e t w ork mod e l w a s bui lt usin g  OMNet+ +  r epresenti ng a  del i v ery of aud io- v ide o  in re al-ti m e  w h ile a b a ckg roun d traffic w a s gener ate d  to repr esent  a real c o n d iti on of the  net w o rk. Apllyin g  the  meth od olo g y in  a netw o rk testbed i n  Indo nes ia ’ s  rur a l ar e a , the si mul a tio n  results show e d  that aud io-vi d e o   coul d be d e liv e r ed w i th accept ed lev e l of user  satisfaction.      Ke y w ords :   qua lity of s e rv ice,  multi m edi a  co mmu n ic ati on, a udi o a n d  vide o, n e tw ork charact e ri z a t i on,   li mited ban dw idth  netw o rk       Copy right  ©  2016 Un ive r sita s Ah mad  Dah l an . All rig h t s r ese rved .       1. Introduc tion  Multimedia  communi catio n  over th e In ternet h a s  b een the  subj ect of ma ny  resea r ch  works ove r  th e last fe w ye a r s [1]  -[3] . M u lt imedia co mmuni cation techn o logy  h a s been   avail able   to the tran sm issi on of a v a riety types  of medi a  su ch as text, graphi cs, a n im ation, audi o, an d   video ove r  th e Intern et tha t  are  ca rri ed  out conti nuo u s ly into d a ta  strea m . Basi cally, multimedia   strea m ing  ap plicatio ns  are  divided i n to  3 catego ri e s  [ 4 ] : (i)  stream ing of  stored audio/video, (ii)  strea m ing  of live audio/vid eo, and  (iii)  conversation al  of voice/ vide o-ove r-IP. Th ese  cate gori e s   are also  known  as (i ) video on demand, (ii)  live streaming, and (iii)  real   time streaming.   Fi rst,   video on de mand allo ws use r s to p e r form pl ayba ck  cont rol su ch a s  pa use, rewi nd, or f a st  forwa r d. Se cond, live stre aming all o ws use r s  to  re ceive live broad ca sts  such as b r o adcast   television o r  radio. Third, real time strea m ing a llows u s ers to com m unicate with a udio or video  in   real -time.    One ap plication of multim edia commu nicati o n  tech nology for e ducation is  dista n c e   learni ng thro ugh virtual  classro o m te chnolo g y.  This technolo g y allows a le arnin g  proce s s  facilitated by  a teacher in a real  classroom  c an  be virtually shared in to  other classroom s at  different lo cat i ons [5] . With  virtual cla s sroom  technolo g y, learning  p r ocess b e twe en two o r  more  cla s sroo ms can b e   con d u c ted through  a  re al-time  mu ltimedia  com m unication  o v er the  Intern et.  Learning  pro c e ss in  ea ch  cla s sroo m is  recorded into  audio a nd video an d tran smitted bet wee n   those  classro o ms. Moreov er, data also can be  comm unicated bet wee n  cla s sro o ms for exam ple   in remote p r e s entatio n or d e sktop shari n g.  Quality of audio and vide o durin g the  learnin g  pro c e ss th rou g h  a virtual cla s sroo m   techn o logy b e com e s a  sig n ificant fa ctor for the  su cce ssful delivery of  lear ning m a terial s. Thi s   is  becau se stu d ents in virtu a l cla s sroom  p a rticip ate vi rtually in a lea r ning p r o c e ss  with a tea c he r in   the real  cla ssroom. T hus, t he comfort of  learni ng m a terial s delive r y depen ds  o n  the qu ality of  audio - video  transmitted  through th e Inte rnet. Lo w  qu ality of audio - video can m a ke th e lea r ni ng  pro c cess  bei ng inte rru pte d  or even  cannot b e  h e l d . Our stu d y reveal ed th at the qu ality of  Evaluation Warning : The document was created with Spire.PDF for Python.
TELKOM NIKA   ISSN:  1693-6 930     A Methodolo g y for  Cha r a c terizin g  Re al-Tim e Multim e d ia Qualit y of… (Yoan es B andu ng)    1535 multimedia service s  whi c h  produ ce a   larg e  am ou nt of data [6 ] can  be aff e cted  by several   netwo rk pa ra meters [7]  su ch  as ban dwi d th, end -t o-e nd d e lay o r  l a tency, jitter,  and  pa cket l o ss  rate  (PLR).  Whe n  the  av ailable  ban d w idth  be com e  na rrow, th e  audi o a nd vi deo t r an smi s sion  may be di stu r bed [5] . Mo reove r , the q uality of audi o and vid eo requires  end -t o-en d del ay and   packet lo ss rate as lo w as  possibl e.   The co ncept of quality of service  (QoS ) is  define d  in ITU-T Re com m endatio n E.800 [8]   as the  coll e c tive effect  of se rvice p e rform a n c e,  whi c h d e termines th e d egre e  of u s ers  sat i sf a c t i on [ 9 ]   . QoS aims to provide a  better qu ality of  servi c e for  variou s ne ed s of the existi ng   netwo rk infra s tru c ture so t hat users g e t satisf a c tion  i n  usi ng n e twork-b a sed a p plicatio ns. Q o S  can  arran ge the provisio n  of diffe rent  service s   q ualit y  for  the  dive rse nee ds of  servi c e su ch as  providin g sp ecific  ban dwi d th, decre asi ng pa cket  lo ss, d e cre a si n g  delay time  and jitter.  Q o S  function s can  be descri be  as follo ws [1 0]   : (1) gradi ng pa ckets to  prov ide diffe rent se rvices  for   each cl ass o f  packets;  (2 ) con g e s tion  handli ng to h andle th e ne eds  of differe nt se rvice s ; (3 )  controling  of packet traffi c to re strict a nd contro lli ng  delivery of d a ta pa ckets;  (4)  sig naling  for  control the de vice functio n s that s uppo rts commu nication in the Internet.  There are  se veral ob stacl e s whi c h  can  affect  the quality of audio, video, or other data   transmitted throu gh the  Internet. O n e  of the ob st a c le s is  availa ble ba nd widt h of the net work  whi c h is typically very limited parti cula rl y in ru ral are a s like in Indone sia [5] . Increa sing a c ce ss  links of the network is ve ry expensive  and often ta kes several ye ars fo r their d eployment [1 1] so  that the Internet acce ss is  varied bet we en regi on s.  Another o b sta c le is asym etri c pro perty of the  netwo rk  whe r e the band wi dth capa ci ty of the upload  link is differe nt with those  of the downlo ad  link. Typically, the upload l i nk of the n e twork i s  great er than th e d o wnl oad lin k  of the netwo rk.   Tech nically, real time  mult imedia  comm unication  req u ire s   symmet r ical  b and wid t h ca pa city i n   orde r to tran smit the mult imedia which  con s ist s  of audio, video,  or othe r dat a in full-du pl ex  comm uni cati on scen ario.    In this pap er,  we aim to  study the effects  of netwo rk cha r a c ters to the audi o a nd video   quality in a re al-time multi m edia d e livery espe cia lly i n  limited ba n d width  netwo rk. Mo reove r ,  we  prop ose a methodol ogy  for cha r a c terizi ng mult i m edia QoS  whi c h is aff e cted by ne twork  con d ition s . There h a ve be en many stud ies on t he me asu r em ent of network an d multimedia, b u t  only a fe w  studie s  on  the  developm ent  of a meth odol ogy  for ch ara c teri zation   of multimedia Q o S   in  limited ban dwidth   netwo rk.  In previou s  studie s  of  [5] [11] [12] ,  netwo rk  charac teriz a tion  was   done by mea s uri ng the bro adba nd networks. Mea s u r ement ho sts  were co nne ct ed to high-sp eed  aca demi c  net work. Study in [12] propo sed met hod olo g y for charact e rizi ng re sid e ntial broa dba nd  netwo rks but  did  not yet   inclu de th e  chara c te rizati o n  of m u ltime d ia Q o S. In  this te chni qu e,  netwo rk me a s ureme n t wa s  con d u c ted  by usi ng  a p r obe  trai n  se nt from  ho sts located i n  fo ur  aca demi c  n e t works - three in  No rth  Ameri c a  an d on e in Eu rope. In  the  study  of [11]   ,  cha r a c teri zin g  real -time  video traffic  in re sidential  broad ban d netwo rks  wa s co ndu cted  by  analyzi ng n e tworks pe rforma nce for transmi tting  real-tim e video. Measurem ents  were   perfo rmed b e twee n DSL  end-h o st s in apartm ent compl e xes a nd sin g le ho use s  which  we re   con n e c ted to  the university network. In [5]   , network mea s u r em ent and  simu lation wa s d o n e   from DSL ho st located in ru ral area conn ected to a hig h -spee d acad emic net wo rk.        2. Methodol og y  for Multimedia QoS Char acteriza t ion   This se ction  descri b e s   o u r  pro p o s ed   me thodolo g y  to cha r a c teri ze  multimedia Q o S  wh en  variou s medi a su ch a s  au dio, video, an d data  are transmitted  over limited b a ndwi d th network.   Basically, the methodolo g y  prese n ts two impo rtant   procedu re s:  i) network chara c te rizatio n  to   obtain net wo rk  con d itions base d  on  several net wo rk p a ra meters mea s u r em ent in testbe d   netwo rk  and  ii) netwo rk simulatio n  to  dra w  the  q uality of multimedia  conte n ts if tran smi tted  across the ne twork. The p r opo sed meth odolo g y c an  be de scribe d in more d e tail  as follows.     2.1. Choosin g Net w o r k P a rameters fo r Measur e ment  Several  studi es  reveal that network paramete rs  such as bandwidt h availability, end-to- end del ay, an d packet lo ss rate have g r eat impa ct  on  the quality of audio, video,  or data in th e   multimedia delivery services [5] [11 ]  [12] . Based o n  those stu d ies,  we sugge st to ch oo se  th e   three  pa ram e ters to b e  m e asu r ed  o n  th e multime d ia  QoS  cha r a c terization.  We  present  seve ral   rea s on s be hi nd the sel e cti on of  the parameters a s  follows.  Evaluation Warning : The document was created with Spire.PDF for Python.
                             ISSN: 16 93-6 930   TELKOM NIKA   Vol. 14, No. 4, Dece mb er 201 6 :  1534 – 154 4   1536 1.  In data t r an smissi on, b a n d width  capa city is   related  to  the width of  the comm unication pip e   and ho w qui ckly bits ca n b e  sent.   2.  Multimedia  QoS will decline wi th increasing  delay time. Moreov er, if the multimedia  contents  spe nd m u ch  time towa rd s  the de stinatio n ho st,  it can cause failures in  real-time multimedi a   comm uni cati on.   3.  Packet loss  can b e  o c cu rre d wh en th e packet s  a r e disca r de d durin g its tra n smittion to   destin a tion h o st. Thi s  i s  b e ca use of  co nne ction  failu re, sudd en  ro ute chang e, traffic overl oad ,   or co nge stion  in the netwo rk. In gene ral ,  packets loss is the majo r cau s e of de grad ation o n   audio a nd vid eo quality.    2.2. Measuri ng and Inv e s t igating  Rur a l Net w o r k   Network mea s ureme n t aims to captu r e variation s  of network p r opertie s .   Me asu r em ent   method used in  this study can be de scri bed  a s   foll ow s. 1) Band wid t h cap a city of  netwo rk lin k  is  measured b y  using T C P (Tran s fe r Control Prot oc ol ) traffic.  In our exp e rime nts, se veral  measurement s we re done  repe atedly  u s ing certai n  ti me inte rvals  and t r affic l o ad. Acco rdin g to  the stu d y of [ 5 ] [11] [12] ,  minimum  me asu r em ents should  be  co n ducte d d u rin g  a  day. Here,  each iteration  of mea s u r e m ents fo r  up  to 10  se con d s  wa s  co nd ucted  with  int e rval time  of  30  minutes.  Ba ndwi d th capa city wa s me a s ured by fl oo ding the li nk  with data  pa ckets  se nt fro m  a   sou r ce ho st to a de stinatio n ho st. This  scen ario  wa s  aimed to  satu rate ba nd widt h .  2) End - to-e nd  delay was  m easure d  from  host - to-h ost  usin g IC MP (Internet Cont rol  Me ssa ge P r otocol)  pa ckets  with diffe rent  si ze s. Fi rst,  so urce  no d e  sent   the  same si ze  I C MP  echo re q uest pa ckets  and   destin a tion n ode  re spo n d ed with  the  sam e   size  ICMP e c ho  re spo n se p a ckets. Se co nd,   measurement  was cond ucted us ing the  MTU (Maxi m um Tra n sm issi on Unit ) value on ADS L   ( A s y mme tr ic   D i g i ta l Su bscr ib er  L i ne )  ne tw o r k .  Me asurem ents  we re p e rfo r med  rep eatedly i n   a   day by usin g a sp ecifi c   interval to chara c te ri ze the end -to-en d delay. 3)  Packet loss  rate   para m eters  were mea s u r ed usi ng  UDP (User  Data gram Protocol) by se ndin g  UDP d a tag r a m   packet s  from  source to d e stinatio n by using  different traffic load. We u s ed  UDP datag ram   packet s  b e ca use  it  could  repre s e n t mult imedia  delive r y. UDP d a ta gram  pa ckets with  si ze  14 70   bytes per d a tagra m  we re sent repe atedl y with different data rate.   Cha r a c teri zat i on of li mited  ban dwi d th n e twor k wa s d one  by inve stigating  ea ch  netwo rk  para m eters  measured in  the previo u s  se ction. 1 )  Bandwidth  cap a city wa s investigated  and   cha r a c teri ze d  by using th e re sult of b and width me asu r em ent. The data  wa s retrieve d fro m   sou r ce ho st and de stinatio n host du ring  the m easu r e m ent pro c e ss. We investig ated band wid t h  prop ertie s , i. e. allo cated   band width,  u p stre am   and  do wn stre am  ca pa city, an d ratio b e tween  upstream a n d  downst r ea m cap a city. 2) End - to- e n d  delay characteri zatio n   wa s co ndu ct ed by  usin g RTT  (Rou nd T r ip  Time) va riati on of ICMP   packet s  deliv ery. End-to -e nd del ay bet wee n   sou r ce ho st to destinatio n host  wa s obtaine d by  cal c ulatin g h a lf of the RT T (equ ation (1)).   Investigation  of end-to -en d  delay refers  to IT U-T re co mmend ation  G.114 [13] . The delay th at  occurre d  in e a ch  se co nd d u ring t he me asu r em ent proce s se s was also i n vestig ated. 3) Pa cke t   loss  rate i s  th e num be r of  packet s   whi c h a r e  not  received by  de stination  ho st. In ou r  ca se  st udy,   PLR was  cha r acte ri zed by  usin g mea s u r ement re sult s from two different lo cation s at the testb e d   netwo rk. PL R was  cal c ulat ed usi ng equ ation (2 ).  Furt herm o re, we investigate d  wheneve r  pa cket  loss ha s  occured,  wh ethe r it ha s o ccurred d u ri ng  the me asurement p r o c e s s or ha s o n ly  occurre d  at certain time s.  We al so inve stigated  ho w much th e pa ckets l o ss at  certain time s a n d   how ma ny times the em ergen ce of pa ckets  lo ss duri ng the mea s u r eme n t pro c e ss.         -  -              ( 1 )              100%          ( 2 )     2.3. Simulating and Ch ar act eriz ing Multimedia QoS  We characte rized multime d ia QoS thro ugh network  simulatio n  wi th a simulati on model   that appro a ches real net work  con d ition s . The si m u la tion wa s set  up acco rdin g  to the result s of  measurement  param eters: band width, e nd-to -en d  del ay, and packet loss  rate.         Evaluation Warning : The document was created with Spire.PDF for Python.
TELKOM NIKA   ISSN:  1693-6 930     A Methodolo g y for  Cha r a c terizin g  Re al-Tim e Multim e d ia Qualit y of… (Yoan es B andu ng)    1537 2.3.1. Simula ting Multimedia Deliv er y  In the s i mulation, we were s e nding a udio and video pac k et along with back ground  traffic. Param e ters  co nfigu r ed for the  deli v ery of  audio  were data  rat e  and  size of  the tran smitte d   audio. In  this re sea r ch,  we u s ed  data  rate which rep r esenting  Vorbis te ch nolog y. Same a s  t h e   delivery of a udio, data  ra te for video  delivery c an  use th e si ze  req u ire d  for the delive r y o f   comp re ssed  video such a s  VP8 [14] .  Based  on thi s  data rate, we dete r mine t he len g th of  each  packet  and t he inte rval b e twee n pa ckets. The  si ze  of audi o a n d video  pa ckets u s e d  in t h e   simulatio n  d e pend s  on th e  data  rate  an d du ration  of  sim u lation  a nd  wa s  cal c u l ated u s in g t he  equatio n (3 ).          ∗  ∗        ( 3 )     For me cha n ism of audio and video deli v ery,  we  installed a VoIP  appli c ation in  the first   host  as  a  se nder an d VoI P  appli c ation  in the  se c o n d  ho st a s  a  receive r . Simil a rly, the vide o  delivery u s ed  UDP ap plica t ions in stalled  together  with  VoIP applica t ions which the first ho st  as  serve r   and   the second  ho st a s   a  clie nt. Aud i o an d vide o pa ckets  were tran sm itted  simultan eou sl y from the first ho st to the  se con d  ho st . We in clud e d  ba ckgro u n d  traffic  so th at  approa che d   real  con d ition s  in  the fiel d. Backg r ou nd   traffic wa s set  up usi ng UDP   traffic  f r om  sou r ce to de stination. In ad dition, the del ivery  of the p a ckets  we re l i mited to maximum delive r y  time of 100 seco nd s.   Simulation of  multimedia   delivery  wa s rep eated  u s ing  seve ral  different  da ta rate s.  Multimedia  p a ckets  whi c h  were con s ist ed of au dio a nd video  we re se nt over t he net work  with   the lowest b a ndwi d th allo cation up to th e high es t d u ri ng the me asu r eme n ts. Parameters of e nd- to-end d e lay and pa cket loss we re al so config ure d  according to  netwo rk  cha r acteri stics in  the   field.       2.3.2. Chara c teri zing Multimedia QoS   In cha r a c teri zing multime d i a  QoS, we m easure d  an d  analyzed the  netwo rk pa ra meters  usin g obj ecti ve testing. A fter mea s u r in g and  an alyzing th e mul t imedia p a cket delivery,  we   investigated the characteri stics of multimedia QoS usin g PESQ [15] and PSNR. PESQ  was  use d  to estim a te the audio  quality and PSNR was u s ed to estim a te the video quality. Then we  applie d use r ' s  perce ption expre s sed in Mean Opi n io n Score (MO S ) to charact e rize multime d ia   QoS. The  correlation  between PSNR and MOS  c an  be seen in T able 1  while  PESQ using  MOS   scale. MOS v a lue  wa s calculated u s in g the E-m odel  f o rmul ation [1 6] . The first  step in  E-mo del   formulatio n is calculating th e rating facto r   .        9 3 . 2              (4)       0 . 024 0 .11 177 .3 177 .3          (5)       30ln 1 15            ( 6 )     The equ ation  for   aims to describ e disturban ce fa ct ors o n  the n e twork that affect   multimedia Q o S. Rating fa ctor   is cal c ul ated u s ing e q uation (4). Th e variabl e of    is  a  fa c t or  of  quality deg ra dation  cau s e d  by delay. T he varia b le  of   is a fa cto r  of  quality deg ra dation  cau s e d   by com p ressi on te chniq u e  and  pa cket l o ss .  The  con s tants in  equ ation (4),  (5)  and  (6 ) a r e t he  recomme nde d numb e rs b y  [16] which  are n o t ch an ged be ca use  of the netwo rk  con d ition s . To   cal c ulate MO S (ITU-T P.800) ba sed on  the estimated  -value, there are provi s io ns pre s e n ted in   equatio n (7 ).  ITU-T  re co mmend ation  G.107 [16]  has  esta bli s he d  a cla s sificatio n   of use r   satisfa c tion b a se d  on ratin g   facto r    of the E-mod e l formula an d the  estimate d M O S as  sh own  in Table 2.        1 1 0,035 R R R6 0  100 R 71 0   4,5   0 0  1 0 0   100    (7)       Evaluation Warning : The document was created with Spire.PDF for Python.
                             ISSN: 16 93-6 930   TELKOM NIKA   Vol. 14, No. 4, Dece mb er 201 6 :  1534 – 154 4   1538     Table 1. Co rrel a tion bet ween  PSNR an d MOS    Table 2. Rel a tion betwe en  MOS and    User Satis f action  PSNR  MOS   (up p er limi t )    R-Value   (lo w er limit)  MOS   (lo w er limit)  User satis fac t io n   > 37  4,5    90 4,34  Ver y   satisfied  32  −  37   3,5    80 4,03  Satisfied   26 – 31   2,5    70  3,60  Some users dissatisfied    20 – 25   1,5    60  3,10  Man y  users dissatisfied    < 20  0,5    50  2,58  Nearl y  all users  dissatisf ied       2.4. Validating Important I ssues o f  th e Metho dolog y  I n  t h is se ct io n we c o n s ide r  t o  dis c u ss t he  validation  of the metho dology propo sed in thi s   r e sear ch w o rk .     1.  Doe s  ou r me asu r em ent already refle c t  the ch ara c te ri stics of rural netwo rks?    We  pe rform   measurement  thro ugh  VPN (Virtu al  Priva t e Net w o r k)  chann el to  en sure  that  sent  probe  p a cket i s   an swered  by   co rre s po ndin g  d e stination h o st,  not by  any  ro uter i n  mi ddle  of   the net work li nk. Me asure m ent ho st lo cated in  the  te stbed  net work i s   config ure d  a s  a  VPN  cl ient   and a VPN server i s  located in a high -spe ed a c ad e m ic net work. In this mea s u r eme n t, we u s e   the same IP  add re ss seg m ents  betwe en me asure m ent ho sts a s  if  without  any intermed iate  route r . Each  measurement  is mo nitore d  ca refully  so that ou r mea s urem ent can  be ju stified. T o   con d u c t mea s ureme n t in real net wo rk  condition,   we  desi gne d me asu r em ent scenari o  a s  d e tai l   as  poss ible.     The mea s u r e m ents a r e co ndu cted repe atedly to  ensure that the  measurement  results  will have eno ugh informati on for ch ara c terizin g  t he n e twork. In the meas urem ent scena rio  that  we have d e s ign ed, ban d w idth me asu r eme n ts a r e  performed  200 time s, end-to -en d  de lay  measurement  are perfo rm ed 2000 time s, and pa ck e t  loss mea s u r eme n ts are perfo rmed 2 0 0   time s .  H o w e ve r ,  w e  limit ea c h  me as ur eme n t  o n l y +   10 second s to ke ep the in terest s of oth e r   use r s.  We  se t the inte rval  time b e twe e n  me asure m ents  as a n  a v erage  of  30  minute s . In   the   measurement s of b and widt h capa city, we blo c ked  oth e r u s e r s from  usi ng the  sa me net wo rk  so  that the maximum ban dwi d th cap a city can be mea s u r ed.  We ve rify th e a c cura cy  o f  the net wo rk me as ur e m en ts  as  fo llo w s .  F i rs t,  w e   c o mpa r e  band width  ca pacity from  measurement  with band wit dh ca pa city advertise d by Internet Servi c e   Provider  (ISP). The re sult s sh owed that the  bandwidth cap a city  from the measure m ent  wa s  simila r with  the ban dwi d th ca pa city adverti sed  by the ISP. Secon d , we com p a r e  the   measurement  result s on th e first locatio n  of te stbed netwo rk  with the se con d  location. It sho w n   simila rity in the mea s u r e m ent re sult s, ther efo r e it  can  be  con c l uded th at the mea s u r em ent s  have bee n ab le to capture the network chara c te risti c s.    2.  Why do we chara c te rize multimedia Qo S through a  simulation?   There a r e two re asons wh y we cha r a c terize multime d ia QoS th ro ugh  simulatio n . First ,   netwo rk capa city is limite d , parti cula rly i n  ru ral  area li ke i n  Indo ne sia. Testin g  wi th audio - vide o  strea m ing  directly on the  netwo rk  re qu ires th e ma j o rity of netwo rk re so urce  al locatio n  an d  it  usu a lly take s  a long  time.  While  ou r sce nario  re qui re s  strea m ing  whi c h i s  repe ated ma ny times,   multimedia QoS characteri zation  performed di rectly  on the net work will  overl o ad the net work  itself. On the other ha nd, the user ha s h i gh  inten s ity to use the n e twork resources.   Secon d ly, ou r metho dolo g y  requi re s two ho st s fo r n e twork m e a s urem ent at th e sa me  time. Howev e r, we a r e no t able to perf o rm an d co ntrol the expe ri ments in two  different pla c e s   simultan eou sl y. With simu lation, efforts fo r ch aract e rizating m u ltimedia QoS  become mo re   flexible. We can perfo rm m easure m ent s repe atedl y wi thout burd eni ng the network in the field.      3. Case Stud y   of Net w o r k  Measurem e nts   This stu d y uses testb ed ne twork in Cia n j u r  Re gen cy, We st Java Province of Ind one sia.  The n e two r k con s i s ts of  real -time mul t imedia  deliv ery sy stem t hat lies  on a  netwo rk of two   edu cation al e n tities ba se d  on Asymm e tric Di gital  Sub s cribe r  Li ne (ADSL)  acce ss net wo rk. In  its  architectu re, we define two Local Area Networks  (LA N s) in Cianj ur and one Ca mpus  Network i n   Evaluation Warning : The document was created with Spire.PDF for Python.
TELKOM NIKA   ISSN:  1693-6 930     A Methodolo g y for  Cha r a c terizin g  Re al-Tim e Multim e d ia Qualit y of… (Yoan es B andu ng)    1539 Bandun g: i)  LAN A i s  a  l o cal  network of edu ca tio nal entity in  locatio n  A  where  some  e nd- system s con s ist of data en d-sy stem, au dio end -sy s te m, and video  end sy stem s are d eployed,  ii)  LAN B is a l o cal  netwo rk  of edu cationa l entity in location B with t he same e n d - sy stems  as i n   LAN A,  and iii)  Campus network  where  a multim edia proxy  server  is inst alled to facilitate  multimedia d e livery betwe en two LANs.  The two edu cation al entities may be lo cated in seve ral  km  until som e  ten s   km fa r a w ay from  each ot h e r.  On the  othe r han d, the  di stan ce  betwe en  camp us n e twork in Ba ndu ng and the e d u catio nal enti t ies in Cia n jur regen cy is a r ound 6 0  km.   In many ca ses, broad ban d Internet  co nne ction s  in  edu cation al e n tities in ma ny rural   area s in Indo nesi a  are p r e dominate d  by ADSL acce ss network as  their last mile  conn ection.  As  sho w n in  Fig u re 1, two ed ucatio nal enti t ies ar e conn ected to  a telepho ne comp any throu gh fi xed   line tele phon e cable.  The   data  sent f r o m  a  Digita l  Subscri b e r  Li n e  Acce ss Mul t iplexer  (DSL AM)  is splitted   by a  splitter and  sent  to  DSL modem   u s ing   a dedi cate d point-to - poi nt con n e c tion.  T h e   data  conn ecti on to the  glo b a l net work i s   establi s h ed u s ing  dial -up  conne ction  wit h  Point-to -Poi nt  Protocol (PP P ). In several  edu cation al  entities i n  Ci anjur,  ban dwi d th capa citie s  of th e la st  mile   con n e c tion s are typically rangin g  from 5 12 kb ps u n til 2 Mbps.           Figure 1. A topology of test bed net work      3.1. Measure ment Scena r io  Measurement  scena rio i s  d e sig ned to  de termi ne ch aracteri stics  of  the testbe d n e twork.   In the scen ari o , several net work p a ramet e rs i n cl udin g   band width, e nd-to -en d  del ay, and pa cket  loss are m e a s ured a s  de scrib ed bel ow:    1. Bandwi d th   In  gen eral,  I n ternet ban d w idth co nsi s ts  of  d o wnstream ban d w idth and u p stre am  band width. In  our expe rim ents, the do wn st rea m  ba ndwi d th wa s  measured by  flooding the  link  band widt h u s ing Ip erf  appli c ation .  Ea c h  me as ur eme n t  wa s ru n fo r  up  to   1 0   s e c o nd s w i th  interval between mea s u r e m ents was a pproxim ately 30 minutes.  On the other han d, the   measurement  of the up stream ba nd wid t h wa s do ne  by sen d ing fil e s of a  ce rtai n si ze from   client to se rver.   2. End-to-end  Delay  End-to-end  d e lay wa s me asu r ed  usin g  ICMP  ech o  requ est a nd ICMP echo re spo n se.   Source ho st (clie nt) sent IC MP echo re que st (1,000  packet s ) an d  destinatio n host (se r ver)  respon ded  wi th ICMP ech o  respon se p a ckets of  the  same si ze.  The pa ckets  have differen t   sizes rangin g  from  32  bytes  up  to 1 4 7 2  bytes.  The   amount  of 3 2  byte refers t o  the  default   value of PING comm and,  while the si ze of 147 2 bytes refe rs  to MTU valu e of ADSL   netwo rks. We  repeate d  the  experime n t 10 times with 3 0  minutes tim e  intervals.   3.  Packet Loss  Rate (PL R )  PLR p a ra met e r  wa s me asured  u s ing v a riou s  si ze s  of UDP  data g ram s   with 1 470 byte s  per  datag ram  on Ip erf a p p licatio n. We  deliver ed  UDP data g ram s  fro m  5 64  Kbps  until 1 0   Mbps . The s i z e  of 564 Kbps  was   c a lc ulated fr om the data rate of audio-video pack et when  applying Vo rb is and VP8 compressio n schem es.         Evaluation Warning : The document was created with Spire.PDF for Python.
                             ISSN: 16 93-6 930   TELKOM NIKA   Vol. 14, No. 4, Dece mb er 201 6 :  1534 – 154 4   1540 3.2. Results of Ne t w o r k  Measur e men t    This sectio n  presents th e me asure m ent re sults i n  a c cordan ce with  the   scena rio  pre s ente d  in the pre c edi n g  se ction. Fu rtherm o re , we investigate  each parame t er to obtain the   cha r a c teri stics of the rural netwo rk.    1. Bandwi d th    It was o b se rved that b and width all o cati o n  of the testb ed  netwo rk  du ring th e   measurement  process  ha s  fluctuated.  From ten  time s  of mea s u r em ent, it was kn own  that th e   band width ra nged from 0. 13 Mbp s  up to 12.5 Mbp s  with avera ge 8.20 Mbp s  in the first  locatio n   (LAN A). In  the  se con d  lo catio n  (LA N  B ) , the  ban dwi d th  ra nged  from  0. 546  Mbp s  t o   12.1 M b p s   wi th average  7. 83 M b p s . We  found  t hat th e lo we st ba n d width  on  LA N A  wa s  0.13  Mbps o r  1.3 %  from sub s criptio n  ban d w idth up to  10 Mbp s . In some m e a s u r eme n ts, the  maximum ba ndwi d th allo cated exce ed ed the ca pa city subscri b e d  band width  of up to 12.5  Mbps o r  ap proximately 25% from sub scribed b and wi dth.          Figure 2. Bandwidth all o cat i on of testbed  network      Up strea m  ba ndwi d th ha s fluctuated in  line  with the  band width all o catio n  altho ugh th e   ratio  wa s  no t alway s  di rectly p r op orti onal . T he  ra tio between   upstream  an d ba nd width   allocation in  the two  LANs wa s  rangi ng  from 4  to 10 . In ord e r to  cha r a c teri ze  downstrea m ,   we redu ce t he ban dwi d th allocation  by the  upst r eam ba nd wi dth. We al so  comp ared the   downstream  and up strea m . Figure 3  sho w s th at down s tream  was  always large r  tha n   upstream  with ratio of 3 to 9.  We fou nd tha t  decrea s e  of band width  do  not di rectly d e crea se u p st ream ba nd wid t h with   the same  rati o. When the  band width all o catio n   is de cre a sed, we f ound the ratio of upstre a m   to do wn stre a m  sometime s in crea se d. The  results of me asure m ents on  th e first lo catio n   sho w e d  whe n  the band width allo cat i on wa s de cre a sed to 4.71 Mbp s , upstre a m to   d o w n s tre a m   r a tio   w a s  inc r ea se d  to   1 : 3  ( 1 .18  Mb p s ) .  O n  the  s e c o n d  loc a tio n ,   w hen  band width  all o catio n   wa s  only 3.95  Mb ps, the  ratio  of up stre am t o  do wn stre a m  was 1 :  3   (0,97 M b p s ).  To a s sure t h is  result, we  tried o n  oth e r net wo rk  a nd obtai ned  simila r re sult s  with testbe d netwo rk.    2. End-to-end  d e lay  We  cal c ulate d  end -to-end  delay u s ing  equatio n (1 )  and ig nored  no re sp on se  packet s .   End-to-end d e lay on the first and  se con d  locatio n  wa s ra nging fro m  7 ms to 55 6 ms an d fro m   8 m s  to  19 18  ms,  re sp ecti vely. RTT  wa s hi gh  only i n  a fe w  mome nts, an d thi s   woul d  cau s e   interferen ce  on multime d i a  streamin g. The  ave r a g e  of en d-to -e nd del ay on  the first a n d   se con d  location wa s 25.6 8  ms and 88.7 9  ms.   3. Packet  Loss  Rate   PLR  wa s cal c ulate d  u s ing  equatio n (2).  From  th e m easure m ent s we  obtaine d  that the  PLR in LAN  A and LAN B were 5.8% an d 8.6%, resp ectively.            100% 5 .8%   Evaluation Warning : The document was created with Spire.PDF for Python.
TELKOM NIKA   ISSN:  1693-6 930     A Methodolo g y for  Cha r a c terizin g  Re al-Tim e Multim e d ia Qualit y of… (Yoan es B andu ng)    1541      100% 8 . 6 %           Figure 3. Do wn strea m  to Up strea m  Ra tio        Figure 4. Packet Lo ss  Rate  of the Testbe d Network      In this study  we al so in vestigate the  oc curren ce  of packets loss du ring  netwo rk  measurement s. The exp e ri ments  rev eal  that packet l o ss only o c curs  at ce rtain  times. Figu re 4   sho w s the occuren c e of pa cket loss rate  for  the LAN A and LAN B during the m easure m ent s. It  wa s sh own that the packet loss rate vari ed from 8% to 90%.       4. Simulation Stud y  of Characteri z i ng Multimedia QoS  4.1. Validating Important I ssues o f  th e Metho dolog y  We buil d  a n e twork  simul a tion mod e l that rep r e s ent s multimedi a  delivery in th e testbed   netwo rk  whi c h applie s  We bRT C  techno logy. From  th e netwo rk topology on Fi gure  1, we d r aw  the simul a tio n  model  ba sed on  OM NeT++  Netwo r k Simulato r  with INET F r ame w o r k. T he  simulatioi n m odel o n  Fi gu re 5  con s ist s  of seve ral   comp one nts,  i.e. inte rn et clo ud, route r s,  acce ss p o ints, and host s . In gene ral, we  arra nge the  comp one nts i n to three g r o ups: Lo catio n  1   or  LAN A to  repre s e n t e d u c ation a l e n tity 1, Lo ca tio n   2 o r  LA N B  to represent  e ducational  en tity  2, and intern et cloud to  re pre s ent the I n ternet. In LA N A dan LA N B, each ho st  is co nne cted  to   an a c cess  p o int that works on f r equ e n cy of 2.4  G H z with  a m a ximum data  rate  cha nnel  54   Mbps .  T he a c ce ss  point i s  con n e c ted to  a route r   which act s  a s  a g a teway fro m   each LAN to t h e   Internet  clou d  via ethernet l i nk  with data   rate of  1 00 M bps. T he d a ta rate  of con nectio n  bet ween  both route r s to the internet  clou d is set to the  values th at appro a ch real co ndition i n  the field.  Data rate b e t ween route r  and intern et cl oud is  co nfigure d  ba sed on the u p stre am  band width  ca pacity in e a ch location. Simulation  st ud y is built u s in g symmet r ic  band width,  while   testbed  network ha s  asy mmetric ba n d width  whi c h  is in  ge nera l , the up stre am ba nd widt h is  Evaluation Warning : The document was created with Spire.PDF for Python.
                             ISSN: 16 93-6 930   TELKOM NIKA   Vol. 14, No. 4, Dece mb er 201 6 :  1534 – 154 4   1542 alway s  small e r than the downs tream  band width. We dete r min e  the data rate used in  the   s i mu la tion  wa s  tw ic e   o f  u p s tre a m   b a n d w id th . T h e in te r n e t   c l o u d  is  ass u med  a s   h i g h   s peed  netwo rk a nd i s  co nfigured to 100 Mbp s .           Figure 5. Net w ork Simulati on Model       We u s e mea s ureme n t results on ea ch  netwo rk  te stb ed to configu r e end -to-en d delay   para m eter on  the  simulatio n . From  the  measurem ent  re sults,  end -t o-en d d e lay p a ram e ter i s   set   to 25.68 m s   at LAN A a n d  88.79  ms  a t  LAN B.  Del a y paramete r  in internet cl oud i s  a s sum ed  and  config ure d  to 5 m s . In  addition, fo r  config ur in g Bi t Erro r Rate  (BER) p a ra me ter on  the lin k  betwe en ro uter and inte rn et cloud, it is assu me d that the value for the para m ete r  is 10 -5 .     4.2. Multimedia Content  Deliv er y  Scenario   In this re sea r ch,  simulatio n  of multimedia  delivery that con s i s ts  of audio, video, an d   backg rou nd t r affic i s  confi gure d  u s ing  o ne-way  com m unication. T he u s e of  ba ckgroun d traffi c is  aimed to ap p r oximate the  real n e two r k  con d iti on. Th e simul a tion  model i s  run  on a laptop f o r  100 second s.  The delivery  of audio, vide o, and  ba ckground traffic  was configu r ed  as follows.   1. Audio   To simulate  audio pa cket s delivery, we used  sim p leVoIPSende r  applicatio n that wa s  installe d in  sende r  ho st. In the  re ceiv er  ho st, it was i n stall ed  sim p leV o I P R e cei v e r . In t h is  simulatio n , audio pa ckets wa s  tran smitted usin g  talk P a ck etSiz e = 160  b y te s   an d  packeti zationI nterval= 0.02  se con d s. T h i s  configu r atio n wa s ta ke n  to app roa c h  audio  delive r y  usin g Vorbi s   with data rate  of 64 Kbps.   2. Video   We used   UDPVideoStrea m S vr  that  wa s in stalle d in  se nde r  ho st. In the  receiver  ho st,   we installed  UDPVide oS tream Cli . In this sim u latio n , video pa ckets  wa s tra n smitted u s i ng  packetL en =1 024 byte s an d  se ndInterval =0.0 16 se cond s.  This confi guration  wa s u s ed in  orde r  to appro a ch video delive r y usin g VP8 with data rate of  500 Kbps.   3. Backgroun d  Traffic  We used  UD P B a sicA p p  t hat was i n st alled in  send er h o st.  Whil e in the  rece iver ho st   UDPSink  was in stalled.  In this simulation, video pa cket s wa s tra n s mitted u s in g  messag eLe n g th=5 12 byt e s a nd  se ndInterval =0. 032  se con d s . Backg r ou nd traffic  wa s  transmitted d u ring a udio a nd video deliv ery pro c e s s.     4.3. Chara c teriza tion of  Multimedia QoS  In this se ctio n we d e scrib e cha r a c teri zation of multi m edia Q o S both audi o a nd video   delivery. We i n vestigate e n d -to-end d e la y and packe t  loss to obtai n these  cha r acteri stics. End- to-end  delay  of audio  wa s varie d  ap p r oximatel y 0. 14 second s to 1.2 se co n d s. Wherea s its   averag e  wa s  0.16  se con d s. The  high est  delay  wa s o c curred  in th e first second , whi c h  wa s  1.2   se con d s a n d  next second  was va ried  betwe en 0.1 4  se con d s to  0.19 se con d s . This  con d i t ion  wa s simila r a s  the network characte ri stics  whe r e  in first second, b and width allo cation ten ded  to  be  small. Accordin g to IT U-T G.1 14, e n d -to-end   dela y  of audio  tra n smi ssi on  ha s b ad u n til go od   quality. Howe ver, overall e nd-to -en d  del ay can be a c cepte d  with g ood qu ality.  Evaluation Warning : The document was created with Spire.PDF for Python.
TELKOM NIKA   ISSN:  1693-6 930     A Methodolo g y for  Cha r a c terizin g  Re al-Tim e Multim e d ia Qualit y of… (Yoan es B andu ng)    1543 Audio pa ckets that was d e livered for 1 00  se con d s  experie nced  42 pa cket s  loss wit h   varied  rate  b e twee n 0%  to 25%. If the  pa cket lo ss  wa s o b serve d  eve r y seco nd, the  high e s t  packet lo ss  (25%) o c curre d  whe n  simul a tion run n ing  until 2 secon d s, wh ere a s t he next packet  loss rate  wa s varie d  bet wee n  0% to 5%. PLR wa s co nfigu r ed  at 1.3%. Accordin g to ITU-T   G.1010  [17] ,  PLR for  audi o conversatio n s  sh ould  be   less tha n  3%.  Overall, audi o qu ality in th is  simulation can be well accepted be cause the value of PLR is still  less than 3%, whi c h is 1.3% .          Figure 6. End-to-e nd del ay of audio     Figure 7. Packet loss rate of audio       End-to-end  d e lay of audi o  wa s varie d   appr oximatel y 0.121 seco nds to  0.172  se con d s  with average  value of 0.1 35 se co nd s. Bas ed on  IT U-T G.  114 recom m en dati on,  end -to-e n d   delay video d e livery that can be  well a c cepte d  is  le ss than 0.4  se con d s. In the  simulatio n , e nd- to-end  delay  of video delivery wa s 0.13 5 se con d s.  T h is sho w ed t hat the video  can b e  a cce p t ed  with goo d qu ality.          Figure 8 End-to-end d e lay of video    Figure 9. Packet loss rate of video      Within  100   seco nd s a m ou nt of 6,2 50,0 00 by te s vid e o  pa ckets  we re  delivered f r om th e  sou r ce and  6 , 088,704 byt e s data  we re  received at  the de stinatio n. From this  experim ent, we  cal c ulate d  th e PLR at ap proximately 2 . 6% t hat am ount of 1 61, 296 byte s p a c kets  we re l o st.  Based  on o u r observation,  it was  sh own that a numb e r  of pa cket lo ss  rate  we re  not the same  at  every time, b u t it only o c curred fo r  cert ain second.  Acco rdi ng to  ITU-T  G. 10 1 0 , PLR fo r vi deo   delivery sh ou ld be less th an 1%. Whe n  the pac ket  loss wa s ob served at every seco nd, video  delivery at ce rtain times  was suffered lo ss that can n o t be tolerate d.  Furthe rmo r e  we  cal c ulate d  R-val u e s  ba sed  on  equ ation (4).  R-valu e of au dio a n d  vide o   delivery obtai ned are 84.1 1  and 80.0 8 . MOS value wa s calculated  using e quati on (7 ). MOS of  audio  delivery was 4.17  a nd MOS  of video d e livery  wa s 4.03. Ba sed  on T able  2, the qu ality of   multimedia d e livery over t e stbe d netwo rk a c hi eved u s er  sati sfacti on level which wa s satisfie d. It  can  be  co ncl uded  that the  testbe d net work was fea s i b le for re al-ti m e multime d i a  delive r y su ch  as di stan ce le arnin g  activities thro ugh virtual cla s sroo m technol ogy .  Evaluation Warning : The document was created with Spire.PDF for Python.