Internati o nal  Journal of Ele c trical   and Computer  Engineering  (IJE CE)  V o l.  5, N o . 1 ,  Febr u a r y   201 5,  pp . 71 ~77  I S SN : 208 8-8 7 0 8           71     Jo urn a l  h o me pa ge : h ttp ://iaesjo u r na l.com/ o n lin e/ind e x.ph p / IJECE  Low bit Rate Video Qu ality  Anal ysis Usin g NRDPF-VQA  Algorith     Subrahm a n y am Ch,  **  D  Venkat a   Rao ,   ** N  Usha Ra ni  Res earch  S c hol ar,  **  Prin cip a l,   * **  P r ofes s o r & Head    *, ***  School of  Electronics, Vign an’s Foundation   for Sc ien c e,  Technolog y  and  Res earch  University  Vadlamudi, Guntur Dist, India  **  Narasar a opet a  Institut e  of  Eng i neeing  &  Te chn o log y , Nar a sara opeta , Guntur  Di st, Indi a       Article Info    A B STRAC T Article histo r y:  Received Oct 1, 2014  Rev i sed  No 31 , 20 14  Accepted Dec 20, 2014      In this work, we propose NRDPF-V QA (No  Referen ce Distortion Patch   F eatures  Video  Qualit y As s e s s m ent) m odel a i m s  to us e to m eas ur e the v i deo   quality  assessment for H.264/AVC (Adva nced Video Coding). Th e proposed  me thod ta ke s adva nta g e  of the c ontra st c h a n ge s in  the  vide o qua lity   by   luminance ch an ges. Th e propos ed quality   m e tric was tested  b y   using LIVE  video datab a se. The  experim e ntal  results s how that th new index   perform ance  co m p ared with the  other NR-VQA m odels  that req u ire tr ainin g   on LIVE video datab a ses, CSIQ vi deo databas e , and VQEG  HDTV video  datab a s e .  The  v a lues   are  com p ared wi th hum a n  s c ore  index   anal ys is  of   DMOS.   Keyword:  H. 26 4/ A V C   No-Refe r ence   NRDP F- V Q A   N R -V QA  VQE G H D T V   Copyright ©  201 5 Institut e  o f   Ad vanced  Engin eer ing and S c i e nce.  All rights re se rve d Co rresp ond i ng  Autho r Su bra h m a ny am .C h,   Research Sc holar,  Scho o l   of  Electr on ics,  V i gn an s  Fo und atio n fo r   Scien ce, Tech no log y  an Resear ch Un iver sity  Vadl am udi , G unt ur   Di st , I ndi a.  E-m a il :   sub r a h m a ny am ch20 02 @ g m a il .com       1.   INTRODUCTION   We kno w t h u n d e rlyin g  `quality aware' n a t u ral  v i d e o  statistics  m o d e l in  th e sp ace-tim d o m ain  an descri be pe rce p t u al l y  rel e va n t  t e m poral  feat ures t h at  are u s ed t o  m odel  i n t e r s u b b a nd c o r r el at i ons  o v e r  b o t h   l o cal   an d gl o b a l   t i m e   spans [ 2 , 4,  6, 1 4 , 1 9 ,  22] .   Th e ove ra l l   m odel   i s   t h e  basi s on   a n   al g o ri t h m   fo r pre d i c t i n g   v i d e o   q u a lity th at is sh own  t o  co rrelate wel l  with   h u m an  ju dg m e n t s o f  visu al qu ality. We also  co m p are it's   perform a nce to state-of-t he-a rt FR and NR  VQA approac h e s  [ 18] .  B e f o re   we  desc ri be t h e m odel  i n   det a i l ,  we  revi e w   rel e va nt   pri o w o r k  i n  t h e a r ea  of  V Q A We   creat e a  `zer o  sh ot '  NR   V Q A  m odel  by  m a ki ng  m easurem ent s  o f   perce p t u a l l y  rel e vant  t e m poral   vi de o  st at i s t i c s [1 4 ] . Nat u ral   vi d e os c o nt ai r e gul a r   structures a nd ha ve  general l y piece-wise   sm ooth lum i nances i n  s p ac etim e separated  by s p arse  s p atio- te m p o r al edg e   d i scon tinu ities [16 ] . Th is st ro ng   p r o p erty of n a t u ral v i d e os h a b een  explo ited  in  a v a ri ety o f   applications.  It induces self sim ilarity over s p ace a nd t i m e  which, for exam ple, ha s bee n  e xpl oited for  reso l u tio n enhace m e n t , action   recogn itio n ,   RR an d NR  VQA [1 2,  1 9 21 ]. Self sim i larity statist i cs co m p u t ed   usi n g di f f ere n ces bet w ee n cons ecut i v e f r a m es have bee n  use d  t o  cap t u re di st o r t i o n - i n duce d  ana m ol ous   b e h a v i or an d   to  con d u c t v i su al qu ality in feren c e. Deriv i n g  i n sp iratio n fro m  th ese ex am p l es, we  m o d e te m p o r al self similarities  u s ing   fram e  d i fferen ces  b e tween  con s ecu tiv fram e s. On ce t h no rm alized   coefficients for each subba nd  are co m puted,  each  coefficient m a p is  par titi one d into P X  P patches [14, 19].  Features  are e x tracted  using t h e c o effi cients  of each patc h. The c o e fficien ts of each sub-band a r e m ode led as   obey i n g  a  ge n e ral i zed  Gaus s i an di st ri but i o n,  w h i c h e ffec t i v el y  capt u res  t h beha vi o r   of t h e c o ef fi ci ent s   o f   nat u ral  an di s t ort e d  o f   vi de o s  [ 17] .   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I S SN 2 088 -87 08  IJEC E V o l .  5, No . 1, Feb r uar y   20 1 5   :    7 1  – 77   72 We  have  p r o p o se d t h use  o f  exem pl ar nat u ral   pi ct ure c o nt ent  as  gr o u n d  t r ut rel a t i v e t o  w h i c h   statistical  reg u larity  may b e   d e term in ed . Such  a m o d e l, h o wev e r, m a y b e  li mited  in  th at  it can  o n l y cap ture  comm on basel i ne cha r acteris tics of a  speci fic collection  of  non -d istorted con t en t, and  i s  th ereb n o t  ab le to   uni versal l y  re prese n t  vi de speci fi c i n t r i n si c charact eri s t i c s [1, 9, 1 2 ] .  Al so, t h e c o nst r uct i on  of  suc h   d a tab a se  requ i r es th e unb iased  selectio n  an d  m a in tain ence o f   h und reds o f   n a tural und isto rted  v i d e os. Th is  also  raises   the que stion of how  m a ny  exemplar  vide os a r e  nee d ed to  desi gn an accurate  natural vi deo  m odel,   and  how  distinctive these nee d  to  be relative  to each  othe and t o  the world of  vide os   [4, 9,  12, 17]. Fi nally,  gi ve n t h e l i m it at i ons o f  i m age/ vi de o cam era capt u re,  d i sto r tion s  are inev itab l y in trodu ced  i n  th e cap t ure  pr ocess  an he nce t h e  p r ocu r em ent  of  pe rfe ct l y  nat u ra l   `p r i st i n e'  vi deos i s  p r act i cal l y  impos si bl [1 6] .     2.   R E SEARC H M ETHOD    Th e ap pro ach for th e NR DPF-  VQA  (No  Refere n c Distortio n  Patch   Feature Vid e o  Qu ality  Anal y s i s ) t h at  we ha ve de vel ope d can  be su m m a ri zed as f o l l o w s . Gi ve a (po ssi bl y  di st ort e d )  vi de o h a vi n g   l o bi t  rat e , fi r s t  com put e e n c odi ng  a n d  dec o di n g   of  t h e  f r a m es sel ect ed b y  t h vi de du r a t i on.  The  f o l l o wi ng   are t h e  eq uat i o ns t o  t o  ap pl i e d  t o  a  gi ve di st ort i o vi de [1 5] .   The  e q u a t i ons  rep r ese n t   t h e f eat ures of   t h e di st ort i o n pa tch e o f   v i deo. It also  ob ser v ed  th at t h e normalized   l u m i nance  val u es st r o ngl y  t e nd t o wa r d s a  uni t   no rm al   Gaus si an c h ar act eri s t i c  for  vi de o. C o m put e t h e   M A TLAB  p r o g ram  fo r the  eq uation s .        .  .      Whe r                    ,  1 ,  ,    ,  and   ,  are  h o ri z ont al  a n d  ve rt i cal   m o t i on  vec t ors at   pi xel  (i , j ) re spect i v el y ,   w i s  t h wi n d o w   of  di m e nsi on m  X m  ove whi c h t h e  l o cal i zed   com put at i on  of  t h e t e n s o r  i s   p e rf orm e d.          | , ,   |  |     1/    /  /    Γ        z>   The  NR D PF- V Q A  al g o ri t h m  i s  desi gne f o r t h i s   vi de qual i t y  assessm ent   pu r pose .  T h M A TLAB  co d e  i s   devel ope d f o r ent i r e quat i o n s           Fi gu re  1.  Ex pe ri m e nt al  set up  usi n g L I VE  da t a base   L I VE  VI D E O   DATAB ASE R E L E ASE   NRDPF-V QA  ALGOR ITH M   DIST ORTI ON VI DEOS   QUAL ITY   METR IC   Pear so n and  Spea rm an correlation c o efficient  Out put im ages  Evaluation Warning : The document was created with Spire.PDF for Python.
I J ECE   I S SN 208 8-8 7 0 8     Lo w b it  Ra te Vid e o  Qu a lity  An a l ysis Usi n g NRDPF-VQA Alg o r ithm   (Subra h ma n y am .C h )   73     Figu re  2.  NR D PF- VQ A m ode l fram e  wo rk       3.   R E SU LTS AN D ANA LY SIS    Wh ile  we are u s ing  a pro b ab ilistic fram e work fo r d i st o r tion  classifi catio n   wh ere  we  u s e the  p r ob ab ility o f  v i d e o  b e ing   d i sto r ted   with  a p a rticu l ar d i stortio n, bu t j u st  as a p r oof o f   ho g ood  th e featu e use d  i n  t h e  f r a m ewor k act  as  di st o r tion  id en tifiers and  also   wh ich   d i stortio n s  are m i scl a ssified   with  wh ich   one s,  we are  re porting the c onfusi o n m a trix for  first st a g e cl assification.  We woul like to point out that  each  ent r y  i n  t h e c o n f usi o n m a t r ix i s  t h e  m ean of  co nf usi ons  acro ss L I VE   vi de dat a base W e   can  see  fr om   dat a base t h at  H. 26 4/ A V C  f o rm at i s  conf us ed wi t h  ot her  fo rm at s. Al so, M P EG- 2  an d  IP are al so co nf use d   som e t i m e s. Whi t e  noi se a nd  B l ur are c o m p arat i v el y   m o re ro bust  i n   det ect i on an d n o t  c o n f used  us ual l y  wi t h   ot he r di st ort i o n s       (a)       (b )     (c)         NRDPF- VQA  MOD E L TEST VIDE TRAI NE M ODEL   SPAT I AL AN TEM P O R A ACTI VI TY  FE ATUR ES Evaluation Warning : The document was created with Spire.PDF for Python.
                      I S SN 2 088 -87 08  IJEC E V o l .  5, No . 1, Feb r uar y   20 1 5   :    7 1  – 77   74   (d )     (e)       ( f)      (g )     Fi gu re  3.   Im ages  fr om  (a) t o  ( g ) a r e c o nsi d er f o H. 26 V i deo  wi t h  l o w   bi t  rat e       As we com put ed ha ve correl ations for each algorithm  ove r train test trials, we find m e a n  SROCC value and  the standa rd error associate d  with  these correlation val u es W e  pl ot th e sam e  across the dataset along with  err o r  ba rs  o n st anda rd  de vi at i on  wi de  f o r  ea ch  of  t h e e v al u a t e d al g o ri t h m s     Tabl I .  Gr o u n d   t r ut h   an d NR DPF - V Q A  fo r vi de os (a ) ,  (c ),   (d ),  (f ) a n d ( g fr om  live VQ A  databa se   Video a  f   Actual  0. 9500  1. 4600   1. 1800  1. 1800  0. 5000   VL   bit-r a te  1. 0923  1. 2651   1. 1981  1. 0189  0. 9365   NRDPF- VQA  ( P roposed)   1. 0021  1. 3642   1. 1842  1. 1792  0. 6245                 Evaluation Warning : The document was created with Spire.PDF for Python.
I J ECE   I S SN 208 8-8 7 0 8     Lo w b it  Ra te Vid e o  Qu a lity  An a l ysis Usi n g NRDPF-VQA Alg o r ithm   (Subra h ma n y am .C h )   75 Tab l e II. Med i an  SR OCC co rrelatio n s   on  every po ssi b l e com b in atio n  of train /test set sp lits (subj ectiv DM OS  V s   NRDPF - V Q A   D M OS) .   80%  o f  co ntent  use d  f o r  trainin g   Distortion PSNR   SSIM   VQM   STMA D   MOV I E   RRED   VIDE O- BLIIN DS   NRDPF- VQA   M P E G - 2   0. 667   0. 786   0. 828  0. 9484   0. 9286   0. 809  0. 882   0. 9514   H. 264  0. 714   0. 762   0. 828  0. 9286   0. 9048   0. 885  0. 851   0. 9312   W i r e less  0. 680   0. 714   0. 714  0. 7976   0. 800   0. 771  0. 802   0. 8124   I P   0. 660   0. 600   0. 770  0. 7143   0. 788   0. 771  0. 826   0. 8436   AL L 0. 671   0. 650   0. 7451   0. 8250   0. 807   0. 826   0. 821   0. 8514           Fig u re  4 .  Probab ility Plo t  for  DMOS ind e x fo r H.26 4 format      Figure 5.  Plot for  Fram features for H.264      4.   CO NCL USI O N   We propo sed  a No  referen ce  Vid e o  b a sed   qu ality  assess men t  m o d e l NRDPF-VQA wh i c h  p e rfo r m s   q u a lity assessmen t  o f  Vi d e o with   ou t an y in fo rm atio n  from  d i sto r tio n  i m ag e. No   d i st o r tion  sp ecific  featu r es  suc h   as n o i s e;  bl u r  has been  m odel e i n   t h e   al go ri t h m  in specific. T h e  algorithm   onl y  q u ant i f i e s t h bl i nd i n   t h e vi de o d u e t o  p r esen ce of  d i st ort i o n s . T h e desi g n e d  fram e wo r k  i s  spat i a l  dom ai n, hum an pe rcept i o base d,   sim p l e r and  fa st er w h i c h m a kes i t  supe ri o r  t o  ot he r n o  r e fere nce al g o ri t h m s . The i n d e x i s  bee n  sh o w n t o   per f o r m  wel l  across  di f f ere n t  di st ort i o ns  ve ri fy i ng i t s   di st ort i o n a g n o st i c  nat u re.  An e x hau s t i v e anal y s i s  of   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I S SN 2 088 -87 08  IJEC E V o l .  5, No . 1, Feb r uar y   20 1 5   :    7 1  – 77   76 per f o r m a nce i s  d one  u s i n g L I VE  V Q A  dat a base,  C S I Q   Vi deo  dat a base a n d  V Q E G  H D T V Vi de o dat a base o n   fo ur  ki n d s o f  di st ort i o ns t h r o u g h  spea rm an ra nk  or dere d  correl a t i o n co effi cent .  T h e f r am e work i s  f o u n d  t o   per f o r m  st at i s tical l y  bet t e r t h a n   ot he pr op os ed  no  re fere nc e al go ri t h m s .       REFERE NC ES   [1]   Kalpana Sesh adr i nath an and A . C. Bovik, “Motion Tuned  Spa tio- t em poral Qua lit y Assessm ent of Natural  Videos ,   vol. 19 , no . 2 ,  pp . 335-350 I EEE Transactions  on Image  Processing , Feb .  2010 [2]   M.A. Saad, A.C. Bovik and C.  Charrier , “ A  DCT Statistics-Based Blind Im age Qualit y  I ndex”,   IEEE Signa Processing Letters , pp. 583-586 vol. 17 , no . 6 ,  Ju ne 2010.  [3]   H.R. Sheikh .and  A.C. Bo v i k, “ I m a ge inform atio n and visual qu ality IEEE Tra n sactions on Im age Processing vol.15, no.2 ,  pp 430- 444, Feb. 2 006.      [4]   H.R. Sheikh .and  A.C. Bo v i k, “ I m a ge inform atio n and visual qu ality IEEE Tra n sactions on Im age Processing vol.15, no.2 ,  pp 430- 444, Feb. 2 006.      [5]   H.R. Sheikh, A.C. Bovik and  G.  de Vecian a, “ A n inform ation fi delit cr iterion f o r image quality assessment using  natura l sc ene st a tistics” I E EE Transactions on I m age Processin g , vol.14, no.12p p. 2117-  2128, Dec.2005 [6]   X. Zhu and  P.  Milanfar , “ A utom atic par a m e ter  selec ti on for  denoising algor ith ms using a no-referen ce measure o f   im age con t en t”,   IEEE  T r ans.Im age Process , vol.  19, no . 12 , pp . 3 116–3132, Dec.  2010.  [7]   E h sa n  Ol l a h Sh ey ba n i ,  “ An Algorithm  for Real-Time Blin Im age Quality Comparison and Assessment ”,  International Jo urnal of  Electrical  and Computer Engin eering  ( I JECE) ,  pp. 120-1 29, vol. 2 ,  no . 1 ,   Februar y  2012 [8]   A.  Bua d e s ,  B.   Coll,   a nd J.  M.   More l,  “ A non-local algorithm  for image denois i ng ”,  in P r oc. I EEE Com put. S o c.   Conf. Comput.  Vis. Pattern R e cogn it., vol. 2. Jun. 2005 , pp . 60– 65.    [9]   Akshay Gore, H.K. Kansal, Savita Gupta , “ L ocal Standa rd Deviat ion Base d Im age Quality Metri c s for JPE G   Compressed Images”,  TELKOMNIKA, vol.  12 , n o . 10 , pp . 7280- 7286, Octob e r 2 014.  [10]   F. Luisier,  T. Blu,  and M. Uns e r,  “A new SURE appro ach  to  image d e noisin g : Inters cale orthonormal wavelet  thresholding ”,  I EEE  T r ans.Im age Process , vol. 1 6 , no . 3 ,  pp . 593 –606, Mar .  2007 [11]   K. Dabov, A. Foi, V. Ka tkovnik, and K. Egiazarian , “Image denoising by  sparse 3-D transform-domain  collaborative filtering”,  I EEE Trans. Image  Process , vol. 16 , no 8, pp . 2080–209 5, Aug. 2007.  [12]   Wang Yu Ling, Yang Hu, “Machine Learning to De s i gn F u ll-refe re nce Im age Q u alit y As s e s s m ent   Algorithm”,  TELKOMNIKA ,  pp. 3414-3421, vol. 11,  no. 6, June  2013.  [13]   A. Mittal ,  A. K. Moorth y  and A. C. Bovik N o-referen ce im ag e qualit y assessm ent in the spatial dom ain” ,   IEE E   Transactions on  Image Processing , Vol: 21 No: 1 2 , Page(s ): 4695 -4708, December 2012.  [14]   Yang X.K.,  Ling  W.S., Lu  Z.K.,  Ong E.P.  and Y a o S.S. (2005) J u st noticeable  distortion model and  its applicatio ns  in vid e coding.  Signal  Process, I m age commun , 2 0 , 662–680 [15]   Chin Y.J. and B e rger T .  (1999)  Asoftware-onl y   videocod ec usin g pixelwise  con d itional  diff eren tial repl enishm ent   and per cep tual  e nhancem ents .   IEEE Trans. Circu its  Syst. Video   Technol , 9 ,  438–4 50.  [16]   Chou C.H. and   Chen C.W. (19 96) A percep tually  op timized 3- D subband codec for vid e o com m unication ov er   wire le ss c h a nnels.   IEEE Trans. C i rcuits S y st. Vid e o Technol , 6 ,  14 3–156.  [17]   Ahumada A.J. and Peterson  H.A.  (1992) Luminance-M odel-Based DC T Quantization  for Color Image  Compression. SPIE Conf. on H u man Vision,  V i sual Processing, and  Digital  Display  III, Vol. 1 666, pp. 365–37 4,  SPIE ,  Sa n Die g o.  [18]   Watson, A.B. (1 993)  DCT Quantization Ma trices Visually  Optimized for Individual Images . Pr oc. SPIE, pp. 20 2– 216.  [19]   Seshadrinath an K., Soundararajan R.,  Bovik A.C. and Cormack L.K. (2010)  Stud y  of subjective and objective  quality   assessment of v i deo .   I E EE Trans. Image  Process , 19 , 142 7–1441.  [20]   Seshadrinath an,  K. and Bovik, A.C.  (2010) Motion tuned spatiotemporal qua lity   assessment of na tural vid e os.  IEEE  Trans. Image Pr ocess , 19 , 335–3 50.  [21]   Wang, Z. and Li, Q. (2007)  Vid e o quali ty   assessment using a sta tistical model o f   human visual  speed per ceptio n JOSA, 24, B61– B69.  [22]   Ninassi, A.,  Le  Meur, O., Le Callet, P .  and B a rba, D.  (2009)  Considering tem poral var i ations of spatial visu al  distortions in  vid e o quality   assessment.  I EEE J. S e l. Topi cs Signal  Process , 3 ,  253– 265.  [23]   Lidong Wang, “The  Effect of  Force on  Fingerpri nt Image Quality and Fing erprint  Distortion”,  International Journ a l   of Electrical and  Comput er  Eng i neer ing ( I JEC E ) , pp . 294-300 , v o l. 3 ,  no . 3 ,  June 2013.  [24]   Ba rkowsky  M.,   Bia l kowski J.,  Eskofie B.,  Bitto R.  a n d Ka up A .  (2009)  Te m pora l  tra j e c t ory   a w a r e  vide o qua lity   m eas ure.  I EEE  J .  Se l.  T op. S i gna l Process , 3, 266 –279.  [25]   H e ks tra A . P ., B eerends  J . G . , Le derm ann D ., D e  Caluw e  F . E. K ohler S ., K o en en R.H ., Rihs  S ., Ehrs am  M .  an Schlauss D. (200 2) PVQM—A p e r cep tual vid e quality  m easure.  Signal Process.  Image commun , 17,  781–798               Evaluation Warning : The document was created with Spire.PDF for Python.
I J ECE   I S SN 208 8-8 7 0 8     Lo w b it  Ra te Vid e o  Qu a lity  An a l ysis Usi n g NRDPF-VQA Alg o r ithm   (Subra h ma n y am .C h )   77 BIOGRAP HI ES OF  AUTH ORS         S ubrahm a n y am  Ch rece ived B. T ech degr ee in  El ectron i cs  and Co m m unication En ginee i ng from  Jawaharlal Nehr u Technol ogical University , H yderabad ,  Ind i a,  and M.Tech  degree  in Digital  Electronics  and  Communication Engine eing fr om JNTU, H y derab d , India.  He joined as a research schol ar  (part time), ECE department  in Januar y  2010 . His research  inter e sts includ e signal  and im age processing,  Computer visi o n . He published  more than 20  res earch  pap e rs  i n  journa ls  and  c onferenc e s .           Dr. Venkata Rao  published more  than 40  techn i cal  papers  in Inter n ation a and National Journals  and confer enc e s  of interna tion a l repu te.  His  res earch  int e res t s  include s i gn al and  im age  processing, wireless networks. He  carried out AICTE projects wo rth Rs. 23 lakhs as Principal  Investigator and  Project coordinator. Dr.D . Venkata Rao is rec ognized guide under JNTU  Kakinada. Curr ently  h e  is  guidin g  6 res earch  sch o lars in  diff eren t univ e rsiti es for  the i r Ph.D  in  the  areas of sign al pro cessing. I m age processing,  wireless networks. He gu ided m o re th an 50  UG  and PG projects.  He is Fellow Mem b er of Institu t i on of Engine ers (India) and m e m b er of Board  of Studies, Dep a rtment of  Electronics and  Inst rumentation  En gineer ing, B a patla Eng i neering  coll ege (Auto n o m ous ).          Dr. N Usha Ran i  published  more than 25  technica l p a pers in  Inte rnation a and Na tional  Journals  and conferen ces of internation a l repute. Her  research in ter e sts include signal and im age   processing, VLSI. He carr i ed out AICTE projec ts like MODROB S and Project co ordinator .  She  is recogn ized  gu ide und er Vignan University . Cu rre ntly  sh e is gu iding 5 res earch   scholars in  the  university   for  th eir Ph.D  in  the areas of  signal pr ocessing.    Evaluation Warning : The document was created with Spire.PDF for Python.