I n d on e s ian   Jou r n al   o f   E lec t r ica l   E n gin e e r i n g  a n d   Com p u t e r   S c ience   Vo l .   3 7 ,   N o .   1 ,  J a n ua r y   20 2 5 ,   pp.   5 69 ~ 5 79   I S S N:  2 502 - 4 7 52 ,   DO I :  10 . 11591/i j e e cs .v 3 7 . i 1 . pp 5 69 - 5 79             569     Jou r n al  h o m e page :  ht tp: // ij e e cs . iaes c or e . c om   B it - r at e  a w ar e  e f f e c t i ve  i n t e r - la y e r  m ot io n   p r e d ic t io n  u si n g   m u lti - lo o p  e n c od in g st r u c t u r e       S an d e e p   Gowd r a  S id d ar am ap p a ,  Gowd r a  S h iv an an d ap p a   M am at h a   D e pa r tm e nt   of  I n f or ma ti o n S c i e n c e  a nd E ngi n e e r in g, R . V . C o l le g e   of  E ngi n e e r in g,    A f f il ia te d  t o  V is ve s v a r a y a   T e c hn o l o gi c a l  U ni ve r s it y , B e la ga v i,   I ndi a       Ar t ic l e   I n f o     AB S T RA CT   A r ti c le  h is tor y :   R e c e i ve d  M a y   22 ,   202 4   R e vi s e d  S e p   11 ,  202 4   A c c e pt e d  S e p   29 ,   202 4       Rece n t l y ,   t h e r e  h as   b ee n   a   n o t ab l e  i n c r e as e  i n   t h e   u s e  o f   v i d eo   c o n t en t   o n   t h e  i n t e r n e t ,   l e ad i n g   fo r   t h e   c r e at i o n   o f  i m p ro v e d   c o d ec s   l i k e  v e rs at i l e - v i d e o - c o d i n g   ( V V C)  a n d   h i g h - e ffi ci e n cy   v i d eo - c o d i n g   ( H E V C).   I t   i s   i m p o rt an t   t o   n o t e  t h at   t h e s e  v i d eo   co d i n g   t ec h n i q u e s   co n t i n u e  t o   d emo n s t rat e   q u a l i t y   d eg rad at i o n   a n d   t h e  p re s en ce  o f   n o i s e  t h ro u g h o u t   t h e  d ec o d e d   fra me s .     A   n u m b e r  o f  d ee p - l e ar n i n g   ( D L )   al g o ri t h m - b as ed   n e t w o rk   s t ru c t u r e s   h a v e  b e en   d e v el o p ed   b y   e x p e rt s   t o   t ac k l e   t h i s   p ro b l em ;   n e v e rt h el e s s ,   b ec au s e  m an y   o f  t h e s e  s o l u t i o n s   u s e  i n - l o o p   fi l t rat i o n ,   e x t ra  b i t s   mu s t   b e   s en t   amo n g   t h e   en c o d i n g   an d   d eco d i n g   l a y e rs .   M o r e o v e r,   b ec au s e   t h ey   u s e d   f ew er   re f e r e n ce  fra me s ,   t h ey   w er e  u n ab l e   t o   e x t rac t   s i g n i f i c a n t   f e at u r e s   b y   t ak i n g   ad v an t ag e   fr o m   t h e   t em p o ral   c o n n ec t i o n   b e t w een   fra me s .   H e n ce,   t h i s   p ap e r  i n t ro d u ce s   i n t e r - l a y e r   m o t i o n   p red i c t i o n   a w ar e   mu l t i - l o o p   v i d e o   c o d i n g   (I L MP A - ML V C)  t ec h n i q u e s .   T h e  I L MP A - ML V C  fi rs t   d e s i g n s   a n   m u l t i - l o o p   ad ap t i v e   en c o d e r   (M L A E )  ar ch i t ec t u r e   t o   en h a n ce   i n t e r - l a y er  mo t i o n   p re d i c t i o n   a n d   o p t i m i zat i o n   p ro ce s s ;   s e co n d ,   t h i s   w o r k   d e s i g n s   m u l t i - l o o p   p ro b ab i l i s t i c - b i t rat e   a w ar e   co m p re s s i o n   (ML PB A C )  m o d e l   t o   at t ai n   i m p ro v e d   b i t rat e   e ffi ci e n cy   w i t h   mi n i m al   o v e r h e ad ;   t h e  t rai n i n g   o f  I L M PA - ML V C   i s   d o n e  t h ro u g h   n o v e l   d i s t o rt i o n   l o s s   f u n c t i o n   u s i n g   U V G   d at as e t ;   t h e   r e s u l t   s h o w s   t h e  p ro p o s ed   I L MP A - ML V C  at t ai n   i m p ro v ed   p e ak - s i n g a l - to - n o i s e - rat i o   ( PS N R )   a n d   s t ru c t u ra l   s i mi l ar i t y   ( SS IM )   p e rf o r m an ce   i n   c o m p ari s o n   w i t h   e x i s t i n g   v i d e o   co d i n g   t ec h n i q u e s .   K e y w o r d s :   B i t - r a t e   De e p  l e a r ni ng   E n t r o py   c o d i n g   I n t e r - l a y e r   L e a r n e d  vi de o   c o m pr e s s i o n   M ot i o n   pr e d i c t i o n   Th i s   i s   a n   o p en   a c ces s   a r t i c l e  u n d e r   t h e   CC  B Y - SA   l i cen s e.     C or r e s pon din g  A u th or :   S a n de e p  Go wdr a   S i dda r a m a ppa   De pa r t m e n t   o f   I nf o r m a t i o n   S c i e n c e   a n d  E n g i ne e r in g,   R .   V.   C o l l e ge   o f   E n g i ne e r i ng   Af f il i a t e d  to  Vi s v e s va r a y a   T e c hn o l o g i c a l   U ni ve r s it y   B e l a ga vi - 590018,   I n d i a   E m a i l :  y a s ha s go wda ni ha r i ka @ g m a il . c o m       1.   I NT RODU C T I ON   T h e   pr o l i f e r a t i o n   o f   po r t a bl e   e l e c t r o ni c   de vi c e s   l i k e   s m a r t ph o n e s   a n d  t a bl e t s   h a s   b o o s t e d   i nn o v a t i o n  i n   t h e   vi de o   s e c tor ,   m a k i ng  vi de o   c o n t e n t  a c c e s s i b l e   f r o m   a ny w he r e ,   a t  a ny   t i m e .   H i g h - r e s o l ut i o n   [ 1]   m o vi e s   a r e   b e c o m i ng  m o r e   i n t e gr a t e d  i n t o  t h e   da i ly   li ve s   of   i nd i v i dua l s   b e c a us e   o f   t e c hni c a l   a d v a n c e m e n t s .   T o   c r e a t e   a   m o r e   r e a l - l if e   e x p e r i e nc e ,   n e w  vi d e o   c o de c s   a r e   b e i n g  de v e l o pe d,   s uc h   a s   hi g h - f r a m e   r a t e   ( HF R ) ,   h i g h - dy n a mi c - r a n ge   ( HD R )   a n d  u l t r a - hi g h   de f i ni t i o n   ( UH D)   h a vi ng  8 K   a n d  4 K   r e s o l ut i o n s   [ 2] .   T h e r e f o r e ,   i t   i s   c r uc i a l   t o  f i nd  wa y s   t o  c o m pr e s s   vi de o   i nf o r m a t i o n   m o r e   e f f i c i e n t l y   w i t h o ut   l o s i n g  qua li t y   [ 3] .   M o r e o v e r ,   im pr o v e d  qua li t y   o f   t r a n s mi s s i o n   a n d  de c r e a s e d  t r a ns m i s s i o n   a n d  s t or a ge   c o s t s   a r e   a l s o   po s s i bl e   o utco m e s   o f   t e c h n o l o g i c a l   a d v a n c e m e n t s   i n   vi d e o   e n c o di n g  a nd  de c o di n g  [ 4] .   S e v e r a l   g l o ba l   vi de o - c o di n g  s t a n d a r ds   a r e   b e i ng  de v e l o pe d  i n   o r de r   to  i m pr o v e   pe r f o r m a n c e   e v e n   f ur t h e r ,   i nc r e a s e   a da pt a bil i t y ,   a n d  e a s e   t h e   bur de n   o n   t h e   I n t e r n e t .   T h e   l a t e s t   o f   t h e   vi de o - c o di n g  s t a n da r ds   i s   v e r s a t i l e - vi de o - c o di n g   ( VV C ) ,   whi c h   i s   a   va r i a n t   o f   Evaluation Warning : The document was created with Spire.PDF for Python.
                                I S S N :   2 5 0 2 - 4 7 52   In do n e s i a n   J   E l e c   E n g   &   C o m p  S c i ,  Vo l .   3 7 ,   N o .   1 ,  J a n ua r y   20 2 5 :   5 69 - 5 79   570   hi g h - e f f i c i e n c y   vi de o - c o di n g  ( HE VC ) .   De s p i t e   t h e   hi g h   c o m pr e s s i ng  pe r f o r m a n c e   a t t a i n e d  by   t h e s e   s t a n da r ds ,   t h e y   s t i ll   f a c e   a   n u m b e r   o f   i s s ue s .   He n c e ,   t h e s e   m e t h o ds   a r e   n ot  c a pa bl e   o f   m e e t i n g  t h e   r e qu i r e m e n t s   f o r   l o w  l a t e n c y ,   hi g h   f r a m e - r a t e ,   a n d  hi g h   r e s o l ut i o n   [ 5] .   T h e   l a t e s t   i nn o v a t i o n   i n   vi d e o   a n d  i m a g e   c o m pr e s s i o n   i s   t h r o ugh   e n d - to - e n d  l e a r ni ng  whi c h   h a s   b e e n   b r o ugh t   a b o ut   by   t h e   de v e l o p m e n t   o f   de e p - l e a r ni ng   ( DL )   [ 6] ,   [ 7] .   W he n   c o m pa r i n g  DL - b a s e d  vi de o   a n d   im a ge   c o m pr e s s i o n   a ppr o a c h e s   to   s t a n da r d  bl o c k - b a s e d  vi de o - c o m pr e s s i ng  a ppr o a c h e s ,   i t   h a s   b e e n   o b s e r v e d   t h a t  t h e   DL - b a s e d  a ppr o a c h e s   c a n   a c c o m p li s h   hi g h e r   da t a   c o m pr e s s i ng  r a t e s   wi t h o ut  c o m pr o m i s i n g  t h e   im a ge   o r   vi d e o   qua l i t y .   Du  e t  al.   [ 7]   e s t a bl i s he d  a   s i g nif i c a n t   l i nk  a m o n g  t h e   c o m pr e s s i o n   o f   i m a g e s   a l o n g   w i t h   t h e   hy pe r pr i o r - b a s e d  a ppr o a c h ,   r e s u l t i n g  i n   t h e   de v e l o p m e n t   o f   e n d - to - e n d  i m a ge - c o m p r e s s i o n .   M o r e o v e r ,   n u m e r o us   c utt i n g - e dge   n e ur a l   vi d e o   c o m pr e s s i o n   ( NV C )   a ppr o a c h e s   [ 7] ,   [ 8 ]   us e   c o m p e ns a t i o n  n e t wo r ks   a n d  m o t i o n   e s t i m a t i o n   to  f o r e c a s t   b e t w e e n   f r a m e s   to  a c hi e ve   a   s h o r t  de l a y   c o nf i gur a t i o n .   T h e s e   i nc l ude   p i xe l - m o t i o n   c o nv o l ut i o n a l   n e ur a l   n e t wo r k   ( P M C NN )   [ 8] ,   whi c h   r e l i e s   o n   hy b r i d  f o r e c a s t i n g   n e t wo r ks   a n d  m o v e m e n t   e x t e ns i o n ;   NV C   [ 9] ,   whi c h   a ggr e ga t e s   c o nn e c t e d  s pa t i a l - t e m po r a l   a s s u m pt i o n s ;   a nd   de e p  vi de o   c o m pr e s s i o n   ( DV C )   [ 10] ,   whi c h   us e s   e n d - to - e n d  de e p  vi de o   e n c o di n g  i ns t e a d  o f   t h e   c o n ve n t i o n a l  vi de o - c o di n g  a r c hi t e c t ur e s .   T h e s e   t e c h ni que s   e mp l o y e d  v a r i a t i o na l   a ut o - e n c o de r   ( VA E )   f o r   c o m pr e s s i ng  o p t i c a l - f l o w  a n d  r e s i dua l s ,   a n d  ut i li z e d  m o t i o n   v e c to r s   e s t i m a t e s ,   l i ke   o p t i c a l - f l o w,   f o r   r e pr e s e n t i n g  t e m po r a l   da t a   c o n t a i n e d  w i t hi n   t h e   vi d e o .   A dd i t i o n a ll y ,   s e v e r a l   s o l ut i o ns   f o r   B - f r a m e   c o m pr e s s i o n   h a v e   b e e n   de v e l o pe d  by   v a r i o us   r e s e a r c h e r s .   F o r   e x a m p l e ,   J i a   e t  al.   [ 11]   de v e l o pe d  a l l o c a t i o n   m e t h o ds   a n d  r e c ur r e n t   i m pr o v e m e n t   t e c hni que s .   Hu  e t  al.   [ 12]   f o c us e d  o n   de s i g ni ng  i n t e r po l a t i o n - b a s e d  vi de o   e n c o d i n g  n e t wor ks   a n d  us e d  o p t i c a l - f l o w   e n c o d i n g  n e t wo r ks   whi c h   w e r e   c a pa bl e   o f   d e c o di n g  b o t h   i n t e r p o l a t i o n   c o e f f i c i e n t s   a n d  o pt i c a l - f l o w  s i m u l t a n e o us ly .   Ne v e r t h e l e s s ,   t h e   pr e s e n t ed   DL - b a s e d  vi de o   e n c o d i n g  [ 13] - [ 17]   m e t h o ds   h a v e   r e s t r i c t i o n s   o n   t h e   tot a l   qua n t i t y   o f   r e f e r e n c e s   t h a t   m a y   b e   u t i li z e d  to   e n c o de   m o r e   f r a m e s ,   whi c h   l im i t s   t h e i r   c a pa c i t y   to   i nve s t i g a t e   t e m po r a l   c o r r e l a t i o ns   a n d  e li mi na t e   r e dun da n c i e s .   F ur t h e r m o r e ,   e a r l i e r   DL - b a s e d  m e t h o d ’ s   [ 18] ,  [ 19] ,   i . e . ,   e n t r o py   c o di n g  s i mi l a r ly   e s t i m a t e d   t h e   pr o b a bil i t y   a s s o c i a t e d  wi t h   t h e   hi dd e n  f e a t ur e   r e pr e s e n t a t i o ns   upo n   e v e r y   f r a m e   s e pa r a t e l y ,   n e g l e c t i n g  t h e   r e l a t i o ns hi p  a m o n g  a d j a c e n t   f r a m e s   hi dde n  f e a t ur e   r e pr e s e n t a t i o n s .   F r o m   a   r e s e a r c h e r ’ s   pe r s p e c t i v e ,   i t   i s   wo r t h   n o t i n g  t h a t   t i m e   c o r r e l a t i o n s   i n  t he   hi dde n   f e a t ur e   a r e a   c a n   a dd i t i o na l ly   be   i nv e s t i ga t e d  us i ng  a   hy b r i d  l e a r ni ng  a ppr o a c h   c o m bi n i ng  c o n v o l ut i o n a l   a n d   r e c ur r e n t   n e t w o r ks .   He n c e ,   t hi s   pa pe r   pr o p o s e s   a n   i n t e r - l a y e r   m o t i o n   pr e d i c t i o n - a wa r e   m u l t i - l o o p  vi de o   c o di n g  ( I L M P A - M L VC )   w hi c h   i s   c o m po s e d  o f   m u l t i l o o p  a da pt i v e   e n c o de r   a n d  m u l t i l o o p  pr ob a bil i s t i c   bi t r a t e   a wa r e   c o m pr e s s i o n   m o de l .   T h e   pr e s e n t e d  I L M P A - M L V C   m e t h o d  u t i li z e s   r e c ur r e n t  n e two r ks   to   r e pr e s e n t   a   gi v e n   i n put ;   r e c o n s t r uc t s   e n c o de d  out pu t s   a n d  m o de l s   pr o b a bi li s t i c   f u n c t i o n   dur i n g   e n t r o py   c o di n g.   F o r   m o r e   s pe c i f i c   i n f o r m a t i o n ,   t h e   m u l t i - l a y e r   a da pt i v e - e n c o de r   ( M L A E )   ne t wor k  h a s   be e n   p r e s e n t e d  wh e r e   a ll   pr e c e d i ng  f r a m e s   c a n   b e   c o n s i de r e d  a s   po i n t s   o f   r e f e r e n c e   f o r   c o m pr e s s i n g  t h e   pr e s e nt  f r a m e .     I n   a dd i t i o n ,   t h e   gi v e n   m u l t i - l o o p  pr o b a bil i s t i c - bit r a t e   a wa r e   c o m pr e s s i o n   ( M L P B A C )   ne t wor k  i ter a t i v e l y   c o n s t r uc t s   t h e   vi de o   f r a m e ’ s   pr o b a bil i t y   f u n c t i o n   b a s e d  o n   a l l   pa s t   hi dd e n   f e a t ur e   r e pr e s e n t a t i o n s ;   t h us ,     h a s   t h e   c a pa bil i t y   o f   a c hi e vi ng  a   l o we r   bi t - r a t e   f o r   c o m pr e s s i ng  vi de o   f r a m e s .   T h e   m a i n   c o n t r i b ut i o n   o f   t h e   i s   g i v e n   b e l o w :     T h e   pr o p o s e d   I L M P A - M L VC   ut i li z e d  c o n v o l ut i o n   a n d  r e c ur r e n t   f r a m e wo r k   wi t hi n   l e a r ne d  vi de o   c o m pr e s s i o n   to   e f f e c t i v e ly   ut i l i z e   t h e   t e m po r a l   r e l a t i o n s hi p  b e t we e n   a   w i d e   r a n ge   o f   vi de o   f r a m e s .     T o  i n c r e a s e   t h e   n u m b e r   o f   po s s i bl e   r e f e r e n c e   f r a m e s ,   I L M P A - M L VC   pr e s e n t s   a   m e t h o d  us i n g  a n   a uto - e n c o de r   de s i g n e d  c o m bi ni ng  c o nv o l ut i o n a l   a n d  r e c ur r e n t   n e t wor ks .   F o r   e s t i m a t i n g  t h e   hi dde n   f e a t ur e   r e pr e s e n t a t i o n a l   t e m po r a l ly   c o n d i t i o ne d  pr o b a bil it y   f u nc t i o ns ,   t h e   I L M P A - M L V C   ut i li z e d  a   r e c u r r e n t  pr o b a bil i s t i c   a ppr o a c h   to   o b t a i n   goo d  b i t - r a t e   pe r f o r m a n c e .     T h e   I L M P A - M L V C   m e t h o d  o u t pe r f o r m e d  s t a t e - of - t h e - a r t   vi de o   c o m pr e s s i o n   t e c h ni que s   t h r o ugh o u t  t h e   t e s t s ,   a n d  t h e   pe r f o r m a nc e   o f   I L M P A - M L VC   wa s   c o nf i r m e d  t h r o ugh   t h e   r e s u l t s .   T h e   pa pe r   o r ga ni z a t i o n   i s   a s   f o l l o ws .   I n   s e c t i o n   2  d i s c us s e s   va r i o us   c ur r e n t   m e t h o do l o gi e s   de s i g n e d   to  a tt a i n   e nh a n c e d  bi t r a t e   pe r f o r m a n c e   a n d  hi g hl igh t   m e t r i c   a n d  da t a s e t   us e d  to  v a l i da t e   t h e   m o de l   a n d  i t s   li mi t a t i o ns .   I n   s e c t i o n   3  pr e s e n t s   a   n o v e l   de e p  l e a r ni ng - b a s e d  vi de o   e n c o de r   a r c hi t e c t ur e   t h a t  i s   e f f ic i e n t   i n  e f f e c t i v e ly   pr e d i c t i n g  i n t e r - l a y e r   m o t i o n   pr e d i c t i o n   a n d  o p t i mi z i ng  i t   f o r   b e tt e r   t e m po r a l   r e pr e s e n tat i o n .   I n  s e c t i o n   4,   t h e   pe r f o r m a n c e   e f f i c i e nc y   o f   pr o p o s e d   a ppr o a c h   i s   s t ud i e d  us i n g  UV G  da t a s e t  i n   t e r m s   o f   pe a k - s i n g a l - to - n o i s e - r a t i o   ( P S NR )   a n d  s t r uc t ur a l   s i mi lar i t y   ( S S I M )   a n d  c o m pa r e d  w i t h   c ur r e n t   b a s e li n e   vi d e o  c o m pr e s s i o n   m o de l s .   I n   s e c t i o n   5  d i s c u s s e s   t h e   s i g nif i c a n c e   o f   pr o p o s e d  a ppr o a c h e s   a n d  f ut ur e   r e s e a r c h  d i r e c t i o n .       2.   L I T E RA T UR E   S UR VE Y   T hi s   s e c t i o n   s t udi e s   va r i o us   e xi s t i n g  vi de o   c o di ng  m e t h o d  to  a tt a i n   i m pr o v e d  vi de o   qua l i t y   w i t h  b e t t e r   pe r c e p t i o n   a n d  l im i t e d  c o m put a t i o n   o v e r h e a d.   Hu   e t   al.   [ 12 ] ,   pr e s e n t e d  a n   a ppr o a c h   c a l l e d  hy pe r pr i o r   Evaluation Warning : The document was created with Spire.PDF for Python.
I n do n e s i a n   J   E l e c   E n g  &   C o m p  S c i     I S S N:   2 5 0 2 - 4 7 52       B it - r ate  aw a r e   e ff e c ti v e   int e r - laye r   motion   pr e diction  us ing   …   ( Sande e p  Go w d r a  Siddar amappa )   571   de e p - vi de o   c o m pr e s s i o n   ( HDVC ) .   T h i s   wo r k   c on s i d e r e d  e n d - to - e n d  c o m pr e s s i o n   i ns t e a d  o f   bl o c k - b a s e d   c o m pr e s s i o n   us i ng  de e p  l e a r ni ng.   T h e y   pr e s e n t e d  a   r e s i dua l - c h a nne l   a tt e n t i o n   i n t e r m e d i a r y   m o du l e   f o r   b o t h  de c o di n g  a n d  e n c o d i n g  f o r   e n h a nc i ng  t h e   f r a m e s   dur i n g  r e c o n s t r uc t i o n .   T h e   e v a l ua t i o n   wa s   do n e   u s i n g  M S - S S I M   a n d  P S NR   o n   UV G  da t a s e t.   F i n d i ng s   s h o w  t h a t  HD VC   a c hi e v e d  32. 93  a v e r a ge   P S NR   a n d  40. 92  M S - S S I M   o n   UV G  da t a s e t.   F ur t h e r   e v a l ua t i o n   wa s   c on duc t e d  o n   M C L - J C V  da t a s e t   wh e r e   i t   a c hi e ve d  P S NR   o f   6. 03  a n d  M S - S S I M   o f   21. 85.   Da s   e t  al.   [ 13] ,  p r e s e n t e d  a   n e ur a l - n e t wo r k  whi c h   wa s   ba s e d  o n   po s t - pr o c e s s i n g   a ppr o a c h   f o r   e nh a n c i ng  de c o de d  f r a m e s .   He r e ,   t h e y   us e d  qua n t i z a t i o n - pa r a m e t e r   ( QP )   m a pp i ng  i nit i a ll y   f o r   a c hi e vi ng  hi g h - qua l i t y   im a ge s .   F ur t h e r ,   t h i s   wo r k   u t i li z e d  a   c o n v o l ut i o n a l   n e ur a l   ne t wor k   ( C NN )   wh e r e   t h e   QP  m a p  o u t pu t  a l o n g  w i t h   t h e   r e c o n s t r uc t e d  f r a m e   f r o m   t h e   da t a s e t  we r e   us e d  a s   a n   i n put   f o r   t h e   C NN   l a y e r .   T h e   C NN   l a y e r   e x t r a c t e d  n   f e a t ur e s   f r o m   t h e   im a ge s   a n d  f i na l ly   pr o vi d e d  a   qua l i t y - e nh a n c e d   f r a m e .     T hi s   wo r k  u t i li z e d  t h e   vi de o s   f r o m   M C L - J C V  da t a s e t  [ 14] ,   a n d  t wo  m e t r i c s   we r e   us e d  f o r   e v a l ua t i o n ,   i . e . ,   pe ak - s i n g a l - to - n o i s e - r a t i o   ( P S NR )   a n d  B j ø n t e ga a r d  De l t a   ( B D∆ ) .   F i n d i ngs   f r o m   t h e   r e s u l t s   s h o we d  t h a t,     t h e   n e ur a l - n e t wo r k   a c hi e v e d  B D∆   v a l ue s   o f   5. 21%   f o r   a l l - i n t r a   c o nf i gur a t i o ns ,   4. 13%   f o r   l o w - de l a y  c o nf i gur a t i o ns   a n d  4. 54%   f o r   r a n do m   a c c e s s   ( R A )   c o nf i gur a t i o n .   T h e   P S NR   v a l ue s   a l s o   s h o we d  b e t t e r   v a l u e s   i n   c o m p a r i s o n   w i t h   a   C NN   po s t - pr o c e s s i n g  a ppr o a c h   [ 15] .   T h a n g  a n d  B a n g  [ 16] ,   p r e s e n t e d  a n   i n t e r po l a t i o n   n e t wo r k   a ppr o a c h   f o r   i m pr o vi n g  t h e   pr e d i c t i o n   o f   i n t e r - f r a m e s .   He r e ,   t h e y   pr e s e n t e d  a   R A   c o nf i gur a t i o n   w i t hi n  a   n e ur a l   vi de o   c o di n g  a n d  a   f r a m e   n e t wo r k  f o r   pr e d i c t i n g  t h e   n e x t   f r a m e .   F i na l ly ,   t h e y   pr e s e n t e d  a n   e n d - to - e n d - hi e r a r c ha l   de e p  vi de o - c o m pr e s s i o n   n e t wo r k   a n d  a   l o s s   f u nc t i o n   wa s   us e d  f o r   e v a l ua t i n g  t h e   l o s s e s   f o r   m a xi mi z i ng  t h e   qua l i t y   o f   f r a m e   dur i n g   r e c o n s t r uc t i o n .   T hi s   wo r k   u t i li z e d  t h e   UV G  da t a s e t   [ 17]   a n d  HE VC   da t a s e t   [ 18]   f o r   e v a l u a t i n g  t h e i r   wo r k .   Al s o ,   t hi s   wo r k   u t i li z e d  t h e   B D∆   a n d  r un ni ng  t i m e   a s   pe r f o r m a n c e   m e t r i c s .   T h e   f i nd i ngs   s h o w  t h a t  t h e   f o r   UV G  da t a s e t,   t h e   i n t e r po l a t i o n   n e t wo r k  a c hi e v e d  48. 01%   o f   B D∆   a n d  f o r   HE VC - c l a s s   B   da t a s e t ,   t h e   i n t e r po l a t i o n   n e t wo r k  a c hi e v e d  50. 96%   o f   B D∆   wh e n   c o m pa r e d  w i t h   de e p - vi de o - c o m pr e s s i o n   ( DV C ) ,   DV C   P r o   [ 19] ,   a n d  s c a l e - s pa c e   f l o w  ( S S F )   c o m pr e s s io n   [ 20 ]   a ppr o a c h e s .   Yoo n   e t   al.   [ 21] ,   f i r s t   pr e s e n t e d  a   t e x t ur a l - de t a i l   pr e s e r v a t i o n - n e t wo r k   ( T DPNe t )   f o r   a n a l y s i ng  t h e   de t a i l s ,   n o i s e   a n d  t e x t ur e   o f   t h e   f r a m e   i n   a   vi de o .   F or m   t h e   a n a ly s i s ,   t hi s   wo r k   pr e s e n t e d  a n   a ppr o a c h   c a l l e d   pe r c e pt ua l - t r a i ni ng  m e t h o d  ( P T M )   f o r   s o l vi ng  i s s ue   o f   P S NR   f o r   pr e s e r vi ng  hi g h   n u m b e r   o f   t e x t ur a l   de t a i l s .   F ur t h e r ,   t h e y   pr e s e n t e d  a   m u l t i - s c a l e   r e s o l ut i o n - t r a i ni ng  m e t h o d   ( M R T M )   f o r   s o l vi ng  pr o bl e m   o f   poo r   e f f i c i e n c y   w he n   e v a l u a t i n g  o n   d i f f e r e n t   da t a s e t s .   T hi s   wo r k  e v a l ua t e d  t h e i r   wo r k  o n   UV G,   S NU - F I L M   [ 22] ,   HD   [ 23] ,   a n d  V i m o 90 K   [ 24]   da t a s e t s .   F ur t h e r ,   t h e   e v a l ua t i o n   wa s   do n e   us i ng  P S NR ,   pe r c e pt ua l   s im il a r i t i e s ,   DI S T S   [ 25 ] ,   a n d  L P I P S   [ 26 ] .     T h e   f i nd i ngs   s h o we d  P T M   a c hi e v e d  a n   P S NR   of   29. 3.   He   e t  al .   [ 27] ,   pr e s e n t e d  a n   a ppr o a c h   c a l l e d  de e p   n e ur a l   r e pr e s e n t a t i o n   f o r   vi de o s   ( D - Ne R V )   f o r   e n c o d i n g  va r i o us   k i n ds   o f   vi d e o s   by   de c o up l i ng  s pe c i f i e d   f r a m e   vi s ua l - c o n t e n t   us i n g  m o t i o n   da t a ,   pr o vi d i ng  t e m po r a l   de c i s i o n   m a k i ng  f o r   i m p li c i t   n e ur a l   n e t wo r ks   a n d  us i n g  a   t a s k - o r i e n t e d  a ppr o a c h   f o r   t h e   i n t e r m e d i a r y   o u t pu t  f o r   r e duc i n g  s pa t i a l   r e du n da nc y .   T h e   e v a l ua t i o n  wa s   do n e   o n   t w o   da t a s e t s ,   i . e . ,   UV G,   DA VI S   [ 28] ,   a n d  UC F 101  [ 29]   da t a s e t .   T h e   e va l u a t i o n   w a s   do n e   us i ng   m u l t i - s c a l e   s t r uc t ur a l   s im il a r i t y   ( M S - S S I M )   a n d  P S NR .   T h e   D - Ne R V  a c hi e ve d  a ve r a ge   P S NR   o f   35. 52  f o r   UV G,   30 . 06   a n d  0. 951   f o r   P S NR   a n d  M S - S S I M   f o r   UC F - 101  da t a s e t   a n d  a v e r a ge   P S NR   o f   21. 3  f o r   DA VI S   da t a s e t.   C h o i   e t  al.   [ 30] ,   p r e s e n t e d  a n   a ppr o a c h   c a l l e d  B i - d i r e c t i o na l   o p t i c a l - f l o w  ( B DO F )   f o r   r e f i ni ng  bi - pr e d i c t i o n   bl o c k.   F ur t h e r ,   t hi s   wo r k  pr e s e n t e d  a   de s i g n   c a ll e d  a n   a t t e n t i o n - b a s e d  Bi - pr e d i c t i o n - n e t wo r k   ( A B P N)   f o r   s ub s t i t ut i n g  t h e   e n t i r e   c ur r e n t   e xi s t i ng  bi - pr e d i c t i o n   a ppr o a c h e s   f o r   a c hi e vi ng  b e t t e r   vi de o   r e c o n s t r uc t i o n .   T h e   e va l u a t i o n   wa s   c o n duc t e d  u s i n g  DV I - DV C   [ 31]   da t a s e t.   T h e   f i nd i ngs   s h o w  t h a t   t h e   pr o p o s e d  a ppr o a c h   a c hi e v e d  b e t t e r   r e s ul t s ,   i . e . ,   r e duc e d  B D∆   by   4. 91 %   a n d  5. 89%   f o r   L DB   a nd  R A   i n  c o m pa r i s o n   w i t h   e xi s t i ng  a ppr o a c h .   K wa n   e t  al .   [ 32] ,   pr e s e n t e d  a n   a ppr o a c h   c a l l e d  H i Ne R V  whi c h   c o n t a i ns   li g h t - we i g h t  l a y e r s   h a vi ng  l a y e r e d  w i s e   po s i t i o n a l - e n c o d i n gs .   T hi s   wor k   us e d  de e p   C NN   a ppr o a c h ,   m u l t i - l a y e r - pe r c e pt r o n   ( M L P )   a n d  i n t e r po l a t i o n   n e t wor ks   f o r   e n c o di n g  t h e   f r a m e s   o f   vi d e o s   a n d  o f f e r i ng  a   b e tt e r   a ppr o a c h   f o r   s o l vi ng  t h e   i s s ue   o f   pa t c h e s   i n   vi de o s .   T h e   e v a l ua t i o n   wa s   do n e   us i n g  M C L - J C V  a nd  UV G  da t a s e t.   Al s o ,   e v a l u a t i o n   w a s   c o n duc t e d  us i ng  P S NR .   F i n d i ng s   s h o w  t h a t   t h e   H i Ne R V  a ppr o a c h   a c hi e ve d   b e t t e r   bi t - r a t e   s a vi n g  o f   72. 3%   a n d  43. 4%   P S N R   i n   c o m pa r i s o n   w i t h   e xi s t i n g  a ppr o a c h e s .   T h e   H i Ne R V   a c hi e ve d  a v e r a ge   P S NR   o f   36. 27  o n   UV G  da t a s e t.   W a n g  e t  al.   [ 33] ,   pr e s e n t e d  a n   e dge - o r i e n t e d  c o m pr e s s e d - vi de o   s upe r - r e s o l ut i o n   n e t wo r k   ( E OC VSR )   f o r   r e c o n s t r uc t i o n   o f   vi de o   f r a m e s   pr o v i d i ng  be tt e r   qua l i t y   de t a i l s .   I n   t hi s   wo r k,   t h e y   f i r s t   pr e s e n t e d  a   m o t i o n - gu i de d  a li g nm e n t - m o du l e   ( M G AM )   f o r   a c hi e vi ng  B i - d i r e c t i o n   m o t i o n s   i n   a   m u l t i - s c a l e   wa y .   F ur t h e r ,   pr e s e n t e d  a n   e dge - or i e n t e d  r e c ur r e n t - bl o c k  ( E OB )   f o r   r e c o n s t r uc t i n g  e dge s   o f   t h e   f r a m e s   us i n g  i m p li c i t   a n d  e x p li c i t   e dge   e x t r a c t i o n   a ppr o a c h .   T h i s   wo r k   c o n s i de r e d  V i m e o ,   M C L - J C V,   UV G ,   a n d  C T C   [ 34]   da t a s e t .   E v a l ua t i o n   o f   E OC VSR   wa s   do n e   b y   c o n s i de r i n g  qua l i t y - e nh a n c e m e n t   P S NR   a n d  r a t e - d i s t o r t i o n   ( B D∆ ) .   T h e   E OC VSR   a c hi e v e d  a v e r a ge   P S NR   o f   30. 262  f o r   C T C   a n d  Vi m e o   a n d  a v e r a ge   P S NR   o f   31. 76  f o r   UV G  a n d  M C L - J C V  da t a s e t .         Evaluation Warning : The document was created with Spire.PDF for Python.
                                I S S N :   2 5 0 2 - 4 7 52   In do n e s i a n   J   E l e c   E n g   &   C o m p  S c i ,  Vo l .   3 7 ,   N o .   1 ,  J a n ua r y   20 2 5 :   5 69 - 5 79   572   3.   P ROP OS E D  M E T HO D   T hi s   s e c t i o n   i n t r o duc e s   a   n o v e l   m u l t i - l o o p  vi de o   c o di n g  s c h e m e   t h r o ugh   e f f e c t i v e   i n t e r - l a y e r   m o t i o n  pr e d i c t i o n   e m p l o yi ng  n o v e l   m u l t i - l o o p  e n c o de r   a r c hi t e c t ur e   c o m bi ne d  w i t h   m u l t il o o p  pr o b a bil i s t i c   bi t r a t e   a wa r e   e n c o de r - de c o de r   m o de l ,   a s   pr e s e n t e d  i n   F i gur e   1 .   F i n a ll y ,   s h o ws   t h e   t r a i ni ng  o p t i mi z a t i o n  a d o p t e d   us i n g  pr o po s e d  vi de o   e n c o de r   m o de l   to   a tt a i n   i m pr o v e d   P S NR   a n d  S S I M .           F i gur e   1.   T h e   a r c hi t e c t ur e   o f   pr o p o s e d  m u l t i - l o o p  i n t e r - l a y e r   m o t i o n   pr e d i c t i o n   a wa r e   vi de o   c o de r       3. 1.     S ys t e m   f r a m e wo r k   T h e   a r c hi t e c t ur e   o f   I L M P A - M L VC   i s   pr e s e n t e d  i n   F i gur e   2.   T hi s   wo r k  h a s   dr a wn   i ns p i r a t i o n   f r o m   c o n v e n t i o n a l   vi d e o   c o de c s   a n d  us e s   m o t i o n - o p t i mi z a t i o n ,   whi c h   h a s   a l r e a d y   b e e n   s h o wn   t o  b e   e x t r e m e l y   us e f u l   i n   l e a r ni ng  c o m pr e s s i o n   [ 34] ,   a n d   to  de c r e a s e   vi de o   f r a m e   r e du n da n c i e s .   T o   pi n po i n t   t h e   t e m po r a l   m o t i o n   d i f f e r e nc e   a m o n g   t h e   pr e c e d i n g  c o m pr e s s e d  f r a m e   a l o n g  w i t h   t h e   e a r l i e r   c o m pr e s s e d  f r a m e ,   f o r   i ns t a nc e ,     a n d  ̂ − 1 ,   we   u t i l i z e   a n   o pt i c a l - f l o w  n e t wo r k   [ 34] .           F i gur e   2.   F r a m e wo r k  o f   pr o p o s e d  m u l t i - l o o p  a da pti ve   vi d e o   c o di n g       I n   t hi s   wo r k  t h e   c o m pr e s s e d  a n d  r a w  f r a m e s   a r e   r e pr e s e n t e d  a s   { ̂ } = 1   a n d  { } = 1   r e s pe c t i v e l y .   F ur t h e r ,   t h e   s ugge s t e d  M L A E   c o m pr e s s e s   t h e   pr e di c t e d  m o t i o n   ,   a n d  t h e   r e s u l t i n g  c o m pr e s s i o n   m o t i o n   ̂   i s   us e d  a s   m o t i o n - o p t i mi z a t i o n .   T h e   m o t i o n - o p t i mi z a t i o n   a ppr o a c h   us e d  i n   o ur   wor k  i s   s im i l a r   to  [ 34] .     Evaluation Warning : The document was created with Spire.PDF for Python.
I n do n e s i a n   J   E l e c   E n g  &   C o m p  S c i     I S S N:   2 5 0 2 - 4 7 52       B it - r ate  aw a r e   e ff e c ti v e   int e r - laye r   motion   pr e diction  us ing   …   ( Sande e p  Go w d r a  Siddar amappa )   573   I n   t hi s   s t ud y ,   t h e   r e s i du a l   ( )   a m o n g  t h e   o r i g i na l   f r a m e     a l o n g  w i t h   t h e   m o t i o n -   o p t i mi z e d  f r a m e   ′   wa s   de t e r m i ne d  a n d  c o m pr e s s e d  us i ng  a n   a dd i t i o n a l  M L A E .   C o n s i de r i ng  t h e   c o m pr e s s e d - r e s i dua l   a s   ̂ ,   t h e   c o m pr e s s e d  f r a m e   ̂ = ′ + ̂   i s   c a pa bl e   o f   be i n g  r e c o ns t r u c t e d.   T h e   r e s i dua l   a n d  m o t i o n   c o m pr e s s i o n ,   r e pr e s e n t e d  a s     a n d    r e s pe c t i ve ly ,   t h e   pr o p o s e d  M L A E   ut i l i z e s   t wo  l a y e r - e n c o de r s   ( L E s )   i n   e v e r y   f r a m e   to  ge n e r a t e   l a t e n t - r e pr e s e n t a t i o n s .   F ur t h e r ,   f o r   c om pr e s s i ng     a n d    i n t o  bi t - s t r e a m s ,   t hi s   wo r k  pr e s e n t s   M L P B AC   n e t wo r k   f o r   r e c ur s i v e ly   pr e d i c t i n g  te m po r a l   c o n d i t i o n   pr o b a bil i t y - f u n c t i o n   o f   { } = 1   a n d   { } = 1 .   T h e   c o n d i t i o ne d  c r o s s - e n t r o py   i s   a n t i c i p a t e d  to  b e   l e s s   c o m p a r e d  to  t h e   i n de pe n de n t   c r o s s - e n t r o p y  e m p l o y e d  i n  s t a n da r d  l e a r ni ng  t e c hni qu e s   b e c a us e   t h e r e   e xi s t s   a   t e m po r a l   li nk  b e t we e n   vi de o   f r a m e s .   T h e r e f o r e ,   bi t - r a t e   f o r   e n t r o py - c o d i n g  i s   s u c c e s s f u ll y   de c r e a s e d  by   e m p l o yi ng  c o n d i t i o n a l   pr ob a bil i t y - f u n c t i o n   c a l c u l a t e d  by   pr o p o s e d   M L P B A C   n e t wo r k  [ 12] .     3. 2.     M u l t i - l oop   ad ap t ive  e n c od e r   ar c h it e c t u r e   As   pr e vi o us ly   s t a t e d,   t w o  L E s   a r e   u t i l i z e d  f o r   c om pr e s s i ng    a n d  .   T o   ke e p  t h i n g s   s i m p l e ,   we   w i ll   r e f e r   to   b ot h     a n d    a s     i n   t h e   f o l l o w i ng  s u b s e c ti o n s   s i nc e   t h e   s t r uc t ur e   o f   t h e   t w o   L E s   i s   i de n t i c a l .   I n   s t a n da r d  l e a r ni ng - b a s e d  vi d e o   c o m pr e s s i o n   t e c hni que s   [ 12] ,   t h e   ℎ   f r a m e   i s   c o m pr e s s e d  by   m a pp i n g  t h e   i nput     i n t o  a   hi dde n   f e a t ur e - r e pr e s e n t a t i o n   us i ng  a n   e nc o de r   ,   whi c h   i s   pa r a m e t e r i z e d  w i t h   .   Ne x t,   t h e   c o n t i n uo us - v a l ue d  ̃   i s   c o nv e r t e d  i n t o  a   di s c r e t e - v a l ue d  = ⌊ ̂ ⌋   by   qua n t i z a t i o n .   T h e   ̂   c a n   be   r e pr e s e n t e d  us i n g  ( 1) .   F ur t h e r ,   t h e   o u tpu t   whi c h   h a s   b e e n   c o m pr e s s e d  i s   b u i l t   a ga i n  us i ng  de c o de r   by   ut i li z a t i o n   o f   qua n t i z e d  hi dde n   f e a t ur e - r e pr e s e n t a t i o n s   a s   pr e s e n t e d  i n   ( 2) .   B y   pr o vi d i ng  t h e   de c ode r   a n d  e n c o de r   w i t h   s o l e ly   t h e   pr e s e n t   f r a m e ’ s    a n d    a s   i n put s ,   t h e y   a r e   un a bl e   t o  m a ke   us e   o f   t h e   t e m p o r a l   c o n n e c t i o n   b e t we e n   s u c c e e d i ng  f r a m e s .     ̂ = ( ; )   ( 1)     ̂ = ( ; )   ( 2)     On   t h e   ot h e r   h a n d,   t h e   s ugge s t e d  M L A E s   i nc o r p or a t e   r e c ur r i n g  c e l l s   w i t hi n   t h e   de c o de r   a n d  e n c o de r .   T h e   s t r uc t u r e   f o r   t h e   M L A E s   n e t wo r k   i s   de p i c t e d  i n   F i gur e   3.   I n   t hi s   wo r k ,   we   i m p l e men t e d  a n  e n c o de r   f o r   M L A E   us i ng  f o ur   2 ×   do wn - s a m p li ng  l a ye r s   o f   c o nv o l ut i o n ,   f o l l o w i ng  t h e   a ppr o a c h   de s c r i b e d  i n   [ 12] .   W e   a l s o   us e d  t h e   e nh a n c e d  GD N  [ 35]   a s   a n   a c t i v a t i n g  f u n c t i o n   f o r   t h e   e n c o de r .   W i t hi n   t h e   M L A E   a r c hi t e c t ur e   c o n s i s t i n g  o f   4  l a y e r s   o f   c o n v o l ut i o n ,   a   C o n v GR U  [ 36]   c e l l   i s   i n c o r po r a t e d   to  e s t a bl i s h  a   m u l t i - l o o p  e n c o de r   f r a m e wo r k.   C o n s e que n t l y ,   a ny   i nf o r m a t i o n   c o m i ng  f r o m   pr e c e d i ng  f r a m e s   i s   tr a n s mi t t e d  a c r o s s   t h e   e n c o di n g  n e t wor k   f o r   t h e   pr e s e n t   f r a m e   us i ng  t h e   hi dde n   c o nf i gur a t i o n s   o f   C o n v G R U.   T h us ,   t h e   M L A E s   s ugge s t e d  i n   t hi s   s t ud y   pr o duc e   hi dde n   f e a t ur e - r e p r e s e n t a t i o ns   by   c o n s i d e r i n g  b ot h   pr e s e n t   a n d  pr i o r   i nput s .           F i gur e   3.   M ul t i l o o p  a da pt i v e   e n c o de r   a r c hi t e c t ur e       F ur t h e r m o r e ,   t h e   de c o de r   p r e s e n t   i n   M L A E   ut i l ize s   C o n v G R U  c e l l   i n   b e t we e n   o f   f o ur   2 ×   up - s a m p l i ng  l a y e r s   o f   c o nv o l ut i o n a l   u s i ng  I GD N  [ 35] ,   a n d  f ur t h e r   r e c o n s t r uc t i o n   o f   ̂   t a ke s   pl a c e   us i n g   pr e vi o us   a n d  c ur r e n t   l a t e n t - r e pr e s e n t a t i o n s .   I n   c o nc l u s i o n ,   t h e   M L A E   n e t wor k  i s   f o r m u l a t e d  us i ng  ( 3) .   F r o m   b o t h   t h e   ( 3)   a n d  ( 4) ,   i t   i s   po s s i bl e   to   c o n s i d e r   a l l  pr i o r   f r a m e s   a s   f r a m e s   o f   r e f e r e n c e   f o r   c o m pr e s s i n g  t h e   pr e s e n t   o n e .   T hi s   m e a n s   t h a t   t h e   pr e s e n t   m e t h o d   c a n   ut i li z e   da t a   f r o m   a n   e x t e n s i ve   v a r i e t y   o f   f r a m e s ,   whi c h   i s   a   s i g nif i c a n t   i m pr o v e m e n t   c o m pa r e d  t o  t h e   s m a l l  n u m be r   o f   r e f e r e n c e   f r a m e s   us e d  i n  up - to - da t e   b a s e li ne   t e c h ni que s   [ 12] .     = ⌊ ( 1 , … , ; ) ⌉   ( 3)     ̂ = ( 1 , … , ; )   ( 4)   Evaluation Warning : The document was created with Spire.PDF for Python.
                                I S S N :   2 5 0 2 - 4 7 52   In do n e s i a n   J   E l e c   E n g   &   C o m p  S c i ,  Vo l .   3 7 ,   N o .   1 ,  J a n ua r y   20 2 5 :   5 69 - 5 79   574   3. 3.     M u l t i - l oop   p r ob ab il is t ic  b it r at e   awar e   c om p r e s s ion   m od e l   I n   c o m pr e s s i ng  t h e   c o m p l e t e   s e que n c e s   o f   hi dde n   f e a t ur e - r e pr e s e n t a t i o n s ,   r e pr e s e n t e d  a s   { } = 1 ,   i n  t hi s   wo r k  a   n e t wor k  c a l l e d  a s   M L P B AC   i s   pr e s e n t e d  f o r   e n t r o py - c o d i n g  i s   pr e s e n t e d  i n   F i gur e   4.   I ni t i a l ly ,   th i s   w or k   u t i l i z e s   ( )   a n d   ( )   f or   r e p r e s e n t i n g   e s t i m a t e d   a n d   tr u e   i n de pe n d e n t  p r o b a bi l i t y   f un c t i o n s   o f   .           F i gur e   4.   A r c hi t e c t ur e   o f   m u l t il o o p  pr o b a bil i s t i c   bit r a t e   a wa r e   c o m pr e s s i o n   m o de l       T h e   a n t i c i pa t e d  bi t - r a t e   f o r     i s   r e pr e s e n t e d  a s   c r os s - e n t r o py   pr e s e n t e d  i n   ( 5) .   I t  s h o u l d  b e   t a ke n  i n t o   a c c o un t  t h a t  e n t r o py - c o d i n g  [ 12]   h a s   t h e   c a pa bil i t y   o f   e n c o d i n g    wi t h   a   bi t - r a t e   whi c h   i s   e qu i va len t   t o  t h a t   o f   c r o s s - e n t r o py ,   w i t h   mi n i m a l   a dd i t i o n a l   da t a .   I t   i s   e vi d e n t   f r o m   ( 5)   t h a t   wh e n     po s s e s s e s   a   hi g h e r   l e v e l   o f   c e r t a i n t y ,   t h e   bi t - r a t e   i s   l i ke ly   t o  b e   r e duc e d.   M or e o v e r ,   di s t r i b ut i o n   o f     i n   s uc c e s s i ve   f r a m e s   i s   a s s o c i a t e d  b e c a us e   o f   t h e   t e m po r a l   li nk  b e t we e n   vi de o   f r a m e s .   T h us ,   g i v e n   t h e   kn o w l e dge   o f   pr i o r   l a t e n t - r e pr e s e n t a t i o ns   1 , … , − 1 ,   i t   i s   a n t i c i pa t e d  t h a t   t h e   pr e s e n t   r e pr e s e n t a t i o n     w i l l   e xhi b i t   a   hi g h e r   l e v e l   o f   c e r t a i n t y .   I n   ot h e r   w or ds ,   we   c a n   de f i ne   ( | 1 , … , − 1 )   a n d  ( | 1 , … , − 1 )   a s   e s t i m a t e d  a n d  t r ue   t e m po r a l   c o n d i t i o ni ng  pr o b a bil i s t i c   f u nc t i o ns   o f   ,   a n d  i t   ha s   t o   b e   n ot e d  t h a t   t h e   c o n d i t i o n   c r o s s - e n t r o py   c o ul d  b e   l e s s   i n   c o m pa r i s o n   w i t h   i n de pe n d e n t   c r o s s - e n t r o py   pr e s e n t e d  i n   ( 5) .   He n c e ,   f o r   a c hi e vi ng  t h e   a n t i c i pa t e d  bi t - r a t e ,   ( 6)   i s   pr e s e n t e d.   T h e   ( 6)   r e pr e s e n t s   t h e   M L P B A C   n e t wo r k   whi c h   i s   us e d  a s   r e c ur r e n t   m o de l   f o r   t h e   c o n d i t i o n   pr o b a bil i s t i c   f u nc t i o ns   ( | 1 , … , − 1 ) .     ( , ) = ℰ ~ [ − 2 ( ) ]   ( 5)     ( , ) = ℰ ~ [ − 2 ( | 1 , … , − 1 ) ]   ( 6)     T o  b e   m o r e   p r e c i s e ,   a da pt a bl e   e n t r o py - c o d i n g  [ 12]   e n a bl e s   us   to  m o d i f y   t h e   pr o b a bil i t y   f u nc t i o ns   a s s o c i a t e d  w i t h   e v e r y   c o m po n e n t   i n   ,   r e s ul t i n g   i n   t h e   e s t i m a t i o n   o f   v a r i o us   c o n d i t i o n a l   pr o ba bil i t y   f u n c t i o n s    (  | 1 , … , − 1 ) ,   f o r   v a r i o us   c o m po n e n t s    .   I n   t hi s   s tud y ,      h a s   b e e n   de f i ne d  a s   t h e   c o m po n e n t   l o c a t e d  wi t hi n  t h e   ℎ   3   po s i t i o n   i n  .   T h e   c o n d i t i o n   pr o b a bil i s t i c   f u n c t i o n s   o f     a r e   m a t h e m a t i c a ll y   e x pr e s s e d  a s   ( 7)   wh e r e     r e pr e s e nt s   o v e r a l l   3   po s i t i o ns   pr e s e n t   i n   .   I n   t hi s   wo r k ,   t h e    (  | 1 , … , − 1 )   i s   m o de l e d  f o r   e v e r y   c o m po n e n t   a s   s e pa r a t e d  l o g i s t i c - d i s t r i b ut i o n .   G i ve n   t h a t   t h e   qua n t i f i c a t i o n   f u n c t i o ni ng  i n   L E   qua n t i f i e s   a l l   ̃    i n t o  a   s i n g l e   va l u e   o f    ,   h e n c e ,   we   c a n   de t e r m i ne   t h e   c o n d i t i o n   pr o b a bil i s t i c   f u n c t i o n   o f   t h e   qua n t i f i e d     t h r o ugh   i n t e gr a t i o n   o f   a   c o n t i n uo us   l o gi s t i c - d i s t r i but i o n  f r o m   (  +   τ )   to  (  − τ ).     ( | 1 , … , − 1 ) = ∏  (  | 1 , … , − 1 ) = 1   ( 7)      (  | 1 , … , − 1 ) = ∫ L o g is ti c ( ;  ,  )   +   τ  −   τ   ( 8)     W h e r e   t h e   l o g i s t i c - d i s t r i b ut i o n   i s   e v a l ua t e d  us i ng  ( 9) .   Al s o ,   t h e   s i g m o i d - d i s t r i b ut i o n   f o r   ( 9)   c a n   be   de n o t e d   us i n g  ( 10) .   F r o m   ( 8) - ( 10) ,   t h e   o v e r a l l   c o nd i t i o n   pr o b a bil i s t i c   f u n c t i o n   c a n   be   r e pr e s e n t e d  us i ng  ( 11) .   Evaluation Warning : The document was created with Spire.PDF for Python.
I n do n e s i a n   J   E l e c   E n g  &   C o m p  S c i     I S S N:   2 5 0 2 - 4 7 52       B it - r ate  aw a r e   e ff e c ti v e   int e r - laye r   motion   pr e diction  us ing   …   ( Sande e p  Go w d r a  Siddar amappa )   575   F ur t h e r ,   f r o m   ( 11) ,   t h e   c o n d i t i o n a l   pr o b a bil i s t i c   f u n c t i o n   f o r   e v e r y   l o c a t i o n   i s   de f i ne d  us i ng  v a r i a bl e s      ( 12)   a n d     ( 13)   whi c h   ke e p  o n   v a r y   w i t h   r e s pe c t   to  t h e   v a r i o us   l o c a t i o n   pr e s e n t   i n   .   He n c e ,   t h e   M L P B AC   n e t wo r k   pe r s i s t e n t l y   e s t i m a t e s   t h e   l o g i s t i c - d i s t r i b ut i o n   us i ng  ( 10) .     L o g is ti c ( ; , ) = e x p ( − ( − ) ⁄ ) ( 1 + e x p ( − ( − ) ⁄ ) ) 2   ( 9)     L o g is ti c ( ; , )  = S ig m o id ( ; , ) +   ( 10)      (  | 1 , … , − 1 ) = S ig m o id (  + 0 . 5 ;  ,  ) − S ig m o id (  + 0 . 5 ; ,  )   ( 11)     = {  } = 1   ( 12)     = {  } = 1   ( 13)     F i gur e   4  pr e s e n t s   t h e   f r a m e wo r k   t h a t   m a ke s   up  t h e   M L P B A C   n e t wo r k ,   s h o wc a s i n g  t h e   i nc l us i o n   o f   a   n e t wo r k   o f   r e c ur r e n c e     w i t h   l a y e r s   o f   c o nv o l ut i o n   a l o n g  w i t h   a   C o nv G R U  c e ll   po s i t i o ne d  i n   t h e   c e n t e r .   F ur t h e r ,   t h e   ge n e r a t i o n   o f     a n d    i s   de pe n de n t   up o n   a l l   pr i o r   hi dd e n   f e a t ur e - r e pr e s e n t a t i o n s ,   whi c h   i s   c a us e d  by   t he   r e c ur r e n t  a r c hi t e c t ur e .   T hi s   i s   r e pr e s e n t e d  us i n g  ( 14)   wh e r e ,     de n o t e s   t h e   tr a i ni n g  v a r i a bl e   i n  M L P B AC .   A s     c o n s i d e r s   pr i o r   hi dde n   f e a t ur e   - r e pr e s e n t a t i o n s   1 , … , − 1   a s   a n   i n put ,     a l o n g  w i t h     t r a i n s   t h e   m o de l   u s i n g  t h e   pr o b a bil i t y   f u nc t i o n   o f   e v e r y     o n   t h e   b a s i s   o f   1 , … , − 1   us i n g  ( 11) .   F ur t h e r ,   c o n d i t i o n   pr o b a bil i s t i c   f u n c t i o n    (  | 1 , … , − 1 )   a r e   s ubj e c t e d  to  t h e   a da pt a bl e   e n t r o py - c o d i n g  [ 12]   f o r   e n c o d i n g    i n t o   a   bi t - s t r e a m .     , = ( 1 , … , − 1 ; )   ( 14)     3. 4.     T r ain in g  o p t im iz at ion   I n   t hi s   s t ud y ,   t h e   P S NR   a n d  MS - S S I M   i n de x   a r e   u t i li z e d  f o r   e v a l ua t i o n   o f   c o m pr e s s i o n   qua l i t y   t h r o ugh   o p t i mi z a t i o n   o f   d i s t or t i o n   .   T h e   bi t - r a tes   f o r   1   a n d  1   a r e   de n o t e d  a s   1 ( 1 )   a n d  1 ( 1 )   r e s pe c t i ve ly .   T h e   P - f r a m e s   pr o vi de d  i n   t h e   da t a s e t   h a v e   b e e n   c o m pr e s s e d  us i n g  t h e   M L P B AC   n e t wo r k   s ugge s t e d  i n   o ur   r e s e a r c h .   F o r   ≥ 2 ,   t h e   r e s e a r c h e r   i s   a bl e   t o   de t e r m i n e   t h e   e x a c t   bi t - r a t e .   T h e   r e l a t i o n s hi p   b e t we e n   (  | 1 , … , − 1 )   i s   r e pr e s e n t e d  by   t h e   s ugge s t e d  M L P B AC   a ppr o a c h ,   a s   de s c r i be d  i n  ( 7)   to   ( 14) .   I t  s h o u l d  b e   n o t e d  t h a t,   un de r   t h e   a s s u m pt i o n   t h a t   d i s t r i b ut i o n   f o r   t h e   s e t   us e d  f o r   t r a i ni ng  i s   t h e   s a m e   a s   t h e   a c c ur a t e   di s t r i b ut i o n .   F ur t h e r ,   t h e   a c t ua l   bi t - r a t e   ( )   i s   a n t i c i pa t e d  to  c or r e s p o n d  w i t h   t h e   c o n d i t i o n e d  c r o s s - e n t r o py   i n   ( 6) .   I n   o u r   r e s e a r c h   s t r a t e gy ,   we   u t i li z e   a   pa i r   M L P B A C   n e t wor ks   to  pr oc e s s   t h e   hi dde n t   f e a t ur e - r e pr e s e n t a t i o n s   o f   r e s i dua l   a n d   m ot i o n .   T h e   bi t - r a t e s   f o r   b ot h   o f   t h e s e   n e t wo r ks   a r e   de n ot e d  a s   ( )   a n d  ( )   r e s pe c t i v e ly .   T h e   I L M P A - M L VC   a ppr o a c h   us e d  i n   o ur   r e s e a r c h   wa s   de v e l o pe d  o n   t h e   t r a di t i o n a l   UV G  [ 37]   da t a s e t.   I n   t hi s   da t a s e t ,   t h e   i ni t i a l   f r a m e s   we r e   c o m pr e s s e d   a s   t h e   I - f r a m e ,   whil e   a ll   t h e   r e m a i nde r   t h e   r e m a i n i n g  f r a m e s   we r e   c o n s i de r e d  a s   P - f r a m e s .   T h e r e f o r e ,   t h e   t r a i ni ng  pr o c e s s   wa s   i m pr o v e d  by   pr o gr e s s i ve l y   i nc o r po r a t i n g  P - f r a m e   1 .   I ni t i a ll y ,   t h e   i n t e r - l a y e r   e s t i m a t i o n   o f   m o t i o n   ne t wor k  un de r we n t   tr a i ni ng  u s i n g   t h e   l o s s   f u n c t i o n   a s   pr e s e n t e d  i n   ( 16)   wh e r e ,     1   r e pr e s e n t s   o u t pu t   f o r   m o t i o n   e s t i m a t e d  n e t wo r k   a s   pr e s e n t e d  i n   F i gur e   2,   a n d    r e pr e s e n t s   wa r pi ng   pr o c e s s .   M o r e o v e r ,   wh e n   t h e     wa s   c o n v e r ge d,   t h e   M L A E   n e t wo r k   wa s   i n c o r por a t e d   f o r   m o t i o n   c o m pr e s s i o n   a n d  f o r   m o t i o n - o p t i mi z a t i o n   n e t wor k  i n   t r a i ni ng  pr o c e s s ,   u t i li z i ng  t h e   l o s s - f u n c t i o n   pr e s e n t e d     i n   ( 17) .     ( ) = − log 2 ( ( | 1 , … , − 1 ) ) = ∑ log 2 (  (  | 1 , … , − 1 ) ) = 1 )   ( 15)     = ( 1 , ( 0 , 1 ) ) )   ( 16)     = ∙ ( 1 , 1 ′ ) + 1 ( 1 ) )   ( 17)     F ur t h e r ,   a f t e r   c o n v e r ge n c e   o f   ,   t h e   o v e r a l l   n e t wor k   wa s   m e r ge d  a n d  t r a i n e d  o n   1   by   us i ng  t he   l o s s   r e pr e s e n t e d  i n   ( 18) .   Ne x t ,   we   us e   a   l o s s   f u n c t i o n   f o r   tr a i ni ng   r e c ur r e n t   m o de l   e n d - to - e n d  us i n g  t h e   s e que n t i a l - t r a i ni ng  f r a m e s   a s   pr e s e n t e d  i n   ( 19 ) .   T h r o ugh o u t  t h e   t r a i ni ng  pr o c e s s ,   t h e   r e l a xa t i o n   o f   qua n t i z a t i o n   wa s   im p l e m e n t e d  us i n g  t h e   m e t h o d  de s c r i be d  i n   [ 12] .   T hi s   i s   do ne   i n   o r de r   to   p r e v e n t   t h e   Evaluation Warning : The document was created with Spire.PDF for Python.
                                I S S N :   2 5 0 2 - 4 7 52   In do n e s i a n   J   E l e c   E n g   &   C o m p  S c i ,  Vo l .   3 7 ,   N o .   1 ,  J a n ua r y   20 2 5 :   5 69 - 5 79   576   o c c ur r e n c e   o f   z e r o   gr a di e n t s .   I n   o ur   r e s e a r c h ,   we   f o l l o we d  t h e   m e t h o do l o g y   o u t l i ne d  i n  [ 12]   to   de t e r mi ne   t h e   v a l ue s   o f   .   T h e   A da m   o p t i mi z e r   wa s   e m p l o y e d  f o r   tr a i ni ng.   F o r   e a c h   l o s s - f u n c t i o n s   pr e s e n t e d  i n   ( 16 ) - ( 19) ,   t h e   i ni t i a l   r a t e   a t   whi c h   t h e y   a r e   l e a r n e d  wa s   s e t   to  10 − 4 .   W h e n   t r a i ni ng  t h e   e n t i r e   m o de l   us i ng  t h e   f i na l   lo s s   pr e s e n t e d  i n   ( 19) ,   t h e   l e a r ni ng  r a t e   wa s   de c r e a s e d  by   a   f a c t o r   o f   10  f o l l o w i ng  c o nv e r ge n c e   t i ll   i t   r e a c h e s   10 − 6 .   T h e   s ugge s t e d  I L M P A - M L VC   a ppr o a c h   de m o ns t r a t e s   a   f a v o r a bl e   e qu i li b r i u m   a m o n g  a c c o m p li s hi ng   hi g h e r   P S NR   a n d  i m pr o v e d  M S - S S I M ,   a s   i ll u s t r a ted  i n   t h e   b e l o w  s e c t i o n .     1 = ∙ ( 1 , ̂ 1 ) + 1 ( 1 ) + 1 ( 1 ) )   ( 18)     = ∙ ∑ ( 1 , ̂ 1 ) + 1 ( 1 ) + 1 ( 1 ) = 1 + ∑ ( ( ) + ( ) ) = 1 )   ( 19)       4.   RE S UL T S   AN D  DI S CU S S I ON   T hi s   s e c t i o n   s t ud i e s   t h e   pe r f o r m a n c e   o f   pr o p o s e d  I L M P A - M L VC   o v e r   v a r i o us   e xi s t i n g  vi de o   c o di n g   m e t h o do l o g i e s   li ke   hi e r a r c hi c a l   r a n do m - a c c e s s   c o di n g  f o r   de e p  n e ur a l   vi d e o   c o m pr e s s i o n   ( HR AC )   de e p  n e ur a l   vi de o   c o m pr e s s i o n   ( DN V C )   [ 4] ,   HD VC   [ 25] .   T h e   vi d e o   c o m pr e s s i o n   pe r f o r m a n c e   i s   s t ud i e d  us i n g   UV G  [ 37]   da t a s e t ;   t h e   da t a s e t  i s   ge n e r a t e d  w i t h   vi de o   r e s o l ut i o n   o f   3840× 2160,   a   tot a l   o f   7  vi de o s ,   o u t  o f   whi c h   li ke   [ 16]   t h e   f i r s t   300  f r a m e s   a r e   us e d  i n  e a c h   vi de o   f o r   e x pe r i m e n t   a n a ly s i s .   D i f f e r e n t   c a s e   s t ud i e s   a n d   m e t h o do l o g i e s   h a v e   b e e n   c o n s i de r e d  a n d  pe r f o r m a n c e   i s   m e a s ur e d  i n   t e r m s   o f   P S NR   a n d  M S - S S I M .     4. 1.     Cas e - s t u d y  1   I n   t h e   f i r s t   c a s e   t h e   pe r f o r m a n c e   o f   I L M P A - M L V C   i s   c o m pa r e d  w i t h   HR A C - DN V C   [ 16] ,   DV C - P r o  [ 19] ,   DV C   [ 10 ] ,   a n d  S S F   [ 3 8 ]   us i n g  UV G  da t a s e t .   F i gur e   5  s h o ws   t h e   P S NR   o u t c o m e   c o ns i d e r i n g  va r i e d   B PP   i . e . ,   r a t e   di s to r t i o n   c ur v e ;   T h e   c ur v e   w i t h   hi g h e r   v a l ue   i nd i c a t e s   s upe r i o r   pe r f o r m a n c e .   T h e   r e s u l t   s h o ws   S S F   e x p e r i e nc e   po or   P S NR   a n d  HR A C - DN VC   a tt a i ns   m uc h   b e t t e r   P S NR   i n   c o m pa r i s o n   w i t h   DV C   a nd   DV C P r o .   On   t h e   ot h e r   h a n d,   t h e   I L M P A - M L VC   a tt a i ns   m uc h   im pr o v e d  P S NR   i n  c o m pa r i s o n   w i t h  HR AC - DN VC .   T h us ,   a r e   to l e r a bl e   t o   v a r y i ng  d i s t or t i o n  l e v e l s   i n  c o m pa r i s o n   w i t h   a ll   c ur r e n t   vi de o   c om pr e s s i o n  m e t h o ds .     4. 2.     Cas e - s t u d y  2   T hi s   s e c t i o n   s t udi e s   t h e   pe r f o r m a n c e   o f   f l o w - b a s e d  m e t h o ds   l i ke   C A I N  [ 1] ,   A da C o F   [ 2] ,   A B M E   [ 3] ,   R I F E   [ 4] ,   I F R Ne t  [ 5] ,   T DPNe t   [ 20] ,   a n d  pr o p os e d  I L M P A - M L V C   m e t h o ds .   F i gur e   6   s h o ws   t h e   P S NR   o u t c o m e   c o ns i d e r i n g  v a r i e d  B pp  i . e . ,   r a t e   di s t o r t i o n   c ur v e ;   T h e   c ur v e   w i t h   hi g he r   v a l ue   i nd i c a t e s   s upe r i o r   pe r f o r m a n c e .   T h e   r e s u l t   s h o ws   t h e   pr o p o s e d  I L M P A - M L VC   m e t h o ds   a t t a i n   i m pr o v e d  P S NR   pe r f o r m a n c e   c o n s i de r i n g  v a r i e d  B PP   i n  c o m pa r i s o n   w i t h   C A I N,   A da C o F ,   A B M E ,   R I F E ,   I F R Ne t   [ 5] ,   a n d  T DP Ne t   [ 10 ]   m e t h o ds .   I n   T a bl e   1,   c o m pa r a t i v e   s t ud y   b e t we e n   pr o p o s e d  I L M P A - M L VC   a n d  T DPNe t  m e t h o ds   i n   ter m s   o f   P S NR   c o n s i d e r i n g  t wo   UV G  vi de o   s e que n c e   s uc h  a s   Ho n e y be e   a n d  B e ut y .   I n   b o t h   c a s e s   t h e   I L M P A - M L V C   a tt a i ns   m uc h   hi g h e r   P S NR   i n   c o m pa r i s o n   to  T D P Ne t .   T h us ,   s h o ws   t h e   e f f i c i e n c y   o f   t h e   pr o p o s e d  vi de o   c o m pr e s s i o n   m o de l .             F i gur e   5.   P S NR   pe r f o r m a n c e   a t t a i n e d  by   d if f e r e n t   m o de l s   w i t h   va r y i ng  B PP   l e v e l s     F i gur e   6.   P S NR   pe r f o r m a n c e   a t t a i n e d  by   d if f e r e n t   m o de l s   w i t h   va r y i ng  B PP   l e v e l s       Evaluation Warning : The document was created with Spire.PDF for Python.
I n do n e s i a n   J   E l e c   E n g  &   C o m p  S c i     I S S N:   2 5 0 2 - 4 7 52       B it - r ate  aw a r e   e ff e c ti v e   int e r - laye r   motion   pr e diction  us ing   …   ( Sande e p  Go w d r a  Siddar amappa )   577   T a bl e   1.   P S NR   pe r f o r m an c e   s u m m a r y   o f   li t e r a t ur e   s ur v e y   M o de ls   P S N R  [ T D P N e t]   P S N R  [ I L M P A - M L V C ]   H o n e y B e e   38.672   40 .3297   B e a ut y   30.294   35.2415       4. 3.     Cas e - s t u d y  3   I n   t hi s   c a s e   t h e   pe r f o r m a n c e   o f   I L M P A - M L VC   i s   c o m pa r e d  w i t h   de e p  l e a r ni ng - b a s e d  e n t r o p y   c o di n g  m e t h o ds   l i ke   DV C   [ 17] ,   a n d  HD VC   [ 34]   us i n g  UV G  da t a s e t.   F i gur e   7  s h o ws   t h e   P S NR   o u t c o m e   c o n s i de r i n g  v a r i e d  B P P   i . e . ,   r a t e   di s t or t i o n   c ur v e ;   t h e   c ur v e   w i t h   hi g h e r   v a l ue   i nd i c a t e s   s upe r i o r   pe r f o r m a n c e .   T h e   r e s u l t   s h o ws   DV C   e x pe r i e n c e   poo r   P S NR   a n d  HD VC   a tt a i ns   m uc h   be tt e r   P S NR   i n   c o m pa r is o n   w i t h   DV C .   On   t h e   o t h e r   h a n d,   t h e   I L M P A - M L VC   a t ta i ns   m u c h   i m pr o v e d  P S NR   i n  c o m pa r i s o n   w i t h   DV C   a n d   HD VC .   F i gur e   8  s h o ws   t h e   M S - S S I M   o u t c o m e   c o n s i d e r i n g  v a r i e d  B PP   i . e . ,   r a t e   di s t or t i o n   c ur v e ;   T h e   c ur ve   w i t h   hi g h e r   v a l ue   i n d i c a t e s   s upe r i o r   pe r f o r m a n c e .   T h e   r e s ul t   s h o ws   DV C   e x pe r i e n c e   poo r   M S - S S I M   a n d  HD VC   a tt a i ns   m u c h   b e t t e r   M S - S S I M   i n   c o m p a r i s o n   w i t h   DV C .   On   t h e   o t h e r   h a n d,   t h e   I L M P A - M L VC   a tt a i ns   m uc h   i m pr o v e d  M S - S S I M   i n   c o m pa r i s o n   w i t h   DV C   a n d  HD VC .   T h us ,   a r e   to l e r a bl e   to  v a r y i ng   d i s t o r t i o n   l e v e l s   i n  c o m pa r i s o n   w i t h   a ll   c ur r e n t   vi d e o   c o m pr e s s i o n   m e t h o ds .             F i gur e   7.   P S NR   pe r f o r m a n c e   a t t a i n e d  by   d if f e r e n t   m o de l s   w i t h   va r y i ng  B PP   l e v e l s     F i gur e   8.   P S NR   pe r f o r m a n c e   a t t a i n e d  by   d if f e r e n t   m o de l s   w i t h   va r y i ng  B PP   l e v e l s       5.   CONC L USI ON   I n   t hi s   pa pe r   a   n o v e l   vi de o   c o m pr e s s i o n   m e t ho d   i s   i n t r o duc e d  by   l e v e r a g i ng  t h e   b e n e f i t   o f   c o n v o l ut i o n   ne ur a l   n e t wo r k   a n d  r e c ur r e n t  n e ur a l   n e t wor k.   A   m u l t i - l o o p  a da pt i v e   e nc o de r   a n d  m u l t i - l o o p  pr o b a bil i s t i c   bi t r a t e   a wa r e   c o m pr e s s i o n   m o de l   i s   de vi s e d  t o   de s i g n   e f f e c t i v e   a da pt i v e   e n t r o py - ba s e d  c o di n g   t e c h ni que s .   T h e   s t ud y   s h o ws   t h e   c ur r e n t   m e t h o d  us e s   l e s s e r   n u m be r   o f   f r a m e s   to   pe r f o r m   e n c o d i n g  o pe r a t i o n;  o n   c o n t r a r y ,   t h e   pr o p o s e d  vi de o   c o m pr e s s i o n   m e t h o d  us e s   s i g nif i c a n t   a m o un t   o f   r e f e r e n c e   f r a mes   w i t h  mi n im a l   o ve r h e a d.   T h e   a do pt i o n   o f   m o t i o n   de t e c t i o n   a n d  o pt i m i z a t i o n   a i d e d  i n   im pr o vi n g  m o de l s   P S NR   a nd   MS - S S I M .   T h e   pr o p o s e d  I L M P A - M L VC   i s   c o m pa r e d  w i t h   v a r i o us   e xi s t i n g  m e t h o do l o gi e s   w hi c h  i nc l ude s   f l o w - b a s e d,   l e a r ni ng - ba s e d,   a n d  de e p  l e a r ni ng - b a s e d  c o di n g  s c h e m e ;   i n   a ll   t h e   c a s e s   t h e   pr o p o s e d  m e t h o ds   a tt a i ns   m uc h   im pr o v e d  P S NR   a n d  M S - S S I M ;   h o we v e r ,   i n   f ut ur e   wor k  m o r e   o p t i m i z a t i o n   w il l   b e   do ne   dur i n g   t r a i ni ng  pr o c e s s   c o n s i d e r i n g  i m pr o v e d  m o t i o n   de t e c t i o n   a n d  d i s t or t i o n   o p t i mi z a t i o n   c o n s i de r i n g  m o r e   di v e r s e   da t a s e t  a n d  pe r f o r m a n c e   m e t r i c s .       RE F E R E NC E S   [ 1]   X .  J in ,  H .  S un,  a nd  Y .  Z ha ng,  “ R e s e a r c h  o n  V V C   in tr a - f r a me   bi t  a ll oc a ti o n  s c h e m e   ba s e d  o n  s i gni f i c a n c e   d e t e c ti o n,”     A ppl ie d Sc ie nc e s  ( Sw it z e r la nd) , vo l.  14, n o . 1, p. 471, J a n. 2024, do i:  10.3390/app140104 71.   [ 2]   C .  B o nni ne a u,  W .  H a mi d o u c h e ,  J .  F .  T r a ve r s ,  N .  S id a t y ,  a nd  O .  D e f o r g e s ,  “ M ul ti ta s k  l e a r ni ng  f or   V V C   qua li t y   e nha nc e m e nt   a nd  s upe r - r e s o l ut i o n,”   in   2021   P ic tu r e   C odi ng  Sy m pos iu m ,  P C S  2021  -   P r oc e e di ngs ,  J un.  2021,  pp.  1 – 5,     do i:  10.1109/ P C S 50896.2021.9477492.   [ 3]   X .  S he ng,  L .  L i,   D .  L iu ,  a nd  H .  L i,   “ S pa ti a l  D e c o mp o s it i on  a nd  te mp o r a l  f us i o n  ba s e d  in te r   pr e di c ti o n  f or   le a r n e d  v i de o  c o mpr e s s i o n,”   I E E E   T r ans ac ti ons   on  C ir c ui ts   and  Sy s te m s   fo r   V id e o  T e c hnol ogy ,  vo l.   34,  n o .   7,  pp.  6460 – 6473,   J ul .  2 024,     do i:  10.1109/ T C S V T .2024.3360248.   [ 4]   W .  X ia o ,  Y .   H a o ,  J .  L ia ng,  L .   H u,  S .   A .  A lq a ht a ni ,   a nd  M .  C he n,  “ A da pt i ve   c o mpr e s s io n   of f l o a di ng  a nd  r e s o ur c e   a ll oc a ti on  f o r   e dg e   v is i o n  c o mput in g,”   I E E E   T r ans ac ti ons   on  C og ni ti v e   C om m uni c at io ns   and   N e tw or k in g ,  pp.  1 – 1,   20 24,    do i:  10.1109/ T C C N .2024.3400820.   Evaluation Warning : The document was created with Spire.PDF for Python.
                                I S S N :   2 5 0 2 - 4 7 52   In do n e s i a n   J   E l e c   E n g   &   C o m p  S c i ,  Vo l .   3 7 ,   N o .   1 ,  J a n ua r y   20 2 5 :   5 69 - 5 79   578   [ 5]   Y . L i,  B . C h e n, B . C h e n, M . W a ng, S . W a ng, a nd W . L in , “ P e r c e pt ua l  qua li t y  a s s e s s me nt  of   f a c e   vi de o   c o mp r e s s i o n:  a  be n c h ma r k  a nd a n e f f e c ti v e   me th o d,”   I E E E  T r ans ac ti ons  on M ul ti m e di a , vo l.  26, pp. 8596 – 8608, 2024, d o i:  10.1109/ T M M .2024.3380260 .   [ 6]   Y .  T ia n,  G .  L u,  Y .  Y a n,  G .  Z ha i,   L .  C he n,  a nd  Z .   G a o ,  “ A   c o di ng  f r a me w o r k   a nd  be n c hma r k  t o w a r ds   l o w - bi tr a t e   v i de o   unde r s ta ndi ng,”   I E E E   T r ans ac ti ons   on  P at te r n  A nal y s is   and  M ac hi ne   I nt e ll ig e nc e ,  v o l.   46,  n o .  8,  pp.  5852 – 5872,  A ug.  2024,  do i:   10.1109/ T P A M I .2024.3367879.   [ 7]   P .  D u,  Y .  L iu ,  a nd  N .  L in g,  “ C G V C - T :  c o nt e x tu a l  ge n e r a ti ve   v id e o   c ompr e s s io n  w it h  tr a ns f o r m e r s ,”   I E E E   J our nal   on  E m e r gi ng   and Se le c te d T opi c s  i n C i r c ui ts  and Sy s te m s , v o l.  14, n o . 2, pp.  209 – 223, J un. 2024, do i:  10.1109/J E T C A S .2024.3387301.   [ 8]   Z .  C he n,  T .  H e ,  X .  J in ,  a nd  F .  W u,  “ L e a r ni ng  f o r   v id e o   c o m pr e s s io n,”   I E E E   T r ans ac ti ons   on  C ir c ui ts   a nd  Sy s te m s   f o r   V id e o   T e c hnol ogy , vo l.  30, n o . 2, pp. 566 – 576, F e b. 2020, d o i:  10.110 9/ T C S V T .2019.2892608.   [ 9]   H .  L iu   e t  al . ,  “ N e ur a l  v id e o   c o di ng  us in g  mul ti s c a le   m o ti o n  c ompe ns a ti o n  a nd  s pa ti o t e mp o r a l  c o nt e x t  m o d e l, ”   I E E E   T r ans ac t io ns   on C ir c ui ts  and Sy s t e m s   f o r  V id e o T e c hnol ogy , v o l.  31, n o . 8, p p. 3182 – 3196, Aug. 2021, do i:  10.1109/ T C S V T .2020.3035680.   [ 10]   G .  L u,  W .  O u y a ng,  D .  X u,  X .  Z ha ng,  C .  C a i,   a nd  Z .  G a o,  “ D vc :  a n  e nd - to - e nd   de e p  vi de o  c o mp r e s s i o n  f r a me w o r k,”   in   P r oc e e di ngs   of   th e   I E E E   C om put e r   Soc i e ty   C on f e r e nc e   on  C o m put e r   V is io n  and   P at te r n  R e c ogni ti on ,  J un.  2019,   v ol .  2019 - J une ,  pp. 10998 – 11007, do i:  10.1109/C V P R .2019.01126.   [ 11]   D .  J ia ,  K .  W a ng,  S .  L u o ,  T .  L iu ,  a nd  Y .  L iu ,  “ B R A F T :   r e c u r r e nt   a ll - pa ir s   f i e ld   t r a ns f or ms   f o r   o pt i c a l  f l o w   ba s e d  o n  c o r r e la ti o n   bl oc ks ,”   I E E E  Si gnal   P r oc e s s in g L e tt e r s , v o l.  28, pp. 1575 – 157 9, 2021, do i:  10.1109/ L S P .2021.3099076.   [ 12]   Y .  H u,  C .  J ung,  Q .   Q in ,  J .   H a n,  Y .  L iu ,  a nd  M .  L i,   “ H D V C :   de e p  v id e o   c o mp r e s s i o n  w it h  h y p e r p r i o r - ba s e d  e nt r o p y   c o di ng,”   I E E E  A c c e s s , v ol . 1 2, pp. 17541 – 17551, 2024, d o i:  10.1109/A C C E S S .2024.3350643.   [ 13]   T .  D a s ,  K .  C h o i,   a nd  J .  C ho i,   “ H ig h  qua li t y   v id e o   f r a m e s   f r om  V V C :  a   de e p  ne ur a l  n e tw o r k  a ppr o a c h,”   I E E E   A c c e s s ,  v ol .   11,     pp. 54254 – 54264, 2023, do i:  10.1109/AC C E S S .2023.3281975.   [ 14]   “ U S C  m e di a  c o mm uni c a ti o ns   L a b  –   M C L - J C V  D a ta s e t. ”  ht tp s :/ /m c l. us c .e du/ mc l - j c v - da ta s e t/ .   [ 15]   F .  Z ha ng,  D .  M a ,  C .  F e ng,  a nd  D .  R .  B ul l,   “ V id e o   c o mpr e s s io n  w it h  C N N - ba s e d  p o s tp r oc e s s in g,”   I E E E   M u lt ime di a ,  vol .   28,     no . 4, pp. 74 – 83, O c t.  2021, d o i:  10.1109/M M U L .20 21.305243 7.   [ 16]   N .  V .   T ha ng  a nd  L .  V .   B a ng,  “ H i e r a r c hi c a l  r a ndom  a c c e s s   c o di ng  f o r   d e e p  ne ur a l  v id e o   c o mp r e s s i o n,”   I E E E   A c c e s s ,  v o l.   11,     pp. 57494 – 57502, 2023, do i:  10.1109/AC C E S S .2023.3283277.   [ 17]   “ U lt r a  v id e o  gr o up ( U V G )   d a ta s e t, ”   ul tr av id e o.f i.   ht tp : // ul tr a v id e o . f i/ #ma in   ( a c c e s s e d A pr . 29, 2024) .   [ 18]   J .  J .  Q ui nl a n,  A .  H .  Z a hr a n,  a nd  C .  J .  S r e e na n,  “ D a ta s e ts   f or   A V C   ( H .264)   a nd  H E V C   ( H .265)   e v a lu a ti o n  of   d y na mi c   a da pt iv e   s tr e a mi ng  ove r   H T T P   ( D A S H ) ,”   in   P r oc e e di ngs   of   th e   7t h  I nt e r nat io nal   C onf e r e nc e   o n  M ul ti m e di a  Sy s te m s ,  M M Sy s   2016 ,  M a y   2016, pp. 386 – 391, do i:  10.1145/2910017.2 910625.   [ 19]   G .  L u,   X .  Z h a ng ,  W .  O uy a n g,  L .  C he n ,  Z .  G a o ,  a nd  D .   X u,  “ A n  e n d - to - e n d  le a r n in g  f r a me w o r k  f o r   v id e o   c o mpr e s s io n , ”   I E E E   T r a n s a c t i o n s   o n   P a t t e r n   A n a l y s i s   a n d   M a c h i n e   I n t e l l i g e n c e ,   v o l .   4 3,   n o .   1 0, pp. 3292 – 3308,  2021,  do i :   1 0 . 1 1 0 9 /T P A M I . 2 0 2 0 . 2 9 8 8 4 5 3.   [ 20]   E .  A gus ts s o n,  D .  M in ne n,  N .  J o hns to n,  J .  B a ll é ,  S .  J .  H w a ng,  a nd  G .  T o d e r ic i,   “ S c a le - s pa c e   f l o w   f or   e nd - to - e nd  o pt i mi z e d  vi de o   c o mpr e s s io n,”  i n  P r oc e e di ngs  of  t he  I E E E  C om put e r  Soc ie ty  C onf e r e nc e  on C om put e r  V is io n and P at te r n R e c ogni ti on , J un. 2 020,   pp. 8500 – 8509, do i:  10.1109/C V P R 42600.2020.00853.   [ 21]   K .  Y oo n,  J .  H uh,  Y .  H .  K im ,  S .  K im ,  a nd  J .  J e o ng,  “ T e x tu r a l   de ta il   pr e s e r v a ti o n  ne tw o r k  f o r   v id e o   f r a m e   in te r p o la ti o n,”   I E E E   A c c e s s , v o l.  11, pp. 71994 – 72006, 2023, d o i:  10.1109/AC C E S S .2023.3294964.   [ 22]   M .  C ho i,   H .  K im ,  B .  H a n,  N .  X u,  a nd  K .  M .  L e e ,  “ C ha nne l  a tt e nt i o n  is   a ll   y o u  ne e d  f o r   v id e o   f r a m e   in te r p o la ti o n,”   A A A I   2020  -   34t h A A A I  C onf e r e n c e  on A r ti f ic ia l  I nt e ll ig e nc e , v o l.  34, n o . 07 , pp. 10663 – 10671, Apr . 2020, do i:  10.1609 /a a a i. v 34i 07.6693.   [ 23]   W .  B a o ,  W .  S .  L a i,   X .  Z ha ng,  Z .   G a o ,   a nd  M .  H .   Y a ng,  “ M E M C - N e t:   m o ti o n  e s ti ma ti o n  a nd  m o ti o n  c o mp e ns a ti o n   dr i ve n  n e ur a l   ne tw o r k  f or   v id e o   in t e r p o la ti o n  a nd  e nha nc e m e nt ,”   I E E E   T r a ns ac ti ons   on  P at te r n  A nal y s is   and  M ac hi ne   I nt e ll ig e nc e ,  v o l.   43,     no . 3, pp. 933 – 948, M a r . 2021, d o i:  10.1109/ T P A M I .2019.2941941.   [ 24]   T .   X u e ,  B .  C h e n,  J .  W u,  D .   W e i,   a nd  W .   T .  F r e e ma n,  “ V id e o   e nha n c e me nt   w it h   ta s k - or i e nt e d   f l o w ,”   I nt e r nat i onal   J our nal   of   C om put e r  V is io n , v o l.  127, n o . 8, pp. 1106 – 1125, Aug. 2019, d o i:  10.1007/s 11263 - 018 - 01144 - 2.   [ 25]   K.   d in g,   K .   m a ,   S .   w a n g,   a n d   E .   P .   s im o nc e ll i,   “ I m a ge   q u a l it y   a s s e s s me n t:   u ni f y in g   s tr uc t ur e   a n d   te x tu r e   s im il a r it y , ”   I E E E   T r an s ac ti on s  o n P at t e r n A na ly s i s   an d M ac hi n e  I nt e l li ge n c e , v o l.  4 4 ,  no .  5,  p p.  2 56 7 – 25 81 ,  20 22 ,  do i:   10 .1 10 9/ T P A M I .2 02 0. 30 458 1 0.   [ 26]   R .  Z ha ng,  P .  I s o la ,  A .   A .  E f r o s ,  E .  S he c ht ma n,  a nd  O .  W a ng,   “ T he   unr e a s o na bl e   e f f e c t i v e n e s s   of   de e p  f e a tu r e s   a s   a   pe r c e p tu a l  me tr i c ,”   in   P r o c e e di ngs   of   th e   I E E E   C om put e r   Soc ie ty   C onf e r e nc e   on  C om put e r   V is io n  and  P at te r n  R e c ogni ti on ,   J un.  2 018,     pp. 586 – 595, do i:  10.1109/C V P R .2018.00068.   [ 27]   B .  H e   e t  al . , “ T o w a r ds  s c a la bl e  n e ur a l  r e p r e s e nt a ti o n  f or  d i v e r s e   v id e o s ,”  i n   2023 I E E E /C V F  C onf e r e n c e   on C om put e r  V is io n and  P a tt e r n R e c ogni ti on ( C V P R ) , J un. 2023, pp. 6132 – 6142, doi:  1 0.1109/c v pr 52729.2023.00594.   [ 28]   K .  S oo mr o ,  A . R .  Z a mi r , a nd  M . S ha h, “ U C F 101:  a  da ta s e t  of   101  huma n a c t i o ns  c la s s e s   f r o m  vi de o s  i n  t h e  w il d,”   ar X iv  ( C o r ne ll   U ni v e r s it y ) ,  2012, [ O nl in e ] . A v a il a bl e :  ht tp : // a r x i v . o r g/ a bs /1 21 2.0402.   [ 29]   F . P e r a z z i,  J . P o nt - T us e t,   B .  M c W il li a ms ,  L .  V a n  G oo l,  M .  G r os s , a nd A . S o r k in e - H or nung, “ A  b e n c hma r k da ta s e t  a nd  e v a lu a ti o n   me th o d o l o g y   f o r   v id e o   o bj e c t  s e gm e nt a ti o n,”   in   P r oc e e di ngs   of   th e   I E E E   C om put e r   Soc ie t y   C on f e r e nc e   on  C om put e r   V is io n  and   P a tt e r n R e c ogni ti on , J un. 2016, vo l.  2016 - D e c e mbe r , pp. 724 – 732, do i:  10.1109/C V P R .2016.85.   [ 30]   Y .  J .  C ho i,   Y .  W .  L e e ,  J .  K im ,  S .  Y .  J e o ng,  J .  S .  C h o i,   a nd  B .  G .  K im ,  “ A tt e nt i o n - b a s e d  B i - p r e di c ti o n  n e tw o r k  f or   ve r s a ti le   vi de o  c o d in g ( V V C )   ove r  5 G  N e tw o r k,”   Se ns or s , v o l.  23, n o . 5, p. 26 31, F e b. 2023, d o i:  10.3390/s 23052631.   [ 31]   D .  M a ,  F .  Z ha ng,  a nd  D .  R .  B ul l,   “ B V I - D V C :  a   tr a in in g   da ta ba s e   f or   de e p  v id e o   c o mpr e s s io n,”   I E E E   T r ans ac ti ons   on   M ul ti m e di a ,  vol . 24, pp. 3847 – 3858, 2022, d o i:  10.1109/ T M M .2021.3108943.   [ 32]   H .  M .  K w a n,  G .  G a o ,  F .  Z ha ng,  A .  G o w e r ,  a nd  D .  B ul l,   “ H i N e R V :  v id e o   c o mpr e s s io n  w i th   hi e r a r c hi c a l  e n c o di ng - ba s e d  n e ur a l   r e pr e s e n ta ti o n,”   A dv anc e s  i n N e ur al  I n f or m at io n P r oc e s s in g S y s te m s , v o l.  36, 2023, d o i:  10.5555/3666122.3 669299.   [ 33]   Z .  W a ng,  G .  Q ua n,  a nd  G .  H e ,  “ E dge - o r i e nt e d  c o mp r e s s e d  v i de o   s upe r - r e s o lu ti o n,”   Se ns or s ,  v o l.   24,  n o .  1,  p.  170,  D e c .  2024,  do i:  10.3390/s 24010170.   [ 34]   F r a nk  B o s s e n,   “ C o mm o n   t e s t  c o nd it i o ns   a nd  s of twa r e   r e f e r e nc e   c o n f ig ur a ti o ns ,”   J C T - V C   D oc um e nt ,  J C T V C - G 1200 ,  vo l.   12,    no . 1, 2010.   [ 35]   A .  R a v i  a nd  F .  K a r r a y ,  “ E x pl o r in g  c o n vo lu ti o na l   r e c u r r e nt   a r c hi te c tu r e s   f o r   a no ma l y   d e t e c ti o n  in   v id e o s :  a   c o mpa r a ti ve   s tu d y ,”   D is c ov e r  A r ti f ic ia l  I nt e ll ig e nc e , v o l.  1, n o . 1,   p. 6, De c . 2021, d o i:  10.1007/s 44163 - 021 - 00004 - 2.   [ 36]   H .  S ha o ,  B .  L iu ,  Z .  L i,   C .  Y a n,  Y .  S un,  a nd  T .  W a ng,  “ A   hi gh - th r o ughput  pr oc e s s or   f o r   G D N - ba s e d  d e e p  l e a r ni ng  i ma ge   c o mpr e s s io n,”   E le c tr oni c s  ( Sw it z e r la nd) ,  vo l.  12, n o . 10, p. 228 9, M a y  2023, d o i :  10 .3390/e le c tr o n ic s 12102289.   [ 37]   A .  M e r c a t,  M . V i it a ne n,  a n d  J .  V a nne , “ U V G   d a ta s e t :   5 0/ 1 20f p s   4K  s e q ue nc e s   f o r   v id e o   c o de c   a n a l y s i s   a nd  de v e lo pme nt ,”  i n   M M Sy s   2 0 20   -   P r oc e e d in g s   o f  t he  2 02 0 M ul ti m e di a  S y s t e m s   C o n fe r e n c e , M a y  2 02 0,  p p.  2 97 – 3 02 ,  do i:   10 .1 14 5/ 33 39 82 5. 33 94 93 7.   [ 38]   R .  P o u r r e z a ,  H .   L e ,  A .  S a id ,  G .  S a ut i e r e ,  a nd  A .  W ig g e r s ,  “ B oo s ti ng  n e ur a l  v id e o   c o d e c s   b y   e x pl o it in g  h ie r a r c h ic a l  r e dunda nc y ,”   in   P r oc e e di ngs   -   2023  I E E E   W in te r   C on f e r e nc e   on   A ppl ic at io ns   o f   C o m put e r   V is io n,   W A C V   2023 ,  J a n.  2023,  pp.  5344 – 5 353,     do i:  10.1109/WA C V 56688.2023.00532.   Evaluation Warning : The document was created with Spire.PDF for Python.