T E L K O M N I K A ,   V o l . 9 ,   N o . 1 ,   A p r i l   2 0 1 1 ,   p p .   1 9 1 ~ 2 0 0   I S S N :   1 6 9 3 - 6 9 3 0   a c c r e d i t e d   b y   D G H E   ( D I K T I ) ,   D e c r e e   N o :   5 1 / D i k t i / K e p / 2 0 1 0         1 9 1       R e c e i v e d   J a n u a r y   3 1 th ,   2 0 1 1 ;   R e v i s e d   A p r i l   2 1 th ,   2 0 1 1 ;   A c c e p t e d   A p r i l   2 4 th ,   2 0 1 1   E f f i c i e n t   M o t i o n   F i e l d   I n t e r p o l a t i o n   M e t h o d   f o r     W y n e r - Z i v   V i d e o   C o d i n g       I   M a d e   O k a   W i d y a n t a r a * 1 ,   W i r a w a n 2 ,   G a m a n t y o   H e n d r a n t o r o 3   1 D e p a r t m e n t   o f   El e c t r i c a l   En g i n e e r i n g ,   U n i v e r s i t a s   U d a y a n a ,   D e n p a s a r   Ba l i ,   I n d o n e s i a   2 , 3 D e p a r t m e n t   o f   E l e c t r i c a l   E n g i n e e r i n g ,   I n s t i t u t   T e k n o l o g i   S e p u l u h   N o p e m b e r   ( I T S) ,   Su r a b a y a ,   I n d o n e s i a   e - m a i l :   o k a . w i d y a n t a r a @ u n u d . a c . i d * 1 ,   w i r a w a n @ i t s . a c . i d 2 ,   g a m a n t y o @ e e . i t s . a c . i d 3       A b s t r a k   Sa n d i   v i d e o   W y n e r - Z i v   m a m p u   m e n u r u n k a n   k o m p l e k s i t a s   p e n y a n d i a n   v i d e o   d e n g a n   m e m i n d a h k a n   p r o s e d u r   e s t i m a s i   g e r a k   d a r i   p e n y a n d i   k e   p e n g a w a s a n d i .   D i   a n t a r a   b e b e r a p a   m e t o d e   m o t i o n   e s t i m a t i o n   y a n g   t e l a h   d i t e r a p k a n ,   a l g o r i t m a   e x p e c t a t i o n   m a x i m i z a t i o n   a d a l a h   y a n g   p a l i n g   e f e k t i f .   Sa y a n g n y a ,   p e n e r a p a n   e s t i m a s i   g e r a k   b e r b a s i s   b l o k   p a d a   a l g o r i t m a   i n i   m e n y e b a b k a n   p r o f i l   b i d a n g   g e r a k   d i b a t a s i   o l e h   g r a n u l a r i t a s   u k u r a n   b l o k .   Ka s u s   s e r u p a   d a l a m   p e n g k o d e a n   m u l t i v i e w ,   d i s e l e s a i k a n   m e n g g u n a k a n   i n t e r p o l a s i   t e t a n g g a - t e r d e k a t   d a n   b i l i n e a r .   P a p e r   i n i   b e r m a k s u d   m e n g e v a l u a s i   p e n e r a p a n   m e t o d e   i n t e r p o l a s i   t e r s e b u t   p a d a   c o d e c   v i d e o   W y n e r - z i v   k a w a s a n   t r a n s f o r m a s i   d e n g a n   m e l i h a t   k i n e r j a   p a d a   p e n g h e m a t a n   l a j u   b i t ,   l a j u - d i s t o r s i   d a n   k o m p l e k s i t a s   p e n g a w a s a n d i a n .   H a s i l   r i s e t   m e n u n j u k a n   i n t e r p o l a s i   b i l i n e a r   h a n y a   e f e k t i f   d i t e r a p k a n   u n t u k   p e m r o s e s a n   s e k u e n   v i d e o   p e r g e r a k a n   t i n g g i .   Pa d a   v i d e o   p e r g e r a k a n   t i n g g i ,   p e n g h e m a t a n   l a j u   b i t   m e n c a p a i   3 . 2 9 % ,   PSN R   l e b i h   t i n g g i   0 , 2   d B,   d a n   k o m p l e k s i t a s   p e n g a w a s a n d i a n   y a n g   d i t i m b u l k a n   l e b i h   t i n g g i   s e b e s a r   1 2 , 3 0 %   d i b a n d i n g k a n   d e n g a n   i n t e r p o l a s i   t e t a n g g a - t e r d e k a t .   P a d a   v i d e o   p e r g e r a k a n   l a m b a t ,   p e n g h e m a t a n   l a j u   b i t   h a n y a   m e n c a p a i   0 , 8 2   % ,   d e n g a n   h a m p i r   t a n p a   p e r u b a h a n   PSN R ,   s e d a n g k a n   k o m p l e k s i t a s   p e n g a w a s a n d i a n   m e n i n g k a t   s a m p a i   1 0 , 3 2 % .       K a t a   k u n c i :   b i l i n e a r ,   i n t e r p o l a s i   b i d a n g   g e r a k ,   t e t a n g g a - t e r d e k a t ,   W y n e r - Z i v   v i d e o   c o d i n g       A b s t r a c t   W y n e r - Z i v   v i d e o   c o d i n g   h a s   t h e   c a p a b i l i t y   t o   r e d u c e   v i d e o   e n c o d i n g   c o m p l e x i t y   b y   s h i f t i n g   m o t i o n   e s t i m a t i o n   p r o c e d u r e   f r o m   e n c o d e r   t o   d e c o d e r .   Am o n g s t   m a n y   m o t i o n   e s t i m a t i o n   m e t h o d s ,   e x p e c t a t i o n   m a x i m i z a t i o n   a l g o r i t h m   i s   t h e   m o s t   e f f e c t i v e   o n e .   U n f o r t u n a t e l y ,   t h e   i m p l e m e n t a t i o n   o f   b l o c k - b a s e d   m o t i o n   e s t i m a t i o n   i n   t h i s   a l g o r i t h m   c a u s e s   m o t i o n   f i e l d   p r o f i l e   b o u n d e d   b y   g r a n u l a r i t y   o f   b l o c k   s i z e .   N e a r e s t - n e i g h b o r   a n d   b i l i n e a r   i n t e r p o l a t i o n   m e t h o d s   h a v e   a l r e a d y   a p p l i e d   i n   m u l t i v i e w   i m a g e   c o d i n g   t o   h a n d l e   s i m i l a r   p r o b l e m .   T h i s   p a p e r   a i m s   t o   e v a l u a t e   p e r f o r m a n c e   o f   b o t h   i n t e r p o l a t i o n   m e t h o d s   i n   t r a n s f o r m - d o m a i n   W y n e r - Z i v   v i d e o   c o d e c .   R e s u l t s   s h o w e d   t h a t   b i l i n e a r   i n t e r p o l a t i o n   e f f e c t i v e   o n l y   f o r   h i g h   m o t i o n   v i d e o   s e q u e n c e s .   I n   t h i s   s c e n a r i o ,   i t   h a s   b i t r a t e   s a v i n g   u p   t o   3 . 2 9   % ,   0 . 2   d h i g h e r   PSN R ,   a n d   1 2 . 3 0   %   h i g h e r   d e c o d i n g   c o m p l e x i t y   c o m p a r e d   t o   n e a r e s t - n e i g h b o r .   I n   l o w   m o t i o n   v i d e o   c o n t e n t ,   b i t r a t e   s a v i n g   o n l y   g a i n e d   u p   t o   0 . 8 2 % ,   w i t h   a l m o s t   t h e   s a m e   PSN R ,   w h i l e   d e c o d i n g   c o m p l e x i t y   i n c r e a s e   u p   t o   1 0 . 3 2 % .                 K e y w o r d s :   b i l i n e a r ,   m o t i o n   f i e l d   i n t e r p o l a t i o n ,   n e a r e s t - n e i g h b o r ,   W y n e r - Z i v   v i d e o   c o d i n g       1 .   I n t r o d u c t i o n   W y n e r - Z i v   v i d e o   c o d i n g   ( W Z V C )   i s   a   n e w   p a r a d i g m   i n   v i d e o   c o d i n g   [ 1 ] ,   b a s e d   o n   S l e p i a n - W o l f   [ 2 ]   a n d   W y n e r - Z i v   [ 3 ]   i n f o r m a t i o n   t h e o r i e s   i n   1 9 7 0 s .   T h o s e   t h e o r i e s   p r o v e d   t h a t   s e p a r a t e   e n c o d i n g   a n d   j o i n t   d e c o d i n g   ( d i s t r i b u t e d   c o m p r e s s i o n )   c a n   a c h i e v e   s i m i l a r   p e r f o r m a n c e s   t o   j o i n t   e n c o d i n g   a n d   j o i n t   d e c o d i n g   a s   l o n g   a s   c o r r e l a t e d   s i d e   i n f o r m a t i o n   ( S I )   i s   u s e d   i n   d e c o d e r   s i d e .   M o d e l   o f   t h i s   a p p r o a c h   i s   s h o w n   i n   F i g u r e   1 ,   w h e r e   S I   i s   r e c e i v e d   b y   e x p l o i t   c o r r e l a t i o n   b e t w e e n   f r a m e s   t h a t   a l r e a d y   b e e n   d e c o d e d .     S I   q u a l i t y   s t r o n g l y   i n f l u e n c e s   t h e   c o m p r e s s i o n   e f f i c i e n c y   i n   W Z V C   s y s t e m .   I n   g e n e r a l ,   b e t t e r   S I   w i l l   l e a d   t o   b e t t e r   r a t e - d i s t o r t i o n   ( R D )   p e r f o r m a n c e .   B u t ,   a s   l o n g   a s   S I   i s   g e n e r a t e d   i n   d e c o d e r   w i t h   m i n i m u m   i n f o r m a t i o n   a b o u t   s o u r c e ,   a c c u r a t e   S I   e s t i m a t i o n   b e c o m e s   a   d i f f i c u l t   t a s k .   S o ,   t o   e n h a n c e   W Z V C   p e r f o r m a n c e ,   t h e   p r i n c i p a l   i n v e s t i g a t o r s   o f   t h e   D I S C O V E R   p r o j e c t   i d e n t i f y     f i n d i n g   t h e   b e s t   S I   a t   t h e   d e c o d e r   a s   a   k e y   t a s k   [ 4 ] .         R e c e n t l y ,   m a n y   p r a c t i c a l   m e t h o d s   t o   g e n e r a t e   S I   h a v e   b e e n   p r o p o s e d ,   f o r   e x a m p l e ,   m o t i o n - c o m p e n s a t e d   I n t e r p o l a t i o n   ( M C I )   a n d   m o t i o n - c o m p e n s a t e d   e x t r a p o l a t i o n   ( M C E )   t h a t   a d o p t e d   i n   c l a s s i c a l   p i x e l   d o m a i n   W Z V C   s y s t e m   [ 1 ] .   K e y   i d e a   o f   t h i s   a p p r o a c h   i s   p r e d i c t i o n   o f   Evaluation Warning : The document was created with Spire.PDF for Python.
                                      I S S N :   1 6 9 3 - 6 9 3 0   T E L K O M N I K A     V o l .   9 ,   N o .   1 ,     A p r i l   2 0 1 1   :     1 9 1     2 0 0   1 9 2 c u r r e n t   f r a m e   b y   m o t i o n   e s t i m a t i o n   t h a t   u s e s   d e c o d e d   f r a m e .   H o w e v e r ,   d e c o d e d   f r a m e   c a r r i e s   o n l y   l i m i t e d   i n f o r m a t i o n .   M o r e o v e r ,   s i n c e   b l i n d   m o t i o n   e s t i m a t i o n   d o e s   n o t   u s e   a n y   i n f o r m a t i o n   o f   c u r r e n t   f r a m e   t o   b e   e n c o d e d ,   t h e   S I   i s   g e n e r a l l y   n o t   a c c u r a t e .   D i s c o v e r   c o d e c   f o l l o w s   t h i s   W Z V C   a r c h i t e c t u r e   a n d   i m p r o v e s   S I   g e n e r a t i o n   t o   i n c r e a s e   s y s t e m   p e r f o r m a n c e   [ 5 ] - [ 7 ] .   I n   t h i s   c o d e c ,   e s t i m a t e   o f   m o t i o n   f i e l d   w i t h i n   M C I   i s   d o n e   b i d i r e c t i o n a l l y   ( b a c k w a r d   a n d   f o r w a r d   m o t i o n   e s t i m a t i o n )   f o l l o w e d   b y   s p a t i a l   m o t i o n   s m o o t h i n g   t e c h n i q u e   t o   s m o o t h e n   b l o c k i n g   e f f e c t .     M o r e   r e c e n t l y ,   S I   g e n e r a t i o n   m e t h o d   b y   m o t i o n   v e c t o r   l e a r n i n g   a l o n g   d e c o d i n g   p r o c e s s   u s i n g   e x p e c t a t i o n   m a x i m i z a t i o n   ( E M )   a l g o r i t h m   f o r   W Z V C   s y s t e m   h a s   b e e n   p r o p o s e d   b y   [ 8 ] .   T h e   s a m e   m e t h o d   h a d   b e e n   a p p l i e d   f o r   l e a r n i n g   d i s p a r i t y   i n f o r m a t i o n   i n   d i s t r i b u t e d   c o d i n g   o f   r a n d o m   d o t   s t e r e o g r a m s   [ 9 ]   a n d   d i s t r i b u t e d   g r a y s c a l e   s t e r e o   i m a g e   c o d i n g   [ 1 0 ] ,   [ 1 1 ] .   L e a r n i n g   b a s e d   m e t h o d   u s i n g   E M   a l g o r i t h m   d o e s   d i s p a r i t y   c o m p e n s a t i o n   a n d   m o t i o n   f i e l d   c o m p e n s a t i o n   b a s e d   o n   b l o c k ,   w h e r e   d i s p a r i t y   a n d   m o t i o n   f i e l d   p r o f i l e   b o u n d e d   b y   g r a n u l a r i t y   o f   k - b y - k   b l o c k s .   T o   i m p r o v e   d i s p a r i t y   e s t i m a t e ,   a   d i s p a r i t y   b l o c k - t o - p i x e l   I n t e r p o l a t i o n   m e t h o d   u s i n g   b i l i n e a r   i n t e r p o l a t i o n   h a d   b e e n   p r o p o s e d   b y   [ 1 2 ] .   T h i s   a p p r o a c h   g a i n s   s i g n i f i c a n t   b i t   s a v i n g   c o m p a r e d   t o   n e a r e s t - n e i g h b o r   ( N N )   i n t e r p o l a t i o n   p r e v i o u s l y   a p p l i e d .   H o w e v e r ,   b i l i n e a r   i n t e r p o l a t i o n   i n c r e a s e s   d e c o d i n g   c o m p l e x i t y ,   s i n c e   i t   u s e s   m o r e   s p a t i a l   b l o c k s   f o r   w e i g h t i n g   f a c t o r s .     T h i s   p a p e r   a i m s   t o   e v a l u a t e   i m p l e m e n t a t i o n   o f   d i s p a r i t y   p r o b a b i l i t y   i n t e r p o l a t i o n   [ 1 2 ]   i n   W Z V C   c o d e c   [ 8 ]   b y   i n t e r p o l a t e   m o t i o n   f i e l d   d i s t r i b u t i o n   f r o m   b l o c k   t o   p i x e l .   T h e   d i f f e r e n c e s   o f   m o t i o n   f i e l d   c h a r a c t e r i s t i c   b e t w e e n   s e q u e n c e   o f   v i d e o   f r a m e s   a l l o w   d e s i g n   o f   W Z V C   c o d e c   t o   i m p l e m e n t   d i f f e r e n t   i n t e r p o l a t i o n   m e t h o d s .   T h e   m a i n   c o n t r i b u t i o n   o f   t h i s   p a p e r   i s   t o   f i n d   e f f i c i e n t   m o t i o n   f i e l d   d i s t r i b u t i o n   i n t e r p o l a t i o n   m e t h o d   f r o m   b l o c k   t o   p i x e l   i n   W Z V C   c o d e c   [ 8 ] ,   f o r   v i d e o   s e q u e n c e s   o f   d i f f e r e n t   m o t i o n   c h a r a c t e r i s t i c s ,   i n   t h e   s e n s e   o f   s a v i n g   b i t r a t e ,   R D   p e r f o r m a n c e ,   a n d   d e c o d i n g   c o m p l e x i t y .       T h i s   p a p e r   i s   o r g a n i z e d   a s   f o l l o w s .   I n   s e c t i o n   2 ,   u n s u p e r v i s e d   f o r w a r d   m o t i o n   v e c t o r   l e a r n i n g   b a s e d   o n   E M   a l g o r i t h m   [ 8 ]   f o r   W Z V C   c o d e c   i s   r e v i e w e d .   N e x t   o n   s e c t i o n   3 ,   E M   a l g o r i t h m   f o r   u n s u p e r v i s e d   f o r w a r d   m o t i o n   v e c t o r   l e a r n i n g   w i t h   m o t i o n   f i e l d   d i s t r i b u t i o n   i n t e r p o l a t i o n   m e t h o d   f r o m   b l o c k   t o   p i x e l   i s   e x t e n d e d .   E v a l u a t i o n   o f   t h i s   i m p l e m e n t a t i o n   m e t h o d   i n   t r a n s f o r m - d o m a i n   W Z V C   [ 8 ]   w i l l   b e   e x p l a i n e d   i n   s e c t i o n   4 ,   a n d   f i n a l l y   c o n c l u s i o n s   a r e   p r e s e n t e d   i n   s e c t i o n   5 .         S l e p i a n - W o l f   E n c o d e r C o n v e n t i o n a l E n c o d e r S e p a r a t e e n c o d i n g C o n v e n t i o n a l D e c o d e r S l e p i a n - W o l f   D e c o d e r S i d e   I n f o r m a t i o n J o i n t d e c o d i n g R a t e   R   >   H ( X | Y ) X Y X ^ Y     F i g u r e   1 .   D i s t r i b u t e d   c o m p r e s s i o n   :   s e p a r a t e   e n c o d i n g   a n d   j o i n t   d e c o d i n g           F i g u r e   2 .   E M - b a s e d   u n s u p e r v i s e d   f o r w a r d   m o t i o n   v e c t o r   l e a r n i n g   Evaluation Warning : The document was created with Spire.PDF for Python.
T E L K O M N I K A     I S S N :   1 6 9 3 - 6 9 3 0       E f f i c i e n t   M o t i o n   F i e l d   I n t e r p o l a t i o n   M e t h o d   f o r   W y n e r - Z i v   V i d e o   .   ( I   M a d e   O k a   W i d y a n t a r a )   1 9 3   2 .   E M - B a s e d   U n s u p e r v i s e d   F o r w a r d   M o t i o n   V e c t o r   L e a r n i n g   f o r   W Z V C     T h e   m a i n   o b j e c t i v e   o f   E M   a l g o r i t h m   i s   t o   e s t i m a t e   p a r a m e t e r   w i t h o u t   a n y   p r i o r   i n f o r m a t i o n   o r   c o m p l e t e   o b s e r v a t i o n   d a t a .   E M   a l g o r i t h m   e n s u r e s   t h a t   e s t i m a t e   c o e f f i c i e n t   c o n v e r g e s   t o   l o c a l   o p t i m i z e d   v a l u e   u s i n g   m a x i m u m   l i k e l i h o o d   f u n c t i o n .   E M   a l g o r i t h m   f r a m e   w o r k   t o   f i n d   f o r w a r d   m o t i o n   v e c t o r   i n   W Z V C   c o d e c   i s   s h o w n   i n   F i g u r e   2 .   B e l o w   a r e   d e t a i l s   o f   E M   a l g o r i t h m   t h a t   u s e d   i n   [ 8 ] .       2 . 1 .   M o d e l     I n   F i g u r e   2 ,   X   i s   c u r r e n t   W y n e r - Z i v   l u m i n a n c e   f r a m e   a n d   Ŷ   i s   p r e v i o u s l y   d e c o d e d   l u m i n a n c e   f r a m e ,   w h e r e   X   i s   r e l a t e d   t o   Ŷ   t h r o u g h   a   f o r w a r d   m o t i o n   f i e l d   M .   T h e   r e s i d u a l   o f   X   w i t h   r e s p e c t   t o   m o t i o n - c o m p e n s a t e d   Ŷ   i s   t r e a t e d   a s   i n d e p e n d e n t   L a p l a c i a n   n o i s e   Z .   S o ,   t h e   d e c o d e r s   a   p o s t e r i o r i   p r o b a b i l t y   d i s t r i b u t i o n   o f   s o u r c e   X   b a s e d   o n   p a r a m e t e r   θ ,   c a n   b e   m o d e l e d   a s   b e l o w :       { } { } ( ) ( ) Õ = = j i a p p j i X j i X P X P , , , , ; q q     ( 1 )     w h e r e   q ( i , j , w )   =   P a p p { X ( i , j )   =   w }   i s   s o f t   e s t i m a t e   o f   X ( i , j )   i n   l u m i n a n c e   v a l u e s   w   Î   {   0 , . . . . . . . ,   2 d - 1 }   a n d   d   i s   b i t   d e p t h .       2 . 2 .   P r o b l e m     T h e   d e c o d e r   a i m s   t o   c a l c u l a t e   t h e   a   p o s t e r i o r i   p r o b a b i l i t y   d i s t r i b u t i o n   o f   m o t i o n ,       { } { } { } { } q q ; | , ˆ ; , ˆ | M S Y P M P S Y M P M P a p p µ º     ( 2 )     w i t h   t h e   s e c o n d   s t e p   b y   B a y e s   L a w .   T h e   f o r m   o f   t h i s   e x p r e s s i o n   s u g g e s t s   a n   i t e r a t i v e   E M   s o l u t i o n .   T h e   E - s t e p   u p d a t e s   t h e   m o t i o n   f i e l d   d i s t r i b u t i o n   w i t h   r e f e r e n c e   t o   t h e   s o u r c e   m o d e l   p a r a m e t e r s ,   w h i l e   t h e   M - s t e p   u p d a t e s   t h e   s o u r c e   m o d e l   p a r a m e t e r s   w i t h   r e f e r e n c e   t o   t h e   m o t i o n   f i e l d   d i s t r i b u t i o n .   N o t e   t h a t   P { M | Y , S ; θ }   i s   t h e   p r o b a b i l i t y   o f   o b s e r v i n g   m o t i o n   M   g i v e n   t h a t   i t   r e l a t e s   X   ( a s   p a r a m e t e r i z e d   b y   θ )   t o   Ŷ ,   a n d   a l s o   g i v e n   s y n d r o m e   S .     2 . 3 .   E - s t e p   A l g o r i t h m     T h e   E - s t e p   u p d a t e s   t h e   e s t i m a t e d   d i s t r i b u t i o n   o n   M   a n d   b e f o r e   r e n o r m a l i z a t i o n   i s   w r i t t e n   a s       { } { } { } ) 1 ( ) 1 ( ) ( ; | , ˆ - - = t t a p p t a p p M S Y P M P M P q                     ( 3 )     T o   r e d u c e   o p e r a t i o n a l   c o s t   f r o m   p o s s i b l y   h i g h   v a l u e   o f   M ,   m o t i o n   f i e l d   e s t i m a t i o n   o f   M   i s   c o n d u c t e d   b y   b l o c k - b y - b l o c k   m o t i o n   v e c t o r s   M u ,v .   F o r   a   s p e c i f i e d   b l o c k s i z e   k ,   e v e r y   k - b y - k   b l o c k   o f   θ ( t 1 )   i s   c o m p a r e d   t o   t h e   c o l o c a t e d   b l o c k   o f   Ŷ   a s   w e l l   a s   a l l   t h o s e   i n   a   f i x e d   m o t i o n   s e a r c h   r a n g e   a r o u n d   i t   ( ±   m   p i x e l s   h o r i z o n t a l l y   a n d   v e r t i c a l l y ,   r e s p e c t i v e l y ) .   F o r   a   b l o c k   q u ,v ( t - 1 )   w i t h   t o p   l e f t   p i x e l   l o c a t e d   a t   ( u , v ) ,   t h e   d i s t r i b u t i o n   o n   t h e   s h i f t   M u ,v   i s   u p d a t e d   a s   b e l o w   a n d   n o r m a l i z e d :       { } { } { } ) 1 ( , , ) , ( , ) 1 ( , ) ( ; | ˆ : , - + - = t v u v u M v u v u t a p p v u t a p p M Y P M P M P v u q               ( 4 )     w h e r e   Ŷ ( u ,v ) + M u ,v   i s   t h e   k - b y - k   b l o c k   o f   Ŷ   w i t h   t o p   l e f t   p i x e l   a t   ( ( u , v ) + M u , v ) .   N o t e   t h a t   P { Ŷ ( u ,v ) + M u ,v | M u ,v ; q u , v ( t- 1 ) }   i s   t h e   p r o b a b i l i t y   o f   o b s e r v i n g   Ŷ ( u ,v ) + M u ,v   g i v e n   t h a t   i t   w a s   g e n e r a t e d   t h r o u g h   v e c t o r   M u ,v   f r o m   X u ,v   a s   p a r a m e t e r i z e d   b y   q u , v ( t- 1 ) .   T h i s   p r o c e d u r e ,   s h o w n   i n   t h e   l e f t   o f   F i g u r e   3 ,   o c c u r s   i n   t h e   b l o c k - b a s e d   m o t i o n   e s t i m a t o r .     2 . 4 .   M - s t e p     T h e   M - s t e p   u p d a t e s   t h e   s o f t   e s t i m a t e   θ   b y   m a x i m i z i n g   t h e   l i k e l i h o o d   o f   Ŷ   a n d     s y n d r o m e   S .     Evaluation Warning : The document was created with Spire.PDF for Python.
                                      I S S N :   1 6 9 3 - 6 9 3 0   T E L K O M N I K A     V o l .   9 ,   N o .   1 ,     A p r i l   2 0 1 1   :     1 9 1     2 0 0   1 9 4   ( ) { } { } { } Q = = = Q = Q Q m t a p p t m M S Y P m M P S Y P ; | , ˆ m a x a r g ; , ˆ m a x a r g : ) ( q   ( 5 )     w h e r e ,   t h e   s u m m a t i o n   i s   o v e r   a l l   c o n f i g u r a t i o n s   m   o f   t h e   m o t i o n   f i e l d .   S i n c e   t r u e   m a x i m i z a t i o n   i s   i n t r a c t a b l e ,   a n   a p p r o a c h   i s   c o n d u c t e d   b y   g e n e r a t i n g   s o f t   S I   y ( t ) ,   f o l l o w e d   b y   a n   i t e r a t i o n   o f   j o i n t   b i t p l a n e   l o w - d e n s i t y   p a r i t y - c h e c k   ( L D P C )   d e c o d i n g   t o   y i e l d   θ ( t ) .   T h e   p r o c e s s   c a n   b e   d i s t i n g u i s h e d   a s   f o l l o w s :     G e n e r a t i n g   S o f t   S I   ( y y y y ( t ) ) .   I n   t h i s   s t e p ,   s o f t   S I   y ( t) u ,v   i s   c r e a t e d   b y   b l e n d i n g   e s t i m a t e s   f r o m   e a c h   t h e   b l o c k s   Ŷ ( u ,v ) + M u ,v   a c c o r d i n g   t o   P a p p ( t ) { M u ,v }   a s   s h o w n   i n   t h e   p r o b a b i l i t y   m o d e l   i n   t h e   r i g h t   h a n d   s i d e   o f   F i g u r e   3 .   M o r e   g e n e r a l l y ,   t h e   p r o b a b i l i t y   t h a t   t h e   b l e n d e d   S I   h a s   v a l u e   !   a t   p i x e l   ( i ,   j )   i s       ( ) { } { } = = = = m t a p p t Y m M j i X P m M P j i ˆ , | ) , ( , , ) ( ) ( w w y       { } ( ) ) , ( ˆ ) ( j i Y p m M P m Z m t a p p - = = w       ( 6 )     w h e r e   p Z ( z )   i s   t h e   p r o b a b i l i t y   m a s s   f u n c t i o n   o f   t h e   i n d e p e n d e n t   a d d i t i v e   n o i s e   Z ,   a n d   Ŷ m   i s   t h e   p r e v i o u s   r e c o n s t r u c t e d   f r a m e   c o m p e n s a t e d   t h r o u g h   m o t i o n   c o n f i g u r a t i o n   m .             F i g u r e   3 .   E - s t e p   b l o c k - b a s e d   m o t i o n   e s t i m a t o r   ( l e f t )   a n d   p r o b a b i l i t y   m o d e l   ( r i g h t )       G e n e r a t i n g   s o f t   e s t i m a t e   ( θ ( t ) ) .   S o f t   S I   ( y ( t ) ) .   g e n e r a t e d   b y   m o d e l   p r o b a b i l i t y   t h e n   u s e d   b y   L D P C   d e c o d e r   t o   g e n e r a t e   s o f t   e s t i m a t e   ( θ ( t) ) .   T o   t h i s   p r o c e s s ,   L D P C   d e c o d e r   i m p l e m e n t   j o i n t   b i t   p l a n e   L D P C   d e c o d i n g   m e t h o d   t o   m a x i m i z e   s o f t   S I   y ( t ) ( i , j , ! )   a n d   s y n d r o m e   ( S ) .   F o r   p r o c e d u r e   i n   d e t a i l   o f   j o i n t   b i t p l a n e   a l g o r i t h m   d e c o d i n g ,   p l e a s e   r e f e r e   t o   [ 8 ] .       2 . 5 .   T e r m i n a t i o n     I t e r a t i n g   b e t w e e n   t h e   E - s t e p   a n d   t h e   M - s t e p   i n   t h i s   w a y   l e a r n s   t h e   f o r w a r d   m o t i o n   v e c t o r s   a t   t h e   g r a n u l a r i t y   o f   k - b y - k   b l o c k s .   T h e   d e c o d i n g   a l g o r i t h m   t e r m i n a t e s   s u c c e s s f u l l y   w h e n   t h e   h a r d   e s t i m a t e s   ) , , ( m a x a r g ) , ( ˆ w q w j i j i X = y i e l d   a   s y n d r o m e   e q u a l   t o   S       3 .   R e s e a r c h   M e t h o d     A s   d e s c r i b e d   i n   s e c t i o n   2 ,   E - s t e p   d a n   M - s t e p   i t e r a t i o n   a r e   c a r r i e d   o u t   b a s e d   o n   k - b y - k   b l o c k s .   T h e s e   m e t h o d s   g e n e r a t e   a   c o a r s e   m o t i o n   f i e l d   p r o f i l e   f r o m   u n n a t u r a l   s t e p - l i k e   t r a n s i t i o n   e f f e c t   i n   b l o c k   b o u n d a r i e s .   T h i s   c a u s e s   l o w   q u a l i t y   s o f t   S I   y ( t )   a n d   s o m e   f a l s e   b e l i e f s   a r e   p r o p a g a t e d   i n   L D P C   d e c o d e r .   T h i s   p r o c e s s   m i g h t   m a k e   h a r d   e s t i m a t e   g e n e r a t e   s y n d r o m e   t h a t   n o t   e q u a l   t o   S .           Evaluation Warning : The document was created with Spire.PDF for Python.
T E L K O M N I K A     I S S N :   1 6 9 3 - 6 9 3 0       E f f i c i e n t   M o t i o n   F i e l d   I n t e r p o l a t i o n   M e t h o d   f o r   W y n e r - Z i v   V i d e o   .   ( I   M a d e   O k a   W i d y a n t a r a )   1 9 5     T o   i n c r e a s e   s o f t   S I   y ( t ) ,   w e   h a v e   t o   i m p r o v e   m o t i o n   f i e l d   p r o f i l e   ( M )   i n   o r d e r   t o   m i n i m i z e   e f f e c t   o f   u n n a t u r a l   s t e p l i k e   t r a n s i t i o n s   i n   b l o c k   b o u n d a r i e s .   T h i s   i m p r o v e m e n t   c a r r i e d   o u t   b y   c o m p u t i n g   m o t i o n   f i e l d   d i s t r i b u t i o n   i n   p i x e l   b a s e d   P a p p { M ( i , j ) }   t o   e s t i m a t e   m o t i o n   f i e l d   ( M )   b o u n d a r i e s .   T h i s   a p p r o a c h   i s   e q u i v a l e n t   w i t h   i n t e r p o l a t e   m o t i o n   f i e l d   d i s t r i b u t i o n   f r o m   b l o c k   t o   p i x e l .             A s   d e s c r i b e d   i n   E q u a t i o n   ( 6 )   o f   s e c t i o n   2 ,   p i x e l - b a s e d   m o t i o n   f i e l d   d i s t r i b u t i o n   P a p p { M ( i , j ) }   t h e n   u s e d   a s   w e i g h t i n g   f a c t o r   f o r   p r o b a b i l i t y   m a s s   f u n c t i o n   o f   i n d e p e n d e n t   a d d i t i v e   n o i s e   p Z ( z )   i n   s o f t   S I   y ( t )   g e n e r a t i o n   p r o c e s s .   T h i s   s o f t   S I   y ( t )   a c c u r a c y   i s   m a i n l y   d e p e n d   o n   d i s t r i b u t i o n   P a p p { M ( i , j ) } .   I m p r o v e m e n t   p r o c e s s   w i l l   b e   d o n e   i n   t h e   e v e r y   E M   i t e r a t i o n .   F o r   t h i s   a p r o a c h ,   a   m o t i o n   f i e l d   i n t e r p o l a t i o n   p r o c e s s   i s   a d d e d   a f t e r   b l o c k - b a s e d   m o t i o n   e s t i m a t o r   i n   W Z V C .   F r a m e w o r k   o f   E M   a l g o r i t h m   w i t h   m o t i o n   f i e l d   i n t e r p o l a t i o n   i n   W Z V C   i s   s h o w n   i n     F i g u r e   4 .     I n   p a p e r   [ 1 2 ]   o n   W y n e r - Z i v   c o d i n g   o f   s t e r e o   i m a g e   w i t h   u n s u p e r v i s e d   l e a r n i n g   o f   d i s p a r i t y ,   d i s p a r i t y   i m p r o v e m e n t   i s   c a r r i e d   o u t   b y   a p p l y i n g   b i l i n e a r   i n t e r p o l a t i o n   a n d   t h e   r e s u l t s   a r e   c o m p a r e d   t o   N N   i n t e r p o l a t i o n   a p p l i e d   i n   [ 9 , 1 0 , 1 1 ] .   T h i s   a p p r o a c h   g a v e   s i g n i f i c a n t   b i t   s a v i n g ,   h o w e v e r   t h e r e   w a s   n o   e x p l a n a t i o n   a b o u t   d e c o d i n g   c o m p l e x i t y   a s   t h e   c o n s e q u e n c e s   o f   t h a t   a p p r o a c h .       I n   d i s t r i b u t e d   v i d e o   c o d i n g   a p p l i c a t i o n ,   d i f f e r e n t   c h a r a c t e r i s t i c   o f   m o t i o n   f i e l d   ( M )   b e t w e e n   s e q u e n c e   o f   v i d e o   f r a m e s   a l l o w   W Z V C   c o d e c   t o   i m p l e m e n t   d i f f e r e n t   i n t e r p o l a t i o n   m e t h o d s .   T h i s   p a p e r   a d o p t s   N N   a n d   b i l i n e a r   i n t e r p o l a t i o n   [ 1 2 ]   t o   i m p r o v e   m o t i o n   f i e l d   ( M )   e s t i m a t i o n   a n d   t o   c o m p a r e   t h e i r   p e r f o r m a n c e s   i n   W Z V C   c o d e c   [ 8 ]   f o r   d i f f e r e n t   v i d e o   s e q u e n c e   i n p u t .     M o r e   d e t a i l s   o f   i m p l e m e n t a t i o n   o f   i n t e r p o l a t i o n   m e t h o d   i n   [ 1 2 ]   a r e   d i s c u s s e d   i n   s e c t i o n s   b e l o w .           F i g u r e   4 .   M o t i o n   f i e l d   i n t e r p o l a t i o n   i n   E M - b a s e d   u n s u p e r v i s e d   f o r w a r d   m o t i o n   v e c t o r   l e a r n i n g     f o r   W Z V C       3 . 1 .   N e a r e s t - N e i g h b o r   ( N N )   I n t e r p o l a t i o n     I n   m o t i o n   f i e l d   i n t e r p o l a t i o n   f r o m   b l o c k   t o   p i x e l ,   N N   i n t e r p o l a t i o n   m e t h o d   o n l y   c o m p u t e s   s i n g l e   b l o c k w i s e   m o t i o n   f i e l d   d i s t r i b u t i o n   P a p p { M u ,v }   f o r   e v e r y   p i x e l   w i t h i n   k - b y - k   b l o c k .   S o   a l l   p i x e l s   i n   t h i s   b l o c k   s h a r e s   t h e   s a m e   b l o c k w i s e   m o t i o n   f i e l d   d i s t r i b u t i o n   P a p p { M u ,v } .   I f   M u ,v ( u , v )   i s   d e n o t e s   b l o c k - b y - b l o c k   m o t i o n   f i e l d   a n d   M ( i , j )   d e n o t e s   p i x e l - b y - p i x e l   m o t i o n   f i e l d ,   p i x e l - b y - p i x e l   m o t i o n   f i e l d   d i s t r i b u t i o n   m o t i o n   f i e l d   d e f i n e s   a s         ( ) { } = k j k i M P j i M P v u t a p p t a p p , , , ) ( ) (     ( 7 )   w h e r e   k   i s   t h e   b l o c k   s i z e .       W h e n   t h e r e   i s   a   h i g h   c o r r e l a t i o n   b e t w e e n   b l o c k s   i n   f r a m e   X   w i t h   b l o c k s   i n   p r e v i o u s l y   d e c o d e d   f r a m e   Ŷ ,   m o t i o n   f i e l d   e s t i m a t i o n   g e n e r a t e d   b y   b l o c k - b a s e d   m o t i o n   e s t i m a t i o n   w i l l   b e   m o r e   a c c u r a t e .   T h i s   c o n d i t i o n   a l l o w s   s i n g l e   b l o c k w i s e   m o t i o n   f i e l d   d i s t r i b u t i o n   P a p p { M u ,v }   t o   b e   i m p l e m e n t e d   f o r   e v e r y   p i x e l   i n   p a r t i c u l a r   b l o c k ,   b e c a u s e   e a c h   p i x e l   i n   t h e   s a m e   b l o c k   h a s   t h e   s a m e   i n f o r m a t i o n .                 Evaluation Warning : The document was created with Spire.PDF for Python.
                                      I S S N :   1 6 9 3 - 6 9 3 0   T E L K O M N I K A     V o l .   9 ,   N o .   1 ,     A p r i l   2 0 1 1   :     1 9 1     2 0 0   1 9 6 3 . 2 .   B i l i n e a r   I n t e r p o l a t i o n   I n   b i l i n e a r   i n t e r p o l a t i o n ,   m o t i o n   f i e l d   i n t e r p o l a t i o n   f r o m   b l o c k   t o   p i x e l   c o m p u t e s   4   ( f o u r )   b l o c k w i s e   m o t i o n   f i e l d   d i s t r i b u t i o n   f o r   e v e r y   p i x e l   i n   k - b y - k   b l o c k .   A s   s t a t e d   i n   E q u a t i o n   ( 8 ) ,   e a c h   d i s t r i b u t i o n   h a s   w e i g h t i n g   f a c t o r   a 1   t o   a 4 ,   w h e r e   t h o s e   w e i g h t i n g   f a c t o r s   a r e   c h o s e n   s u c h   a s   t h e   c l o s e s t   b l o c k   s p a t i a l l y   c o n t r i b u t e s   m o r e   t o   t h e   w e i g h t e d   s u m .   A l s o ,   a 1   t h r o u g h   a 4   a r e   p r o p e r l y   n o r m a l i z e d   b y   t h e   a r e a   o f   t h e   k - b y - k   b l o c k   s o   t h a t   b i l i n e a r   i n t e r p o l a t i o n   c r e a t e s   a   c o n v e x   c o m b i n a t i o n   o f   t h e   d i s p a r i t y   p r o b a b i l i t i e s .     ( ) [ ] + + + + + + + = 1 , 1 1 , , 1 , , , 4 , 3 , 2 , 1 k j k i M P a k j k i M P a k j k i M P a k j k i M P a j i M P v u a p p v u a p p v u a p p v u a p p a p p       ( 8 )     w i t h     [ ] 2 1 1 1 k j k j k i k i k a - + - + = ,       [ ] 2 2 1 1 k j k j k k i k i a - + - - =   [ ] 2 3 1 1 k k j k j i k i k a - - - + = ,       [ ] 2 4 1 1 k k j k j k i k i a - - - - =             T X ˆ X ˆ   F i g u r e   5 .   A r c h i t e c t u r e   o f   t r a n s f o r m - d o m a i n   W Z V C   c o d e c       4 .   R e s u l t s   a n d   A n a l y s i s   P r o c e d u r e   o f   m o t i o n   f i e l d   i n t e r p o l a t i o n   i n   E M - b a s e d   u n s u p e r v i s e d   f o r w a r d   m o t i o n   v e c t o r   l e a r n i n g   i s   s h o w n   i n   F i g u r e   4 .   W e   i m p l e m e n t   i t   i n   t r a n s f o r m - d o m a i n   W Z V C   c o d e c   a s   i n   [ 8 ] ,   w i t h   c o d e c   a r c h i t e c t u r e   s h o w n   i n   F i g u r e   5 .   C o d e c   d i v i d e s   v i d e o   s e q u e n c e   i n t o   f i x e d   s i z e   g r o u p   o f   p i c t u r e   ( G O P ) .   T h e   f i r s t   f r a m e   i n   G O P   i s   c o d e d   a s   K e y   f r a m e   u s i n g   J P E G   s t a n d a r d   a n d   d e c o d e d   w i t h o u t   a n y   r e f e r e n c e   t o   S I .   T h e   s u b s e q u e n t   f r a m e s   o f   G O P   ( c a l l e d   W Z   f r a m e s )   a r e   c o d e d   a c c o r d i n g   t o   F i g u r e   6   u s i n g   p r e v i o u s   r e c o n s t r u c t e d   f r a m e   a s   d e c o d e r   r e f e r e n c e .     I n   t h i s   r e s e a r c h ,   w e   u s e   4   ( f o u r )   v i d e o   s e q u e n c e s ,   i . e .   F o r e m a n ,   C a r p h o n e ,   C o n t a i n e r ,   a n d   H a l l ,   e a c h   h a s   d e c r e a s i n g   m o t i o n   c o m p l e x i t y .   S a m p l e   f r a m e s   f r o m   t h o s e   4   ( f o u r )   v i d e o   s e q u e n c e s   a r e   s h o w n   i n   F i g u r e   6 .   W e   u s e   a l l   v i d e o   s e q u e n c e s   i n   Q C I F   a n d   1 5   H z   r e s o l u t i o n ,   a s   i n   p r e v i o u s   r e s e a r c h   [ 8 ] .   N e x t ,   e a c h   W Z   f r a m e   o f   Q C I F   s i z e   i s   d i v i d e d   i n t o   4   ( f o u r )   q u a d r a n t s   a n d   e a c h   q u a d r a n t   i s   s e p a r a t e l y   e n c o d e d   u s i n g   t h e   c o r r e s p o n d i n g   q u a d r a n t   o f   t h e   p r e v i o u s   r e c o n s t r u c t e d   f r a m e   a s   d e c o d e r   r e f e r e n c e .   E a c h   q u a d r a n t   f r o m   W Z   f r a m e   i s   t r a n s f o r m e d   u s i n g   b l o c k - b a s e d   k - b y - k   D C T ,   t o   e x p l o i t   s p a t i a l   r e d u d a n c y   w i t h i n   q u a d r a n t .   T r a n s f o r m   c o e f f i c i e n t s   Evaluation Warning : The document was created with Spire.PDF for Python.
T E L K O M N I K A     I S S N :   1 6 9 3 - 6 9 3 0       E f f i c i e n t   M o t i o n   F i e l d   I n t e r p o l a t i o n   M e t h o d   f o r   W y n e r - Z i v   V i d e o   .   ( I   M a d e   O k a   W i d y a n t a r a )   1 9 7   a r e   t h e n   q u a n t i z e d   u n i f o r m l y   u s i n g   J P E G   q u a n t i z a t i o n   w i t h   s c a l e   f a c t o r   o f   0 . 5 ,   1 ,   2 ,   a n d   4   [ 1 5 ] .   Q u a n t i z a t i o n   i n d i c e s   a r e   i n p u t   i n t o   L D P C   e n c o d e r   t o   r e c o n s t r u c t   s y n d r o m e   ( S ) .       A f t e r   5 0   d e c o d i n g   i t e r a t i o n s   o f   E M ,   i f   t h e   r e c o n s t r u c t e d X ˆ s t i l l   d o e s   n o t   s a t i s f y   t h e   s y n d r o m e   c o n d i t i o n ,   t h e   d e c o d e r   r e q u e s t s   a d d i t i o n a l   i n c r e m e n t a l   t r a n s m i s s i o n   f r o m   t h e   e n c o d e r   v i a   a   f e e d b a c k   c h a n n e l .                                             ( a )                                     ( b )                                                   ( c )                                                       ( d )     F i g u r e   6 .   S a m p l e   f r a m e   f o r   v i d e o   s e q u e n c e s :   ( a )   F o r e m a n ,   ( b )   C a r p h o n e ,   ( c )   C o n t a i n e r ,     ( d )   H a l l           I n   D C T   p r o c e d u r e s ,   w e   u s e   b l o c k   s i z e   o f   8   x   8   p i x e l s   f o r   t h e   b l o c k - b a s e d   m o t i o n   e s t i m a t i o r ,   t h e   m o t i o n   f i e l d   i n t e r p o l a t i o n ,   a n d   t h e   p r o b a b i l i t y   m o d e l .   T o   e s t i m a t e   b l o c k - b a s e d   m o t i o n   f i e l d   i n   m o t i o n   e s t i m a t o r   a n d   p r o b a b i l i t y   m o d e l ,   w e   u s e   m o t i o n   s e a r c h   r a n g e   ±   5   p i x e l s   h o r i s o n t a l l y   a n d   v e r t i c a l l y .   R a t e   c o n t r o l   i s   i m p e l e m e n t e d   b y   u s i n g   r a t e - a d a p t i v e   r e g u l a r   d e g r e e   3   L D P C   a c c u m u l a t e   c o d e s   o f   l e n g t h   5 0 6 8 8   b i t s   a s   a   p l a t f o r m   f o r   t h e   j o i n t   b i t p l a n e   s y s t e m s .   I n   t h e s e   e x p e r i m e n t s ,   t h e   E M   a l g o r i t h m   a t   t h e   d e c o d e r   i s   i n i t i a l i z e d   w i t h   a   g o o d   v a l u e   f o r   v a r i a n c e   o f   L a p l a c i a n   n o i s e   Z   a n d   e x p e r i m e n t a l l y - c h o s e n   d i s t r i b u t i o n s   f o r   m o t i o n   v e c t o r s   M u ,v :       { } ( ) ( ) * * = × = = o t h e r w i s e M i f M i f M P v u v u v u t a p p , ) 0 , ( ) , , 0 ( ) 0 , 0 ( , 2 8 0 1 , 8 0 1 4 3 , 2 4 3 , ) (             ( 9 )     4 . 1 .   A n a l y s i s   o f   b i t r a t e   s a v i n g s     T a b l e   1   s h o w s   a   c o m p a r i s o n   o f   a v e r a g e   b i t r a t e   t h a t   n e e d e d   t o   t r a n s m i t   W Z   f r a m e   w h e n   W Z V C   d e c o d e r   u s e s   N N   a n d   b i l i n e a r   m o t i o n   f i e l d   i n t e r p o l a t i o n s .   I n   g e n e r a l ,   b i l i n e a r   i n t e r p o l a t i o n   y i e l d s   s a v i n g   r a t e   i n   a l l   q u a n t i z a t i o n   f a c t o r s .   H o w e v e r ,   w h e n   d e c o d i n g   c o m p l e x i t y   i s   c o n s i d e r e d ,   o n l y   F o r e m a n   a n d   C a r p h o n e   v i d e o   s e q u e n c e s   g i v e   s i g n i f i c a n t   s a v i n g   b i t r a t e ,   i . e .   u p   t o   3 . 2 9 %   a n d   2 . 7 3 %   r e s p e c t i v e l y ,   a t   Q 0 .5   q u a n t i z a t i o n   s c a l i n g   f a c t o r .   F o r   d e c o d i n g   c o m p l e x i t i e s ,   b o t h   v i d e o   s e q u e n c e s   i n c r e a s e   u p   t o   1 2 . 3 0 %   a n d   9 . 7 4 % ,   r e s p e c t i v e l y .   T h i s   r e s u l t s   s h o w   t h a t   b i l i n e a r   i n t e r p o l a t i o n   h a s   t h e   c a p a b i l i t y   t o   i m p r o v e   i n i t i a l   m o t i o n   f i e l d   f o r   h i g h   m o t i o n   c o n t e n t   v i d e o   s e q u e n c e .   F o u r   s e l e c t e d   w e i g h t i n g   c o e f f i c i e n t s   a r e   a b l e   t o   m a k e   s p a t i a l l y   c l o s e r   b l o c k s   t o   s o u r c e   p i x e l   c o n t r i b u t e   m o r e   t o   t h e   w e i g h t e d   s u m   i n   s m o o t h e n   m o t i o n   f i e l d   p r o f i l e .         O n   t h e   c o n t r a r y ,   f o r   l o w   m o t i o n   v i d e o   s e q u e n c e ,   i . e .   C o n t a i n e r   a n d   H a l l ,   s a v i n g   b i t r a t e   a c h i e v e d   b y   b i l i n e a r   i n t e r p o l a t i o n   i s   n o t   w o r t h   c o m p a r e d   t o   i t s   c o m p l e x i t y .   B o t h   v i d e o   s e q u e n c e s   g a i n   o n l y   0 . 8 2 %   a n d   0 . 9 2 % ,   r e s p e c t i v e l y ,   w h i l e   d e c o d i n g   c o m p l e x i t i e s   i n c r e a s e   u p   t o   1 0 . 3 2 %   a n d   1 5 . 3 5 % ,   r e s p e c t i v e l y   a t   Q 0 .5 .   S o ,   w h e n   d e c o d i n g   c o m p l e x i t y   b e c o m e s   m a j o r   c o n c e r n ,   N N   i n t e r p o l a t i o n   i s   m o r e   s u i t a b l e   t o   i m p r o v e   m o t i o n   f i e l d   e s t i m a t i o n   i n   W Z V C   c o d e c   f o r   l o w   m o t i o n   v i d e o   s e q u e n c e .               4 . 2 .   A n a l y s i s   o f   R a t e - D i s t o r t i o n   P e r f o r m a n c e     T h i s   a n a l y s i s   a i m s   t o   f i n d   a v e r a g e   p e a k   t o   p e a k   s i g n a l   t o   n o i s e   r a t i o   ( P S N R )   q u a l i t y   f r o m   i m p l e m e n t a t i o n   o f   b o t h   i n t e r p o l a t i o n   m e t h o d s   f o r   f i x e d   b i t r a t e .   F i g u r e   7   s h o w s   t h a t   i m p l e m e n t a t i o n   o f   b i l i n e a r   i n t e r p o l a t i o n   i n   t r a n s f o r m - d o m a i n   W Z V C   c o d e c   h a s   a v e r a g e   g a i n   o f   0 . 2   d B   h i g h e r   t h a n   N N   i n t e r p o l a t i o n   t e c h n i q u e   f o r   F o r e m a n   a n d   C a r p h o n e   v i d e o   s e q u e n c e s ,   w h i l e   t h e r e   i s   n o   s i g n i f i c a n t   d i f f e r e n t   f o r   C o n t a i n e r   a n d   H a l l   v i d e o   s e q u e n c e s .   T h i s   i m p l i e s   t h a t   N N   i n t e r p o l a t i o n   i s   m o r e   e f f i c i e n t   i n   t r a n s f o r m - d o m a i n   W Z V C   c o d e c   f o r   l o w   m o t i o n   v i d e o   s e q u e n c e .       Evaluation Warning : The document was created with Spire.PDF for Python.
                                      I S S N :   1 6 9 3 - 6 9 3 0   T E L K O M N I K A     V o l .   9 ,   N o .   1 ,     A p r i l   2 0 1 1   :     1 9 1     2 0 0   1 9 8 T a b l e   1 .   C o m p a r i s o n   o f   t r a n s f o r m - d o m a i n   W Z V C   c o d e c   i n   d i f f e r e n t   i n t e r p o l a t i o n   m e t h o d s   R a t e   ( k b p s ) P S N R   ( d B ) D e c o d i n g   t i m e   ( s ) R a t e   ( k b p s ) P S N R   ( d B ) D e c o d i n g   t i m e   ( s ) a b c d e f ( d - a ) / d ( c - f ) / c F o r e m a n   Q 0 . 5 5 0 9 . 6 3 3 5 . 4 9 2 8 9 7 1 4 5 2 6 . 9 6 3 5 . 4 9 2 5 4 0 7 7 3 . 2 9 1 2 . 3 0 Q 1 3 4 8 . 0 9 3 2 . 9 4 2 1 1 0 5 7 3 5 9 . 1 9 3 2 . 9 4 1 8 4 6 0 7 3 . 0 9 1 2 . 5 3 Q 2 2 3 0 . 1 0 3 0 . 5 5 1 4 6 9 8 7 2 3 7 . 7 0 3 0 . 5 5 1 3 4 0 5 0 3 . 2 0 8 . 8 0 Q 4 1 5 8 . 8 8 2 8 . 3 8 1 1 7 6 5 6 1 6 2 . 7 4 2 8 . 3 8 1 0 9 1 1 1 2 . 3 7 7 . 2 6 C a r p h o n e Q 0 . 5 4 0 3 . 5 3 3 7 . 5 5 1 8 1 5 7 1 4 1 3 . 6 9 3 7 . 5 5 1 6 3 8 8 9 2 . 4 5 9 . 7 4 Q 1 2 7 5 . 0 0 3 4 . 6 7 1 2 4 4 8 2 2 8 2 . 7 2 3 4 . 6 7 1 1 5 4 0 1 2 . 7 3 7 . 3 0 Q 2 1 8 4 . 1 4 3 2 . 1 0 9 2 8 5 8 1 8 8 . 7 7 3 2 . 1 0 8 8 3 4 0 2 . 4 5 4 . 8 7 Q 4 1 2 8 . 9 0 2 9 . 5 7 7 3 7 4 5 1 3 1 . 5 1 2 9 . 5 7 7 0 7 1 9 1 . 9 9 4 . 1 0 C o n t a i n e r Q 0 . 5 3 5 7 . 7 0 3 5 . 4 1 1 0 7 5 6 5 3 6 0 . 6 7 3 5 . 4 1 9 6 4 6 1 0 . 8 2 1 0 . 3 2 Q 1 2 3 7 . 0 2 3 2 . 2 6 7 6 5 5 7 2 3 9 . 1 6 3 2 . 2 6 7 2 2 3 0 0 . 8 9 5 . 6 5 Q 2 1 6 1 . 0 6 2 9 . 6 5 6 6 9 8 7 1 6 2 . 6 1 2 9 . 6 5 6 4 3 0 9 0 . 9 5 4 . 0 0 Q 4 1 2 8 . 9 3 2 7 . 2 3 7 9 5 4 2 1 2 9 . 2 9 2 7 . 2 3 6 9 1 6 9 0 . 2 7 1 3 . 0 4 H a l l Q 0 . 5 4 0 3 . 0 3 3 6 . 5 5 1 9 6 7 0 1 4 0 6 . 7 7 3 6 . 5 5 1 6 6 5 1 0 0 . 9 2 1 5 . 3 5 Q 1 2 7 0 . 6 9 3 3 . 4 0 1 1 3 1 2 1 2 7 3 . 1 8 3 3 . 4 0 1 0 0 8 3 4 0 . 9 1 1 0 . 8 6 Q 2 1 8 5 . 2 1 3 0 . 4 9 7 8 7 6 0 1 8 6 . 6 3 3 0 . 4 9 7 2 4 7 3 0 . 7 6 7 . 9 8 Q 4 1 3 4 . 1 8 2 7 . 8 4 7 3 1 0 8 1 3 5 . 7 2 2 7 . 8 4 6 8 2 0 8 1 . 1 4 6 . 7 0 S a v i n g   r a t e   ( % ) D e c o d i n g   c o m p l e x i t y   ( % ) V i d e o   S e q u e n c e s S c a l i n g   f a c t o r   Q W Z V C   w i t h   B i l i n e a r   I n t e r p o l a t i o n W Z V C   w i t h   N N   I n t e r p o l a t i o n       a .     b .     c .     d .   F i g u r e   7 .   R D   p e r f o r m a n c e   c o m p a r i s o n   o f   t r a n s f o r m - d o m a i n   W Z V C   c o d e c   f o r   N N   a n d   b i l i n e a r   i n t e r p o l a t i o n :   a   F o r e m a n ,   b .   C a r p h o n e ,   c .   C o n t a i n e r ,   d .   H a l l   2 9 3 0 3 1 3 2 3 3 3 4 3 5 3 6 3 7 3 8 1 0 0 1 5 0 2 0 0 2 5 0 3 0 0 3 5 0 4 0 0 4 5 0 R a t e s   ( K b p s ) P S N R   ( d B ) W Z V C   w i t h   B i l i n e a r W Z V C   w i t h   N N 2 7 2 8 2 9 3 0 3 1 3 2 3 3 3 4 3 5 3 6 1 0 0 1 5 0 2 0 0 2 5 0 3 0 0 3 5 0 4 0 0 4 5 0 R a t e s   ( K b p s ) P S N R   ( d B ) W Z V C   w i t h   B i l i n e a r W Z V C   w i t h   N N 2 7 2 8 2 9 3 0 3 1 3 2 3 3 3 4 3 5 3 6 3 7 1 0 0 1 5 0 2 0 0 2 5 0 3 0 0 3 5 0 4 0 0 4 5 0 R a t e s   ( K b p s ) P S N R   ( d B ) W Z V C   w i t h   B i l i n e a r W Z V C   w i t h   N N 2 8 2 9 3 0 3 1 3 2 3 3 3 4 3 5 3 6 1 5 0 2 0 0 2 5 0 3 0 0 3 5 0 4 0 0 4 5 0 5 0 0 5 5 0 R a t e s   ( K b p s ) P S N R   ( d B ) W Z V C   w i t h   B i l i n e a r W Z V C   w i t h   N N Evaluation Warning : The document was created with Spire.PDF for Python.
T E L K O M N I K A     I S S N :   1 6 9 3 - 6 9 3 0       E f f i c i e n t   M o t i o n   F i e l d   I n t e r p o l a t i o n   M e t h o d   f o r   W y n e r - Z i v   V i d e o   .   ( I   M a d e   O k a   W i d y a n t a r a )   1 9 9   4 . 3 .   D e c o d i n g   c o m p l e x i t y     T o   e s t i m a t e   d e c o d i n g   c o m p l e x i t y ,   t o t a l   d e c o d i n g   t i m e   f o r   a l l   s e q u e n c e s   i s   m e a s u r e d   i n   s e c o n d s .   T a b l e   1   s h o w s   t o t a l   t i m e   n e e d e d   t o   e n c o d e   a l l   9 6   f r a m e s   u s i n g   J P E G   q u a n t i z a t i o n   m a t r i x   a t   s c a l e   o f   Q 0 .5 ,   Q 1 ,   Q 2   a n d   Q 3 .   I n   g e n e r a l ,   e x p e r i m e n t   r e s u l t s   s h o w   t h a t   i m p l e m e n t a t i o n   o f   b i l i n e a r   i n t e r p o l a t i o n   m a k e s   d e c o d i n g   p r o c e s s   o f   t r a n s f o r m - d o m a i n   W Z V C   c o d e c   b e c o m e s   m o r e   c o m p l e x .     R e g a r d i n g   t o   d e c o d i n g   c o m p l e x i t y ,   b i l i n e a r   i n t e r p o l a t i o n   i s   m o r e   e f f i c i e n t   f o r   v i d e o   s e q u e n c e   w i t h   h i g h   m o t i o n   c o n t e n t ,   s u c h   a s   F o r e m a n   a n d   C a r p h o n e .   M e a n w h i l e ,   f o r   l o w   m o t i o n   c o n t e n t   v i d e o   s e q u e n c e   l i k e   C o n t a i n e r   a n d   H a l l ,   N N   i n t e r p o l a t i o n   i s   m o r e   e f f i c i e n t   t o   i m p l e m e n t .       5 .   C o n c l u s i o n s   T h i s   p a p e r   h a s   e v a l u a t e d   i m p l e m e n t a t i o n   o f   m o t i o n   f i e l d   i n t e r p o l a t i o n   m e t h o d   i n   t r a n s f o r m - d o m a i n   W Z V C   c o d e c   t h a t   u s e   b l o c k - b a s e d   m o t i o n   f i e l d   c o m p e n s a t i o n   m e t h o d   a t   e a c h   E M   a l g o r i t h m   i t e r a t i o n .   M o t i o n   f i e l d   q u a l i t y   i m p r o v e m e n t   w a s   c a r r i e d   o u t   b y   m o t i o n   f i e l d   b l o c k   t o   p i x e l   i n t e r p o l a t i o n   u s i n g   N N   a n d   b i l i n e a r   i n t e r p o l a t i o n   m e t h o d s .   P e r f o r m a n c e s   o f   i m p l e m e n t a t i o n   o f   b o t h   i n t e r p o l a t i o n s   i n   t r a n s f o r m - d o m a i n   W Z V C   c o d e c   w e r e   a n a l y z e d   b a s e d   o n   s a v i n g   b i t r a t e ,   R D   p e r f o r m a n c e ,   a n d   d e c o d i n g   c o m p l e x i t y .   E x p e r i m e n t   r e s u l t s   s h o w e d   t h a t   b i l i n e a r   i n t e r p o l a t i o n   g a v e   m o r e   e f f i c i e n t   s a v i n g   b i t r a t e ,   R D   p e r f o r m a n c e ,   a n d   d e c o d i n g   c o m p l e x i t y   f o r   v i d e o   s e q u e n c e   w i t h   h i g h   m o t i o n   c o n t e n t ,   w h i l e   N N   i n t e r p o l a t i o n   a c h i e v e d   a l m o s t   e q u a l   s a v i n g   b i t r a t e   a n d   R D   p e r f o r m a n c e   t o   b i l i n e a r   i n t e r p o l a t i o n   f o r   l o w   m o t i o n   c o n t e n t ,   b u t   f a r   l o w e r   d e c o d i n g   c o m p l e x i t y .       F o r   f u r t h e r   w o r k ,   w e   w i l l   i m p l e m e n t   s u p e r - s a m p l i n g   i n t e r p o l a t i o n   t o   i n c r e a s e   t r a n s f o r m - d o m a i n   W Z V C   c o d e c   p e r f o r m a n c e s ,   m a i n l y   i n   p r o c e s s i n g   v i d e o   s e q u e n c e   w i t h   h i g h   m o t i o n   c o n t e n t .         A c k n o w l e d g m e n t     T h e   a u t h o r s   w o u l d   l i k e   t o   t h a n k   D a v i d   V a r o d a y a n   a n d   D a v i d   C h e n   o f   I n f o r m a t i o n   S y s t e m   L a b . ,   D e p a r t m e n t   o f   E l e c t r i c a l   E n g i n e e r i n g   a t   S t a n f o r d   U n i v e r s i t y   f o r   s h a r i n g   t h e   c o d e   o f   W Z V C   c o d e c .   T h i s   w o r k   h a s   b e e n   s u p p o r t e d   b y   t h e   D i r e c t o r a t e   G e n e r a l   o f   H i g h e r   E d u c a t i o n   ( D G H E ) ,   M i n i s t r y   o f   N a t i o n a l   E d u c a t i o n   R e p u b l i c   o f   I n d o n e s i a .       R e f e r e n c e s   [ 1 ] .   B e r n   G ,   A n n e   A ,   S h a n t a n u   R ,   D a v i d   R M .   D i s t r i b u t e d   V i d e o   C o d i n g .   P r o c e e d i n g s   o f   t h e   I E E E .   2 0 0 5 ;   9 3 :   7 1 8 3 .   [ 2 ] .   D a v i d .   S ,   J a c k   K W .   N o i s e l e s s   C o d i n g   o f   C o r r e l a t e d   I n f o r m a t i o n   S o u r c e s .   I E E E   T r a n s a c t i o n   I n f o r m a t i o n   T h e o r y .   1 9 7 3 ;   1 9 ( 4 ) :   4 7 1   4 8 0 .   [ 3 ] .   A a r o n   D W ,   J a c o b   Z .   T h e   R a t e - D i s t o r t i o n   F u n c t i o n   f o r   S o u r c e   C o d i n g   w i t h   S i d e   I n f o r m a t i o n   a t   t h e   D e k o d e r .   I E E E   T r a n s a c t i o n .   I n f o r m a t i o n   T h e o r y .   1 9 7 6 ;   2 2 ( 1 ) :   1 1 0 .   [ 4 ] .   C h r i s t i n e   G ,   F e r n a n d o   P ,   L u i s   T ,   T o u r a d j   E ,   R i c c a r d o   L ,   J ö e r n   O .   D i s t r i b u t e d   m o n o v i e w   a n d   m u l t i v i e w   v i d e o   c o d i n g .   I E E E   S i g n a l   P r o c e s s i n g   M a g a z i n e .   2 0 0 7 :   2 4 ( 5 ) :   6 7 - 7 6 .   [ 5 ] .   X a v i e r   A ,   J o ä o   A ,   M   D a l a i ,   S   K l o m p ,   D e n i s   K ,   a n d   M o u r a d   O .   T h e   D I S C O V E R   c o d e c :   A r c h i t e c t u r e ,   T e c h n i q u e s   a n d   E v a l u a t i o n .   P r o c e e d i n g s   o f   P i c t u r e   C o d i n g   S y m p o s i u m .   L i s b o n ,   P o r t u g a l ,   2 0 0 7 .   [ 6 ] .   J o ä o   A ,   C a t a r i n a   B ,   F e r n a n d o   P .   I m p r o v i n g   F r a m e   I n t e r p o l a t i o n   W i t h   S p a t i a l   M o t i o n   S m o o t h i n g   F o r   P i x e l   D o m a i n   D i s t r i b u t e d   V i d e o   C o d i n g .   P r o c e e d i n g s   o f   E U R A S I P   C o n f e r e n c e   S p e e c h   I m a g e   P r o c e s s i n g ,   M u l t i m e d i a   C o m m u i c a t i o n   S e r v i c e s .   S m o l e n i c e ,   S l o v a k   R e p u b l i c .   2 0 0 5 .   [ 7 ] .   J o ä o   A ,   C a t a r i n a   B ,   F e r n a n d o   P .   C o n t e n t   A d a p t i v e   W y n e r - Z i v   V i d e o   C o d i n g   D r i v e n   b y   M o t i o n   A c t i v i t y .   P r o c e e d i n g s   o f   I E E E   I n t e r n a t i o n a l   C o n f e r e n c e   I m a g e   P r o c e s s i n g .   A t l a n t a ,   G e o r g i a .   2 0 0 6 .   [ 8 ] .   D a v i d   V ,   D a v i d   C ,   M a r k u s   F ,   B e r n   G .   W y n e r - Z i v   C o d i n g   o f   V i d e o   w i t h   U n s u p e r v i s e d   M o t i o n   V e c t o r   L e a r n i n g .   E U R A S I P   S i g n a l   P r o c e s s i n g :   I m a g e   C o m m u n i c a t i o n   J o u r n a l ,   S p e c i a l   I s s u e   o n   D i s t r i b u t e d   V i d e o   C o d i n g .   2 0 0 8 ;   2 3 ( 5 ) :   3 6 9 - 3 7 8 .     Evaluation Warning : The document was created with Spire.PDF for Python.
                                      I S S N :   1 6 9 3 - 6 9 3 0   T E L K O M N I K A     V o l .   9 ,   N o .   1 ,     A p r i l   2 0 1 1   :     1 9 1     2 0 0   2 0 0 [ 9 ] .   D a v i d   V ,   A d i t y a   M ,   M a r k u s   F ,   B e r n   G .   D i s t r i b u t e d   C o d i n g   o f   R a n d o m   D o t   S t e r e o g r a m s   w i t h   U n s u p e r v i s e d   L e a r n i n g   o f   D i s p a r i t y .   P r o c e e d i n g s   o f   I E E E   I n t e r n a t i o n a l   W o r k s h o p   M u l t i m e d i a   S i g n a l   P r o c e s s i n g .   V i c t o r i a ,   B C ,   C a n a d a .   2 0 0 6 .     [ 1 0 ] .   D a v i d   V ,   A d i t y a   M ,   M a r k u s   F ,   B e r n   G .   D i s t r i b u t e d   G r a y s c a l e   S t e r e o   I m a g e   C o d i n g   w i t h   U n s u p e r v i s e d   L e a r n i n g   o f   D i s p a r i t y .   P r o c e e d i n g s   o f   I E E E   D a t a   C o m p r e s s i o n   C o n f e r e n c e .   S n o w b i r d ,   U T .   2 0 0 7   [ 1 1 ] .   D a v i d   V ,   Y a o   C L ,   A d i t y a   M ,   M a r k u s   F ,   B e r n d   G . , W y n e r - Z i v   C o d i n g   o f   S t e r e o   I m a g e   w i t h   U n s u p e r v i s e d   L e a r n i n g   o f   D i s p a r i t y .   P r o c e e d i n g s   o f   P i c t u r e   C o d i n g   S y m p o s i u m .   L i s b o n ,   P o r t u g a l .   2 0 0 7   [ 1 2 ] .   D a v i d   C ,   D a v i d   V ,   M a r k u s   F ,   B e r n   G .   D i s t r i b u t e d   S t e r e o   I m a g e   C o d i n g   w i t h   I m p r o v e d   D i s p a r i t y   a n d   N o i s e   E s t i m a t i o n .   P r o c e e d i n g s   o f   I E E E   I n t e r n a t i o n a l   C o n f e r e n c e   o n   A c o u s t i c s ,   S p e e c h ,   a n d   S i g n a l   P r o c e s s i n g .     L a s   V e g a s ,   N e v a d a .   2 0 0 8   [ 1 3 ] .   A n g e l o s   L ,   Z i x i a n g   X ,   C o s t a s   G .   C o m p r e s s i o n   o f   b i n a r y   s o u r c e s   w i t h   s i d e   i n f o r m a t i o n   a t   t h e   d e k o d e r   u s i n g   L D P C   c o d e s .   I E E E   C o m m u n .   L e t t e r .   2 0 0 2 ;     6   ( 1 0 ) : 4 4 0 4 4 2 .   [ 1 4 ] .   D a v i d .   C ,   D a v i d   V ,   M a r k u s   F ,   B e r n   G .   W y n e r - Z i v   c o d i n g   o f   m u l t i v i e w   i m a g e s   w i t h   u n s u p e r v i s e d   l e a r n i n g   o f   d i s p a r i t y   a n d   G r a y   c o d e .   P r o c e e d i n g s   o f   I E E E   I n t e r n a t i o n a l   C o n f e r e n c e   I m a g e   P r o c e s s i n g .   S a n   D i e g o ,   C A ,   2 0 0 8 .   [ 1 5 ] .   I T U .   I S O / I E C   1 0 9 1 8 - 1 .   I T U - T   R e c o m m e n d a t i o n   T . 8 1 .   I n f o r m a t i o n   T e c h n o l o g y - D i g i t a l   C o m p r e s s i o n   a n d   C o d i n g   o f   C o n t i n u o u s - t o n e   S t i l l   I m a g e - R e q u i r e m e n t s   a n d   G u i d e l i n e s .   1 9 9 3       Evaluation Warning : The document was created with Spire.PDF for Python.