I n d on e s i an   Jo u r n al   o f  El e c t r i c al   En gi n e e r i n g   an d   C o m p u te r   S c i e n c e   V o l .   1 8 ,   N o .   2 ,  M a y   20 20 ,   pp .   799 ~ 811   IS S N :   2502 - 4752 ,   D O I :   10. 1 1591 / i j e e c s . v 1 8 .i 2 . pp 799 - 811             799       Jou r n al   h o m e pa ge :  ht t p: / / i j e e c s . i a e s c or e . c o m   E u l e r i a n   v i d e o   m a g n i f i c a t i o n :   a   r e v i e w       H ai d e r   I s m ae l   S h ah ad i 1 ,  H ayd e r   J .   A l b atta t 2 ,  Z ai d   Jab b a r   A l - al l aq 3 ,  A h m e d   To m an   Th ah ab 4   1 E l e c t r i c a l   a nd   E l e c t r o n i c   E ng i ne e r i ng ,   U ni v e r s i t y   o f   K a r ba l a ,   I r a q    2 ,3 C o m m uni c a t i o n  T e c hn i qu e s   E ng i ne e r i ng ,   A l - F ur a t   A l - A w s a t   T e c hni c a l   U n i v e r s i t y ,   I r a q    4 B i o m e di c a l   E ng i ne e r i ng ,   U n i v e r s i t y   of   B a by l o n,   I r a q       A r t i c l e   I n fo     A B S TR A C T   Ar t i c l e   h i s t or y :   R e c e i v e d   J ul   19,   20 19   R e v i s e d  O c t   21 ,   2 019   A c c e pt e d  N o v   11,   2019       M a ny   i m po r t a n t   s ub t l e   c ha ng e s   i n   t h e   e nv i r o nm e nt   a r e   i nv i s i b l e   t o   t he   na k e d   hum a n  e y e s .   T he s e   s ub t l e   c ha ng e s   o c c ur   be c a us e   o f   c o l o ur   v a r i a t i o ns ,   s uc h  a s   b l o o d  f l o w   i n  a   hum a n  f a c e   t ha t   l e a d s   t o   f a c e   c o l o ur   c ha ng e ,   o r   m o t i o n   v a r i a t i o ns ,   s uc h  a s   v e na   m o v e m e nt   unde r   h um a n  s ki n  a n d  v i br a t i o n  o f   bui l d i ng s .   T h e   hum a n  e y e   r e qui r e s   o pt i c a l   m i c r o s c o pe s   t o   de t e c t   t he s e   v a r i a t i o ns .   A l t e r na t i v e l y ,   ne w   t e c hno l o g i e s ,   s uc h  a s   hi g h - s pe e d  i m a g e r y   a nd  c om put e r   p r o c e s s i ng ,   c a n  be   us e d  t o   de t e c t   t he s e   v a r i a t i o ns .   T h e s e   c om put e r i s e d  m i c r o s c o pe s   de p e nd  o n  c o m put a t i o n  r a t he r   t ha n  o pt i c a l   a m pl i f i c a t i o n  t o   a m pl i f y   s ubt l e   c o l o ur   a nd   m o t i o n  c ha ng e s   i n  v i de o s .   T h e   m o s t   po pul a r   t e c hni qu e   t o   a c hi e v e   c o m put a t i o n - ba s e d  m i c r o s c o pe   i s   t h e   E ul e r i a n  v i de o   m a g ni f i c a t i o n  ( E V M ) .   H o w e v e r ,   s e v e r a l   c ha l l e ng e s   i n  E V M   s t i l l   n e e d   t o   b e   s o l v e d  t o   m e e t   t h e   r e q ui r e m e nt s   o f   r e a l   t i m e   a nd  v i d e o   qua l i t y .   T hi s   p a pe r   p r e s e n t s   a   c o m pr e he n s i v e   s t udy   of   E V M   m e t ho ds   a n d  r e v i e w s   t he   r e l a t e d   l i t e r a t u r e .   T he   s t r e ng t h s   a nd  dr a w ba c ks   o f   e x i s t i ng   w o r ks   a r e   d i s c u s s e d,   a nd  t he   i m po r t a nt   r e s e a r c h  f i e l ds   a nd  c ha l l e ng e s   i n  t he   a r e a   o f   E V M   a r e   c o nc l ude d .     Ke y w or ds :   E ul e r i a n   v i de o   m a g n i f i c a t i o n   P y r a m i d  de c o m pos i t i o n   S pa t i a l   f i l t e r s   T e m po ra l   f i l t e r s   V i de o   pr o c e s s i n g   C opy r i gh t   ©   20 20   I n s t i t ut e   o f   A dv anc e d  E ng i ne e r i ng   and   S c i e nc e .     A l l   r i gh t s   r e s e r v e d .   Cor r e s pon di n g   Au t h or :   H a i de r   Is m a e l   S h a ha d i ,     E l e c t r i c a l   a n d  E l e c t r o ni c   E ngi n e e ri n g   D e pt ,     U n i v e r s i t y   of   K a r b a l a ,   560 01,   K a r b a l a ,   I ra q .     T e l . : 00964 781463 2232   E m a i l :   h a i de r_ a l m a y a l y @ uo ke r b a l a . e du. i q       1.   I N TR O D U C TI O N   In  s pi t e   o f   t h e   f a c t   t ha t   t h e   v i s ua l   s y s t e m   of   a   h um a n   ha s   a   l i m i t e d  pe r c e pt i b i l i t y   i n   e i t h e r  s pa t i a l   o r   t e m po ra l   do m a i n s   [1 ] ,   t e c hn o l o g y   c a n   r e v e a l   m a n y   of   t h e   i m pe r c e pt i b l e   s i g n a l s   t ha t   f a l l   o ut s i de   hum a n   pe r c e pt ua l   ra n ge .   M a n y   of  t h e s e   s i gna l s   c a rr y   i m po r t a nt   i nfo r m a t i o n ,   s uc h   a s   a   s l i g ht   di f f e r e n c e   i n   h u m a n  s ki n   c o l o ur   a c c o r di n g   t o   b l o o d  c i r c ul a t i o n.   A l t h o ugh  t hi s   d i f fe r e n c e   i s   c o n c e a l e d  t o   o ur  e y e s ,   i t   c a n   b e   us e d  t o  e s t i m a t e   t h e   h e a rt b e a t   n u m b e r   [2 - 3] .   S i m i l a rl y ,   m o t i o n ,   w hi c h  i s   i n v i s i b l e   t o   t h e   n a ke d  e y e   a n d   h a s   l ow   s pa t i a l   e n e r gy ,   c a n   b e   r e v e a l e d  by   m a gni f i c a t i o n ,   w hi c h   a l l o w s   us   t o   e xpl o i t   i n t e r e s t i n g  b e ha v i o ur   [4] .  F i gu r e s   1  a n d  2  p r o v i de   e xa m p l e s   o f   m a g n i f i c a t i o n   f o r   c o l o ur  a n d   m o t i o n   v a r i a t i o n s ,   r e s pe c t i v e l y .   F i gu r e   1 ( a )   s h o w s   a   m a n ’s   f a c e   a s   i t   a ppe a r s   t o   t h e   na ke d  e y e ,   a n d  n o   c h a n ge s   c a n   b e   s e e n .   T h e   p r o c e s s e d  i m a ge s   i n  F i gu r e   1 ( b )   c l e a r l y   r e ve a l   t h e   v a r i a t i o n   i n   t h e   c o l o ur   o f  h i s   f a c e   t h a t   i s   c a us e d  by   h i s   h e a r t b e a t .   S i m i l a rl y ,   F i gu r e   2 ( a )   s h o w s   t hr e e   f r a m e s   o f   a n   e y e   t h a t   s h o w   n o   c h a nge ,   a n d   F i gu r e   2 ( b )   s h o w s   a   m a g ni f i c a t i o n  o f   t h e   s m a l l   p a t t e rn  o f   t h e   e y e .     O ur   e n v i r o n m e n t   i s   c r o w de d   by   s m a l l   a n d  s i g ni f i c a nt   t e m p o r a l   v a r i a t i o n s .   S e v e r a l   a pp r o a c h e s   a n d   s c h e m e s   ha v e   be e n   e vo l ve d  t o   v i s ua l i s e   t h e s e   v a r i a t i o n s   i n  e i t h e r   m o t i o n   o r   c o l o ur ,   t h e r e by   r e s ul t i ng  i n  t h e   so - c a l l e d  c o m put e ri s e d  m i c r o s c o p e .   Co m put e ri s e d  m i c r o s c o pe s   d e pe n d  o n   c o m put a t i o n   r a t h e r   t ha n   o pt i c a l   m a g ni f i c a t i o n   t o   a m pl i fy   s u b t l e   c o l o ur   a n d  m o t i o n   c ha n ge s   i n   h i g h - s pe e d  o r   o r di n a r y   v i de o s .   T h e   s uc c e s s   of  a l go ri t hm s   ha s   s uppo r t e d  t h e   de v e l o pm e n t   o f   m o de r n   t e c hn i que s   t ha t   d i s c ov e r   unn o t i c e a b l e   s i gn a l s   i n   v i de o s .   Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2502 - 4752   In do n e s i a n  J   E l e c   E ng  &   Co m p  S c i ,   V o l .   1 8 ,   N o .   2 ,  M a y   20 2 0   :     799   -   8 11   800   T h e   c a pa b i l i t y   t o  m a g n i fy   un n o t i c e a b l e   v a r i a t i o n s   i n   a n   i m a g i n g  v i de o  h a s   o pe n e d  t h e   do o r   fo r   a ppl i c a t i o n s   i n  b i o l o g y ,   h e a l t h c a r e   a n d   m e c h a ni c a l   a nd  m a t e ri a l   e n gi n e e r i ng .     In   2 005,   a   r e s e a r c h   g r o up  f r o m   t h e   l a b o r a t o r y   o f  c o m put e r  s c i e n c e   a n d  a rt i f i c i a l   i nt e l l i ge nt   i n   t h e   M a s s a c h us e t t s   I n s t i t u t e   o f   T e c h n o l o g y   (M IT )  p r o po s e d  a   v i de o   m a g ni f i c a t i o n   a l go ri t hm   b a s e d  o n  c l us t e r   t r a j e c t o r i e s   [4] .   T h e   a l go r i t hm   w a s   us e d  t o  a m pl i f y   s ub t l e   c o l o ur   o r   m o t i o n   c ha n ge s   ov e r   t i m e ,   w h i c h   m a de   i n v i s i b l e   c h a n ge s   v i s i b l e .   I n  [5] ,   t h e   a u t h o r s   p r o po s e d  us i n g  a   c a r t o o n   a ni m a t i o n  f i l t e r   t o   c r e a t e   v i s i b l e   m o t i o n   c o n s t r uc t i o n.   T h e s e   a l go ri t hm s   de pe n d  o n   a   L a g ra n g i a n  pe r s pe c t i v e ,   i n  w h i c h   t h e   pi xe l   p a t h  i s   t e m po ra l l y   t r a c ke d  o v e r   v i de o   f r a m e s .   H ow e ve r ,   t h e s e   a l go ri t hm s   a r e   c o m put a t i o na l l y   c os t l y   be c a us e   t h e y   a r e   b a s e d  o n   a c c ur a t e   m o t i o n  e s t i m a t i o n.   M o r e o ve r ,   t h e y   c a nn o t   b e   ve r i f i e d  a r t e f a c t - f r e e   a t   a r e a s   o f   de n s e   m o t i o n s .   By   c o n t ra s t ,   E ul e r i a n   b a s e d - m e t h o ds   a m p l i fy   t h e   i n t e n s i t i e s   o f   pi xe l   v a ri a t i o n   o v e r   t i m e   i n  a   m u l t i pl e   s c a l e   m a nn e r.   I n  E ul e r i a n   m e t h o ds ,   m o t i o n   m a g n i f i c a t i o n   do e s   no t   c l e a rl y   e s t i m a t e   m o t i o n   b ut   ra t h e r  e xt e nds   i t   t hr o ugh  a m pl i fy i n g  t e m po r a l   c o l o ur   c ha n ge s   a t   f i xe d  po s i t i o n s .   T h e   E ul e ri a n   m e t h o ds   a r e   s i m i l a r   t o   o pt i c a l   f l ow   a l go r i t hm s   i n  us i ng  d i f fe r e nt i a l   a pp r o xi m a t i o n   f o r m   [6 - 7] .    T h e   a pp r o a c h   o f   E ul e r i a n   v i de o   m a gni f i c a t i o n   (E V M )  w a s   fi r s t l y   pr o po s e d  by   M IT   r e s e a r c h   g r o up  i n   201 2  [8] .   T h e   b a s i c   m e t h o do l o g y   of   E V M   c o n s i de r s   t h e   t i m e   s e r i e s   o f   pi xe l s   a n d   a m pl i f i e s   a n y   v a r i a t i o n  i n  a   s pe c i f i e d   i n t e r e s t   b a n d  o f  t e m po r a l   f r e que n c y .   F o r   e xa m pl e ,   t h e   s e l e c t e d  f r e que n c i e s   i n   F i gu r e   1  c o n s i s t   of  pl a us i b l e   h u m a n   h e a r t   r a t e s   t o   a m pl i fy   a   t e m po r a l   b a n d .   T h e   a m pl i f i c a t i o n   e xpo s e s   t h e   di s s i m i l a ri t y   of  r e d n e s s   a s   b l oo d  f l ow s   t hr o ug h   t h e   f a c e   [9 - 10] .             (a )  S o u r c e   f r a m e s   (b )  A m pl i f i e d  f r a m e s     F i gu r e   1 .   Co l o ur  v a r i a t i o n  m a g n i f i c a t i o n  [8]           (a )  S o u r c e   f r a m e s   (b )  A m pl i f i e d  f r a m e s     F i gu r e   2 .   S ub t l e   m o t i o n  v a r i a t i o n   m a g n i f i c a t i o n  [9]       S i n c e   2012 ,   E V M   ha s   b e e n   a   po pul a r   r e s e a r c h   a r e a   i n  s e v e r a l   i nt e r e s t i n g  a ppl i c a t i o n s ,   s uc h   a s   e xt ra c t i n g   t h e   de pt h   a n d  v e l o c i t y   of   h o t   a i r   [1 1] ,   hum a n   f e e l i ng  de t e c t i o n   [ 12] ,   A n d r o i d  s m a r t p h o n e     s of t w a r e   [13] ,   pl a s m a   p h y s i c s   [14] ,   s o un d  r e c o n s t r uc t i o n   f r o m   a   di s t a n c e   by   t h e   v i b r a t i o n   m e a s u r e m e nt   o f  a n  i t e m   i n   a   hi g h - s pe e d  v i de o   [15] ,   r e s c ue   [16] ,   b i o l o g y   [17] ,   m e c h a n i c a l   e n g i n e e r i ng  [18]   a n d  c i v i l   e n g i n e e ri n g   [19] .   E V M   m a y   a l s o   h a v e   s i gni f i c a nt   po t e nt i a l   i n   d i a g n o s t i c   a n d   m o n i t o r i n g   i n   m e d i c a l   a pp l i c a t i o n s .   M o s t   m e di c a l   a ppl i c a t i o n s   de pe n d  o n   t h e   r e c ov e r y   of   t e m pora l   f e a t u r e s   us i n g  t h e   c a pa b i l i t i e s   of   c o l o ur   a m p l i f i c a t i o n   o f   E V M ,   s uc h  a s   m e a s u ri n g  v i t a l   s i g n s   w i t ho ut   t o uc h i n g   p a t i e nt s   [10 ,   2 0 - 27]   a nd  r e v e a l i n g   o t i t i s   m e di a   i n  i n f a n t s   [28] .    T h e   E V M   t e c hn i que   c a n   b e   c l a s s i f i e d  i n t o   l i n e a r -   a n d  p ha s e - b a s e d  E V M .   In   l i n e a r   a pp r o a c h e s ,   m o t i o n   i n   v i de o   i s   l i n e a r l y   pr o po r t i o n a l   t o   t h e   i nt e n s i t y   v a r i a t i o n   o v e r   a   f i r s t - o r de r  e xpa n s i o n   o f   T a y l o r   s e r i e s .   A   v i de o   s e que n c e   i s   c o n s i de r e d  a n  i nput ,   s pa t i a l   de c o m po s i t i o n   i s   a ppl i e d  a n d  f r a m e s   a r e   f i l t e r e d  b y   a   t e m po ra l   f i l t e r.   T h e   p r o duc e d  t e m po r a l   r e gi o n   i s   a m pl i f i e d  t o   e xpo s e   h i dde n   i n f o r m a t i o n.   A l t h o ug h   t hi s   pr o c e dur e   i s   s i m pl e   a nd  ra p i dl y   de t e c t s   s m a l l   m o t i o n  v a ri a t i o n s ,   i t   e a s i l y   b r e a ks   do w n   w h e n  t h e   m a g ni f i c a t i o n   f a c t o r   i s   l a r ge   b e c a us e   t h e   T a y l o r   a pp r o xi m a t i o n   b e c o m e s   i n a c c ura t e .   T o   o ve r c o m e   t h i s   pr o b l e m ,   p ha s e - b a s e d  m a g n i f i c a t i o n   (P V M )  r e pl a c e s   t h e   l i n e a r   a pp r o xi m a t i o n   w i t h   a   F o ur i e r   de c o m po s i t i o n   by   c o m pl e x  s t e e r a b l e   p y r a m i d  [29] .   T h e   v a ri a t i o n s   i n   p h a s e   of  t h e   py r a m i d  c o e f f i c i e n t s   o ve r   t i m e   a r e   pr o po r t i o na l   t o   t h e   m o t i o n   i n   di f f e r e n t   v i de o   f r a m e s .   T h e s e   v a r i a t i o n s   c a n   b e   t e m po r a l l y   pr o c e s s e d  a n d  t h e n   a m p l i f i e d  t o   v i s ua l i s e   t h e   m o t i o n.   I n   c o n t ra s t   t o   t h e   l i n e a r - b a s e d  m e t h o d,   t h e   p ha s e - b a s e d  m e t h o d  ha s   a   hi g h e r   c o m pl e xi t y   a n d  l o n ge r   p r o c e s s i n g  t i m e ,   b ut   i t   c a n   s u p po r t   l a rge r  a m pl i f i c a t i o n  o f   t h e   m o t i o n.   E ul e r i a n  Evaluation Warning : The document was created with Spire.PDF for Python.
In do n e s i a n  J   E l e c   E ng  &   Co m p  S c i     IS S N :   2502 - 4752       E ul e r i an   v i de o  m ag ni f i c at i on:  a  r e v i e w   ( H ai de r   Is m ae l   Sha h adi )   801   l i n e a r   a n d  p ha s e - b a s e d  a ppr o a c h e s   o pe r a t e   f a s t e r   a n d  s uf fe r   l e s s   n o i s e   t h a n   t h e   L a gra n g i a n - b a s e d  v i de o  m a g ni f i c a t i o n .   H ow e v e r ,   E V M   a pp r o a c h e s   do   n o t   w o r k  w e l l   fo r   l a r ge   a n d   a r b i t ra r y   m o t i o n s .     In   t hi s   pa pe r ,   w e   pr e s e n t   a   c o m pr e h e n s i v e   s t ud y   of   E V M   m e t h o d s   a n d  r e v i e w   t h e   l a t e s t   w o r k  i n   t hi s   a r e a .   W e   a l s o   c o m pa r e   t h e   e xi s t i n g  w o r ks   i n   t e r m s   o f   qua l i t y ,   s pe e d  a n d  a m pl i f i c a t i o n   f a c t o r.   T h e   r e s t   o f   t h e   pa pe r  i s   o r ga ni s e d  a s   f o l l o w s .   S e c t i o n   2  de s c ri b e s   E V M .   S e c t i o n   3   e xpl a i n s   a   l i n e a r - b a s e d  E V M .   S e c t i o n   4   r e v i e w s   t h e   e xi s t i n g  w o r ks   t h a t   us e   l i n e a r   E V M .   S e c t i o n   5  de s c r i b e s   a   ph a s e - b a s e d  E V M .   S e c t i o n   6  r e v i e w s   t h e   e xi s t i n g   w o r ks   t h a t   ut i l i s e   p h a s e - b a s e d  E V M .   S e c t i o n  7  pr e s e nt s   a   b r i e f   c o m pa ri s o n   o f   di ff e r e n t   e x i s t i n g   w o r ks .   S e c t i o n  8   e l a b o r a t e s   t h e   c o n c l us i o n s .       2.   EV M   E V M   c a n   r e v e a l   a n d  a m pl i f y   t h e   s m a l l   m o t i o n s   a nd  c h a ng e s   i n  v i de o s .   E V M   i s   a pp l i e d  t o   e ve r y   l e v e l   w i t h i n   a   py r a m i d  a n d  n o t   o v e r   t h e   o r i gi na l   p i c t u r e s   be c a us e   t h e   go a l   i s   t o   a m pl i fy   t h e   p y r a m i d  l e v e l s   t h a t   c o n t a i n   t h e   m o v e m e n t   f r e que n c i e s .   T hi s   t e c hni q ue   t h e n   m u l t i pl i e s   t h e   de s i r e d  f r e que n c i e s   by   a   f a c t o r   kn o w n   a s   m a g ni f i c a t i o n   f a c t o r   α,   w h i c h   i s   de f i n e d  by   t h e   us e r .   E V M   a m p l i f i e s   t h e   a c t ua l   m o t i o n   a n d  a l l o w s   us   t o   r e c o gn i s e   m o ve m e n t s   t ha t   a r e   u n de t e c t a b l e   t o   t h e   na ke d  e y e .   T h e   m a g n i f i e d  v a l ue s   of   t h e   d e s i r e d  f r e que n c y   a r e   a dde d  b a c k  t o   t h e   n o t   m a g ni f i e d  o n e s   o f   t h e   s a m e   l e v e l   t o   ob t a i n   t h e   f i na l   v i de o   w i t h  e xa gge ra t e d   m o t i o n.     A l t h o ug h   m a n y   m e t h o ds   us e   t h e   s a m e   ge n e r a l   p r i n c i pl e   a s   t ha t   o f   E V M ,   t h e y   di ffe r   i n   t h e   w a y   t h e y   w o r k.   O n e   of   t h e   m a j o r   di f fe r e n c e s   a m o n gs t   t h e s e   m e t h o ds   i s   t h e   t y pe   of  p y r a m i d  ut i l i s e d  i n   t h e   a l go r i t hm .   T h e   l i n e a r   v i de o   m a g ni f i c a t i o n  (L V M ),   w hi c h   w a s   p r e s e n t e d   by   W u  e t   a l .   [ 8] ,   a pp l i e s   t h e   L a pl a c i a n   py r a m i d  de c o m po s i t i o n   t e c hn i q ue   t o   t h e   i n p ut   v i de o   t o   de c o m po s e   t he   v i de o   s e que n c e   a c c o r di n g  t o   s pa t i a l   f r e que n c y ,   w h i c h   i s   f o l l ow e d  by   t e m po r a l   f i l t e ri n g.   T h e   r e s ul t i ng  o ut put   s i g n a l s   o f   t h i s   o pe r a t i o n  a r e   t h e n  m a g n i f i e d  by   a   f a c t o r   a n d   a dde d  b a c k  t o   t h e   s i g na l s   t ha t   a r e   e n t e r e d  t o   t h e   t e m po ra l   f i l t e r .   H ow e v e r ,   t h i s   m e t h o d  s uppo rt s   l o w   m a g n i f i c a t i o n   f a c t o r s .   T o   s o l v e   t h i s   p r o b l e m ,   W a dh w a   e t   a l .   [29]   p r o po s e d  a   E ul e r i a n  m e t h o d  b a s e d  o n   a   t e c hn i q ue   c a l l e d  ‘c o m pl e x  s t e e r a b l e   t e c hni que ’  [3 0 - 31] ,   w h i c h   w a s   i n s pi r e d   by   ph a s e - b a s e d  o pt i c a l     f l ow   [32 - 34] .   T hi s   m e t h o d  a c c e pt s   l a rge   m a g n i f i c a t i o n   f a c t o r s ,   po s s e s s e s   f e w e r   a r t e f a c t s   a n d   i nt r o duc e s   l e s s   n o i s e   t h a n  L V M .   H ow e ve r ,   t h i s   m e t h o d  r e qui r e s   a   l o n ge r   t i m e   p r o c e s s i n g  due   t o   t h e   c o m pl e xi t y   of   pi pi n g  r e p r e s e n t a t i o n   o f   t h e   s t e e r a b l e   py r a m i d.   T h i s   m e t h o d  c a n   b e   ov e r   21  t i m e s   a s   l o n g  a s   t h e   L V M   t e c hni que .   I n  [29] ,   t h e   a ut h o r s   de v e l o pe d  t h e i r   p r e v i o us   w o r k  by   us i n g   a   n e w   p y r a m i d   i n   [35 - 36 ] ,   w hi c h   t h e y   c a l l e d  t h e   R i e s z   p y r a m i d ,   t o   r e duc e   e xe c ut i o n   t i m e .   L i u  e t   a l .   [ 37]   p r o po s e d  a   w a y   t o   i m pr o v e   L V M   a f t e r   p r o c e s s i n g ,   w h i c h  i s   c a l l e d   e nha n c e d  E V M   ( E 2V M ).       E 2V M   s uppo r t s   m a g ni f i c a t i o n   f a c t o r s   w i t h   gr e a t e r   a n d  l e s s   n o i s e   t h a n   L V M .   T h e   e ff i c i e n t   m o t i o n  m a g ni f i c a t i o n   s y s t e m   (E M M S )  m e t h o d  h a s   b e e n   de v e l o p e d  t o   i m p r o v e   pr o c e s s i n g  s pe e d  [38] ,   w h i c h   de pe nds   o n   w a v e l e t   de c o m po s i t i o n .   T hi s   m e t h o d  s uppo rt s   l a rge   a m p l i f i c a t i o n   f a c t o r s ,   i m p r o v e s   t h e   s pe e d  of  i m p l e m e nt a t i o n   a n d  r e duc e s   n o i s e .   S e c t i o n   7  (c o m pa ri s o n s )  s u m m a r i s e s   t h e   m a i n   d i f fe r e n c e s   a m o n gs t     t h e s e   m e t h o ds .       3.   LI N EA R - B A S ED   EV M   S m a l l   m o t i o n   a m p l i f i c a t i o n   c a n   b e   a c h i e v e d  t h r o ug h   p r o c e s s i n g  [4 - 5] .   I n   o pt i c a l   f l ow ,   m o t i o n   m a g ni f i c a t i o n   c a n   b e   pr o duc e d  v i a   t e m po r a l   p r o c e s s i n g  by   us i n g  t h e   f i r s t - o r de r   T a y l o r   s e r i e s     e xpa n s i o n s   [6 - 7] .   T h e   go a l   o f   E V M   i s   t o   pr o c e s s   t h e   t i m e   s e r i e s   of   c o l o ur   v a l ue s   f o r   e a c h   pi xe l   i n  s pa t i a l   do m a i n   i n de pe nde nt l y   by   a ppl y i n g  a   s t a n d a r d   1D   t e m po r a l   s i g n a l   p r o c e s s i n g  t o   e a c h   t i m e   s e r i e s   t o   a m pl i f y   a   s pe c i f i c   b a n d  o f   i n t e r e s t   t e m po r a l   f r e que n c i e s .   T h e   i nput   v i de o   f r a m e   i s   de c o m po s e d  i n t o   di s t i n c t   s pa t i a l   f r e que n c y   b a n ds   us i n g   a   f ul l   L a pl a c i a n  py r a m i d  [8 ,   39 - 42 ] .   T h e   L a pl a c i a n   py r a m i d   i s   a   da t a   s t r uc t u r e   i n  w h i c h   a n   i m a ge   i s   dow n s a m pl e d  a t   s uc c e s s i ve l y   s pa r s e r   de ns i t i e s   unt i l   n o   f ur t h e r   do w n s a m p l i ng  i s   po s s i b l e .   T h e   L a pl a c i a n  py r a m i d   de pe nds   o n  a n  a n a l y s i s   p y r a m i d  f o r   v i de o s   t ha t   i s   b a s e d  o n   a   G a us s i a n  py r a m i d .     T h e   L a pl a c i a n   py r a m i d  m e t h o d  f o r   a na l y s i s   v i de o   pr o c e s s i n g  t i m e   h a s   b e c o m e   l e s s   p o pul a r   t ha n  b e fo r e .   [8 - 9]   s h o w e d  t ha t   t hi s   m e t h o d  b e c o m e s   us e l e s s   a s   t h e   m a g ni f i c a t i o n   f a c t o r   i n c r e a s e s   b e c a us e   n o i s e   i n c r e a s e s   l i n e a rl y   w i t h   t h e   i n c r e a s e   i n   m a g n i f i c a t i o n   f a c t o r.   T h i s   m e t h o d  i s   us e f ul   i n   m a g ni fy i n g  c o l o ur s   w h e n   t h e   m a g ni f i c a t i o n   f a c t o r  i s   s m a l l .   F i gu r e   3   s h o w s   a   w o r ki n g   L V M   m e c ha n i s m .        Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2502 - 4752   In do n e s i a n  J   E l e c   E ng  &   Co m p  S c i ,   V o l .   1 8 ,   N o .   2 ,  M a y   20 2 0   :     799   -   8 11   802       F i gu r e   3 .   O v e r a l l   s t r uc t u r e   o f   t h e   l i n e a r - b a s e d - E V M   [8]       3. 1 .       M ath e m ati c a l   A n a l ys i s   fo r   Li n e ar - B as e d   EV M   T h i s   s e c t i o n  e xpl a i n s   t h e   l i n e a r - b a s e d  E V M   m a t h e m a t i c a l l y .   I  (x,   t )   de n o t e s   t h e   i nt e n s i t y   of   t h e   i nput   i m a ge   a t   a   c e r t a i n   po s i t i o n   x  a n d  t i m e   t .   O b s e r v e d  i n t e n s i t i e s   c a n   b e   e xpr e s s e d  w i t h   r e s pe c t   t o   a   di s pl a c e m e nt   f un c t i o n   δ   ( t )  g i v e n   t ha t   t ra n s l a t i o n a l   m o t i o n   i s   a pp l i e d  t o   t h e   i m a ge .   T h e r e f o r e ,   I(x,   t )  c a n  b e   w r i t t e n   a s   I (x,   t )   =   f   (x  +   δ (t ))   a n d   I(   x  ,   0)   =   f   (x).   T h e   m a i n   o b j e c t i v e   of   m o t i o n   m a g n i f i c a t i o n  i s   t o   s y n t h e s i s e     t h e   s i g na l ,   t h a t   i s ,       )) ( ) 1 ( ( ) , ( ˆ t x f t x I   ( 1)     w h e r e ,   α   i s   a n   a m pl i f i c a t i o n   n u m e r i c a l   f a c t o r.   T h e   v i de o   f r a m e   i s   a pp r o xi m a t e d  o n   t h e   b a s i s   o f   t h e   e xpa n s i o n   o f   t h e   f i r s t - o r de r   T a y l o r   s e r i e s   a t   t i m e   t .   T h e   di s p l a c e d  f r a m e   f   (x  +   δ ( t ))  i n   t h e   f i r s t - o r de r   T a y l o r   e xpa n s i o n  a r o u n d   x  i s   g i v e n   by       (2)     B (x,   t )   i s   t h e   o ut put   o f   a   t e m po r a l   b a n dp a s s   f i l t e r i ng  p r o c e s s   fo r   I(x,   t )   i n  e a c h   x - po s i t i o n.   T h e   m o t i o n  s i g na l   δ ( t )  i s   w i t h i n  t h e   p a s s b a n d   b o un da r y   f r e que n c i e s   of   t h e   t e m po ra l   f i l t e r,   t h a t   i s ,       (3)     B (x,   t )  i s   a m p l i f i e d  by   a m pl i f i c a t i o n   f a c t o r   α  a n d  a dde d  ba c k  t o   t h e   o r i gi na l   f r a m e   (I(x,   t )) .   T h e   r e s ul t e d   f r a m e   i s   c o m put e d  i n   a c c o r da n c e   w i t h ,        (4)     A s   s h o w n   i n   ( 2),   (3)   a nd  ( 4)  a r e   c o m b i n e d,   a nd  w e   o b t a i n  t h e   a pp r o xi m a t e d  a m p l i f i e d  f ra m e   a s ,        (5)     T h e   e xpa n s i o n   o f   t h e   f i r s t - o r de r   T a y l o r   h o l ds   f o r   t h e   a m pl i f i e d  m o t i o n   s i g n a l ,   (1 + α)δ ( t ) ,   a n d  r e l a t e s   t o   t h e   a m pl i f i c a t i o n   o f   t h e   t e m po ra l l y   b a n dpa s s e d  s i g na l   t o   m o t i o n   m a g ni f i c a t i o n.   A s   s h o w n   i n   (6)  de n o t e s   t h e   p r o c e s s e d  o ut put .         (6)   x x f t x f t x I ) ( ) ( ) ( ) , ( x x f t t x B ) ( ) ( ) , ( ) , ( ) , ( ) , ( ~ t x B t x I t x I x x f t x f t x I ) ( ) ( ) 1 ( ) ( ) , ( ~ )) ( ) 1 ( ( ) , ( ~ t x f t x I Evaluation Warning : The document was created with Spire.PDF for Python.
In do n e s i a n  J   E l e c   E ng  &   Co m p  S c i     IS S N :   2502 - 4752       E ul e r i an   v i de o  m ag ni f i c at i on:  a  r e v i e w   ( H ai de r   Is m ae l   Sha h adi )   803   F i gu r e   4  de m o n s t r a t e s   t h e   a m pl i f i c a t i o n   p r o c e s s   fo r   a   s i n g l e   s i n us o i d.   A   c o s i n e   w a ve   w i t h  a   l ow   f r e que n c y   a n d  a   r e l a t i v e l y   s m a l l   di s pl a c e m e nt   (δ (t ))  c a n   b e   a pp r o xi m a t e d  by   a n   e xpa n s i o n   o f  t h e   f i r s t - o rde r  T a y l o r   s e r i e s .   T hi s   p r o c e dur e   r e s ul t s   i n   a n  e ff i c i e n t   a pp r o xi m a t i o n   f o r   t h e   s i g na l   a t   t i m e   t   +   1 .           F i gu r e   4 .   I l l us t r a t i o n s   o f   a m pl i fy i n g  s p a t i a l   t r a n s l a t i o n  a f t e r   t e m po r a l   f i l t e ri n g       3. 2 .       P yr am i d   D e c o m p o s i ti o n   A   p y r a m i d  i s   t h e   p r o c e s s   of   de c o m p o s i t i o n s   o f   i m a ge s   i n   di f fe r e nt   s c a l e s   s pa t i a l l y .   T h e   t w o   m o s t   po pul a r   py r a m i d   de c o m po s i t i o n   a pp r o a c h e s   a r e   G a us s i a n   a nd  L a pl a c i a n.   G a us s i a n  py r a m i d  i s   c o n s t r uc t e d  by   s m o o t h i n g  t h e   o ri gi na l   i m a ge   w i t h   a   G a us s i a n  f i l t e r   a n d   t h e n  s c a l i n g  i t   do w n .   A   G a us s i a n  py r a m i d  c o n s i s t s   o f  a   s e que n c e   of   l ow pa s s ,   dow n s a m pl e d  p i c t u r e s .   T h e   G a us s i a n   py r a m i d  i s   s i m i l a r   t o   a   L a pl a c i a n  py r a m i d;   a t   a   s pe c i f i c   l e ve l   of   e a c h   i m a ge   o f   t h e   L a pl a c i a n   py r a m i d   i s   t h e   d i f f e r e n c e   be t w e e n   t w o   c o r r e s po n di n g  n e i g h b o uri n g  l e v e l s   of   t h e   G a us s i a n   py r a m i d .   T h e   s m a l l e s t   l e v e l   i s   m e r e l y   pr e s e r v e d.   A s   a   r e s ul t ,   t h e   di f fe r e n c e   i m a ge s   c a n   b e   us e d  t o   r e c o n s t r uc t   t h e   o r i gi na l   i m a ge .   H ow e v e r ,   L a pl a c i a n   py r a m i d  c a n   b e   a s s um e d  t o   b e   a   s e que n c e   of  b a n dp a s s ,   do w n s a m p l e d  i m a ge s   [39] .   F i gur e   5  i l l us t ra t e s   t h e   G a us s i a n   a n d   L a pl a c i a n   py r a m i d  de c o m po s i t i o n s .     3. 3 .       T e m p o r al   F i l te r   A   t e m po r a l   f i l t e r i ng  p r o c e s s   i s   a ppl i e d  t o   t h e   s e r i e s   o f   t h e   t e m po ra l   p i xe l s   i n   e a c h   s pa t i a l   b a n d  o f   t h e   s pa t i a l   py r a m i d  c o n s t r uc t i o n   t o   e xt r a c t   t h e   i nt e r e s t   f r e que nc y   b a n ds .   A   t e m po r a l   b a n dp a s s   f i l t e r   i s   us e d  t o   e xt ra c t   m o t i o n s   o r   s i g na l s   t h a t   a r e   i n t e n de d  t o   b e   a m pl i f i e d.   A c c o r di n g  t o   t h e   a ppl i c a t i o n   ut i l i s e d  i n   t h e   a l go r i t hm ,   us e r s   s h o ul d  b e   a b l e   t o   c o n t r o l   t h e   f r e que n c y   b a n d   i nt e r e s t .   H ow e ve r ,   t h e   f r e que n c y   b a n d  c a n  b e   a ut o m a t i c a l l y   s e l e c t e d  i n  s o m e   c a s e s .     F i l t e r   s e l e c t i o n   a l s o   de pe n ds   o n   t h e   t y pe   o f   t h e   a ppl i c a t i o n   us e d.   F o r   e xa m pl e ,   a   f i l t e r   w i t h  a   w i de   pa s s   b a n d  i s   o f t e n   p r e f e r r e d  f o r   m o t i o n   m a g ni f i c a t i o n,   w he r e a s   a   n a rr o w - pa s s b a n d  f i l t e r   i s   p r e f e rr e d  fo r   c o l o ur   a m pl i f i c a t i o n,   s uc h   a s   b l o o d  f l ow ,   be c a us e   t h e   l a t t e r   re s ul t s   i n   l e s s   n o i s e   di s t o r t i o n.   H ow e v e r ,   f o r   r e a l - t i m e   i m pl e m e nt a t i o n   f o r   m o t i o n   m a g ni f i c a t i o n   a n d  c o l o ur   a m pl i f i c a t i o n,   l o w - o r de r   IIR   f i l t e r s   a r e   c o n v e n i e n t   t o   us e .   V a ri o us   f r e que n c y   r e s po n s e s   of   s e ve r a l   t y pe s   o f   t e m po r a l   f i l t e r s   a r e   s h o w n   i n  F i g u r e   6 .             F i gu r e   5 .   ( a )   G a us s i a n   py r a m i d  (b )  L a p l a c i a n   py r a m i d   Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2502 - 4752   In do n e s i a n  J   E l e c   E ng  &   Co m p  S c i ,   V o l .   1 8 ,   N o .   2 ,  M a y   20 2 0   :     799   -   8 11   804       F i gu r e   6 .   T e m po ra l   f i l t e r s   t y p e s   t ha t   a r e   us e d  i n  [8 - 9]       4.   EX I S TI N G   W O R K S   B A S ED   O N   LI N EA R   EV M   S e ve r a l   w o r ks   i n  t h e   f i e l d  o f   E V M   b a s e d  o n   t h e   L V M   m e t h o d  ha v e   b e e n   pub l i s h e d.   I n   [2 2] ,   t h e   E V M   m e t h o d  w a s   us e d  t o   m e a s ur e   t h e   t i m e   of   a   pul s e   c r o s s i n g  w i t h o ut   di r e c t   c o n t a c t .   T h e   b e n e f i t   of  m e a s u r i n g  pu l s e   t i m e   c r o s s i n g  i s   t o   de t e r m i n e   b l oo d   pr e s s ur e ,   h e a rt   ra t e   a n d  s t r e s s .   T w o   a r e a s   of  s t ud y ,   na m e l y ,   w r i s t   a n d  n e c k,   w e r e   s e l e c t e d  t o   c a l c ul a t e   t h e   p ul s e   t ra n s i t   t i m e .   T h e   r e s ul t s   o f   t h i s   m e t h o d  w e r e   v e r i f i e d  by   c o m pa r i n g   t h e m   w i t h   t h e   r e s ul t s   o f   t h e   de v i c e s   us e d  t o   de t e r m i n e   t h e   pul s e ,   s uc h  a s   t h e   e l e c t r o c a r di o g r a m ;   t h e   r e s ul t s   w e r e   c l o s e .   In   [23] ,   t h e   a ut h o r s   us e d  E ul e r i a n   m e t h o d  t o   e xt ra c t   t h e   f orm   b r e a t h   w a v e   of   m ov e m e n t   f r o m   t h e   uppe r   b o d y   of   di ff e r e n t   b r e a t h i ng  pa t t e rn s   ( n o r m a l   b r e a t h,   ho l d  b r e a t h ,   qui c k  b r e a t h   a nd  de e p  b r e a t h )  ra p i dl y   a n d  a c c ura t e l y   f r o m   t h e   v i de o   s e que n c e .   T h e   v i de o   m us t   c o n t a i n  t h e   h e a d  a n d   c h e s t   a r e a   f o r   a c c ur a t e   r e s ul t s .     In   [ 21] ,   E u l e ri a n  t e c hni que   w a s   us e d  t o   de t e c t   n e o n a t a l   d i s e a s e s   w i t h   l i m i t e d  m o ve m e n t ,   s uc h  a s   e pi l e pt i c   s e i z u r e s   a n d   l i f e - t hr e a t e n i ng  a p n o e a   e v e n t s .   T h e   di s e a s e   c a t e go r y   i n c l ude d  e pi l e ps y   a nd  e pi l e pt i c   s e i z u r e s   i n   n e o n a t e s .   T hi s   e a s y - to - us e   m e t h o d  c a n   b e   us e d  i n   a   pa t i e n t ’s   h o m e   o r   i n   a   h o s pi t a l ,   s pe c i f i c a l l y   i n  t h e   n e o n a t a l   i n t e n s i v e   c a r e   u n i t ,   t o   m o n i t o r  n e w bo r n  w i t h o ut   de v i c e s   c o nn e c t e d  t o   t h e   i n f a n t .   In   [ 20,   43]   E V M   w a s   i nt r o duc e d  t o   a   n e w   a ppl i c a t i o n.   T h e   m e t h o d  w a s   us e d  t o   m e a s ur e   w r i s t   pul s e s .   T h e   m e t h o d  c a n   a l s o   a n a l y s e   t h e   s i g na l   o f   t h e   w r i s t   pul s e   b e c a us e   v i t a l   i n f o rm a t i o n   c a n   b e   e xt ra c t e d  f r o m   w r i s t   pul s e   s i g n a l s   t h a t   a f f e c t   a   pe r s o n ’s   h e a l t h   s t a t us .   A s   a   r e s ul t ,   t h e   E V M   m e t h o d  c a n   b e   ut i l i s e d  t o  pr e di c t   e s s e n t i a l   c a r d i o v a s c ul a r  f un c t i o n s .   T h e   a ut h o r s   i n   [44]   a do pt e d  t h e   E V M   a l go r i t hm   t o   de t e c t   a n d  m e a s u r e   t h e   s o o t   pr o pe n s i t y   of   a   f l a m e .   O t h e r   a ut h o r s   ha v e   us e d   E V M   i n   f a c e   s p oof i n g  a t t a c ks   be c a us e   f a c i a l   b i o m e t r i c s   i s   v ul n e r a b l e   t o  f r a ud .   T h e   a ut h o r s   i n   [45]   us e d  E ul e r i a n   m e t h o d  f o r   f a c e   r e c o gn i t i o n   a n d  de t e c t i o n   o f   f a c e   s p o of i n g  t e c hn i q ue s   t o   i m p r o v e   t h e   p ra c t i c a l i t y   o f   f a c e   b i o m e t r i c s .   L i u  e t   a l .   [37]   p r o po s e d  a n   e nha n c e m e nt   t o   E V M   t o   i m pr o v e   t h e   w o r k  of   L V M .   A   pi xe l - l e v e l   m o t i o n   a na l y s e r   w a s   us e d  t o  c a pt ur e   a n d  a m pl i fy   m o t i on.   T h e   m e t h o d  us e s   L V M   a s   a n   a n a l y s e r   fo r   s pa t i o t e m po ra l   m o t i o n.   E 2V M   u t i l i s e s   i m a ge   w a r pi ng  t o   m a gni fy   t h e   t e m po r a l   m o t i o n   o f   t h e   v i de o   b a s e d  o n   t h e   fo r m e r   m o t i o n   m a ppi n g .   A l t h o ug h   t h e   i m a ge   w r a ppi n g  t e c h ni que   p r o v i de s   a n   i m p r o v e d   pe r fo r m a n c e   m e t h o d  t o   ha n d l e   t h e   f ra m e   n o i s e   i n   t h e   po s t p r o c e s s i n g ,   t h e   c o m put a t i o n   t i m e   r e qu i r e d  i s   a l s o   i n c r e a s e d.   H ow e ve r ,   t h e   m e t h o d  s uppo rt s   l a rge r   a m pl i f i c a t i o n  f a c t o r s   w i t h   l e s s   n o i s e   di s t o r t i o n   a n d  f e w e r   a rt e f a c t s   t ha n  t h e   L V M   m e t h o d.       5.   P H A S E - B A S ED   EV M   T h e   E ul e r i a n   L V M   s uppo r t s   s m a l l   f a c t o r s   o f  m a g n i f i c a t i o n.   T h e   m a i n   d ra w b a c k  of   t h e   E ul e r i a n  L V M   m e t h o d  i s   t h e   a b i l i t y   t o   a m pl i fy   n o i s e   w h e n   t h e   m a g ni f i c a t i o n   f a c t o r   i s   i n c r e a s e d.   T h e   a ut h o r s   i n   [29]   a c c o r di n gl y   de ve l o p e d  a   m o t i o n - p r o c e s s i n g  m e t h o d  t ha t   i s   b a s e d  o n   c o m pl e x - v a l ue d  s t e e ra b l e   t e c hni que     [30 - 31]   a n d   i n s p i r e d  by   ph a s e - b a s e d  o pt i c a l   f l o w   [32 - 33]   a n d   m o t i o n   w i t h o ut   m o ve m e n t   [41] .   T h i s   m e t h o d  s uppo r t s   l a rge   a m pl i f i c a t i o n   f a c t o r s   a n d   ha s   l e s s   n o i s e   di s t o r t i o n   t h a n  l i n e a r - b a s e d  E V M .   T h e   p ha s e - b a s e d  E V M   m e t h o d  do e s   n o t   i n c r e a s e   s pa t i a l   no i s e   be c a us e   t h e   m e t h o d  m o di f i e s   t h e   p ha s e s   i n s t e a d  o f   a m p l i t ude s .   A s   a   r e s ul t ,   n o i s e   i s   t ra n s l a t e d  r a t h e r  t ha n   a m p l i f i e d  w h e n  t h e   a m p l i f i c a t i o n   f a c t o r   i s   i n c r e a s e d.   A l t h o ug h   t h e   c o m put a t i o n   o f   l oc a l   m o t i o n s   c a n   r e s ul t   f r o m   t h e   p h a s e   v a ri a t i o n s   o f   t h e   c o m pl e x  s t e e r a b l e   py r a m i ds ,   i n c r e a s i ng  t h e   p h a s e   v a r i a t i o ns   by   a   m ul t i pl i c a t i v e   f a c t o r   c a n   a m pl i f y   s u b t l e   m o t i o n s .   T h e   m o di f i e d  v i de o   i s   r e c o n s t r uc t e d  a f t e r   a m p l i f y i n g  t h e   m o t i o n  t e m po r a l l y .   Evaluation Warning : The document was created with Spire.PDF for Python.
In do n e s i a n  J   E l e c   E ng  &   Co m p  S c i     IS S N :   2502 - 4752       E ul e r i an   v i de o  m ag ni f i c at i on:  a  r e v i e w   ( H ai de r   Is m ae l   Sha h adi )   805   T h e   m a i n   d i f fe r e n c e   b e t w e e n   l i n e a r -   a n d  p h a s e - b a s e d  E V M   i s   i n   t h e   s pa t i a l   de c o m po s i t i o n   us e d.   T h e   p h a s e - b a s e d  us e s   s t e e r a b l e   p y r a m i ds .   T h e s e   p y r a m i ds   r e s ul t   i n   a n   e f f i c i e n t   a n d  a c c ura t e   l i n e a r   de c o m po s i t i o n   f o r   v i de o   f r a m e s   i n   s c a l e   a n d  o ri e n t a t i o n   s ub - b a n ds .   T h e   b a s i c   f un c t i o n s   o f   t h e   t ra n s f o r m   a r e   s i m i l a r  t o   G a b o r  w a v e l e t s   [46] ,   w hi c h  a r e   s i n us o i ds   w i n do w e d  by   a   G a us s i a n  e n v e l o pe   [30 ,  47 - 48] .    T h e   m e t h o d  l i nks   pha s e   a n d  m o t i o n   by   m a n i pu l a t i ng  t h e   pha s e   v a r i a t i o n s   i n   v i de os .   T h e   m e t h o d  a l s o  a v o i ds   t h e   f l ow   ve c t o r   c o m put a t i o n .   H ow e ve r ,   t hi s   m e t h o d  re qui r e s   h i g h   p r o c e s s i n g  t i m e .   F i gu r e   7  s h o w s   t h e   w o r ki n g   m e c h a ni s m   o f   P V M .             F i gu r e   7 .   G e n e ra l   s t r uc t u r e   o f   ph a s e - b a s e d  E V M   [29]       5. 1 .       M ath e m ati c a l   A n a l ys i s   fo r   P h as e - B as e d   EV M   T h e   p h a s e - b a s e d  a pp r o a c h   de pe nds   o n   c o m pl e x - v a l ue d  s t e e ra b l e   p y r a m i ds   g i v e n   t ha t   l o c a l   m o t i o n s   c a n   b e   m e a s u r e d  a n d  m o di f i e d.   T h e   i nt e n s i t y   pr o f i l e   ( f )  o f   a   1D   i m a ge   u n de r   g l o b a l   t r a n s l a t i o n  o v e r   t i m e   ( t ),   f  ( x   +   δ ( t ) ) ,   fo r   a   m o ve m e n t   f u n c t i o n   δ ( t )   i s   c o n s i de r e d.   A   s e que n c e   i s   a s s e m b l e d  w i t h   t h e   m o t i o n  m o di f i e d,   f  ( x   +   ( 1  +   α)   δ ( t )) ,   t o   a   m a g ni f i c a t i o n  f a c t o r   ( α ).       T h e   d i s pl a c e d  i n t e n s i t y   pr o f i l e   of   t h e   i m a ge   f ( x   +   δ ( t ) )   c a n   b e   w r i t t e n   a s   a   s u m   o f   c o m pl e x  s i n us o i ds   us i n g  F o u r i e r   s e r i e s   de c o m po s i t i o n ,   t ha t   i s ,      )) ( ( )) ( ( t x i e A t x f   (7)     w h e r e   e v e r y   b a n d  c o r r e s po n ds   t o   o n e   f r e que n c y   (ω ).   T h e   c om pl e x  s i n us o i d  i s   t h e   b a n d  f o r   f r e que n c y   ω ,   t ha t   i s ,       (8)     T h e   pha s e   ω (x  +   δ (t ))  c o nt a i n s   m o t i o n   i n f o r m a t i o n   b e c a us e   S ω   i s   a   s i n us o i d.   T hi s   c o n di t i o n   c a n  c a us e   m o t i o n  m a n i p ul a t i o n   b y   ph a s e   m o di f i c a t i o n.   A   D C  b a l a n c e d  f i l t e r   i s   us e d  t o   f i l t e r   t h e   p ha s e   ω (x  + δ ( t ))  t e m po ra l l y   fo r   s e pa r a t i n g  m o t i o n   i n  s pe c i f i c   t e m po r a l   f r e que n c i e s .   O n l y   t h e   D C  c o m po n e n t   (ω x)  i s   a s s um e d  t o   b e   r e m o v e d.   T hi s   a s s u m pt i o n  r e s ul t s   i n ,        (9)     T h e   b a n dp a s s e d  pha s e   B ω (x,   t )  i s   m u l t i pl i e d  by   t h e   f r e que n c y   (ω ),   a n d  t h e   p ha s e   of   s u b - b a n d  S ω   (x ,   t )  i s   i n c r e a s e d  b y   t h i s   a m o unt   t o   o b t a i n  t h e   s ub - b a n d  w i t h  t h e   m a g n i f i e d  m o t i o n.         (10)   )) ( ( ) , ( t x i e A t x S ) ( ) , ( t t x B  )) ( ) 1 ( ( ) , ( ˆ t x i B i e A e S t x S Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2502 - 4752   In do n e s i a n  J   E l e c   E ng  &   Co m p  S c i ,   V o l .   1 8 ,   N o .   2 ,  M a y   20 2 0   :     799   -   8 11   806   T h e   r e s ul t   i n   (10)  s h o w s   t h a t   Ŝ ω   (x,   t )  i s   a   c o m pl e x  s i n us o i d ,   a n d  t h e   m o t i o n   r a t i o   b e t w e e n   Ŝ ω   (x,   t )  a n d  t h e   i n pu t   i s   e xa c t l y   (1  +   α)  t i m e s .   T h e   m o t i o n - m a g n i f i e d  v i de o   c a n   b e   r e c o n s t r uc t e d  by   s um m i n g  a l l   t h e   s ub - b a n ds   t o   a c qu i r e   t h e   m o t i o n - m a g n i f i e d  s e que n c e   f (x  +   ( 1   +   α)   δ (t )).       5. 2 .       S p at i al   F i l t e r i n g:   C o m p l e x   S te e r ab l e   P y r am i d s   T h e   s t e e r a b l e   p y r a m i d  [30 - 31,   4 8,   50]   i s   c o n s i de r e d  a n   o v e r   c o m pl e t e   t r a n s f o r m   g i v e n   t h a t   a n   i m a ge   i s   de c o m po s e d  a c c o r di n g  t o   s pa t i a l   s c a l e ,   o r i e nt a t i o n   a nd  po s i t i o n .   G a b o r   w a ve l e t   [52]   i s   o n e   of   t h e   b a s i c   f un c t i o n s   o f   t h e   t r a n s f o r m ,   i n c l ud i n g   s t e e r a b l e   s i nus o i ds   w i ndow e d  by   a   G a us s i a n   e n v e l o pe .   A   2D   di s c r e t e   F o ur i e r   t r a n s f o r m   c o m put a t i o n   i s   us e d  fo r   a l l   of  t h e   v i de o  f r a m e s ,   a n d  s pa t i a l   f i l t e r s   w i t h   di f f e r e n t   s i z e s   a nd  o r i e n t a t i o n s   a r e   s ub s e que n t l y   a ppl i e d.   T h i s   p r o c e dur e   pr o duc e s   a   l i n e a r   m u l t i s c a l e   a n d  - o ri e nt a t i o n   i m a ge   de c o m po s i t i o n ,   w h i c h   i s   c a l l e d  a   s t e e r a b l e   py r a m i d .   A n   a rra y   of   c o m po un d  n um b e r s   i s   a t   e a c h   l e v e l   of   t h e   p y r a m i d  a n d  f o r   e a c h   e l e m e n t ;   t h e   a m pl i t ude   a n d  p ha s e   a r e   c o m put e d.   T h e   c o m pl e x - v a l ue d  py r a m i d   pe rm i t s   m e a s u r e m e nt   o f   l o c a l   a m p l i t ud e   a nd  p h a s e ,   w hi c h   a r e   e xp l o i t e d  t o   p r o c e s s   m o t i o n .   F i gu r e   8   s h o w s   t h e   c o n s t r uc t i o n   o f   t h e   s t e e ra b l e   py r a m i d.           F i gu r e   8 .   S t e e r a b l e   py r a m i d   c o n s t r uc t i o n       5. 3 .       T e m p o r al   F i l te r   T h i s   p r o c e s s   a i m s   t o   i s o l a t e   m o t i o n s   i n  s pe c i f i c   t e m po r a l   f r e que n c i e s   t o   b e   m a g ni f i e d .   W h e n  t h e   p y r a m i d  i s   c o n s t r uc t e d,   t h e   p ha s e   o n   e a c h   s pa t i a l   s c a l e   a nd  o ri e nt a t i o n   a r e   i s o l a t e d.   T h e i r   d i f f e r e n c e s   a r e   t h e n   de t e r m i n e d,   a n d   a   p r o c e s s   of   t e m po r a l   b a ndpa s s   f i l t e ri ng  i s   a ppl i e d.   T h e   ke y   t o   i m p r o v e   t h e   f i l t e r   pe r f o r m a n c e   i s   t o   a m p l i fy   e i t h e r   c o l o ur   a l t e r a t i o n s   o r   l o c a l   p ha s e   v a ri a t i o n s ,   w hi c h   c a n  b e   a c h i e v e d  b y   m a x i m i s i n g  t h e   s i g n a l - to - n o i s e   r a t i o   of  t h e   t e m po r a l   v a ri a t i o n s .   T e m po ra l   a nd  s pa t i a l   f i l t e r i ng  i s   a ppl i e d  t o  t h e   v a r i a t i o n s   t o   e l i m i na t e   c o m po n e n t s   t ha t   c o rr e s po n d  t o   no i s e   a n d  m a i n t a i n   c o m po n e n t s   t ha t   c o rr e s po n d  t o   t h e   s i g n a l   f o r   i m p r o v i n g  t h e   s i g na l - to - n o i s e   r a t i o s .   T e m po ra l   f i l t e ri n g  c a n  a l s o   i s o l a t e   a   s i g na l   o f   i n t e r e s t   b e c a us e   v a r i o us   m o t i o n s   o c c ur   a t   di f f e r e n t   t e m po r a l   f r e que n c i e s     N a rr o w b a n d  l i n e a r   f i l t e r s   i n   t h e   t e m p o r a l   do m a i n   i m p r o v e   t h e   s i g na l - to - n o i s e   ra t i o s   fo r   m o t i o n s ,   s uc h   a s   r e s pi ra t i o n  a n d   v i b r a t i o n s ,   t ha t   pa rt i c ul a rl y   o c c ur   i n  t h e   na rr o w   r a n ge   o f   f r e que n c i e s .   T h e s e   f i l t e r s   c a n  a l s o   s e pa r a t e   obj e c t   m o t i o n s   [53]   t h a t   c o r r e s po n d  t o   v a r i o us   f r e que n c i e s ,   s uc h   a s   pi pe   v i b r a t i o n ,   w h i c h  v i b r a t e s   a t   a   c e r t a i n   s e t   o f   m o da l   f r e que n c i e s .   E a c h   m o de l   f r e que n c y   h a s   a   d i f fe r e nt   v i b r a t i o n   s p a t i a l   pa t t e rn .   V i de o   m a g n i f i c a t i o n   c a n  a m pl i fy   t h e s e   m o t i o n s   t ha t   c o rr e s po n d   t o   a   ra n ge   o f   t e m po r a l   f r e que n c i e s   a n d  r e v e a l   t h e s e   s pa t i a l   pa t t e rn s .   F i gu r e   9  s h o w s   a   s i n gl e   f r a m e   f r o m   e a c h   m o t i o n - m a g n i f i e d  v i de o   w i t h   i t s   t h e o r e t i c a l l y   e xpe c t e d  s h a pe   [ 54] .    O b j e c t s   i n   l o c a l   i m a ge   pa t c h e s   m o ve   c o n s i s t e n t l y ;   o t h e r w i s e ,   i t   i s   c o n s i de r e d  n o i s e .   O ve r s m o o t h i ng  o pe r a t i o n s   c a n   r e f o r m   w h i t e   n o i s e   i n t o   r e a s o n a b l e   m o t i o n   s i gna l s .   A s   a   r e s ul t ,   v e ri f i c a t i o n   o f   t h e s e   a m pl i f i e d  s i g n a l s   i s   v i t a l ,   a n d   m a n y   e xpe r i m e n t s   h a v e   b e e n   c o n duc t e d  t o   c o m pa r e   t h e   v i s ua l   m o t i o n  s i g na l   w i t h  s i g na l   r e c o r de d  by   a c c ur a t e   de v i c e s .   T h e   r e s ul t s   o f   t h e s e   e xpe r i m e n t s   v e r i fy   t h e   r e a l i t y   of    t h e s e   m o t i o n s   [ 19 ,   29 ,  55 - 56] .       Evaluation Warning : The document was created with Spire.PDF for Python.
In do n e s i a n  J   E l e c   E ng  &   Co m p  S c i     IS S N :   2502 - 4752       E ul e r i an   v i de o  m ag ni f i c at i on:  a  r e v i e w   ( H ai de r   Is m ae l   Sha h adi )   807       F i gu r e   9 .   Is o l a t i n g   d i f fe r e nt   t y p e s   of   s pa t i a l   m o t i o n s   w i t h   t e m po ra l   f i l t e r i n g   [57 ]       5. 4 .       A m p l i fy i n g  th e   C o l ou r   T h e   pha s e - b a s e d  fo r m ul a t i o n   r e m o v e s   l ow - a m pl i t u de ,   s ho r t   m o t i o n s ,   w h e r e a s   l a rge r   a m pl i t u de   m o t i o n s   r e m a i n   t o   pa s s   t hr o ug h.   M o t i o n   a t t e n u a t i o n   i s   c o n t ro l l e d  by   s e t t i n g  t h e   a m p l i f i c a t i o n   f a c t o r   (α)  t o   a   n e ga t i v e   v a l ue   i n   t h e   ra n ge   of   (− 1,   0).   If   (α)  h a s   a   v a l ue   of   − 1,   t h e n   a l l   o f  t h e   pha s e   c h a n ge s   o ve r   t i m e   w i t hi n   t h e   de s i r e d  f r e que n c y   b a n d  z e r o s - o ut .   H ow e v e r ,   t h i s   r e s ul t   d i f fe r s   fo r   e v e r y   f r a m e   b e c a us e   c oe ff i c i e n t   a m p l i t ude s   a r e   c h a ngi n g   o v e r   t i m e .   T h i s   c o n d i t i o n   i s   s i m i l a r   t o   o t h e r   m o t i o n  p r o c e s s i n g,   s uc h   a s   t h e   de n o i s i n g  p r e s e n t e d  i n   [58]   a n d   t h e   v i de o   de a n i m a t i o n  i n  [5 9] .   H ow e v e r ,   t h e s e   p r o c e s s i n g  o pe r a t i o n s   c a n  b e   c a rri e d  o u t   e f f i c i e n t l y   w h e n   m o t i o n s   i n  t h e   s c e n e   a r e   s m a l l .   T h e   l i n e a r  m a g ni f i c a t i o n  m e t h o d  j o i n t l y   a m pl i f i e s   m o t i o n s   a n d   c o l o ur   c h a nge s   f o r   a   pa rt i c ul a r   i n pu t   v i de o ;   t h e r e f o r e ,   s m a l l   f a c e   m o t i o n s   c a n   b e c o m e   l a r ge r  a nd  v i s i b l e   w h e n   a m pl i fy i n g  c o l o ur   c h a n ge s   c o r r e s p o n di ng  t o   t h e   p ul s e .   T h i s   f e a t u r e   m a y   be   un de s i r a b l e   i n   t h e   a p pl i c a t i o n .   T hi s   m e t h o d  c a n  r e m o v e   t h e s e   unde s i ra b l e   m o t i o n s .   A   s i m i l a r   c o l o ur   a m p l i f i c a t i o n   c a n   re s ul t   i n   t h a t   o f   t h e   l i n e a r   m e t h o d  e n t i r e l y   w i t h  s t e e r a b l e   py r a m i ds .       6.   EX I S TI N G   W O R K S   U S I N G   P H A S E - B A S ED   EV M   In   [ 12] ,   t h e   r e s e a r c h e r   us e d  E ul e ri a n   m o t i o n   m a g n i f i c a t i o n   ( E M M )  t o   de t e rm i n e   t h e   f e e l i ngs   of  o t h e r s ,   w h i c h   a r e   t r a n s v e r s e   a n d  s udde n ,   f o r   a   s h o r t   pe r i o d.   M ove m e n t   m a g ni f i c a t i o n   c a n   e nh a n c e   t h e   de t e c t i o n   ra t e   o f   h i dde n   e m o t i o n s   f o r   f a c i a l   e xpr e s s i o ns ,   s uc h   a s   t e n s e ,   di s g us t ,   ha pp i n e s s ,   s urp r i s e     o r   r e p r e s s i o n .     In  [16] ,   t h e   r e s e a r c h e r s   us e d  E M M   t o   de t e c t   v i t a l   s i g n s   f o r   pe o pl e   w h o   a r e   a l i v e .   H ow e v e r ,   t h e y   e i t h e r   f a i nt   o r   a r e   i n f e c t e d  i n   da nge r o us   e n v i r o nm e n t s   a nd  pl a c e s   t h a t   a r e   d i f f i c ul t   fo r   r e s c ue r s   t o   a c c e s s ,   s uc h   a s   b a t t l e f i e l ds   o r   t e rr o r i s t   a c t s ,   w hi c h   r e p r e s e n t   f i n di ng  s u r v i vo r s   a   c h a l l e n ge .     In  [17] ,   t h e   E V M   t e c hn i que   w a s   us e d  t o   v i s ua l i s e   t h e   m o ve m e n t   o f   m i c r o o r ga n i s m s ,   s uc h   a s   b a c t e r i a ,   t h a t   a r e   i n v i s i b l e   t o   t h e   hum a n   e y e .     In   [18 - 19] ,   a   m e t h o d  w a s   pr e s e n t e d  t o   m e a s ur e   di s pl a c e m e nt   a n d  v i b r a t i o n   a n d  i de n t i fy   t y pi c a l   c h a ra c t e ri s t i c s   f o r   a   pa rt i c ul a r   s t r uc t u r e   t o   de t e c t   a n y   da m a ge .   A   c a m e ra   w a s   us e d   a s   a   s e n s o r   fo r   m o n i t o r i ng,   a n d  t h e   r e s ul t i ng  v i de o  w a s   a n a l y s e d  us i n g  E M M   t o   m a g n i f y   s m a l l   m o v e m e n t s ;   s uc h   v i b r a t i o n s   a n d  di s pl a c e m e n t   i n   s t r uc t u r e s   a r e   e v i de n t   f o r   e n gi n e e r s .   T h e   r e s ul t s   o b t a i n e d  f r o m   t h e   c a m e r a   w e r e   v a l i d a t e d  by   c o m pa ri n g  t h e   r e s ul t s   o b t a i n e d  f r o m   t h e   c a m e ra   w i t h   t h e   re s u l t s   o b t a i n e d  by   t h e   de v i c e s   us e d  t o   m e a s ur e   v i b r a t i o n   a n d   di s p l a c e m e nt .   T h e   r e s ul t s   e xt r a c t e d   f r o m   t h e   v i de o   w e r e   a c c ur a t e .     In   [3 5] ,   a   n e w   m e t h o d  of   ph a s e - b a s e d  E V M   w a s   pr o po s e d.   T h e   a u t h o r s   p r e s e n t e d  a n   i m a ge   py r a m i d  de c o m po s i t i o n   t ha t   us e s   R i e s z   t r a n s f o r m   (R - T ) .   T h e   n e w   R i e s z   p y r a m i ds   o f   a   v i de o   f r a m e   de c o m po s e   a n   a pp r o xi m a t e   R - T   us i n g  t w o   t h r e e - t a p  f i ni t e   di f f e r e n c e   f i l t e r s ,   a nd  i n v e r t i b l e   oc t a v e   b a n dw i dt h   f i l t e r s   a r e   a ppl i e d.   T h e s e   a ut h o r s   c l a i m e d  t ha t   t h e i r   m e t h o d  c a n   b e   ut i l i s e d  f o r   r e a l - t i m e   s ub t l e   m o t i o n   v i s ua l i s a t i o n.   T h i s   m e t h o d  i s   c o n s i de r a b l y   f a s t e r   t ha n   c o m pl e x  s t e e r a b l e   a n d  m a i nt a i n s   v i de o   qua l i t y .   H ow e ve r ,   t h e   R i e s z   p y r a m i d   f a i l s   t o   m a i nt a i n  t h e   po w e r   t o   t h e   i n p ut   s i g na l ,   w hi c h  c a n  c a us e   s i de   a r t e f a c t s .   In   [38 ] ,   a   n e w   m e t h o d  c a l l e d  E M M S   w a s   s ugge s t e d  t o   s o l v e   pr o b l e m s ,   s uc h   a s   i n c r e a s e d  pr o c e s s i n g  t i m e   a n d   n o i s e   a n d   r e duc e d  v i de o   q ua l i t y .   T h e   m e t h o d  i s   b a s e d  o n   w a v e l e t   de c o m po s i t i o n ,   C h e by s h e v  b a n dp a s s   f i l t e r   a n d  i m a ge   de n o i s i n g  a nd  c a n   e xt r a c t   n o n de t e c t a b l e   m o t i o n   i n f o r m a t i o n   f r o m   i n pu t   v i de o s .   T h i s   m e t h o d  h a s   s u r pa s s e d  p r e v i o us   m e t h o ds   i n   t e rm s   o f   r e d uc i n g   p r o c e s s i n g  t i m e   a n d   e l i m i na t i n g  n o i s e .   T h e   m e t h o d  i s   a l s o   c o n s i de r a b l y   f a s t e r   t ha n   p r e v i o us   m e t h o ds ,   h a s   h i g h e r   v i de o   qua l i t y   a n d  r e duc e s   n o i s e .   E E M S   m a y   a l s o   b e   pa s s a b l e   fo r   us e   i n   v i de o - pr o c e s s i n g  a pp l i c a t i o ns   i n  r e a l   t i m e .       7.   C O M P A R I S O N S   In   t hi s   s e c t i o n ,   w e   s um m a r i s e   t h e   m a i n   d i f f e r e n c e s   a m o n gs t   t h e   m a g n i f i c a t i o n   m e t h o ds   i n   T a b l e   1.   In  T a b l e   2,   t h e   d i f fe r e n c e s   i n  v i de o   qua l i t y   a r e   p r e s e nt e d  f or  di f f e r e n t   m e t h o ds .   F o u r   s o ur c e   v i de o s   (b a by 1,   Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2502 - 4752   In do n e s i a n  J   E l e c   E ng  &   Co m p  S c i ,   V o l .   1 8 ,   N o .   2 ,  M a y   20 2 0   :     799   -   8 11   808   b a by 2,   gui t a r   a n d   c a m e r a   v i de o )  a r e   us e d  i n   t h i s   c o m pa r i s o n.   T h e y   a r e   a v a i l a b l e   o n   t h e   M IT   w e b s i t e   t hr o ug h  t h e   w e b pa ge   (h t t p: / / pe o pl e . c s a i l . m i t . e du/ m r ub / v i dm a g/ ) .   T h e   qua l i t y   i s   m e a s ur e d  by   c o m put i n g  pe a k  s i g na l - to - n o i s e   r a t i o   [60] ,   m e a n   s qu a r e d  e rr o r   a n d  t h e   o t h e r   qu a l i t y   m e t r i c s   t h a t   a r e   s h o w n   i n   t h e   f i r s t   c o l um n   o f  T a b l e   2.   T a b l e   3  s h o w s   t h e   di f f e r e n c e s   a m o n gs t   t h e   m a g ni f i c a t i o n  m e t h o ds   i n  t h e   p r o c e s s i n g   t i m e   t o   t h e   v i de o   s o ur c e s .   T a b l e   3  s h o w s   t h e   di f f e r e n c e s   a m o ngs t   t h e   m a g ni f i c a t i o n   m e t h o ds   i n  t h e   e xe c ut i o n   t i m e   by   us i n g  t h e   s a m e   f o ur   s o u r c e   v i de o s   t ha t   a r e   us e d  i n  T a b l e   2.   A l l   t h e   e xe c ut i o n   t i m e   m e a s u r e m e n t s   a r e   a c hi e v e d   o n   t h e   b a s i s   of   t h e   s a m e   c o m put e r   a n d  M A T L A B   s of t w a r e   v e r s i o n .   I n   e a c h   t e s t ,   10 0  f r a m e s   a r e   t a ke n   f r o m   e a c h   v i de o   s o ur c e .       T a b l e   1 .   Co m p a r i s o n  o f   T h e   E V M   M e t h o ds   M e t h o d   D e c o m p o s i t i o n   M a g n i f i c a t i o n   O v e rc o m p l e t e n e s s   N o i s e   E x a c t   fo r   L V M   [8 ]   L a p l a c i a n   p y ra m i d   S u p p o r t s   s m a l l   m a g n i fi c a t i o n   f a c t o r   3 4 i m a g e   M a g n i f i e d   L i n e a r  ra m p s   E n h a n c e d   E V M   [3 7 ]   L a p l a c i a n   p y ra m i d   S u p p o r t s   m e d i u m   m a g n i fi c a t i o n   f a c t o r   ≈   1 5 % – 2 0 %   s l o w e r  t h a n   L V M   M i n i m i s e d   v i a   p o s t p r o c e s s i n g   L i n e a r  ra m p s   P h a s e - b a s e d   m e t h o d   [2 9]   Co m p l e x   s t e e ra b l e   p y ra m i d s   S u p p o r t s   l a r g e   m a g n i fi c a t i o n   f a c t o r2   w i t h   s u b o c t a v e   b a n d w i d t h   f i l t e r s   2 k / (1 – 2 − 2 )1   (3 – 4   t i m e s   s l o w e r  t h a n   L V M   w i t h   o c t a v e   b a n d w i d t h ,   2   o ri e n t a t i o n s )   T ra n s l a t e d   S i n u s o i d   F a s t   p h a s e - b a s e d   m e t h o d   [3 5 ]   Ri e s z   p y ra m i d   S u p p o r t s   l a r g e   m a g n i fi c a t i o n   f a c t o r   ≈   2 0 % – 8 0 %   f a s t e r  t h a n   p h a s e - b a s e d   m e t h o d ( o c t a v e   b a n d w i d t h , 2   o ri e n t a t i o n s   )   T ra n s l a t e d   S i n u s o i d   E M M S   [3 8 ]   W a v e l e t   p y ra m i d   S u p p o r t s   l a r g e   m a g n i fi c a t i o n   f a c t o r   ≈   6 0 % – 7 0   %   f a s t e r  t h a n   L V M   Re m o v e d   L i n e a r  ra m p s       T a b l e   2 .  Co m p a r i s o n  A m o n gs t   E ul e r i a n   M e t h o ds   o n  A v e r a g e   V i de o   Q ua l i t y   M e t r i c s   f o r   B a by   1  V i de o ,   B a by   2  V i de o ,   G u i t a r   V i de o   a n d  Ca m e ra   V i de o       T a b l e   3 . Co m pa ri s o n   o f  t h e   M a g n i f i c a t i o n  M e t h o ds   i n  T e r m s   o f   P r o c e s s i n g  T i m e   M e a s u r e d  b y   S e c o n ds   In p u t   V i d e o s   M e t h o d s   L V M   [8 ]   E 2 V M     [3 7 ]   P h a s e - b a s e d   m e t h o d   [2 9 ]   F a s t   p h a s e - b a s e d     m e t h o d   [3 5 ]   E M M S   [3 8 ]   b a b y 1     85 . 6 7   1 0 1 . 3 2   2 1 3 . 1 7   1 1 7 . 4 5   5 0 . 6 8   b a b y 2     8 2 . 5 2   9 7 . 8 4   2 1 1 . 7 4   1 1 5 . 7 3   4 8 . 5 4   c a m e ra     1 0 0 . 7 6   1 2 0 . 0 5   2 4 3 . 1 8   1 3 0 . 2 4   5 9 . 2 9   g u i t a r    1 9 . 7 7   2 4 . 1 5   3 3 . 8 4   2 6 . 3 7   1 2 . 3 1       8.   C O N C LU S I O N S   T h e   E V M   a pp r o a c h   c a n  b e   c o n s i de r e d  a n   e f f i c i e n t   t o o l   i n   t h e   f i e l d  o f   s u b t l e   v a r i a t i o n s   i n  m o t i o n   a n d  c o l o ur   of   s o ur c e   v i de o s .   T hi s   t o o l   r e pr e s e n t s   a   c o m put e r - b a s e d  m i c r o s c o pe   t h a t   c a n   b e   us e d  i n   s e v e r a l   a ppl i c a t i o n s   i n   di f f e r e n t   f i e l ds ,   s uc h   a s   m e c h a ni c a l ,   m a t e r i a l   a n d  c i v i l   e n g i n e e r i ng  a nd  b i o l o g y   a n d   V i d e o   q u a l i t y     T h e   M e t h o d   L V M   [8 ]   E n h a n c e d   E V M   [3 7 ]   P h a s e - b a s e d   m e t h o d   [2 9 ]   F a s t   p h a s e - b a s e d   m e t h o d   [3 5 ]   E M M S   [3 8 ]   P e a k   s i g n a l - to - n o i s e   ra t i o   ( P S N R )   2 9 . 3 1 0 5   3 3 . 8 5 5 7 5   2 6 . 7 4 6 0 2 5   2 6 . 7 8 8   3 6 . 1 6 5 7 5   M e a n   s q u a re d   e rr o r  ( M S E )   9 5 . 8 1 4 7 5   2 9 . 6 1 7   1 7 5 . 0 3 4 2 5   1 5 6 . 7 9 3 7 5   1 9 . 6 3 3 3 5   S t ru c t u ra l   s i m i l a r i t y   (S S I M )   0 . 8 9 4 1 2 5   0 . 9 6 2 9 5   0 . 8 7 0 5 5   0 . 8 8 6 4 5   0 . 9 6 8 9 5   M u l t i s c a l e   s t ru c t u ra l   s i m i l a ri t y   (M S - S S IM )   0 . 9 1 6 5 2 5   0 . 9 8 3 8 7 5   0 . 9 4 9 8   0 . 9 6 3 8 2 5   0 . 9 9 2 5 2 5   G ra d i e n t   s i m i l a ri t y   m e a s u r e   (G S M )   0 . 9 8 8 5 5   0 . 9 9 6 7   0 . 9 9 1 6 7 5   0 . 9 9 2 8   0 . 9 9 8 1 5   F e a t u r e   s i m i l a ri t y   ( F S IM )   0 . 9 1 6 7   0 . 9 8 6 9 2 5   0 . 9 3 2 4 5   0 . 9 4 0 7 7 5   0 . 9 9 1 1   S p e c t ra l   re s i d u a l   s i m i l a ri t y   (S RS I M )   0 . 9 5 0 8 5   0 . 9 9 3 2 2 5   0 . 9 6 7 1 2 5   0 . 9 7 1 4 5   0 . 9 9 4 7 2 5   N o i s e   q u a l i t y   m e a s u r e   ( N Q M )   1 7 . 9 2 9 7 5   2 4 . 4 2 1 2 5   2 0 . 6 8 1 2 5   1 9 . 2 8 1 7 5   2 9 . 8 0 9 2 5   W e i g h t e d   s i g n a l - to - n o i s e   ra t i o   (W S N R)   2 6 . 8 7 1 7 5   3 3 . 9 7 8 5   2 9 . 8 2 3 5   2 7 . 2 4 0 2 5   4 0 . 2 3 8   V i s u a l   s i g n a l - to - n o i s e   ra t i o   (V S N R)   1 9 . 3 6 7 5   2 8 . 8 2 9   1 9 . 6 4 4 5   2 1 . 2 7 0 2 5   3 4 . 6 6 2 7 5   V i s u a l   i n fo r m a t i o n   f i d e l i t y   ( V IF )   0 . 5 1 7 7 7 5   0 . 6 7 3 7 2 5   0 . 4 1 4 9   0 . 4 8 2 5 2 5   0 . 7 2 4 4 5   Evaluation Warning : The document was created with Spire.PDF for Python.