I n d on e s i an   Jo u r n al   o El e c t r i c al   En gi n e e r i n g   an d   C o m p u te r   S c i e n c e   V o l .   1 8 ,   N o .   2 M a y   20 20 ,   pp .   799 ~ 811   IS S N :   2502 - 4752 ,   D O I :   10. 1 1591 / i j e e c s . v 1 8 .i 2 . pp 799 - 811             799       Jou r n al   h o m e pa ge ht t p: / / i j e e c s . i a e s c or e . c o m   E u l e r i a n   v i d e o   m a g n i f i c a t i o n :   a   r e v i e w       H ai d e r   I s m ae l   S h ah ad i 1 H ayd e r   J .   A l b atta t 2 Z ai d   Jab b a r   A l - al l aq 3 A h m e d   To m an   Th ah ab 4   1 E l e c t r i c a l   a nd   E l e c t r o n i c   E ng i ne e r i ng ,   U ni v e r s i t y   o f   K a r ba l a ,   I r a   2 ,3 C o m m uni c a t i o T e c hn i qu e s   E ng i ne e r i ng ,   A l - F ur a t   A l - A w s a t   T e c hni c a l   U n i v e r s i t y ,   I r a   4 B i o m e di c a l   E ng i ne e r i ng ,   U n i v e r s i t y   of   B a by l o n,   I r a q       A r t i c l e   I n fo     A B S TR A C T   Ar t i c l e   h i s t or y :   R e c e i v e d   J ul   19,   20 19   R e v i s e O c t   21 ,   2 019   A c c e pt e N o v   11,   2019       M a ny   i m po r t a n t   s ub t l e   c ha ng e s   i n   t h e   e nv i r o nm e nt   a r e   i nv i s i b l e   t o   t he   na k e d   hum a e y e s .   T he s e   s ub t l e   c ha ng e s   o c c ur   be c a us e   o f   c o l o ur   v a r i a t i o ns ,   s uc a s   b l o o f l o w   i a   hum a f a c e   t ha t   l e a d s   t o   f a c e   c o l o ur   c ha ng e ,   o r   m o t i o n   v a r i a t i o ns ,   s uc a s   v e na   m o v e m e nt   unde r   h um a s ki a n v i br a t i o o f   bui l d i ng s .   T h e   hum a e y e   r e qui r e s   o pt i c a l   m i c r o s c o pe s   t o   de t e c t   t he s e   v a r i a t i o ns .   A l t e r na t i v e l y ,   ne w   t e c hno l o g i e s ,   s uc a s   hi g h - s pe e i m a g e r y   a nd  c om put e r   p r o c e s s i ng ,   c a be   us e t o   de t e c t   t he s e   v a r i a t i o ns .   T h e s e   c om put e r i s e m i c r o s c o pe s   de p e nd  o c o m put a t i o r a t he r   t ha o pt i c a l   a m pl i f i c a t i o t o   a m pl i f y   s ubt l e   c o l o ur   a nd   m o t i o c ha ng e s   i v i de o s .   T h e   m o s t   po pul a r   t e c hni qu e   t o   a c hi e v e   c o m put a t i o n - ba s e m i c r o s c o pe   i s   t h e   E ul e r i a v i de o   m a g ni f i c a t i o ( E V M ) .   H o w e v e r ,   s e v e r a l   c ha l l e ng e s   i E V M   s t i l l   n e e d   t o   b e   s o l v e t o   m e e t   t h e   r e q ui r e m e nt s   o f   r e a l   t i m e   a nd  v i d e o   qua l i t y .   T hi s   p a pe r   p r e s e n t s   a   c o m pr e he n s i v e   s t udy   of   E V M   m e t ho ds   a n r e v i e w s   t he   r e l a t e d   l i t e r a t u r e .   T he   s t r e ng t h s   a nd  dr a w ba c ks   o f   e x i s t i ng   w o r ks   a r e   d i s c u s s e d,   a nd  t he   i m po r t a nt   r e s e a r c f i e l ds   a nd  c ha l l e ng e s   i t he   a r e a   o f   E V M   a r e   c o nc l ude d .     Ke y w or ds :   E ul e r i a n   v i de o   m a g n i f i c a t i o n   P y r a m i de c o m pos i t i o n   S pa t i a l   f i l t e r s   T e m po ra l   f i l t e r s   V i de o   pr o c e s s i n g   C opy r i gh t   ©   20 20   I n s t i t ut e   o f   A dv anc e E ng i ne e r i ng   and   S c i e nc e .     A l l   r i gh t s   r e s e r v e d .   Cor r e s pon di n g   Au t h or :   H a i de r   Is m a e l   S h a ha d i ,     E l e c t r i c a l   a n E l e c t r o ni c   E ngi n e e ri n g   D e pt ,     U n i v e r s i t y   of   K a r b a l a ,   560 01,   K a r b a l a ,   I ra q .     T e l . : 00964 781463 2232   E m a i l :   h a i de r_ a l m a y a l y @ uo ke r b a l a . e du. i q       1.   I N TR O D U C TI O N   In  s pi t e   o f   t h e   f a c t   t ha t   t h e   v i s ua l   s y s t e m   of   a   h um a n   ha s   a   l i m i t e pe r c e pt i b i l i t y   i n   e i t h e s pa t i a l   o r   t e m po ra l   do m a i n s   [1 ] ,   t e c hn o l o g y   c a n   r e v e a l   m a n y   of   t h e   i m pe r c e pt i b l e   s i g n a l s   t ha t   f a l l   o ut s i de   hum a n   pe r c e pt ua l   ra n ge .   M a n y   of  t h e s e   s i gna l s   c a rr y   i m po r t a nt   i nfo r m a t i o n ,   s uc h   a s   a   s l i g ht   di f f e r e n c e   i n   h u m a s ki n   c o l o ur   a c c o r di n g   t o   b l o o c i r c ul a t i o n.   A l t h o ugh  t hi s   d i f fe r e n c e   i s   c o n c e a l e t o   o ur  e y e s ,   i t   c a n   b e   us e t e s t i m a t e   t h e   h e a rt b e a t   n u m b e r   [2 - 3] .   S i m i l a rl y ,   m o t i o n ,   w hi c i s   i n v i s i b l e   t o   t h e   n a ke e y e   a n d   h a s   l ow   s pa t i a l   e n e r gy ,   c a n   b e   r e v e a l e by   m a gni f i c a t i o n ,   w hi c h   a l l o w s   us   t o   e xpl o i t   i n t e r e s t i n b e ha v i o ur   [4] F i gu r e s   a n p r o v i de   e xa m p l e s   o f   m a g n i f i c a t i o n   f o r   c o l o ur  a n d   m o t i o n   v a r i a t i o n s ,   r e s pe c t i v e l y .   F i gu r e   1 ( a )   s h o w s   a   m a n ’s   f a c e   a s   i t   a ppe a r s   t o   t h e   na ke e y e ,   a n n o   c h a n ge s   c a n   b e   s e e n .   T h e   p r o c e s s e i m a ge s   i F i gu r e   1 ( b )   c l e a r l y   r e ve a l   t h e   v a r i a t i o n   i n   t h e   c o l o ur   o h i s   f a c e   t h a t   i s   c a us e by   h i s   h e a r t b e a t .   S i m i l a rl y ,   F i gu r e   2 ( a )   s h o w s   t hr e e   f r a m e s   o f   a n   e y e   t h a t   s h o w   n o   c h a nge ,   a n d   F i gu r e   2 ( b )   s h o w s   a   m a g ni f i c a t i o o f   t h e   s m a l l   p a t t e rn  o f   t h e   e y e .     O ur   e n v i r o n m e n t   i s   c r o w de d   by   s m a l l   a n s i g ni f i c a nt   t e m p o r a l   v a r i a t i o n s .   S e v e r a l   a pp r o a c h e s   a n d   s c h e m e s   ha v e   be e n   e vo l ve t o   v i s ua l i s e   t h e s e   v a r i a t i o n s   i e i t h e r   m o t i o n   o r   c o l o ur ,   t h e r e by   r e s ul t i ng  i t h e   so - c a l l e c o m put e ri s e m i c r o s c o p e .   Co m put e ri s e m i c r o s c o pe s   d e pe n o n   c o m put a t i o n   r a t h e r   t ha n   o pt i c a l   m a g ni f i c a t i o n   t o   a m pl i fy   s u b t l e   c o l o ur   a n m o t i o n   c ha n ge s   i n   h i g h - s pe e o r   o r di n a r y   v i de o s .   T h e   s uc c e s s   of  a l go ri t hm s   ha s   s uppo r t e t h e   de v e l o pm e n t   o f   m o de r n   t e c hn i que s   t ha t   d i s c ov e r   unn o t i c e a b l e   s i gn a l s   i n   v i de o s .   Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2502 - 4752   In do n e s i a J   E l e c   E ng  &   Co m S c i ,   V o l .   1 8 ,   N o .   2 M a y   20 2 0   :     799   -   8 11   800   T h e   c a pa b i l i t y   t m a g n i fy   un n o t i c e a b l e   v a r i a t i o n s   i n   a n   i m a g i n v i de h a s   o pe n e t h e   do o r   fo r   a ppl i c a t i o n s   i b i o l o g y ,   h e a l t h c a r e   a n d   m e c h a ni c a l   a nd  m a t e ri a l   e n gi n e e r i ng .     In   2 005,   a   r e s e a r c h   g r o up  f r o m   t h e   l a b o r a t o r y   o c o m put e s c i e n c e   a n a rt i f i c i a l   i nt e l l i ge nt   i n   t h e   M a s s a c h us e t t s   I n s t i t u t e   o f   T e c h n o l o g y   (M IT p r o po s e a   v i de o   m a g ni f i c a t i o n   a l go ri t hm   b a s e o c l us t e r   t r a j e c t o r i e s   [4] .   T h e   a l go r i t hm   w a s   us e t a m pl i f y   s ub t l e   c o l o ur   o r   m o t i o n   c ha n ge s   ov e r   t i m e ,   w h i c h   m a de   i n v i s i b l e   c h a n ge s   v i s i b l e .   I [5] ,   t h e   a u t h o r s   p r o po s e us i n a   c a r t o o n   a ni m a t i o f i l t e r   t o   c r e a t e   v i s i b l e   m o t i o n   c o n s t r uc t i o n.   T h e s e   a l go ri t hm s   de pe n o n   a   L a g ra n g i a pe r s pe c t i v e ,   i w h i c h   t h e   pi xe l   p a t i s   t e m po ra l l y   t r a c ke o v e r   v i de o   f r a m e s .   H ow e ve r ,   t h e s e   a l go ri t hm s   a r e   c o m put a t i o na l l y   c os t l y   be c a us e   t h e y   a r e   b a s e o n   a c c ur a t e   m o t i o e s t i m a t i o n.   M o r e o ve r ,   t h e y   c a nn o t   b e   ve r i f i e a r t e f a c t - f r e e   a t   a r e a s   o f   de n s e   m o t i o n s .   By   c o n t ra s t ,   E ul e r i a n   b a s e d - m e t h o ds   a m p l i fy   t h e   i n t e n s i t i e s   o f   pi xe l   v a ri a t i o n   o v e r   t i m e   i a   m u l t i pl e   s c a l e   m a nn e r.   I E ul e r i a n   m e t h o ds ,   m o t i o n   m a g n i f i c a t i o n   do e s   no t   c l e a rl y   e s t i m a t e   m o t i o n   b ut   ra t h e e xt e nds   i t   t hr o ugh  a m pl i fy i n t e m po r a l   c o l o ur   c ha n ge s   a t   f i xe po s i t i o n s .   T h e   E ul e ri a n   m e t h o ds   a r e   s i m i l a r   t o   o pt i c a l   f l ow   a l go r i t hm s   i us i ng  d i f fe r e nt i a l   a pp r o xi m a t i o n   f o r m   [6 - 7]   T h e   a pp r o a c h   o f   E ul e r i a n   v i de o   m a gni f i c a t i o n   (E V M w a s   fi r s t l y   pr o po s e by   M IT   r e s e a r c h   g r o up  i n   201 [8] .   T h e   b a s i c   m e t h o do l o g y   of   E V M   c o n s i de r s   t h e   t i m e   s e r i e s   o f   pi xe l s   a n d   a m pl i f i e s   a n y   v a r i a t i o i a   s pe c i f i e d   i n t e r e s t   b a n o t e m po r a l   f r e que n c y .   F o r   e xa m pl e ,   t h e   s e l e c t e f r e que n c i e s   i n   F i gu r e   c o n s i s t   of  pl a us i b l e   h u m a n   h e a r t   r a t e s   t o   a m pl i fy   a   t e m po r a l   b a n d .   T h e   a m pl i f i c a t i o n   e xpo s e s   t h e   di s s i m i l a ri t y   of  r e d n e s s   a s   b l oo f l ow s   t hr o ug h   t h e   f a c e   [9 - 10] .             (a S o u r c e   f r a m e s   (b A m pl i f i e f r a m e s     F i gu r e   1 .   Co l o ur  v a r i a t i o m a g n i f i c a t i o [8]           (a S o u r c e   f r a m e s   (b A m pl i f i e f r a m e s     F i gu r e   2 .   S ub t l e   m o t i o v a r i a t i o n   m a g n i f i c a t i o [9]       S i n c e   2012 ,   E V M   ha s   b e e n   a   po pul a r   r e s e a r c h   a r e a   i s e v e r a l   i nt e r e s t i n a ppl i c a t i o n s ,   s uc h   a s   e xt ra c t i n g   t h e   de pt h   a n v e l o c i t y   of   h o t   a i r   [1 1] ,   hum a n   f e e l i ng  de t e c t i o n   [ 12] ,   A n d r o i s m a r t p h o n e     s of t w a r e   [13] ,   pl a s m a   p h y s i c s   [14] ,   s o un r e c o n s t r uc t i o n   f r o m   a   di s t a n c e   by   t h e   v i b r a t i o n   m e a s u r e m e nt   o a i t e m   i n   a   hi g h - s pe e v i de o   [15] ,   r e s c ue   [16] ,   b i o l o g y   [17] ,   m e c h a n i c a l   e n g i n e e r i ng  [18]   a n c i v i l   e n g i n e e ri n g   [19] .   E V M   m a y   a l s o   h a v e   s i gni f i c a nt   po t e nt i a l   i n   d i a g n o s t i c   a n d   m o n i t o r i n g   i n   m e d i c a l   a pp l i c a t i o n s .   M o s t   m e di c a l   a ppl i c a t i o n s   de pe n o n   t h e   r e c ov e r y   of   t e m pora l   f e a t u r e s   us i n t h e   c a pa b i l i t i e s   of   c o l o ur   a m p l i f i c a t i o n   o f   E V M ,   s uc a s   m e a s u ri n v i t a l   s i g n s   w i t ho ut   t o uc h i n g   p a t i e nt s   [10 ,   2 0 - 27]   a nd  r e v e a l i n g   o t i t i s   m e di a   i i n f a n t s   [28]   T h e   E V M   t e c hn i que   c a n   b e   c l a s s i f i e i n t o   l i n e a r -   a n p ha s e - b a s e E V M .   In   l i n e a r   a pp r o a c h e s ,   m o t i o n   i n   v i de o   i s   l i n e a r l y   pr o po r t i o n a l   t o   t h e   i nt e n s i t y   v a r i a t i o n   o v e r   a   f i r s t - o r de e xpa n s i o n   o f   T a y l o r   s e r i e s .   A   v i de o   s e que n c e   i s   c o n s i de r e a i nput ,   s pa t i a l   de c o m po s i t i o n   i s   a ppl i e a n f r a m e s   a r e   f i l t e r e b y   a   t e m po ra l   f i l t e r.   T h e   p r o duc e t e m po r a l   r e gi o n   i s   a m pl i f i e t o   e xpo s e   h i dde n   i n f o r m a t i o n.   A l t h o ug h   t hi s   pr o c e dur e   i s   s i m pl e   a nd  ra p i dl y   de t e c t s   s m a l l   m o t i o v a ri a t i o n s ,   i t   e a s i l y   b r e a ks   do w n   w h e t h e   m a g ni f i c a t i o n   f a c t o r   i s   l a r ge   b e c a us e   t h e   T a y l o r   a pp r o xi m a t i o n   b e c o m e s   i n a c c ura t e .   T o   o ve r c o m e   t h i s   pr o b l e m ,   p ha s e - b a s e m a g n i f i c a t i o n   (P V M r e pl a c e s   t h e   l i n e a r   a pp r o xi m a t i o n   w i t h   a   F o ur i e r   de c o m po s i t i o n   by   c o m pl e s t e e r a b l e   p y r a m i [29] .   T h e   v a ri a t i o n s   i n   p h a s e   of  t h e   py r a m i c o e f f i c i e n t s   o ve r   t i m e   a r e   pr o po r t i o na l   t o   t h e   m o t i o n   i n   di f f e r e n t   v i de o   f r a m e s .   T h e s e   v a r i a t i o n s   c a n   b e   t e m po r a l l y   pr o c e s s e a n t h e n   a m p l i f i e t o   v i s ua l i s e   t h e   m o t i o n.   I n   c o n t ra s t   t o   t h e   l i n e a r - b a s e m e t h o d,   t h e   p ha s e - b a s e m e t h o ha s   a   hi g h e r   c o m pl e xi t y   a n l o n ge r   p r o c e s s i n t i m e ,   b ut   i t   c a n   s u p po r t   l a rge a m pl i f i c a t i o o f   t h e   m o t i o n.   E ul e r i a Evaluation Warning : The document was created with Spire.PDF for Python.
In do n e s i a J   E l e c   E ng  &   Co m S c i     IS S N :   2502 - 4752       E ul e r i an   v i de m ag ni f i c at i on:  r e v i e w   ( H ai de r   Is m ae l   Sha h adi )   801   l i n e a r   a n p ha s e - b a s e a ppr o a c h e s   o pe r a t e   f a s t e r   a n s uf fe r   l e s s   n o i s e   t h a n   t h e   L a gra n g i a n - b a s e v i de m a g ni f i c a t i o n .   H ow e v e r ,   E V M   a pp r o a c h e s   do   n o t   w o r w e l l   fo r   l a r ge   a n d   a r b i t ra r y   m o t i o n s .     In   t hi s   pa pe r ,   w e   pr e s e n t   a   c o m pr e h e n s i v e   s t ud y   of   E V M   m e t h o d s   a n r e v i e w   t h e   l a t e s t   w o r i n   t hi s   a r e a .   W e   a l s o   c o m pa r e   t h e   e xi s t i n w o r ks   i n   t e r m s   o f   qua l i t y ,   s pe e a n a m pl i f i c a t i o n   f a c t o r.   T h e   r e s t   o f   t h e   pa pe i s   o r ga ni s e a s   f o l l o w s .   S e c t i o n   de s c ri b e s   E V M .   S e c t i o n   3   e xpl a i n s   a   l i n e a r - b a s e E V M .   S e c t i o n   4   r e v i e w s   t h e   e xi s t i n w o r ks   t h a t   us e   l i n e a r   E V M .   S e c t i o n   de s c r i b e s   a   ph a s e - b a s e E V M .   S e c t i o n   r e v i e w s   t h e   e xi s t i n g   w o r ks   t h a t   ut i l i s e   p h a s e - b a s e E V M .   S e c t i o pr e s e nt s   a   b r i e f   c o m pa ri s o n   o f   di ff e r e n t   e x i s t i n g   w o r ks .   S e c t i o 8   e l a b o r a t e s   t h e   c o n c l us i o n s .       2.   EV M   E V M   c a n   r e v e a l   a n a m pl i f y   t h e   s m a l l   m o t i o n s   a nd  c h a ng e s   i v i de o s .   E V M   i s   a pp l i e t o   e ve r y   l e v e l   w i t h i n   a   py r a m i a n n o t   o v e r   t h e   o r i gi na l   p i c t u r e s   be c a us e   t h e   go a l   i s   t o   a m pl i fy   t h e   p y r a m i l e v e l s   t h a t   c o n t a i n   t h e   m o v e m e n t   f r e que n c i e s .   T hi s   t e c hni q ue   t h e n   m u l t i pl i e s   t h e   de s i r e f r e que n c i e s   by   a   f a c t o r   kn o w n   a s   m a g ni f i c a t i o n   f a c t o r   α,   w h i c h   i s   de f i n e by   t h e   us e r .   E V M   a m p l i f i e s   t h e   a c t ua l   m o t i o n   a n a l l o w s   us   t o   r e c o gn i s e   m o ve m e n t s   t ha t   a r e   u n de t e c t a b l e   t o   t h e   na ke e y e .   T h e   m a g n i f i e v a l ue s   of   t h e   d e s i r e f r e que n c y   a r e   a dde b a c t o   t h e   n o t   m a g ni f i e o n e s   o f   t h e   s a m e   l e v e l   t o   ob t a i n   t h e   f i na l   v i de o   w i t e xa gge ra t e d   m o t i o n.     A l t h o ug h   m a n y   m e t h o ds   us e   t h e   s a m e   ge n e r a l   p r i n c i pl e   a s   t ha t   o f   E V M ,   t h e y   di ffe r   i n   t h e   w a y   t h e y   w o r k.   O n e   of   t h e   m a j o r   di f fe r e n c e s   a m o n gs t   t h e s e   m e t h o ds   i s   t h e   t y pe   of  p y r a m i ut i l i s e i n   t h e   a l go r i t hm .   T h e   l i n e a r   v i de o   m a g ni f i c a t i o (L V M ),   w hi c h   w a s   p r e s e n t e d   by   W e t   a l .   [ 8] ,   a pp l i e s   t h e   L a pl a c i a n   py r a m i de c o m po s i t i o n   t e c hn i q ue   t o   t h e   i n p ut   v i de o   t o   de c o m po s e   t he   v i de o   s e que n c e   a c c o r di n t o   s pa t i a l   f r e que n c y ,   w h i c h   i s   f o l l ow e by   t e m po r a l   f i l t e ri n g.   T h e   r e s ul t i ng  o ut put   s i g n a l s   o f   t h i s   o pe r a t i o a r e   t h e m a g n i f i e by   a   f a c t o r   a n d   a dde b a c t o   t h e   s i g na l s   t ha t   a r e   e n t e r e t o   t h e   t e m po ra l   f i l t e r .   H ow e v e r ,   t h i s   m e t h o s uppo rt s   l o w   m a g n i f i c a t i o n   f a c t o r s .   T o   s o l v e   t h i s   p r o b l e m ,   W a dh w a   e t   a l .   [29]   p r o po s e a   E ul e r i a m e t h o b a s e o n   a   t e c hn i q ue   c a l l e ‘c o m pl e s t e e r a b l e   t e c hni que ’  [3 0 - 31] ,   w h i c h   w a s   i n s pi r e d   by   ph a s e - b a s e o pt i c a l     f l ow   [32 - 34] .   T hi s   m e t h o a c c e pt s   l a rge   m a g n i f i c a t i o n   f a c t o r s ,   po s s e s s e s   f e w e r   a r t e f a c t s   a n d   i nt r o duc e s   l e s s   n o i s e   t h a L V M .   H ow e ve r ,   t h i s   m e t h o r e qui r e s   a   l o n ge r   t i m e   p r o c e s s i n due   t o   t h e   c o m pl e xi t y   of   pi pi n r e p r e s e n t a t i o n   o f   t h e   s t e e r a b l e   py r a m i d.   T h i s   m e t h o c a n   b e   ov e r   21  t i m e s   a s   l o n a s   t h e   L V M   t e c hni que .   I [29] ,   t h e   a ut h o r s   de v e l o pe t h e i r   p r e v i o us   w o r by   us i n g   a   n e w   p y r a m i d   i n   [35 - 36 ] ,   w hi c h   t h e y   c a l l e t h e   R i e s z   p y r a m i d ,   t o   r e duc e   e xe c ut i o n   t i m e .   L i e t   a l .   [ 37]   p r o po s e a   w a y   t o   i m pr o v e   L V M   a f t e r   p r o c e s s i n g ,   w h i c i s   c a l l e d   e nha n c e E V M   ( E 2V M ).       E 2V M   s uppo r t s   m a g ni f i c a t i o n   f a c t o r s   w i t h   gr e a t e r   a n l e s s   n o i s e   t h a n   L V M .   T h e   e ff i c i e n t   m o t i o m a g ni f i c a t i o n   s y s t e m   (E M M S m e t h o h a s   b e e n   de v e l o p e t o   i m p r o v e   pr o c e s s i n s pe e [38] ,   w h i c h   de pe nds   o n   w a v e l e t   de c o m po s i t i o n .   T hi s   m e t h o s uppo rt s   l a rge   a m p l i f i c a t i o n   f a c t o r s ,   i m p r o v e s   t h e   s pe e of  i m p l e m e nt a t i o n   a n r e duc e s   n o i s e .   S e c t i o n   (c o m pa ri s o n s s u m m a r i s e s   t h e   m a i n   d i f fe r e n c e s   a m o n gs t     t h e s e   m e t h o ds .       3.   LI N EA R - B A S ED   EV M   S m a l l   m o t i o n   a m p l i f i c a t i o n   c a n   b e   a c h i e v e t h r o ug h   p r o c e s s i n [4 - 5] .   I n   o pt i c a l   f l ow ,   m o t i o n   m a g ni f i c a t i o n   c a n   b e   pr o duc e v i a   t e m po r a l   p r o c e s s i n by   us i n t h e   f i r s t - o r de r   T a y l o r   s e r i e s     e xpa n s i o n s   [6 - 7] .   T h e   go a l   o f   E V M   i s   t o   pr o c e s s   t h e   t i m e   s e r i e s   of   c o l o ur   v a l ue s   f o r   e a c h   pi xe l   i s pa t i a l   do m a i n   i n de pe nde nt l y   by   a ppl y i n a   s t a n d a r d   1D   t e m po r a l   s i g n a l   p r o c e s s i n t o   e a c h   t i m e   s e r i e s   t o   a m pl i f y   a   s pe c i f i c   b a n o f   i n t e r e s t   t e m po r a l   f r e que n c i e s .   T h e   i nput   v i de o   f r a m e   i s   de c o m po s e i n t o   di s t i n c t   s pa t i a l   f r e que n c y   b a n ds   us i n g   a   f ul l   L a pl a c i a py r a m i [8 ,   39 - 42 ] .   T h e   L a pl a c i a n   py r a m i d   i s   a   da t a   s t r uc t u r e   i w h i c h   a n   i m a ge   i s   dow n s a m pl e a t   s uc c e s s i ve l y   s pa r s e r   de ns i t i e s   unt i l   n o   f ur t h e r   do w n s a m p l i ng  i s   po s s i b l e .   T h e   L a pl a c i a py r a m i d   de pe nds   o a a n a l y s i s   p y r a m i f o r   v i de o s   t ha t   i s   b a s e o n   a   G a us s i a py r a m i d .     T h e   L a pl a c i a n   py r a m i m e t h o f o r   a na l y s i s   v i de o   pr o c e s s i n t i m e   h a s   b e c o m e   l e s s   p o pul a r   t ha b e fo r e .   [8 - 9]   s h o w e t ha t   t hi s   m e t h o b e c o m e s   us e l e s s   a s   t h e   m a g ni f i c a t i o n   f a c t o r   i n c r e a s e s   b e c a us e   n o i s e   i n c r e a s e s   l i n e a rl y   w i t h   t h e   i n c r e a s e   i n   m a g n i f i c a t i o n   f a c t o r.   T h i s   m e t h o i s   us e f ul   i n   m a g ni fy i n c o l o ur s   w h e n   t h e   m a g ni f i c a t i o n   f a c t o i s   s m a l l .   F i gu r e   3   s h o w s   a   w o r ki n g   L V M   m e c ha n i s m       Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2502 - 4752   In do n e s i a J   E l e c   E ng  &   Co m S c i ,   V o l .   1 8 ,   N o .   2 M a y   20 2 0   :     799   -   8 11   802       F i gu r e   3 .   O v e r a l l   s t r uc t u r e   o f   t h e   l i n e a r - b a s e d - E V M   [8]       3. 1 .       M ath e m ati c a l   A n a l ys i s   fo r   Li n e ar - B as e d   EV M   T h i s   s e c t i o e xpl a i n s   t h e   l i n e a r - b a s e E V M   m a t h e m a t i c a l l y .   (x,   t )   de n o t e s   t h e   i nt e n s i t y   of   t h e   i nput   i m a ge   a t   a   c e r t a i n   po s i t i o n   a n t i m e   t .   O b s e r v e i n t e n s i t i e s   c a n   b e   e xpr e s s e w i t h   r e s pe c t   t o   a   di s pl a c e m e nt   f un c t i o n   δ   ( t g i v e n   t ha t   t ra n s l a t i o n a l   m o t i o n   i s   a pp l i e t o   t h e   i m a ge .   T h e r e f o r e ,   I(x,   t c a b e   w r i t t e n   a s   I (x,   t )   =   f   (x  +   δ (t ))   a n d   I(   ,   0)   =   f   (x).   T h e   m a i n   o b j e c t i v e   of   m o t i o n   m a g n i f i c a t i o i s   t o   s y n t h e s i s e     t h e   s i g na l ,   t h a t   i s ,       )) ( ) 1 ( ( ) , ( ˆ t x f t x I   ( 1)     w h e r e ,   α   i s   a n   a m pl i f i c a t i o n   n u m e r i c a l   f a c t o r.   T h e   v i de o   f r a m e   i s   a pp r o xi m a t e o n   t h e   b a s i s   o f   t h e   e xpa n s i o n   o f   t h e   f i r s t - o r de r   T a y l o r   s e r i e s   a t   t i m e   t .   T h e   di s p l a c e f r a m e   f   (x  +   δ ( t ))  i n   t h e   f i r s t - o r de r   T a y l o r   e xpa n s i o a r o u n d   i s   g i v e n   by       (2)     B (x,   t )   i s   t h e   o ut put   o f   a   t e m po r a l   b a n dp a s s   f i l t e r i ng  p r o c e s s   fo r   I(x,   t )   i e a c h   x - po s i t i o n.   T h e   m o t i o s i g na l   δ ( t i s   w i t h i t h e   p a s s b a n d   b o un da r y   f r e que n c i e s   of   t h e   t e m po ra l   f i l t e r,   t h a t   i s ,       (3)     B (x,   t i s   a m p l i f i e by   a m pl i f i c a t i o n   f a c t o r   α  a n a dde ba c t o   t h e   o r i gi na l   f r a m e   (I(x,   t )) .   T h e   r e s ul t e d   f r a m e   i s   c o m put e i n   a c c o r da n c e   w i t h       (4)     A s   s h o w n   i n   ( 2),   (3)   a nd  ( 4)  a r e   c o m b i n e d,   a nd  w e   o b t a i t h e   a pp r o xi m a t e a m p l i f i e f ra m e   a s       (5)     T h e   e xpa n s i o n   o f   t h e   f i r s t - o r de r   T a y l o r   h o l ds   f o r   t h e   a m pl i f i e m o t i o n   s i g n a l ,   (1 + α)δ ( t ) ,   a n r e l a t e s   t o   t h e   a m pl i f i c a t i o n   o f   t h e   t e m po ra l l y   b a n dpa s s e s i g na l   t o   m o t i o n   m a g ni f i c a t i o n.   A s   s h o w n   i n   (6)  de n o t e s   t h e   p r o c e s s e o ut put .         (6)   x x f t x f t x I ) ( ) ( ) ( ) , ( x x f t t x B ) ( ) ( ) , ( ) , ( ) , ( ) , ( ~ t x B t x I t x I x x f t x f t x I ) ( ) ( ) 1 ( ) ( ) , ( ~ )) ( ) 1 ( ( ) , ( ~ t x f t x I Evaluation Warning : The document was created with Spire.PDF for Python.
In do n e s i a J   E l e c   E ng  &   Co m S c i     IS S N :   2502 - 4752       E ul e r i an   v i de m ag ni f i c at i on:  r e v i e w   ( H ai de r   Is m ae l   Sha h adi )   803   F i gu r e   de m o n s t r a t e s   t h e   a m pl i f i c a t i o n   p r o c e s s   fo r   a   s i n g l e   s i n us o i d.   A   c o s i n e   w a ve   w i t a   l ow   f r e que n c y   a n a   r e l a t i v e l y   s m a l l   di s pl a c e m e nt   (t ))  c a n   b e   a pp r o xi m a t e by   a n   e xpa n s i o n   o t h e   f i r s t - o rde T a y l o r   s e r i e s .   T hi s   p r o c e dur e   r e s ul t s   i n   a e ff i c i e n t   a pp r o xi m a t i o n   f o r   t h e   s i g na l   a t   t i m e   t   +   1 .           F i gu r e   4 .   I l l us t r a t i o n s   o f   a m pl i fy i n s p a t i a l   t r a n s l a t i o a f t e r   t e m po r a l   f i l t e ri n g       3. 2 .       P yr am i d   D e c o m p o s i ti o n   A   p y r a m i i s   t h e   p r o c e s s   of   de c o m p o s i t i o n s   o f   i m a ge s   i n   di f fe r e nt   s c a l e s   s pa t i a l l y .   T h e   t w o   m o s t   po pul a r   py r a m i d   de c o m po s i t i o n   a pp r o a c h e s   a r e   G a us s i a n   a nd  L a pl a c i a n.   G a us s i a py r a m i i s   c o n s t r uc t e by   s m o o t h i n t h e   o ri gi na l   i m a ge   w i t h   a   G a us s i a f i l t e r   a n d   t h e s c a l i n i t   do w n .   A   G a us s i a py r a m i c o n s i s t s   o a   s e que n c e   of   l ow pa s s ,   dow n s a m pl e p i c t u r e s .   T h e   G a us s i a n   py r a m i i s   s i m i l a r   t o   a   L a pl a c i a py r a m i d;   a t   a   s pe c i f i c   l e ve l   of   e a c h   i m a ge   o f   t h e   L a pl a c i a n   py r a m i d   i s   t h e   d i f f e r e n c e   be t w e e n   t w o   c o r r e s po n di n n e i g h b o uri n l e v e l s   of   t h e   G a us s i a n   py r a m i d .   T h e   s m a l l e s t   l e v e l   i s   m e r e l y   pr e s e r v e d.   A s   a   r e s ul t ,   t h e   di f fe r e n c e   i m a ge s   c a n   b e   us e t o   r e c o n s t r uc t   t h e   o r i gi na l   i m a ge .   H ow e v e r ,   L a pl a c i a n   py r a m i c a n   b e   a s s um e t o   b e   a   s e que n c e   of  b a n dp a s s ,   do w n s a m p l e i m a ge s   [39] .   F i gur e   i l l us t ra t e s   t h e   G a us s i a n   a n d   L a pl a c i a n   py r a m i de c o m po s i t i o n s .     3. 3 .       T e m p o r al   F i l te r   A   t e m po r a l   f i l t e r i ng  p r o c e s s   i s   a ppl i e t o   t h e   s e r i e s   o f   t h e   t e m po ra l   p i xe l s   i n   e a c h   s pa t i a l   b a n o f   t h e   s pa t i a l   py r a m i c o n s t r uc t i o n   t o   e xt r a c t   t h e   i nt e r e s t   f r e que nc y   b a n ds .   A   t e m po r a l   b a n dp a s s   f i l t e r   i s   us e t o   e xt ra c t   m o t i o n s   o r   s i g na l s   t h a t   a r e   i n t e n de t o   b e   a m pl i f i e d.   A c c o r di n t o   t h e   a ppl i c a t i o n   ut i l i s e i n   t h e   a l go r i t hm ,   us e r s   s h o ul b e   a b l e   t o   c o n t r o l   t h e   f r e que n c y   b a n d   i nt e r e s t .   H ow e ve r ,   t h e   f r e que n c y   b a n c a b e   a ut o m a t i c a l l y   s e l e c t e i s o m e   c a s e s .     F i l t e r   s e l e c t i o n   a l s o   de pe n ds   o n   t h e   t y pe   o f   t h e   a ppl i c a t i o n   us e d.   F o r   e xa m pl e ,   a   f i l t e r   w i t a   w i de   pa s s   b a n i s   o f t e n   p r e f e r r e f o r   m o t i o n   m a g ni f i c a t i o n,   w he r e a s   a   n a rr o w - pa s s b a n f i l t e r   i s   p r e f e rr e fo r   c o l o ur   a m pl i f i c a t i o n,   s uc h   a s   b l o o f l ow ,   be c a us e   t h e   l a t t e r   re s ul t s   i n   l e s s   n o i s e   di s t o r t i o n.   H ow e v e r ,   f o r   r e a l - t i m e   i m pl e m e nt a t i o n   f o r   m o t i o n   m a g ni f i c a t i o n   a n c o l o ur   a m pl i f i c a t i o n,   l o w - o r de r   IIR   f i l t e r s   a r e   c o n v e n i e n t   t o   us e .   V a ri o us   f r e que n c y   r e s po n s e s   of   s e ve r a l   t y pe s   o f   t e m po r a l   f i l t e r s   a r e   s h o w n   i F i g u r e   6 .             F i gu r e   5 .   ( a )   G a us s i a n   py r a m i (b L a p l a c i a n   py r a m i d   Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2502 - 4752   In do n e s i a J   E l e c   E ng  &   Co m S c i ,   V o l .   1 8 ,   N o .   2 M a y   20 2 0   :     799   -   8 11   804       F i gu r e   6 .   T e m po ra l   f i l t e r s   t y p e s   t ha t   a r e   us e i [8 - 9]       4.   EX I S TI N G   W O R K S   B A S ED   O N   LI N EA R   EV M   S e ve r a l   w o r ks   i t h e   f i e l o f   E V M   b a s e o n   t h e   L V M   m e t h o ha v e   b e e n   pub l i s h e d.   I n   [2 2] ,   t h e   E V M   m e t h o w a s   us e t o   m e a s ur e   t h e   t i m e   of   a   pul s e   c r o s s i n w i t h o ut   di r e c t   c o n t a c t .   T h e   b e n e f i t   of  m e a s u r i n pu l s e   t i m e   c r o s s i n i s   t o   de t e r m i n e   b l oo d   pr e s s ur e ,   h e a rt   ra t e   a n s t r e s s .   T w o   a r e a s   of  s t ud y ,   na m e l y ,   w r i s t   a n n e c k,   w e r e   s e l e c t e t o   c a l c ul a t e   t h e   p ul s e   t ra n s i t   t i m e .   T h e   r e s ul t s   o f   t h i s   m e t h o w e r e   v e r i f i e by   c o m pa r i n g   t h e m   w i t h   t h e   r e s ul t s   o f   t h e   de v i c e s   us e t o   de t e r m i n e   t h e   pul s e ,   s uc a s   t h e   e l e c t r o c a r di o g r a m ;   t h e   r e s ul t s   w e r e   c l o s e .   In   [23] ,   t h e   a ut h o r s   us e E ul e r i a n   m e t h o t o   e xt ra c t   t h e   f orm   b r e a t h   w a v e   of   m ov e m e n t   f r o m   t h e   uppe r   b o d y   of   di ff e r e n t   b r e a t h i ng  pa t t e rn s   ( n o r m a l   b r e a t h,   ho l b r e a t h ,   qui c b r e a t h   a nd  de e b r e a t h ra p i dl y   a n a c c ura t e l y   f r o m   t h e   v i de o   s e que n c e .   T h e   v i de o   m us t   c o n t a i t h e   h e a a n d   c h e s t   a r e a   f o r   a c c ur a t e   r e s ul t s .     In   [ 21] ,   E u l e ri a t e c hni que   w a s   us e t o   de t e c t   n e o n a t a l   d i s e a s e s   w i t h   l i m i t e m o ve m e n t ,   s uc a s   e pi l e pt i c   s e i z u r e s   a n d   l i f e - t hr e a t e n i ng  a p n o e a   e v e n t s .   T h e   di s e a s e   c a t e go r y   i n c l ude e pi l e ps y   a nd  e pi l e pt i c   s e i z u r e s   i n   n e o n a t e s .   T hi s   e a s y - to - us e   m e t h o c a n   b e   us e i n   a   pa t i e n t ’s   h o m e   o r   i n   a   h o s pi t a l ,   s pe c i f i c a l l y   i t h e   n e o n a t a l   i n t e n s i v e   c a r e   u n i t ,   t o   m o n i t o n e w bo r w i t h o ut   de v i c e s   c o nn e c t e t o   t h e   i n f a n t .   In   [ 20,   43]   E V M   w a s   i nt r o duc e t o   a   n e w   a ppl i c a t i o n.   T h e   m e t h o w a s   us e t o   m e a s ur e   w r i s t   pul s e s .   T h e   m e t h o c a n   a l s o   a n a l y s e   t h e   s i g na l   o f   t h e   w r i s t   pul s e   b e c a us e   v i t a l   i n f o rm a t i o n   c a n   b e   e xt ra c t e f r o m   w r i s t   pul s e   s i g n a l s   t h a t   a f f e c t   a   pe r s o n ’s   h e a l t h   s t a t us .   A s   a   r e s ul t ,   t h e   E V M   m e t h o c a n   b e   ut i l i s e t pr e di c t   e s s e n t i a l   c a r d i o v a s c ul a f un c t i o n s .   T h e   a ut h o r s   i n   [44]   a do pt e t h e   E V M   a l go r i t hm   t o   de t e c t   a n m e a s u r e   t h e   s o o t   pr o pe n s i t y   of   a   f l a m e .   O t h e r   a ut h o r s   ha v e   us e d   E V M   i n   f a c e   s p oof i n a t t a c ks   be c a us e   f a c i a l   b i o m e t r i c s   i s   v ul n e r a b l e   t f r a ud .   T h e   a ut h o r s   i n   [45]   us e E ul e r i a n   m e t h o f o r   f a c e   r e c o gn i t i o n   a n de t e c t i o n   o f   f a c e   s p o of i n t e c hn i q ue s   t o   i m p r o v e   t h e   p ra c t i c a l i t y   o f   f a c e   b i o m e t r i c s .   L i e t   a l .   [37]   p r o po s e a n   e nha n c e m e nt   t o   E V M   t o   i m pr o v e   t h e   w o r of   L V M .   A   pi xe l - l e v e l   m o t i o n   a na l y s e r   w a s   us e t c a pt ur e   a n a m pl i fy   m o t i on.   T h e   m e t h o us e s   L V M   a s   a n   a n a l y s e r   fo r   s pa t i o t e m po ra l   m o t i o n.   E 2V M   u t i l i s e s   i m a ge   w a r pi ng  t o   m a gni fy   t h e   t e m po r a l   m o t i o n   o f   t h e   v i de o   b a s e o n   t h e   fo r m e r   m o t i o n   m a ppi n g .   A l t h o ug h   t h e   i m a ge   w r a ppi n t e c h ni que   p r o v i de s   a n   i m p r o v e d   pe r fo r m a n c e   m e t h o t o   ha n d l e   t h e   f ra m e   n o i s e   i n   t h e   po s t p r o c e s s i n g ,   t h e   c o m put a t i o n   t i m e   r e qu i r e i s   a l s o   i n c r e a s e d.   H ow e ve r ,   t h e   m e t h o s uppo rt s   l a rge r   a m pl i f i c a t i o f a c t o r s   w i t h   l e s s   n o i s e   di s t o r t i o n   a n f e w e r   a rt e f a c t s   t ha t h e   L V M   m e t h o d.       5.   P H A S E - B A S ED   EV M   T h e   E ul e r i a n   L V M   s uppo r t s   s m a l l   f a c t o r s   o m a g n i f i c a t i o n.   T h e   m a i n   d ra w b a c of   t h e   E ul e r i a L V M   m e t h o i s   t h e   a b i l i t y   t o   a m pl i fy   n o i s e   w h e n   t h e   m a g ni f i c a t i o n   f a c t o r   i s   i n c r e a s e d.   T h e   a ut h o r s   i n   [29]   a c c o r di n gl y   de ve l o p e a   m o t i o n - p r o c e s s i n m e t h o t ha t   i s   b a s e o n   c o m pl e x - v a l ue s t e e ra b l e   t e c hni que     [30 - 31]   a n d   i n s p i r e by   ph a s e - b a s e o pt i c a l   f l o w   [32 - 33]   a n d   m o t i o n   w i t h o ut   m o ve m e n t   [41] .   T h i s   m e t h o s uppo r t s   l a rge   a m pl i f i c a t i o n   f a c t o r s   a n d   ha s   l e s s   n o i s e   di s t o r t i o n   t h a l i n e a r - b a s e E V M .   T h e   p ha s e - b a s e E V M   m e t h o do e s   n o t   i n c r e a s e   s pa t i a l   no i s e   be c a us e   t h e   m e t h o m o di f i e s   t h e   p ha s e s   i n s t e a o f   a m p l i t ude s .   A s   a   r e s ul t ,   n o i s e   i s   t ra n s l a t e r a t h e t ha n   a m p l i f i e w h e t h e   a m p l i f i c a t i o n   f a c t o r   i s   i n c r e a s e d.   A l t h o ug h   t h e   c o m put a t i o n   o f   l oc a l   m o t i o n s   c a n   r e s ul t   f r o m   t h e   p h a s e   v a ri a t i o n s   o f   t h e   c o m pl e s t e e r a b l e   py r a m i ds ,   i n c r e a s i ng  t h e   p h a s e   v a r i a t i o ns   by   a   m ul t i pl i c a t i v e   f a c t o r   c a n   a m pl i f y   s u b t l e   m o t i o n s .   T h e   m o di f i e v i de o   i s   r e c o n s t r uc t e a f t e r   a m p l i f y i n t h e   m o t i o t e m po r a l l y .   Evaluation Warning : The document was created with Spire.PDF for Python.
In do n e s i a J   E l e c   E ng  &   Co m S c i     IS S N :   2502 - 4752       E ul e r i an   v i de m ag ni f i c at i on:  r e v i e w   ( H ai de r   Is m ae l   Sha h adi )   805   T h e   m a i n   d i f fe r e n c e   b e t w e e n   l i n e a r -   a n p h a s e - b a s e E V M   i s   i n   t h e   s pa t i a l   de c o m po s i t i o n   us e d.   T h e   p h a s e - b a s e us e s   s t e e r a b l e   p y r a m i ds .   T h e s e   p y r a m i ds   r e s ul t   i n   a n   e f f i c i e n t   a n a c c ura t e   l i n e a r   de c o m po s i t i o n   f o r   v i de o   f r a m e s   i n   s c a l e   a n o ri e n t a t i o n   s ub - b a n ds .   T h e   b a s i c   f un c t i o n s   o f   t h e   t ra n s f o r m   a r e   s i m i l a t o   G a b o w a v e l e t s   [46] ,   w hi c a r e   s i n us o i ds   w i n do w e by   a   G a us s i a e n v e l o pe   [30 47 - 48]   T h e   m e t h o l i nks   pha s e   a n m o t i o n   by   m a n i pu l a t i ng  t h e   pha s e   v a r i a t i o n s   i n   v i de os .   T h e   m e t h o a l s a v o i ds   t h e   f l ow   ve c t o r   c o m put a t i o n .   H ow e ve r ,   t hi s   m e t h o re qui r e s   h i g h   p r o c e s s i n t i m e .   F i gu r e   s h o w s   t h e   w o r ki n g   m e c h a ni s m   o f   P V M .             F i gu r e   7 .   G e n e ra l   s t r uc t u r e   o f   ph a s e - b a s e E V M   [29]       5. 1 .       M ath e m ati c a l   A n a l ys i s   fo r   P h as e - B as e d   EV M   T h e   p h a s e - b a s e a pp r o a c h   de pe nds   o n   c o m pl e x - v a l ue s t e e ra b l e   p y r a m i ds   g i v e n   t ha t   l o c a l   m o t i o n s   c a n   b e   m e a s u r e a n m o di f i e d.   T h e   i nt e n s i t y   pr o f i l e   ( f o f   a   1D   i m a ge   u n de r   g l o b a l   t r a n s l a t i o o v e r   t i m e   ( t ),   ( x   +   δ ( t ) ) ,   fo r   a   m o ve m e n t   f u n c t i o n   δ ( t )   i s   c o n s i de r e d.   A   s e que n c e   i s   a s s e m b l e w i t h   t h e   m o t i o m o di f i e d,   ( x   +   ( +   α)   δ ( t )) ,   t o   a   m a g ni f i c a t i o f a c t o r   ( α ).       T h e   d i s pl a c e i n t e n s i t y   pr o f i l e   of   t h e   i m a ge   f ( x   +   δ ( t ) )   c a n   b e   w r i t t e n   a s   a   s u m   o f   c o m pl e s i n us o i ds   us i n F o u r i e r   s e r i e s   de c o m po s i t i o n ,   t ha t   i s ,      )) ( ( )) ( ( t x i e A t x f   (7)     w h e r e   e v e r y   b a n c o r r e s po n ds   t o   o n e   f r e que n c y   ).   T h e   c om pl e s i n us o i i s   t h e   b a n f o r   f r e que n c y   ω ,   t ha t   i s ,       (8)     T h e   pha s e   ω (x  +   δ (t ))  c o nt a i n s   m o t i o n   i n f o r m a t i o n   b e c a us e   S ω   i s   a   s i n us o i d.   T hi s   c o n di t i o n   c a c a us e   m o t i o m a n i p ul a t i o n   b y   ph a s e   m o di f i c a t i o n.   A   D b a l a n c e f i l t e r   i s   us e t o   f i l t e r   t h e   p ha s e   ω (x  + δ ( t ))  t e m po ra l l y   fo r   s e pa r a t i n m o t i o n   i s pe c i f i c   t e m po r a l   f r e que n c i e s .   O n l y   t h e   D c o m po n e n t   x)  i s   a s s um e t o   b e   r e m o v e d.   T hi s   a s s u m pt i o r e s ul t s   i n       (9)     T h e   b a n dp a s s e pha s e   B ω (x,   t i s   m u l t i pl i e by   t h e   f r e que n c y   ),   a n t h e   p ha s e   of   s u b - b a n S ω   (x ,   t i s   i n c r e a s e b y   t h i s   a m o unt   t o   o b t a i t h e   s ub - b a n w i t t h e   m a g n i f i e m o t i o n.         (10)   )) ( ( ) , ( t x i e A t x S ) ( ) , ( t t x B  )) ( ) 1 ( ( ) , ( ˆ t x i B i e A e S t x S Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2502 - 4752   In do n e s i a J   E l e c   E ng  &   Co m S c i ,   V o l .   1 8 ,   N o .   2 M a y   20 2 0   :     799   -   8 11   806   T h e   r e s ul t   i n   (10)  s h o w s   t h a t   Ŝ ω   (x,   t i s   a   c o m pl e s i n us o i d ,   a n t h e   m o t i o n   r a t i o   b e t w e e n   Ŝ ω   (x,   t a n t h e   i n pu t   i s   e xa c t l y   (1  +   α)  t i m e s .   T h e   m o t i o n - m a g n i f i e v i de o   c a n   b e   r e c o n s t r uc t e by   s um m i n a l l   t h e   s ub - b a n ds   t o   a c qu i r e   t h e   m o t i o n - m a g n i f i e s e que n c e   f (x  +   ( 1   +   α)   δ (t )).       5. 2 .       S p at i al   F i l t e r i n g:   C o m p l e x   S te e r ab l e   P y r am i d s   T h e   s t e e r a b l e   p y r a m i [30 - 31,   4 8,   50]   i s   c o n s i de r e a n   o v e r   c o m pl e t e   t r a n s f o r m   g i v e n   t h a t   a n   i m a ge   i s   de c o m po s e a c c o r di n t o   s pa t i a l   s c a l e ,   o r i e nt a t i o n   a nd  po s i t i o n .   G a b o r   w a ve l e t   [52]   i s   o n e   of   t h e   b a s i c   f un c t i o n s   o f   t h e   t r a n s f o r m ,   i n c l ud i n g   s t e e r a b l e   s i nus o i ds   w i ndow e by   a   G a us s i a n   e n v e l o pe .   A   2D   di s c r e t e   F o ur i e r   t r a n s f o r m   c o m put a t i o n   i s   us e fo r   a l l   of  t h e   v i de f r a m e s ,   a n s pa t i a l   f i l t e r s   w i t h   di f f e r e n t   s i z e s   a nd  o r i e n t a t i o n s   a r e   s ub s e que n t l y   a ppl i e d.   T h i s   p r o c e dur e   pr o duc e s   a   l i n e a r   m u l t i s c a l e   a n - o ri e nt a t i o n   i m a ge   de c o m po s i t i o n ,   w h i c h   i s   c a l l e a   s t e e r a b l e   py r a m i d .   A n   a rra y   of   c o m po un n um b e r s   i s   a t   e a c h   l e v e l   of   t h e   p y r a m i a n f o r   e a c h   e l e m e n t ;   t h e   a m pl i t ude   a n p ha s e   a r e   c o m put e d.   T h e   c o m pl e x - v a l ue py r a m i d   pe rm i t s   m e a s u r e m e nt   o f   l o c a l   a m p l i t ud e   a nd  p h a s e ,   w hi c h   a r e   e xp l o i t e t o   p r o c e s s   m o t i o n .   F i gu r e   8   s h o w s   t h e   c o n s t r uc t i o n   o f   t h e   s t e e ra b l e   py r a m i d.           F i gu r e   8 .   S t e e r a b l e   py r a m i d   c o n s t r uc t i o n       5. 3 .       T e m p o r al   F i l te r   T h i s   p r o c e s s   a i m s   t o   i s o l a t e   m o t i o n s   i s pe c i f i c   t e m po r a l   f r e que n c i e s   t o   b e   m a g ni f i e d .   W h e t h e   p y r a m i i s   c o n s t r uc t e d,   t h e   p ha s e   o n   e a c h   s pa t i a l   s c a l e   a nd  o ri e nt a t i o n   a r e   i s o l a t e d.   T h e i r   d i f f e r e n c e s   a r e   t h e n   de t e r m i n e d,   a n d   a   p r o c e s s   of   t e m po r a l   b a ndpa s s   f i l t e ri ng  i s   a ppl i e d.   T h e   ke y   t o   i m p r o v e   t h e   f i l t e r   pe r f o r m a n c e   i s   t o   a m p l i fy   e i t h e r   c o l o ur   a l t e r a t i o n s   o r   l o c a l   p ha s e   v a ri a t i o n s ,   w hi c h   c a b e   a c h i e v e b y   m a x i m i s i n t h e   s i g n a l - to - n o i s e   r a t i o   of  t h e   t e m po r a l   v a ri a t i o n s .   T e m po ra l   a nd  s pa t i a l   f i l t e r i ng  i s   a ppl i e t t h e   v a r i a t i o n s   t o   e l i m i na t e   c o m po n e n t s   t ha t   c o rr e s po n t o   no i s e   a n m a i n t a i n   c o m po n e n t s   t ha t   c o rr e s po n t o   t h e   s i g n a l   f o r   i m p r o v i n t h e   s i g na l - to - n o i s e   r a t i o s .   T e m po ra l   f i l t e ri n c a a l s o   i s o l a t e   a   s i g na l   o f   i n t e r e s t   b e c a us e   v a r i o us   m o t i o n s   o c c ur   a t   di f f e r e n t   t e m po r a l   f r e que n c i e s     N a rr o w b a n l i n e a r   f i l t e r s   i n   t h e   t e m p o r a l   do m a i n   i m p r o v e   t h e   s i g na l - to - n o i s e   ra t i o s   fo r   m o t i o n s ,   s uc h   a s   r e s pi ra t i o a n d   v i b r a t i o n s ,   t ha t   pa rt i c ul a rl y   o c c ur   i t h e   na rr o w   r a n ge   o f   f r e que n c i e s .   T h e s e   f i l t e r s   c a a l s o   s e pa r a t e   obj e c t   m o t i o n s   [53]   t h a t   c o r r e s po n t o   v a r i o us   f r e que n c i e s ,   s uc h   a s   pi pe   v i b r a t i o n ,   w h i c v i b r a t e s   a t   a   c e r t a i n   s e t   o f   m o da l   f r e que n c i e s .   E a c h   m o de l   f r e que n c y   h a s   a   d i f fe r e nt   v i b r a t i o n   s p a t i a l   pa t t e rn .   V i de o   m a g n i f i c a t i o n   c a a m pl i fy   t h e s e   m o t i o n s   t ha t   c o rr e s po n d   t o   a   ra n ge   o f   t e m po r a l   f r e que n c i e s   a n r e v e a l   t h e s e   s pa t i a l   pa t t e rn s .   F i gu r e   s h o w s   a   s i n gl e   f r a m e   f r o m   e a c h   m o t i o n - m a g n i f i e v i de o   w i t h   i t s   t h e o r e t i c a l l y   e xpe c t e s h a pe   [ 54]   O b j e c t s   i n   l o c a l   i m a ge   pa t c h e s   m o ve   c o n s i s t e n t l y ;   o t h e r w i s e ,   i t   i s   c o n s i de r e n o i s e .   O ve r s m o o t h i ng  o pe r a t i o n s   c a n   r e f o r m   w h i t e   n o i s e   i n t o   r e a s o n a b l e   m o t i o n   s i gna l s .   A s   a   r e s ul t ,   v e ri f i c a t i o n   o f   t h e s e   a m pl i f i e s i g n a l s   i s   v i t a l ,   a n d   m a n y   e xpe r i m e n t s   h a v e   b e e n   c o n duc t e t o   c o m pa r e   t h e   v i s ua l   m o t i o s i g na l   w i t s i g na l   r e c o r de by   a c c ur a t e   de v i c e s .   T h e   r e s ul t s   o f   t h e s e   e xpe r i m e n t s   v e r i fy   t h e   r e a l i t y   of    t h e s e   m o t i o n s   [ 19 ,   29 55 - 56] .       Evaluation Warning : The document was created with Spire.PDF for Python.
In do n e s i a J   E l e c   E ng  &   Co m S c i     IS S N :   2502 - 4752       E ul e r i an   v i de m ag ni f i c at i on:  r e v i e w   ( H ai de r   Is m ae l   Sha h adi )   807       F i gu r e   9 .   Is o l a t i n g   d i f fe r e nt   t y p e s   of   s pa t i a l   m o t i o n s   w i t h   t e m po ra l   f i l t e r i n g   [57 ]       5. 4 .       A m p l i fy i n th e   C o l ou r   T h e   pha s e - b a s e fo r m ul a t i o n   r e m o v e s   l ow - a m pl i t u de ,   s ho r t   m o t i o n s ,   w h e r e a s   l a rge r   a m pl i t u de   m o t i o n s   r e m a i n   t o   pa s s   t hr o ug h.   M o t i o n   a t t e n u a t i o n   i s   c o n t ro l l e by   s e t t i n t h e   a m p l i f i c a t i o n   f a c t o r   (α)  t o   a   n e ga t i v e   v a l ue   i n   t h e   ra n ge   of   (− 1,   0).   If   (α)  h a s   a   v a l ue   of   1,   t h e n   a l l   o t h e   pha s e   c h a n ge s   o ve r   t i m e   w i t hi n   t h e   de s i r e f r e que n c y   b a n z e r o s - o ut .   H ow e v e r ,   t h i s   r e s ul t   d i f fe r s   fo r   e v e r y   f r a m e   b e c a us e   c oe ff i c i e n t   a m p l i t ude s   a r e   c h a ngi n g   o v e r   t i m e .   T h i s   c o n d i t i o n   i s   s i m i l a r   t o   o t h e r   m o t i o p r o c e s s i n g,   s uc h   a s   t h e   de n o i s i n p r e s e n t e i n   [58]   a n d   t h e   v i de o   de a n i m a t i o i [5 9] .   H ow e v e r ,   t h e s e   p r o c e s s i n o pe r a t i o n s   c a b e   c a rri e o u t   e f f i c i e n t l y   w h e n   m o t i o n s   i t h e   s c e n e   a r e   s m a l l .   T h e   l i n e a m a g ni f i c a t i o m e t h o j o i n t l y   a m pl i f i e s   m o t i o n s   a n d   c o l o ur   c h a nge s   f o r   a   pa rt i c ul a r   i n pu t   v i de o ;   t h e r e f o r e ,   s m a l l   f a c e   m o t i o n s   c a n   b e c o m e   l a r ge a nd  v i s i b l e   w h e n   a m pl i fy i n c o l o ur   c h a n ge s   c o r r e s p o n di ng  t o   t h e   p ul s e .   T h i s   f e a t u r e   m a y   be   un de s i r a b l e   i n   t h e   a p pl i c a t i o n .   T hi s   m e t h o c a r e m o v e   t h e s e   unde s i ra b l e   m o t i o n s .   A   s i m i l a r   c o l o ur   a m p l i f i c a t i o n   c a n   re s ul t   i n   t h a t   o f   t h e   l i n e a r   m e t h o e n t i r e l y   w i t s t e e r a b l e   py r a m i ds .       6.   EX I S TI N G   W O R K S   U S I N G   P H A S E - B A S ED   EV M   In   [ 12] ,   t h e   r e s e a r c h e r   us e E ul e ri a n   m o t i o n   m a g n i f i c a t i o n   ( E M M t o   de t e rm i n e   t h e   f e e l i ngs   of  o t h e r s ,   w h i c h   a r e   t r a n s v e r s e   a n s udde n ,   f o r   a   s h o r t   pe r i o d.   M ove m e n t   m a g ni f i c a t i o n   c a n   e nh a n c e   t h e   de t e c t i o n   ra t e   o f   h i dde n   e m o t i o n s   f o r   f a c i a l   e xpr e s s i o ns ,   s uc h   a s   t e n s e ,   di s g us t ,   ha pp i n e s s ,   s urp r i s e     o r   r e p r e s s i o n .     In  [16] ,   t h e   r e s e a r c h e r s   us e E M M   t o   de t e c t   v i t a l   s i g n s   f o r   pe o pl e   w h o   a r e   a l i v e .   H ow e v e r ,   t h e y   e i t h e r   f a i nt   o r   a r e   i n f e c t e i n   da nge r o us   e n v i r o nm e n t s   a nd  pl a c e s   t h a t   a r e   d i f f i c ul t   fo r   r e s c ue r s   t o   a c c e s s ,   s uc h   a s   b a t t l e f i e l ds   o r   t e rr o r i s t   a c t s ,   w hi c h   r e p r e s e n t   f i n di ng  s u r v i vo r s   a   c h a l l e n ge .     In  [17] ,   t h e   E V M   t e c hn i que   w a s   us e t o   v i s ua l i s e   t h e   m o ve m e n t   o f   m i c r o o r ga n i s m s ,   s uc h   a s   b a c t e r i a ,   t h a t   a r e   i n v i s i b l e   t o   t h e   hum a n   e y e .     In   [18 - 19] ,   a   m e t h o w a s   pr e s e n t e t o   m e a s ur e   di s pl a c e m e nt   a n v i b r a t i o n   a n i de n t i fy   t y pi c a l   c h a ra c t e ri s t i c s   f o r   a   pa rt i c ul a r   s t r uc t u r e   t o   de t e c t   a n y   da m a ge .   A   c a m e ra   w a s   us e d   a s   a   s e n s o r   fo r   m o n i t o r i ng,   a n t h e   r e s ul t i ng  v i de w a s   a n a l y s e us i n E M M   t o   m a g n i f y   s m a l l   m o v e m e n t s ;   s uc h   v i b r a t i o n s   a n di s pl a c e m e n t   i n   s t r uc t u r e s   a r e   e v i de n t   f o r   e n gi n e e r s .   T h e   r e s ul t s   o b t a i n e f r o m   t h e   c a m e r a   w e r e   v a l i d a t e by   c o m pa ri n t h e   r e s ul t s   o b t a i n e f r o m   t h e   c a m e ra   w i t h   t h e   re s u l t s   o b t a i n e by   t h e   de v i c e s   us e t o   m e a s ur e   v i b r a t i o n   a n d   di s p l a c e m e nt .   T h e   r e s ul t s   e xt r a c t e d   f r o m   t h e   v i de o   w e r e   a c c ur a t e .     In   [3 5] ,   a   n e w   m e t h o of   ph a s e - b a s e E V M   w a s   pr o po s e d.   T h e   a u t h o r s   p r e s e n t e a n   i m a ge   py r a m i de c o m po s i t i o n   t ha t   us e s   R i e s z   t r a n s f o r m   (R - T ) .   T h e   n e w   R i e s z   p y r a m i ds   o f   a   v i de o   f r a m e   de c o m po s e   a n   a pp r o xi m a t e   R - T   us i n t w o   t h r e e - t a f i ni t e   di f f e r e n c e   f i l t e r s ,   a nd  i n v e r t i b l e   oc t a v e   b a n dw i dt h   f i l t e r s   a r e   a ppl i e d.   T h e s e   a ut h o r s   c l a i m e t ha t   t h e i r   m e t h o c a n   b e   ut i l i s e f o r   r e a l - t i m e   s ub t l e   m o t i o n   v i s ua l i s a t i o n.   T h i s   m e t h o i s   c o n s i de r a b l y   f a s t e r   t ha n   c o m pl e s t e e r a b l e   a n m a i nt a i n s   v i de o   qua l i t y .   H ow e ve r ,   t h e   R i e s z   p y r a m i d   f a i l s   t o   m a i nt a i t h e   po w e r   t o   t h e   i n p ut   s i g na l ,   w hi c c a c a us e   s i de   a r t e f a c t s .   In   [38 ] ,   a   n e w   m e t h o c a l l e E M M S   w a s   s ugge s t e t o   s o l v e   pr o b l e m s ,   s uc h   a s   i n c r e a s e pr o c e s s i n t i m e   a n d   n o i s e   a n d   r e duc e v i de o   q ua l i t y .   T h e   m e t h o i s   b a s e o n   w a v e l e t   de c o m po s i t i o n ,   C h e by s h e b a n dp a s s   f i l t e r   a n i m a ge   de n o i s i n a nd  c a n   e xt r a c t   n o n de t e c t a b l e   m o t i o n   i n f o r m a t i o n   f r o m   i n pu t   v i de o s .   T h i s   m e t h o h a s   s u r pa s s e p r e v i o us   m e t h o ds   i n   t e rm s   o f   r e d uc i n g   p r o c e s s i n t i m e   a n d   e l i m i na t i n n o i s e .   T h e   m e t h o i s   a l s o   c o n s i de r a b l y   f a s t e r   t ha n   p r e v i o us   m e t h o ds ,   h a s   h i g h e r   v i de o   qua l i t y   a n r e duc e s   n o i s e .   E E M S   m a y   a l s o   b e   pa s s a b l e   fo r   us e   i n   v i de o - pr o c e s s i n a pp l i c a t i o ns   i r e a l   t i m e .       7.   C O M P A R I S O N S   In   t hi s   s e c t i o n ,   w e   s um m a r i s e   t h e   m a i n   d i f f e r e n c e s   a m o n gs t   t h e   m a g n i f i c a t i o n   m e t h o ds   i n   T a b l e   1.   In  T a b l e   2,   t h e   d i f fe r e n c e s   i v i de o   qua l i t y   a r e   p r e s e nt e f or  di f f e r e n t   m e t h o ds .   F o u r   s o ur c e   v i de o s   (b a by 1,   Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2502 - 4752   In do n e s i a J   E l e c   E ng  &   Co m S c i ,   V o l .   1 8 ,   N o .   2 M a y   20 2 0   :     799   -   8 11   808   b a by 2,   gui t a r   a n d   c a m e r a   v i de o a r e   us e i n   t h i s   c o m pa r i s o n.   T h e y   a r e   a v a i l a b l e   o n   t h e   M IT   w e b s i t e   t hr o ug t h e   w e b pa ge   (h t t p: / / pe o pl e . c s a i l . m i t . e du/ m r ub / v i dm a g/ ) .   T h e   qua l i t y   i s   m e a s ur e by   c o m put i n pe a s i g na l - to - n o i s e   r a t i o   [60] ,   m e a n   s qu a r e e rr o r   a n t h e   o t h e r   qu a l i t y   m e t r i c s   t h a t   a r e   s h o w n   i n   t h e   f i r s t   c o l um n   o T a b l e   2.   T a b l e   s h o w s   t h e   di f f e r e n c e s   a m o n gs t   t h e   m a g ni f i c a t i o m e t h o ds   i t h e   p r o c e s s i n g   t i m e   t o   t h e   v i de o   s o ur c e s .   T a b l e   s h o w s   t h e   di f f e r e n c e s   a m o ngs t   t h e   m a g ni f i c a t i o n   m e t h o ds   i t h e   e xe c ut i o n   t i m e   by   us i n t h e   s a m e   f o ur   s o u r c e   v i de o s   t ha t   a r e   us e i T a b l e   2.   A l l   t h e   e xe c ut i o n   t i m e   m e a s u r e m e n t s   a r e   a c hi e v e d   o n   t h e   b a s i s   of   t h e   s a m e   c o m put e r   a n M A T L A B   s of t w a r e   v e r s i o n .   I n   e a c h   t e s t ,   10 f r a m e s   a r e   t a ke n   f r o m   e a c h   v i de o   s o ur c e .       T a b l e   1 .   Co m p a r i s o o f   T h e   E V M   M e t h o ds   M e t h o d   D e c o m p o s i t i o n   M a g n i f i c a t i o n   O v e rc o m p l e t e n e s s   N o i s e   E x a c t   fo r   L V M   [8 ]   L a p l a c i a n   p y ra m i d   S u p p o r t s   s m a l l   m a g n i fi c a t i o n   f a c t o r   3 4 i m a g e   M a g n i f i e d   L i n e a ra m p s   E n h a n c e d   E V M   [3 7 ]   L a p l a c i a n   p y ra m i d   S u p p o r t s   m e d i u m   m a g n i fi c a t i o n   f a c t o r     1 5 % 2 0 %   s l o w e t h a n   L V M   M i n i m i s e d   v i a   p o s t p r o c e s s i n g   L i n e a ra m p s   P h a s e - b a s e d   m e t h o d   [2 9]   Co m p l e x   s t e e ra b l e   p y ra m i d s   S u p p o r t s   l a r g e   m a g n i fi c a t i o n   f a c t o r2   w i t h   s u b o c t a v e   b a n d w i d t h   f i l t e r s   2 k / (1 2 2 )1   (3 4   t i m e s   s l o w e t h a n   L V M   w i t h   o c t a v e   b a n d w i d t h ,   2   o ri e n t a t i o n s )   T ra n s l a t e d   S i n u s o i d   F a s t   p h a s e - b a s e d   m e t h o d   [3 5 ]   Ri e s z   p y ra m i d   S u p p o r t s   l a r g e   m a g n i fi c a t i o n   f a c t o r     2 0 % 8 0 %   f a s t e t h a n   p h a s e - b a s e d   m e t h o d ( o c t a v e   b a n d w i d t h , 2   o ri e n t a t i o n s   )   T ra n s l a t e d   S i n u s o i d   E M M S   [3 8 ]   W a v e l e t   p y ra m i d   S u p p o r t s   l a r g e   m a g n i fi c a t i o n   f a c t o r     6 0 % 7 0   %   f a s t e t h a n   L V M   Re m o v e d   L i n e a ra m p s       T a b l e   2 Co m p a r i s o A m o n gs t   E ul e r i a n   M e t h o ds   o A v e r a g e   V i de o   Q ua l i t y   M e t r i c s   f o r   B a by   V i de o ,   B a by   V i de o ,   G u i t a r   V i de o   a n Ca m e ra   V i de o       T a b l e   3 . Co m pa ri s o n   o t h e   M a g n i f i c a t i o M e t h o ds   i T e r m s   o f   P r o c e s s i n T i m e   M e a s u r e b y   S e c o n ds   In p u t   V i d e o s   M e t h o d s   L V M   [8 ]   E 2 V M     [3 7 ]   P h a s e - b a s e d   m e t h o d   [2 9 ]   F a s t   p h a s e - b a s e d     m e t h o d   [3 5 ]   E M M S   [3 8 ]   b a b y 1     85 . 6 7   1 0 1 . 3 2   2 1 3 . 1 7   1 1 7 . 4 5   5 0 . 6 8   b a b y 2     8 2 . 5 2   9 7 . 8 4   2 1 1 . 7 4   1 1 5 . 7 3   4 8 . 5 4   c a m e ra     1 0 0 . 7 6   1 2 0 . 0 5   2 4 3 . 1 8   1 3 0 . 2 4   5 9 . 2 9   g u i t a   1 9 . 7 7   2 4 . 1 5   3 3 . 8 4   2 6 . 3 7   1 2 . 3 1       8.   C O N C LU S I O N S   T h e   E V M   a pp r o a c h   c a b e   c o n s i de r e a n   e f f i c i e n t   t o o l   i n   t h e   f i e l o f   s u b t l e   v a r i a t i o n s   i m o t i o n   a n c o l o ur   of   s o ur c e   v i de o s .   T hi s   t o o l   r e pr e s e n t s   a   c o m put e r - b a s e m i c r o s c o pe   t h a t   c a n   b e   us e i n   s e v e r a l   a ppl i c a t i o n s   i n   di f f e r e n t   f i e l ds ,   s uc h   a s   m e c h a ni c a l ,   m a t e r i a l   a n c i v i l   e n g i n e e r i ng  a nd  b i o l o g y   a n d   V i d e o   q u a l i t y     T h e   M e t h o d   L V M   [8 ]   E n h a n c e d   E V M   [3 7 ]   P h a s e - b a s e d   m e t h o d   [2 9 ]   F a s t   p h a s e - b a s e d   m e t h o d   [3 5 ]   E M M S   [3 8 ]   P e a k   s i g n a l - to - n o i s e   ra t i o   ( P S N R )   2 9 . 3 1 0 5   3 3 . 8 5 5 7 5   2 6 . 7 4 6 0 2 5   2 6 . 7 8 8   3 6 . 1 6 5 7 5   M e a n   s q u a re d   e rr o ( M S E )   9 5 . 8 1 4 7 5   2 9 . 6 1 7   1 7 5 . 0 3 4 2 5   1 5 6 . 7 9 3 7 5   1 9 . 6 3 3 3 5   S t ru c t u ra l   s i m i l a r i t y   (S S I M )   0 . 8 9 4 1 2 5   0 . 9 6 2 9 5   0 . 8 7 0 5 5   0 . 8 8 6 4 5   0 . 9 6 8 9 5   M u l t i s c a l e   s t ru c t u ra l   s i m i l a ri t y   (M S - S S IM )   0 . 9 1 6 5 2 5   0 . 9 8 3 8 7 5   0 . 9 4 9 8   0 . 9 6 3 8 2 5   0 . 9 9 2 5 2 5   G ra d i e n t   s i m i l a ri t y   m e a s u r e   (G S M )   0 . 9 8 8 5 5   0 . 9 9 6 7   0 . 9 9 1 6 7 5   0 . 9 9 2 8   0 . 9 9 8 1 5   F e a t u r e   s i m i l a ri t y   ( F S IM )   0 . 9 1 6 7   0 . 9 8 6 9 2 5   0 . 9 3 2 4 5   0 . 9 4 0 7 7 5   0 . 9 9 1 1   S p e c t ra l   re s i d u a l   s i m i l a ri t y   (S RS I M )   0 . 9 5 0 8 5   0 . 9 9 3 2 2 5   0 . 9 6 7 1 2 5   0 . 9 7 1 4 5   0 . 9 9 4 7 2 5   N o i s e   q u a l i t y   m e a s u r e   ( N Q M )   1 7 . 9 2 9 7 5   2 4 . 4 2 1 2 5   2 0 . 6 8 1 2 5   1 9 . 2 8 1 7 5   2 9 . 8 0 9 2 5   W e i g h t e d   s i g n a l - to - n o i s e   ra t i o   (W S N R)   2 6 . 8 7 1 7 5   3 3 . 9 7 8 5   2 9 . 8 2 3 5   2 7 . 2 4 0 2 5   4 0 . 2 3 8   V i s u a l   s i g n a l - to - n o i s e   ra t i o   (V S N R)   1 9 . 3 6 7 5   2 8 . 8 2 9   1 9 . 6 4 4 5   2 1 . 2 7 0 2 5   3 4 . 6 6 2 7 5   V i s u a l   i n fo r m a t i o n   f i d e l i t y   ( V IF )   0 . 5 1 7 7 7 5   0 . 6 7 3 7 2 5   0 . 4 1 4 9   0 . 4 8 2 5 2 5   0 . 7 2 4 4 5   Evaluation Warning : The document was created with Spire.PDF for Python.