I n d on e s i an   Jo u r n al   o f  El e c t r i c al   En gi n e e r i n g   an d   C o m p u te r   S c i e n c e   V o l .   15 ,   N o .   2 ,  A ugus t   20 1 9 ,   pp .   769 ~ 777   IS S N :   2502 - 4752 ,   D O I :   10. 1 1591 / i j e e c s . v 1 5 .i 2 . pp 769 - 777             769       Jou r n al   h o m e pa ge :  ht t p: / / i ae s c or e . c om / j our na l s / i nde x . php/ i j e e c s   T h e   a n a l y si s   o f   f a c i a l   f e a t u r e   d e f o r m a t i o n   u si n g     o p t i c a l   f l o w   a l g o r i t h m       D ayan g  N u r   Zu l h i jah   A w an g   J e s e m i ,   H am i m ah   U ji r ,   I r w an d i   H i p i n y ,   S a r ah   F l o r a   S am s o n   J u an   F a c ul t y   o f   C o m put e r   S c i e nc e   a nd   I nf o r m a t i o n  T e c hno l o gy ,   U ni v e r s i t i   M a l a y s i a   S a r a w a k ,   M a l a y s i a       A r ti c l e   I n fo     A B S TR A C T     Ar t i c l e   h i s t or y :   R e c e i v e d  O c t   6 ,   2018   R e v i s e d  F e b   7,   2019   A c c e pt e d  M a r   23 ,   201 9       F a c i a l   f e a t ur e s   d e f o r m e d  a c c o r di ng   t o   t he   i n t e nd e d  f a c i a l   e xpr e s s i o n.   S pe c i f i c   f a c i a l   f e a t ur e s   a r e   a s s o c i a t e d  w i t h   s p e c i f i c   f a c i a l   e xp r e s s i o n ,   i . e .   ha ppy   m e a ns   t h e   d e f o r m a t i o n  o f   m o ut h .   T h i s   pa pe r   p r e s e n t s   t he   s t udy   of   f a c i a l   f e a t u r e   d e f o r m a t i o n  f o r   e a c h  f a c i a l   e xp r e s s i o n  b y   us i ng   a n  o p t i c a l   f l o w   a l g o r i t hm   a nd  s e g m e n t e d  i n t o   t hr e e   di f f e r e nt   r e g i o ns   o f   i nt e r e s t .     T he   d e f o r m a t i o n  o f   f a c i a l   f e a t u r e s   s ho w s   t h e   r e l a t i o n  be t w e e n  f a c i a l   t he   a n d  f a c i a l   e xp r e s s i o n .   B a s e d  o n  t he   e xpe r i m e nt s ,   t he   de f o r m a t i o ns   o f   e y e   a nd   m o ut h  a r e   s i g ni f i c a n t   i n  a l l   e xp r e s s i o ns   e xc e p t   ha ppy .   F o r   ha ppy   e xpr e s s i o n,   c he e ks   a nd  m o ut h s   a r e   t he   s i g ni f i c a n t   r e g i o ns .   T hi s   w o r k  a l s o   s ug g e s t s   t ha t   di f f e r e n t   f a c i a l   f e a t u r e s '   i nt e n s i t y   v a r i e s   i n  t h e   w a y   t ha t   t he y   c o nt r i but e   t o   t he   r e c o g ni t i o n  o f   t h e   di f f e r e n t   f a c i a l   e xp r e s s i o n  i n t e n s i t y .   T he   m a xi m um   m a g ni t ud e   a c r o s s   a l l   e xp r e s s i o ns   i s   s ho w n  by   t he   m o ut h  f o r   s ur pr i s e   e xpr e s s i o n  w hi c h  i s   9x 10 - 4.   W hi l e   t he   m i n i m um   m a g ni t ude   i s   s ho w n  b y   t he   m o ut h  f o r   a ng r y   e xpr e s s i o n  w h i c h  i s   0 . 4x1 0 - 4.   Ke y w or ds :   F a c i a l   de f o r m a t i o n   F a c i a l   e xp r e s s i o n   F a c i a l   f e a t u r e s   O pt i c a l   f l o w   C opy r i gh t   ©   201 9   I n s t i t ut e   o f   A dv anc e d  E ng i ne e r i ng   and   S c i e nc e .     A l l   r i gh t s   r e s e r v e d .   Cor r e s pon di n g   Au t h or :   H a m i m a h   U j i r ,     F a c ul t y   of   Co m put e r   S c i e n c e   a n d   I n f o r m a t i o n  T e c hn o l o gy ,   U n i v e r s i t i   M a l a y s i a   S a ra w a k,   94300  K o t a   S a m a ra ha n,   S a ra w a k,   M a l a y s i a .   E m a i l :   u h a m i m a h@ u ni m a s . m y       1.   I N TR O D U C TI O N     F a c i a l   e xp r e s s i o n   i s   o n e   o f   t h e   r e s po n s e s   t o   h um a n   e m o t i o n a l   s t i m ul i .   R e c o gn i z i n g  f a c i a l   e xpr e s s i o n  i s   o n e   of   t h e   o n go i n g  w o r ks   i n   f a c e   pr o c e s s i n g  a r e a   o f   s t ud y .   F a c e   pr o c e s s i n g  b ri n gs   b e n e f i t s   t o   s e v e r a l   f i e l ds   s uc h   a s   s e c ur i t y ,   m e di c i n e ,   a n d  m a r ke t i ng.   I n   t h e   s e c ur i t y   f i e l d,   f a c i a l   e xp r e s s i o n   c o n t ri b ut e s   t o   de t e c t i o n   of  t h e   c r o w d’s   m oo d  i n   a   c o n t r o l l e d  e n v i r o nm e nt .   F o r   m e di c i n e   a r e a ,   f a c i a l   e xp r e s s i o n   r e c o gn i t i o n   c o ul d  h e l p  t o   a s s e s s   t h e   p a i n  a nd  i de nt i fy   t h e   de p r e s s i o n   s t a t e   o f   a   pa t i e nt   du ri n g   t r e a t m e n t .   W hi l e   i n  m a r ke t i n g ,     by   kn ow i n g  t h e   c u rr e n t   m o o d  of   t h e   c r o w d  i n   pub l i c   p l a c e s ,   c e r t a i n   m e a s u r e m e nt   c a n   b e   t a ke n   t o   i m p r o v e   t h e   c r o w d’s   m oo d  a n d  a   d i f f e r e n t   m a rke t i n g   s t ra t e gy   c a n   b e   o ff e r e d  by   t h e   e xpe r t .   I t   b r i n gs   b e n e f i t s   i n   hum a n   c e n t r e d  m ul t i m o da l   h um a n - c o m put e r   i n t e r a c t i o n   (H CI)  w h e r e   t h e   a f f e c t i v e   c o m put i n g  i n   H CI  do m a i n  e m pl oy s   h um a n  e m o t i o n  t o   b ui l d   m o r e   f l e xi b l e   a n d   n a t u r a l   m ul t i m o da l   [1] .   F a c i a l   f e a t u r e s   a r e   t h e   i m po r t a n t   f e a t u r e s   w h i c h   a r e   n e e de d  a s   t h e   i n pu t   i n   t h e   de v e l o pm e n t   o f   a   h u m a n - m a c h i n e   i nt e r a c t i o n ,   s pe c i f i c a l l y   fo r   f a c i a l   b a s e d  t e c hn o l o g y .   I n   f a c e   pr o c e s s i n g  a r e a ,   f a c i a l   f e a t ur e s   s uc h   a s   e y e ,   n o s e ,   m o ut h,   c h e e ks   a n d  e y e b r ow s   a r e   r e l a t e d  t o   t h e   f a c i a l   e xp r e s s i o n   i nt e r a c t i o n .   F a c i a l   f e a t u r e s   w i l l   b e   de fo r m e d  a c c o r di n g   t o   t h e   i n t e n de d  f a c i a l   e xp r e s s i o n.   B y   t r a c ki n g   t h e   f a c i a l   f e a t u r e s   w h e n   a   f a c i a l   e xpr e s s i o n   o c c ur r e d,   t h e   d y n a m i c   o f  t h e   e m o t i o n   s h o w n   c a n   b e   un de r s t o o d.   A l t h o ugh   t h e   f a c i a l   e xp r e s s i o n   c h a nge s   c a n   b e   ob s e r v e d  by   t h e   h um a n   e y e ,   t h e   m o ve m e n t   of   t h e   f a c i a l   fe a t u r e   i s   h a rd  t o   obs e r v e .   T h us ,   t h e   i n t e n t i o n   o f   t h i s   s t udy   i s   t o   i de n t i f y   w h i c h  f a c i a l   f e a t u r e s   a r e   de f o r m e d  w h e n  t h e s e   f a c i a l   e xp r e s s i o n s   o c c urr e d.   B e s i de s ,   t h e   l e v e l   of   t h e   f a c i a l   e xp r e s s i o n   i nt e n s i t y   c o ul d  b e   i de n t i f i e d.   E xp r e s s i o n  c a n   b e   m e a s u r e d  f r o m   l ow   t o   a   h i g h   l e v e l   b a s e d  o n   t h e   s e que n c e   of   e xpr e s s i o n   t hr o ug h   f a c i a l   f e a t u r e   de fo r m a t i o n .     By   de t e c t i n g   t h e   m o v e m e n t   o f   f a c i a l   f e a t u r e s ,   t h e   i n t e n s i t y   of  t h e   e m o t i o n a l   s t a t e   c a n   b e   m e a s u r e d .     Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2502 - 4752   In do n e s i a n  J   E l e c   E ng  &   Co m p  S c i ,   V o l .   15 ,   N o .   2 ,  A ugus t   2 019   :     769   -   777   770   I n  t hi s   p a pe r,   t h e   o pt i c a l   f l o w   a l go r i t hm   us e d  t o   t ra c k  f a c i a l   f e a t ur e   de f o r m a t i o n  f o r   s i x  b a s i c   f a c i a l   e xpr e s s i o n s   (a n g r y ,   di s gus t ,   f e a r,   h a p py ,   s a d,   s ur p ri s e ).   T h e   i nt e n s i t y   of   f a c i a l   e xpr e s s i o n   i s   a l s o   m e a s u r e d.   S e c t i o n   2  de s c r i b e s   t h e   r e s e a r c h   m e t h o d  us e d  i n   t hi s   s t ud y   a n d  f o l l ow e d  by   a   di s c us s i o n   of   r e s ul t s   a nd  a n a l y s i s   i n  S e c t i o n   3 .   F i n a l l y ,   t h e   c o n c l us i o n s   a r e   d ra w n .       2.   R ELA TED   WO R K   2. 1 .       F ac i a l   Ex p r e s s i o n   I n te n s i t y  M e as u r e m e n t   F a c i a l   e xp r e s s i o n   s t udy   a t t r a c t s   r e s e a r c h e r s   i n   a r t i f i c i a l   i n t e l l i ge nt ,   c o m put e r   v i s i o n   a nd  s e v e r a l   o t h e r   f i e l ds   of   s t udi e s ,   w h i c h  i n c l u de s   t h e   ps y c h o l o gi s t .   D i f f e r e n t   r e s e a r c h e r s   us e d  di f f e r e n t   f a c i a l   f e a t u r e s   i n  f a c e   pr o c e s s i n g  s t udi e s .   [18]   p r o po s e d  7  m o s t   e xpr e s s i v e   f a c i a l   r e g i o n s   e xc l ud i n g  t h e   e y e s   a n d   m o ut h.     F a c i a l   di s t a n c e   v e c t o r s   a r e   us e d  i n   3D   f a c i a l   e xp r e s s i o n   a na l y s i s   a nd  c l a s s i f i c a t i o n  [19 - 21 ,  25 ].     In   [1 6],   p a r t i c i pa nt s   w e r e   a s ke d  t o   i de n t i fy   e xpr e s s i o n s   f r om   f e m a l e   a n d  m a l e   f a c e s   di s pl a y i n g  s i x   b a s i c   un i v e r s a l   e xp r e s s i o n s   (a n ge r ,   d i s gus t ,   f e a r ,   ha pp i n e s s ,   s a d n e s s ,   a n d  s u r p ri s e ),   e a c h   w i t h   t hr e e   l e ve l s   o f  i n t e n s i t y   (l ow ,   m o d e r a t e ,   a n d  n o rm a l ).   O n l y   t w o  f a c i a l   r e gi o n s   a r e   c o n s i de r e d  i n   [1]  w h i c h   i s   t h e   e y e s   a n d  m o ut h   r e g i o n.   O n e   o f   t h e i r   f i n d i n gs   i s   t h e   m o ut h   r e gi o n   w a s   t h e   m o s t   s i g ni f i c a nt   f o r   fe a r,   a n g r y ,   a n d  di s g us t   e xpr e s s i o n s   a n d  l e a s t   f o r   s ur p ri s e .   E xp r e s s i o n   c h a n ge s   m o de l s   a r e   de v e l o p e d  by   [2]  a n d  t h e y   fo r m   di s t i n c t i v e   qua n t i t a t i v e   pr o f i l e s   of   e xpr e s s i o n s ,   k n o w n   a s   a   R e gi o n a l   V o l um e t ri c   D i f fe r e n c e   (R V D )  f un c t i o n .   E xp r e s s i o n  c l a s s i f i e r s   fo r   t h e   fo ur - u ni v e r s a l   f a c i a l   e xp r e s s i o n ,   a n ge r ,   f e a r,   h a ppy   a n d  s a d ,   a r e   de s i g n e d  by   t r a i n i n g  o n   R V D   f un c t i o n s   o f   e xpr e s s i o n   c ha n ge s .     In   a n o t h e r   do m a i n,   [3]  p r o po s e d  a   f r a m e w o r k  b a s e d  o n   D y n a m i c   B a y e s i a n   N e t w o r k  (D B N )  t o  s y s t e m a t i c a l l y   m o de l   r e l a t i o n s hi ps   a m o n g  s po n t a n e o us   A U s   f o r   m e a s ur i ng  t h e i r   i n t e n s i t i e s .   A n a l y z e   f a c i a l   e xpr e s s i o n s   w i t h   f o ur   i nt e n s i t i e s   i n  3D   s pa c e   by   e xpl o r i n g   t h e   f a c i a l   d i s t a n c e s   [4] .   T h e   e xt ra c t e d  di s t a n c e   m e a s u r e m e nt s   p r o v i de   i n f o r m a t i o n   f o r   t h e   f a c i a l   e xpr e s s i o n   i n t e n s i t y   m e a s ur e m e n t   a s   w e l l   a s   t h e   c l a s s i f i c a t i o n  o f   f a c i a l   e xp r e s s i o n s .   T hi s   w o r k  r e v e a l s   t ha t   i t   i s   n o t   n e c e s s a r y   t o   r e l y   o n   a l l   f a c i a l   f e a t u r e   po i n t s   i n  e s t i m a t i n g   f a c i a l   e xp r e s s i o n   i n t e n s i t y .     A c c o r di n g   t o   [5] ,   t h e   de c o m po s i t i o n   o f   a   f a c e   i nt o   s e ve r a l   m o dul e s   pr o m o t e s   t h e   l e a rni n g   o f   a   f a c i a l   l o c a l   s t r uc t u r e   a nd  t h e r e fo r e   t h e   m o s t   di s c ri m i na t i v e   v a r i a t i o n   o f   t h e   f a c i a l   f e a t ur e s   i n   e a c h   m o dul e   i s   e m pha s i z e d.   T h e r e   a r e   s e ve r a l   s t udi e s   t h a t   e m pl o y e d  f a c e   de c o m pos i t i o n   i n   t h e i r   w o r k  [15 ,  22 - 24 ].   T h e   w o r k  i n   [4]  c o n s i de r s   t hr e e   f a c e   r e gi o n s   w h i l e   w o r k  i n   [16]  o n l y   m e a s ur e d  t w o   r e gi o n s .   A c c o r di n g  t o   [5],   e a c h   f a c e   r e gi o n   ha s   i t s   o w n   i m pa c t   l e v e l   t o   t h e   s i x   b a s i c   e xpr e s s i o n s   a n d  t h e   s i m pl e s t   w a y   t o   f i n d  w h i c h   m o dul e s   a r e   a f fe c t i n g  f a c i a l   e xp r e s s i o n  i s   t o   f i n d   t h e i r  p ri o r i t y   w e i gh t i n gc o m put e d  t h e   w e i ght i ng  o f   e a c h   f a c e   r e gi o n   us i n g   A da b oo s t   [5] .   W o r ks   i n   [15]  s ub di v i de d  a   f a c e   i n t o   s e ve r a l   m o dul e s   w h e r e   e a c h   o f  t h e   m o dul e s   c o n t a i n  di f fe r e nt   r e gi o n s   o f   f a c i a l   f e a t u r e s   s uc h   a s   f o r e h e a d ,   e y e s ,   e y e b r ow s ,   c h e e ks ,   n o s e   a n d  m o ut h .   F r o m   t h e   e xpe r i m e nt s ,   t h e   r e gi o n   w i t h   t h e   h e a v i e s t   w e i gh t   i s   t h e   e y e b r ow s ,   fo l l ow e d  by   m o ut h,   e y e s ,   c h e e ks ,   n o s e     a n d  f o r e h e a d.       2. 2   O p ti c al   F l o w   i n   F ac e   P r o c e s s i n g    S e ve r a l   w o r ks   i n   f a c e   pr o c e s s i n g  us e d  o pt i c a l   f l ow ,   a n d  t h a t   i n c l ude s ,   f a c e   t r a c ki n g  [6 ],   f a c i a l   f e a t ur e   t ra c ki n g  [1 0 ,   14],   f a c i a l   e xp r e s s i o n   c l a s s i f i c a t i o n   [1 0]  a n d  f a c e   r e c o gn i t i o n   [11] .   I n   [6] ,   p r o po s e d  a   n o v e l   r e a l - t i m e   f a c e   t ra c ke r   w hi c h  ut i l i z e s   a   m o di f i e d  v e r s i on   o f   t h e   V i o l a - J o n e s   a l go r i t hm   f o r   f a c e   de t e c t i o n .   F o r t y - f i ve   un i f o r m   l i g ht   c o n di t i o n   v i de o s   f r o m   Bo s t o n   H e a d  T r a c ki n g  D a t a b a s e   a r e   us e d  i n   t h e   e xpe r i m e n t .   T h e i r   p r o po s e d  m e t h o d  e a s i l y   o ut pe r fo r m e d  t h e   V i o l a - J o n e s   f a c e   de t e c t o r .   A   h e a d   t ra c ke r  w h i c h   i s   a   c o m b i na t i o n   o f   a n   o pt i c a l   f l o w   a n d   a   t e m p l a t e - b a s e d  t ra c ke r  i s   p r o po s e d  i n   [10] .   T h e   t ra c ki n g   i s   r o b us t   a s   i t   i s   w o r ks   w e l l   e ve n   t h e   s ub j e c t ’s   f a c e   ge t s   pa r t i a l l y   oc c l ude d.   In   [10] ,   a l s o   pr o po s e d  t w o   e ff i c i e n t   a p p r o a c h e s   t o   t r a c k  t h e   m o ut h   a n d  e y e b r ow   m ove m e n t s   a nd  t hi s   h a s   a l l o w e d  t h e m   t o   t r a c k  a nd  c a pt u r e   f a c i a l   e xp r e s s i o n s .   N o r m a l l y ,   o pt i c a l   f l ow   i s   us e d  o n t o   da t a   w i t h   m o t i o n   i nfo r m a t i o n .   W h e n   a   r e a l - t i m e   f a c e   r e c o gn i t i o n  i n v o l ve s   v a r i e t i e s   o f   f a c i a l   e xp r e s s i o n,   o pt i c a l   f l o w   a l s o   h a s   b e e n   a ppl i e d.   I n   [1 1]  w o r k,   a n  i nt e g r a t e d   f a c e   r e c o gn i t i o n   s y s t e m   t h a t   i s   r o b us t   a ga i n s t   f a c i a l   e xp r e s s i o n s   by   c o m b i n i n g  i n f o rm a t i o n   f r o m   t h e   c o m put e d   i n t ra   pe r s o n  o pt i c a l   f l o w   a n d   t h e   s y n t h e s i z e d   f a c e   i m a ge   i n  a   pr o b a b i l i s t i c   f r a m e w o r k,   i s   p r o po s e d.     In   t h e   e xi s t i ng  w o r k  of   o pt i c a l   f l o w   i n   f a c e   pr o c e s s i n g,   t h e   s t udy   of   f a c i a l   f e a t ur e s '   i n t e n s i t y   w i t h   t h e   o pt i c a l   f l ow   h a s   n o t   b e e n   c a rr i e d  o ut   y e t .   W i t h   t h e   a dv a nt a g e   of   o pt i c a l   f l o w ,   t h e   t ra c ki n g  o f   f a c i a l   f e a t ur e s '   i n t e n s i t y   w i l l   h e l p   t o   c o n t ri b ut e   t o   t h e   a u t o m a t e d   r e c o gn i t i o n   of   t h e   di f f e r e n t   f a c i a l   e xp r e s s i o n   i n t e n s i t y       3.   O U R   W O R K     In  t hi s   s t u dy ,   v i de o   da t a   f r o m   B U 3D F E   [7]  da t a b a s e   i s   us e d,   w h i c h   c o m p r i s e s   o f   s i x  b a s i c   f a c i a l   e xpr e s s i o n s .   B U 3D F E   da t a b a s e   pr o v i de s   v i de o   of   s u bj e c t s   w i t h   a u di o   v i de o  i n t e rl e a v e d  (a v i . )  f i l e   fo r m a t .     A l l   9 0  v i de o s   (fo r   90  d i f f e r e n t   s ub j e c t s )  di s pl a y   t h e   s e qu e n c e s   of   f a c i a l   e xpr e s s i o n  i n  f r o nt a l   f a c e   v i e w .     Evaluation Warning : The document was created with Spire.PDF for Python.
In do n e s i a n  J   E l e c   E ng  &   Co m p  S c i     IS S N :   2502 - 4752       T he   an al y s i s   o f   f ac i al   f e a t ur e   de f or m at i on   us i ng   op t i c al   f l ow …  ( D ay ang  Nur   Z u l hi j ah  A w ang  J e s e m i )   771   T h e   f a c i a l   e xpr e s s i o n   v i de o   c o n s i s t s   o f   a ppr o xi m a t e l y   a bo ut   100  f r a m e s   pe r   s e c o n d  w i t h   a   l e n gt h   o f   4   s e c o n ds   i n t o   640   x  4 80  r e s o l ut i o n s .   T h e   i m a ge   s e que n c e s   o f   BU 3D F E   da t a b a s e   be gi n  w i t h  t h e   n e ut ra l   s t a t e   t o   t h e   hi g h e s t   i n t e n s i t y   l e ve l   a n d  t h e n   b a c k  t o   t h e   n e ut ra l   s t a t e   of   e xpr e s s i o n ,   r e f e r   t o   F i gu r e   1.   T h e   i nt e n s i t y   of  f a c i a l   f e a t u r e   de f o r m a t i o n  i s   m e a s u r e d   us i ng  o pt i c a l   f l o w .             F i gu r e   1 .   F a c i a l   e xp r e s s i o n   s e que n c e s   fo r   ha ppy   e xpr e s s i o n   [ 7]       O pt i c a l   f l ow   i s   t h e   e s t i m a t i o n   o f   t h e   a ppa r e nt   m o t i o n   f o r   a n  ob j e c t   be t w e e n   a n   o b s e r ve r   a nd  t h e   s c e n e   [8].   T h e   o pt i c a l   f l o w   m a ke s   t h e   m o t i o n   m e a s u r e m e nt   b e t w e e n  t w o   i m a ge s   f ra m e s   po s s i b l e .   T h e   m e t h o d  us e d  i s   g r a d i e nt - b a s e d  w h e r e   i t   i s   b a s e d  o n   l o c a l   T a y l o r ' s   s e r i e s   a ppr o xi m a t i o n   t o   t h e   i m a ge   s i g na l .   T h e   i nput   f o r   t h e   o pt i c a l   f l ow   i s   t h e   i m a ge s   of   a   s u b j e c t ’s   f a c e   w i t h   t h e   f a c i a l   po i n t s .   E a c h   t i m e   t h e   o pt i c a l   f l ow   f un c t i o n   i s   c a l l e d,   t w o   v i de o   f r a m e s   a r e   e xt r a c t e d,   w h i c h   t h e n   w i l l   b e   u s e d  t o  m e a s ur e   t h e   ob j e c t ' s   m o t i o n .   T o   c o n s t r uc t   t h e   o pt i c a l   f l o w   b e t w e e n   t w o   i m a ge s ,   e qu a t i o n   ( 1 ) ,   w h i c h  i s   t h e   o pt i c a l   f l o w   c o n s t r a i n e d  m us t   b e   s o l ve d.     + +   = 0     (1)     w h e r e :   ,  ,   a n d     a r e   t h e   s pa t i o t e m po ra l   i m a ge   b r i g ht n e s s   de r i v a t i v e s     i s   t h e   h o r i z o n t a l   o pt i c a l   f l o w     i s   t h e   v e r t i c a l   o pt i c a l   f l o w   A t   t h e   i ni t i a l   p ha s e ,   t h e   v i de o   of   f a c i a l   e xpr e s s i o n   f r o m   B U - 3D F E   d a t a b a s e   i s   c o n v e r t e d  t o   gra y s c a l e   fo r m a t .   T h e   c o n v e r s i o n   o f   R G B   v i de o   i n t o   a   g ra y s c a l e   fo r m a t   i s   t o   a v o i d  t h e   r e du n da nt   p i xe l   w hi l e   e xt r a c t i n g   t h e   i n f o r m a t i o n .   B e s i de s ,   t h e   c o n v e r s i o n   i n t o   g ra y s c a l e   c a n  s i m pl i fy   a   l a rge   a m o unt   o f   t h e   c a l c ul a t i o n  i n  t h e   n e xt   p r o c e s s   [9].   O pt i c a l   f l o w   fo r   t h e   v i de o   i s   c o m put e d  due   t o   i t s   a b i l i t y   t o   m e a s ur e   t h e   m o t i o n   b e t w e e n   t w o  v i de o   f r a m e s .   T w o   v i de o   f r a m e s   a r e   us e d  a t   o n e   t i m e ,   a n d   o n e   of   t h e   v i de o   f r a m e s   i s   t h e   o ri gi na l   s t a t e   of  s ub j e c t ’s   f a c e s ,   w h i c h   i s   t h e   n e u t r a l   f a c e   a n d  t h e   o t h e r   o n e   i s   t h e   n o n - n e u t r a l   f a c i a l   e xpr e s s i o n   w i t h   a   di f fe r e nt   l e v e l   of   e xpr e s s i o n   i n t e n s i t y .   By   c o n c e n t r a t i n g  o n  a   r e gi o n   o f   i n t e r e s t   (R O I),   h e l p  t o   ob s e r ve   t h e   m o t i o n   o f   t h e   f a c i a l   f e a t ur e s .   F o r   e xa m p l e ,   t o   m e a s u r e   hum a n   t a s k  pe r f o r m a n c e ,   R O I  of   ga z e   i s   us e d     [12 ,  13 ,  15 ].   T h e   s e gm e nt a t i o n  p r o c e s s ,   i . e .   s e gm e nt   t h e   f a c e   i n t o   s e ve r a l   R O Is ,   n e e ds   t o   b e   d o n e   t o   m e a s ur e   t h e   m a g ni t u de   of   o pt i c a l   f l ow   i n   o r de r.   T h e   v i de o   f r a m e   i s   s e gm e n t e d  i n t o   t h e   6X 4  g ri d.   A s   a   r e s ul t ,   t h e r e   a r e   t hr e e   b i g  r e gi o n s :   (1)  e y e s   a n d  e y e b r o w ' s   r e gi o n ,   (2)  c h e e ks '   r e gi o n   a n d  (3)  m o ut h   r e gi o n   F i gu r e   2  s h o w s   s e gm e n t a t i o n   o f   s ub j e c t s   i n  t hi s   s t udy .             F i gu r e   2 .   S e gm e n t e d   f r a m e   w i t h  o pt i c a l   f l ow .   Im a ge   s o ur c e d   f r o m   [7 ]     Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2502 - 4752   In do n e s i a n  J   E l e c   E ng  &   Co m p  S c i ,   V o l .   15 ,   N o .   2 ,  A ugus t   2 019   :     769   -   777   772   T h e   m a g ni t ude   o f   e a c h   f a c i a l   f e a t u r e   i s   m e a s u r e d  b y   c om put i n g   t h e   d i s pl a c e m e n t   o f   t h e   i ni t i a l   po s i t i o n   a n d   p r e v i o us   po s i t i o n   f o r   e a c h   f r a m e   us i ng  ( 1).       ̅ =   √ ( − ) 2 + ( + ) 2   (2 )     F i na l l y ,   t h e   f a c i a l   e xp r e s s i o n   i n   t h e   v i de o   i s   a n a l y s e d.   T h e   f ra m e w o r k  c a n   b e   s h o w n   i n  t h e   F i gu r e   3 .           F i gu r e   3 .   T h e   f a c i a l   e xp r e s s i o n   a na l y s i s   f r a m e w o r k        4.   R ES U LTS   A N D   A N A L Y S I S     In  t hi s   s e c t i o n ,   t h e   i nt e n s i t y   of   t h e   f a c i a l   f e a t u r e s   i s   a na l y z e d   w h e r e   t h e   m a g ni t ude   o f   v e c t o r   i s   c a l c ul a t e d .   T h e   i n t e n s i t y   o f   t h e   f a c i a l   f e a t u r e   v e r s us   s e que n c e   of   f r a m e s   i s   p r e s e n t e d.   F i gu r e   4  s h ow s   t h e   s e qu e n c e   of   f r a m e s   v e r s us   a ve r a ge   of   m a gni t ude   o f  o pt i c a l   f l ow   fo r   s a d   e xpr e s s i o n .   It   s h o w s   t ha t   o n l y   e y e s   a n d  m o ut h  r e gi o n s   a r e   d e fo r m e d  w h e n   s a d  e xp r e s s i o n   o c c ur e d .   T h e r e   a r e   n o   de f o r m a t i o n   ha ppe n i ng  i n  c h e e k  r e gi o n  f o r   s a d  e xp r e s s i o n   i s   s h o w n .   I n  a dd i t i o n,   i t   a l s o   s h o w s   t h a t   e y e s   r e gi o n   i s   de f o r m e d  f i r s t   b e fo r e   m o ut h .   T h e   i nt e n s i t y   o f   m out h   a nd  e y e s   i n c r e a s i ng  c o n c urr e nt l y .   T h e n,   t h e   gra p h   a l s o   s h ow s   t h a t   at   c e r t a i n   f ra m e s ,   t h e   i n t e n s i t y   of   t h e   fa c i a l   f e a t u r e   w i l l   de c r e a s e   ove r   t h e   t i m e   w h e r e   i t   m e a n s   t ha t   t h e   f a c i a l   e xp r e s s i o n   o f   t h e   s ub j e c t   goe s   b a c k  t o   n e ut ra l   s t a t e .   I n   l i n e   w i t h   w o r ks   i n   [ 17 ],     t h e   de fo r m a t i o n   o f   f a c i a l   m us c l e s   f o r   S a d  e xpr e s s i o n   c o n s i s t s   of   bo t h   e y e b r o w s   a n d  l i p s .   H ow e v e r ,   s t udi e s   c o n duc t e d  i n   [ 4]  w hi c h  i s   b a s e d  o n  f a c i a l   f e a t u r e   di s t a n c e   c o ul d  n o t   c a pt u r e   t h i s   de f o r m a t i o n  a s   t h e   di s t a n c e   fo r   f a c i a l   f e a t u r e s   i n v o l v e d  i n  s a d   e xp r e s s i o n   ha s   a   ra n do m   m e a n  a nd  s t a n d a r d   de v i a t i o n   r e s ul t s .           F i gu r e   4 .   T h e   f a c i a l   f e a t u r e s   i nt e n s i t y   of   s a d  e xp r e s s i o n       F i gu r e   5  s h o w s   t h a t   o nl y   m o ut h   a n d  c h e e ks   i n v o l ve   i n   ha p p y   e xpr e s s i o n .   I t   a l s o   s h o w s   t ha t   m o ut h  a n d  c h e e ks   s e gm e n t s   a r e   c o n c urr e nt l y   de fo r m e d  t o ge t h e r   w he n   h a ppy   e xpr e s s i o n   a r e   s h o w n ,   a nd  i t   s t a rt e d  a t   f r a m e   8.   T h e   m o ut h   ha s   a   h i g h e r   i nt e n s i t y   r a t h e r   t ha n   c h e e k.   T h e   i nt e n s i t y   of   f a c i a l   f e a t ur e s   a t   b o t h   r e gi o n s   dr o p  a t   f ra m e   9 3.     Evaluation Warning : The document was created with Spire.PDF for Python.
In do n e s i a n  J   E l e c   E ng  &   Co m p  S c i     IS S N :   2502 - 4752       T he   an al y s i s   o f   f ac i al   f e a t ur e   de f or m at i on   us i ng   op t i c al   f l ow …  ( D ay ang  Nur   Z u l hi j ah  A w ang  J e s e m i )   773       F i gu r e   5 .   T h e   f a c i a l   f e a t u r e s   i nt e n s i t y   of   h a ppy   e xpr e s s i o n       F i gu r e   6  s h o w s   t h e   f a c i a l   f e a t ur e s   i nt e n s i t y   of   a n g r y   e xpr e s s i o n .   F r o m   t h i s   g r a p h,   t w o   r e gi o n s   h a v e   s i g n i f i c a n t   de f o r m a t i o n   w h e n   a ng r y   e xpr e s s i o n   o c c urr e d,   w hi c h   a r e   e y e s   a n d  m o ut h   r e g i o n.   It   a l s o   s h o w s   t ha t   t h e   e y e s   r e gi o n   h a s   a   h i g h e r   i nt e n s i t y   r a t h e r   t h a n   m o ut h .   T h e   i nt e n s i t y   of   f a c i a l   fe a t u r e s   i n   b o t h   r e gi o n s   s t a r t s   t o   i n c r e a s e   a n d   de c r e a s e   a t   a n  a p p r o xi m a t e l y   s i m i l a r  t i m e .             F i gu r e   6 .   T h e   f a c i a l   f e a t u r e s   i nt e n s i t y   of   a ng r y   e xpr e s s i o n       F i gu r e   7  s h o w s   t h e   f a c i a l   f e a t ur e s   i nt e n s i t y   fo r   di s gus t   e xpr e s s i o n .   T h e   m o ut h   r e gi o n   h a s   t h e   h i g h e s t   i n t e n s i t y   r a t h e r   t ha n  e y e s '   r e gi o n .   B a s e d  o n   t h e   g ra p h,   i t   s h o w s   t h a t   t h e   i n t e n s i t y   of   t h e   f a c i a l   f e a t u r e s   f o r   bo t h   r e gi o n s   s h o w s   t h a t   t h e y   i n c r e a s e   a n d  de c r e a s e   a t   a n  a pp r o xi m a t e l y   s i m i l a r  t i m e .   H ow e ve r ,   a t   t h e   hi g h e s t   i n t e n s i t y ,   t h e   m a g n i t ude   f o r   e y e s   a s   w e l l   a s   t h e   e y e b r o w s   i s   s t i l l   c o m pa r e d   t o   t h e   m o ut h.       Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2502 - 4752   In do n e s i a n  J   E l e c   E ng  &   Co m p  S c i ,   V o l .   15 ,   N o .   2 ,  A ugus t   2 019   :     769   -   777   774       F i gu r e   7 .   T h e   f a c i a l   f e a t u r e s   i nt e n s i t y   of   di s gus t   e xp r e s s i o n       F i gu r e   8  de s c r i b e d  t h e   f e a r   e xp r e s s i o n .   T h e   a b ov e   gr a p h   s h o w s   t h a t   t h e   m o ut h  r e gi o n   ha s   t h e   hi g h e s t   i n t e n s i t y   r a t h e r   t ha n   t h e   e y e s '   r e gi o n.   M o ut h   r e gi o n   de f o r m s   a t   t h e   e a r l i e s t   f r a m e   c o m pa r e d  w i t h   t h e   e y e s '   r e gi o n .   T h e   f l uc t ua t i o n s   o f   t h e   m o ut h   a r e   s i g ni f i c a n t   a c r o s s   f r a m e s .           F i gu r e   8.   T h e   f a c i a l   f e a t u r e s   i nt e n s i t y   of   fe a r  e xp r e s s i o n       F i gu r e   9  s h o w s   t h a t   t h e   e y e s   a n d  m o ut h   r e gi o n s   a r e   i n v o l v e d  i n   s ur p ri s e   e xpr e s s i o n .   B e s i de s ,   i t   s h o w s   t ha t   t h e   m o ut h   r e gi o n   i s   m o r e   i n t e n s e   ra t h e r   t ha n   t h e   e y e s ’   r e gi o n   du r i ng  de fo r m a t i o n .   M o ut h   r e gi o n  a l s o   de fo r m s   f i r s t ,   a nd  t h e   f a c i a l   f e a t u r e s   w i t hi n   t h e   e y e s '   r e gi o n   de f o r m   a   b i t   l a t e   a n d   r e t u rn   t o   n e ut ra l   s t a t e   m uc h   e a rl i e r .   A c c o r di n g  t o   [4],   t h e   s i g ni f i c a n t   f a c i a l   m us c l e   de fo r m a t i o n   f o r   s ur p ri s e   e xpr e s s i o n   i s   t h e   m o ut h   w h i c h  i s   i nl i n e   w i t h  o ur  w o r k.     Evaluation Warning : The document was created with Spire.PDF for Python.
In do n e s i a n  J   E l e c   E ng  &   Co m p  S c i     IS S N :   2502 - 4752       T he   an al y s i s   o f   f ac i al   f e a t ur e   de f or m at i on   us i ng   op t i c al   f l ow …  ( D ay ang  Nur   Z u l hi j ah  A w ang  J e s e m i )   775         F i gu r e   9 .   T h e   f a c i a l   f e a t u r e s   i nt e n s i t y   of   s ur p ri s e   e xpr e s s i o n       F o r   a l l   e xp r e s s i o n s   e xc e pt   h a p py ,   f a c i a l   fe a t u r e s   i n   e y e s   a n d  m o ut h   r e gi o n   a r e   s i g ni f i c a nt l y   de fo r m e d  w h e n   t h e   e m o t i o n   o c c ur s .   F o r   h a ppy   e xpr e s s i o n ,   t h e   f a c i a l   f e a t u r e s   t ha t   i n v o l ve d  a r e   m o ut h   a n d   c h e e ks .   T h e   i n t e n s i t y   w i t h i n  t h e   m o ut h   r e gi o n   i s   h i g h e r  c o m pa r e d  t o   t h e   o t h e r  f a c i a l   f e a t u r e s   i n  a l l   e xpr e s s i o n s   e xc e pt   a n   a ng r y   e xpr e s s i o n .   I n   a ddi t i o n,   t h e   i nt e n s i t y   f o r   m o ut h   s t a rt s   t o   de fo r m   f i r s t   i n   a n g r y ,   f e a r ,   s u r p ri s e   a n d  di s g us t .   F o r   s a d  e xp r e s s i o n ,   t h e   e y e b r ow   a n d  e y e s   de fo r m   a t   t h e   e a rl i e s t   t i m e   f ra m e .   I n  t h e   ha ppy   e xpr e s s i o n ,   b o t h   m o ut h   a nd  c h e e k  a r e   de fo r m e d  t o g e t h e r   w h e n   e m o t i o n   p r o duc e d  a nd  b a s e d  o n   t h e   a n a l y s i s ,   i t   s h o w s   t ha t   i nt e n s i t i e s   o f   m o ut h  a r e   hi g h e r   ra t h e r  t ha n   c h e e ks .     T a b l e   1  c o m pa r e s   t h e   f a c i a l   f e a t u r e s   i n v o l ve d  i n   s i x  b a s i c   e xpr e s s i o n s   i n  [4]  a nd  o ur   w o r k.   I n   [ 4],     t h e   e y e s   a n d  e y e b r ow s   a r e   i n  di f f e r e n t   r e gi o n s .   T h e r e fo r e ,   t h e y   a r e   a b l e   t o   d i f fe r e nt i a t e   w h e t h e r   e y e s   o r   e y e b r o w s   de fo r m e d.   H ow e ve r ,   i n   o u r   w o r k,   t h e   e y e s   a n d   e y e b r ow s   a r e   pl a c e d  i n   t h e   s a m e   r e gi o n   a n d   t h e r e f o r e ,   w e   a r e   n o t   a b l e   t o   ob s e r ve   e i t h e r   e y e s   o r   e y e b r o w s   o r   bo t h   f a c i a l   f e a t u r e s   de fo r m e d.     W h e n   c o m pa r e d  w i t h   w o r k  i n  [4] ,   o ur   w o r k  p r o v i de s   a   de t a i l   f a c i a l   f e a t ur e s   de f o r m a t i o n   o b s e r v a t i o n   a c r o s s   s i x  b a s i c   e xp r e s s i o n s   w i t hi n   a   c e r t a i n  du ra t i o n .       T a b l e   1 .   Co m p a r i s o n  o f   S i g ni f i c a n t   F a c i a l   F e a t u r e s   f o r   a l l   B a s i c   E xp r e s s i o n s   F a c i a l   E x p re s s i o n   [4 ]   O u r  w o rk   A n g e r   E y e s ,   e y e b r o w s ,   m o u t h   E y e s ,   e y e b r o w s ,   m o u t h   D i s g u s t   M o u t h   E y e s ,   e y e b r o w s ,   m o u t h   F e a r   E y e s ,   e y e b r o w s   E y e s ,   e y e b r o w s ,   m o u t h   H a p p y   E y e s ,   m o u t h   Ch e e k s   a n d   m o u t h   S a d   -   E y e s ,   e y e b r o w s ,   m o u t h   S u rp ri s e   M o u t h   E y e s ,   e y e b r o w s ,   m o u t h       5.   C O N C LU S I O N     I n   t hi s   s t udy ,   o pt i c a l   f l ow   i s   us e d  t o   m e a s ur e   t h e   m o t i o n   o f  t h e   f a c i a l   e xp r e s s i o n   by   us i n g  O pt i c a l   F l ow   L uc a s   K a n a de   a l go r i t h m .   T h e   m a g n i t ude   of   v e c t or   i s   m e a s u r e d  t o   ob s e r v e   t h e   f a c i a l   f e a t ur e s ’  i n t e n s i t i e s .   I n   t hi s   s t udy ,   t h e   r e s ul t s   s uppo r t e d  t h e   w o r k  i n   [4 ]  t ha t   o n l y   c e r t a i n   f a c i a l   f e a t u r e s   a r e   de f o r m e d   a  pa r t i c ul a r   f a c i a l   e xp r e s s i o n   i s   s h o w n .   T h us ,   i t   i s   n o t   n e c e s s a ry   t o   r e l y   o n   a l l   f a c i a l   f e a t ur e   po i n t s   i n   e s t i m a t i n g   f a c i a l   e xp r e s s i o n  i nt e n s i t y .   H ow e ve r ,   r e s ul t s   i n  [4]   a r e   di f f e r e nt   f r o m   o ur  w o r k.   O ur  n e xt   w o r k  i s   t o   c o m b i n e   o t h e r   o pt i c a l   f l o w   m e t h o d  w hi c h  i s   H o rn   S c h u n c k  a l go r i t h m   i n  o ur  f r a m e w o r k.   T h e   H o rn   S c h u n k  a l go ri t hm   i s   b a s e d  o n   de n s e   o pt i c a l   f l ow   w h e r e   w e   e xp e c t   m o r e   i n t e r e s t i n g   r e s ul t s .   A l s o ,   i n  o ur  f ut u r e   w o r k,   w e   w i l l   f urt h e r  o ur  e xpl o r a t i o n   i n  t h e   p a i n  a s s e s s m e nt   b a s e d  o n  f a c i a l   e xpr e s s i o n .     Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2502 - 4752   In do n e s i a n  J   E l e c   E ng  &   Co m p  S c i ,   V o l .   15 ,   N o .   2 ,  A ugus t   2 019   :     769   -   777   776   A C K N O WL ED G E M EN TS   T h i s   r e s e a r c h   i s   f ul l y   s upp o r t e d  by   M a l a y s i a n   M i n i s t r y   of   H i g h e r   E duc a t i o n   (M O H E )  t hr o ug h   R a c e   A c c ul t ura t i o n   Co l l a b o r a t i v e   E ff o r t s   R A CE / 1331/ 20 16(4) .   T h e   a u t h o r s   f ul l y   a c kn ow l e dge d  M O H E   a n d  U n i v e r s i t i   M a l a y s i a   S a ra w a k  f o r   t h e   a p p r o v e d  f un d  w h i c h   m a ke s   t hi s   i m po rt a nt   r e s e a r c h   v i a b l e   a n d   e ff e c t i v e .       R EF ER EN C ES   [ 1]   J a i m e s ,   A .   a nd  S e b e ,   N .   “ M ul t i m o da l   H um a n  –   C o m put e r   I nt e r a c t i o n :   A   S ur v e y ” .   J ur nal   o n  C om pu t e r   V i s i o n  and   I m age   U nde r s t a ndi ng ,   V o l /   1 08 ,   I s s ue   1 - 2,   p p.   11 6  –   1 34,   2 007 .   [ 2]   X .   S .   L i ,  C . A l v i no ,   C .   K o hl e r ,   F .   B a r r e t t ,   R .   E .   G ur ,   R .   C .   G ur ,   a nd  R . V e r m a .   " C o m put e r i z e d  M e a s u r e m e nt   o f   F a c i a l   E x pr e s s i o n  o f   E m o t i o ns   i n   S c hi z o phr e n i a , " .   J o ur n al   o f   N e ur os c i e nc e   M e t hods .   V o l .   163 . p p.   35 0 – 36 1. 2 006 .     [ 3]   Y .   L i ,   S .   M . M a v a da t i , M .   H .   M a ho o r   a nd   Q .   J i .   “ A   U ni f i e d  P r o ba b i l i s t i c   F r a m e w o r k  f o r   M e a s u r i ng   t he   I nt e ns i t y   of   S po nt a ne o us   F a c i a l   A c t i o n  U ni t s ” ,   10 th   I E E E   I n t e r na t i o na l   C on f e r e nc e   and  W or k s hop s   on  A ut om at i c   F ac e   and   G e s t ur e   R e c ogn i t i o n  ( F G ) ,   pp .   1 - 7,   201 3.   [ 4]   A .   C he o ng  C .   Y . ,   H .   U j i r   a nd  I .   H i pi ny .   " 3D   F a c i a l   E xpr e s s i o n  I nt e ns i t y   M e a s u r e m e nt   A na l y s i s , "   i n  Z ul i k h a,   J .   &   N .   H .   Z ak ar i a  ( E ds . ) ,   P r oc e e di ngs   of   t he   6t h  I n t e r na t i ona l   C on f e r e nc e   of   C om put i n g  &   I nf or m a t i c s ,   pp  43 - 48 .   S i n t o k:   S c h o o l   o f   C o m put i ng .   [ 5]   U j i r ,   H .   2013 .   “ 3D   F a c i a l   E xp r e s s i o n  C l a s s i f i c a t i o n  U s i ng   a   S t a t i s t i c a l   M o de l   o f   S ur f a c e   N o r m a l s   A nd  a   M o dul a r   A ppr o a c h” ,   U n i v e r s i t y   o f   B i r m i ng ha m ,   R e t r i e v e d  f r o m   e T he s e s   R e po s i t o r y .   [ 6]   A .   R a nf t l ,   F .   A l o ns o - F e r na nde z   a nd  S .   K a r l s s o n.   “ F a c e   T r a c ki ng   U s i ng   O pt i c a l   F l o w :   D e v e l o pm e nt   o f   a   R e a l - T i m e   A da B oo s t   C a s c a de   F a c e   T r a c ke r ” ,   14 th   I n t e r nat i o nal   C on f e r e nc e   of   t he   B i om e t r i c s   Spe c i a l   I n t e r e s t   G r oup ,   B I O SI G ,  D a r m s t a d t ,   G e r m a ny ,   pp .   9 - 11  S e p t e m b e r   20 15 .   [ 7]   L .   Y i n, ,   X .   W e i ,   Y .   S un ,   J .   W a ng ,   a nd  M . J .   R o s a t o ,   “ A   3D   F a c i a l   E xpr e s s i o n  D a t a ba s e   f o r   F a c i a l   B e h a v i o r   R e s e a r c h” ,   7t h  I n t e r na t i ona l   C on f e r e nc e   on  A ut om at i c   F ac e   and   G e s t ur e   R e c ogni t i on  ( F G R 06) ,   pp. . 21 1  –   21 6.   2006 .   [ 8]   A .   P s a l t i s ,   “ O pt i c a l   F l o w   f o r   D y na m i c   F a c i a l   E xp r e s s i o n  R e c og ni t i o n” .   I n  R os e nf e l d,   A .   e t   a l .   ( 2013) .     “ F ac e   R e c ogni t i o n:   A   L i t e r at ur e   S ur v e y ” .   A C M   C om p ut i ng   Su r v e y s ,   V o l .   35 . I s s ue   4,   pp .   399 – 258 .   [ 9]   K .   F .   C .   M .   F e r o z .   201 4,   “ V e h i c l e   T r a c k i ng   A nd  S pe e d  E s t i m a t i o n  F o r   T r a f f i c   S ur v e i l l a nc e ” ,   U n i v e r s i t i   T un   H us s e i n   O nn ,   M a l a y s i a .   R e t r i e v e d  f r o m   e P r i nt s   R e po s i t o r y .   [ 10]   E .   R .   G a s t   a nd  M .   S .   L e w ,   “ A   F r a m e w o r k  f o r   R e a l - T i m e   F a c e   a n d  F a c i a l   F e a t u r e   T r a c ki ng   us i ng   O pt i c a l   F l o w   P r e - e s t i m a t i o n  a nd   T e m p l a t e   T r a c ki ng ” ,   C om pu t i n g  R e s e ar c h  R e po s i t o r y   ( C oR R ) ,   a b s / 1101 . 02 37 ,   2 011 .   [ 11]   C .   K .   H s i e h,   S . H .   L a i ,   Y .   C .   C h e n,   “ A n  O p t i c a l   F l o w - B a s e d  A ppr o a c h  t o   R o bus t   F a c e   R e c o g ni t i o n  u nde r   E xpr e s s i o n  V a r i a t i o ns ” ,   I E E E   T r ans ac t i o ns   I m a ge   P r oc e s s i ng ,   2 01 0  J a n; 19 ( 1) : 233 - 40.   [ 12]   I .   H i pi ny   a nd  H .   U j i r ,   “ M e a s ur i ng   t a s k   pe r f o r m a nc e   us i ng   g a z e   r e g i o ns ” ,   9 th   I nt e r n at i on al   C onf e r e nc e   on  I T   i n  A s i a   ( C I T A 2015) ,   p p. 1 - 8 ,   2015 .   [ 13]   I .   H i pi ny   a nd  H .   U j i r ,   J . L .   M i no i ,   S . F .   S a m s o n  J u a n ,   M . A .   K h a i r ud di n ,   a nd  S .   S una r ,   “ U n s upe r v i s e d  S e g m e nt a t i o n   o f   A c t i o n  S e g m e nt s   i n   E g o c e nt r i c   V i d e o s   u s i ng   G a z e ” ,   I E E E   I nt e r na t i ona l   C o nf e r e nc e   on   S i gna l   and   I m age   P r oc e s s i ng   A p pl i c a t i ons   ( I E E E   I C SI P A   2 017) .   [ 14]   Y .   C ui   a nd  Z .   J i n ,   “ F a c i a l   F e a t u r e   P o i n t s   T r a c ki ng   B a s e d  o n  A A M   w i t h  O p t i c a l   F l o w   C o ns t r a i ne d  I ni t i a l i z a t i o n” ,   J our nal   o f   P at t e r n   R e c ogn i t i on   R e s e ar c h  7   ( 201 2)   72 - 79 .   [ 15]   C . S .   L a i ,   H .   U j i r   a nd  I .   H i pi ny ,   “ A   M o dul a r   A ppr o a c h  a nd  V o t i ng   S c he m e   o n  3D   F a c e   R e c o g ni t i o n” ,   I E E E   I nt e r n at i on al   Sy m pos i um   on   I n t e l l i ge n t   Si g nal   P r oc e s s i ng   a nd  C om m uni c at i on   S y s t e m s   ( I SP A C S) ,   196 - 199 ,   201 5 .   [ 16]   L .   J .   W e l l ,   S . M .   G i l l e s p i e   a nd  P .   R o t s h t e i n.   “ I de nt i f i c a t i o n  o f   E m o t i o na l   F a c i a l   E xp r e s s i o ns :   E f f e c t s   of   E xpr e s s i o n,   I nt e ns i t y ,   a nd   S e x   o n  E y e   G a z e ” ,   P L oS  O ne   11: e 016830 7.   1 0. 1 371 / j o ur na l . po ne . 0 1683 07 ,   v o l .   11 ( 12 ) ;   20 16 .   [ 17]   E km a n, , P .   &   F r i e s e n,   W .   V .   1 978 .   “ F a c i a l   A c t i o n  C o di ng   S y s t e m :   A   T e c hni que   f o r   t he   M e a s u r e m e n t   o f   F a c i a l   M o v e m e nt ” .   C o ns u l t i n g  P s y c ho l og i s t s   P r e s s ,   P al o  A l t o .   [ 18]   W a ng ,   J . ,   Y i n,   L . ,   W e i ,   X . ,   &   S un,   Y .   “ 3D   F a c i a l   E x pr e s s i o n  B a s e d  o n  P r i m i t i v e   S ur f a c e   F e a t ur e   D i s t r i bu t i o n” .  I E E E   C on f e r e nc e   on  C om pu t e r   V i s i on   an d  P at t e r n  R e c o gn i t i on   ( C V P R ) ,   pp. 1 399 - 140 6,   20 06 .   [ 19]   S oy e l ,   H . ,   &   D e m i r e l ,   H .   “ F a c i a l   E x pr e s s i o n  R e c og ni t i o n  us i ng   3D   F a c i a l   F e a t u r e   D i s t a nc e s ” .   L N C S  B ook   Se r i e s ,   I m age   an d  A nal y s i s   R e c ogn i t i o n,   Sp r i nge r ,   pp . 8 31 - 838 ,   200 7.   [ 20]   T a ng ,   H . ,   &   H u a ng ,   T .   S .   “ 3D   F a c i a l   E xpr e s s i o n  R e c o g ni t i o n  B a s e d  o n  P r o pe r t i e s   o f   L i ne   S e g m e nt s   C o nne c t i ng   F a c i a l   F e a t ur e   P o i n t s ” .   8 th   I E E E   I nt e r n at i ona l   C on f e r e nc e   on   A u t o m at i c   F ac e   &   G e s t ur e   R e c o gn i t i on ,   pp . 1 - 6,   20 08 .   [ 21]   U j i r ,   H . ,   H i p i ny ,   I .   a nd  A w a ng   I s ka nda r ,   D . N . F .   F a c i a l   A c t i o n  U ni t s   A na l y s i s   us i ng   R ul e - B a s e d  A l go r i t hm .   J our nal   of   E ng i ne e r i ng   an d  A p pl i e d  S c i e nc e s ,   pp.   1 - 5 . ,   20 17 .   [ 22]   G o t t um ukk a l ,   R .   a nd   A s a r i ,   V .   K .   “ A n  I m pr ov e d  F a c e   R e c o g ni t i o n  T e c hni qu e     ba s e d    o n  M o dul a r   P C A   A ppr o a c h” .   P at t e r n   R e c og ni t on   L e t t e r ,   25( 4) ,   pp .   429   –   436 ,   200 3.   [ 23]   C hi a ng ,   C . C . ,   C he n ,   X .   a n d  Y a ng ,   C . ,   “ A   C o m po ne nt - B a s e d  F a c e   S y nt he s i z i ng   M e t ho d” ,   A P SI P A   A nnual   S um m i t   and  C onf e r e nc e ,   pp .   24 - 30 ,   2009 .   [ 24]   T e na ,   J . R . ,   D e   l a   T o r r e ,   F .   a nd  M a t t he w s ,   I . ,   “ I nt e r a c t i v e   R e g i o n - ba s e d  L i n e a r   3 D   F a c e   M o de l s ” .   A C M   T r ans ac t i ons   G r a ph .   3 0( 4 ) :   76,   20 11 .   [ 25]   F .   A l bu ,   D .   H a g i e s c u,   L .   V l a d ut u ,   M .   P u i c a ,   " N e u r a l   N e t w o r k  A ppr o a c he s   f o r   C hi l dr e n' s   E m o t i o n  R e c og ni t i o n  i n   I nt e l l i g e n t   L e a r n i ng   A ppl i c a t i o ns " ,   P r oc .   of   E D U L E A R N   2 015 ,   pp.   3229 - 323 9,   20 15.         Evaluation Warning : The document was created with Spire.PDF for Python.
In do n e s i a n  J   E l e c   E ng  &   Co m p  S c i     IS S N :   2502 - 4752       T he   an al y s i s   o f   f ac i al   f e a t ur e   de f or m at i on   us i ng   op t i c al   f l ow …  ( D ay ang  Nur   Z u l hi j ah  A w ang  J e s e m i )   777   B I O G R A P H I ES   O F   A U T H O R S         D a y a n g   N ur   Z ul hi j a h  B i nt i   A w a ng   J e s e m i   i s   c ur r e n t l y   w o r ki ng   a s   a n  a dm i ni s t r a t i v e   o f f i c e r .     S he   ho l ds   a   B a c he l o r   o f   C o m put e r   S c i e nc e   ( C o m put a t i o na l   S c i e nc e )   a nd  m a s t e r ’ s   de g r e e   i n   M a s t e r   o f   A d v a nc e d  I nf o r m a t i o n  T e c hno l o gy   f r o m   U ni v e r s i t i   M a l a y s i a   S a r a w a k .           H a m i m a h   U j i r   i s   c ur r e n t l y   a   S e ni o r   L e c t ur e r   a t   t h e   F a c ul t y   o f   C o m put e r   S c i e nc e   a nd  I nf o r m a t i o n  T e c hno l o gy   ( F C S I T ) ,   U ni v e r s i t i   M a l a y s i a   S a r a w a k  ( U N I M A S ) .   S he   r e c e i v e d   he r   P hD   f r o m   U ni v e r s i t y   of   B i r m i ng ha m ,   U n i t e d  K i ng do m .   H a m i m a h’ s   r e s e a r c h  i n t e r e s t s   l i e   i n  t he   i nt e r di s c i pl i n a r y   f i e l d  o f   c o m put e r   v i s i o n,   w i t h  r e l a t e d  i n t e r e s t s   be i ng   i n  c o m put e r   g r a ph i c s ,   i m a g e   p r o c e s s i ng ,   a nd   m a t he m a t i c a l   m e t ho ds .   H e r   p r e v i o us   a nd   c ur r e nt   w o r ks   i nc l u de   c o m put e r   v i s i o ns ,   phy s i c a l   s i m u l a t i o n ,   f a c i a l   a na l y s i s   a nd  a c a de m i c   qu a l i t y .   C ur r e nt l y   H a m i m a h  i s   t h e   D e put y   D i r e c t o r   f o r   A c c r e di t a t i o n  a nd  Q u a l i t y   M a na g e m e n t   d e p a r t m e nt   a t   C e n t r e   o f   Q ua l i t y   A s s ur a nc e   a nd   A c a de m i c   D e v e l o pm e n t ,   U N I M A S .         I r w a ndi   H i p i ny   i s   a   S e ni o r   L e c t ur e r   a t   U ni v e r s i t i   M a l a y s i a   S a r a w a k  a nd  c ur r e nt l y   s e r v i ng   a s   t he   P r o g r a m m e   C o o r di na t o r   f o r   W C 09  M u l t i m e d i a   C o m put i ng   pr o g r a m m e .   H e   ho l d s   a   B S c   ( 20 03 )   a s   w e l l   a s   a n  M S c   ( 200 7)   i n  C o m put e r   S c i e nc e   f r o m   U ni v e r s i t i   T e kno l o g i   M a l a y s i a ,   a nd  a   P hD   ( 201 4)   i n  C o m pu t e r   V i s i o n  f r o m   U ni v e r s i t y   o f   B r i s t o l .   P r i o r   t o   hi s   c ur r e n t   a ppo i n t m e n t ,   I r w a ndi   w a s   a   r e c i pi e nt   o f   t he   E kp r e s s   U T M - M A R A   s c ho l a r s hi p  ( 1 999  –   2003 )   a nd  w a s   a   M O S T I ’ s   N a t i o na l   S c i e nc e   f e l l o w   ( 2003  -   2007) .   I r w a ndi ’ s   r e s e a r c h  i n t e r e s t s   a r e   c o m put e r   v i s i o n ,   pa t t e r n   r e c o g ni t i o n  a n d   e duc a t i o na l   g a m e s .         S a r a h  S a m s o n  J ua n  i s   c ur r e n t l y   a   S e ni o r   L e c t ur e r   a t   t h e   F a c ul t y   of   C o m put e r   S c i e nc e   a n d   I n f o r m a t i o n  T e c hno l o gy ,   U ni v e r s i t i   M a l a y s i a   S a r a w a k  ( U N I M A S ) .   S he   r e c e i v e d  h e r   P hD   i n   A ut o m a t i c   S pe e c h  R e c o g ni t i o n  f r o m   G r e no bl e - A l pe s   U ni v e r s i t y .   H e r   r e s e a r c h  i nt e r e s t s   a r e   s pe e c h  a nd   t e xt   p r o c e s s i ng ,   m a c hi ne   l e a r ni ng   a nd   m a t he m a t i c a l   m o de l i ng .   S he   i s   a l s o   a   r e s e a r c h   f e l l o w   a t   t he   I ns t i t u t e   o f   S oc i a l   I nno v a t i o n  a nd  T e c hno l o g i c a l   I nnov a t i o ns ,   pa r t i c i pa t i ng   pr o j e c t s   t o   br i dg e   t he   d i g i t a l   g a p  i n   r ur a l   c o m m uni t i e s   t hr o ug h  i nf o r m a t i o n  t e c hno l o gy .         Evaluation Warning : The document was created with Spire.PDF for Python.