I n d on e s ian   Jou r n al   o f   E lec t r ica l   E n gin e e r in a n d   Com p u t e r   S c ience   Vo l .   25 ,   N o .   3 M a r c h   2022 ,   pp.   1406 ~ 1419   I S S N:  2502 - 4752,   DO I 10 . 11591/i j e e c s . v 25 .i 3 . pp 1406 - 1419             1406       Jou r n al  h o m e page ht tp: // ij e e c s . iaes c or e . c om   M u lti - f e at u r e  b ase d  au t om at i c  f ac ia e xp r e ssi on  r e c ogn itio n   u si n d e e p  c on v ol u t io n al  n e u r al  n e t w or k       Anj al Dix it ,   T an m ay  K as b e   D e pa r tm e nt   of  C o mput e r  S c i e n c e , O r i e nt a U ni v e r s it y I nd o r e I ndi a       Ar t ic l e   I n f o     AB S T RA CT     A r ti c le  h is tor y :   R e c e i ve Oc t   11 ,   2021   R e vi s e J a n   12 202 2   A c c e pt e J a n   20 202 2       D ee p   mu l t i - t as k   l e ar n i n g   i s   o n e   o t h e   m o s t   c h a l l en g i n g   r e s e ar c h   t o p i c s   w i d el y   e x p l o r ed   i n   t h e   fi el d   o r ec o g n i t i o n   o fa ci al   e x p re s s i o n .   M o s t   d ee p   l e ar n i n g   mo d el s   re l y   o n   t h e   cl as s   l ab e l s   d e t ai l s   b y   el i mi n at i n g   t h e   l o c al   i n fo r m at i o n   o t h e   s a m p l e   d at w h i c h   d e t e ri o rat e s   t h p e rfo r m an ce   o t h rec o g n i t i o n   s y s t em .   T h i s   p ap e p ro p o s e s   mu l t i - fe at u r e - b as e d   d ee p   c o n v o l u t i o n al   n eu ral   n e t w o r k s   (D - CN N t h at   i d e n t i f y   t h fa c i a l   e x p re s s i o n   o t h e   h u m a n   fa ce .   T o   en h a n ce   t h a cc u ra cy   o f   r ec o g n i t i o n   s y s t em s ,   t h mu l t i - f e at u r e   l e arn i n g   m o d e l   i s   em p l o y ed   i n   t h i s   s t u d y .   T h e   i n p u t   i m a g e s   are  p re p ro ce s s ed   a n d   e n h an ce d   v i t h r ee  fi l t e ri n g   me t h o d s   i . e . ,   G au s s i an ,   W i e n e r ,   an d   ad ap t i v e   me a n   fi l t e r i n g .   T h e   p re p ro ces s e d   i m a g e   i s   t h e n   s e g me n t e d   u s i n g   face   d e t ec t i o n   al g o r i t h m .   T h e   d e t ec t ed   face   i s   fu rt h e r   ap p l i e d   w i t h   l o c al   b i n ar y   p at t e rn   ( L BP)  t h at   e x t rac t s   t h e   fac i a l   p o i n t s   o e a c h   fac i a l   e x p re s s i o n .   T h e s e   ar e   t h en   f ed   i n t o   t h e   D - C N N   t h at   e ff ec t i v el y   rec o g n i z e s   t h e   fa c i a l   e x p re s s i o n   u s i n g   t h e   f e at u r e s   o fac i a l   p o i n t s .   T h e   p ro p o s e d   D - C N N   i s   i m p l eme n t e d ,   a n d   t h e   re s u l t s   a re   c o m p ared   t o   t h e x i s t i n g   s u p p o rt   v ec t o m a c h i n (SV M) .   T h e   a n al y s i s   o d ee p   f e at u r e s   h e l p s   t o   e x t rac t   t h e   l o c a l   i n fo r m at i o n   fr o m   t h e   d at w i t h o u t   i n c u rr i n g   h i g h e r   c o m p u t at i o n al   e ffo rt .   K e y w o r d s :   C o n v o l ut i o n a l   n e ur a l   n e t wo r ks   De e m u l t i - t a s l e a r ni ng   F a c e   de t e c t i o n     F a c i a l   f e a t ur e   v e c to r s     M u l t i - f e a t ur e   l e a r ni ng    R e c o gni t i o n   a c c ur a c y   Th i s   i s   a n   o p en   a c ces s   a r t i c l u n d e r   t h CC  B Y - SA   l i cen s e.     C or r e s pon din A u th or :   T a nm a y   Ka s b e   De pa r t m e n t   o f   C o m put e r   S c i e n c e ,   Or i e n t a l   U ni ve r s i t y   175 - B   Ve e n a   Na ga r ,   Ne a r   M R   10,   I n do r e ,   M a dhy a   P r a de s h ,   I n d i a   E m a i l t a nm a y . k a s b e @ g m a il . c o m       1.   I NT RODU C T I ON     F a c i a l   e x pr e s s i o n   i s   o ne   o f   t h e   s i g ni f i c a n t   m a nne r s   whe r e i n   h u m a ns   d i s p l a y   e m o t i o ns .   Hu m a ns   e x pr e s s i o n s   a n i n t e n t i o n s   a r e   m o s t   e f f e c t i v e ly   c o m m u ni c a t e t h r o ugh   f a c i a l   e x pr e s s i o n .   D i f f e r e n t   c i r c u m s t a nc e s   o f   h u m a ns   po s e   d i f f e r e n t   wa y s   o f   d is p l a y i ng   t h e   e m o t i o n s   s uc h   a s   a n ge r ,   f e a r ,   s ur pr i s e ,   d i s gu s t   h a pp i ne s s ,   a n s a d n e s s   [ 1] - [ 3] .   T h e   i de n t i f i c a t i o o f   h u m a n   e m o t i o n   w il l   l e a t e f f e c t i v e   c o m m u ni c a t i o a n a l s o   b u i l a   he a l t hy   r e l a t i o ns hi p.   I n t e l l i g e n t   r e c o gni t i o n   o f   h u m a n   e m o t i o n   i s   ga i n i ng  m uc i n t e r e s a m o n t h e   r e s e a r c h e r s   i n   c o p i n up  w i t h   r e c e n t   t e c hn o l o g i e s   l i ke   i n t e r ne t   o f   t hi n g s   ( I o T )   a n a ny   o th e r   s m a r e nvi r o nm e n t s .   I n t e l li ge n t   pe r s o n a l   a s s i s t a n t s   ( I P As )   [ 4]   m a ke   us e   o f   n a t ur a l   l a n gua g e   pr o c e s s i ng  t h a t   c o m m u ni c a t e s   w i t h   h u m a n   l a n gua ge s .   T h e s e   l a n g ua ge s   a r e   a ug m e n t e w i t h   d i f f e r e n t   s o r t s   o f   e m o t i o n s .   T hi s   h a s   i nc r e a s e t h e   s t a ge s   o f   i n t e r a c t i o n   w i t h   h u m a n - l e v e l   i n t e ll i g e n c e   [ 5] .   T h e   a dva n c e m e n t   i a r t i f i c i a i n t e ll i ge n c e   ( A I )   h a s   be e n   a c t i v e ly   wo r ki n o n   d i f f e r e n t   do m a i ns   t o   i m pr o v e   s o m e   s pe c if i c   s t a n da r d s   a n a l s o   i de n t i f y   t h e   u n wa n t e e l e m e n t s   [ 6] .   I i s   a l s o   m e r gi ng  w i t h   o t h e r   di f f e r e n t   a pp l i c a t i o ns   s uc h   a s   m a r ke t - b a s e d   a n a ly s i s ,   s pa m   de t e c t i o n ,   a n s o   o n .     De e l e a r ni ng  a l go r i t hm s   a r e   w i de ly   e m p l o y e i n   r e a l - t i m e   a pp l i c a t i o n s   de a li ng  w i t h   t h e   c o n c e pt s   o f   pa tt e r n   r e c o gni t i o n   a n c l a s s i f i c a t i o n   [ 7] - [ 9] .   I n   t hi s   s t ud y ,   r e c o gni t i o f a c i a l   e x pr e s s i o n   i s   o ne   o f   t h e   r e s e a r c h   a r e a s   t h a t   i m b i be   t h e   c o n c e pt   o f   pa t t e r n   r e c o gni t i o n   m o d e l s .   I t   h a s   r e v o l ut i o ni z e w i t h   d i f f e r e n t   Evaluation Warning : The document was created with Spire.PDF for Python.
I n do n e s i a n   J   E l e c   E n &   C o m S c i     I S S N:   2502 - 4752         M ult i - f e atur e   bas e automati c   f ac ial   e x pr e s s ion  r e c ognit ion  us ing  de e c onv olut ional     ( A njal i   Dix it )   1407   f a c e t s   o f   c o m put i n m o du l e s   i n   w hi c h   h u m a n - c o m put e r   i n t e r a c t i o n   ( HC I )   b e c o m e s   a   pa r t   o f   o ur   toda y s   li f e .   I nf o r m a t i o n   o n   t h e   s e a r c hi ng  f o r   h u m a n   e x pr e s s i o n s   i s   a n   im po r t a n t   c o m po n e n t   o f   HC I   [ 8]   t h a t   c o n t r i but e s   to  e f f i c i e n t   c o m m u ni c a t i o n .   I t   l e s s e ns   t h e   c o s t   a n c o m put a t i o n a l   t i m e   a n a l s o   e nh a n c e s   t h e   r e li a bil i t y   r a t e   o f   t h e   a pp l i c a t i o n   s y s t e m .   O n   t h e   ot h e r   h a n d,   i t   pr o vi de s   a   pot e n t i a l   s o l ut i o n   vi a   n o n - v e r b a l   c o m m u ni c a t i o n   t h a t   s uppo r t s   h u m a n - h u m a n   c o m m u ni c a t i o n .   T h e   a n a ly s i s   o f   f a c i a l   e x pr e s s i o n   i s   a n   i n t e r e s t i n a n c h a ll e n g i ng   s t udy   t h a t   h a s   i m pa c t e m a ny   r e a l - t i m e   a pp li c a t i o n s   r e l a t e t o   HC I   a n m e d i c a l   a pp li c a t i o n s .   L i t e r a t ur e   s t udi e s   o e m o t i o n   de t e c t i o de a l   w i t i d e n t i f yi n t h e   f a c i a l   f e a t ur e s   f o r   e a c f a c i a l   e x pr e s s i o n   [ 10] .   T h e   r e por t   s t a t e s   t h a t   t h e r e   a r e   68  f a c i a l   m a r ks   a va i l a b l e   t o   de t e c t   t h e   t y pe   o f   e m o t i o ns   i r e a l - t i m e   l i ke   po s i t i v e ,   n e ga t i v e ,   a n d   e x pr e s s i o nl e s s .   D i f f e r e n t   s t udi e s   h a v e   g i ve n   d if f e r e n t   f a c i a l   f e a t ur e s   t o   r e c o gni z e   f a c i a l   e x pr e s s i o n s .   E v e n   t h o ugh   r e m a r ka bl e   pr o gr e s s   h a s   b e e n   m a de   i n   f a c i a l   e x pr e s s i o n   r e c o gni t i o n ,   i n   t h e   a s p e c t   o f   pe r f o r m a nc e   m e a s ur e s ,   s t i l l   a c hi e vi ng  hi g h   a c c u r a c y   b e c o m e s   a   do ub t f u l   pa r t .     M a ny   s t ud i e s   h a ve   b e e i ns t a n t i a t e to   de v e l o mu l t i m o da l   i n f o r m a t i o n   s uc h   a s   li g h t   i n t e ns i t y ,   f a c e ,   a n b a c kgr o un c h a n ge s   us i ng  f a c i a l   t e r m s   t o   e s ti m a t e   m u l t i m o da l   s y s t e m s ,   c o m put a t i o n a l   c o m p l e xi t y   h a s   b e e n   u s e d.   T h e   c o m put a t i o n a l   c o m p l e xi t y   h a s   be e n   us e to   e s t i m a t e   t h e   m u l t i m o da l   s y s t e m s .   T h e   mu l t i m o de l   s t r a t e gy   h a s   b e t t e r   pe r f o r m a n c e   r e ga r d i ng  e m o t i o n a l   r e c o gni t i o n   c o m pa r e w i t h   t h e   s i ng l e   m o da l   s t r a t e gy .   Ho we v e r ,   t h e   c o m bi na t i o n   o f   f a c i a l   e x pr e s s i o n s   w i t h   o t h e r   m o da l i t i e s ,   s uc h   a s   v o i c e   s i g n a l s ,   ge s t ur e s ,   a n d   bi o s i g n a l ,   d i n ot   s uppo r t h e   de v e l o p m e n t   o f   s m a r t e r   h u m a n   m a c hi ne   i n t e r a c t i o n   ( HM I )   [ 11] .   T h e   a v a il a bil i t y   o f   HM I   h a s   d i s r upt e m a ny   o ppor t uni t i e s   r e l a t e d   to   r e a l - t i m e   a pp li c a t i o n s .     T h e   c o n t r i b ut i o n s   o f   t hi s   s t udy   a r e   f il t e r i ng,   a n e nh a nc e m e n t   o f   t h e   f a c i a l   im a ge   i s   a pp li e t t h e   i nput   i m a g e   t h a t   a s s i s t s   to   e x t r a c t   t h e   di s c r i mi na t i ve   l o c a l   f e a t ur e s   o f   a   f a c i a l   e x pr e s s i o n .   T h e   us e   o f   d i f f e r e n t   t y pe s   o f   f i l t e r e d   e nh a n c e d   f a c i a l   im a ge s   r e m o v e s   t h e   f e a t ur e   d i m e n s i o n   r e duc t i o n   a n t h e   f e a t ur e   o v e r l a pp i ng  i s s ue s .   C o n s e que n t l y ,   i t   i m pr o v e s   t h e   c o m put a t i o na l   c o m p l e xi t y   o f   t h e   f a c e   r e c o gni t i o n   r a t e .   T h e   de pl o ym e n t   o f   t h e   de e c o n v o l ut i o n a l   n e ur a l   n e t wor ks   ( D - C NN )   c l a s s i f i e r   o n   t h e   e nh a n c e f a c i a l   i mage s   h a s   d i s c r i mi na t e a ga i ns t   t h e   c o r r e l a t i o n   o f   t h o s e   f e a t u r e s ,   whi c h   i s   t h e   m a i e s s e n t i a l   t a s k.   T h e   l o c a l   i n f o r m a t i o o f   f a c i a l   r e g i o ns   c o n t a i ns   t h e   s a li e nc y   i n f o r m a t i o n   o f   a   f a c e   a n t h u s ,   t h e   f a c e   r e c o gni t i o n   r a t e   i s   a c hi e ve d   e f f e c t i v e ly   i t hi s   s t ud y .   F i g ur e   pr e s e n t s   t h e   bl o c di a gr a m   o f   t h e   pr o p o s e t e c hni que .           F i gur e   1.   Ov e r a l l   bl o c d i a gr a m   o f   t h e   pr o p o s e t e c hni que       T h e   pa pe r   i s   o r ga ni z e a s   f o ll o ws ;   s e c t i o n   2   p r e s e n t s   t h e   L i t e r a t ur e   S ur v e y   t h a t   d i s c us s e s   t h e   r e vi e ws   o f   e xi s t i n t e c hni que s .   S e c t i o n   3   pr e s e n t s   t h e   r e s e a r c h   m e t h o do l o g y   t h a t   de t a i l s   t he   wo r kf l o o f   t h e   pr o p o s e ph a s e s .   S e c t i o 4   pr e s e n t s   t h e   e x pe r im e n t a l   r e s u l t s   a n d i s c us s i o n   w hi c h   de s c r i be s   t h e   a c hi e ve pe r f o r m a n c e   us i ng   t h e   pr o po s e t e c h n i que s .   S e c t i o n   5   pr e s e n t s   t h e   c o n c l us i o n   t ha t   por t r a y s   t h e   f i n d i n gs   o f   t h e   s t udy .         2.   T HE   COM P RE HE NSI VE   T HE OR E T I CA L   B ASI S   AN T HE   P ROP OS E M E T HO D     T h e   s t ud y   o f   v a r i o us   e xi s t i n r e s e a r c h   m e t h o do l o gi e s   o n   f a c i a l   e x pr e s s i o n   r e c o gni t i o n   t e c hni que s   a n d   t h e   a pp li c a t i o o f   d if f e r e n t   de e p   l e a r ni ng   a l g o r i t hm s   f o r   im pr o vi n g   t h e   p e r f o r m a n c e   o f   t h e   r e c o gni t i o Evaluation Warning : The document was created with Spire.PDF for Python.
                                  I S S N :   2502 - 4752   I n do n e s i a n   J   E l e c   E n &   C o m S c i ,   Vo l .   25 ,   N o .   3 M a r c h   20 22 1406 - 1419   1408   pr o c e s s .   T h e   s t udy   o f   r e l a t e wo r k   i n c l ude s   t h e   r e vi e o f   e xi s t i ng  l i t e r a t ur e   a b o ut  di f f e r e n t   t e c h ni qu e s   r e l a t e to   t h e   pe r f o r m a nc e   e nh a n c e m e n t   o f   f a c i a l   e x pr e s s i o n   r e c o gni t i o n   m o de l s .   T o   i n t e r pr e t   t h e   e m ot i o n a l   s t a t e s   o f   t h e   h u m a m i nd,   f a c i a l   e x pr e s s i o n   r e c o gni t i o n   i s   o n e   o f   t h e   e f f i c i e n t   wa y s   t o   de a l   w i t h   i t .   T h e   r e c o gni t i o n   o f   f a c i a l   e x pr e s s i o n   f r o m   a   h u m a n   f a c e   i s   a   t r o ubl e s o m e   t a s s i nc e   f a c e   e x pr e s s i o n   v a r i e s   f o r   d i f f e r e n h u m a ns   [ 12] ,   [ 13 ] .   T h e r e   a r e   46  c o m po n e n t s   o r   a c t i o n   u ni t s   i nv o l ve i t he   f a c i a l   a c t i o n   u ni t   c o de s   ( F A C S )   t h a c o n t r i b ut e   to   t h e   m o v e m e n t s   o f   f a c i a l   m us c l e s .   L i k e w i s e ,   pr ka c hi a n s o l o m o n   p a i i n t e n s i t y   s c a l e   ( P S P I )   i s   t h e   m e t r i c   us e f o r   e x p l o r i n t h e   f r a m e - by - f r a m e   a n a ly s i s   o f   t h e   F AC S   [ 14] .   R e c e n t l y ,   m a c hi ne   l e a r ni ng  a n d   i n t e ll i ge n t   s y s t e m s   a r e   c o m bi ne d   to   de t e c t   t h e   f a c i a l   e x pr e s s i o n   o f   t h e   h u m a f a c e   w i t th e   l e a s t   c o m put a t i o n a l   e f f o r t s .   T h e   m a i c h a ll e n ge   i s   t he   a c c ur a t e   de v e l o p m e n t   o f   f a c i a l   e x pr e s s i o n   r e c o gni t i o m o de l s   w i t h   d if f e r e n t   i nput s   a n d   d i f f e r e n t   a pp l i c a t i o n s .   T h e   n e x t   c h a ll e n ge s   r e l a t e to   t h e   unba l a n c e w i t r e l a t i v e ly   c o m p l e x   da t a   b e y o n t h e   n a t ur e   o f   f a c ia l   im a ge s .   T h e   c l a s s e s   a r e   u ni que ly   f o r   v a r i o us   im a ge   s e t s   t h a t   s e e a   v e r s a t i l e   e x pe r t   s y s t e m .   S uc h   a   s y s t e m   n e e ds   t o   c r e a t e   a   r e p r e s e n t a t i v e   m o de l   t h a t   c a pt ur e s   t h e   i nhe r e n t   ge n e r a l   c h a r a c t e r i s t i c s   to   a c hi e v e   a n   u nbi a s e c l a s s if i c a t i o n   o r   p r e di c t i o n   o f   pa i f r o m   f a c i a l   im a ge s .   T h e   t e m po r a l - b a s e f a c i a l   a c t i o n s   we r e   e m p l o y e d   to   de t e c t   t h e   f a c e   e x pr e s s i o n .   A   l a r ge r   r a n ge   o f   f a c i a l   c o n duc t   us i n t h e   f a c i a l   m u s c l e   a c t i o n s   t h a c o m put e   t h e   e x pr e s s i o n s   wa s   s t ud i e [ 15] .   H o w e v e r ,   t h e   a c c ur a c y   i s   s t i l l   i t h e   de v e l o p m e n t a l   s t a ge .   Ga b o r   f e a t ur e - b a s e b o o s t e c l a s s if i e r s   t h e h e l pe t o   im pr o v e   t hi s .   I t   wa s   c o m pa r e w i t h   t h e   ge n t l e   b o o s t ,   s uppo r t   v e c to r   m a c hi ne s ,   a n hi dde n   m a r ko v   m o de l s .   C o n v o l ut i o n a l   n e ur a l   ne t wor ks   [ 16]   h a v e   e x p l o r e t h e   e f f i c i e nc y   o f   vi s ua l   r e c o gni t i o n   i m a ge s .   I n   w hi c r e s u l t s   we r e   pr o c e s s e us i n t h e   de e m u l t i - l a y e r   n e t wo r k   f o r   t h e   pr e d i c t i o n   o f   s a l i e nc y ,   a n f o r wa r de to  C NN   f o r   f a c i a l   e x pr e s s i o n   r e c o gni t i o n ,   a n i t s   vi s ua l   s a li e n c y   m a ps .   T he   pe r f o r m a n c e   r e s u l t s   s h o t h a t   t h e   w i de s pr e a us e   o f   de e l e a r ni ng  n e t wo r ks   i s   65. 39 %   c o m pa r e t ot h e r   t e c hni que s .   T e m po r a l - b a s e r e i nf o r c e a ppr o a c h e s   we r e   s t udi e t o   i m pr o v e   t h e   f a c i a l   e x pr e s s i o n   r e c o gni t i o s t udy   [ 17]   a c t i ve   a ppe a r a n c e   m o de l   ( AA M )   wa s   in t r o duc e to  e x t r a c t   t h e   s h a pe   a n t e x t ur e   m o de l s   o f   f a c i a im a ge s .   He r e ,   16  ge o m e t r i c   f e a t ur e s   we r e   e x t r a c t e to   r e c o gni z e   t h e   e m o t i o ns .   T h e s e   e x t r a c t e pa tt e r n s   we r e   g i v e n   a s   i nput   t o   t h e   r e l e v a nc e   v e c to r   m a c hi ne   ( R VM )   t h a t   c l a s s if i e t he   d i f f e r e n t   e m o t i o n a l   s t a t e s   by  a c hi e vi ng  a   r e c o gni t i o n   r a t e   o f   95. 6% .   M u l t i - l a y e r   pe r c e pt r o n   [ 18]   h a s   b e e n   pr e s e n t e to   c l a s s i f y   t h e   e m o t i o n a l   s t a t e s .   C e r t a i n   t e x t ur e   f e a t ur e s   o f   t h e   f a c i a l   s k i we r e   e x t r a c t e us i n t h e   bi o l o g i c a l   vi s i o n a r a ppr o a c h e s .   T h e   c o n c e pt   o f   pe r c e i v e f a c i a l   im a ge s   ( P F I )   h a s   y i e l de b e t t e r   r e s u l t s   us i n c o ns t r uc t i v e   t r a i ni ng  a l go r i t hm s .   A   s im il a r   a n a ly s i s   f o r   s a f e t y   a n s e c ur i t y   pur po s e s   h a s   b e e n   e x t e n de t o   b i o m e t r i c   a n a ly s i s   de t e c t i n t h e   f a c e t   m o du l e s   [ 19] .   T h e   c o n c e pt   o f   c o m po ne n t   a n a ly s i s   ( P C A ) ,   i n d e pe n d e n t   c o m po n e n t   a n a ly s i s   ( I C A ) ,   l i ne a r   d i s c r i mi na t i o n   a n a ly s i s   ( L D A ) ,   a n n e ur a l   ne t wor ks   a r e   u s e f o r   s e g m e n t a t i o n   a n f a c i a l   r e c o gni t i o n   m e t h o ds .   A   t wo - f o l r a n do m   f o r e s t   c l a s s if i e r   wa s   i n t r o duc e to   e x p l o r e   t h e   f a c i a l   e x pr e s s i o n   [ 20] .   W i t h   t h e   h e l o f   f a c i a l   m o t i o n   a n a ly s i s ,   a c t i v e   a ppe a r a n c e   m o de l   ( AA M ) ,   a n l u c a s - ka n a de   ( L K )   a n   o pt i c a l   f l o w   t r a c ke r ,   t h e   f a c i a l   f e a t ur e   p o i n t s   a r e   a s s e s s e d.   I t   w a s   qu i e t l y   us e f o r   e x p l o r i n t h e   f a c i a l   l a n d m a r k s   a n t h e   e x t r a c t i o n   o f   f a c i a l   po i n t s .   T h e   e x e c ut i o n   o f   t w o   l a y e r s   o f   R F   h a s   e f f i c i e n t l y   de t e c t e t h e   f a c i a l   e x pr e s s i o n .   I wa s   be tt e r   t h a n   t h e   s uppo r v e c t or   m a c hi ne   ( S V M)   c l a s s if i e r .   A   r o b us t   f e a t ur e   e x t r a c t i o n   m o de l   us i ng   C ha n Ve s e   e n e r g y   a n d   B h a t t a c h a r y y a   d i s t a n c e   f u n c t i o n s   [ 21] .   T o   e l im i na t e   t h e   n o i s e   l e ve l ,   t he   s e pa r a t i o b e t we e n   f a c e   a n b a c kgr o un wa s   r e m o ve f o r   e x t r a c t i n t h e   l o c a l   i n f o r m a t i o n .   T h e   f a c e   im a ge s   we r e x t r a c t e us i n t h e   t r a i n e d   hi dde n   m a r ko v   m o de l   ( H M M ) .   T h e   r e s u l t s   s h o gr e a t e r   e f f i c i e n c y   i t he   de t e c t i o o f   F E R   i t e r m s   o f   r e c o gni t i o n   r a t e .   s pa r s e   l e a r ni ng - ba s e d   f a c i a l   e x pr e s s i o m o de l   [ 22]   wa s   s t udi e d   t o   di s p l a y   t h e   e f f e c t s   o f   e m o t i o n a l   s t a t e s .   S pa r s e   l o c a l   f i s he r   d i s c r im i na n t   a na ly s i s   ( S L F D A )   h a s   b e e s ugge s t e to   r e s o l v e   m u l t i m o da l   l e a r ni ng   pr o bl e m s .   I t   h a s   d i s c r i mi na t e t h e   po we r   o f   L F D w i t h   no n - z e r e l e m e n t s   b a s e o n   t h e   s e l e c t e f a c e   r e g i o n s .   I wa s   t h e n   c o m bi ne w i t h   t h e   s pa r s i t y   o f   pr o j e c t i o n   v e c to r s   t h a a c c o m p li s he a l l   t h e   e x t r a c t e f e a t ur e s .   I wa s   b e t ter   t h a n   o t h e r   di m e ns i o na l i t y   r e duc t i o n   m o de l s .     Ne ur a l   n e t wo r a ppr o a c h e s   we r e   s t ud i e t o   di s c r i m i na t e   t h e   e m o t i o na l   s t a t e s   wi t h   b e t t e r   pa tt e r n   r e c o gni t i o n   m o de l s   [ 23] .   Al l   p h a s e s   o f   i m a ge   pr o c e s s i ng  t e c hni que s   s uc h   a s   pr e - pr o c e s s i n g,   f u nc t i o e x t r a c t i o n ,   s e g m e n t a t i o n ,   a n d   c l a s s i f i c a t i o h a ve   b e e n   r e n o v a t e t o   a c hi e ve   e f f i c i e n t   f a c i a l   e xpr e s s i o r e c o gni t i o n .   T h e   r e c o gni t i o n   p ha s e   wa s   t e s t e un de r   a   s i ng l e - l a y e r   n e ur a l   n e t wor k,   m u l t i - l a y e r   n e ur a l   n e t wo r k ,   c o n v o l ut i o n a l   n e ur a l   n e t wo r k,   b a c kwa r pr o pa ga t i o n   n e t wo r k ,   a n t h e   r e c ur r e n t   n e ur a l   n e t wo r k .   C o m pa r e t m a c hi ne   l e a r ni ng  a ppr o a c h e s ,   n e ur a l   n e t wor a l go r i t hm s   pr o v e to   h a v e   b e tt e r   e f f i c ien c y .   C NN   w i t t h e   m a c hi ne   l e a r ni ng  t e c hni que s   [ 24]   wa s   c o m bi ne t o   i m pr o v e   t h e   s t e ps   i nv o l ve i t h e   im a ge   pr o c e s s i n s y s t e m s .   T h e   a c c ur a c y   o f   t h e   s y s t e m s   wa s   im pr o v e u n de r   f a c i a l   im a g e   da t a b a s e s ;   h o we v e r ,   t h e   c o m put a t i o n a l   c o m p l e xi t y   a n t i m e   we r e   n o t   f o c us e d.   D i f f e r e n t   t y pe s   o f   a l go r i t hm s   f o r   f a c i a l   e xpr e s s i o n   r e c o gni t i o n   de pe n d i ng  o t h e   bi o m e t r i c   s y s t e m   ha v e   b e e n   d i s c us s e [ 25] .   T h e s e   we r e   t e s t e a n c o m pa r e d   w i t h   t h e   f e a t ur e   r e duc t i o n   m o de l s   li ke   P C A ,   d i s c r e t e   c o s i n e   t r a n s f o r m s   ( DC T ) ,   a n t y pe s   o f   wa ve l e t s .   T a bl e   1   s u m m a r i s e s   a   c o m p a r a t i v e   a n a ly s i s   o f   r e c e n t   t e c hni que s .         Evaluation Warning : The document was created with Spire.PDF for Python.
I n do n e s i a n   J   E l e c   E n &   C o m S c i     I S S N:   2502 - 4752         M ult i - f e atur e   bas e automati c   f ac ial   e x pr e s s ion  r e c ognit ion  us ing  de e c onv olut ional     ( A njal i   Dix it )   1409   T a bl e   1 .   C o m pa r a t i ve   a n a ly s i s   o f   t h e   r e c e n t   t e c h niques   Ref er e n ce   M e th o ds  a nd  th e   f a c ia f e a tu r e s   C la s s if ic a ti o te c hni que   D a ta ba s e  a nd f a c e  r e c o gni ti o r a te   M a in  r e s ul ts   R a o   e al .   [ 26]   C N N - r e la t e F e a tu r e s   F ul l y  C o nn e c t e L a y e r   Y T F  D B  ha s  gi v e n a n a c c u r a c y   r a te   of  96.52 % , P a S C  D B - A c c :9 5.67% Y T C  D B   - A c c :9 7.82   H e r e , t h e   f r a m e  da ta  i s  e li mi na t e d i th is  s tu dy  du r in g t h e  r e in f or c e m e nt   le a r ni ng pr oc e s s   W a ng [ 27]   3D -   d y na mi c   f e a tu r e s     C la s s if ie d ba s e o n D is ta nc e   M e a s ur e m e nt   O R L  D a ta ba s e  c o nt a in in g 300  im a ge s   f r o m 30 s ubj e c ts  t ha gi ve   pr e c is i o n pr o ba bi li t y  100%   I ha s  dr a s ti c a ll y  i mpr ove d t h e   f a c e   de t e c t i o n r a t e   D in a nd  T a o   [ 28]     B r a n c h - ba s e e ns e mbl e   f e a tu r e s     T r unk - B r a n c E ns e mbl e  C N N   mo d e ( T B E - C N N )   P a S C  D a ta ba s e  ha s  y i e ld e d   ve r i f ic a ti o r a te   of  96.12% C O X   F a c e  D a ta ba s e  ha s  gi v e n a id e nt i f ic a ti o r a of  t e  98.96% Y o ut ub e  D a ta ba s e  ha s  o bt a in e d a   ve r i f ic a ti o r a te   of  94.96%   I is  be tt e r  t ha n t h e   c o n v e n ti o na C N N   in  t e r ms   of   e x tr a c ti ng t h e  d e e f e a tu r e s     M o kha y e r   e al .   [2 9]   D o ma in - s pe c i f ic   f a c e   s y nt he s is   ( D S F S )   S R C  C la s s if i e r   C O X - S 2V  D B  ha s   y i e ld e pA U C :0 .916 a nd A U P R :0 .775   C o mput a ti o na c o mpl e xi t y  ha s  be e s ig ni f i c a nt l y  r e du c e d.    M o kha y e r   e al .   [ 30]     A  s y n th e t ic   pl us   v a r ia ti o na mo d e l   S R C  C la s s if i e r   C O X - S 2V  D B  ha s  a c h ie ve pA U C :0 .905 a nd A U P R :0 .776    A  f a c e   r e c o gni ti o n s y s t e m a di f f e r e nt   a ngl e s  ha s  be e n a na l y z e d.    X ia a   e al .   [ 31]   G e o m e tr i c a mo ti o n   R a ndo m wa lk   c la s s if i e r   I ha s  e x pe r im e nt e o th e   C A S M E  a nd S M I C     T h e  s tu d y  r e ve a le d t h e  mi c r o - e x pr e s s io n s p o tt in o f a c ia f e a tu r e s G e o m e tr i c  a na l y s is  ha s  r e du c e f a c ia di me ns i o na li t y   L e al .   [ 32]   T h e  l oc a bi na r y  pa tt e r a nd H is to g r a O r ie nt e O pt ic a F l o w   ( H O O F )   T h r e s ho ld   te c hni que s     I w a s  a na ly z e d us in g C A S M E  I I   a nd S M I C  da ta s e ts . C o mpa r e d t o   th e   o th e r  da ta s e ts , t hi s  s y s te m ha s   gi ve n a n e xc e e de r e s ul 27.98 %   hi ghe r  t ha n t h e   e x is ti ng s y s t e m.    T h e  s y s t e m ha s  i nc r e a s e d t h e   T r u e   P o s it i ve  r a t e   W a ng  e al .   [ 33]     M a in   D ir e c ti o na O pt ic a F l o w   ( M D M D )   T h r e s ho ld   te c hni que s     C A S  ( M E ) 2 ha s  gi ve n r e c a ll ,   pr e c is i o n,   a nd F 1 - s c or e  w e r e   0.32, 0.35, a nd 0.33, r e s pe c ti ve l y   M ic r o - e x pr e s s io f r o m t h e   v id e o   s e que n c e s  ha s  be e n i mp r ov e d i te r ms   of  a  b e tt e r   e r r o r  r a t e .   D a v is o e al .   [ 34]   L B P , O F , a nd  3D - H O G   T h r e s ho ld   te c hni que s     S A M M , C A S M E  I I   T h e   f oc us   of  a c ti o n unit s   of   f a c ia m us c le s  w a s  s pe c ul a t e d und e r  3D T h is  i gnor e s  t h e  i n f lu e n c e   of  t h e   ove r a ll   f a c ia e m o ti o ns , i e mpha s iz e s   lo c a f a c ia mus c l e   c ha nge s , t h e r e b y   r e du c in c o mput a ti o na c o mpl e x it y   a nd i mpr ov in g d e t e c ti o n a c c u r a c y   L e al .   [ 35]   L B P  w it di f f e r e nt ia im a ge  a na l y s is     T h r e s ho ld   te c hni que s     S A M M , C A S M E  I I   T h e  l oc a t e mp o r a pa tt e r ns   of   f a c ia mus c le s  ha v e  h e lp e d t o  s p o nt a ne o us l y   lo c a te   f a c ia e m o ti o ns       F a c i a l   e x pr e s s i o r e c o gni t i o i s   o ne   o f   t h e   l a t e s t   bi o m e t r i c   t e c hn o l o g i e s .   I t   i s   t r e a t e a s   a   c o m put e r   a pp l i c a t i o n   t h a t   i n t e l li ge n t l y   de t e c t s   ( o r )   r e c o gn i z e s   ( o r )   v e r i f i e s   t h e   pe r s o n   i t h e   f o r m   o f   a   d i g i t a l   im a ge .   De s p i t e   e x t e n s i ve   r e s e a r c h ,   t h e   pe r f o r m a n c e   o f   r e c o gni t i o n   s y s t e m s   i s   s t i ll   i n   t h e   e a r l y   s t a ge s   o f   de v e lo pm e n t .   F a c i a l   e x pr e s s i o n   i s   a   s o r t   o f   i n t e r n a l   e x pr e s s i o n   ( e m o t i o n a l   s t a t e )   t h a gr e a t l y   i n f l ue n c e s   e x pr e s s i o n   o n   t h e   h u m a n   f a c e ,   w hi c h   o f f e r s   a   n a t ur a l   e x pr e s s i o n   o f   e m o t i o n a l   s t a t e ,   c o m m u ni c a t i o n ,   a n s o c i a l   c o m m u ni c a t i o o n   pr o hi bi t e a c t i vi t i e s .   T h e   e x pr e s s i o n   o f   f a c i a l   e m o t i o n   i s   t h e   be s t   f o r m   o f   n o nv e r b a l   c o m m u ni c a t i o n   t h a t   pr o vi de s   i n f o r m a t i o n   a b o ut   t h e   e m o t i o na l   s t a t e ,   m i nd s e t ,   a n i n t e n t i o n .   T h e   d e s i g n   o f   i n t e ll i ge n t   f a c i a e x pr e s s i o n   r e c o gni t i o n   s y s t e m s   c o m po s e s   de f o r m a t i o n s   o f   f a c i a l   c o m po n e n t s   a n t h e i r   s pa t i a l   r e l a t i o n s ,   ( o r )   c h a n g e s   i t h e   p i g m e n t a t i o n   o f   t h e   f a c e .   A dd i t i o n a ll y ,   a   f e f a c t o r s   l i k e   f a c i a l   a ppe a r a nc e ,   t h e   high   f a l s e   r e c o gni t i o n   r a t e ,   t wi n   a t t a c ks ,   p oo r   l i g h t i n g,   a n d   o b s t a c l e s   h a ve   b e e n   a f f e c t i n t h e   pe r f o r m a n c e   o f   f a c i a l   e x pr e s s i o n   r e c o gni t i o n .     T hi s   s e c t i o n   i nc l ud e s   t he   f r a m e wo r o f   t h e   pr o pos e t e c hni que   us e f o r   t h e   de s i g n   o f   a a ut o m a t i c   f a c i a l   e x pr e s s i o n   r e c o gni t i o n   t e c hni que   a n d i s c us s e s   t h e   a pp li c a t i o o f   d e e m a t c hi ng  a l go r i t hm s   f o r   de v e l o p i ng  t h e   r e c o gni t i o n   m o d e l   i de t a i l .   T his   pr o c e s s   h a s   f i ve   p ha s e s   s u c h   a s   f a c e   de t e c t i o n ,   i m a ge   pr e pr o c e s s i ng,   s e g m e n t a t i o n   o f   f a c i a l   r e g i o n ,   f e a t ur e   e x t r a c t i o n ,   a n c l a s s i f i c a t i o n .   T h e   pr o p o s e m u l t i - f e a t ur e - b a s e a ut o m a t i c   f a c i a l   e x pr e s s i o n   r e c o gni t i o n   us i ng  de e c o nv o l ut i o n a l   n e ur a l   n e t wo r k   c o m pr i s e s   f o ur   ph a s e s .   E a c h   p h a s e   h a s   a   s i g nif i c a n t   c o n tr i b u t i o n   to wa r ds   i d e n t i f yi ng  f a c i a l   e m o t i o ns .   F i g ur e   pr e s e n t s   t h e   wor kf l o o f   t h e   pr o p o s e D - C NN   us i n a   m u l t i - f e a t ur e   e x t r a c t i o n   m o du l e .     Evaluation Warning : The document was created with Spire.PDF for Python.
                                  I S S N :   2502 - 4752   I n do n e s i a n   J   E l e c   E n &   C o m S c i ,   Vo l .   25 ,   N o .   3 M a r c h   20 22 1406 - 1419   1410       F i g ur e   2.   P r o p o s e w or kf l o       3.   RE S E AR CH  M E T HO D   3. 1 .     Dat a   c ol l e c t ion   an d   p r e p r oc e s s in g   T h e   e x t e n d e c o hn - ka n a de   da t a s e t   ( C K + )   i s   c o l lec t e f r o m   t h e   pu bli c ly   a v a i l a b l e   da t a s e t s   o f   s i z e   256 × 256.   T h e   i m a ge   i s   c o n ve r t e i n t a   gr a y s c a l e   i m a ge   s o   t h a t   t h e   s k i n   r e g i o n   a ppe a r s   b r i g h t e r   t h a n   t h e   b a c kgr o un d.   T h e   a l go r i t hm   t h e n   de t e c t s   t h e   s k i n   r e g i o n   f r o m   t h e   c e n t r a l   po i n t   i n   t h e   d i r e c t i o n   o f   t h e   s k i r e g i o n .   Ge ne r a l ly ,   t h e   i m a g e s   a r e   s u bj e c t e to   r a n do m   n o i s e   due   t o   t h e   pe r f o r m a n c e   o f   c a m e r a   a d j us t m e n t   s e tt i n g s .   T h e r e f o r e ,   pr e pr o c e s s i n m e t h o ds   p l a y   a   vi t a l   r o l e   i t hi s   r e s e a r c h   s t ud y .   T o   i nc r e a s e   t h e   qu a l i t y   a n d   a ppe a r a nc e   o f   t h e   im a ge s ,   i m a ge   e nh a n c e m e n t   a n f il t e r i n t e c hni que s   a r e   e m p l o y e d.   T h e s e   f il t e r s   wi l l   r e duc e   t h e   pe a k - s i g n a l - to - n o i s e - r a t i o   ( P S NR )   a n s i g n a l - to - n o i s e   r a t i o   ( S NR )   o f   t h e   i m a ge .     3. 1. 1 .   I m age   e n h an c e m e n t   T h e   f a c e   i m a ge s   a r e   e nh a nc e u s i ng  i m a ge   s ha r pe ni ng  t e c hni que s .   T h e   u l t i m a t e   f o c us   o f   t h e   s ha r pe ni ng  t e c hni que s   i s   t e n ha n c e   t h e   vi s ua l   q ua l i t y   o f   t h e   i m a ge s   by   i nc r e a s i ng/dec r e a s i ng  t h e   i n t e n s i t y   l e v e l   o f   b r i g h t n e s s   a n d   c o n t r a s t   o f   a n   im a ge .   I t   a ppe a r s   li ke   r i ngs   ne a r   t h e   f a c i a l   po i n t s   by   s h a r pe ni ng  t h e   t r a n s i t i o n   o f   t h e   i m a ge .   I t   i s   pr o f o un n e a r   t h e   e dg e   o f   a n   im a ge .   T hi s   t e c hni que   i nv o l ve s   a   f e s t e ps .   I t   r e a ds   t h e   i n put   i m a ge   f r o m   t h e   da t a s e t   a n c o n ve r t s   R GB   to   t h e   Gr a y s c a l e   im a ge .   Ob t a i ni ng  t h e   hi s t o gr a m   f r o m   t h e   o r i g i na l   im a g e .   T h e   o r i g i na l   a n hi s t o gr a m - e qua l i z e im a ge s   a r e   i n t e gr a t e d.   C o m pa r e   t h e   i m a ge ' s   pe r f o r m a n c e   pa r a m e t e r s   to   t h e   or i g i na l   i m a ge ' s   pe r f o r m a n c e   pa r a m e t e r s .   F i g ur e   pr e s e n t s   t h e   i m a ge   e nh a nc e m e n t   pr o c e s s .           F i g ur e   3 .   I m a ge   e nh a n c e m e n t   pr o c e s s     Evaluation Warning : The document was created with Spire.PDF for Python.
I n do n e s i a n   J   E l e c   E n &   C o m S c i     I S S N:   2502 - 4752         M ult i - f e atur e   bas e automati c   f ac ial   e x pr e s s ion  r e c ognit ion  us ing  de e c onv olut ional     ( A njal i   Dix it )   1411   3. 1. 2 .   I m age   f il t e r in g   I m a ge   f il t e r i ng  i s   t h e   pr o c e s s   o f   i m pr o vi s i ng  t h e   a ppe a r a n c e   o f   t h e   i m a ge .   D i f f e r e n t   t y pe s   o f   f il t e r s   a r e   us e to   i n c r e a s e   c o n t r a s t   a n pr o vi de   a   r a n ge   o f   s pe c i a l   e f f e c t s   to   t h e   i m a ge .   T he   t h r e e   f il t e r i n m e t h o ds   l i ke   G a us s i a n   f i l t e r ,   W i e n e r   f i l t e r ,   a n d   a d a p t i v e   m e a n   f i l t e r   a r e   e m p l o y e d   to  p r e s e r v e   th e   e dge s   o f   f a c i a l   p o i n t s .     1)   Ga us s i a n   f il t e r   Ga us s i a n   f il t e r   i s   ge n e r a ll y   ut i li z e f o r   r e m o vi ng  th e   n o i s e   a n s m o o t hi n g.   I r e qui r e s   c o m put a t i o n a l   a s s e t s   a n i t s   pr o duc t i vi t y   i im p l e m e n t i n ha s   b e e n   a   m o t i v a t i o n   to   s t udy   i t .   T h e   ga us s i a n   o pe r a to r s   a r e   c o n v o l ut i o n   o pe r a to r s ,   a n c o n v o l ut i o n   i s   us e to   a c hi e v e   Ga u s s i a n   s m o o t hi n g.   I t   i s   a   2D  c o nv o l ut i o n   o pe r a to r   t h a t   i s   ut i li z e f o r   i m a ge   s m o o t hi n a nd  n o i s e   r e m o v a l .   T hi s   F i l t e r   c o m pr i s e s   t w o   pa r a m e t e r s w i n do d i m e ns i o n s   a n t h e   s t a n da r de vi a t i o n .   I f   t h e   v a l ue   i s   h uge ,   t h e   p i c t ur e   s m o ot hi n i m p a c t   w i ll   b e   hi g h e r .   F il t e r s   o f   G a us s i a n   s m o o t hi n a r e   vi a bl e   L P F s   f r o m   t h e   po i n t   o f   vi e o f   b o t h   t h e   f r e que nc i e s   a n d   s pa t i a l   do m a i ns ,   a r e   e f f e c t i v e   f o r   i m p l e m e n t a t i o n,   a n c a n   b e   ut i li z e d   a de qua t e l y   b y   e n g i ne e r s   i pr a c t i c a a pp l i c a t i o ns   o f   vi s i o n .     I1=fspecial ('gaussian’, [3 3],0.4); % choose the kernel size of 3x3   Iblur1 = imfilter (img, I1);   figure,   imshow(Iblur1)   title ('Gaussian Filter')   Iblur1=double(Iblur1);   [Gaussian_PSNR, Gaussian_SNR] = psnr (Iblur1, img);     2)   W i e n e r   f il t e r   T h e   W i e n e r   f il t e r   i s   a   f il t e r   t h a t   de v e l o ps   a n   e s t i mat e r a n do m   pr o c e s s   vi a   a   l i ne a r   t i m e - va r i a n t   a n d   t h e   d i s c r e t e   wa v e l e t   t r a n s f o r m   o v e r   a   n o i s y   pr o c e s s .   I t   h e l ps   t h e   s pa t i a l   do m a i t o   b e c o m e   a   f r e que nc y   do m a i n .   E a c h   f r a m e   c o n t a i n s   s a m p l e s   t h a t   c o n v e r t   to   t h e   do m a i o f   f r e que n c i e s .   T h e   f o ur i e r   d i s c e r nm e n t   i s   o n e   o f   t h e   f a s t e s t   a l go r i t hm s   ( D F T ) :     2   1 = 0       w h e r e ,   k=   0,   1,   2. . . .   N m - 1 T h e   pr e s e n c e   o f   D F T   is   e s t i m a t e f o r   a ll   t h e   c o m put a t i o n a l   pr o c e s s e s   w hi c a r e   us e f u l .       h=fspecial ('gaussian’, [256,256],40);   h=mat2gray(h); %normalize [0,1]   img=imresize (img, [256 256]);   out_img_Wiener=image Restoration (img, h);   figure,   imshow(J)   title ('Weine r Filter')   out_img_Wiener=double(out_img_Wiener);   [Weiner_PSNR, Weiner_SNR] = psnr (out_img_Wiener, img);     3)   A da pt i v e   m e d i a n   f il t e r   T h e   m e d i a n   f il t e r   i s   a   r a n k - o r de r   f il t e r   w h o s e   n o i s e - r e duc i n e f f e c t s   de pe n o n   t he   s i z e   a n s h a pe   o f   t h e   f i l t e r i ng  m a s k.   T h e   c o m p l e xi t y   o f   t h e   a l go r i t hm   i nv o l ve i n   g e tt i n t h e   m e d i a n   v a l ue .   E a c h   p i xe l   o f   a im a ge   i s   e x a mi ne p i xe l   by   p i xe l ,   w i t h   e a c h   v a lue  s ubs t i t ut e wi t h   t h e   m e d i a n   v a l ue   o f   t h e   n e i g hb o r i n p i x e l s .   T h e   t e r m   " W i ndo w"   r e f e r s   t o   t h e   ne i g hb o r s   pa t t e r n s .   T h e   p i x e l - by - p i xe l   w i ndo s c a n s   t h r o ugh o u t h e   wh o l e   im a ge .   T he   m e d i a n   v a l ue   i s   c a l c u l a t e wh e n   t h e   p i xe l s   o f   t he   w i ndo a r e   f i r s t   s o r t e i n t n u m e r i c   o r de r   a n t h e n   t h e   p i xe l   i s   r e p l a c e d   w i t t h e   m e d i a n   v a l u e .   F i gur e   pr e s e n t s   t h e   im a ge   f il t e r i ng   pr o c e s s ,   whi c s h o ws   h o d i f f e r e n t   f il t e r s ,   s uc h   a s   t h e   Ga us s i a f il t e r ,   a da pt i v e   m e d i a f il t e r ,   a n W e in e r   f il t e r ,   im pr o v e   t h e   a ppe a r a n c e   o f   t h e   i m a ge .     J = amedfilt2_calc (img);   figure,   imshow (J)   title ('Adaptive median Filter')   J=double (J);   [Adaptive_PSNR, Adaptive_S NR] = psnr (J, img);   Evaluation Warning : The document was created with Spire.PDF for Python.
                                  I S S N :   2502 - 4752   I n do n e s i a n   J   E l e c   E n &   C o m S c i ,   Vo l .   25 ,   N o .   3 M a r c h   20 22 1406 - 1419   1412       F i g ur e   4 .   I m a ge   f il t e r i ng  pr o c e s s       3. 2 .     S e gm e n t at ion   T h e   t e c hni que   o f   s e g m e n t i n a   d i g i t a l   i m a ge   i n t o   m a ny   s e g m e n t s   i s   k n o wn  a s   im a g e   s e g m e n t a t i o n .   T h e   V i o l a - J o n e s   a ppr o a c h   i s   pr o po s e h e r e   f o r   f a c e   de t e c t i o n   a n i nve r s e   d i s c r e t e   c o s i n e   t r a n s f o r m   ( I DC T )   i s   pr o p o s e h e r e   t o   s e g m e n t   t h e   f a c i a l   r e g i o o f   a n   im a g e .   T h e   pr o po s e I DC T   i s   de f i ne b a s e o n   t h e   f o r e gr o un a n ba c kgr o un f r a m e   s u b t r a c t i o n .   Us i ng  t hi s   pr o c e s s ,   t h e   s e g m e n t a t i o n   w i ll   be   pr o c e s s e whi c g i v e s   e nh a nc e r e s u l t s   w h e n   c o m pa r e d   to   e xi s t i n DC T .   B a s e o c o n d i t i o ns ,   t h e   s e g m e n t e im a ge s   a r e   ga t h e r e d.   A   r e gi o na l   l o c a l   bi na r y   pa t t e r n   ( L B P )   a p pr o a c h   i s   us e to   ga t h e r   t h e   f a c e   po i n t s .     3. 2. 1 .   Viol Jon e s   ( VJ) - f ac e   d e t e c t or   t e c h n iq u e   P .   V i o l a   a n d   M .   J o n e s   h a v e   de v e l o pe d   a   h u m a f a c e   de t e c to r   t h a t   h a s   a c hi e ve b e t t e r   de t e c t i o a c c ur a c y .   T h e   V i o l a - j o ne s   d e t e c tor   pe r f o r m e d   b e tt e r   t h a t h e   o t h e r   de t e c t i o n   a l go r i t hm   i t e r m s   o f   a c c ur a c y   m e t r i c s .   I t   f o l l o we a   s li d i ng  w i ndo a ppr o a c h   t h a t   e x p l o r e t h e   l o c a t i o ns   o f   t h e   p i xe l s   i a n   im a ge   t h a t   h e l pe t h e   w i ndo to   c a pt u r e   t h e   h u m a n   f a c e .   T h o ugh   t h e   s l i d i ng  w i ndo a ppr o a c h   i s   a   t i m e - c o n s u mi ng   pr o c e s s ,   m o r e o v e r ,   t h e   de t e c tor   e n ha n c e t h e   de t e c t i o n   s p e e d.   I n t e gr a l   i m a ge s ,   w hi c h   i nc r e a s e   t h e   s pe e o f   t h e   c o n v o l ut i o n   pr o c e s s ,   we r e   i n t r o du c e to   b oo s t   de t e c t i o n   s p e e d.   De pe n d i ng  o n   t h e   w i ndo s i z e ,   t h e   c o m p l e xi t y   l e v e l   o f   t h e   c o m put a t i o na l   pr o c e s s   i s   d e c l a r e d,   a n s e l e c t i n g   t h e   r e l e v a n t   f e a t ur e .   T h e   r e po r s t a t e s   t h a t   t h e   A da b o o s t   a l go r i t hm   wa s   m a i n ly   e m p l o y e d   o n   t h e   s m a ll   s e t   o f   f e a t ur e   v e c to r   s e l e c t i o n   pr o c e s s e s .   I t   i s   v e r y   h e l p f u l   i f a c e   de t e c t i o n   c o n c e pt s .   F ur t h e r m o r e ,   by   i n t r o duc i n t h e   c o n c e pt s   o f   de t e c t i o n   c a s c a de s ,   whi c h   f o l l o t h e   m u l t i s t a ge   de t e c t i o n   p i pe li ne   whil e   f o c us i ng  o n   t h e   f a c e   t a r ge t s ,   t h e   c o m p ut a t i o n a l   c o m p l e xi t y   i s   mi n im i z e d.       function v = visort (v,N)  %#eml   temp = v;   for i=1:N - 1        m = v(i);        k = 1;            for j = i+1:N            if v(j) < m                m = v(j);                k = j - i+1;            end        end        for j = 1:k - 1            v(i+j) = temp(i+j - 1);        end        v (i) = m;        for j=1:N            temp(j) = v(j);        end   end     3. 2. 2 .   I n ve r s e   d is c r e t e   c os in e   t r an s f o r m   ( I DC T )   I n   o ur   p r o p o s e a ppr o a c h ,   we   h a v e   e m p l o y e a i nv e r s e - DC T   ( I - DC T )   t e c h ni que   t o   i m pr o v e   t h e   s e g m e n t a t i o n   pr o c e s s .   D i s c r e t e   c o s i n e   t r a n s f o r m s   ( DC T )   a r e   us e to   e x t r a c t   t h e   f o r e gr o un o bj e c t s   i n   t hi s   c a s e .   I n   n o r m a l   c a s e s ,   DC T   i s   us e f o r   t h e   c o m pr e s s i o n   pr o c e s s .   He r e   we   e m p l o y   DC T   f o r   s e g m e nt i n t h e   o bj e c t   c o n c e r ni ng  t he   f o r e gr o un a n b a c kgr o un s u b t r a c t i o n .   He r e   we   c o n s i de r   t h e   DC T   a t t r i b ut e s   o f   de c o r r e l a t i o n ,   pr e s e r vi ng  f e a t ur e s ,   a n c o m p l e xi t y   r e duc t i o n   t o   e x tr a c t h e   b a c kgr o un a n f o r e gr o un to  s e g m e n t   t h e   o bj e c t .   T h e   ut i li z a t i o n   o f   DC T   bl o c t r a n s f o r m a t i o n   c o m bi ne w i t h   d i f f e r e n t   pr o c e dur e s   b r i ng s   a b o ut   gr e a t   r e t r i e v a l   e f f i c i e nc y .   M uc h   o f   t h e   t i m e ,   DC T   c o ul b e   vi e we a s   a   s t a ge   o f   pr e pr o c e s s i n pur s ue d   Evaluation Warning : The document was created with Spire.PDF for Python.
I n do n e s i a n   J   E l e c   E n &   C o m S c i     I S S N:   2502 - 4752         M ult i - f e atur e   bas e automati c   f ac ial   e x pr e s s ion  r e c ognit ion  us ing  de e c onv olut ional     ( A njal i   Dix it )   1413   by   a   pr e tt y   m u c h   c o m p l e x   s t r a t e gy   f o r   t h e   e x t r a c t i o n   o f   b a s i c   hi g hl i g h t s .   T h e n ,   us e r - de f i ne f u n c t i o n s   a r e   e m p l o y e f o r   DC T   whi c m a ke s   t h e   s e g m e n t a t i o pr o c e s s   m o r e   e f f e c t i v e   a n t h e   s a m e   w il l   b e   t h e ut i li z e d   i t h e   ne x t   s t a ge   o f   f e a t ur e   e x t r a c t i o n .   T h e   s t e ps   i nv o l ve i t h e   m o d i f i e D C T   a r e   g i ve n   a s i )   T h e   I ni t i a l   f r a m e   i s   f i r s t   s e l e c t e d ;   ii )   T h e n   e a c h   o f   t h e   f r a m e s   i s   c o m p a r e w i t h   t h e   f i r s t   f r a m e a n ii i )   T h e   f r a m e   w i t t h e   o bj e c t   a n t h e   e m pt y   f r a m e   i s   s u b t r a c t e us i n g   t h e   bi na r y   s e g m e n t a t i o n   w i t h   m o r ph o l o g i c a l   o pe r a t i o n s   t o b t a i n   t h e   i m a ge   o f   t h e   o bj e c t   a l o n e .     3. 3 .     Aut om at ic   e x t r a c t ion   of   r e gion a l   l b p   f e at u r e s   T hi s   s t e e x t r a c t s   t h e   f a c i a l   po i n t s   o f   e a c h   f a c i a l   e x pr e s s i o n   l i k e   h a pp y ,   s a d,   a n ge r ,   a n s o   o n .   He r e ,   a   r e g i o n a l   l o c a l   bi na r y   pa t t e r n   ( L B P )   a ppr o a c h   i s   e m p l o y e t c o l l e c t   t h e   f a c i a l   po i n t s .   L o c a l   bi na r y   pa t t e r n   ( L B P )   i s   a pp li e f o r   e x t r a c t i n t e x t ur a l   o r i e n t e f e a t ur e s .   I t   i s   a n   o pe r a tor   t h a t   de f i ne s   t h e   i nva r i a n c e   o f   gr a y - s c a l e   t e x t ur e   m e a s ur e s .   T he   t e x t ur e   i s   a n a ly z e w it h   m u l t i p l e   s c a l e s   o f   c o m bi ni ng  ne i g hb o r h oo pi xe l s .   I t   i s   s i m p l e   a n r o b us t   f o r   a   c o m put a t i o n a l   s t ud y .   T h e   s t e ps   i l o c a l   bi na r y   pa t t e r n   a r e L e t   t h e   c e n t r a l   p i x e l   be   e s t i m a t e a s ,   ( , ) f o r   c o l o r   p i x e l s ,   a n t h e   gr a y   p i xe l   i s   de n o t e a s   .   T h e   L B P   i s   c a l c u l a t e a s     , ( , ) = ( , ) 2 1 = 1       wh e r e   t h e   c o n s t r a i n t s   o f   s ( x )   a r e   gi v e n   a s     ( ) = { 1 ,  0 } ; { 0 ,  < 0 }       3. 4 .     Cl as s if i c at ion   u s in D - CNN   T h e s e   f e a t ur e   v e c t or s   i . e   f a c i a l   t e x t ur e   po i n t s   a r e   f e a s   i nput   to   t h e   de e c o nv o l ut i o n a l   ne ur a l   n e t wo r ks .   D - C NN   i s   f u n d a m e n t a l ly   ut i li z e i c o n v o l vi ng  a n   i m a g e   a l o n w i t h   ke r n e l s   t o   o b t a i n   f e a t ur e   m a p s .   T h e   w e i g h t s   w i t hi t h e   k e r n e l s   h e l t o   c onn e c t   e v e r y   u ni t   o f   t h e   f e a t ur e   m a t o   pr i o r   l a y e r s .   T h e s e   ke r n e l   we i g h t s   a r e   us e a t   t h e   t i m e   o f   da t a s e t   tr a i ni ng  t e nh a n c e   t h e   i nput   c h a r a c t e r i s t i c s .   T h e   we igh t s   t h a t   r e qu i r e   t r a i ni ng  w i t hi n   t h e   c o nv o l ut i o n a l   l a y e r s   a r e   l e s s e r   t h a n   t h o s e   f o r   l a y e r s   t h a t   a r e   f u ll y   c o nn e c t e s i n c e   t h e   ke r n e l s   a r e   t y p i c a l   t o   e a c h   u ni t   o f   t h e   s p e c i f i c   f e a t ur e   m a p.   F e a t ur e   v e c t o r s   o f   e a c f a c i a l   po i n t   a r e   f e t D - C NN .   C NN ' s   f u n c t i o na l i t y   c a n   b e   d i vi de i n t o   f o ur   m a j o r   c a t e gor i e s .     i)   L B P   f a c i a l   f e a t ur e s   wi ll   b e   f e t t h e   i n put   l a y e r .   ii )   T h e   o u t pu t   f o r   t h e   n e ur o n s   a s s o c i a t e wi t h   t h e   i nput   l o c a l   r e g i o n s   w il l   b e   de t e r m i ne by  t h e   c o n v o l ut i o n a l   l a y e r   t h r o ugh   t h e   c o m put a t i o n   o f   a   s c a l a r   pr o duc t   b e t we e n   t h e   r e g i o ns   a s s o c i a t e w i t h   t h e   v o l u m e   o f   t h e   i n put   a n t h e   we i g h t s   o f   t h e   n e ur o n s .   ii i )   T h e   poo l i ng  l a y e r   t h e n   do wn s a m p l e t h e   i n put ,   r e duc i n t h e   n u m be r   o f   pa r a m e t e r s   f o r   t h a t   pa r t i c u l a r   a c t i v a t i o n .     i v)   T h e   f u l ly   c o nn e c t e l a y e r   w i ll   t he n   ge n e r a t e   s c o r e s   o f   t he   c l a s s e s   ( ba s e o t h e   a c t i v a t i o ns )   t h a t   w i l b e   us e i n   t h e   c l a s s if i c a t i o n   pr o c e s s .   On c e   t h e   t r a i ni ng  o f   a ll   f a c i a l   f e a t ur e s   i s   c o m p l e t e d,   t h e   t e s t   f a c i a l   po i n t s   a r e   f e to   t h e   c l a s s if i e r .   F i na ll y ,   t h e   e m o t i o n   o f   t h e   g i v e n   i nput   da t a b a s e   i s   do n e .   F i g ur e   pr e s e n t s   t h e   a r c hi t e c t ur e   o f   t h e   pr o p o s e a ppr o a c h .   I pr e s e n t s   t h e   de t a i l e f l o d i a gr a m   o f   th e   pr o p o s e t e c hni que .     P r o p o s e a l go r i t hm :   S t e p   1:   R e a t h e   i n put   i m a ge   f r o m   t h e   da t a s e i n   p n g   f o r m a t .   S t e p   2:   C o n ve r t   R GB   to  Gr a y s c a l e   i m a ge .   S t e p   3:   Ob t a i ni ng  t h e   hi s t o gr a m   f r o m   t h e   or i g i na l   im a ge .   S t e p   4:    C o m pa r e   t h e   pe r f o r m a n c e   pa r a m e t e r s   i m a ge 's   pe r f o r m a n c e   pa r a m e t e r s   to   t h e   o r i g i na l   im a g e ' s .   S t e p   5:   A ppl y   a   2 D   c o n v o l u t i o n   Ga us s i a n   ope r a tor   th a i s   u t i l i z e d   f or   i m a ge   s m oot h i n g   a n d   n o i s e   r e m o v a l .   S t e p   6:   E a c h   p i xe l   o f   a n   im a g e   i s   e x p l o r e p i xe l   by   p i xe l ,   s ubs t i t u t i n g   e a c h   v a l u e   f o r   t h e   m e d i a v a l ue   o f   t h e   n e i g hb o r i n p i xe l s .   S t e p   7:   T h e   p i x e l - by - p i xe l   w i ndo s c a ns   t h r o ugh o u t h e   wh o l e   i m a ge .   S t e p   8:   T h e   m e d i a n   v a l ue   i s   c a l c u l a t e wh e n   t h e   p i xe l s   o f   t h e   w i n do a r e   f i r s t   s o r t e i n to   n u m e r i c   o r de r   a n t h e n   t h e   p i x e l   i s   r e p l a c e w i t h   t h e   m e d i a n   v a l u e .   S t e p   9:   A pp ly   V i o l a   j o n e s s   a l go r i t hm   f o r   f a c e   de t e c t i o n .   S t e p   10:   I m a ge   r e c o n s t r uc t i o n   by   i nve r s e   o f   m o d i f i e DC T .   S t e p   11:   I ni t i a l   f r a m e   i s   f i r s t   s e l e c t e d.   S t e p   12:   S e v a l u e s   l e s s   t h a n   to   0   i n   DC T   m a t r i x .   S t e p   13:   T h e n   e a c h   o f   t h e   f r a m e s   i s   c o m pa r e w i t h   t h e   f i r s t   f r a m e .   S t e p - 14 :   T h e   f r a m e   w i t t h e   o bj e c t   a n t h e   e m pt y   f r a m e   a r e   s u b t r a c t e us i n t h e   bi na r y   s e g m e n t a t i o n   w i t m o r p h o l o g i c a l   o pe r a t i o n s   t o b t a i n   t h e   i m a ge   o f   t h e   o bj e c t   a l o ne .   Evaluation Warning : The document was created with Spire.PDF for Python.
                                  I S S N :   2502 - 4752   I n do n e s i a n   J   E l e c   E n &   C o m S c i ,   Vo l .   25 ,   N o .   3 M a r c h   20 22 1406 - 1419   1414   S t e p   15:   A pp ly   t h e   Ga b o r   f il t e r .   S t e p   16:   C r e a t e   t h e   gr a y   l e v e l   c o - o c c ur r e n c e s   m a t r i c e s   ( GL C M s ) .   S t e p   17:   De r i v e   S t a t i s t i c s   f r o m   GL C M .   S t e p   18:   T e s t   f e a t ur e   =   [ M e a n ,   S t a n da r De vi a t i o n ,   E n t r o py ,   R M S ,   Va r i a n c e ,   S m o ot h n e s s ,   K ur to s i s ,   S ke wn e s s ,   I DM ,   Ga b   m e a n s ,   Ga b _ m a x ,   Ga b _ m i n] ;   S t e p   19:   T h e s e   f e a t ur e   v e c t or s   i . e   f a c i a l   t e x t ur a l   po i n t s   a r e   f e a s   i nput   to   t h e   de e c o nv o l ut i o na l   n e ur a l   n e t wo r ks .   T h e   L B P   f a c i a l   f e a t ur e s   w i ll   b e   f e to   t h e   i n put   l a y e r .   S t e p   20:   T h e   o u t pu t   f o r   t h e   n e ur o n s   a s s o c i a t e w i t h   t h e   i nput   l o c a l   r e g i o ns   w i ll   b e   de t e r m i ne by   t h e   c o n v o l ut i o n a l   l a y e r   t h r o ugh   t h e   c o m put a t i o n   o f   a   s c a l a r   pr o duc t   b e t we e n   t h e   r e g i o ns   a s s o c i a t e w i t h   t h e   v o l u m e   o f   t h e   i n put   a n t h e   we i g h t s   o f   t h e   n e ur o n s .   S t e p   21:    T h e   po o l i n l a y e r   t h e n   do wns a m p l e s   t h e   i nput ,   r e duc i n t h e   n u m be r   o f   pa r a m e t e r s   f o r   t h a pa r t i c u l a r   a c t i v a t i o n .   S t e p   22:   T h e   f u ll y   c o nn e c t e l a y e r   w il l   t he n   ge n e r a t e   s c o r e s   f o r   t h e   c l a s s e s   ( b a s e o t h e   a c t i v a t i o ns )   t h a t   w i ll   b e   us e i n   t h e   c l a s s if i c a t i o n   pr o c e s s .   S t e p   23:   De f i ne   t h e   n e t wo r k   l a y e r s .   S t e p   24:   S pe c i f y   t h e   t r a i ni ng  o pt i o n s .   S t e p   25:   Tr a i n   t h e   ne t wor us i n t r a i ni ng  da t a .   S t e p   26:   A pp lyi ng  c o nf u s i o m a t r i t o   i n t e r pr e t e pe r f o r m a n c e   ( i . e . ,   a c c ur a c y ,   s e n s i t i v i t y ,   s pe c if i c i t y ,   r e c a l l ,   a n pr e c i s i o n )           F i g ur e   5.   P r o p o s e a r c hi t e c t ur e       4.   RE S UL T S   AN DI S CU S S I ONS   T hi s   s e c t i o n   e x p l a i ns   t he   a n a ly s i s   o f   t h e   s im u lat i o n   r e s u l t s   a n pe r f o r m a n c e   e v a l ua t i o o f   t h e   pr o p o s e m e t h o do l o g y .   T h e   pr o p o s e D - C NN   m e t h o i s   im p l e m e n t e i t h e   M A T L A B   pr o gr a m mi ng   l a n gua ge .   T h e   da t a s e t   i s   c o l l e c t e f r o m   t h e   publi c   r e po s i t or y ,   na m e e x t e n de c o hn   ka na de   ( C K + )   t h a t   c o n t a i ns   f a c e   i m a ge s   e x pr e s s i n h a pp i ne s s ,   s a d n e s s ,   a n g e r ,   a n s o   o n .   T h e   da t a s e t   c o n s i s t s   o f   593  i m a ge s   w i t h   123  c o nc e pt s .   E a c h   i nput   vi de o   ha s   a   d i f f e r e n t   f a c i a l   e x pr e s s i o n   f r o m   n e ut r a l   t o   pe a l e ve l s   w i t h   640x 490  o r   640x 480  p i xe l s .   I ni t i a l ly ,   t h e   da t a s e t   i s   s p l i t   i n t o   t r a i ni ng  a n t e s t i n da t a s e t s .   T h e   D - C N m a ke s   us e   o f   t r a i ni ng  da t a s e t s   a n f ur t h e r ,   i t   i s   e v a l u a t e f r o m   t h e   t e s t i n d a t a s e t .   T h e   pr o p o s e D - C NN   i s   c o m pa r e w i t h   t h e   e xi s t i n S VM .     F i g ur e   pr e s e n t   t h e   i nput   i m a ge ,   w hi c i s   s e l e c t e f r o m   t h e   t e s t i n d a t a s e t .   F i g ur e   7   pr e s e n t s   t h e   im a ge   e nh a nc e m e n t   pr o c e s s .   I t   i s   t h e   f i r s t   s t e o f   t h e   i m p l e m e n t a t i o n   pr o c e s s .   I t   e m p l o y s   a n   a ut o - e nh a nc e m e n t   m e t h o t h a t   i n c o r po r a t e s   i m a ge   b r i g h t n e s s ,   c o n t r a s t,   bl ur ,   a n s m o o t hi n e f f e c t s .   T h e   i n t e n s i t l e v e l   o f   e a c h   e f f e c t   i s   a d j u s t e r e s ul t i n i n   t h e   vi s u a l   qua li t y   o f   t h e   i m a ge .     Evaluation Warning : The document was created with Spire.PDF for Python.
I n do n e s i a n   J   E l e c   E n &   C o m S c i     I S S N:   2502 - 4752         M ult i - f e atur e   bas e automati c   f ac ial   e x pr e s s ion  r e c ognit ion  us ing  de e c onv olut ional     ( A njal i   Dix it )   1415   F i gu r e   pr e s e n t s   t h e   Ga us s i a n   f i l t e r i n pr oc e s s .   A s   we   kn ow ,   P S NR   a n d   S NR   a r e   t h e   m o s q ua l i t y   m e t r i c   e m p l o y e d   to  i n qu i r e   a b ou t h e   q ua l i t y   l e v e l   of   a n   i m a ge .   T hi s   p r o c e s s   r e d uc e s   t h e   bl u r r i n e s s   o f   t h e   i m a ge .   B y   d o i n s o,   th e   c o n tr a s a n d   e d ge   o f   t h e   i m a ge   a r e   p r e s e r v e d .   T h e   P S NR   v a l ue   i s   4 6 . 9 59 4   a n d   S NR   i s   4 0 . 61 13 .     T h e   F i g ur e   pr e s e n t s   t h e   a da pt i v e   m e a n   f il t e r i n pr o c e s s .   I t   e l im i na t e s   t h e   s a l t - a n d - pe ppe r   n o i s e   th a e n h a n c e s   t h e   qu a l i t y   o f   n o n - n o i s e   pi x e l s .   T he   P S NR   v a l ue   i s   3 8 . 7 07 2   a n d   S NR   i s   3 2 . 3 59 1 .   F i gur e   10   r e pr e s e n t s   t h e   W i e n e r   f il t e r   pr o c e s s .   I t   r e m o v e s   t h e   a dd i t i v e   a n s pe c t r a   n o i s e   u n de r   a   r a n do m   pr o c e s s .   T he   P S NR   v a l ue   i s   9. 1759  a n S NR   i s   2. 8278.               F i gur e   6.   I n put   i m a ge   F i gur e   7.   I m a ge   e nh a n c e m e n t   pr o c e s s           F i gur e   8.   Ga us s i a n   f il t e r i ng  pr o c e s s         F i gur e   9.   T h e   a da pt i ve   m e a n   f il t e r i ng  pr o c e s s               F i gur e   10.   W i e ne r   f il t e r   pr o c e s s       F i gur e   11  r e pr e s e n t s   t h e   s e g m e n t a t i o n   pr o c e s s .   He r e ,   t h e   f a c e   r e g i o n   i s   e x t r a c t e f r o m   o t h e r   b a c kgr o un im a ge s .   B y   t h e   a pp li c a t i o n   o f   t h e   VJ   t e c hni que ,   t h e   f a c e   i m a g e   i s   c r o ppe wi t h   t h e   b e s t   f e a t ur e s   m o de l .   F i gur e   12  pr e s e n t s   t h e   i nve r s e - D C T   t h a e x a c t l y   c r o ps   t h e   f a c i a l   po i n t s   f o r   i de n t i f yi ng  t h e   f a c i a l   e x pr e s s i o n .   F i na ll y ,   t h e   o ut pu t   o f   i nve r s e - DC T   i s   f e i n t t h e   D - C NN   t h a t   r e c o gni z e s   g i ve n   f a c i a l   e xpr e s s i o i . e . ,   a n ge r ,   whi c h   i s   s h o wn .     Evaluation Warning : The document was created with Spire.PDF for Python.