I AE S In t er na t io na l J o urna l o f   Art if icia l In t ellig ence   ( I J - AI )   Vo l.   10 ,   No .   4 Dec em b er   202 1 ,   p p .   8 8 9 ~ 9 0 0   I SS N:  2 2 5 2 - 8938 ,   DOI : 1 0 . 1 1 5 9 1 /i j ai. v 10 .i 4 . p p 8 8 9 - 900     889       J o ur na l ho m ep a g e h ttp : //ij a i . ia esco r e. co m   Facia l e m o tion re co g nition  using  d eep conv o lutiona l neural  netw o rk  and s m o o thing,   m ix tur e f i lters applied  duri ng   prepro cess ing  sta g e       P ra g ny a ba M is hra ,   P .   V .   V .   S .   Srini v a s   De p a rtme n o f   CS E,   Ko n e ru   L a k s h m a iah   Ed u c a ti o n   F o u n d a ti o n ,   Va d d e sw a r a m ,   G u n tu Distr ict,   A n d h ra   P ra d e s h ,   I n d ia       Art icle  I nfo     AB ST RAC T   A r ticle  his to r y:   R ec eiv ed   Oct  2 0 ,   2 0 2 0   R ev i s ed   Sep   1 8 ,   2 0 2 1   A cc ep ted   Oct   1 2021       T h e   f a c ial  e m o ti o n   re c o g n it io n   b y   th e   m a c h in e   is  a   c h a ll e n g in g   tas k .   F ro m   d e c a d e s,  re se a r c h e rs  a p p li e d   d if fe re n m e th o d to   c las sify   fa c ial  e m o ti o n   in t o   th e   d if f e r e n c las se s.  T h e   e x p a n si o n   o f   a rti f icia in telli g e n c e   in   a   f o rm   o f   d e e p   c o n v o lu ti o n a n e u ra n e tw o rk   (CNN )   c h a n g e d   th e   d irec ti o n   o f   t h e   re se a rc h .   T h e   f a c i a e m o ti o n   re c o g n it io n   u sin g   d e e p   CNN   is p o we r f u in   term s o tak in g   b u lk   in p u t   im a g e f o p ro c e ss in g   a n d   c las sify   w it h   h ig h   a c c u ra c y .   It  h a b e e n   n o ti c e d   i n   a   f e w   c a se th e   c la s sif ica ti o n   m o d e d o e n o j u d g e   th e   f a c ial  im a g e i n to   a p p r o p riate   c las se d u e   to   th e   i n f lu e n c e   o f   n o ise s.  S o ,   it   is  h ig h ly   re c o m m e n d e d   to   a p p ly   a   n o ise les i m a g e   to   th e   f a c ial  e m o ti o n   re c o g n it io n   m o d e f o c las sif i c a ti o n .   W e   a d o p ted   a   m e c h a n is m   a n d   p ro p o se d   a   m o d e f o r   c las si fy in g   f a c ial  i m a g e   in to   o n e   o f   th e   se v e n   c las se w it h   h ig h   a c c u ra c y .   T h e   im a g e s   a re   s m o o th e d   b e f o re   a p p ly in g   to   th e   m o d e b y   d iff e r e n s m o o th i n g   p ro c e ss   a p a rt  o f   i m a g e   p re p ro c e ss in g .   W e   c lai m   f a c ial  e m o ti o n   re c o g n it io n   w it h   i m a g e   s m o o th in g   b y   d iff e r e n f il ters   o a   m i x tu re   o f   f il ter  a r e   m o re   ro b u st   th a n   w it h o u p re p ro c e ss in g .   T h e   d e tail  is ex p lain e d   i n   t h e   su b se q u e n se c ti o n s .   K ey w o r d s :   C las s i f icatio n   Dee p   co n v o lu tio n al  n e u r al  n et w o r k   Facial  e m o tio n   r ec o g n it io n   I m ag s m o o th in g   T h is i a n   o p e n   a c c e ss   a rticle   u n d e th e   CC B Y - SA   li c e n se .     C o r r e s p o nd ing   A uth o r :   P r ag n y ab an   M is h r a   Dep ar t m en t o f   C SE   Ko n er u   L ak s h m aia h   E d u ca tio n   Fo u n d atio n   Vad d es w ar a m ,   Gu n t u r   Dis tr ic t,  An d h r P r ad esh ,   I n d ia,   5 2 2 5 0 1   E m ail:  p r ag n y ab a n @ k l u n iv er s it y . i n       1.   I NT RO D UCT I O N   I m ag is   a   s et  o f   p i x els,  r ep r esen ted   b y   t h f u n ctio n   ( , )   s u c h   t h at,     (  )   an d    (  )   o f   an   i m a g h av in g   t h s ca lar   q u an ti t y ,   i s   eq u i v ale n to   t h a m o u n o f   en er g y   r ad iated   f r o m   t h p lace   i m ag i s   tak en .   Su p p o s ( , )   d esig n ates  a n   i m a g o f   co n ti n u o u s   v ar iab les  w h ic h   i s   co n v er ted   in to   d ig ital  i m ag i n   f o r m   o f   ( , )   w h er { 0 , 1 , 2 , . . , M 1 }   an d   { 0 , 1 , 2 , . . , N 1 }   Her M,   ar th e   len g t h   a n d   b r ea d th   o f   th d i g ital   i m ag e.   Fo llo w i n g   i s   t h m atr ix   r ep r esen tat io n   o f   ab o v e   i m ag e   d ef in i tio n   i n   ( 1 ) :     ( , ) = ( ( 0 , 0 ) ( 0 , 1 ) ( 1 , 0 ) ( 1 , 1 ) )   ( 1 )     Her e,   ea ch   o f   ( , )   r ep r es en ts   s p atiall y   to   p ix el  o f ( , ) .   Fo r   ev er y   p ix el  ( , )   s u c h   th at   0 , , .   T h f o u r   n ei g h b o r in g   p ix els  o f   a n y   o f   t h p ix els   ( , )   ar r ep r esen ted   b y   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8938     I n t J   A r ti f   I n tell Vo l.  10 ,   No .   4 Dec em b er   202 1 :    8 8 9   -   900   890   ( + 1 , ) , ( 1 , ) ,   ( , + 1 ) , ( , 1 ) .   Of te n ,   t h i m ag ca n n o b an al y ze d   i n   tr u s e n s d u to   its   b ad   q u alit y   a n d   a m o u n t o f   th n o is p r esen t [ 1 ] .   T h co r r u p ted   i m ag i s   p r esen ted   as ( 2 ) :     ( , ) = ( , ) + ( , )   ( 2 )     w h er ( , ) : N o is eles s   i m ag a n d   ( , ) : N o is es p r esen t i n   t h i m a g e.     T h p r esen ce   o f   n o is co r r u p t s   p ar tiall y   o r   in   a   r eg u lar l y   at   d if f er en p o r tio n s   o f   th e   i m a g e.   A s   r esu lt,  t h i m a g k n o w led g e x tr ac tio n   m a y   n o b i n   tr u e   s en s e.   Fo r   r ec o v er y ,   th q u al it y   o f   t h i m a g f r o m   t h n o is i m a g f ilter i n g   is   u s ed .   A cc o r d in g   to   [ 2 ]   th er ar s ev er al  f ilter s   li k a v er ag e,   m ed ian ,   g au s s ia n ,   an d   b ilater al  ar u s ed   to   s m o o th   t h i m a g e.   I n   th is   s it u atio n   t h co n v o l u tio n   is   u s ed   an d   i s   r ep r esen ted   b y   o p er ato r     ap p lied   o n   ( , )   w it h   th i m p u l s r esp o n s o f   ( , )   cr ea te  s m o o t h   i m a g e   ( , )   ex p lain ed   as ( 3 ) .     ( , ) = ( , ) ( , ) = ( , ) ( , )   + +   ( 3 )     [ , ] = [ , ] [ , ]   ( 4 )     T h h u m a n   f ac r ep r esen t s   s o m s e n s ib le  in f o r m a tio n   w h ic h   ch a n g e s   f r o m   ti m to   ti m [ 3 ]   w it h   ex ter n al  o r   in ter n al  i n f lu e n ce .   I n   th i s   ar ticle  w h a v d e m o n s tr ated   th f ac ia e m o tio n   r ec o g n i tio n   m o d el  b y   ap p ly i n g   ar ti f icial   in telli g en c e.   T h in p u t   to   t h is   m o d el   is   f il ter ed   b y   d i f f er e n f il ter s   a s   p ar o f   i m a g e   p r ep r o ce s s in g   th at  lead   b y   h i g h er   ac cu r ac y   co m p ar ed   w it h o u s m o o t h in g .   T h f ac ial  e m o tio n   r ec o g n itio n   b eg in s   f r o m   Dar w in ,   [ 4 ]   s aid   th er ar 4 0   h u m a n   e x p r ess io n s   cu r v es   h u m a n   f ac p o s e s   af ter   p er ce iv i n g   in p u t s   f r o m   t h en v ir o n m e n t.  T h ac tio n   u n it s   [ 5 ] ,   [ 6 ]   o f   th f ac ar th f u n d a m en ta u n it  o f   th ex p r es s io n   w h ic h   co n tai n   s e n s i tiv i n f o r m atio n   o f   ex p r ess io n .   C o n v o lu tio n al  n eu r al  n et w o r k   ( C NN)   co n s is o f   co n v o lu tio n al  la y er ,   p o o lin g   lay er   an d   f u ll y   co n n ec ted   n et w o r k   [ 7 ]   is   th m o s i n t er esti n g   to o an d   tech n o lo g y   t h at,   p r o d u ce s   p r o m i s i n g   r es u lt  [ 8 ]   f o r   an y   h i g h - lev el   s cie n ti f ic   co m p u tatio n   [ 9 ] ,   [ 1 0 ] .   C o n v o lu tio n al  n e u r al  n e t w o r k s   ar n o o n l y   f o r   f ac ial  e m o tio n   r ec o g n itio n   th at  w ap p lied   in   th u n d er   d escr ib ed   r esear ch ,   b u a ls o   i n   s ev er al  c lass if icatio n s   s u c h   as  h u m a n   d is ea s cla s s i f icatio n   [ 1 1 ] ,   [ 1 2 ] ,   an d   pl an d is ea s cla s s i f icatio n   [ 1 3 ] .   B ef o r d e ep   C NN  q u ite  p o p u lar ,   th i m a g cla s s i f icatio n   u s es  d i f f er e n t   m ac h in e   lear n i n g   al g o r it h m s   an d   m eth o d s   to   cla s s i f y   i n   a p p licatio n s   l ik e   b r ain   tu m o r   [ 1 4 ] ,   [ 1 5 ] ,   P lan d is ea s [ 1 6 ] ,   [ 1 7 ]   an d   o th er   [ 1 8 ] ,   [ 1 9 ] .   W h av ad o p ted   d ee p   C NN  in   o u r   r esear ch .   T h in p u t o   th ar ch itect u r is   p r ep r o ce s s ed   f ac ial   i m a g w h ic h   i s   f il ter ed   b y   v ar io u s   f ilter s   [ 2 0 ]   as  r esu lt  t h e   q u alit y   o f   th i m a g is   e n h a n ce d .   Fil ter s   h av e   d if f er e n m ea s u r es  f o r   s m o o t h in g   t h i m ag b y   r e m o v i n g   i m p u l s n o i s as  p er   th f u n ctio n   it  u s es.  T h e   co n v o lu tio n al  n eu r al  n e t w o r k   ac ce p ts   s m o o th ed   i m a g an d   tr ain   an   ar tif icia in tel lig e n ce   m o d el  f o r   f ac ial   e m o tio n   r ec o g n itio n   t h at  is   eith er   h ap p y ,   s ad ,   f ea r ,   d is g u s t,  n eu tr al,   s u r p r is an d   an g r y .   I n   th g en e r al   co m p le x it y   o f   t h m o d el  in cr e ases   a n d   ac cu r ac y   d ec r ea s es   a s   n u m b er   o f   t h c lass e s   i n cr ea s es  t h at  ar m o r ch alle n g i n g .   W claim   o u r   m o d el  s to o d   w ell  f o r   w id v ar iet y   o f   e m o tio n   class i f i ca tio n   w ith   h ig h   ac cu r ac y .   T h p r im ar y   in p u to   f ac ial  em o tio n   r e co g n itio n   m o d el  is   an   i m a g e.   T h tr ain in g   o f   t h e   m o d el  i s   in f lu e n ce d   d ep en d in g   o n   th a m o u n o f   n o i s es  ar in   t h im ag e s .   I is   b eliev ed   th at  t h s m o o th ed   i m ag i s   m o r e   r o b u s th a n   n o t.  T h f ilt er s   th a s m o o th   i m ag e s   ar a v er ag e,   m ed ia n ,   g a u s s ian   an d   b ilat er al  ea ch   f ilter   h av it s   o w n   p r o s   an d   co n s .   Ho w e v er ,   m o s o f   t h e m   ca n n o w ell  r ec o v er   h ea v y   n o is e   co r r u p ted   im a g w it h   n o is d en s it y   ab o v 7 0 to   p r eser v th d etailed   in f o r m atio n   o f   an   i m a g [ 2 1 ] .   T h m ed ian   f ilter   a n d   its   d if f er e n v ar ia n t s   ar ex te n s iv el y   u s ed   [ 2 2 ]   to   r ed u ce   th e   i m p u ls n o is f r o m   g r a y s ca l i m a g es  a n d   th p er f o r m a n ce   is   i n cr ea s ed .   Av er ag in g   t h p i x el  i n te n s i ties   with   r esp ec t   to   t h s ize   o f   th e   f i lter   is   a   co m m o n   m et h o d   f o r   s m o o th i n g   t h i m ag e,   b u t   f u zz y   a v er ag i n g   [ 2 3 ]   r ed u ce s   i m p u ls es   i n   lar g w a y .   I d en ti f y   t h e   p ix els  b elo n g i n g   to   th e   b o r d e r s ,   th e n   ap p l y   r ed u ce d   s m o o th in g   a n d   ap p l y i n g   m o r i n t en s s m o o t h i n g   to   th r e m ai n i n g   p ix els p r o d u ce d   s tan d ar d   r esu lt [ 2 4 ]   in   th u l tr aso u n d   i m ag ap p licatio n .   T h m ed ian   f ilter i n g   is   g o o d   ch o ice  o f   n o is r ed u ctio n .   An   i m p r o v ed   m ed ian   f ilter i n g   al g o r ith m   [ 2 5 ]   u s es  t h co r r elatio n   o f   th i m a g to   p r o ce s s   t h f ea t u r es  o f   t h f ilter i n g   m as k   o v er   t h i m a g e.   Me d ia n   f ilter i n g   b ased   o n   co m b i n ed   f ea tu r es  o f   d if f er en t   i m ag t h at ,   co n s is t   o f   j o in co n d i tio n al  p r o b ab ilit y   d en s it y   f u n ctio n s ,   p r in cip al  co m p o n e n t a n al y s i s   is   u s ed   to   r ed u ce   th e   d i m en s io n   is   p er f o r m in g   o n   t h u n co m p r es s ed   i m a g d ata s ets.  A   n e w   p r o p o s ed   m e th o d   [ 2 6 ]   u s es  m ed ian   f ilter   u s i n g   p r io r   in f o r m atio n   to   ca p tu r n atu r al   p ix els  f o r   r esto r atio n ,   th is   m eth o d   r esto r es  co r r u p ted   im a g es  w it h   9 9 lev el  o f   s a lt - a n d - p ep p er   i m p u ls e   n o is e.   S w itc h i n g   a m o n g   t h m ed ian   an d   m ea n   [ 2 7 ]   b y   d etec t in g   f i lter   i s   p r o v ed   m et h o d   o f   s m o o t h in g .   Gau s s ia n   f u n ctio n   u s ed   f o r   g a u s s ian   b lu r   [ 2 8 ] ,   is   k i n d   o f   n o r m al  d is tr ib u tio n .   T h o r ig i n al  p ix e l   h av i n g   t h h i g h est i n te n s i t y   i s   r ep lace d   b y   m a x i m u m   g a u s s ia n   w ei g h t a n d   p r o p o r tio n ally   th lo w er   in ten s it y   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J   A r ti f   I n tell   I SS N:  2252 - 8938         F a cia l e mo tio n   r ec o g n itio n   u s in g   th d ee p   c o n vo l u tio n a n e u r a l n etw o r a n d   ( P r a g n ya b a n   Mis h r a )   891   is   r ep lace d   b y   lo w   g au s s ia n   w ei g h t.  T h r ev ie w   ar ticle  [ 2 9 ]   is   g o o d   c o llectio n   o f   g au s s ia n   f iler s   u s ed   i n   d if f er e n t a p p licatio n s   a n d   ex p l ain ed   th ad v a n ta g es o f   t h i s   f i l ter   w it h   r esp ec t to   o th er s .   T h n o is r ed u ctio n   alo n g   w i th   p r eser v i n g   ed g in f o r m at io n   [ 3 0 ]   s m o o t h in g   ac h iev e s   u s in g   t h e   [ 3 1 ]   b ilater al  f ilter .   Her th in ten s it y   o f   ea ch   o f   t h p ix el  is   s u b s tit u ted   b y   w ei g h t ed   av er ag o f   an   in te n s it y   ca lc u lated   f r o m   t h n ea r b y   p ix el s .   T h f r a m e w o r k   f o r   im a g d en o is i n g   [ 3 2 ]   an d   s u p p r ess es  m ix ed   n o is i n   co lo r   i m a g e s   [ 3 3 ]   ar f e w   o f   t h ad v a n ce   e x a m p l u s in g   th e   b ilater al  f ilter .   T h e   r e m ai n i n g   o f   th p ap er   is   o r g an ized   in to   th s e ctio n s   as:  Sec tio n   2 R esear c h   m eth o d ,   s ec tio n   3 R e s u l an d   d is cu s s io n   an d   s ec tio n   4 : Co n c lu s io n .       2.   RE S E ARCH   M E T H O D     2 . 1 .     Da t a s et   des cr iptio n   T h r en o w n ed   d atasets   FER 2 0 1 3   an d   C K4 8 d ata s ets  a r u s ed   f o r   ex p er i m e n tatio n   in   t h e   p r o p o s ed   m o d el.   C K4 8 +,   Fer 2 0 1 3   d ata s ets  co n s i s t s   o f   3 5 4 0 ,   3 5 8 8 7   im a g es  r elate d   to   s e v en   d i f f er en f ac ial   ex p r ess io n s   s u ch   a s   h ap p y ,   an g r y ,   s ad ,   s u r p r is e,   n e u tr al,   d is g u s t,  an d   f ea r ,   r esp ec tiv e l y .   All  th i m ag e s   ar n o r m alize d ,   s ta n d ar d ized   b y   u s in g   s tan d ar d izatio n   a n d   n o r m aliza tio n   tec h n iq u es,  al t h i m ag e s   ar r esized   in to   f i x ed   d i m e n s io n   o f   4 8 X4 8   to   m ain tain   u n i f o r m it y .     2 . 2 .     F ilte r   des cr iptio n   T h b asic  f o cu s   o f   o u r   r esear ch   is   to   o b s er v f ac ia e m o tio n   class i f icat io n   an d   it s   a cc u r ac y   ac h iev e m e n t s   f o r   s m o o t h ed   in p u i m a g es.  T h i m a g es  u n d er g o n t h r o u g h   d if f er e n s m o o t h in g   p r o ce s s   an d   o b s er v atio n   is   tab u lated   in   ex p er im e n tal  s ec t io n .   Fo r   s m o o th i n g   t h i m a g es,  h y b r id   s m o o t h i n g   f ilter   is   p r o p o s ed   w h ic h   is   f o r m ed   b y   t h co m b i n atio n   o f   av er ag e,   m ed ia n ,   g a u s s ian ,   b ilater al   f ilter s   an d   t h eir   p er f o r m a n ce s   ar co m p ar ed .   T h eq u atio n s   u s ed   in   ea ch   o f   th f ilter s   ar as  m en tio n ed   is av er ag f ilter in g   in   ( 5 ) ,   m ed ia n   f ilter in g   i n   ( 6 ) ,   g au s s ia n   i n   ( 7 )   f o r   1 an d   in   ( 8 )   f o r   2 D,   b ilater al  in   ( 9 ) ,     ( , ) =   1 = 1 1     1 = 1   ( + , + )     ( , ) =   1   1 = 1 1 = 1 ( , )   ( 5 )     ( , ) =  { ( ( + , + ) | ( , ) )}   ( 6 )     ( ) = 1 2 2 2 2 2   ( 7 )     ( , ) = 1 2 2 ( 2 + 2 ) 2 2   ( 8 )        = 1         ( ) (  ( ( ) ( ) ) (  ( ) )     =   (  ( ( ) ( ) ) (  ( ) )   ( 9 )     2 . 3 .     M o del descript io n   I n   th d e v is ed   m o d el  f ac ial   e m o tio n   r ec o g n itio n   i m ag d ata s et  is   ta k en   a n d   is   co n v e r ted   to   h y b r id   i m a g s et  b y   ap p l y in g   v ar io u s   s m o o t h in g   tec h n iq u es.   Step   1 : I n itia ll y ,   n   r a n d o m   i m ag es  f r o m   th e   i m ag e   s et  is   s ele cted   b y   u s i n g        f u n ctio n   p r o p o s ed   in   th alg o r it h m .   Step   2 A v er a g f ilter i n g   i s   a p p lied   o n   th r a n d o m l y   s elec t ed   i m a g es  a n d   t h r es u lted   i m ag es  ar s to r ed   in   h y b r id   i m a g s et,   t h r an d o m   i m ag e s   s elec ted   ar r e m o v ed   f r o m   t h o r ig i n al  i m a g s et.     Step   3 T h s a m p r o ce s s   i s   r e p ea ted   b y   u s i n g   m ed ian ,   g au s s ian ,   an d   b ilater al  f il ter s   an d   h y b r id   i m ag s et   is   f o r m ed   f r o m   d if f er en t f i lter ed   im a g e s .   Step   4 : A s s i g n   lab els to   t h r esu lted   h y b r id   i m a g s et    Step   5 : D iv id th h y b r id   i m a g s et  i n   th r atio   o f   8 0 :1 5   f o r   tr ain i n g   a n d   test i n g   p u r p o s e   Step   6 T r ain   th e   p r o p o s ed   C NN  m o d el  w it h   s e lecte d   i m a g es  f o r   tr ai n i n g   an d   e v al u ate   w it h   t h i m a g es   s elec ted   f o r   test i n g   f o r   tr ain i n g   an d   ev al u atio n .     2 . 3 . 1 .   Alg o rit h m   T h s tag e s   i n   th e   al g o r ith m   i l lu s tr ate   t h p r o ce s s   in   ev a lu at in g   f ac e   p ictu r e   as  a n   in p u t   in to   an   e m o tio n   clas s .   T h alg o r ith m   u s es  th r ee   f u n ctio n s h y b r id   f ilter in g ,   r an d Select,   an d   FacE m o R ec .   T h e   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8938     I n t J   A r ti f   I n tell Vo l.  10 ,   No .   4 Dec em b er   202 1 :    8 8 9   -   900   892   h y b r id   f ilter i n g   f u n c tio n   ch o o s es  p ictu r es  t h at  ar f ilter ed   u s i n g   av er ag e,   m ed ian ,   b ilate r al,   an d   g au s s ian   m et h o d s .   FacE m o R ec   cla s s i f i es  p h o to s   b ased   o n   e m o tio n   u s i n g   th r an d Se lect  f u n ctio n ,   w h ich   r a n d o m l y   p ick s   p h o to s   f r o m   t h o r ig in a l   d ataset  o n   w h ic h   f ilter i n g   s h o u ld   b d o n e.     Alg o rit h m   1   I n p u t : I m a g e   S e t   C o n s i s t i n g   o f   S e v e n   D i f f e r e n t   F a c i a l   E x p r e s s i o n s   O u t p u t : H y b r i d   I m a g e   S e t   A f t e r   A p p l y i n g   D i f f e r n t   F i l t e r i n g   T e c h n i q u e s   H y b r i d   F i l t e r i n g   A l g ( I m a g e   S e t [   ] )   H y b r i d I m g S t [   ] = { ϕ }   B e g i n   i f   l e n ( I m a g e S e t [   ]   t h e n   //   B e g i n i f                                     f o r   a l l   t h e   i m a g e s   i n   I m a g e S e t   res iz e ( Im ag eS et ], 48 ,4 8) / /Re si ze al im ag es   i nto   si ze   o f   4 8 X 4 8           N o r m a l i z e ( I m a g e S e t [   ] ) / / N o r m a l i z i e s   a l l   t h e   i m a g e s   l = l e n ( I m a g e S e t [   ] )     w h i l e ( l > 0 )   B e g i n l o o p             img i [   ] = r a n d S e l e c t ( I m a g e S e t [   ] , l )             img fi [   ] = A v g F i l t e r ( i m g i [   ] , ( 3 , 3 ) )     H y b r i d I m g S t [   ] = H y b r i d I m g S t [   ]   i m g fi [   ]   I m a g e S e t = I m a g e S e t - i m g i [   ]   l = l - l e n ( i m g i [   ] )   img j [   ] = r a n d S e l e c t ( I m a g e S e t [   ] , l )   img fj [   ] = M e d i a n F i l t e r ( i m g j [   ] , ( 3 , 3 ) )   H y b r i d I m g S t [   ] = H y b r i d I m g S t [   ]   i m g fj [   ]   I m a g e S e t = I m a g e S e t - i m g j [   ]   l = l - l e n ( i m g j [   ] )   img k ]= ra nd Se le ct ( I ma ge Se t [ ] , l )   img fk [   ] = G a u s s i a n F i l t e r ( i m g k [   ] , ( 3 , 3 ) )   H y b r i d I m g S t [   ] = H y b r i d I m g S t [   ]   i m g fk [   ]   I m a g e S e t = I m a g e S e t - i m g k [   ]         l = l - len ( i m g k [   ] )   img fl [   ] = B i l a t e r a l F i l t e r ( I m a g e s e t [   ] , ( 3 , 3 ) )   H y b r i d I m g S t [   ] = H y b r i d I m g S t [   ]   i m g fl [   ]   I m a g e S e t = I m a g e S e t - I m a g e S e t [   ]   l = l - l e n ( I m a g e S e t [   ] )   E n d l o o p   E n d i f   End   r a n d S e l e c t ( I m a g e S e t [   ] , l )   B e g i n _ F u n c t i o n   d o _ l o o p   n = r a n d I n t (   )   whi le ( n > l   )   r e t u r n   ( r a n d ( I m g [ n ] ) )   E n d _ F u n c t i o n   I n p u t : H y b r i d I m g S t   C o n s i s t i n g   I m a g e s   o f   S e v e n   D i f f e r e n t   F a c i a l   E x p r e s s i o n s   A f t e r   F i l t e r i n g   O u t p u t : C l a s s i f i c a t i o n   o f   I m a g e s   B a s e d   O n   E x p r e s s i o n   T y p e   F a c E m o R e c ( H y b r i d I m g S t ) / / E m o t i o n   R e c o g n i z i n g   M o d e l   B e g i n   l = l e n ( H y b r i d I m g S t )   f o r   i   i n   to   l   B e g i n   L a b I m g S t L a b e l ( H y b r i d I m g S t [ img i ] ) / / A s s i g n s   L a b e l s   t o   I m a g e s   T r S t , T s S t S p l i t ( L a b I m m S t , 8 5 , 1 5 )   C N N   M o d e l C N N   M o d e l ( T r S t )   E v a l u a t i o n C N N   M o d e l ( T s S t )   End   r e t u r n   C l a s s i f i e d   E m o t i o n / /   C l a s s i f i e d   E m o t i o n s   w i l l   b e   r e t u r n e d   end     2 . 3 . 2 .   F lo w   cha rt   f o t he  pro po s ed  m o del   Fig u r 1   d escr ib es  th ap p licatio n   o f   d if f er en f ilter s ,   a v er ag e,   m ed ian ,   g au s s ia n ,   an d   b ilater al  to   th i m ag d ata s et  co n s is o f   f i n ite  i m a g es.  A ll  i m a g es   p ass e d   th r o u g h   d i f f er e n f ilter s   ar eq u al  t o   th to tal   n u m b er   o f   i m a g es   in   t h ac t u al  d ataset.   T h f ilter ed   i m a g es  ar ap p lied   to   t h m o d el   f o r   tr ain i n g   a n d   ev alu a tio n .   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J   A r ti f   I n tell   I SS N:  2252 - 8938         F a cia l e mo tio n   r ec o g n itio n   u s in g   th d ee p   c o n vo l u tio n a n e u r a l n etw o r a n d   ( P r a g n ya b a n   Mis h r a )   893       Fig u r 1 .   Dev elo p   m o d el  w it h   h y b r id   d ataset  w h o s p er f o r m an ce   i s   m ea s u r ed   th r o u g h   p r o p er   ev alu a tio n   p lan       3.   RE SU L T A ND  D I SCU SS I O N   Hig h   co m p u tatio n   s p ee d s   i n   ter m s   o f   g r ap h ical  p r o ce s s i n g   u n it   ( GP U) ,   ce n tr al  p r o ce s s in g   u n it  ( C P U)   an d   m e m o r y   ar r eq u i r ed   to   b u ild   h y b r id   i m a g f ilter   alg o r it h m   a n d   to   b u ild   a   C NN   m o d el   f o r   ev alu a tin g   th e   p er f o r m a n ce s   o f   t h h y b r id   i m a g f il t er   d atas et.   W to o k   t h s u p p o r o f   Go o g le  C o lab   c lo u d   s er v ice  s u p p o r f o r   d ev elo p in g   th ab o v e - m en t io n ed   m o d els.   T h co n f i g u r atio n   o f   th clo u d   s er v ice  u s ed   is   d escr ib ed   as:   Fre q u en c y   o f   C P U:  2 . 3 0   GH z,   GP Used NI VI DI A   ( 1 2 GB ) ,   Size  o f   D is k   Sp ac Su p p o r ted   2 5   GB ,   E d ito r   Used J u p ite r   No teb o o k .   C K4 8 +,   Fer 2 0 1 3   d ata s ets  th at  co n s is ts   o f   3 5 4 0 ,   3 5 8 8 7   im a g e s   r elate d   to   s ev e n   d if f er e n f ac i al  ex p r ess io n s   s u ch   a s   h ap p y ,   an g r y ,   s ad ,   s u r p r is e,   n eu tr al,   d is g u s t,  a n d   f ea r   ar co n s id er ed   f o r   ex p er i m en tatio n .   A v er a g e,   m ed ia n ,   g a u s s ia n ,   b ilater al  an d   th p r o p o s ed   f ilter   h y b r id   f ilter s   ar co n s id er ed   f o r   f ilt er in g   th e   d ataset s   a n d   t h r e s u lted   i m a g e s   ar g i v en   f o r   C NN   m o d el   f o r   ev alu a tio n .   I i s   o b s er v ed   t h at   th i m a g es  t h at  w er co n s id e r ed   as  in p u t s   to   t h C NN  m o d el  af ter   ap p l y i n g   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8938     I n t J   A r ti f   I n tell Vo l.  10 ,   No .   4 Dec em b er   202 1 :    8 8 9   -   900   894   f ilter i n g   p r o d u ce d   b etter   r esu lt s   w h en   co m p ar ed   to   t h i m a g e s   w h er f ilter i n g   is   n o t   ap p lied   p r o d u ce d   b etter   r esu lt s   w h e n   co m p ar ed   to   th i m ag e s   w h er f il ter in g   is   n o t   ap p lied .   Fig u r 2   r ep r esen ts   ac cu r ac y   an d   lo s s   co m p ar is o n s   th at   ar o b tain e d   f r o m   t h m o d el  w it h o u f il ter in g   an d   w i th   a v er ag e   an d   m ed ian   f i lter in g   tech n iq u es   ap p lied   to   C K4 8 d ataset.   Fi g u r 2 ( a )   r ep r e s en t s   tr ai n   a n d   test   lo s s   co m p ar i s o n s   w it h o u t   f ilter i n g ,   Fi g u r 2 ( b )   r ep r esen ts   tr ai n   a n d   lo s s   co m p ar is o n s   w h e n   Av er ag f ilter i n g   is   ap p lied   an d     Fig u r 2 ( c )   r ep r esen ts   tr ain   an d   test   lo s s   ap p lied   w h e n   m ed ian   f ilter i n g   is   ap p lied   o n   C K4 8 d ataset   Fig u r 3   r ep r esen t s   ac c u r ac y   a n d   lo s s   co m p ar is o n s   t h at  ar o b tain ed   f r o m   t h m o d el  w it h   g au s s ian ,   b ila ter al  an d   p r o p o s ed   h y b r id   f ilter i n g   t ec h n iq u es a p p lied   to   C K4 8 d ataset.   Fi g u r 3 ( a )   r ep r esen ts   t r ain   an d   test   lo s s   co m p ar is o n s   o g a u s s ian   f ilter in g ,   Fi g u r 3 ( b )   r ep r esen ts   tr ai n   a n d   lo s s   co m p ar is o n s   w h e n   b ilater al  f il ter in g   is   ap p lied   an d   Fi g u r 3 ( c )   r ep r esen ts   tr ain   a n d   tes lo s s   ap p l ie d   w h en   h y b r id   f ilter i n g   is   a p p lied   o n   C K4 8 d ataset .         ( a)     ( b )       ( c)     Fig u r 2 .   P er f o r m a n ce   m ea s u r es  w ith o u f ilter i n g   a n d   ap p ly i n g   a v er ag a n d   m ea n   f i lter in g   o n   C K4 8 d ataset; ( a)   p er f o r m a n ce   m ea s u r es  w it h o u t a p p l y i n g   f ilter in g   o n   C K4 8 d ataset,   ( b )   p e r f o r m an ce   m ea s u r es  af ter   ap p l y in g   a v er ag f ilter i n g   o n   C K4 8 d ata  s et  an d   ( c)   p er f o r m an ce   m ea s u r es a f ter   ap p ly in g   m ed ian   f ilter i n g   o n   C K4 8 d ataset   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J   A r ti f   I n tell   I SS N:  2252 - 8938         F a cia l e mo tio n   r ec o g n itio n   u s in g   th d ee p   c o n vo l u tio n a n e u r a l n etw o r a n d   ( P r a g n ya b a n   Mis h r a )   895     ( a)     ( b )       ( c)     Fig u r 3 .   P er f o r m a n ce   m ea s u r es a f ter   ap p l y i n g   g a u s s ian ,   b il ater al  an d   h y b r id   f i lter in g   o n   C K4 8 d ataset;  ( a)   p er f o r m an ce   m ea s u r es a f te r   ap p ly i n g   g au s s ia n   f ilter i n g   o n   C K4 8 d ataset,   ( b )   p er f o r m an ce   m ea s u r e s   af ter   ap p l y in g   b i later al  f ilter i n g   o n   C K4 8 d ata s et   a n d   ( c)   p e r f o r m an ce   m ea s u r es a f ter   ap p ly in g   h y b r id   f ilter i n g   o n   C K4 8 d ataset       T h Fig u r 4   r ep r esen t s   ac cu r ac y   an d   lo s s   co m p ar is o n s   t h at   ar o b tain ed   f r o m   th m o d el  w it h o u f ilter i n g   a n d   w it h   a v er ag e   a n d   m ed ian   f i lter in g   tech n iq u es  ap p lied   to   FE R 2 0 1 3   d ataset.   Fi g u r 4 ( a )   r ep r esen ts   tr ai n   a n d   test   lo s s   co m p ar i s o n s   w it h o u t   f ilt er in g ,   Fi g u r 4 ( b )   r ep r esen t s   tr ain   an d   lo s s   co m p ar is o n s   w h e n   Av er ag f i lter in g   is   ap p lied   an d   Fi g u r 4 ( c )   r ep r esen ts   tr ai n   a n d   test   l o s s   ap p lied   w h en   m ed ian   f ilter i n g   is   ap p lied   o n   FER2 0 1 3   d ataset .   F i g u r e   5   r e p r esen ts   ac cu r ac y   a n d   lo s s   co m p ar i s o n s   t h at   ar o b tain ed   f r o m   t h m o d el  w i th   g a u s s ia n ,   b ilater al  an d   p r o p o s ed   h y b r id   f i lter in g   tec h n iq u e s   ap p lied   to   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8938     I n t J   A r ti f   I n tell Vo l.  10 ,   No .   4 Dec em b er   202 1 :    8 8 9   -   900   896   FER2 0 1 3   d ataset.   Fig u r 5 ( a)   r ep r esen ts   tr ai n   a n d   test   lo s s   co m p ar is o n s   o f   g a u s s ian   f i lt er in g ,   Fig u r 5 ( b )   r ep r esen ts   tr ai n   an d   lo s s   co m p ar is o n s   w h e n   b ilater al  f ilter i n g   is   ap p lied   an d   F ig u r 5 ( c)   r ep r esen ts   tr ai n   a n d   test   lo s s   ap p lied   w h e n   h y b r id   f il ter in g   i s   ap p lied   o n   FE R 2 0 1 3   d ataset T ab le   1   ex p r ess es  t h p er f o r m a n ce   co m p ar ati v a n al y s i s   o f   tr ain   an d   test   ac cu r ac y ,   lo s s   an d   ti m ta k e n   f o r   ea c h   ep o ch   e x ec u tio n   o f   t h m o d el   w it h   f ilter i n g   an d   w i th o u f ilter in g   co m p ar ed   to   th p r o p o s ed   h y b r id   f ilter i n g   tec h n iq u ap p lied   o n   FER2 0 1 3   d ataset.         ( a)     ( b )       ( c)     Fig u r 4 .   P er f o r m a n ce   m ea s u r es  w ith o u f ilter i n g   a n d   ap p ly i n g   a v er ag a n d   m ea n   f i lter in g   o n   FER2 0 1 3   d ataset; ( a)   p er f o r m a n ce   m ea s u r es  w it h o u t a p p l y i n g   f ilter in g   o n   FER2 0 1 3   d ata  s et,   ( b )   p er f o r m a n ce   m ea s u r es a f ter   ap p l y in g   a v er ag f i lter in g   o n   FE R 2 0 1 3   d ata  s et  an d   ( c)   p er f o r m a n ce   m ea s u r es a f ter   ap p l y in g   m ed ian   f ilter i n g   o n   FER2 0 1 3   d ataset   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J   A r ti f   I n tell   I SS N:  2252 - 8938         F a cia l e mo tio n   r ec o g n itio n   u s in g   th d ee p   c o n vo l u tio n a n e u r a l n etw o r a n d   ( P r a g n ya b a n   Mis h r a )   89 7   T ab le  2   ex p r ess es  t h e   p er f o r m an ce   co m p ar ati v a n al y s i s   o f   tr ai n   a n d   te s t   ac cu r ac y ,   lo s s   an d   ti m e   tak en   f o r   ea ch   ep o ch   e x ec u tio n   o f   th e   m o d el  w it h   f ilter i n g   an d   w it h o u t   f i lt er in g   co m p ar e d   to   th p r o p o s ed   h y b r id   f ilter i n g   tec h n iq u ap p lied   o n   C K4 8 d atase t.  Fi g u r 6   is   b ar   ch ar t   o f   ac c u r ac y   le v els   t h at  ar o b tain ed   f r o m   th m o d el  w it h   f i lter in g   an d   w it h o u f i lter i n g   co m p ar ed   to   th p r o p o s ed   H y b r id   f ilter i n g   tech n iq u ap p lied   o n   C K4 8 an d   FER2 0 1 3   d atasets .   Fig u r e   7   is   b ar   ch ar o f   lo s s   lev els  th at  ar o b tain ed   f r o m   th m o d el  w it h   f il ter in g   an d   w it h o u f i lter in g   co m p ar ed   to   th p r o p o s ed   h y b r id   f il ter in g   tec h n iq u e   ap p lied   o n   C K4 8 an d   FER2 0 1 3   d atasets .         ( a)     ( b )       ( c)     Fig u r 5 .   P er f o r m a n ce   m ea s u r es a f ter   ap p l y i n g   g a u s s ian ,   b il ater al  an d   h y b r id   f i lter in g   o n   FER2 0 1 3   d ataset,   ( a)   p er f o r m an ce   m ea s u r es a f te r   ap p ly i n g   g au s s ia n   f ilter i n g   o n   FER2 0 1 3   d ata  s et,   ( b )   p er f o r m an ce   m ea s u r es  af ter   ap p l y in g   b ilater al  f ilter i n g   o n   FE R 2 0 1 3   d ata  s et  an d   ( c)   p er f o r m a n ce   m ea s u r es a f ter   ap p ly i n g   h y b r id   f ilter i n g   o n   FER2 0 1 3   d ataset       Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8938     I n t J   A r ti f   I n tell Vo l.  10 ,   No .   4 Dec em b er   202 1 :    8 8 9   -   900   898   T ab le  1 .   FER2 0 1 3   p er f o r m an c co m p ar ati v an al y s is   u s i n g   v ar io u s   f i lter s   F ER - 2 0 1 3   S . N o   Ty p e   o f   f i l t e r i n g   a p p l i e d   T r a i n   A c c u r a c y   T e st   A c c u r a c y   T r a i n   l o ss   T e st   l o ss   Ex e c   t i me   p e r   e p o c h   1   A v e r a g e   F i l t e r   8 6 . 2   6 1 . 8 9   0 . 3 8 3   1 . 2 0 1   1 7   S e c   2   M e d i a n   F i l t e r   8 5 . 8 1   6 2 . 5 4   0 . 9 3 4   1 . 1 6 9   1 6   S e c   3   G a u ssi a n   F i l t e r   8 6 . 3 4   6 2 . 6 7   0 . 3 8 1   1 . 1 9 3   1 6   S e c   4   B i l a t e r a l   F i l t e r   8 4 . 3 4   6 1 . 6 5   0 . 4 3 4   1 . 1 9 3   1 2   S e c   5   H y b r i d   F i l t e r   8 5 . 6 6   6 3 . 3 7   0 . 4 0 0   1 . 1 7 8   1 0   S e c   6   W i t h o u t   F i l t e r i n g   8 6 . 2 1   6 1 . 5 7   0 . 3 8 2   1 . 1 1 8   1 7   S e c       T ab le  2 .   C K4 8 p er f o r m a n ce   co m p ar ati v an al y s is   u s i n g   v a r io u s   f i lter s   C K   4 8 +   S . N o   Ty p e   o f   f i l t e r i n g   a p p l i e d   T r a i n   a c c u r a c y   T e st   a c c u r a c y   T r a i n   l o ss   T e st   l o ss   Ex e c   t i me   p e r   e p o c h   1   A v e r a g e   F i l t e r   7 8 . 3 9   7 4 . 7 6   0 . 5 2 5   0 . 4 7 0   1   S e c   2   M e d i a n   F i l t e r   7 7 . 3   7 7 . 5 9   0 . 4 6 4   0 . 4 7 4   2   S e c   3   G a u ssi a n   F i l t e r   7 7 . 3 7   7 5 . 7 1   0 . 4 6 7   0 . 4 9 1   1   S e c   4   B i l a t e r a l   F i l t e r   7 7 . 7   7 4 . 9 5   0 . 4 7 3   0 . 4 7 8   1   S e c   5   H y b r i d   F i l t e r   7 9 . 5 9   7 8 . 7 2   0 . 4 3 8   0 . 4 9 1   1   S e c   6   W i t h o u t   F i l t e r i n g   6 5 . 2   6 9 . 6 8   0 . 7 0 1   0 . 6 0 5   1   S e c           Fig u r 6 .   A cc u r ac y   co m p ar is o n s   a f ter   ap p l y in g   v ar io u s   f i lter s   o n   C K4 8 an d   FER2 0 1 3   d ata s ets           Fig u r 7 .   L o s s   co m p ar i s o n s   a f ter   ap p ly i n g   v ar io u s   f il te r s   o n   C K4 8 an d   FER2 0 1 3   d ata s ets   Evaluation Warning : The document was created with Spire.PDF for Python.