I n d on e s i an   Jo u r n al   o f  El e c t r i c al   En gi n e e r i n g   an d   C o m p u t e r   S c i e n c e   V o l .   1 5 ,   N o .   3 ,  S e pt e m b e r   2 01 9 ,   pp .   1 374 ~ 1381   IS S N :   2502 - 4752 ,   D O I :   10. 1 1591 / i j e e c s . v 1 5 .i 3 . pp 137 4 - 1381             1374       Jou r n al   h o m e pa ge :  ht t p: / / i ae s c or e . c om / j our na l s / i nde x . php/ i j e e c s   E m o t i o n a l   sp e e c h   f e a t u r e   s e l e c t i o n   u si n g   e n d - p a r t   se g m e n t e d   e n e r g y   f e a t u r e       N oo r   A i n a  Z ai d an ,   M d   S ah   H j   S al am   S c hoo l   o f   C o m put i ng ,   F a c ul t y   of   E ng i ne e r i ng ,   U n i v e r s i t i   T e k no l o g i   M a l a y s i a       A r ti c l e   I n fo     A B S TR A C T   Ar t i c l e   h i s t or y :   R e c e i v e d  D e c   2 1,   2018   R e v i s e d  M a r   1 1 ,   20 19   A c c e pt e d  A p r   2 0 ,   201 9       T he   a c c ur a c y   o f   hum a n  e m o t i o na l   de t e c t i o n  i s   c r uc i a l   i n  t h e   i ndus t r y   t o  e ns u r e   e f f e c t i v e   c o nv e r s a t i o ns   a nd  m e s s a g e s   d e l i v e r y .   T he   pr o c e s s   i nv o l v e d   i n  i de nt i f y i ng   e m o t i o ns   m us t   be   c a r r i e d  o ut   p r o pe r l y   a nd  us i ng   a   m e t ho d  t ha t   g ua r a n t e e s   hi g h  l e v e l   o f   e m o t i o na l   r e c og ni t i o n .   E ne r g y   f e a t ur e   i s   s a i d  t o   be   a   pr o s o di c   i nf o r m a t i o n  e nc o de r   a nd  t he r e   a r e   s t i l l   s t u di e s   o n  e ne r gy   us e   i n  s pe e c h  pr o s o d y   a nd  i t   m o t i v a t e   us   t o   r u n  a n   e x pe r i m e n t   o n  e ne r g y   f e a t ur e s .   W e   ha v e   c o nduc t e d   t w o   s e t s   o f   s t udi e s :   1)   w he t he r   l o c a l   o r   g l o ba l   f e a t u r e s   t ha t   c o nt r i bu t e   m o s t   t o   e m o t i o na l   r e c o g ni t i o n  a n d  2 )   t he   e f f e c t   o f   t h e   e n d - pa r t   s e g m e nt   l e ng t h  t o w a r ds   e m o t i o n  r e c o g ni t i o n  a c c ur a c y   us i ng   2  t y pe s   of   s e g m e nt a t i o n  a ppr o a c h.   T hi s   pa p e r   d i s c us s e d  a bo ut   A bs o l ut e   T i m e   I nt e r v a l s   a t   R e l a t i v e   P o s i t i o ns   ( A T I R )   s e g m e nt a t i o n  a p pr o a c h  a nd  g l o ba l   A T I R   ( G A T I R )   us i ng   e n d - pa r t   s e g m e nt e d  g l o ba l   e n e r g y   f e a t ur e   e x t r a c t e d  f r o m   B e r l i n  E m o t i o na l   S pe e c h  D a t a ba s e   ( E M O - D B ) .   W e   o bs e r v e d  t ha t   g l o ba l   f e a t u r e   c o nt r i b ut e   m o r e   t o   t he   e m o t i o na l   r e c o g ni t i o n  a nd  g l o ba l   f e a t u r e s   t ha t   a r e   de r i v e d  f r o m   l o ng e r   s e g m e nt s   g i v e   hi g he r   r e c og ni t i o n  a c c ur a c y   t ha n   g l o ba l   f e a t u r e   de r i v e d  f r o m   s ho r t   s e g m e nt s .   T h e   a dd i t i o n  o f   ut t e r a n ce - ba s e d   f e a t u r e   ( G T I )   t o   A T I R   s e g m e nt a t i o n  s o m e w ha t   c o nt r i but e s   t o   i n c r e a s e   t he   a c c ur a c y   b y   5%   up  t o   8%   a nd  c o nc l ude   t ha t   G A T I R   o ut pe r f o r m e d  A T I R   s e g m e nt a t i o n  a pp r o a c he d  i n  t e r m   o f   i t s   hi g he r   r e c og ni t i o n  r a t e .   T he   r e s ul t s   o f   t hi s   s t udy   w he r e   a l m o s t   a l l   t h e   s ub - t e s t s   p r o v i de   a n  i nc r e a s e d  r e s u l t   p r o v i ng  t ha t   g l o ba l   f e a t u r e   d e r i v e d  f r o m   l o n g e r   s e g m e nt   l e ng t hs   a c q ui r e   m o r e   e m o t i o na l   i nf o r m a t i o n  a nd   e n ha nc e   t h e   s y s t e m   p e r f o r m a nc e .   Ke y w or ds :   A t i r   s e g m e nt a t i o n   E m o t i o n   r e c o gn i t i o n   E n e rgy   f e a t ur e   G a t i r   s e gm e n t a t i o n   S e gm e n t - b a s e d    U t t e r a n c e - b a s e d     C opy r i gh t   ©   201 9   I n s t i t ut e   o f   A dv anc e d  E ng i ne e r i ng   and   S c i e nc e .     A l l   r i gh t s   r e s e r v e d .   Cor r e s pon di n g   Au t h or :   M d  S a h  H j   S a l a m ,     S c h o o l   of   Co m put i n g ,     F a c ul t y   of   E n g i n e e ri n g,     U n i v e r s i t i   T e kn o l o gi   M a l a y s i a ,     81310  J o h o r   B a hru,   J o h o r,   M a l a y s i a .     E m a i l :   s a h@ ut m . m y       1.   I N TR O D U C TI O N   In   na t u r a l   h u m a n   c o n v e r s a t i o n ,   t h e   i n f o r m a t i o n   c o n v e y e d   t hr o ugh   s pe e c h   a l o ng  w i t h   s pe a ke r’s   e m o t i o n .   I t   i s   s i g ni f i c a nt   t o   c o n c e n t r a t e   o n   h o w   t h e   i n f o r m a t i o n   i s   r e l a y e d  t o   a c qui r e   na t u ra l   c o n v e r s a t i o n   b e t w e e n   hum a n s   [1] .   E m o t i o na l   i n t e l l i ge n c e   (E I)  i s   t h e   a b i l i t y   t o   r e c o gn i z e   o ur  o w n   a n d  a   pe r s o n ’s   e m o t i o n a l   s t a t e s   t h a t   w e   c o m m uni c a t e   w i t h   t o   gui de   o ur   t h o ug h   a n d  a c t i o n s   [2] .   H um a n - c o m put e r   i n t e r a c t i o n   r e qui r e s   t h e   p r e s e n c e   o f   e m o t i o n a l   i n t e l l i ge n c e   t o   e s t a b l i s h  e ff e c t i v e   i nt e ra c t i o n  b e t w e e n   t h e   h um a n  a nd  m a c h i n e .     T h e   gr o w t h   o f   t o da y ' s   h i g h - t e c h   s y s t e m   i n v o l ve s   b i g  da t a   f o c us i n g  o n   di m e n s i o n a l i t y   a n d  s a m pl e   s i z e   a n d  m a n a gi n g  l a r ge   da t a   i n   a n   e ff e c t i v e   a n d  e ff i c i e n t   m a nn e r   i s   a   m a j o r   c ha l l e n ge   i n   t o da y ' s   i n dus t r y .   T o  e n s u r e   t h e   e ff i c i e n c y   of   t h i s   h i g h - t e c h   s y s t e m ,   f e a t ur e   s e l e c t i o n   i s   o n e   o f   t h e   m o s t   i m po r t a nt   p ha s e s   t h a t   c o n t ri b ut e   m o s t   t o   t h e   pe r f o r m a n c e   of   t h e   e m o t i o n a l   r e c o gn i t i o n   s y s t e m .   H um a n   s pe e c h   c o n s i s t s   of   a   c o m b i na t i o n   o f   s e n t e n c e s ,   w o r ds   s y l l a b l e s   a n d   p h o n e m e s .   E m o t i o n s   c a n   b e   p r e s e n t e d  b y   h um a n   i n   v a r i o us   w a y s   a n d  s o m e t i m e s   t h e y   di s pl a y   m o r e   t h a n   o n e   e m o t i o n   a t   a   t i m e   [3] .   S i n c e   t h e r e   i s   m o r e   t ha n   o n e   Evaluation Warning : The document was created with Spire.PDF for Python.
In do n e s i a n  J   E l e c   E ng  &   Co m p  S c i     IS S N :   2502 - 4752       E m ot i onal   s pe e c h  f e a t ur e   s e l e c t i on  us i ng   e n d - par t   s e gm e nt e d  e n e r gy   f e a t ur e   ( Noor   A i na   Z ai dan )   1375   pe r c e i v e d  e m o t i o n   i n   o n e   s pe e c h ,   i t   i s   di f f i c ul t   t o  f i n d  t h e   do m i na n t   e m o t i o n s   b e c a us e   i t   i s   n o t   a   s i m pl e   t a s k   t o   de t e r m i n e   t h e   bo un da ri e s   of   e m o t i o n a l   c h a nge s   i n   a n   u t t e ra n c e .   S e gm e n t a t i o n   a pp r o a c h   c a n   c o n t r i b ut e   i n   s o l v i n g  t hi s   i s s ue   w h e r e   s pe e c h   c a n   b e   s e gm e n t e d  a c c o r di n g  t o   i t s   t i m e   i n t e r v a l   t o   de t e r m i n e   t h e     do m i n a nt   e m o t i o n .   T h e   s e a r c h   f o r   e m o t i o n a l   f e a t ur e   r e pr e s e nt a t i v e   s e t   i n   o pt i m u m   e m o t i o n a l   e xt r a c t i o n   t i m e   s c a l e   i s   a n  i s s ue   t h a t   s t i l l   n e e ds   t o  c a t e r   i n   t h e   S pe e c h   E m o t i o n   R e c ogni t i o n   (S E R )  f i e l d.   T h e   a pp r o p r i a t e   t i m e - s c a l e   s e l e c t i o n   i s   c r uc i a l   t o   p r o duc e   a   h i g h   pe r f o r m a n c e   S E R   s y s t e m .   E m o t i o n a l   f e a t ur e s   c a n   b e   c a t e go r i z e d  i nt o  t w o   t y pe s   of   t i m e   s c a l e :   1)   L ow   L e ve l   D e s c r i p t o r   (L L D s )  k now n   a s   l o c a l   f e a t u r e s   a n d   2)  S t a t i s t i c a l   f un c t i o n,   kn o w n   a s   gl o b a l   f e a t u r e   [4] .   L o c a l   f e a t ur e s   de f i n e   t h e   t e m po ra l   dy n a m i c s   i n  t h e   p r o s o d y   w h i l e   s t a t i s t i c   v a l ue   s uc h   a s   m i n i m u m ,   m a xi m um ,   m e a n,   s t a n d a r d  de v i a t i o n,   a n d   s l o pe   of   t h e   c o n t o u r s   h i g h l i g h t s   t h e   g l o b a l   f e a t ur e s   [5] .   T h e   H i g h - l e v e l   S t a t i s t i c a l   F u n c t i o n s   (H S F )  i s   us e d  t o   pr o v i de   a   b r i e f   de s c r i p t i o n  o f   t e m po r a l   v a r i a t i o n s   a n d  c o nt o ur s   o f   t h e   di f f e r e n t   L L D s   duri n g  s pe e c h   [6] .   T hi s   s t a t i s t i c   a gg r e ga t i o n  f un c t i o n   ( gl o b a l )  i s   a ppl i e d  t o   e a c h   o f   t h e   L L D s   (l o c a l )  f o r   t h e   w h o l e   ut t e ra n c e ,   re s ul t i n g   i n  a   l o n g  f e a t u r e   v e c t o r .     U n t i l   n o w ,   t h e   r e s e a r c h e r   h a s   b e e n   s t i l l   u n c l e a r   a b o ut   t h e   f e a t u r e   t h a t   b ri n gs   t h e   b i gge s t   e m o t i o n a l   i n f o r m a t i o n.   A   c o m m o n l y   us e d  a ppr o a c h   i s   t o   e xt ra c t   a   s t a t i s t i c a l   f e a t u r e   a t   t h e   ut t e r a n c e   l e v e l   r e s ul t i n g  i n   a   s e r i e s   of   fe a t ur e   v e c t o r ,   di m e n s i o n   r e d uc t i o n   m e t h o d  w i l l   b e   p e r f o r m e d  o n   a   l a r ge   di m e n s i o n   o f   fe a t ur e   v e c t o r   t o   c o m pr e s s   l a r ge   d a t a   a n d   f i n a l l y   c l a s s i f i c a t i o n  a l go r i t h m   w i l l   b e   pe r f o r m e d  [7 - 8] .    A ut o m a t i c   s e gm e n t a t i o n   ha s   a dv a n t a ge s   ove r   m a nua l   s e gm e n t a t i o n   w h e r e   i t   i s   po s s i b l e   t o  ob t a i n  hi g h   r e pe a t a b i l i t y   s e gm e n t s   [9] .   T h i s   o c c ur s   w h e n   t h e   s a m e   m e t h o d  i s   a pp l i e d  t o   i de n t i f y   t h e   b o un da r y   b e t w e e n   t w o   s t a n da rd  s e gm e nt s   i n   d i f f e r e n t   l o c a t i o n s   f o r   t h e   e nt i r e   s i g na l .   T h e r e   i s   s e v e r a l   s e gm e n t a t i o n  a pp r o a c h e s   us e d  s i n c e   t h e   pa s t   de c a de .   S e gm e n t a t i o n   a pp ro a c h   r e f e r s   t o   t h e   m e t h o d  of   d e c o m po s i n g  t h e   s pe e c h   s i g na l   i nt o   t h e   f r a c t i o n   o f   b a s i c   ph o n e t i c   u n i t s   [10] .   S pe e c h   s i g na l   c a n   b e   s e gm e n t e d  o n  di f f e r e n t   l e v e l :   ph o n e m i c ,   s ub   ph o n e m i c ,   s y l l a b i c ,   w o r d  l e v e l ,   s y n t a g m a t i c   l e v e l   de p e n di ng  o n   t h e   s e gm e n t a t i o n  a l go ri t hm   us e d.   S pe e c h   fe a t u r e   c a n   b e   e xt ra c t e d  i n   b o t h   l o c a l   a n d  g l o b a l   f r o m   t h e   ut t e r a n c e - ba s e d  a n d   s e gm e n t - b a s e d  a pp r o a c h.         2.   R ELA TED   WO R K     G l o b a l   f e a t ur e s   h a v e   a dv a n t a ge s   o v e r   l o c a l   f e a t u r e s   a s   t h e   f e a t u r e   v e c t o r   s e r i e s   i s   s m a l l e r.   T h e   us e   o f  gl o b a l   fe a t u r e s   i n   t h e   a pp l i c a t i o n   o f   c r o s s - v a l i da t i o n   a n d  f e a t u r e   s e l e c t i o n   a l go ri t hm s   m a ke s   e xe c ut i o n   of   t h e   pr o c e s s   f a s t e r   a n d  e f f i c i e n t   [11] .   B ut   t h e n   i s   t h e   gl o b a l   f e a t u r e   e xt ra c t e d  f r o m   t h e   ut t e ra n c e   l e ve l   t h e   r i g ht   c h o i c e   fo r   m o de l l i n g  e m o t i o n ?   T h i s   i s s ue   b e c a m e   t h e   f oc us   of   m a n y   c urr e n t   r e s e a r c h e r s   b e c a us e   of   t h e   di f f i c ul t i e s   t o   us e   t h i s   u t t e r a n c e - w i s e   s t a t i s t i c   w i t h o ut   b e i ng   a f f e c t e d  by   t h e   c o n t e nt   o f   t h e   s pe e c h.   Z h a ng  e t   a l .   [12] ,   s t a t e   t h a t   m o s t   c u rr e n t   s t udi e s   o f t e n   c o n s i de r  ut t e ra n c e s   (s h o r t   s e n t e n c e s )  a s   f un d a m e n t a l   u n i t s   a nd  a r e   r e c o gn i z e d  b a s e d  o n   gl ob a l   ut t e ra n c e - w i s e   of  t h e   de r i v e d   l o c a l   s e gm e n t ,   r e s ul t i ng  i n   a   s i n g l e   fe a t u r e   v e c t o r   fo r   e a c h   u t t e r a n c e .   A   l o t   o f   i n f o r m a t i o n   w i l l   b e   n e gl e c t e d  i f   us i n g  a n   ut t e ra n c e - w i s e   fe a t ur e   s o l e l y   c o m pa r e d  t o   t h e   s e gm e n t - w i s e   fe a t ur e   t ha t   c a p t u r e s   i n f o r m a t i o n   f r o m   e a c h   s e gm e n t e d  ut t e ra n c e .   M o t i v a t e d   by   t h o s e   f i n di ngs ,   t h e y   c ul t i v a t e   a   n o v e l   a pp r o a c h   t h a t   us e d  pu r e l y   s e gm e n t - l e v e l   f e a t ur e s   a n d   c o m pl e t e l y   a b a ndo n e d  t h e   u t t e r a n c e   l e v e l   f e a t ur e   b a s e d  o n   A b s o l ut e   T i m e   I n t e r v a l s   a t   R e l a t i v e   P o s i t i o n s   (A T IR )  s e gm e n t a t i o n   a p p r o a c h   w i t h   t h e   a dv a nt a ge s   o f   s m a l l e r   a n d  f i xe d  n um b e r   o f   s e gm e n t s .   T h e   r e s ul t   s h o w s   s i g n i f i c a n t   i m p r o v e m e n t s   o f   m o r e   t ha n  20%   i n  t h e   a v e ra ge   l e v e l   of   a c c ur a c y .     T z i ni s   a n d  P o t a m i a n o s   [4]   r u n   a   s t udy   o n   bo t h   l o c a l   a n d  gl o b a l   f e a t ur e s   a n d  e v a l ua t e   t h e   pe r f o r m a n c e   a t   v a ri o us   t i m e - s c a l e s   (f r a m e ,   p h o n e m e ,   w o r d  o r   ut t e ra n c e ).   T h e   r e s ul t   s h o w s   t h a t ,   gl o b a l   s t a t i s t i c a l   f e a t u r e   e xt r a c t e d  f r o m   s pe e c h   s e gm e n t   t h a t   c o rr e s po n d  t o   t h e   du ra t i o n   o f   fe w   w o r ds   y i e l d  o pt i m a l   a c c ur a c y   us i n g  R e c urr e n t   N e u ra l   N e t w o r ks   (R N N s ).   O n   t h e   o t h e r   ha n d ,   R a o   e t   a l   [5] ,   t h e y   c o n duc t   a   s t udy   i n v o l v i n g  t h e   i n i t i a l ,   m i ddl e   a n d  f i na l   po s i t i o n s   o f  e a c h   w or d  a n d  s y l l a b l e   t o   d e t e r m i n e   w h e t h e r   t h e   s pe e c h   po s i t i o n   a f f e c t s   e m o t i o n a l   i de nt i f i c a t i o n .   T h e y   c l a i m e d  t ha t   t h e   f i na l   po s i t i o n   o f   w o r d  i n   s e n t e n c e s   a n d  t h e   f i n a l   po s i t i o n   o f   s y l l a b l e s   i n   w o r ds   c a rr i e d  m o r e   e m o t i o n a l   i n f o r m a t i o n   t ha n  o t h e r   po s i t i o n s   b y   us i n g  l o c a l   pr o s o di c   f e a t ur e s .   In  t hi s   pa pe r,   w e   e xa m i n e   t h e   us e   o f   l oc a l   a n d   gl o b a l   f e a t u r e s   a nd  t h e   e f f e c t   of   t h e   s e gm e n t s   s i z e   f r o m   t h e   e n d - pa rt   o f  t h e   s pe e c h   ut t e r a n c e   t o w a r ds   e m o t i o n   r e c o gn i t i o n   ra t e   us i n g  A T IR   a n d  G A T IR   s e gm e n t a t i o n   a p p r o a c h.   W e   h a v e   s e l e c t e d  t h e   A T IR   a pp r o a c h ,   b ut   w i t h   a   s l i g h t   a dj us t m e n t :   w e   t a ke   m o r e   s e gm e n t s   a t   t h e   e n d - p a r t   o f   t h e   s pe e c h   ut t e ra n c e ,   i n s pi r e d  f r o m   t h e   f i ndi n g  b y   R a o   e t   a l  [5] .   W e   ob s e r v e d  t ha t   gl o b a l   fe a t ur e   c o n t r i b ut e   m o r e   t o   t h e   e m o t i o n a l   r e c o gn i t i o n  a s   i t   s l i g h t l y   i n c r e a s e   t h e   r e s ul t   by   t h e   a ve r a ge   1. 7%  i n   A T IR   a pp r o a c h   a n d  4 . 0%   i n   G A T IR   a pp r o a c h.   A p a r t   f r o m   t h a t ,   w e   fo un d  t ha t   gl o b a l   f e a t ur e s   t ha t   a r e   de r i v e d  f r o m   l o n ge r   s e gm e n t s   gi v e   h i g h e r   r e c o gn i t i o n   a c c ur a c y   t h a n   gl o b a l   f e a t ur e   de r i v e d  f r o m   s h o r t   s e gm e n t s   a s   i t   s l i g ht l y   i n c r e a s e   t h e   r e s ul t   b y   t h e   a v e ra ge   8. 5 %  i n   A T IR   a pp r o a c h   a n d   3. 5%  i n   G A T IR   a pp r o a c h.   T h e   r e s ul t s   o f   t h i s   s t udy   w h e r e   a l m o s t   a l l   t h e   s u b - t e s t s   pr o v i de   a n   i n c r e a s e d  r e s ul t   p r o v i n g   t ha t   gl o b a l   f e a t ur e   de ri v e d  f r o m   l o n ge r   s e gm e n t   l e ngt h s   a c qui re   m o r e   e m o t i o n a l   i n f o r m a t i o n   a nd  e nha n c e   t h e   Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2502 - 4752   In do n e s i a n  J   E l e c   E ng  &   Co m p  S c i ,   V o l .   1 5 ,   N o .   3 ,  S e pt e m b e r   2 01 9   :     1 3 7 4   -   1 3 8 1   1376   s y s t e m   pe r f o r m a n c e .   T h e   r e s t   o f   t hi s   pa pe r   i s   o r g a n i z e d  a s   f o l l ow s :   S e c t i o n   II  c o n t a i n s   t h e   e xpl a n a t i o n  a b o ut   e m o t i o n a l   s pe e c h   f e a t ur e s   a nd  i t s   c a t e go ri e s .   S e gm e n t a t i o n   a pp r o a c h  i s   d i s c us s e d  i n   S e c t i o n   III .   S e c t i o n   IV   de s c r i b e s   a bo ut   fe a t u r e s   s e l e c t i o n .   S e c t i o n   V   di s c us s e s   a bout   t h e   e xpe r i m e nt a l   r e s ul t   a n d  a na l y s i s   fo l l ow e d   by   t h e   c o n c l us i o n  i n  t h e   s e c t i o n   V I .       3.   EM O TI O N A L   S P EEC H   F EA TU R ES   E m o t i o n   e xpr e s s e s   t h e   ps y c h o l o gi c a l   s t a t e   o f   t h e   h u m a n.   T h e y   e xpe r i e n c e   di f f e r e n t   t y pe s   of  e m o t i o n a l   s t a t e   w h e n  de a l i n g  w i t h  t h e   s u rr o u n di ng  e v e n t s   a n d  e n v i r o n m e nt .   Cul t u r a l   d i f f e r e n c e s   o r   h u m a n   pe r s o n a l i t y   c a us e   di ff e r e n t   e m o t i o n   [ 13]   a n d   s pe e c h   p r o duc t i o n   i s   s ub s t a n t i a l l y   a f fe c t e d  by   t h e   di f f e r e n t   e m o t i o n a l   s t a t e s   of   t h e   h um a n   [14 ] .   T h e   p r e s e n c e   of   di ffe r e nt   e m o t i o n s   i n  h um a n   s pe e c h   c a n   b e   de t e r m i n e d  by   s e ve r a l   pa r a m e t e r s   i n   s pe e c h   s i g na l   f e a t u r e s   s uc h   a s   pi t c h   (f un d a m e n t a l   f r e que n c y ),   e n e r gy ,   fo r m a nt ,   dura t i o n,   z e r o   c r o s s i ng  ra t e s ,   a n d  s pe c t r a l   f e a t u r e s   l i ke   M e l   F r e que n c y   Coe ff i c i e n t ,   w a v e l e t   a n d   v o i c e   qua l i t y .   T h e   p r o s o d y   i s   a s s o c i a t e d  w i t h  a   s pe e c h   f e a t u r e   t ha t   c o ve r s   t h e   e nt i r e   s e n t e n c e   a n d  i s   us e d  t o   de s c r i b e   t h e   i n t o na t i o n,   rh y t hm ,   l o ud n e s s   a nd  s t r e s s   i n   t h e   s pe e c h   s t r uc t u re   [15] .     F e a t ur e   e xt ra c t i o n   i s   a n o t h e r   i m po r t a nt   i s s ue   i n   s pe e c h   e m o t i o n   r e c o gn i t i o n.   S o m e   of   t h e   r e s e a r c h e r s   b e l i e v e   t h a t   p r o s o di c   f e a t ur e s   c a rr y   t h e   e m o t i o n   i n f o r m a t i o n   a n d  de s c ri b e   t h e   e m o t i o n   e f f e c t i v e l y .   T h i s   i s   s uppo r t e d  by   t h e   r e v i e w   f r o m   K oo l a gudi   a nd  R a o   [ 16]   w h e r e   t h e y   s t a t e d  t h a t   pi t c h   (a l s o   kn o w n   a s   f un da m e nt a l   f r e que n c y ),   e n e r gy ,   dur a t i o n   a n d  t h e i r   de ri v a t i v e s   a r e   m a i nl y   us e d  a s   t h e   a c o us t i c   c o r r e l a t e s   of  pr o s o di c   f e a t ur e s .   V o c a l   a s pe c t   of   s p e e c h   s uc h   a s   pi t c h,   e ne r gy ,   s pe a ki n g  ra t e ,   f unda m e nt a l   f r e que n c y   h a s   b e e n   us e d  i n  e xi s t i ng  e m o t i o n  r e c o gn i t i o n   s y s t e m s   [17] .   I n  a n   u t t e r a n c e ,   p i t c h   r e p r e s e nt s   t o n a l   a nd  rh y t hm i c   w h i l e   e n e r gy   (i n t e n s i t y )  de f i n e   t h e   pa us e   a nd  a c c e n t   o f   t h e   s pe e c h   s i gna l   [ 18] .   E n e r gy   i s   s a i d  t o   be   a   pr o s o di c   i n f o r m a t i o n  e n c o de r   a nd  t h e r e   i s   s t i l l   a   s t udy   o n   e n e r gy   us e   i n   s pe e c h   p r o s o d y   a n d  i t   m o t i v a t e   us   t o   r u n   a n   e xpe r i m e nt   o n   e n e rgy   f e a t ur e s .   In  t hi s   s t udy ,   t h e   t e rm   l o c a l   f e a t ur e   r e f e r s   t o   t h e   e n e r gy   v a l ue   f o r   e a c h   e n e r gy   c o n t o ur  w h i l e   t h e   t e r m   gl o b a l   fe a t ur e   r e f e r r i ng  t o   t h e   s t a t i s t i c a l   v a l ue   de r i v e d  f r o m   t h e   l o c a l   e n e r gy   f e a t ur e .   T h e   e n e r gy   of   a   s i gn a l   x   i n   a   c e rt a i n  w i n do w   of   N   s a m p l e s   i s   gi v e n   b y :           W e   fo c u s   o n l y   o n   t h e   e n e r gy   f e a t ur e   fo r   t hi s   pr e l i m i na r y   s t ud y   t o   i de n t i fy   t h e   c o n t r i b ut i o n   of  po s i t i o n   a n d   s e gm e nt   l e n g t h  o n   t h e   e m o t i o na l   r e c o gn i t i o n  a c c ur a c y .   In  f ut u r e   r e s e a r c h,   w e   w i l l   i nt e g r a t e   o t h e r   po t e n t i a l   p r o s o di c   f e a t ur e s   s uc h  a s   pi t c h  a n d   z e r o   c r o s s i ng  ra t e s .         4.   S EG M EN TA TI O N   A P P R O A C H   A ut o m a t i c   s pe e c h   s e gm e nt a t i o n   i s   t h e   p r o c e s s   of   di v i di n g  c o n t i nuo us   s pe e c h   i n t o   n o n - o v e r l a ppi ng  di s c r e t e   uni t s   [19] .   S e gm e n t a t i o n   o f   t h e   n o n - s t a t i o n a r y   s i g n a l   r e qui r e   a n   a ut o m a t i c   s i g n a l   bo un d a r i e s   de t e c t i o n ,   w h e r e   t h e   bo un da ri e s   de pe n ds   o n   t h e   s t a t i s t i c a l   c ha r a c t e r i s t i c   l i ke   a m p l i t ude   a n d  f r e que n c y   [20] .  B a s i c a l l y ,   t h e   s e gm e n t a t i o n   a l go ri t hm   c a n   b e   c a t e go r i z e d  i nt o   t h o s e   w h o   us e   ph o n e t i c   c o n t e n t   i n f o rm a t i o n  (s upe r v i s e d)  a n d   t h o s e   w h o   i g n o r e   t h e   p h o n e t i c   c o n t e nt s   i n f o r m a t i o n   (u n s u pe r v i s e d)  [21] .   S pe e c h  s i g na l   c a n   b e   s e gm e n t e d  o n   d i f f e r e n t   l e v e l :   p h o n e m i c ,   s ub   p h o n e m i c ,   s y l l a b i c ,   w o r d  l e v e l ,   s y n t a g m a t i c   l e v e l   [9]   de pe n di n g   o n   t h e   s e gm e n t a t i o n   a l go ri t hm   us e d.   W e   a r e   m o t i v a t e d  by   t h e   e xi s t i n g   a u t o m a t i c   s e gm e n t a t i o n  a pp r o a c h   by   S c h ul l e r   a n d  R i go l l   [22]   f o r   r u nn i ng  t h i s   s t ud y ,   w h e r e   t h e i r   a ut o m a t i c   s e gm e nt a t i o n   c o n c e pt     i s   a s   f o l l ow s :     N um b e r s   s h o w n   r e f e r   t o   s e gm e n t - i nde x.   G T I :   gl o b a l   t i m e   i nt e r v a l s   (ut t e ra n c e - b a s e d   f e a t ur e );   A TI :  a b s o l ut e   t i m e - i n t e r v a l s   (s e gm e n t - b a s e d  f e a t ur e );   R TI   r e l a t i v e   t i m e   i n t e r v a l s   (s e gm e n t - b a s e d  f e a t ur e );   G R TI :  c o m b i na t i o n   o f  G T I  a n d  R T I;   A TI R :   a b s o l ut e   t i m e   i nt e r v a l s   a t   r e l a t i v e   pos i t i o n s   (s e gm e nt - b a s e d  fe a t u r e );   G A TI R :   c o m b i na t i o n  o f   G T I  a nd  A T IR   a s   s h o w n   i n  F i gu r e   1.       Evaluation Warning : The document was created with Spire.PDF for Python.
In do n e s i a n  J   E l e c   E ng  &   Co m p  S c i     IS S N :   2502 - 4752       E m ot i onal   s pe e c h  f e a t ur e   s e l e c t i on  us i ng   e n d - par t   s e gm e nt e d  e n e r gy   f e a t ur e   ( Noor   A i na   Z ai dan )   137 7       F i gu r e   1 .   N u m b e r s   s h o w n   r e f e r   t o   s e gm e n t - i n de x.   G T I :   gl o ba l   t i m e   i nt e r v a l s   (u t t e r a n c e - b a s e d   f e a t ur e );   A TI :  a b s o l ut e   time - i nt e r v a l s   (s e gm e n t - b a s e d  f e a t u r e );   R TI   r e l a t i v e   t i m e   i nt e r v a l s   (s e gm e n t - b a s e d  f e a t u r e );   G R TI :  c o m b i na t i o n   o f   G T I  a n d   R T I;   A TI R :   a b s o l ut e   t i m e   i nt e r v a l s   a t   r e l a t i v e   po s i t i o n s   (s e g m e nt - b a s e d  f e a t u r e );   G A TI R :   c o m b i na t i o n  o f   G T I  a nd  A T IR       1.   G T I  -   S pe e c h   f e a t u r e   e xt ra c t e d  f r o m   t h e   e n t i r e   s pe e c h   ut t e ra nc e   l e n gt h    2.   A T I  -   S pe e c h   u t t e r a n c e s   a r e   s e gm e nt e d  a t   t h e   s a m e   f i xe d  t i m e   i n t e r v a l     3.   R T I  -   S pe e c h   ut t e ra n c e s   a r e   s e gm e n t e d  a t   t h e   f i xe d  r e l a t i v e   po s i t i o n s .   4.   A T IR   -   Co m b i n a t i o n   o f  A T I  a n d  R T I .   F i xe d - l e ngt h   s e gm e n t s   a r e   c o n s t ruc t e d  a t   f i xe d  r e l a t i v e   pos i t i o n s ,   a n d  t hi s   o v e r c o m e s   t h e   d r a w b a c k  of   di ffe r e nt   s e gm e nt   l e n g t h s   a nd  n u m b e r s   o b t a i n e d  f r o m   d i f fe r e nt   ut t e r a n c e   l e n g t h s .   T h i s   s t udy   i s   c o n duc t e d  a c c o r di n g   t o   t h e   s e l e c t e d  f r a m e w o r k  f o r   de s i g n   a n d   p r o c e dur e   p h a s e .   I n pu t   i s   ob t a i n e d  f r o m   s pe e c h   s i gna l   s o ur c e ,   t h e n   c o n v e r t e d  t o   di gi t a l   v a l ue   by   A - t o   D   c o n v e r t e r,   t h e n   f e a t ur e   a n a l y s i s   m o dul e   c o n ve r t s   t h e   di gi t a l   v a l ue   t o   a   s e t   of   da t a   s e r i e s   c o m po s e d   a s   f e a t ur e   v e c t o r   a n d  us e d  fo r   v a r i o us   D S P   a p pl i c a t i o n s   t o   ge t   t h e   r e c o gn i t i o n  r e s ul t s .   T he   i n f o r m a t i o n  o b t a i n e d   f r o m   f e a t u r e s   e xt r a c t i o n  t e c hn i q ue   i s   da t a   i n   t h e   f o r m   o f   di s c r e t e   v a l ue s   r e pr e s e nt i n g  s o un d  w a ve s ,   n o n - s o u n d  a n d  n o i s e .   T hi s   v a l ue   i s   n o rm a l i z e d  a n d  us e d  a s   i nput   d a t a   f o r   t h e   pr o c e s s   of   r e c o gn i t i o n .   I n   p r o duc i n g   f e a t u r e   v e c t o r s   t h a t   i s   m i n i m a l   di m e n s i o na l   y e t   e ff e c t i v e   i n   r e c o gn i t i o n   e m o t i o n,   w e   a r e   m o t i v a t e d  t o   r u n  a n  e xpe r i m e nt   us i ng  A T IR   a n d   G A T IR   s e gm e n t a t i o n   a p p r o a c h   s i n c e   i t   p r o duc e s   s m a l l e r   a n d  f i xe d  n um b e r   o f   s e gm e n t s .   B o t h   l o c a l   a n d   gl o b a l   f e a t ur e s   c a n   b e   e xt r a c t e d  us i ng  a n y   s e gm e n t a t i o n   a p pr o a c h   a s   i l l us t ra t e d  i n  F i gu r e   2 .   T o   a v o i d  da t a   l o s s   a n d  t h e   us e s   of   z e r o   pa dde d  fo r   n o r m a l i z a t i o n ;   w e   c h o os e   o n l y   gl ob a l   f e a t ur e s   f r o m   ut t e r a n c e - b a s e d,   a n d   gl o b a l / l o c a l   f e a t u r e s   f r o m   s e gm e n t - b a s e d  t o   p r o duc e   f i xe d  num b e r   o f   f e a t ur e   v e c t o r .           F i gu r e   2 .   T h e   f e a t u r e s   e xt r a c t e d   us i n g   u t t e r a n c e - b a s e d  a n d   s e gm e nt - b a s e d  o n  e n e r gy   f e a t ur e       5.   F EA TU R ES   S ELEC TI O N     F e a t u r e   s e l e c t i o n   i s   a n   a pp r o a c h   i n  s e l e c t i ng  t h e   r e l e v a nt   s ub s e t   f e a t ur e s ,   a n d  t h e   o pt i m a l   f e a t u r e   s e l e c t i o n   m e t h o ds   t ha t   e nha n c e   t h e   e m o t i o n   r e c o gn i t i o n   pe r f o r m a n c e   i s   s t i l l   b e i n g  s t ud i e d  [23] .   F e a t u r e s   t h a t   a r e   e xt r a c t e d  f r o m   a   s pe e c h   s i g na l   w e r e   t ra n s f o r m e d  t o   a   f e a t ur e   v e c t o r   us i n g  t h e   f e a t u r e   s e l e c t i o n   m e t h o ds   t o  r e duc e   l a r ge   s e t s   of   f e a t ur e s   b e fo r e   pe r f o r m i n g  c l a s s i f i c a t i o n .   I n   t hi s   pa pe r,   w e   fo c us e d  o n   l o c a l   e n e r gy   f e a t ur e   a n d  s e t s   of   gl ob a l   s t a t i s t i c a l   f e a t u r e s   de r i v e d  f r om   i t :   m i n,   m a x ,   m o de ,   m e di a n ,   m e a n ,   s t a n d a r d   Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2502 - 4752   In do n e s i a n  J   E l e c   E ng  &   Co m p  S c i ,   V o l .   1 5 ,   N o .   3 ,  S e pt e m b e r   2 01 9   :     1 3 7 4   -   1 3 8 1   1378   de v i a t i o n,   v a r i a t i o n,   s ke w n e s s ,   a n d  ku rt o s i s   f r o m   e a c h   s e g m e nt   us i n g  A T IR   s e gm e n t a t i o n   a nd  c o m pa r e   t h e   r e s ul t   w i t h   G A T IR .   T o   c o n duc t   t h i s   s t udy ,   w e   us e   bo t h   l o c a l   a n d  gl o b a l   fe a t u r e s   t o  r e pr e s e nt   t h e   f e a t ur e   v e c t o r   us i n g  A T IR   a n d   G A T IR   s e gm e n t a t i o n   a pp r o a c h .   W e   a r e   i n v e s t i ga t i n g   t h e   e m o t i o n   r e c o gn i t i o n  r a t e   b a s e d  o n   t h e   t hr e e   m e t h o ds :   a )  M e th o d   1 :   10   n u m b e r s   o f   l o c a l   e n e r gy   f e a t ur e   (pe r   s e gm e nt )   b )  M e th o d   2 :   9   n um b e r s   o f   gl ob a l   e n e r gy   f e a t ur e   de r i v e d  f r o m   1 0  l o c a l   f e a t u r e s   (pe r  s e gm e n t )   c )  M e th o d   3 :   9   n u m b e r s   o f   gl o b a l   e n e r gy   fe a t ur e   de ri v e d  f r o m   2 0  l o c a l   f e a t u r e s   (pe r  s e gm e n t ) .   A l l   o f   t h e s e   m e t h o ds   us e   o n e   s e gm e n t   a t   t h e   i n i t i a l   po s i t i o n   of   ut t e ra n c e ,   o n e   s e gm e n t   i n   t h e   m i d dl e   po s i t i o n   o f   ut t e ra n c e ,   a n d  t h e   i n c r e a s i n g   s e gm e nt   n u m b e r   a t   t h e   f i n a l   po s i t i o n  o f   ut t e r a n c e   a s   i l l us t r a t e d  i n  F i gu r e   3   b e l ow :           F i gu r e   3 .   I n c r e a s i ng  s e gm e n t   n u m b e r   i n  e n d - pa rt   o f   ut t e r a n c e       W e   h a v e   r u n   t w o   s e t s   of   t e s t s   f r o m   t hr e e   m e t h o ds   a b ov e .   A s   fo r   b o t h   t e s t s   a )   a n d   b ),   w e   m a ke   c o m pa ri s o n s   b e t w e e n   t h e   l o c a l   a n d   gl o b a l   f e a t u r e s ,   w hi c h e v e r   o n e   c o n t ri b ut e s   m o s t   t o   t h e   e m o t i o n a l   r e c o gn i t i o n   a c c ur a c y .   A s   fo r   b o t h   t e s t s   b )  a n d  c ),   w e   i n v e s t i ga t e   a b o ut   t h e   e n d - pa rt   s e gm e nt   l e n gt h   w h e t h e r   i t   i m p r o v e s   e m o t i o n a l   r e c o gn i t i o n .       6.   R ES U LT   A N D   A N A L Y S I S   S V M   i s   s h ow n   t o   ov e r t a ke   o t h e r   c l a s s i f i e r   t e c hn i q ue   be c a us e   of   t h e   e xc e l l e n t   da t a - de pe n de n t   ge n e ra l i z a t i o n   b o un ds   a nd  t h e   gl o b a l   o pt i m a l   o f   t ra i ni n g  a l g o r i t hm   [11 ] .   I n   s i t u a t i o n s   w h e r e   t h e   t r a i n i ng  da t a   s h o ul d  b e   l i m i t e d ,   s uppo r t   v e c t o r   m a c hi n e   (S V M )  c a n   b e   us e d  b e c a us e   of   i t s   goo d  pe r f o r m a n c e   o f  c l a s s i f i c a t i o n   c o m pa r e d  t o   o t h e r   c l a s s i f i e r   [2 4] .   S V M   i s   o n e   of   t h e   m o s t   r o b us t   a nd  e ff e c t i v e   a s   i t   p r o v i de   l e s s   pr o c e s s i n g  t i m e .   S V M   p r o v i de s   a n   e a s y   m a c hi n e   l e a rni n g   a l go r i t h m   t ha t   i s   w e l l - o r g a n i z e d  a nd  ha s   b e e n   w i de l y   us e d  i n   c l a s s i f i c a t i o n   t a s ks   [24 - 2 5] .   W e   h a v e   c h o s e n   S e que nt i a l   M i ni m a l   O p t i m i z a t i o n   S M O   a l go ri t hm   f o r   t r a i n i ng  a   s uppo rt   v e c t o r   c l a s s i f i e r   w i t h   10 - f o l d  c r o s s - v a l i da t i o n,   b ui l t   i n   W a i ka t o   E n v i r o nm e nt   fo r   K n o w l e dge   A n a l y s i s   (W E K A )  t o   r un   a nd  e v a l ua t e   t hi s   s t udy .   W e   h a v e   s e l e c t e d  10 - fo l d  c r o s s - v a l i da t i o n  a s   a   b e n c h m a r k  f o r   c o m pa ri s o n  w i t h   p r e v i o us   r e s e a r c h e r s   a s   i t   i s   w i de l y   us e d  fo r   v a l i d a t i n g   ge n e ra l   m o de l s .     T h e   s o f t w a r e   w e   a r e   us i n g  f o r   t hi s   s t udy   i s   M A T L A B   a n d   W E K A   f o r   t h e   f e a t ur e s   e xt r a c t i o n   a n d   c l a s s i f i c a t i o n   a c c o r di n gl y .   W e   h a v e   c o l l e c t e d  t h e   e m pi ri c a l   da t a ,   a n d  t h e   r e s ul t s   a r e   a na l y z e d  t o   i de n t i fy   t h e   s e l e c t e d  f e a t ur e s   w h i c h   m o s t   c o n t r i b ut e d  t o   t h e   e nha n c e d  pe r f o r m a n c e   of   e m o t i o n a l   s pe e c h   r e c o gn i t i o n   s y s t e m .   W e   a r e   us i n g  E M O - D B   da t a b a s e   a s   i t   c o n t a i n s   s e v e n   e m o t i o n s :   h a ppi n e s s ,   n e ut ra l ,   s a d n e s s ,   bo r e do m ,   a nge r,   f e a r   a n d   di s gus t .   Co n f us i o n   m a t ri x  w a s   ge n e r a t e d  a nd  t h e   s um m a r y   o f   t h e   r e c o gn i t i o n   ra t e   pr e s e nt e d  i n  T a b l e   1   b e l ow :       T a b l e   1 .   Co m p a r i s o n  o f   E m o t i o n  R e c o gn i t i o n  A c c ura c y   b e t w e e n   A T IR   a n d   G A T IR   A pp r o a c h   u s i n g  D i f fe r e n t   E nd - P a rt   L o c a l   a n d   G l o b a l   S e gm e n t e d  S pe e c h  F e a t ur e .       i ni t i a l m i dd l e f i na l 1 i ni t i a l m i dd l e f i na l 1 f i na l 2 A p p r o a c h S e g m e n t F e a t u r e   # M e t h o d   1 A T IR 2 + 1 27 2 7 . 8 2 + 3 45 3 4 . 1 2 + 5 63 3 3 . 4 2 + 7 81 2 9 . 7 G A T IR 1 + 2 + 1 36 3 3 . 1 1 + 2 + 3 54 3 8 . 1 1 + 2 + 5 72 3 7 . 8 1 + 2 + 7 90 3 8 . 1 3 2 . 8 3 4 . 1 4 7 . 5 4 3 . 8 2 9 . 1 3 5 . 5 M e t h o d   2 M e t h o d   3 3 7 . 8 4 0 . 3 3 9 . 7 4 4 . 1 4 1 . 9 4 1 . 9 4 3 . 8 4 7 . 2 4 4 . 4 3 4 . 4 Evaluation Warning : The document was created with Spire.PDF for Python.
In do n e s i a n  J   E l e c   E ng  &   Co m p  S c i     IS S N :   2502 - 4752       E m ot i onal   s pe e c h  f e a t ur e   s e l e c t i on  us i ng   e n d - par t   s e gm e nt e d  e n e r gy   f e a t ur e   ( Noor   A i na   Z ai dan )   1379   T a b l e   1  c l a s s i f i e s   t h e   r e s ul t s   b e t w e e n   t hr e e   m e t h o ds   m e nt i o n   e a rl i e r   a ppl i e d  t o   e xi s t i n g  s e gm e nt a t i o n  a pp r o a c h e s   A T IR   a n d  G A T IR .   S e gm e n t   n u m b e r   2 + 1  r e p r e s e n t s   t h e   t w o   s e gm e n t s   f r o m   i n i t i a l   a n d   m i ddl e   po s i t i o n   +   1  s e gm e n t   f r o m   f i n a l   po s i t i o n.   T h e   i n c r e a s i n g   n u m b e r s   o f   s e gm e n t s   r e pr e s e nt   t h e   i n c r e a s i ng  s e gm e n t   i n  f i n a l   po s i t i o n.   A T IR   s e gm e n t a t i o n   a pp r o a c h   us e s   t h e   m i ni m um   s e gm e nt   by   r e l a t i v e   po s i t i o n  w h e r e   a   l o t   o f   e m o t i o n   i n f o r m a t i o n  m a y   be   o m i t t e d.   G l o b a l   s t a t i s t i c a l   f e a t u r e s   t h a t   ha v e   b e e n   e xt r a c t e d  f r o m   t h e   w h o l e   ut t e r a n c e   a r e   c o n s i de r e d  a s   o n e   s e gm e n t .   T h e   a dd i t i o n   o f  ut t e r a n c e - b a s e d  fe a t ur e   (G T I)  t o   A T IR   s e gm e n t a t i o n   s o m e w h a t   c o n t ri b ut e s   t o  i n c r e a s e   t h e   a c c ur a c y   of  r e c o gn i t i o n   ra t e   by   5%  up   t o   8%  a s   i t   r e t r i e v e s   m o r e   p o t e n t i a l   e m o t i o n a l   i n f o rm a t i o n.   R e f e r   F i gu r e   4  a n d   5  f o r   t h e   c o m pa ri s o n   o f   t h e   r e s u l t .           F i gu r e   4 .  Co m p a r i s o n  o f   t h e   r e s ul t   f r o m   t hr e e   m e t h o ds   f o r   A T IR   s e gm e nt a t i o n  a pp r o a c h           F i gu r e   5 .   Co m p a r i s o n  o f   t h e   r e s ul t   f r o m   t hr e e   t e s t s   f o r   G A T I R   s e gm e n t a t i o n   a pp r o a c h       W e   h a v e   r u n   t w o   t e s t s   t o   i n v e s t i ga t e   t h e   r e s ul t   f o r   t h e   c ont r i b ut i o n   o f   l oc a l ,   gl o b a l   f e a t u r e s   a n d   s e gm e n t   l e ngt h   t o w a r ds   e m o t i o n a l   r e c o gn i t i o n   a c c ur a c y .   F r o m   t h e   f i r s t   t e s t s ,   w e   ob s e r ve d  t ha t   g l o b a l   f e a t ur e   c o n t ri b ut e   m o r e   t o   t h e   e m o t i o na l   r e c o gn i t i o n   a s   i t   s l i g ht l y   i n c r e a s e   t h e   r e s ul t   by   t h e   a v e ra ge   1. 7%  i n  A T IR   a pp r o a c h  a n d   4. 0%  i n  G A T IR   a p p r o a c h.   T h e   hi g h e s t   r e s ul t   i s   47 . 5%  f o r   G A T IR   w i t h   2  i n i t i a l   a n d  m i ddl e   s e gm e n t s   +   3  f i n a l   s e gm e n t s ,   us i n g   t h e   gl o b a l   f e a t u r e .   T h e   r e s ul t   s h o w s   t h a t   t h e   gl o b a l   f e a t u r e   i n   e n d - p a r t   f e a t ur e s   di d  c o n t ri b ut e   t o   t h e   pe r f o r m a n c e   of   t h e   s y s t e m .   T hi s   o ut c o m e   i n d i c a t e s   t ha t ,   t h e   r e c o gn i t i o n  a c c ur a c y   us i n g   g l o b a l   e n e r gy   fe a t ur e s   i s   pe r f o r m e d  b e t t e r  c o m pa r e d   t o   t h e   a c c ura c y   of   l o c a l   e n e r gy   f e a t ur e s .   O n   t h e   o t h e r   ha n d,   f r o m   t h e   s e c o n d  t e s t ,   w e   m a ke   c o m pa r i s o n s   b e t w e e n   t h e   e n d - pa rt   s e gm e nt   l e n g t h s   t o   de t e rm i n e   t h e   h i g h e s t   e m o t i o n a l   r e s ul t .   W e   f i n d  t ha t   g l o b a l   f e a t ur e s   t ha t   a r e   de ri v e d  f r o m   l o n ge r   s e gm e n t s   gi v e   h i g h e r   r e c o gn i t i o n   a c c ura c y   t h a n   g l o b a l   fe a t u r e   de r i v e d  f r o m   s h o r t   s e gm e n t s   a s   i t   s l i g ht l y   i n c r e a s e   t h e   r e s ul t   b y   t h e   a v e r a ge   8. 5 %  i n  A T IR   a pp r o a c h  a n d  3 . 5%   i n  G A T IR   a pp r o a c h.   A s   s t a t e d   i n  t h e   r e s ul t   i n   T a b l e   1,   G A T IR   s e gm e n t a t i o n   a pp r o a c h   p r o v i de s   a   r e l a t i v e l y   l ow   a ve r a ge   r e s ul t   c o m pa r e d  t o   A T IR   a pp r o a c h   i n   t h e   s e c o n d  t e s t .   T h i s   h a ppe n s   b e c a us e   t h e r e   i s   a   s l i g ht   d e c r e a s e   i n   a c c ura c y   i n   s e gm e nt   1+ 2 + 3  Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2502 - 4752   In do n e s i a n  J   E l e c   E ng  &   Co m p  S c i ,   V o l .   1 5 ,   N o .   3 ,  S e pt e m b e r   2 01 9   :     1 3 7 4   -   1 3 8 1   1380   (47. 5 %  t o   43. 8%) .   T h e   r e a s o n  m a y   b e   t h a t   t h e r e   a r e   s o m e   ov e r l a pp i n g  d a t a   a s   t h e   s e gm e nt   us e d  i n  m e t h o d  t hr e e   i s   l o n ge r.   T h e   h i g h e s t   r e s ul t   o b t a i n e d  f r o m   s e c o n d  t e s t   i s   47. 2%  f o r   G A T IR   a pp r o a c h  w i t h  2  i n i t i a l   a n d   m i dd l e   s e gm e nt s   a n d  5  f i n a l   s e gm e n t s ,   us i ng  g l o b a l   f e a t ur e   d e r i v e d  f r o m   20   l o c a l   e n e r gy   f e a t ur e s .   T h e   r e s ul t s   of   t h i s   s t u dy   w h e r e   a l m o s t   a l l   t h e   s ub - t e s t s   pr o v i de   a n   i n c re a s e d  r e s ul t   p r o v i n g  t h a t   gl o b a l   f e a t ur e   de r i v e d   f r o m   l o nge r  s e gm e n t   l e n gt h s   a c qu i r e   m o r e   e m o t i o na l   i n f o r m a t i o n   a n d   e nha n c e   t h e   s y s t e m   pe r f o r m a n c e .       7.   C O N C LU S I O N   F r o m   t h e   r e s ul t   a b o ve ,   w e   ob s e r v e d  t h a t   g l o b a l   f e a t ur e   c o nt ri b ut e   m o r e   t o   t h e   e m o t i o na l   r e c o gni t i o n   a s   i t   s l i g ht l y   i n c r e a s e   t h e   r e s ul t   by   t h e   a v e r a ge   1 . 7%   i n   A T I R   a ppr o a c h   a nd  4 . 0%  i n   G A T IR   a pp r o a c h .   A p a r t   f r o m   t h a t ,   w e   fo un d  t ha t   g l o b a l   f e a t ur e s   t ha t   a r e   de r i v e d  f r o m   l o n ge r   s e gm e n t s   gi v e   hi g h e r   r e c o gn i t i o n  a c c ur a c y   t h a n   gl o b a l   f e a t ur e   de r i v e d  f r o m   s h o rt   s e gm e n t s   h e n c e ,   G A T IR   w a s   o ut pe r fo r m e d  A T IR   s e gm e n t a t i o n   a p p r o a c h e d  i n   t e rm   o f   i t s   h i g h e r   a c c ur a c y .   W e   be l i e ve   t h a t   n o   s pe e c h   i n f o r m a t i o n   s h o ul d  b e   t r u n c a t e d  a s   t h e   w h o l e   s pe e c h   da t a   h o l d  t h e   s pe c i f i c   e m o t i o n a l   c h a ra c t e ri s t i c   i n c l ud i n g  t h e   u n v o i c e d,   s i l e n t   a n d  p a us e ’s   s i g n a l .   S i n c e   G A T IR   us e d  t h e   g l o b a l   f e a t ur e   f r o m   t h e   w h o l e   ut t e ra n c e ,   m o r e   e m o t i o n a l   i n f o r m a t i o n   ha s   b e e n   o b t a i n e d.   A dd i t i o n a l l y ,   o ur   i de a   i n   g e t t i n g  m o r e   f e a t ur e s   a t   t h e   e n d - p a r t   f e a t u r e s   di d  c o n t ri b ut e   t o   t h e   pe r f o r m a n c e   o f   t h e   s y s t e m .   A l t h o ug h   l a rg e   n u m b e r   o f   s e gm e n t s   i n  t h e   e n d - p a r t   a l s o   c a n   e nh a n c e   s y s t e m   pe r f o r m a n c e ,   i t   do e s   n o t   gua ra n t e e   h i g h  a c c ur a c y   a s   i t   po s s i b l y   w i l l   c o n t a i n  r e du n d a n c y   o f  da t a .   I n   t h i s   w o r k,   w e   o n l y   us e   e n e r gy   fe a t ur e s   t o   s e e   t h e   e ffe c t   o f  h a v i n g  m o r e   f e a t ur e s   a t   t h e   e n d - p a r t   o f   t h e   s pe e c h   t o   s e e   t h e   e m o t i o n   c l a s s i f i c a t i o n   i m p r o v e m e n t .   F o r   f ut u r e   w o r k,   a ddi t i o n a l   f e a t u r e   w i l l   b e   t a ke n   i nt o   a c c o un t   a s   i t   i s   e xpe c t e d  t o   pr o v i de   i m pr o v e m e n t s   i n   e m o t i o na l   r e c o gn i t i o n   a c c u r a c y .   W e   w i l l   i n v e s t i ga t e   t h e   i n t e g r a t i o n   a m o n g  p r o s o di c   f e a t ur e   c a t e go r i e s   a n d   s t udy   t h e   e ff i c i e n c y   of   t h e   s y s t e m   pe r f o r m a n c e .       A C K N O WL ED G E M EN TS   T h i s   r e s e a r c h   i s   s uppo r t e d  b y   U T M   V i c ub e L a b   R e s e a r c h  G ro up  a t   S c h o o l   o f   Co m put i n g,   F a c ul t y   of   E n gi n e e r i n g ,   U n i v e r s i t i   T e k n o l o gi   M a l a y s i a   u n de r   R e s e a r c h   U n i v e r s i t y   G r a nt   Q . J 1300 00. 2528 . 14H 51.       R EF ER EN C ES   [ 1]   R .   B .   L a nj e w a r   a nd  D .   S .   C ha u dha r i ,   “ S pe e c h  E m o t i o n  R e c o g ni t i o n  :   A   R e v i e w , ”   I nt .   J .   I n nov .   T e c hno l .   E x p l o r .   E ng. ,   v o l .   2 ,   no .   4 ,   pp .   68 - 71 ,   2 013 .   [ 2]   A .   M .   C o l m a n ,   “ A   D i c t i o na r y   of   P s y c h o l o gy   ( 3r d  e d. ) , ”   O x f o r d  U ni v e r s i t y   P r e s s ,   200 9.   [ O nl i ne ] .   A v a i l a bl e :   ht t p: / / w w w . o xf o r dr e f e r e nc e . c o m / v i e w / 10 . 10 93 / a c r e f / 9 7801 9953 40 67. 0 01 . 000 1/ a c r e f - 978019 9534 067 .   [ A c c e s s e d:   29 - J a n - 201 5] .   [ 3]   M .   A r gy l e ,   “ B o di l y   C o m m uni c a t i o n, ”   R o ut l e dge ;   2   e di t i on ,   1 988 .   .   [ 4]   E .   T z i n i s   a nd  A .   P o t a m i a no s ,   “ S e g m e nt - b a s e d  S pe e c h  E m o t i o n  R e c og ni t i o n  us i ng   R e c ur r e nt   N e ur a l   N e t w o r k s , ”   i n  2017  Se v e nt h  I n t e r nat i o nal   C onf e r e nc e   on  A f f e c t i v e   C om pu t i ng   and  I n t e l l i ge n t   I n t e r ac t i on  ( A C I I ) ,   2017 ,   no .   S e pt e m be r ,   pp .   190 - 19 5.   [ 5]   K .   S .   R a o ,   S .   G .   K o o l a g udi ,   a n d  R .   R .   V e m pa da ,   “ E m o t i o n  R e c o g ni t i o n  f r o m   S pe e c h  us i ng   G l o ba l   a nd  L o c a l   P r o s o di c   F e a t u r e s , ”   I nt .   J .   S pe e c h  T e c hno l . ,   v o l .   1 6,   no .   2,   p p.   14 3 - 160,   2 013 .   [ 6]   S .   M i r s a m a d i ,   E .   B a r s o um ,   a nd   C .   Z ha ng ,   “ A ut o m a t i c   S pe e c h   E m o t i o n  R e c o g ni t i o n  us i ng   R e c ur r e n t   N e ur a l   N e t w o r ks   w i t h  L o c a l   A t t e n t i o n, ”   i n  I C A SSP ,   I E E E   I n t e r na t i o na l   C onf e r e nc e   on   A c o us t i c s ,   S pe e c h  and  Si g na l   P r oc e s s i ng   -   P r oc e e di ng s ,   20 17 ,   pp.   2 227 - 223 1.   [ 7]   B .   S c hul l e r ,   D .   A r s i c ,   F .   W a l l ho f f ,   a nd  G .   R i g o l l ,   “ E m o t i o n  R e c o g ni t i o n  i n  t he   N o i s e   A ppl y i ng   L a r g e   A c o us t i c   F e a t ur e   S e t s , ”   Spe e c h  P r os od y ,   D r e s de n ,   pp.   2 76 - 289 ,   2006 .   [ 8]   A .   Á l v a r e z   e t   al . ,   “ F e a t u r e   S ubs e t   S e l e c t i o n  ba s e d  o n  E v o l ut i o na r y   A l go r i t hm s   f o r   A ut o m a t i c   E m o t i o n  R e c og ni t i o n   i n  S po ke n   S pa ni s h  a nd   S t a n da r d  B a s q ue   L a ng ua g e , ”   v o l .   320 6,   no .   S e pt e m be r ,   20 06 ,   p p.   56 5 - 572 .   [ 9]   Y .   A m i r g a l i y e v ,   M .   H a hn,   T .   M u s s a ba y e v ,   a nd  O .   A c c e s s ,   “ T h e   S pe e c h  S i g na l   S e g m e n t a t i o n  A l go r i t hm   us i ng   P i t c h   S y nc hr o n o us   A na l y s i s , ”   pp .   1 - 8,   20 17.   [ 10]   M .   K a l a m a ni ,   S .   V a l a r m a t hy ,   S .   A ni t h a ,   a nd  R .   M o ha n ,   “ R e v i e w   o f   S pe e c h  S e g m e nt a t i o n  A l go r i t hm s   f o r   S pe e c h   R e c og ni t i o n, ”   v o l .   3 ,   no .   11 ,   pp .   1572 - 15 74 ,   20 14 .   [ 11]   M .   E l   A y a di ,   M .   K a m e l ,   a n d  F .   K a r r a y ,   “ S u r v e y   o n  S pe e c h  E m o t i o n  R e c o g ni t i o n:   F e a t ur e s ,   C l a s s i f i c a t i o n  S c he m e s   a nd  D a t a ba s e s , ”   P at t e r n  R e c o gni t . ,   v o l .   4 4,   no .   3 ,   pp.   5 72 - 587 ,   M a r .   201 1.   [ 12]   H .   Z ha ng ,   S .   W a r i s a w a ,   a nd  I .   Y a m a da ,   “ A n  A ppr o a c h  f o r   E m o t i o n  R e c og ni t i o n  us i ng   P ur e l y   S e g m e nt - L e v e l   A c o us t i c   F e a t u r e s , ”   K e e r 2014 ,   I n t .   C on f .   K ans e i   E ng .   E m ot .   R e s . ,   2 014.   [ 13]   C .   N .   S c o l l o n,   E .   D i e ne r ,   S .   O i s h i ,   a nd  R .   B i s w a s - D i e ne r ,   “ E m o t i o n s   A c r o s s   C ul t ur e s   a nd   M e t ho ds , ”   J .   C r o s s .   C u l t .   P s y c hol . ,   v o l .   35 ,   no .   3 ,   pp .   304 - 326 ,   M a y   2004.   [ 14]   A .   I l i e v ,   “ E m o t i o n   R e c o g ni t i o n  u s i ng   G l o t t a l   a n d  P r o s o di c   F e a t u r e s , ”   U ni v e r s i t y   o f   M i a m i ,   200 9.   [ 15]   S .   A .   A l i ,   S .   Z e h r a ,   M .   K h a n,   a nd  F .   W a h a b,   “ D e v e l o pm e nt   a nd  A na l y s i s   o f   S pe e c h  E m o t i o n  C o r pus   us i ng   P r o s o di c   F e a t u r e s   f o r   C r o s s   L i ng ui s t i c s , ”   I nt .   J .   Sc i .   E ng .   R e s . ,   v o l .   4,   no .   1,   pp .   1 - 8,   20 13.   [ 16]   S .   G .   K o o l a g udi   a nd  K .   S .   R a o ,   “ E m o t i o n  R e c o g ni t i o n  F r o m   S pe e c h  :   A   R e v i e w , ”   no .   J u l y   2011,   pp .   99 - 117 ,   201 2.   Evaluation Warning : The document was created with Spire.PDF for Python.
In do n e s i a n  J   E l e c   E ng  &   Co m p  S c i     IS S N :   2502 - 4752       E m ot i onal   s pe e c h  f e a t ur e   s e l e c t i on  us i ng   e n d - par t   s e gm e nt e d  e n e r gy   f e a t ur e   ( Noor   A i na   Z ai dan )   1381   [ 17]   M .   S e z g i n,   B .   G un s e l ,   a nd  G .   K ur t ,   “ P e r c e p t ua l   A udi o   F e a t ur e s   f o r   E m o t i o n  D e t e c t i o n, ”   E U R A S I P   J .   A ud i o ,   Spe e c h,   M u s i c   P r oc e s s . ,   v o l .   201 2,   no .   1 ,   p .   16 ,   2012 .   [ 18]   K .   W a ng ,   N .   A n,   B .   N .   L i ,   Y .   Z ha ng ,   a nd  L .   L i ,   “ S pe e c h  E m o t i o n  R e c o g ni t i o n  us i ng   F o ur i e r   P a r a m e t e r s , ”   I E E E   T r ans .   A f f e c t .   C om p u t . ,   v o l .   6 ,   no .   1,   pp .   69 - 75 ,   2015 .   [ 19]   O .   S c ha r e n bo r g ,   V .   W a n,   a nd  M .   E r n e s t us ,   “ U ns upe r v i s e d  S pe e c h  S e g m e nt a t i o n:   A n  A na l y s i s   o f   t he   H y po t he s i z e d   P ho ne   B o unda r i e s , ”   J .   A c ou s t .   Soc .   A m . ,   v o l .   12 7,   no .   2 ,   p p.   10 84 - 1 095,   2 010 .   [ 20]   H .   A z a m i ,   K .   M o ha m m a d i ,   a n d  H .   H a s s a n po ur ,   “ A n  I m pr ov e d  S i g na l   S e g m e n t a t i o n  M e t ho d  us i ng   G e ne t i c   A l go r i t hm , ”   I n t .   J .   C om pu t .   A p pl . ,   v o l .   29 ,   no .   8 ,   pp .   5 - 9,   201 1.   [ 21]   R .   M a ko w s ki   a nd   R .   H o s s a ,   “ A ut o m a t i c   S p e e c h  S i g na l   S e g m e nt a t i o n  ba s e d  o n  t he   I nno v a t i o n  A da pt i v e   F i l t e r , ”   I nt .   J .   A pp l .   M a t h .   C om put .   Sc i . ,   v o l .   2 4,   no .   2,   p p.   25 9 - 270 ,   2 014 .   [ 22]   B .   S c hu l l e r   a nd   G .   R i g o l l ,   “ T i m i ng   L e v e l s   i n  S e g m e nt - ba s e d  S p e e c h  E m o t i o n  R e c o g ni t i o n, ”   i n   P r oc .   I N T E R SP E E C H   20 06 ,   P r oc .   I n t .   C o nf .   on   Spo k e n  L a ngua ge   P r oc e s s i ng   I C SL P ,   2006 ,   pp .   1818 - 18 21 .   [ 23]   M .   K .   S a f da r kh a n i ,   S .   P .   M o j a v e r ,   S .   A t i e g he c hi ,   a n d  M .   S .   R i a hi ,   “ E m o t i o n  R e c o g ni t i o n  o f   S pe e c h  us i ng   A N N   a nd  G M M , ”   A us t .   J .   B as i c   A pp l .   Sc i . ,   v o l .   6 ,   no .   9 ,   pp .   45 - 57,   2 012 .   [ 24]   P .   S he n ,   Z .   C h a ng j un ,   a n d  X .   C he n ,   “ A ut o m a t i c   S pe e c h  E m o t i o n  R e c og ni t i o n  us i ng   S uppo r t   V e c t o r   M a c h i ne , ”   I nt .   C onf .   E l e c t r on .   M e c h .   E ng .   I n f .   T e c hn ol . ,   p p.   62 1 - 625,   A ug .   201 1.   [ 25]   B .   A .   I n g a l e   a nd   D .   .   C ha udha r i ,   “ S pe e c h  E m o t i o n  R e c o g ni t i o n  us i ng   H i dd e n  M a r ko v   M o de l   a nd  S uppo r t   V e c t o r   M a c hi n e , ”   I n t .   J .   A dv .   E ng .   R e s .   St ud . ,   v o l .   1 ,   no .   3,   pp .   316 - 31 8,   20 12 .         B I O G R A P H I ES   O F   A U T H O R S       N oo r   A i na   bi n t i   Z a i da n   o bt a i ne d   he r   ba c he l o r   de g r e e   i n  C o m put e r   S c i e nc e   ( G r a ph i c   M ul t i m e d i a )   f r o m   U ni v e r s i t i   T e kno l o g i   M a l a y s i a ,   M a l a y s i a ,   J o ho r .   C u r r e nt l y ,   s he   i s   a   P h . D   s t ud e n t   a t   t h e   F a c u l t y   o f   C o m put i ng ,   U n i v e r s i t i   T e k no l o g i   M a l a y s i a .   H e r   r e s e a r c h  i n t e r e s t s   i nc l ud e   s pe e c h  s e g m e nt a t i o n ,   e m o t i o n  r e c o g ni t i o n,   a nd   c o m put e r   v i s i o n.               D r   M d  S a h  H j   S a l a m   i s   a   l e c t u r e r   a t   C o m put e r   S c i e nc e   D e pa r t m e nt ,   F a c ul t y   o f   C o m put i ng ,   U ni v e r s i t i   T e k no l o g i   M a l a y s i a .   H e   o bt a i n e d  hi s   ba c he l o r   de g r e e   i n  C o m put e r   S c i e nc e   ( S o f t w a r e   E ng i ne e r i ng )   f r o m   U ni v e r s i t y   of   P i t t s bu r g h,   P A ,   U S A   ( 1997) ,   M S c   ( 2001)   a nd  P hD ( 20 10)   i n   S pe e c h  p r o c e s s i ng   a n d  A I   f r om   U ni v e r s i t i   T e kno l o g i   M a l a y s i a .   H e   i s   a   m e m be r   o f   U T M   V i C ube L a b  R e s e a r c h  g r o up  un de r   F a c ul t y   of   C o m put i ng ,   U ni v e r s i t i   T e kno l o g i   M a l a y s i a ,   S kuda i ,   J o ho r .   H i s   r e s e a r c h  i nt e r e s t s   i nc l ude   s pe e c h  s e g m e nt a t i o n  a nd  r e c og ni t i o n ,   a r t i f i c i a l   i nt e l l i g e nt   a nd   c o m put e r   v i s i o n.         Evaluation Warning : The document was created with Spire.PDF for Python.