I nte rna t io na l J o urna l o f   E lect rica l a nd   Co m p ute E ng in ee ring   ( I J E CE )   Vo l.   7 ,   No .   3 J u n e   201 7 ,   p p .   1246 ~ 1 2 5 4   I SS N:  2 0 8 8 - 8708 DOI : 1 0 . 1 1 5 9 1 / i j ec e . v7 i 3 . p p 1 2 4 6 - 1254          1246       J o ur na l ho m ep a g e h ttp : //ia e s jo u r n a l.c o m/o n lin e/in d ex . p h p /I JE C E   New   Recog nition M ethod  f o r Vis ua liz ing  Mus ic  E m o tion       Va n L o i N g uy en 1 ,   Do ng li m   K i m 2 ,   Va n P h i H o 3 ,   Yo un g hw a n L i m 4   1, 2, 4 De p a rtm e n o f   Dig it a M e d ia,  S o o n g sil  Un iv e rsity ,   Ko re a   3 De p a rtme n o f   Co m p u ter S c ien c e   a n d   E n g in e e rin g ,   S o o n g sil  Un iv e rsit y ,   Ko re a       Art icle  I nfo     AB ST RAC T   A r ticle  his to r y:   R ec eiv ed   Feb   1 2   2 0 1 7   R ev i s ed   A p r   2 0 ,   2 0 1 7   A cc ep ted   Ma y   4 ,   2 0 1 7       T h is  p a p e p ro p o se a n   e m o ti o n   d e tec ti o n   m e th o d   u sin g   a   c o m b in a ti o n   o d im e n sio n a a p p r o a c h   a n d   c a teg o rica a p p r o a c h .   T h a y e r’ m o d e is  d iv id e d   in to   d isc re te  e m o ti o n   se c ti o n b a se d   o n   th e   lev e o f   a ro u sa a n d   v a len c e .   T h e   m a in   o b jec ti v e   o f   th e   m e th o d   is  to   in c re a se   th e   n u m b e o f   d e tec te d   e m o ti o n w h ich   is  u se d   f o e m o ti o n   v isu a li z a ti o n .   T o   e v a lu a te  th e   su g g e st e d   m e th o d ,   w e   c o n d u c ted   v a rio u e x p e rim e n ts  w it h   su p e rv ise d   lea rn in g   a n d   f e a tu re   se lec ti o n   stra teg ies .   W e   c o ll e c te d   3 0 0   m u sic   c li p w it h   e m o ti o n a n n o tate d   b y   m u sic   e x p e rts.   Tw o   fe a tu re   se ts  a re   e m p lo y e d   to   c re a te  tw o   train in g   m o d e ls  f o a ro u sa a n d   v a len c e   d im e n sio n o f   T h a y e r’s  m o d e l.   F in a ll y ,   3 6   m u sic   e m o ti o n a re   d e tec ted   b y   p ro p o se d   m e th o d .   T h e   re su lt sh o w e d   th a th e   su g g e ste d   a lg o rit h m   a c h ie v e d   t h e   h ig h e st  a c c u ra c y   w h e n   u sin g   Ra n d o m F o re st  c las sif ier  w it h   7 0 %   a n d   5 7 . 3 %   f o a ro u sa a n d   v a len c e ,   re sp e c ti v e l y .   T h e se   ra tes   a r e   b e tt e th a n   p re v io u s st u d ies .   K ey w o r d :   Featu r ex tr ac tio n   Mu s ic  e m o tio n   r ec o g n itio n   alg o r ith m   Mu s ic  i n f o r m atio n   r etr iev al   Mu s ic  m o o d   d etec tio n   Co p y rig h ©   2 0 1 7   In stit u te o A d v a n c e d   E n g i n e e rin g   a n d   S c ien c e .     Al rig h ts  re se rv e d .   C o r r e s p o nd ing   A uth o r :   Van   L o i N g u y e n   Dep ar t m en t o f   Dig ital M ed ia,     So o n g s il Un iv er s it y ,     3 6 9   San g d o - r o ,      Do n g j ak - g u ,   Seo u l,  0 6 9 7 8 ,   K o r ea .   E m ail:  v an lo ik t k t @ y a h o o . co m       1.   I NT RO D UCT I O N   Mu s ic  is   p o p u lar   e n ter tain m en i n   o u r   d ail y   li f e,   esp ec iall y   in   t h d ig ital  a g e.   T h e m o tio n al  p o w er   o f   m u s ic  i s   co n ce i v ab l y   g r ea t er   th an   t h e m o t io n al  p o w er   o f   an y   o th er   m ed iu m .   M u s ic  c an   b r in g   u s   to   tear s   an d   lu ll  b ab y   to   s leep .   I ts   i n f lu e n ce s   ar f elt  clea r l y ,   b u t   th w a y s   it  u s e s   to   to u ch   o u r   h ea r ts   ar m o r in d ef i n ab le  [ 3 ] .   Vis u al izatio n   tech n iq u es  cr ea te  f itt in g   e n v ir o n m e n f o r   p r esen ti n g   e m o ti o n   in   m u s ic.   T h eir   ca p ac it y   f o r   cr ea ti v en e s s ,   f le x ib ilit y ,   an d   m u ltid i m en s io n a lit y   e n ab les  t h i n ter p r etatio n   o f   ab s tr ac d ata.   B esid es  th at,   t h p r i m ar y   m o t i v to   lis te n   to   m u s ic  i s   to   f ee e m o tio n s .   T h er ef o r e,   th m u s i p er f o r m ed   w i th   a   v is u alize r   h elp s   a u d ien ce s   e n h an ce   t h m u s ical  e x p er ien ce .   E m o tio n   v is u aliza tio n   in   m u s ic  ca n   b d iv id ed   in to   t w o   m aj o r   s tag es d etec t in g   e m o t io n   a n d   v i s u alizi n g   e m o tio n .   E ac h   d etec ted   m o o d   is   p r esen ted   b y   p atter n   o f   v is u aliza t io n   m ed i s u ch   as  r esp o n s i v b eh av i o r s   o f   v ir tu al  ch ar ac ter   [ 1 3 ] ,   p h o to s   [ 5 ] ,   an d   co lo r ed   b a r   g r ap h   w it h   tex [ 1 0 ] .   I is   i m p o r tan to   g ai n   en o u g h   n u m b er   o f   v i s u al   p atter n s   to   v is u alize   m u s i c   e m o tio n   m o r ef f ec ti v el y .   I m ea n s   th at  lar g er   n u m b er   o f   e m o tio n s   m u s b ap p r o p r iatel y   r ec o g n ized   f o r   v is u aliza t io n .   I n   t h i s   p ap er ,   w p r o p o s an   e m o tio n   r ec o g n it io n   alg o r it h m   f o r   m u s ic  e m o ti o n   v i s u al izatio n .   As  r esu lt,  3 6   e m o tio n s   ar d etec ted   b ased   o n   th lev el  o f   ar o u s al  an d   v ale n ce   in   T h a y er s   m o d el  [ 2 ] .   R ec en t l y   m u s ic  e m o tio n   r ec o g n itio n   ( ME R )   h a s   b ec o m e   an   ac tiv r esear c h   to p ic  th a h as  b ee n   ad d r ess ed   b y   ca teg o r ical  ap p r o ac h es  o r   d i m e n s io n al  ap p r o ac h es.  E s s e n tial  to   th ca teg o r i ca ap p r o ac h   is   t h e   co n ce p t o f   b asic e m o tio n s   o r   em o tio n   cl u s ter s   ( e. g . ,   h ap p y ,   a n g r y ,   s ad ,   an d   f ea r )   an d   ap p lies   m ac h i n lear n i n g   tech n iq u es   to   cr ea te  tr ain i n g   m o d el.   T h id ea   is   t h at  th er is   li m ited   q u a n tit y   o f   i n n ate   an d   co m m o n   e m o tio n   ca teg o r ies   f r o m   w h i ch   all   o th er   e m o tio n   clas s es  ca n   b d er iv ed .   T h n o tio n   o f   b asic   e m o tio n s   is   d iv er s i f ied ; d if f er en s tu d ie s   h av e m p lo y ed   d i f f er e n t set s   o f   b asic e m o tio n s .   Mo r eo v er ,   th er is   n o   d is ti n ctio n   b et w ee n   s o n g s   g r o u p ed   in   th s a m ca te g o r y ,   ev e n   i f   th er a r o b v io u s   d if f er en ce s   i n   ter m s   o f   h o w   s tr o n g   t h e   ev o k ed   e m o tio n s   ar e.   T h m aj o r   d r a w b ac k   o f   th ca te g o r ical   ap p r o ac h   is   th at  p r i m ar y   e m o tio n   class e s   ar to o   Evaluation Warning : The document was created with Spire.PDF for Python.
I J E C E     I SS N:  2 0 8 8 - 8708       A   N ew R ec o g n itio n   Meth o d   fo r   V is u a liz in g   Mu s ic  E mo tio n   ( V a n   Lo i Ng u ye n )   1247   s m al l in   co m p ar i s o n   w it h   t h r ich n e s s   o f   m u s ic  e m o tio n   p er ce iv ed   b y   h u m an s .   T h is   ap p r o a ch   is   r ar el y   u s ed   i n   e m o tio n   v i s u a lizatio n   b ec au s o f   t h l i m ited   n u m b er   o f   e m o tio n s   ( f r o m   4   to   7   e m o tio n s ) .   T o   s o lv t h i s   p r o b lem ,   o u r   r esear c h   p u r p o s is   to   in cr ea s e   th e   n u m b er   o f   d etec ted   m u s ic   e m o tio n s   f o r   ap p licatio n s   o f   m u s ic   e m o tio n   v is u aliza tio n .   W h ile  t h ca teg o r ical  ap p r o ac h   ai m s   m ai n l y   at   th e   c h ar ac ter is tics   t h at  d i s ti n g u is h   e m o tio n s   f r o m   o n e   an o th er ,   t h d i m e n s io n al  ap p r o ac h   to   e m o tio n   co n ce p tu a liz atio n   f o c u s e s   o n   id e n ti f y in g   e m o tio n s   b ased   o n   th eir   p o s itio n s   o n   s m a ll  n u m b er   o f   e m o tio n   d i m e n s i o n s ”  w it h   n a m ed   a x es,  w h i ch   ar in te n d ed   to   co r r esp o n d   to   in ter n al  h u m a n   r ep r esen tatio n s   o f   e m o tio n .   T h ese  in ter n al  e m o t io n   d i m e n s io n s   ar f o u n d   b y   an al y z in g   t h co r r elatio n   b etw ee n   af f ec t iv t er m s .   U n til  n o w ,   f e w   e m o tio n   m o d els  h a v b ee n   p r o p o s ed   in   p s y ch o lo g y   an d   p h y s io lo g ica l   s cie n ce s .   On e   o f   th e   m o s k n o w n   m o d el s   w a s   s u g g ested   b y   T h a y er   in   1 9 8 9   as  s h o w n   i n   Fi g u r e   1 .   T h a y er s   m o d el  is   b ased   o n   t w o   b a s ic  a n d   ef f ec ti v p ar a m eter s ,   m u s i en er g y   a n d   m u s ic   p leasu r e,   th e s p ar a m eter s   ar also   k n o w n   as a r o u s al  an d   v a l en ce ,   r esp ec tiv el y .           Fig u r e   1 .   T h ay er ' s   Mo d el  f o r   t h E m o tio n al  P lan ( also   n a m ed   R u s s el ' s   m o d el)       W ith   t h co n ti n u o u s   ap p r o ac h ,   th ar o u s al   an d   v ale n ce   v al u es  o f   ea ch   m u s ic  s a m p l e   ar co m p u ted   an d   th m u s ic  s a m p le  i s   v ie wed   as  p o in in   t h e m o tio n   p lan e.   I is   i m p o s s ib le  to   p er f o r m   m u s ic  e m o t io n   b y   v i s u a p atter n   b ec au s w h av to   n ee d   in n u m er ab le  v is u al  o n e s .   T h er ef o r e,   th n u m b er   o f   r ec o g n ized   e m o tio n s   m u s b f in ite  an d   b ig   en o u g h   f o r   e m o tio n   v i s u a li za tio n .   T o   th at  en d ,   w d iv id ed   T h ay er s   m o d el   in to   d is cr ete  e m o tio n   s ec t io n s   b ased   o n   t h le v el  o f   ar o u s a l a n d   v ale n ce .   E m o tio n   r ec o g n iti o n   is   co n d u cted   o n   b o th   d i m en s io n s   ar o u s al  a n d   v alen ce .   A   d etec ted   m u s ic  e m o t io n   b elo n g s   o n o f   t h ese  e m o ti o n   s ec tio n s .   I n   s u m m ar y ,   th i s   p ap er   o f f er s   th f o llo w in g   o r ig i n al  co n tr i b u tio n s   w h ic h   r elate   to   t h M E R   MI R   ( m u s ic  in f o r m a tio n   r etr iev a l)   f ield :   a.   T h f ir s s t u d y   co m b i n i n g   d i m en s io n a an d   ca teg o r ical  ap p r o ac h es  i n   ME R   b ased   o n   t h lev el  o f   v alen ce   a n d   ar o u s al;    b.   T h ac cu r ac ies  o f   p r o p o s ed   m et h o d   ar m ar k ed l y   i m p r o v ed   co m p ar in g   w it h   p r ev io u s   w o r k ,   esp ec iall y   f o r   v ale n ce   r ec o g n it io n   o f   e m o tio n .           Fig u r 2 .   T h Diag r a m   o f   t h P r o p o s ed   E m o tio n   R ec o g n itio n   A l g o r ith m   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 8 - 8708   I J E C E     Vo l.  7 ,   No .   3 J u n 2 0 1 7   :   1 2 4 6     1 2 5 4   1248   Fig u r e   2   p r esen ts   th w h o le   p r o ce s s   o f   th m u s ic   e m o ti o n   r ec o g n it io n   u s ed   i n   o u r   w o r k .   T h e   s u g g e s ted   s y s te m   ca n   b d iv i d ed   in to   t w o   s ta g es:  b u i ld in g   tr ain in g   m o d el  an d   clas s i f y i n g   e m o tio n .   Fir s tl y ,   3 0 0   m u s ic  clip s   ar co llected   f r o m   A ll  Mu s ic  G u id ( A M G)   [ 1 9 ] .   N ex t,  th ac o u s tic  f e atu r es  ar ex tr ac ted   f r o m   m u s ic  d ataset.   Af ter   t h at ,   f ea tu r s e lectio n   m et h o d   is   u s ed   f o r   s elec ti n g   o n l y   t h m o s r elev an f ea t u r es.   T h f ea tu r d ataset  is   u s ed   to   cr ea te  2   tr ain in g   m o d els  f o r   ar o u s al  an d   v ale n ce .   T h lear n ed   m o d els  ar e   th e n   e m p lo y ed   to   p r ed ict  th lev el  ar o u s al  an d   v ale n ce   o f   m u s ic  f iles .   T h r est  o f   th is   p ap er   is   o r g an ized   as  f o llo w s .   R elate d   w o r k   is   s h o w n   i n   s ec tio n   2 .   Sectio n   3   s h o w s   m u s ic  e m o tio n   r ec o g n itio n   al g o r ith m .   E x p er i m en ta r esu l t s   ar p r esen ted   in   s ec t io n   4 .   Fin all y ,   s ec tio n   5   p r o v id es c o n clu s io n s   a n d   f u t u r w o r k .       2.   RE L AT E WO RK   On o f   t h f ir s s t u d ies  i n   th e   ca teg o r ical  ap p r o ac h   o f   ME R   w as  co n d u cted   b y   Fen g ,   et  al .   in   2 0 0 3   [ 6 ] .   T h e y   clas s i f ied   m u s ic  e m o tio n s   i n to   f o u r   ca te g o r ies  co n s is tin g   o f   h ap p in es s ,   s ad n ess ,   a n g er ,   a n d   f ea r .   T em p o   an d   ar ticu latio n   w er ex tr ac ted   f r o m   2 2 3   p o p   m u s i s eg m e n ts .   T h ese  f ea t u r es  ar e m p lo y ed   as   th e   in p u v alu e s   o f   th n e u r al  n et w o r k s .   T h av er ag ac cu r ac y   o f   th alg o r it h m   ac h iev ed   at  6 7 %.  L ate  o n ,   Yan g ,   ,   et  al .   u tili ze d   a   f u zz y   k - NN  class i f ier   a n d   f u zz y   n ea r est - m ea n   clas s i f ier   to   d etec t   f o u r   class e s   o f   m u s ic   e m o tio n   f r o m   2 4 3   p iece s   o f   m o d er n   p o p   m u s ic  [ 1 5 ] .   T h b es t a cc u r ac y   o f   t h m eth o d   r ea ch ed   7 8 . 3 3 %.   I n   d i m en s io n al   ap p r o ac h ,   Ko r h o n e n ,   et   al . ap p lied   th e   s y s te m   id e n ti f ic atio n   tec h n iq u e   to   m o d el   t h e   m u s ic  e m o tio n   a s   f u n ctio n   o f   1 8   m u s ical  f ea t u r es  [ 8 ] .   T h ac cu r ac y   o f   t h m et h o d   in   ter m s   o f   th R 2   s tatis t ics  ac h ie v ed   at  7 8 . 4 f o r   ar o u s al  an d   2 1 . 9 f o r   v al en ce .   I n   a n o th er   s t u d y ,   Yan g ,   et  al .   f o r m u lated   ME R   as  r eg r es s io n   p r o b le m   to   p r ed ict  th ar o u s al  an d   v al en ce   v al u es  o f   ea ch   m u s ic  s a m p le  d ir ec tl y   [ 1 4 ] .   T h b est  p er f o r m a n ce   r ea ch e d   0 . 5 8   f o r   ar o u s al  a n d   0 . 2 8   f o r   v alen ce   in   ter m s   o f   t h R 2   s tatis tics   b y   u s i n g   s u p p o r t v ec to r   m ac h in e s   as r eg r ess o r s .   T h v iab ilit y   o f   an   ME R   s y s te m   lar g el y   lie s   i n   t h ac c u r ac y .   Fro m   r e v ie w   o f   t h e x is tin g   liter atu r e ,   it  is   clea r   t h at  t h ac c u r ac y   o f   e m o t io n   r ec o g n itio n   i n   p r ev io u s   w o r k   is   n o h i g h   esp ec iall y   f o r   v alen ce   p r ed ictio n ,   s o   th er is   p le n t y   o f   r o o m   f o r   i m p r o v e m e n t.  I n   c ateg o r ical  a p p r o ac h ,   th e   ac cu r ac y   d ep en d s   o n   t h e   n u m b er   o f   d etec ted   e m o tio n s ,   m u s ic  d ataset,   f ea t u r s e t ,   f ea t u r s elec t io n   m et h o d ,   an d   clas s i f icatio n   alg o r ith m .   I n   t h i s   s t u d y ,   w u s ed   b ig g er   m u s ic  d ata s et  an d   f ea t u r s et  co m p ar i n g   with   m an y   p r ev io u s   s tu d ie s .   Fin d i n g   o p ti m al  p ar am eter s   o f   clas s i f icatio n   al g o r ith m s   w as  ex ec u ted   th r o u g h   ex p er i m e n tal  s t u d ies .   T h m et h o d   w a s   ev al u ated   w ith   s e v er al  m ac h i n lear n i n g   t ec h n iq u es  a n d   its   ac cu r ac y   ar ch iv ed   at  7 0 f o r   ar o u s al  an d   5 7 . 3 % f o r   v alen ce .   T h ese  r esu lts   ar s i g n i f ica n t i m p r o v e m en t c o m p ar i n g   to   ex is t in g   w o r k .       3.   M USI E M O T I O RE CO G NI T I O A L G O RI T H M   3 . 1 .   Da t a   C o llect io n   T h er is   n o s ta n d ar d   d atab ase  f o r   r ec o g n izi n g   m u s ic  e m o tio n t h er ef o r m o s r e s ea r ch e r s   h a v to   co m p ile  th eir   o w n .   A   lar g e - s c ale  d atab ase  co v er in g   all  k i n d s   o f   m u s ic  t y p es a n d   g e n r es is   d esira b le.   T h er ar e   m an y   f ac to r s   th at   i m p ed t h d ev elo p m en t   o f   a   co m m o n   d atab ase.   First,  t h er i s   s till   n o   c o n s en s u s   o n   w h ic h   e m o tio n   m o d el  o r   h o w   m an y   e m o tio n   ca te g o r ies  s h o u ld   b e.   Seco n d ,   d u e   to   t h co p y r ig h i s s u es,   th e   au d i o   f iles   ar n ee d ed   f o r   e x tr ac tin g   m u s ic   f ea t u r es   r elev a n to   e m o tio n   ex p r ess io n .   B esid es   t h at,   m u s ic  c lip s   ar e   m an u all y   lab eled ,   th er e f o r th s ize  o f   t h m u s ic  d ataset s   i n   th p r ev io u s   w o r k   r elate d   to   ME R   ar u s u all y   n o b ig   en o u g h   [ 6 ] ,   [ 1 5 ] ,   [ 1 6 ] .   3 0 0   m u s ic  clip s   f r o m   A MG   w er u ti lized   to   cr ea te  a   tr ain in g   m o d el  in   o u r   ex p er i m e n t.   A MG   is   m u s ic  co m p a n y   w h ic h   u s es  m o o d s   f o r   m u s ic  o r g a n izatio n   a n d   r etr iev al.   T h is   co m p an y   u s es  u p   2 8 8   e m o tio n   lab els  to   d escr ib th af f ec tiv co n ten o f   m u s ic,   a n d   th e s e   lab els  ar ass ig n ed   m a n u all y   b y   m u s ical  e x p er ts   [ 3 ] .   T h is   m u s ic  co llect io n   i s   lab eled   w it h   s i x   le v el s   o f   ar o u s al  a n d   v ale n ce .   As  in tr o d u ce d   in   T ab le  1 ,   th ar o u s al  lev e o f   E x ci ted   an d   An n o y i n g   i s   t h h i g h est  w h ile   th h i g h est  v ale n ce   lev e b elo n g s   to   P leased   an d   R elax ed .       T ab le  1 .   T h L ev el  o f   A r o u s al   an d   V alen ce   i n   T h a y er s   M o d el                 A r o u sal   ( En e r g y )   V a l e n c e   ( P l e a su r e )   L e v e l   Emo t i o n   L e v e l   Emo t i o n   1   S l e e p y ,   C a l m   1   N e r v o u s,  S a d   2   B o r e d ,   P e a c e f u l   2   A n g r y ,   B o r e d   3   S a d ,   R e l a x e d   3   A n n o y i n g ,   S l e e p y   4   N e r v o u s,  P l e a se d   4   Ex c i t e d ,   C a l m   5   A n g r y ,   H a p p y   5   H a p p y ,   p e a c e f u l   6   Ex c i t e d ,   A n n o y i n g   6   P l e a se d ,   R e l a x e d   Evaluation Warning : The document was created with Spire.PDF for Python.
I J E C E     I SS N:  2 0 8 8 - 8708       A   N ew R ec o g n itio n   Meth o d   fo r   V is u a liz in g   Mu s ic  E mo tio n   ( V a n   Lo i Ng u ye n )   1249   A   p er io d   3 0   s ec o n d s   o f   o n t r ac k   is   u s ed   to   n o r m alize   e m o tio n al  v ar iatio n   b ec au s ea c h   tr ac k   o f   m u s ic  co n ta in s   r an g o f   d if f er en e m o tio n s .   Fu r t h er m o r e,   ac co r d in g   to   p r ev io u s   s t u d ies,  3 0 - s ec o n d   s eg m e n i s   a   co m m o n   ch o ice,   p er h ap s   b ec au s i i s   t h t y p i ca le n g t h   o f   a   c h o r u s   s ec tio n   o f   p o p u lar   m u s ic   an d   in f o r m ati v en o u g h   to   r etr iev th m o o d   [ 3 ] .     Mu s ic  clip   n o r m aliza tio n   is   p er f o r m ed   to   d ea w it h   th a m p litu d d if f er en ce s   o f   th m u s ic  tr ac k s   i n   th d atab ase  ( i.e . ,   s o m tr ac k s   h av h ig h er   v o l u m t h a n   o th er s ) .   Fo r   th p u r p o s e,   C o o ed it  p r o   is   em p lo y ed   as a n   au d io   ed iti n g   to o l [ 2 0 ] .   A ll 3 0 0   m u s ic  clip s   ar s a m p l ed   at  4 4 . 1   k Hz  an d   1 6   b its   p er   s a m p le.     3 . 2 .   M us ic  F ea t ures   P r ev io u s   r esear ch   h a s   i n d icat ed   th at  m u s ic  e m o tio n   is   lin k ed   to   m u s ic  f ea t u r es.  Fo r   ex a m p le,   s ad   m u s ic  co r r elate s   w it h   a   s lo te m p o ,   w h er ea s   h ap p y   m u s i is   g e n er all y   f aster .   T h e x p er ien ce   o f   m u s ic  lis te n in g   is   m u ltid i m e n s io n a l.  Dif f er e n e m o tio n   p er ce p tio n s   o f   m u s ic  ar u s u all y   as s o ci ated   w i th   d if f er en t   p atter n s   o f   ac o u s tic  cu e s .   Fo r   ex a m p le,   w h ile  ar o u s a is   r elate d   to   tem p o   ( f ast/ s lo w ) ,   p itch   ( h ig h /lo w ) ,   lo u d n es s   ( h i g h / lo w ) ,   an d   ti m b r ( b r ig h t/s o f t) ,   v ale n ce   i s   r elate d   to   m o d ( m aj o r /m in o r )   an d   h ar m o n y   ( co n s o n a n t/d is s o n a n t) .   I is   als o   n o ted   th at  e m o tio n   p er ce p tio n   is   r ar el y   d ep en d en o n   s i n g le  m u s ic  ele m e n t   b u co m b in at io n   o f   t h e m .   F o r   ex a m p le,   lo u d   ch o r d s   an d   h ig h - p itc h ed   ch o r d s   m a y   s u g g est  m o r p o s itiv e   v alen ce   t h an   s o f c h o r d s   an d   lo w - p itch ed   ch o r d s ,   ir r esp ec tiv o f   m o d e.   T h er ar f iv f ea t u r g r o u p s   p r esen tin g   p er ce p tu al  d i m e n s i o n s   o f   m u s ic  li s ten i n g : e n er g y ,   r h y t h m ,   te m p o r al,   s p ec tr u m ,   an d   h ar m o n y   [ 3 ] .   E nerg y   F ea t ures T h en er g y   o f   s o n g   is   o f te n   h ig h l y   c o r r elate d   w it h   t h p er ce p tio n   o f   ar o u s al.   T h p er ce iv ed   lo u d n es s   ca n   b m ea s u r ed   b y   t h d y n a m ic  lo u d n es s   m o d el  o f   C h al u p p er   an d   Fas t i m p le m e n ted   in   P s y So u n d   [ 1 ] .   W ca n   al s o   u s e   it  to   e x tr ac 4 0   e n er g y - r e lated   f ea t u r es  i n cl u d in g   a u d io   p o w er   ( A P ) ,   to tal   lo u d n es s   ( T L ) ,   an d   s p ec if ic  lo u d n es s   s e n s at io n   co ef f icie n ts   ( SONE ) .   Rhy t h m   F ea t ures   R h y t h m   is   t h p atter n   o f   p u ls es/n o tes   o f   v ar y in g   s tr en g t h .   I is   o f ten   d escr ib ed   in   ter m s   o f   te m p o ,   m eter ,   o r   p h r asi n g .   s o n g   w it h   f as te m p o   is   o f te n   p er ce iv ed   a s   h av in g   h i g h   ar o u s al.   B esid e s ,   f lo w i n g / f l u e n t r h y t h m   i s   u s u a l l y   r elate d   to   p o s itiv v ale n ce ,   w h ile  f ir m   r h y th m   is   r elate d   to   n eg ati v v alen ce .   W ca n   u s e   Ma r s y as  to   co m p u te  t h b ea h i s to g r a m   o f   m u s ic  a n d   g e n er ate  s i x   f ea t u r es  f r o m   it,   in cl u d in g   b ea s tr en g th ,   a m p l itu d an d   p er io d   o f   th f ir s an d   s ec o n d   p ea k s   o f   th b ea h is to g r a m ,   an d   th e   r atio   o f   th s tr en g t h   o f   t h t w o   p ea k s   in   ter m s   o f   B P ( b ea ts   p er   m i n u te) .   Fin all y ,   t h f o llo w i n g   f i v r h y th m   f ea t u r es  p r o p o s ed   in   [ 1 1 ]   h av also   b ee n   s h o w n   r elev an to   b o th   v alen ce   a n d   ar o u s al   p er ce p tio n r h y t h m   s tr en g t h ,   r h y t h m   r e g u lar i t y ,   r h y th m   clar it y ,   av er a g o n s et  f r eq u e n c y ,   an d   av er ag te m p o .   A l l o f   th e m   ca n   b ex tr ac ted   u s i n g   t h u tili t y   f u n c tio n s   i n   t h MI R   to o lb o x   [ 9 ] .     T e m po ra F ea t ures W u s e   SDT   to   ex tr ac te m p o r al  ce n tr o id ,   ze r o - cr o s s in g   r ate,   an d   lo g   attac k   ti m to   ca p tu r th te m p o r al  q u an tit y   o f   m u s ic  [ 4 ] .   Z er o - cr o s s in g   r ate,   m ea s u r o f   th s ig n al  n o i s i n ess ,   is   co m p u ted   b y   ta k i n g   t h m ea n   an d   s ta n d ar d   d ev iatio n   o f   t h n u m b er   o f   s ig n al  v al u es t h at  c r o s s   th ze r o   ax i s   i n   ea ch   ti m w i n d o w   ( i.e . ,   s ig n   ch an g es).   T e m p o r al  ce n tr o id   an d   lo g   attac k   ti m e,   o n   th o th er   h a n d ,   ar t w o   MP E G - 7   h a r m o n ic  in s tr u m e n t   ti m b r d escr ip to r s   th at  d escr i b th en er g y   en v elo p e.   Sp ec t ru m   F ea t ures Sp ec tr u m   f ea tu r es  ar f ea tu r e s   co m p u ted   f r o m   t h ST FT   o f   an   au d io   s ig n al.   On ca n   u s e   Ma r s y as   to   e x t r ac th e   ti m b r al   te x tu r e   f ea t u r es  in c lu d i n g   s p ec tr al  ce n tr o i d ,   s p ec tr al  r o llo f f ,   s p ec tr al  f l u x ,   s p ec tr al  f la tn e s s   m ea s u r es  ( S FM) ,   an d   s p ec tr al   cr est  f ac to r s   ( S C F).   T h ese  f e atu r es  ar e x tr ac ted   f o r   ea ch   f r a m an d   t h en   b y   ta k in g   t h m ea n   a n d   s tan d ar d   d ev iatio n   f o r   ea ch   s ec o n d .   T h s eq u en ce   o f   f ea t u r e   v ec to r s   is   t h en   co lla p s ed   in to   s in g le  v ec to r   r ep r esen tin g   th en t ir s ig n al  b y   ta k in g   a g ain   t h m ea n   a n d   s tan d ar d   d ev iatio n .   No te  th at   m a n y   o f   th e s f ea t u r es  ca n   also   b ex tr ac ted   b y   th S DT .   Me l - f r eq u en c y   ce p s tr al  co ef f icie n t s   ( MFC C s )   ca n   b also   ex tr ac ted   b y   SDT ,   th co ef f ic ien t s   o f   t h d is cr ete  co s in tr an s f o r m   ( DC T )   o f   ea ch   s h o r t - ter m   lo g   p o w er   s p ec tr u m   e x p r ess ed   o n   n o n l in ea r   p er ce p tu al - r el ated   Me l - f r eq u e n c y   s ca le,   to   r ep r esen t th f o r m an t   p ea k s   o f   t h s p ec tr u m .   H a r m o ny   F ea t ures Har m o n y   f ea t u r es  ar co m p u ted   f r o m   th s i n u s o id al  h ar m o n ic  m o d elin g   o f   th e   s ig n al.   lar g er   n u m b er   o f   n at u r al  s o u n d s ,   esp ec iall y   m u s ica l o n es,  ar h ar m o n ic  ea c h   s o u n d   in c lu d es   s er ie s   o f   f r eq u en cie s   at   m u ltip le  r a tio   o f   t h lo w e s f r eq u e n c y ,   n a m ed   t h f u n d a m en ta f r eq u e n c y   f 0 .   W ca n   u s e   th MI R   to o lb o x   to   g en er ate  t w o   p itch   f ea t u r es  ( ch r o m ag r a m   ce n ter   an d   s alie n p itch )   an d   th r ee   to n alit y   f ea t u r es ( m o d e,   k e y   clar i t y ,   h a r m o n ic  c h an g e) .     3 . 3 .   F ea t ure  E x t ra ct io n a nd   F ea t ure  S elec t io n   3 . 3 . 1 .   F ea t ure  E x t ra ct io n     I n   th i s   w o r k ,   So u n d   Descr ip tio n   T o o lb o x ,   MI R   T o o lb o x ,   Ma r s y a s ,   an d   P s y So u n d   w er u s ed   to   ex tr ac t f ea t u r es  f r o m   t h au d io   clip s .   T h SDT  ex tr ac ts   q u an tit y   o f   MP E G - 7   s tan d ar d   d escr ip t o r s   an d   o th er   f ea tu r es  f r o m   W A au d io   f iles .   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 8 - 8708   I J E C E     Vo l.  7 ,   No .   3 J u n 2 0 1 7   :   1 2 4 6     1 2 5 4   1250   T h MI R   T o o lb o x   f r a m e w o r k   is   an   i n te g r ated   s et  o f   f u n ctio n s   w r i tten   i n   M A T L A B ,   th at  ar s p ec if i c   to   th ex tr ac tio n   a n d   r etr iev al  o f   m u s ical  i n f o r m atio n   s u ch   a s   p itc h ,   ti m b r e,   to n a lit y   an d   o t h er s .   T h is   f r a m e w o r k   is   w id el y   u s ed   an d   w ell  d o cu m e n ted ,   p r o v id in g   ex tr ac to r s   f o r   h ig h   q u an t i t y   o f   b o th   lo w   a n d   h ig h - le v el  au d io   f ea tu r es.    P s y So u n d 3   is   a   to o lb o x   w r itte n   i n   M A T L A B   f o r   t h a n al y s i s   o f   s o u n d   r ec o r d in g s   u s i n g   p h y s ical   an d   p s y ch o ac o u s tical  al g o r ith m s .   I d o es  p r ec is an al y s is   u s i n g   s ta n d ar d   ac o u s tical  m ea s u r e m en ts ,   as  w e ll  as   i m p le m en ta tio n s   o f   p s y ch o ac o u s tica an d   m u s ical  m o d els  s u ch   as  s h ar p n e s s ,   lo u d n e s s ,   r o u g h n es s ,   f l u ct u atio n   s tr en g th ,   r h y t h m ,   p itch ,   a n d   r u n n i n g   in ter au r al  cr o s s - co r r elatio n   co ef f icien t ( I AC C ) .   Ma r s y as  ( M u s ic  A n a l y s is ,   R e tr iev al,   an d   S y n t h esi s   f o r   Au d io   Sig n a ls )   is   f r a m e w o r k   cr ea ted   f o r   au d io   p r o ce s s in g   w it h   co n cr e te  e m p h a s is   o n   MI R   ap p licat io n s .   W r itten   i n   h i g h l y   o p ti m ized   C ++   co d e,   it   s tan d s   o u f r o m   t h o th er s   d u to   its   p er f o r m a n ce ,   o n o f   t h m ai n   r ea s o n s   f o r   its   ad o p tio n   in   v a r iet y   o f   p r o j ec ts   in   b o th   ac ad e m ia   an d   in d u s tr y .   So m o f   its   p itf a lls   ar th co m p lex i t y   an d   t h lac k   o f   s o m f ea t u r es  co n s id er ed   r elev an t to   ME R   [ 7 ] .   A   to tal  o f   3 9 7   ac o u s tic  f ea t u r es  w er e x tr ac ted ,   1 8 7   u s i n g   SDT ,   1 7 4   u s in g   Ma r s y as,  3 0   u s i n g   MI R   T o o lb o x   a n d   6   w ith   P s y So u n d   3 .   R eg ar d in g   t h a n al y s is   win d o w   s ize  u s ed   f o r   f r a m e - lev el  f ea t u r es  an d   h o p   s ize,   all  d ef au lt  o p tio n s   w er e   u s ed   ( 5 1 2   s a m p les  f o r   Ma r s y as  an d   0 . 0 5   s ec o n d s   f o r   MI R   T o o lb o x ) .   T h ese  f ea t u r es  ar t h e n   tr a n s f o r m ed   in   s o n g - lev el   f ea tu r es   b y   ca l c u lati n g   m ea n ,   v ar ia n ce ,   k u r to s is   a n d   s k e w n ess .   s m al l su m m ar y   o f   th e x tr ac te d   f ea tu r es a n d   th eir   r e s p ec ti v f r a m e w o r k   is   g iv e n   i n   T ab le  2 .       T ab le  2 .   L is t o f   A u d io   F r a m e w o r k s   u s ed   F o r ea tu r E x tr ac ti o n   F r a mew o r k   F e a t u r e s   T o t a l   S D T   A u d i o   F u n d a me n t a l   F r e q u e n c e ,   a u d i o   p o w e r ,   A u d i o   s p e c t r u m S p r e a d ,   A u t o c o r r e l a t i o n ,   l o g   a t t a c k   t i me ,   M e l - f r e q u e n c y   c e p st r a l   c o e f f i c i e n t s (M F C C s) ,   s p e c i f i c   l o u d n e s s se n sat i o n   c o e f f i c i e n t s (S O N E) ,   S p e c t r a l   c e n t r o i d ,   s p e c t r a l   f l a t n e ss me a s u r e s (S F M ) ,   sp e c t r a l   r o l l o f f ,   t e mp o r a l   c e n t r o i d ,   t o t a l   l o u d n e ss,  Z e r o - c r o ssi n g s   1 8 7   M a r sy a s   B e a t   h i s t o g r a m,  p i t c h   h i s t o g r a m,  s p e c t r a l   c r e st   f a c t o r s (S C F ) ,   sp e c t r a l   f l u x   1 7 4   M I R   To o l b o x   A v e r a g e   o n se t   f r e q u e n c y ,   a v e r a g e   t e mp o ,   c h r o mag r a m   c e n t r o i d ,   h a r mo n i c   c h a n g e ,   i n h a r mo n i c i t y ,   i r r e g u l a r i t y ,   k e y   c l a r i t y ,   mu si c a l   mo d e ,   r h y t h m   c l a r i t y ,   r h y t h m re g u l a r i t y ,   r h y t h m st r e n g t h ,   r o u g h n e ss,  sal i e n t   p i t c h   30   P sy S o u n d   3   D y n a mi c   l o u d n e ss,  s a w t o o t h   w a v e f o r m i n sp i r e d   p i t c h   e st i mat e ,   sh a r p n e ss   6       T h f ea tu r v ec to r s   h a v to   b s ta n d ar d ized   af ter   th e   f ea tu r e   ex tr ac tio n   b ec au s s o m f ea tu r es  ( w i th   b ig g er   v a lu e s )   h a v m o r in f l u en ce   w h e n   cr ea tin g   t h tr ain in g   m o d el.   T h is   s tep   is   i m p o r tan t,  esp ec iall y   f o r   class i f icatio n   alg o r it h m s   th at   d o   n o h av m ec h a n is m   f o r   f ea tu r s ta n d ar d izatio n .   A s   r esu lt,  th e   d is tr ib u tio n   o f   t h v alu e s   o f   e ac h   f ea tu r i s   w it h   s ta n d ar d   d ev iatio n   eq u al  to   1   a n d   m ea n   eq u al  to   0 .   An d   t h e   v alu e s   f o r   ea ch   f ea t u r ar o n   th s a m s ca le  f r o m   - 1   to   1 .     3 . 3 . 2 .   F ea t ure  Select io n     Fro m   t h v ie w p o i n o f   m ac h in lear n i n g ,   f ea t u r s elec tio n   is   th p r o ce s s   o f   ch o o s in g   a   s u b s et  o f   r elev an f ea t u r es  b ec a u s ir r el ev an t   o r   r ed u n d an o n es  ca n   l ea d   to   an   in ac c u r ate  co n cl u s i o n .   T o   ad d r ess   th is   p r o b lem ,   n u m b er   o f   m u s ic  f ea tu r es  n ee d   to   b ex tr ac ted   a n d   th e n   u s a   f ea t u r s e lectio n   al g o r ith m   to   f i n d   o u g o o d   f ea t u r es.  T h f ea t u r s elec tio n   i s   e m p lo y ed   to   f i n d   th o p ti m al  f ea t u r s u b s et  t h at   g iv e s   t h m a x i m a l   r ec o g n itio n   ac cu r ac y   an d   k ee p s   th f ea t u r d i m en s io n   m i n i m al.   I n   ad d itio n ,   it  lo w er s   d o w n   th co m p u tatio n al  ti m o f   t h e x p er i m e n t.   Fo r   s i m p licit y   a n d   ef f ec t iv e n e s s ,   A ttrib u te  E v al u at o r   C f s S u b s etE v a l”  an d   Sear ch   Me th o d =” B estF ir s t”  ar u s ed   in   o u r   w o r k .   As  r es u lt,  2 8   attr ib u tes  f o r   ar o u s al  a n d   2 7   attr ib u tes  f o r   v ale n ce   ar s elec ted   f r o m   2 1 8   attr ib u tes an d   3 2 3   attr ib u tes,  r esp ec tiv el y .     3 . 4 .   T ra ini ng   P ro ce s s   I n   o u r   e x p er i m e n ts ,   W E K A   is   e m p lo y ed   f o r   b u ild i n g   tr ai n i n g   m o d els.   I is   m ac h in e   le ar n in g   to o l   th at  u s es  ap p r o ac h   f o r   p ar am eter   o p tim izatio n   o f   clas s if ica tio n   alg o r it h m s .   T o   in cr ea s t h ac cu r ac y   o f   t h e   ch o s en   al g o r ith m ,   W E K A   f i n d s   th n ea r   o p ti m al  p ar a m eter   s etti n g   i n   th h u g s p ac o f   al g o r ith m   p ar a m eter s   b y   u s i n g   in telli g en t o p ti m izati o n   f u n ct io n s   [ 1 7 ] .   Af ter   t h f ea t u r es  ar e x tr ac t ed ,   s tan d ar d ized   an d   s elec ted ,   th e y   ar u t ilized   to   f o r m   t h f ea tu r e   v ec to r   d atab ase.   E ac h   m u s ic  clip   in   t h d atab ase  is   a n   i n s t an ce ,   i.e . ,   f ea t u r v ec to r ,   u s e d   f o r   class i f icatio n .   Su p er v i s ed   clas s if icatio n   al g o r ith m s   ar u s ed   i n   o u r   e x p er im en ts   b ec a u s ea c h   i n s ta n ce   is   lab eled   w it h   t h e   s u itab le  ar o u s a lev el  o r   v ale n ce   lev el.   W co n d u cted   th o r o u g h   ex p er i m e n t s   w ith   ea c h   o f   th cla s s if icatio n   alg o r ith m s ,   an d   o n ce   w s ele cted   th o n w it h   th e   h i g h est   r ec o g n it io n   ac c u r ac y ,   w f u r th er   en h a n ce d   it s   ac cu r ac y   w it h   W E KA .   T h ese  class i f icatio n   alg o r ith m s   ar em p lo y ed   to   tr ain   t w o   d is tin c m o d el s ,   th o n f o r   Evaluation Warning : The document was created with Spire.PDF for Python.
I J E C E     I SS N:  2 0 8 8 - 8708       A   N ew R ec o g n itio n   Meth o d   fo r   V is u a liz in g   Mu s ic  E mo tio n   ( V a n   Lo i Ng u ye n )   1251   v alen ce   a n d   th o t h er   f o r   ar o u s al .   Fo r   test i n g   o p tio n s ,   w u s ed   1 0 - f o ld   cr o s s - v a lid atio n   tec h n iq u w h ich   u s ed   as  W E KA   p r e - e s tab lis h ed   p ar am eter   f o r   p er f o r m an ce   e v alu a tio n   o f   o u r   ch o s e n   clas s if ier   al g o r ith m .   T h tr ain i n g   m o d el  an d   esti m atio n   ar p r esen ted   in   Fi g u r e   3.           Fig u r e   3 .   Flo w - c h ar t o f   tT ain i n g   Mo d el  an d   E v al u atio n       I n   m ac h i n lear n i n g ,   th r ee   ar e   co m m o n   ev al u atio n   m etr ic s   t h at  w er an al y ze d t h r ec all,   p r ec is io n ,   an d   ac cu r ac y .   T h b elo w   f o r m u las  d e f i n ea c h   o f   th e   m e tr ics ,   w h er ca n   b a n y   le v el  o f   ar o u s al  o r   v ale n ce   th at  w ar tr y i n g   to   d etec t ( le v el  1 ,   lev el  2 ,   etc. ) .                 4.   E XP E R I M E NT A L   RE SUL T S   W ca r r ied   o u v ar io u s   ex p e r i m en ts   i n   t h f o llo w i n g   o r d er .   Firstl y ,   3 9 7   ac o u s tic  f ea t u r es  w er ex tr ac ted   f r o m   3 0 0   lab eled   m u s ic  clip s   b y   SDT ,   MI R   T o o l b o x ,   Ma r s y a s ,   an d   P s y So u n d .   A s   p r esen ted   in   tab le   4 ,   th ese  f ea t u r es  w er t h en   d iv id ed   in to   t w o   f ea t u r s u b s e ts   to   b u ild   t w o   tr ai n i n g   m o d els  f o r   ar o u s al  an d   v alen ce   b ec a u s m an y   f ea tu r e s   ar o n l y   h ig h l y   co r r elate d   w i th   th p er ce p tio n   o f   v ale n ce   o r   ar o u s al.       T ab le  4 .   T w o   F ea t u r S u b s et s   u s i n g   in   t h E x p er i m en ts     F e a t u r e   g r o u p   T o t a l   En e r g y   R h y t h m   T e mp o r a l   S p e c t r u m   H a r mo n y   F e a t u r e f o r   a r o u sal   A u d i o   f u n d a me n t a l   f r e q u e n c e ,   a u d i o   p o w e r ,   d y n a mi c   l o u d n e ss,  sh a r p n e ss,  S O N E ,   t o t a l   l o u d n e ss.   B e a t   h i s t o g r a m,  a v e r a g e   o n se t   f r e q u e n c y ,   a v e r a g e   t e mp o ,   r h y t h m   c l a r i t y ,   r h y t h r e g u l a r i t y ,   r h y t h st r e n g t h   A u t o c o r r e l a t i o n ,   l o g   a t t a c k   t i me ,   t e mp o r a l   c e n t r o i d ,   z e r o - c r o ssi n g s   S p e c t r a l   c e n t r o i d ,   sp e c t r a l   r o l l o f f ,   a u d i o   s p e c t r u sp r e a d ,   i r r e g u l a r i t y ,   M F C C s,  r o u g h n e ss,  sp e c t r a l   f l u x   C h r o mag r a m   c e n t r o i d ,   sal i e n t   p i t c h   2 1 8   F e a t u r e f o r   v a l e n c e     A v e r a g e   o n se t   f r e q u e n c y ,   a v e r a g e   t e mp o ,   r h y t h m   c l a r i t y ,   r h y t h r e g u l a r i t y ,   r h y t h st r e n g t h   A u t o c o r r e l a t i o n ,   l o g   a t t a c k   t i me ,   t e mp o r a l   c e n t r o i d ,   z e r o - c r o ssi n g s   A u d i o   sp e c t r u m   sp r e a d ,   i r r e g u l a r i t y ,   M F C C s,  r o u g h n e ss,  sp e c t r a l   f l u x ,   i n h a r mo n i c i t y ,   S C F ,   S F M   H a r mo n i c   c h a n g e ,   k e y   c l a r i t y ,   mu s i c a l   mo d e ,   p i t c h   h i s t o g r a m,  saw t o o t h   w a v e f o r i n s p i r e d   p i t c h   e st i m a t e ,   c h r o mag r a c e n t r o i d ,   sal i e n t   p i t c h   3 2 3   re call =          1 p re cis No .   o f   co rr ectl y   re co g n i zed   l ev els   l ab el ed   as   Q No .   o f   all  t h e   l ev els   l ab eled   as   Q No .   o f   co rr ectl y   re co g n i zed   l ev els   l ab el ed   as   Q No .   o f   all  t h e   l ev els   re co g n i zed   as i o n =       (2)  Q accu No .   o f   co rr ectl y   re co g n i zed   l ev els   o f   al l  t y p es No .   o f   all  t h e   l e ra cy =         v els   (3) Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 8 - 8708   I J E C E     Vo l.  7 ,   No .   3 J u n 2 0 1 7   :   1 2 4 6     1 2 5 4   1252   Af ter   t h at,   w test ed   t h ac cu r ac y   o f   all  clas s i f icatio n   a lg o r ith m s   w h ic h   w er in s talled   i n   W E KA .   T r ain in g   m o d el  e v al u atio n s   wer co n d u cted   in   1 0 - f o ld   C r o s s   Valid atio n .   T h ac cu r ac ie s   o f   clas s i f ier s   ar e   s ig n i f ica n tl y   i m p r o v ed   w h en   u s in g   f ea tu r s elec tio n   as  s h o wn   in   T ab le  5 .       T ab le  5 .   T h R esu lt s   o f   T r ain in g   M o d el  E v al u atio n   A l l   f e a t u r e s   C l a ssi f i e r   A r o u sal   C l a ssi f i e r   V a l e n c e   F u n c t i o n s.s i m p l e L o g i st i c   6 6 %   T r e e s. L M T   5 1 %   F u n c t i o n s.S M O   6 6 %   F u n c t i o n s.S M O   5 1 . 3 %   T r e e s.R a n d o mF o r e st   6 6 %   T r e e s.R a n d o mF o r e st   5 2 . 7   %   F e a t u r e   se l e c t i o n   C l a ssi f i e r   A r o u sal   C l a ssi f i e r   V a l e n c e   T r e e s. L M T   6 7 . 7 %   M e t a . B a g g i n g   5 5 . 3 %   F u n c t i o n s.s i m p l e L o g i st i c   6 8 %   F u n c t i o n s.S M O   5 5 . 7   %   T r e e s.R a n d o mF o r e st   70%   T r e e s.R a n d o mF o r e st   5 7 . 3 %       T ab le  5   s h o w s   t h ev al u atio n   r esu lt s   o f   3   clas s i f ier s   w h ic h   ac h ie v ed   t h to p   3   ac cu r ac ies.  W h en   u s i n g   attr ib u te  s elec tio n   tech n iq u es,  m a n y   r ed u n d an o r   ir r elev an f ea t u r es  w er r e m o v ed .   A s   r esu l t,  ti m e   f o r   r u n n in g   ex p er i m en d ec r ea s ed   s ig n i f ican tl y   a n d   th ac cu r ac ies  o f   clas s i f ier s   in cr ea s e d   f r o m   2 to   5 %.  T h r esu lts   s h o w ed   t h at  T r ee s . R an d o m Fo r est  clas s i f ier   ac h i ev ed   th b est  ac c u r ac y   w it h   7 0 f o r   ar o u s al  a n d   5 7 . 3 f o r   v alen ce .   R a n d o m F o r est  is   m eta  esti m ato r   t h a s u i ts   n u m b er   o f   d ec is io n   tr ee   class i f ier s   o n   v ar io u s   s u b - s a m p les  o f   t h d ataset  an d   e m p lo y   a v er ag i n g   to   b etter   th p r ed ictiv ac cu r ac y   a n d   co n tr o o v er - f itti n g .   T h co n f u s io n   m atr i x   o f   cla s s if ica tio n   u s i n g   R a n d o m Fo r e s is   p r ese n ted   in   T ab le  6   an d   T a b le  7 .   Mo r eo v er ,   w s h o w   t h r ec all   an d   th p r ec is io n   f o r   ea ch   cl ass   ( lev e o f   ar o u s al  o r   v ale n ce ) ,   an d   th o v er all   ac cu r ac y .   I n   T ab le  6 ,   th h ig h est  p r ec is io n   a n d   r ec all  ar a ttain ed   f o r   th clas s   le v el  5 ”  an d   th lo w es ar ac h iev ed   f o r   t h cla s s   lev e 4 ”.   I is   clea r   th at   t h clas s es   “lev el   4 ”  an d   “lev el   6 ”  ar o f ten   m ix ed   b y   t h e   class i f ier .         Ta b le  6 .   C o n f u s io n   M atr i x   f o r   A r o u s al    1 0   f o l d   c r o ss - v a l i d a t i o n   P R ED I C T ED   C L A S S   F O R   A R O U S A L   R e c a l l   ( %)     L e v e l   1   L e v e l   2   L e v e l   3   L e v e l   4   L e v e l   5   L e v e l   6     R EA L   C L A S S S   L e v e l   1   44   0   4   1   0   1   88   L e v e l   2   0   47   1   0   2   0   94   L e v e l   3   15   0   24   8   0   3   48   L e v e l   4   6   0   16   15   0   13   30   L e v e l   5   0   3   0   0   47   0   94   L e v e l   6   0   0   4   13   0   33   66   P r e c i sci o n   ( %)   6 7 . 7   94   49   4 0 . 5   9 5 . 9   66   A c c = 7 0 %       I n   T ab le  7 ,   th h ig h est   p r ec is io n   an d   r ec all  ar attai n ed   f o r   th clas s   le v el  2 ”  an d   t h lo w es ar ac h iev ed   f o r   th clas s   “lev el  1 ”.   T h e   class   le v el  6 ”  is   m ix ed   w it h   all  o th er   6   clas s es.       T ab le  7 .   C o n f u s io n   M atr i x   f o r   V alen ce     1 0   f o l d   c r o ss - v a l i d a t i o n   P R ED I C T ED   C L A S S   F O R   V A L EN C E   R e c a l l   ( %)     L e v e l   1   L e v e l   2   L e v e l   3   L e v e l   4   L e v e l   5   L e v e l   6     R EA L   C L A S S S   L e v e l   1   20   0   11   6   9   4   40   L e v e l   2   1   36   0   2   7   4   72   L e v e l   3   12   0   23   11   3   1   46   L e v e l   4   4   0   11   31   4   0   62   L e v e l   5   9   0   4   5   29   3   58   L e v e l   6   8   3   2   1   3   33   66   P r e c i sci o n   ( %)   3 7 . 0   9 2 . 3   4 5 . 1   5 5 . 4   5 2 . 7   7 3 . 3   A c c = 5 7 . 3       T h av er ag ac c u r ac y   o f   e m o tio n   r ec o g n itio n   f o r   ar o u s al   an d   v alen ce   is   6 3 . 7 w ith   6   e m o tio n   class es.  A cc o r d in g   to   th s y n t h esi s   o f   t h Mu s ic  I n f o r m atio n   R etr ie v al  E v al u atio n   eXc h a n g ( MI R E X) ,   t h e   h ig h e s r ea ch ed   c lass if ica tio n   ac cu r ac y   in   t h Mo o d   C las s if i ca tio n   T ask   ( f o r   f i v e m o tio n   clas s es)  w a s     Evaluation Warning : The document was created with Spire.PDF for Python.
I J E C E     I SS N:  2 0 8 8 - 8708       A   N ew R ec o g n itio n   Meth o d   fo r   V is u a liz in g   Mu s ic  E mo tio n   ( V a n   Lo i Ng u ye n )   1253   6 7 . 8 [ 1 2 ] ,   [ 1 8 ] .   T h r esu lts   o f   p r o p o s ed   m et h o d   ar b etter   th an   p r ev io u s   s tu d ie s   [ 6 ] ,   [ 1 5 ] .   Ho w ev er ,   t h ac cu r ac ies b et w ee n   e m o tio n   cl ass es  h av b i g   d if f er en ce   i n   o u r   ex p er i m e n t.       5.   CO NCLU SI O AND  F U T U RE   WO RK   I n   th i s   p ap er ,   w u s ed   th m ac h in lear n i n g   tec h n iq u e s   an d   T h ay er s   m o d el  to   clas s if y   m u s ic   e m o tio n s .   E ac h   m u s ic  e m o tio n   ca n   b r ec o g n ized   b ased   o n   th e   lev e o f   ar o u s a a n d   v ale n ce .   As  r e s u lt,   3 6   d etec ted   em o tio n s   ar en o u g h   f o r   ap p licatio n s   o f   m u s ic  e m o t io n   v i s u al izatio n .   T o   im p r o v t h e f f icien c y   o f   e m o tio n   r ec o g n it io n   i n   m u s ic,   w e   u s ed   b i g   m u s ic  d ata s et  w it h   3 0 0   m u s ic  clip s .   A   lar g n u m b er   o f   m u s ic  f ea t u r es  ar ex tr a cted   b y   ex tr ac to r s .   Me th o d   s elec tio n   is   u s ed   to   d ec r ea s th co m p u tin g   ti m an d   in cr e ase  t h ac c u r ac ies  o f   th p r o p o s ed   ap p r o ac h .   W ith   6   em o tio n   clas s es ,   th cla s s i f icatio n   ac c u r ac ies  w er 7 0 f o r   ar o u s al  a n d   5 7 . 3 f o r   v ale n ce   w i th   clas s i f ier   R an d o m Fo r est.  As   ex p ec ted ,   th ese  r es u lts   ar cl ea r   i m p r o v e m e n t i n   co m p ar is o n   to   p r ev io u s   s tu d ie s .   I n   t h is   s t u d y ,   t h er i s   a   s i g n if ican i m p r o v e m e n f o r   th e   ac cu r ac y   o f   ME R .   Ho w e v er ,   th ac h ie v ed   r esu lt s   ar s ti ll  n o v er y   h ig h   b ec au s o f   t h f o llo w in g   r ea s o n s .   Firstl y ,   e m o tio n   p er ce p tio n   is   in tr i n s icall y   s u b j ec tiv e,   an d   p eo p le  ca n   p er ce iv d if f er en e m o tio n s   f o r   th s a m s o n g .   T h is   s u b j ec tiv it y   is s u m a k es  t h e   p er f o r m a n ce   e v al u atio n   o f   an   ME R   s y s te m   f u n d a m en ta ll y   d if f icu lt  b ec au s co m m o n   ag r ee m en t   o n   t h e   class i f icatio n   r esu lt  is   h ar d   to   o b tain .   Seco n d l y ,   it  i s   n o ea s y   to   d escr ib e m o tio n s   i n   u n iv er s al  w a y   b ec au s e   th ad j ec tiv es  u s ed   to   d ep ict  em o tio n s   m a y   b a m b i g u o u s ,   an d   th u s o f   ad j ec tiv es  f o r   th s a m e m o tio n   ca n   v ar y   f r o m   p er s o n   to   p er s o n .   T h ir d ly ,   it  is   s till   u n e x p lai n ed   h o w   m u s ic  e v o k es  e m o t io n .   W h at  in tr i n s ic   ele m e n o f   m u s ic,   i f   an y ,   cr ea tes  co n cr ete  em o tio n a r esp o n s in   t h lis te n er   is   s ti ll  f ar   f r o m   w ell - u n d er s to o d .   a.   T h er ar e   s till   s o m s h o r tco m in g s   in   c u r r en r esear ch ,   s u ch   as  lo w   r ec o g n i tio n   r ates,  m u s i em o tio n   r ec o g n itio n   is   p er f o r m ed   o f f lin e.   I n   t h f o llo w i n g ,   s o m e   s o l u tio n s   f o r   f u t u r w o r k s   ar r ec o m m e n d ed .   b.   B ased   o n   p r o p o s ed   d im e n s io n al  m o d el s   in   ME R ,   th lev el  o f   ar o u s al  a n d   v ale n ce   ar f le x ib l y   d iv id ed   ac co r d in g   to   co n cr ete  ap p licatio n s   o f   e m o t io n   v is u al izatio n .   c.   Mu s ic  e m o tio n   w i ll b r ec o g n i ze d   in   r ea l ti m e.   d.   T h s y s te m   w il u s b ig g er   m u s ic  d ataset  a n d   co m b i n l o w - lev e au d io   f ea t u r es  a n d   m id - lev el   f ea t u r es  s u ch   as  l y r ics,  c h o r d   p r o g r ess io n ,   an d   g e n r m etad a ta  in   o r d er   to   ac h iev h ig h er   ac cu r ac y   o f   ME R .       RE F E R E NC E S   [1 ]   Ca b re ra   D,  e a l. , “ P sy so u n d 3 A   P r o g ra m   f o th e   A n a l y sis o f   S o u n d   Re c o rd in g s” ,   J o u rn a o th e   Aco u stica S o c iet y   o Ame ric a , 1 2 3 (5 ): 3 2 4 7 ,   2 0 0 8   M a y .   [2 ]   T h a y e r,   e a l. , “ T h e   Bio p sy c h o lo g y   o f   M o o d   a n d   A ro u sa l”,  Ox f o rd   Un iv e rsit y   P re ss ,   1 9 8 9 .   [3 ]   Ya n g   YH ,   e a l. ,   M u sic   Em o ti o n   Re c o g n it io n ,   CRC  P re ss ,   2 0 1 1 .   [4 ]   Be n e to E,   e a l . L a rg e   S c a le   M u sic a In stru me n I d e n ti fi c a ti o n P ro c e e d i n g o f   th e   4 th   S o u n d   a n d   M u sic   Co m p u ti n g   Co n f e re n c e ,   Ju 2 0 0 7 .   [5 ]   Ch e n   Ch i n - Ha n ,   e a l. ,   " Em o ti o n - Ba se d   M u sic   V is u a li z a ti o n   u sin g   P h o t o s " ,   Ad v a n c e in   M u lt im e d ia   M o d e li n g ,   S p rin g e r B e rlin   He i d e lb e rg p p .   3 5 8 - 3 6 8 ,   Ja n   2 0 0 8 .   [6 ]   F e n g   Y,  e a l. ,   P o p u lar  M u sic   R e tri e v a b y   De tec ti n g   M o o d ,   P r o c e e d in g o f   th e   2 6 t h   a n n u a i n ter n a ti o n a A CM   S IG IR  c o n f e re n c e   o n   Re se a rc h   a n d   d e v e lo p m e n in   in f o rm a ti o n   re tr iev a l ,   p p .   3 7 5 - 3 7 6 ,   Ju 2 0 0 3 .   [7 ]   J.  L e b e n ,   e a l. De c la ra t iv e   Co mp o siti o n   a n d   Rea c ti v e   Co n tro l   i n   M a rs y a s” Jo i n 4 0 t h   I n tern a ti o n a C o m p u ter   M u sic   Co n f e re n c e   (ICM C)  a n d   1 1 th   S o u n d   a n d   M u sic   Co m p u ti n g   c o n f e re n c e   (S M C) ,   2 0 1 4 .   [8 ]   Ko r         h o n e n   M D,  e a l. ,   M o d e l in g   Em o ti o n a Co n ten o f   M u sic   u sin g   S y ste m   I d e n ti f ic a ti o n ,   IEE T ra n s a c ti o n s   o n   S y ste ms ,   M a n ,   a n d   Cy b e rn e ti c s,  Pa rt B   ( Cy b e rn e ti c s) ,   p p .   5 8 8 - 9 9 ,   Ju n   2 0 0 5 .   [9 ]   L a rti ll o O,  ,   e a l. M a tl a b   T o o l b o x   fo M u sic a Fea tu re   Extra c ti o n   fro A u d i o In   In tern a ti o n a Co n f e re n c e   o n   Dig it a A u d i o   Ef f e c ts,   p p .   2 3 7 - 2 4 4 ,   S e p   2 0 0 7 .   [1 0 ]   L a u rier  C y ril   ,   e a l. ,   M o o d   C lo u d :   Re a l - T ime   M u sic   M o o d   V i su a li za ti o n   T o o l” P ro c e e d i n g o f   th e   Co m p u ter  M u sic   M o d e li n g   a n d   Re tri e v a l,   (2 0 0 8 ).   [1 1 ]   L u   L ,   e a l. ,   A u to m a ti c   M o o d   De tec ti o n   a n d   T ra c k in g   o f   M u sic   A u d io   S ig n a ls” ,   I EE T ra n sa c ti o n s   o n   a u d io ,   sp e e c h ,   a n d   l a n g u a g e   p ro c e ss in g ,   p p .   5 - 1 8 ,   Ja n   2 0 0 6 .   [1 2 ]   P a n d a   R,   e a l. Dime n si o n a M u sic   Emo ti o n   Rec o g n it i o n Co m b in in g   S t a n d a r d   a n d   M e lo d ic  Au d i o   F e a tu re s”,   I n   P r o c e e d in g o f   th e   1 0 th   I n tern a ti o n a S y m p o siu m   o n   Co m p u ter  M u sic   M u lt id isc ip li n a ry   Re se a rc h   (CM M R ) ,   p p .   583 - 5 9 3 ,   2 0 1 3 .   [1 3 ]   T a y lo R,   e a l. ,   Vi su a li zi n g   Emo ti o n   i n   M u sic a l   Per fo rm a n c e   u sin g   a   Vi rtu a C h a r a c ter ,   I n   In ter n a ti o n a l   S y m p o siu m   o n   S m a rt  G ra p h ics ,   S p rin g e Be rli n   He i d e lb e rg ,   p p .   1 3 - 2 4 ,   A u g   2 0 0 5 .   [1 4 ]   Ya n g   YH ,   ,   e a l. ,   A   Re g re s sio n   A p p ro a c h   t o   M u si c   Em o ti o n   R e c o g n it io n ,   IEE T r a n sa c ti o n s   o n   a u d io ,   sp e e c h ,   a n d   la n g u a g e   p r o c e ss in g ,   ,   p p .   4 4 8 - 5 7 ,   F e b   2 0 0 8 .   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 8 - 8708   I J E C E     Vo l.  7 ,   No .   3 J u n 2 0 1 7   :   1 2 4 6     1 2 5 4   1254   [1 5 ]   Ya n g   YH ,   ,   e a l. M u sic   Emo ti o n   Cla ss if ica ti o n Fu zz y   A p p ro a c h ,   P ro c e e d i n g o f   th e   1 4 th   A C M   in tern a ti o n a l   c o n f e re n c e   o n   M u lt im e d ia,   p p .   8 1 - 8 4 ,   Oc 2 0 0 6 .   [1 6 ]   Ye h   CH,  e a l. A n   E ff ic ien Emo ti o n   De tec ti o n   S c h e me   fo Po p u la M u sic In   2 0 0 9   IEE In tern a ti o n a l   S y m p o siu m   o n   Circu it s an d   S y ste m s,   p p .   1 7 9 9 - 1 8 0 2 ,   M a y   2 0 0 9 .   [1 7 ]   W e k a .   [ On li n e ]   h t tp :/ /www . c s. w a ik a to . a c . n z /m l/ w e k a /   [1 8 ]   h tt p : // ww w . m u sic - ir. o rg /m ire x / w i k i/ M IREX_ HO M E   [1 9 ]   A ll   m u sic   g u id e .   [ O n li n e ]   h tt p :/ /w ww . a ll m u sic . c o m /   [2 0 ]   Co o e d it   p ro .   [ On li n e ]   h t tp :/ /www . a d o b e . c o m /p ro d u c ts/au d it i o n /       B I O G RAP H I E S   O F   AUTH O RS         Va n   Lo Ng u y e n ,   h e   re c e iv e d   h i M a ste o f   En g in e e rin g   i n   C o m p u ter  S c ien c e   f ro m   th e   Un iv e rsity   o f   Da n a n g ,   V ietn a m   in   2 0 1 0 .   He   is  c u rre n tl y   a   P h . D.   c a n d id a te  at   S o o n g sil  Un iv e rsity ,   Ko re a .   His  re se a rc h   in tere sts in c lu d e   m u lt im e d ia,  in f o rm a ti o n   re tri e v a l,   d a tab a se ,   a n d   so f tw a re   tes ti n g         Do n g li m   K i m ,   sh e   r e c e iv e d   a   M a ste d e g re e   a n d   a   P h . D.  d e g re e   in   M e d ia  En g in e e rin g   f ro m   S o o n g sil  Un iv e rsit y   in   2 0 1 1   a n d   2 0 1 6   re sp e c ti v e l y .   He r   re se a rc h   in tere sts  in c lu d e   m u lt im e d ia,  m o t io n   e n g in e e rin g ,   c o n te n e n g in e e rin g .           Va n   P h H o ,   h e   re c e iv e d   h is  BS   a n d   M S   d e g re e in   th e   Co m p u t e S c ien c e   De p a rtme n a Da   Na n g   Un iv e rsit y   in   Oc to b e 2 0 0 4   a n d   Oc to b e 2 0 0 9 ,   re sp e c ti v e l y .   H e   is  c u rre n tl y   a   P h . D.  stu d e n in   th e   S c h o o o f   Co m p u ter  S c ie n c e   a n d   En g in e e rin g ,   S o o n g sil  Un iv e rsity .   His  re se a rc h   in tere sts  in c lu d e   f las h   m e m o r y - b a se d   DBMS s an d   d a ta b a se   s y st e m s.       Yo u n g h w a n   Li m ,   h e   re c e iv e d   h is  M a ste f ro m   th e   De p t.   o f   Co m p u ter  S c ien c e   o f   Ko re a   A d v a n c e d   In stit u te   o f   S c ien c e   &   T e c h n o lo g y   in   1 9 7 9 ,   a   P h . D.  d e g re e   f ro m   No rth w e ste rn   Un iv e rsit y   in   1 9 8 5 .   F ro m   1 9 9 6   to   t h e   p re se n t,   h e   h a b e e n   a   p ro f e ss o in   G lo b a S c h o o o f   M e d ia,  S o o n g sil  Un iv e rsity ,   Ko re a .   His res e a rc h   in tere sts in c l u d e   m o b il e   so l u ti o n s,  m u lt im e d ia,  a n d   c re a ti v e   e n g in e e rin g   d e sig n .     Evaluation Warning : The document was created with Spire.PDF for Python.