TELKOM NIKA , Vol. 13, No. 4, Dece mb er 201 5, pp. 1162 ~1 169   ISSN: 1693-6 930,  accredited  A  by DIKTI, De cree No: 58/DIK T I/Kep/2013   DOI :  10.12928/TELKOMNIKA.v13i4.2737    1162      Re cei v ed Au gust 14, 20 14 ; Revi sed  No vem ber 1 4 , 2015; Accepte d  No vem ber  25, 2015   Correlation of Student’s Precursor Emotion towards  Learning Science Interest using EEG      Norz aliz a Md Nor 1,2 , Abdu l Wahab Bar 1 , Sheikh Hus sain Shaikh Salleh 3   1 Departme n t of Computer Sci ence, Kul l i y ya h  of  Information & Commun i cati on T e chnol og y (IIUM), 53100,  Kual a Lum pur, Mala ysi a   2 F a cult y  of Bio scienc e & Medi cal Eng i ne eri n g, Univer s i ti T e knol ogi Ma la ys ia (UT M), 81310 Johor Ba hru,   Johor, Mal a ysi a   3 Center for Bio m edic a l Eng i n eeri ng, Univ ers i ti T e k nologi M a la ysi a  (UT M),  813 10 Jo hor B ahru, Joh o r,  Malay s ia  e-mail: n o rzal iz a@ii um.ed u .my, ab dul w aha b@ i i u m.ed u . my , h u ssa in @ f ke .u tm.my       A b st r a ct   Mathe m atics   and  scie n ce   are tw impo rtant sub j ects  for stu dents  to d o  w e l l   i n  sch ool.   Unfortun ately ma jority of  the   stude nts ar havi ng  difficu lti e s i n  co pin g   w i th these s u b j ects. Mal a ysia  i s   ranke d  third l o w e st in the Pr ogra m  for Inte rnatio nal Stu d ent  Assessment  (PISA) fo m a them a t i cs an scienc e. An e m oti o n a lly  dist urbe d stude nt see m s to h a ve  probl e m  co pin g  w i th the le ar nin g  of mathe m atic s   and  scie n ce  thus  it is  i m por tant to i d e n tify the  de motiv a t i ng  factors aff e cting  the  perf o rmanc e of s u ch   students. In th i s  pa per, ita nal y z e  the  c o rrel a tion  of prec urs o r e m oti on t o w a rds stu dent  in terest in  le arni ng   math e m atics a nd  scie n ce usi ng  el ectroe nce pha logr a m   (EE G ) device. T h is  correlati on a n d  their res pecti ve  emotio n can b e  ana ly z e ba sed on th e 2- D Affective  Space Mod e l (A SM) using four  basic e m oti o n s  of   hap pin e ss, cal m n e ss, fear an d sad ness as r e ferenc stimul i. EEG device  w a s used to ex tract brain w a v e s   sign al w h i l an sw ering th mathe m atics  a n d  sci ence  q u e s tions. T h e  EE G sign als w e r e  ca pture d  o n   the   scalp  of the st ude nt an d fe atures  extract e d  usin g Me l F r equ ency  Ceps tral Co efficie n t (MF CC). Neu r a l   netw o rk classifi er of Multilayer  Perceptron (M LP) w a s us ed to classify the vale nce an d aro u sal ax es for the  ASM.Pre l i m i nary re su l t s sh ow th e  re la ti onsh i p o f   p r ecur sor e m otion  a nd th dyna mi c e m oti ons  of  the   student w h il e takin g  the  mat h e m atics a nd  scienc e tes t. W e  hope th at these resu lts can he lp us furt her   relate the b e h a v ior an d intere st of students tow a rds the le a r nin g  of math e m atics a nd sci ence.     Ke y w ords : pre c ursor e m oti o n ,  student, MF CC, neura l  netw o rk, MLP      Copy right  ©  2015 Un ive r sita s Ah mad  Dah l an . All rig h t s r ese rved .       1. Introduc tion  Although n u m ber  of studi es h ad a naly z ed th e deve l opmental t r e nd toward student’s  ability-rel a ted  beliefs in ma thematics but  few had  fo cuse d on  stud ent’s inte re st toward lea r ni ng  in mathem atics. Ko ¨lle r et  al. [5] did a lo ngitudi n a l stu d y by analy z ing stu dent’ s  i n tere st toward mathemati cs  in a German  high-ability track scho ol (Gymna sium)  at three time  points (end  of  grad e 7,  en d of  grade   10,  and middle of  grade 12 ). Student intere st in mathematics wa s foun to be cru c ial  in education  field as a fou ndation to  other future co urses. Mo st of the studen ts  were having  difficulties  in learni ng mat hematics.  Answering mathematics  questions is a risky  decision  ma king process and pu ts th e studen t u nder stress. Each a n sw er mad e  b y  the   studen t w ill  affec t  his  or  her resul t in the  ma the m a t ics tes t   and  their  precursor emo t ion   seems pl ays  a critical role.  If such  precursor emo t ion c o n t inues d u rin g  the l earni ng   exp e rience i n  class this  ma y affect the st uden ts learning e x pe rience thus resulting in p oor   perfor m ance .   Although the  chan ge in  student’s inte rest in lea r nin g  may not d epen d sol e ly on the  stude nt’s cu rrent emotional  stat e but also it also affected on the en vironme n t and the student’ s   prio r em otion .  Acco rdin g t o  Cla r k [1], e m otions  are  central to h u m an motivati on, whi c h i n clude   the precurso r emotion. In f a ct  p r e c urso r emotion wa s also kn own  to  affect stu den t behaviou r  [7 ].  Thus stu dent  pre c u r sor  em otion may infl uen ce th e  stu dent’s  dynam ic em otion a n d  their interest  towards le arn i ng mathem atics.   There have  been m any rese arche s   co nce p tual i z ing  emotion al o ng two  dime nsio ns  of  valence, which descri b e s  the ext ent of  plea sure or sadne ss and a r ou sal de scri bes the exten t  of  c a lmness  or  exc i tation [2,  3].  Yet  tremendo us wo rk  has  b een a c compli she d  based  on ne ural  Evaluation Warning : The document was created with Spire.PDF for Python.
                             ISSN: 16 93-6 930   TELKOM NIKA  Vol. 13, No . 4, Decem b e r  2015 :  116 2 – 1169   1163 respon se s u nder me mory formation   of emotio nal  events,  ho wever the  st udy on  p r e c ursor  emotion effe cts by usi n g  Electroe nce phalo g ra (EEG) is sca r ce [7]. In this pap er, a n o ve approa ch  ha s be en  pro p o se d to a nal yze an d u n d e rsta nd th e student be hav ior b a sed o n  the   affective sp a c e m odel  (A SM) that en a b les  emotion s  to be  viewed in two different  axes  of the  valence (V) a nd aro u sal (A ) as the e s se nt ial basi s  fun c tion a s  sh own in Figure 1.          Figure 1. The  Affective Sp ace Mo del wit h  the Diffe ren t  Position of Basic Emotio ns with Emoti on  Primitives Axis x for Valence, and y for Arou sal [6]      The val e n c e  arou sal  (V A) ap proa ch  ca also h e lp to  an alyze  and  visu alize  the  pre c u r sor an d dynamic e m otions of th e student  in  answe ring th e mathemati c s que stion s . It can   also reveal the co rrel a tio n s between  pre c u r so r e m otion and the dynami c  emotion s  of the  stude nt’s inte rest. In  additi on, the  study  of the  stu d e n t’s dyna mic  emotion s   whil e an sweri ng t he  variou s math ematics qu estions  can p r ovide a  bett e r un derstan ding in  a naly z ing the  stud ent  intere st. Hen c e the effect  on pre c u r so r emotion to wards e a rly  detectio n  of highly emotio nal  agitated stu d ent can b e  id entified to detect t he s t udent interes t  towards  mathematic s .         2. Experimental Setup   To e n sure  a   prop er conn e c tion s a n d  pl acem ent   of the el ect r od es on  the  scalp  of the   partici pant s, Nup r ep el ect r o-gel was u s ed to cl ean  the scal p  surface. In order to ma ke  the  sen s o r stick well onto the  scal p , the Ten 20 TM  co ndu ctive gel wa s used. Th e visco sity paste  is need ed to ensure that the gel will no t flow  easily and yet it can be easily remove. Besi des,  Ten20 TM co ndu ctive also  helpe d to further  redu ce th e impeda nce on the se nsors.  Data were  collecte d  and  divided into two pa rts. Firstly in orde r to derive the  ASM for   each in dividu al ba si c e m otion  stimuli  we re u s ed  while  EEG sig nal reco rde d . Se condly  while  th e   stude nt wa answe ring  ea ch qu estio n  the EEG si g n als were also  record ed. T he expe rime ntal  desi gn flow a nd proto c ol i s  sho w n in Fig u re 2 a s  a ge nerali z e exp e riment s.  Notice from  Figure 2 both t he eyes  open and eyes  close  w ill provide initial inf o rmation   about  the em otional state of  the  stu den t. To ensure  a prope r initi a lizatio n of th e brain a c tivity  durin g eyes o pen task, stu dent will be looki ng at  a blank white screen. The four basic em otio ns  movie clip  wil l  then be di splayed for  on e and h a lf minute pe r mov i e clip  rep r e s enting em otio n   happi ne ss, fe ar, calmne ss  and  sad n e ss.  After ea ch   movie cli p , the stu dent  wa s requi red  to  fill  up the Self -Assessme n t M aniki n (SAM ). Finally  stu d e n t wa s requ e s ted to  acco mplish  two ty pes  of tests co nsi s ting of math ematics and  sci en ce qu est i ons.   In this pape r, student wa s re quired to   answe r 12  que stion s  of mathemati c s and 10  que stion s  of sci en ce. Thre e levels of q uestio n s rang ing from ea sy, medium and difficult were   desi gne d. Student was  req u ired to  an swer the e a sy  q uestio n s i n  1 0  se co nd s, medium q u e s tio n s   in 20 second s and  difficult  questio n s i n  30 se co nd s for mathe m ati cs te st. Whe r eas fo r scien c e   Arousal                     Excit e d            HAPP                       Deli ght e d                      Ple a s e d          CAL M                     Rel a xed   Tense   FEAR   An no yed     Depresse d   SAD  Tired   Evaluation Warning : The document was created with Spire.PDF for Python.
TELKOM NIKA   ISSN:  1693-6 930     Correl ation of  Student’ s   Precu r sor Em otion towa rd s L earni ng Sci e n c e …   (N or zali za Md  Nor )   1164 test, easy qu estion s in 15 se con d s, me diums q u e s tions in 30 second s and difficult que stion s  in   40 se co nd s. All question were display ed on the  p e rson al co mput er screen a n d  stude nt ne eds  to verbally an swer the qu e s tion.           Figure 2. Experime n tal set up and p r oto c ol      2.1. Stimuli  The em otion’ s movie  clip s were u s ed  to obtain  emo t ional re sp on se s an d on e  set of  mathemati c s test an sci ence test to  identify th e  stud ent inte rest. F our b a si c em otion s  of   happi ness, fear, calmness  and  sadness from the Internationa l Affective Picture (IAPS)  were  use d  to ge ne rate the ASM  referen c e s  o f  each  stud en t. Bernard Bo uch a rd’ s   synt hesi z e d  mu si cal  clip s an d G r o s s an d Leve n s on’ s m o vie  clips  we re  use d  to eli c it em otional  re spo n se s [4] p r io r to  stude nt doing  the mathema t ics an d scien c e test s.    2.2. Participants   15 healthy st udent s (8 fe male and 7  male)  were recruited from  Sekolah Ke bang sa an  Taman  Unive r siti 1. Students we re cho s en fro m  fi rst ,  seco nd and  third grad e. These stud e n ts  must be  withi n  the age  of 10 to 11, si n c e the ta rget  subj ect mu st  be familiar  with the p r im ary  school’ s  sylla bus tau ght.      3. Correla tio n  of Stude nt’ s  Precurso r  Emotion and  Learning Interes t    Figure 3 sh ows the blo ck di agram  of the experiments in  o r der toe an al yse the   correl ation of pre c u r sor em otion to stude nt’s l earning i n tere st. In th e pre-processing stage n o i s and oth e art e facts will  be  remove d fro m  the raw E E G sig nal s u s ing th e ellip ord filter. F e a t ure s   will then  be  e x tracted  usi n g the M e l-fre quen cy Ce p s tral Coefficie n t (MF C C) m e thod a nd fin a lly  usin g the Mul t ilayer perce p t ron (M LP) to  cla ssify the valen c e an d arousal.    Brief from  the experimenter   Electrode’s  placement  Answering Math em atics qu estion   Emotion movie  cli p 10 minutes per t ask 1 m inutes  e ach Ey e s  cl ose  Ey e s  o p e ne 1 m inutes  e ach   SAM Rest Ans w ering S c ie nce qu es tion   10 minutes per t ask Ha ppy   Sad Fea r Evaluation Warning : The document was created with Spire.PDF for Python.
                             ISSN: 16 93-6 930   TELKOM NIKA  Vol. 13, No . 4, Decem b e r  2015 :  116 2 – 1169   1165     Figure 3. Block  Diag ram o f  the experim ent      3.1. Featur e Extrac tion (MFCC)  Based  on  ou r previo us stu d y [7], in this  pape r featu r e s   were al so  e x tracted  usi n g MF CC  to extract the low freq ue ncy EEG sig nals. In ste a d  of using 40  MFCC  coeff i cient s like m o st  feature  extra c tion fo spe e ch,  here onl y 10 MF CC  coefficient s were  extra c ted  and fo und  to  be   sufficient. Thus  every i n st ance  will have 160 feat ure from  16 channel s based  on 256  nfft points  at 83Hz sam p ling freq uen cy and 20% o v erlap.       Table 1. Training pa ram e ters fo r MLP   No. of hidden la yer   No. of neu ron in t he hidden la y e r   10  Activation functio n  for hidden la ye tan-sig  Activation functio n  for outpu t la y e r   purelin  Learning r a te   0.01  Mean-squar e er r o r goal   0.1      3.2. Classific a tion (MLP MLP wa s a dopted a s  the cla s sifier in orde to classify the extracted feature s  to   investigate t he pre c u r sor emotion an d its dynam i c . A  feed forward artifici al  neural n e twork  RE S U L T   Precursor Emotion (M L P Testing  (E y e s Closed Data )   Classif i cation (MLP )     Training  Emotion Dat a  ( VA)   Bas i emotion  stimuli  (I A PS)   Math &   Sc ie nc e   Q uestion  Feat ur e Ex t r act i on  ( M F CC)  EEG Sig n als   (P re-P roc e ssi ng )   EEG Sig n als   (R aw Dat a )         Data Collection   Noise  f ilte ( E llipor d F ilte r )   Ey e s  O p e n   and E y e s   Close d   Dat a  Colle c t ion   Pre-P r ocessin g   F e a t ure Ext r action   Classif i cation   RE S U L T   Student B e haviour(M L P )   Testing  (Math Question)   Evaluation Warning : The document was created with Spire.PDF for Python.
TELKOM NIKA   ISSN:  1693-6 9 30     Correl ation of  Student’ s   Precu r sor Em otion towa rd s L earni ng Sci e n c e …   (N or zali za Md  Nor )   1166 model, multi - l a yer p e rcept ron ma ps  set s  of input  d a ta  onto a  set  of app r op riate  output. Optim a model  sel e cti on for the  nu mber of laye r and   the  nu mber of n euron n e ed ed fo r the  be st M L architectu re i s  req u ired to ensure o p tim u m perfo rma n ce.     3.3. Questio ns for th e Te st  In this re se arch, we have  been  req u e s ting the  subje c t to answer  sci en ce q u est i ons fo the test.Table  2, depicts th e que stion s   that has b een  prep ared for the su bje c t.      Table 2. Que s tion for the  subje c ts  No. Question   X,  Y  and  Z a r e th e parts involved in breathing.   X  : nose   Y   :  w i ndpipe   Z  : lungs  Which of the follow i ng is the corre c t order of th e pa ssage of air  w h e n  we exhale?   A X   Y    Z                   C  Z   Y   X  B X   Z    Y                    D   Y    X   Z  What is the nameof thiscomponent?       Asw i tchCBattery  BResistorsDWires  What isthe sy mb olofthe Figure b e l ow ?        AlightCResistor  BBatteryDs w itch  Among theseries circuitanda parallel circui t, w h ichw illsw i tch on theli ghtsw i thb righter?              ACircuitSerialCBothcircuits  BCircuitParallelDNotbothcircuits      Living thingsneed energ y  to   ABreathingCRu n n ing  BWalkingDAll oft he above   Lighted candlesproduce ene rg Alight energ y a n d thermal energ y   BElectricity andth ermal energ y   Ckinetic energ y a ndlight energ y   Energ y Dsounda ndlight energ y   7 The  phon erang g enerateen erg y   AKinetic Energ y CElectricity  Energ y   BSoundEnerg y D  Light Energ y   The Figu re sho w sapartofthe hu m an bod Whatpartma r ked X    ANoseCStomach   BLungDAir Duct           Evaluation Warning : The document was created with Spire.PDF for Python.
                             ISSN: 16 93-6 930   TELKOM NIKA  Vol. 13, No . 4, Decem b e r  2015 :  116 2 – 1169   1167 4. Results a nd Discu ssi on  In this  pap er  only on e stu d ent data  were  analy s ed as a  prelimina r y results.  Eye s  clo s ed   data we re first analyze d  to identify the precurso r e m otion. Precursor em otio n for stude nt 1 is   sho w n in Fi g u re 4  with co mbination  of calm  a nd sad .  Student see m s to have b o th positivea nd   negative val ence an d ne gative aro u sal while th eyes  were cl ose d . This  could me an t hat  stude nt wa s not sure wh at to feel and  the brain i s  still having lo w activation.          Figure 4. Pre c urso r emotio n of student 1         In Figure 5,  it sho w s that  the stu dent s s eem to  b e  cal m  emoti on at the  be ginnin g having sad e m otion in the  middle and  calm em otio n again to wa rds th e end.  It has positi v e   valence  an d negative  a r o u sal whi c h showi ng calm   emotion. It al so h a neg ative valence a nd  negative  a r o u sal whi c h   showi ng sad  emotion.  T h is  indi cate s th at the p r e c ursor emotio cal m   and sad ha s i n fluen ce the  subj ect while  answe ring th e que stion.           Figure 5. Student’s dyn a m i c emotion s  while an swerin g first que stio     In Figure 6,  it depict s n egative vale nc e and neg ative  arou sal   whi c h sho w ing  sad   emotion. The  subje c t may not have intere st in  answeri ng the seco nd que sti on due to difficult   que stion. Thi s  re sult al so  arise in q uestion  numb e r seven whe n   the  subje c al so sho w ing sad   emotion which has b een  shown in Figu re 7.          Figure 6. Student’s dyn a m i c emotion s  while an swerin g se con d  que stion       calm  cal m sad  sad  sad sad  sad cal cal m cal m cal m cal m sad  Evaluation Warning : The document was created with Spire.PDF for Python.
TELKOM NIKA   ISSN:  1693-6 930     Correl ation of  Student’ s   Precu r sor Em otion towa rd s L earni ng Sci e n c e …   (N or zali za Md  Nor )   1168     Figure 7. Student’s dyn a m i c emotion s  while an swerin g third que sti o n       In Figu re  8  a nd Fi gure 9,   the subje c t i s  having  ne ga tive valence  and  po sitive  arou sal  whi c h sh owi n g fear emoti on. This is al so reve aling  that the subj ect may not have intere st   in   answe ring th e fourth and fi fth question.           Figure 8. Student’s dyn a m i c emotion s  while an swerin g fourth que st ion             Figure 9. Student’s dyn a m i c emotion s  while an swerin g fifth questio n       In Figure 1 0 , 11 and 1 2 , the subj ect is  showi ng ne gat ive valence a nd neg ative arou sal   whi c h in dicate sa d em otio n. The  su bje c t seem s to  be sho w ing  a  negative  em otion towards the  end of th e q uestio n s. Pe rhap s the  su b j ect do es not  unde rstand t he qu estio n   or m a y not h a ve  intere st in an swerin g scien c e qu estio n         Figure 10. Student’ s  dyna mic emotio ns  while an swering sixth que stion      sad  fear  fear  sad  Evaluation Warning : The document was created with Spire.PDF for Python.
                             ISSN: 16 93-6 930   TELKOM NIKA  Vol. 13, No . 4, Decem b e r  2015 :  116 2 – 1169   1169     Figure 11. Student’ s  dyna mic emotio ns  while an swering seve nth q uestio n           Figure 12. Student’ s  dyna mic emotio ns  while an swering eight qu e s tion       5. Conclusio n   In con c lu sion , the student ’s dynami c  e m otions  sh o w  a domi n a n t negative  emotion  towards an sweri ng the  scien c e te st. This  co uld  b e  due to th e  inca pability  of the stud en ts to  answe r corre c tly by which  difficult que stion s   se em s to indicate  negative em otions. Stude nt’s  pre c u r sor  em otion of  sad i s  reflecte d th roug h o u t experim ents i n dicatin g  an  i m porta nt rol e  of  pre c u r sor em otion. Con s e quently, the pre c u r sor  em otions h a ve  a major i n flu ence in hum an   emotion  sin c e it ha s exi s ted in  ou r me mory for a l o ng time. Alth ough  only o n e  stu dent EE G date   wa s a nalyze d  it sh ows the   potential  of correlating pre c urso r emotio n to lea r ni ng i n tere st. Re su lt  from our ex perim ent sh owe d  that it is possi ble  to identify  the student  intere st towa rds  mathemati cs according   to pre c u r sor em otion  an stu dent’s  dynam ic em otion s . In future,  we  are   intere sted to cla ssify the e m otion and  student  be havi o r by usin g fuzzy ne ural n e t work.       Ackn o w l e dg ement  This work is  suppo rted by the Mi nist ry of Education, M a laysia.       Referen ces   [1]    Clark DE. T he Affective R easo ner: A P r oce ss Mod e l  of Emotions  in a Mu lti-A gent S y stem.  Unp ubl ishe d d o ctoral thes is, North w e s tern  Univers i t y , C h i c ago.1 9 9 2 [2]    Mehra b ia n A & Russel l  JA. An appr oac h to envir onme n t a l ps ych o lo g y ,  Cambri dge,  MA, USA: MIT  Press.187 4.  [3]    Lan g PJ. T he three s y stem  a ppro a ch to  em oti on. In B i rba u mer N & O h man A. T he Organ izatio n of   Emotion (Ed.). T o ronto: H ogre f e-Hub e r, 199 3 ;  18-30.   [4   C h an e l  G, Kron e g g  J, Gra n j ea n  D  & Pun  T .   Emo t i o n   a sse ssme n t: Aro u s al e v a l u a t i o n  u s in g  EEG’ s  and  peri pher al ph ysi o lo gic a l sig nals. Proce e d i ngs  Intern ati ona l W o rksho p  on Multim edi a Conte n t   Repr esentati o n ,  Classificati on  and Sec u rit y , I s tanbu l, 200 6: 530- 537.   [5]    Ko¨ller O, Baumert J, & Sch nabel K. Does  in terest matter? T he relati onsh i p b e t w ee n acad em i c   interest an d ac hiev em ent i n  mathematics.  J ourn a l for Res earch i n  Mathe m atics E ducati o n . 200 1; 32 :   448 –4 70   [6]    Russell JA. A  circum pl e x  mo del  of affect.  Journ a of Pers ona lity a nd S o cial Psyc hol og y . 198 0; 39 :   116 1-11 78.   [7]    W ahab  A, Ka marud d in  N,  M Nor  N, Abu t  H.  “Pre- a n d  Postacci dent  Emotion  Ana l ysis on  Driv in g   Behav ior”.  Smart Mobil e  In-Vehicl e Syste m s . 2014; 22 5-23 9     sad  sad  Evaluation Warning : The document was created with Spire.PDF for Python.