I nte rna t io na l J o urna l o f   Adv a nces in Applie d Science s   ( I J AAS)   Vo l.   5 ,   No . 3 Sep tem b er   2016 ,   p p .   1 2 8 ~ 1 3 6   I SS N:  2252 - 8814       128       J o ur na ho m ep a g e h ttp : //ia e s jo u r n a l.c o m/o n lin e/in d ex . p h p /I J AAS   O pinio n S enti m e nt  Ana ly sis       Alo k   K u m a r Re nu   J a in   Un iv e rsit y   In stit u te  o f   En g in e e rin g   a n d   T e c h n o lo g y ,   Ka n p u r,   In d ia       Art icle  I nfo     AB ST RAC T     A r ticle  his to r y:   R ec eiv ed   J u n   1 9 ,   2 0 1 6   R ev i s ed   A u g   1 4 ,   2 0 1 6   A cc ep ted   A u g   2 2 ,   2 0 1 6       A n   a u to m a ti c   s y ste m   to   a n a ly z e   th e   o p in io n s/f e e d b a c k o f   th e   p e o p le  w o rk in g   in   a n y   o rg a n iza ti o n   is  p ro p o se d .   T h e   p ro p o se d   sy ste m   d o e t w o   m a jo jo b s:   th e   f irst  p a rt  e x trac ts  th e   m o st  r e lev a n t/ i m p o rtan a sp e c ts  f ro m   t h e   tex tu a f e e d b a c k p ro v id e d   b y   c li e n ts/ m a n a g e rs/ c o - w o rk e r f o a ll   th e   e m p lo y e e s   h a v in g   si m il a jo b   p ro f il e   a n d   th e   se c o n d   p a rt  m e a su re s   th e   d e g re e   o f   p o siti v it y   o n e g a ti v it y   f o a ll   th e   e x trac te d   a sp e c ts  f o e v e r y   e m p lo y e e   a n d   t h e n   a n   o v e ra ll   p e rf o r m a n c e   o f   e v e r y o n e   is  e v a lu a ted .   W e   h a v e   i m p le m e n ted   th e   s y ste m   to   stu d y   th e   f e e d b a c k   o f   te a c h e rs.  T h e   p ro p o se d   sy ste m   is f l e x ib le an d   v e rsa ti le  th a n   t h e   e x isti n g   f e e d b a c k   e v a lu a ti o n   sy ste m   o f   tea c h e rs  w h e re   stu d e n ts  e v a lu a te  th e   tea c h e rs  o n   th e   p re d e f in e d   a sp e c ts  d e c id e d   b y   e x p e rien c e d   a n d   se n io r   tea c h e rs.  Ou r   sy ste m ,   F a c u lt y   Ev a lu a ti o n   S y ste m   (F ES i d e n ti f ies   stre n g th a n d   w e a k n e ss e o f   tea c h e rs  o n   a ll   a sp e c ts  w h ich   a re   im p o rtan t o   st u d e n ts.  T h is  in f o r m a ti o n   m a y   b e   u se d   b y   h ig h e a u th o rit ies   o f   th e   in st i tu te  i n   i d e n ti f y in g   su it a b le  f a c u lt y   m e m b e rs  f o d iff e re n a c a d e m ic  a n d   a d m in istrativ e   a c ti v it ies   o th e   i n stit u te  in   a d d it i o n   to   th e     tea c h in g   re sp o n si b il it y .   K ey w o r d :   Asp ec t e x tr ac tio n     Feed b ac k   an al y s i s     Natu r al  la n g u a g p r o ce s s in g   Op in io n   m i n in g   Sen ti m e n t a n a l y s is   Co p y rig h ©   201 6   In s t it u te o A d v a n c e d   E n g i n e e rin g   a n d   S c ien c e   Al rig h ts re se rv e d .   C o r r e s p o nd ing   A uth o r :   A lo k   Ku m ar ,   Dep ar t m en t o f   C o m p u ter   Scie n ce   an d   E n g i n ee r in g ,   Un i v er s it y   I n s tit u te  o f   E n g i n e er in g   a n d   T ec h n o lo g y ,   Kan p u r ,   I n d ia .   E m ail:  a k u m ar . u iet@ g m ail. co m   Mo b :+9 1 9 3 0 7 0 7 1 5 2 2       1.   I NT RO D UCT I O N     W e,   h u m an   b ei n g s   al w a y s   m ak o u r   d ec is io n s   o n   th b asi s   o f   t h i n f o r m atio n   g at h er ed   d ir ec tl y   o r   in d ir ec tl y   w h et h er   w b u y   p r o d u ct  o r   w h ir p er s o n   o r   w n ee d   to   g et  s o m s p ec i f ic  jo b   d o n e .   W h en   w e   w a n to   p u r ch a s p r o d u ct,   w lo o k   f o r   f e w   v er y   s p ec if ic   f ea tu r es  i n   ad d itio n   to   th b asic  f ea t u r es  w it h i n   ce r tain   f i n an c ial  co n s tr ai n ts   b e f o r m ak i n g   th f in al  d ec is io n .   B u w h e n   w d ea w it h   h u m a n   b ein g s ,   it  is   v er y   d if f er e n t.  E v er y   h u m an   b ei n g   p o s s ess es  m a n y   d i m e n s io n s   h av i n g   s p ec i f ic  c h ar ac ter is tic s   f o r   ea ch   o n e.   Fo r   ex a m p le:  A   teac h er   m a y   b v er y   k n o w led g ea b le  an d   f r ien d ly   p er s o n   b u t f r o m   s tu d e n ts ’  p o in t   o f   v ie w   h e/s h e   m a y   n o b p r o p er   teac h er H en ce ,   an al y zin g   t h f ee d b ac k   o f   h u m an s   is   f ar   m o r co m p lica ted   th an   an al y zi n g   th f ee d b ac k   o f   i n an i m a te  t h i n g s   o r   it   ca n   b s aid   t h at   h u m an   b eh av io r   is   m o r co n te x ts   d e p en d en a n d   w e   n ee d   to   ev alu ate  t h e m   in   e v er y   co n t ex t   s ep ar atel y .   Her e,   w ar f o cu s in g   o n   an al y zi n g   t h f ee d b ac k   o f   h u m an   b ein g s   g iv e n   b y   h u m a n   b ein g s .   T h e   o b j ec tiv o f   th i s   p ap er   is   n o   j u s to   ev alu ate  t h f ee d b ac k   o n   s o m p r e - d ef i n ed   asp ec ts   an d   p r o v id e   r atin g s   on  th at  b asis .   I n s tead ,   w ar ex tr ac tin g   t h asp ec ts   f r o m   u s er   f ee d b ac k s   its e lf   w h ic h   u s er s   t h in k   ar i m p o r tan t   f r o m   t h eir   p o in o f   v ie w   a n d   th en   ev al u ate   t h d eg r ee   o f   p o s itiv it y   a n d   n e g ati v it y   f o r   ea ch   as p ec t W h av u s ed   lin g u i s tic  f ea tu r e s   a n d   co m b i n atio n   o f   m ac h in lear n in g   tec h n iq u es  to   ex tr ac asp ec ts   an d   m ea s u r th d eg r ee   o f   ex i s ten ce   o f   ea ch   a s p ec f o r   ev er y   in d i v id u a f o r   w h o m   d ata  h as  b ee n   co llected .   s y s te m   ca l led   FES   f o r   an al y z in g   t h teac h er s’   f ee d b ac k   h a s   b ee n   i m p le m e n ted .   T r a d itio n al  teac h er s   f ee d b ac k   ev al u atio n   s y s te m   is   q u e s t io n n air b ased   s y s te m .   I n   t h is   s y s te m ,   a   f o r m   ( q u e s tio n n air e)   is   g iv e n   to   ea ch   s t u d en t.  Q u esti o n n air e   h as   n u m b er   o f   q u e s tio n s   r el ated   to   th teac h er   Evaluation Warning : The document was created with Spire.PDF for Python.
IJ AA S   I SS N:  2252 - 8814       O p in io n   S e n timen t A n a lysi s   ( A l o K u ma r )   129   o r   s u b j ec t.  Stu d en g i v es  n u m er ic  s co r o r   o r d in al   s co r ( i.e .   b elo w   a v er ag e,   a v er ag e,   g o o d ,   ex ce llen t)   to   ea c h   q u esti o n   i n cl u d ed   in   q u esti o n n air e.   On   th b asi s   o f   r esp o n s es  o f   all  s t u d en t s ,   it  is   d eter m i n ed   h o w   m u ch   a   teac h er   is   ab le  to   co n tr ib u te  i n   h is / h er   co u r s e .   T h m ai n   p r o b le m s   o f   q u est io n n air b as ed   s y s te m   ar e:    a.   D ec id in g   th q u esti o n   s et  i s   d if f icu lt  tas k .   T h er is   n o   s tan d a r d   m et h o d   o r   tech n iq u to   d ec id th q u esti o n s   f o r   q u esti o n n air e.   Hig h er   au t h o r ities   d ec id q u esti o n s   o n   t h b asis   o f   th e ir   p er s o n al  ex p er i en ce s   o n l y .     b.   T r a d itio n al  q u esti o n n air b ased   s y s te m   b ec o m e s   v er y   r estric ted .   Stu d en ts   ca n   as s i g n   s co r e s   o n l y   o n   th o s e   q u esti o n s   w h ich   ar m e n tio n e d   in   q u esti o n n air e.   T h er is   n o   p r o v is io n   f o r   s tu d e n ts   to   ass i g n   s co r o n   o th er   asp ec ts   o f   teac h er s   w h ich   m a y   b m o r i m p o r tan t   to   t h e m .     A   teac h er   d esp ite  h a v i n g   v er y   g o o d   co m m a n d   o v er   t h e   s u b j ec m a y   h a v e   s o m v ita teac h i n g   q u alities   th at  m o ti v ate  t h s tu d en ts   f o r   lear n i n g   o r   s o m r ep u ls i v w a y   o f   teac h i n g   w h ile  d eliv er in g   lect u r e,   th ese   k n o w n   an d   u n k n o w n   i m p o r tan f ea t u r es  ca n   b y   id en t if ied   b y   t h s t u d en ts   o n l y .   Fo r   i n s ta n ce ,   t h w a y   a   teac h er   in tr o d u ce s   n e w   to p ic,   h is / h er   g e s t u r in   t h cla s s ,   w r iti n g   s k ill s ,   etc  m a y   b m o r im p o r tan to   s tu d e n th a n   th d etails  in   w h ich   th teac h er   h as  co m p leted   th co u r s e.   B y   d et er m in i n g   teac h er s   asp ec t,  w e   ca n   u s it f o r   m a n y   ac ad e m ic  an d   ad m in is tr ati v p u r p o s es a s   m e n tio n ed   b elo w .   a.   Asp ec t   g ra din g :   I n   e x is tin g   s y s te m ,   w a s s u m t h at  ea c h   q u esti o n asp ec in cl u d ed   in   q u esti o n n air h a s   eq u al  w ei g h tag f o r   ex a m p le  p r esen tatio n   an d   k n o w led g o f   teac h er   b u th is   is   ac t u all y   n o tr u e.   So m e   asp ec ts   ar m o r i m p o r tan w i th   r esp ec to   o th er   asp ec ts .   Fo r   an   ex a m p le,   p r esen tatio n   is   m o r i m p o r ta n t   asp ec th a n   k n o w led g e.   W ith   t h h e lp   o f   o u r   p r o p o s ed   s y s te m ,   w ca n   g r ad t h asp ec t s   o f   teac h er   o r   we   ca n   s a y   t h at  i m p o r tan ce   o f   as p ec ts   ca n   b d eter m in ed .   Asp ec g r ad in g   is   h e lp f u f o r   th h ig h er   au t h o r itie s   d u r in g   th s elec tio n   o f   teac h er s   as  w ell  as d u r i n g   th m ea s u r i n g   e f f ec ti v en e s s   a n d   u s e f u ln e s s   o f   teac h er s .   b.   Co mm it t ee   F o r m a t io n:  Fo r   s m o o th   r u n n i n g   o f   an   i n s t itu t o r   d e p ar tm e n t,  n u m b er   o f   co m m it tees  an d   ce lls   ar f o r m ed   b y   th h ea d   o f   in s ti tu te  o r   b y   th h e ad   o f   d ep ar tm e n t.  E ac h   co m m ittee  i s   r esp o n s ib le  f o r   s o m s p ec if ic  tas k   an d   n u m b er   o f   f ac u lt y   m e m b er s   ar r eq u ir ed   w h o   ar s u itab le  f o r   co m m ittee.   Fo r   d is cip lin co m m ittee,   w r eq u ir n u m b er   o f   teac h es  w h o   ar s tr ict  in   n atu r w h ile  f o r   co u n s e lin g   ce l l,   w r eq u ir n u m b er   o f   f ac u lt y   m e m b er s   w h o   ar co o l in   n a tu r e.   Ou r   p r o p o s ed   s y s te m   is   u s ef u l to   id e n ti f y   s u itab le  p er s o n s   f o r   s u ch   co m m ittee s .   c.   I m pa ct   o f   Resea rc h a nd   T ra ini ng :   I n s tit u te  ass u m es t h at  r esear ch   an d   tr ain i n g   i m p r o v th ef f ec ti v en e s s   o f   tea ch er s .   All  in s tit u tes  al w a y s   en co u r ag t h eir   f ac u l t y   m e m b er s   f o r   r esear ch   an d   tr ai n in g   w it h o u t   k n o w i n g   th i m p ac o f   it   o n   t h ef f ec ti v e n es s   o f   teac h er   in   class   r o o m .   O u r   p r o p o s ed   s y s t e m   w ill  h elp   i n   id en ti f y i n g   th i m p ac t o f   r esea r ch   an d   tr ain i n g   o n   teac h er s .   d.   I m pa ct   o f   Ad m ini s t ra t iv Dut ies:  A p ar f r o m   teac h i n g ,   in s ti tu te  as s i g n s   ad d itio n al  d u tie s   t o   teac h er s .   W ith   th h elp   o f   o u r   p r o p o s ed   s y s te m ,   w ca n   id en ti f y   i m p ac o f   ad d itio n al  ass ig n m e n t s   o n   teac h er s   ef f ec tiv e n e s s   i n   class   r o o m .   e.   De m o g ra ph ic  Ana ly s i s:   W ith   o u r   p r o p o s ed   s y s te m ,   w ca n   p er f o r m   ag an d   g en d er   b ased   an al y s is   o f   teac h er s   f ea t u r es.  I n f er en ce s   o f   s u ch   d e m o g r ap h ic  a n al y s is   w il b h e lp f u l f o r   h i g h er   au t h o r ities   to   ch o o s e   s u itab le  g en d er   b ased   an d   ag b ase  s elec tio n   o f   f ac u lt y   m e m b er s   o f   s o m s p ec i f ic  tas k .     T o   m ea s u r th e   ef f ec ti v e n es s   o f   teac h er   to   th s ati s f ac tio n   o f   e v er y   s t u d en t,  w ar p r o p o s in g   a n   asp ec b ased   s en ti m e n e v al u a tio n   s y s te m .   I n   th p r o p o s ed   s y s te m ,   w co llect  s t u d en f ee d b ac k   in   t h f o r m   o f   r u n n i n g   te x t.  U s in g   li n g u i s tic  f ea tu r es  a n d   m ac h in lear n i n g   t ec h n iq u es,  w h av a n al y ze d   t h s t u d en t s   o p in io n   f o r   ea ch   teac h er   f o r   all  i m p o r t an asp ec ts   e x tr ac ted   f r o m   t h e   d ata  its elf .   T h is   ev al u atio n   m o d el  o v er co m es  t h e   ab o v m en tio n ed   p r o b lem s   an d   in   ad d itio n   ad m i n is tr atio n   w il also   g e in f o r m at io n   ab o u ea ch   teac h er   o n   a   v ar iet y   o f   a s p ec ts   w h ic h   ca n   b f u r th er   u s ed   b y   a u t h o r ities   f o r   ass ig n i n g   i m p o r tan r esp o n s ib ilit ie s   to   th e m .   Du r in g   t h asp ec id en ti f icat i o n   p r o ce s s ,   th s y s te m   ch o o s es  th v ital  asp ec ts   b y   g r ad in g   ea ch   asp e ct  o n   t h e   b asis   o f   f ee d b ac k   o f   s t u d en t s .   Asp ec d etec tio n   an d   ev alu a tio n   o f   ea ch   asp ec f o r   ev er y   f ac u l t y /e m p lo y ee   allo ws   an   o r g an iza tio n   to   u s th i s   i n f o r m at io n   f o r   ef f ec t iv u tili za t i o n   o f   its   p eo p le  lead in g   to   b ett er   g r o w t h .   W d iv id o u r   r esear ch   p a p er   in   s ix   s ec tio n s .   R elate d   w o r k s   ar d is cu s s ed   in   s ec tio n   2 .   T h s ec tio n   3   h ig h li g h ts   t h d if f er en ce s   b etw ee n   ex i s ti n g   s e n ti m e n an al y s i s   s y s te m s   a n d   o u r   s y s te m   i m p le m e n ted   f o r   ev alu a tio n   o f   teac h er s   f ee d b ac k .   A r c h itect u r o f   th p r o p o s ed   s y s te m   a n d   f u n cti o n s   o f   s u b   m o d u les  ar e   ex p lain ed   i n   s ec tio n   4 .   R esu lts   w it h   co n cl u s i o n s   ar d is c u s s e d   in   s ec tio n   5 .       2.   RE L AT E WO RK   Hu   a n d   L i u   [ 1 ]   p r o p o s ed   a   m et h o d   to   p er f o r m   a s p ec b ased   s e n ti m en an al y s is   o f   p r o d u cts  r ev ie w s .   I n   th is   p ap er ,   au t h o r s   as s u m t h a th p r o d u ct   asp ec ts   ar n o u n s   an d   n o u n   p h r ases .   No u n s   a n d   n o u n   p h r ases   ar ex tr ac ted   u s i n g   ass o ciatio n   r u l m in i n g   alg o r it h m   o f   d ata  m i n in g .   E ac h   s e n te n ce   o f   r ev ie is   co n s id er ed   as  a   tr an s ac tio n .   T h is   m et h o d   is   q u ite  s i m p le   an d   h a s   b ee n   u s e d   b y   m a n y   r esear c h er s   w i t h   s o m m o d if ica tio n s .   P o p escu   an d   E tzio n i   [ 2 ]   u s ed   p o in w is e   m u t u al  i n f o r m atio n   g ain   ( P MI )   to   ch ec k   w h et h e r   n o u n   o r   n o u n   Evaluation Warning : The document was created with Spire.PDF for Python.
            I SS N :   2252 - 8814   IJ AA S   Vo l.  5 ,   No .   3 ,   Sep tem b er   20 1 6   :   1 2 8     1 3 6   130   p h r ase  is   v alid   asp ec o r   n o t.  Au t h o r s   co m p u ted   P MI   b et w e en   ca n d id ate  asp ec ts   a n d   m er o n y m y   d is cr i m i n ato r s   o f   p r o d u ct.   Me r o n y m y   d is cr i m in ato r s   o f   p r o d u ct  ca m er a   ar o f   ca m er a’ ,   ca m er h a s ,   c a m er co m es  w it h .   P MI   ( w 1 ,   w 2 )   is   th r atio   o f   j o in co n cu r r en ce s   o f   w o r d   w 1   an d   w o r d   w 2   w ith   r esp ec to   th in d iv id u al  o cc u r r en ce s   o f   w o r d   w 1   an d   w 2 .   O n l y   t h o s ca n d id ate  asp ec ts   ar co n s id er ed   v alid   asp ec t s   w h o s P MI   s co r is   g r ea ter   th a n   th r e s h o ld   v alu e.   T h r es h o ld   v alu i s   d eter m in ed   e x p er i m e n tall y .   Qiu   et   al.   [ 3 ]   p r o p o s ed   d o u b le  p r o p ag atio n   al g o r ith m   to   ex tr ac n e w   a s p ec ts   a n d   s en ti m e n t   ex p r ess io n s   o n   t h b asis   o f   s y n tactic  s tr u ct u r es  o f   asp ec ts   an d   s e n ti m en ex p r ess i o n s .   T h e y   u s th e   b o o ts tr ap p in g   tech n iq u w h er th e y   s tar w it h   s o m s ee d   s en ti m en w o r d s   an d   o n   th b asis   o f   k n o w n   s ee d   w o r d s   n e w   a s p ec t a r id en tifie d   an d   v ice  v er s a.     J in   an d   Ho   [ 4 ]   co n s id er   asp e ct  b ased   s en ti m e n an al y s i s   as  s eq u en ce   lab elin g   p r o b lem .   Au t h o r s   m an u all y   tag   ea ch   w o r d   o f   r ev ie w s   w ith   ap p r o p r iate  la b els a n d   i m p o s lex icalize d   Hid d en   Ma r k o v   Mo d el  an d   f r o m   t h tag g ed   s e n ten ce s ,   s y s te m   lear n s   p atter n s   to   id en tify   asp ec ts   an d   s e n ti m e n t e x p r ess i o n s .   J ak o b   an d   Gu r ev y ch   [ 5 ]   ex ten d   th ap p r o ac h   s u g g est ed   b y   J in   an d   H o   [4 ]   u s in g   C o n d itio n a l Ran d o m   Field s   alg o r it h m   ( C R F) .   C R is   lear n ed   in   o n d o m a in   a n d   u s ed   to   ex tr ac t in   o th er   d o m ai n .     Me et  al. [6 ] ,   p r o p o s ed   to p i m o d el  b ased   ap p r o ac h   w h ic h   co n s is t s   o f   an   asp ec t m o d el  t o   d eter m i n a s p ec t s   o f   th p r o d u cts an d   t h en   p o s iti v e   an d   n e g ati v s e n ti m e n m o d el   d eter m i n e s   t h p o lar it y   o f   ex tr ac ted   asp ec ts .     A .   K u m ar   an d   R .   J ain   [ 7 ] ,   p r o p o s ed   s y s te m   ar c h itect u r to   p er f o r m   s e n ti m e n b ased   a n al y s i s   o f   teac h er s   f ee d b ac k   g i v en   b y   t h s tu d e n ts   in   te x tu a f o r m .   Au th o r s   i g n o r ed   o b j ec tiv s en te n ce s   an d   id en ti f ied   th es s en t ial  asp ec ts   o f   teac h er   b y   u s in g   co n d itio n al  m a x i m u m   en tr o p y   b ased   ap p r o ac h   w it h   m u t u al  i n f o r m atio n   an d   T F - I DF  o f   r esp ec ti v w o r d s   in   s u b j ec tiv s e n te n ce s .   Se n ti m en s co r i s   as s i g n ed   to   al id en ti f ied   asp ec t s   o n   th b asi s   o f   p o in w i s m u t u al  in f o r m a tio n   g ain   b et w ee n   i d en tifie d   asp ec ts   an d   s e n ti m e n w o r d s .   Din g ,   L iu   a n d   Y u   [ 8 ] ,   p r o p o s ed   s en ti m e n t le x ico n   b ased   m eth o d   to   d eter m in s e n ti m en t   p o lar ity   o f   asp ec ts   i n   s e n te n ce s .   Sco r +1   an d   - 1   i s   as s i g n ed   to   a ll  s e n ti m en w o r d   b elo n g i n g   to   p o s itiv a n d   n eg a tiv e   lex ico n s   r esp ec ti v el y .   S ig n   o f   s en ti m e n w o r d s   ar in v er ted   if   s e n ti m e n s h i f ter   is   p r ese n n ea r   to   s en ti m en t   w o r d s .   C o n j u n ctio n s   o f   p h r ase s   ar h an d led   ca r ef u ll y   to   d ec id th s en ti m e n o f   asp ec ts .   Fi n all y   an   ag g r eg at io n   f u n ctio n   is   u s ed   to   ag g r eg ate  s en ti m en t sco r o f   m e n tio n ed   asp ec ts .     A   f o r m a g r a m m ar   b ased   s y s t e m   to   d ec id s e n ti m e n p o lar it y   o f   s i m p le  a n d   co m p o u n d   s e n ten ce s   [9 - 12 ] Fo r m al  g r a m m ar   r u les  ar e   ex p r ess ed   in   f o r m   o f   B NF.  O v er all  s e n ti m e n is   co m p u ted   o n   th co n s t itu tio n al   w o r d s   a n d   s y n tact ic  s tr u ct u r w it h   o t h er   w o r d s .   Fo r m al  g r a m m ar   is   i n   g e n er alize d   f o r m ,   i ca n   b u s ed   i n   a n y   d o m ai n   w it h   s o m m o d i f icatio n s .       3.   DIFF E R E NC E S   B E T W E E E XI ST I N G   SE NT I M E NT   ANALY SI S S YS T E M S AN O UR  SYST E M   T h m eth o d o lo g y   u s ed   i n   o u r   o p in io n   s en ti m e n t   an al y s is   s y s te m   d i f f er s   f r o m   e x is tin g   s y s te m s   i n   m an y   w a y s .   Mo s o f   th r esear ch   in   t h f ield   o f   s en ti m e n an al y s is   h as  b ee n   ar o u n d   to   p er f o r m   asp ec b ased   s en ti m e n an al y s is   r elate d   to   p r o d u cts,  s e r v ices,  m o v ie s   etc  ta k i n g   t h c o n s u m er   f ee d b ac k .   T h f o cu s   o f   th a n al y s i s   i s   to   en h a n ce   t h p r o d u ct  q u alit y ,   i ts   f ea t u r es   an d   e v en t u all y   t h s ales.  Mo s o f   t h p r o d u ct  f ea tu r es  b u ilt  ar e   w el l   u n d er s to o d   ac co r d in g   to   th n ee d   o f   co m m o n   u s er s   a n d   s o m s p ec i f ic  f ea t u r es  ar k ep f o r   s m all  g r o u p   o f   co n s u m er s .   B u t,  in   ca s o f   h u m an   b ein g s ,   m u lti - d i m en s io n al  s k ill  s et  is   r eq u ir ed   to   f u lf ill  th r eq u ir e m e n ts   o f   p o s itio n   i n   an   o r g a n izatio n .   W ith   h u m a n s ,   m a n y   q u alitie s   ar tak en   f o r   g r an ted   a n d   s o m e ti m e s   w h i le  g i v i n g   o p in io n s   m a n y   o f   u s   d o   n o e v en   m en tio n   th o s e   ex p lici tl y .   N o m u ch   w o r k   a s   o n   d a te  is   av a ilab le  in   th is   r e g ar d.   W i m p le m e n ted   s e n ti m e n a n al y s i s   f o r   h u m a n   b ein g s   an d   ex a m i n ed   t h at  n o n   li v i n g   t h in g s   i.e .   p r o d u cts  o r   s er v ices   g e n er all y   h a v f ea tu r e s   t h at  ar i n   t h f o r m   o f   n o u n s   a n d   co m p o u n d   n o u n s .   S en ti m en t   an al y s is   s y s te m s   ca p tu r th asp ec ts   f r o m   th f ee d b ac k s   r elate d   to   p r o d u cts  o r   s er v ices   th r o u g h   th n o u n   s y n tactic  ca te g o r y .   I n   co n tr ar y   to   th is   f r o m   o u r   s t u d y   o f   s en t i m e n a n al y s is   f o r   p r o f ess io n a ls i n d iv id u als,   we   o b s er v ed   th at  n o o n l y   n o u n s   an d   co m p o u n d   n o u n s   b u o t h e r   s y n tactic  ca te g o r ies  lik ad j ec tiv es,   ad v er b   an d   s o m eti m es  e v e n   v er b s   m a y   p la y   an   i m p o r tan r o le  i n   p r o v id in g   asp ec ts   f o r   s e n ti m en an al y s i s .   Fo r   ex a m p le:   let  u s   lo o k   at   th s en ten ce s   h i s   a   v er y   i n ter ac ti v a n d   f r an k   teac h er   a n d   s h tak e s   h er   teac h i n g   j o b   v er y   s i n ce r el y   an d   u n d er s tan d s   t h p r o b le m s   o f   s t u d en t s .   Her w o b s er v th at  ad j ec tiv es  i n ter ac ti v e’   a n d   f r a n k   i n   t h f ir s t   s en te n ce   an d   ad v er b   s in ce r el y   a n d   v er b   u n d er s ta n d s   i n   th s ec o n d   s e n te n ce   ar v alid   m etr ics/ a s p ec ts   o f   teac h er s .   W ca n   t h er ef o r v e r y   clea r l y   s ee   th at   th e   ap p r o a ch   f o r   h a n d lin g   t h s en ti m en t   b ased   f ee d b ac k   f o r   o b j ec ts   s er v ices  a n d   h an d li n g   th f ee d b ac k   f o r   p r o f ess io n als  w ill  n o b s a m e.   I w i ll  b e   m o r co m p licated   an d   d if f icu l t to   ex tr ac t th a s p ec ts   f r o m   d ata  f o r   h u m a n   b ein g s .   Tr a d itio n all y ,   q u est io n n ai r es  ar u s ed   to   tak th f ee d b ac k   o f   th e m p lo y ee s ,   teac h er s ,   etc  f r o m   c us to m er s   o r   s tu d e n ts   s o   t h at  p r o ce s s in g   o f   d ata   is   ea s ier .   As   te x tu a f ee d b ac k   allo w s   u s   t o   g iv e   lib er al  v ie ws   w it h o u an y   b ar ,   p r o ce s s in g   o f   s u c h   d ata  is   ted io u s   an d   it  b ec o m es  al m o s t   i m p o s s ib le  to   g r ad th e m   o b j ec tiv el y .   T h f r ee d o m   to   e x p r ess   v ie w s   in   te x t u al  f o r m   a llo w s   t h u s er s   to   ex p r es s   t h eir   v ie w s   f o r   an y   asp ec t w h ic h   m a y   b m o r r elev a n ac co r d in g   to   th e m .   I n   m o s o f   t h ex i s ti n g   s y s te m s ,   t h asp ec ts   o f   th ite m /p r o d u ct  m e n tio n ed   Evaluation Warning : The document was created with Spire.PDF for Python.
IJ AA S   I SS N:  2252 - 8814       O p in io n   S e n timen t A n a lysi s   ( A l o K u ma r )   131   in   ea ch   s e n te n ce   o f   t h f ee d b a ck   alo n g   w it h   its   d eg r ee   o f   a f f i r m atio n   ar ca p tu r ed   an d   th e n   f o r   ea ch   asp ec t th p o s itiv it y   o f   t h p r o d u ct  is   e v a lu ated .   B u t   in   ca s o f   h u m a n s ,   th i s   ap p r o ac h   m a y   n o g iv e   t h co r r ec t d eg r ee   o f   af f ir m at io n   o r   n eg atio n   f o r   th id en tif ied   asp ec ts   as  t h lis o f   i m p o r tan asp ec ts   m e n tio n e d   in   ea ch   f ee d b ac k   m a y   v ar y   f r o m   u s er   to   u s er   an d   in   s o m ca s es  th lis t s   m a y   b al m o s co m p li m e n tar y .   I n   o u r   s y s te m ,   w ass u m th at  ea ch   f ee d b ac k   is   w r it ten   t ak in g   i n to   ac co u n all  p o s s ib le   a s p ec ts   b u th u s er   e x p r ess es   h is / h er   o p in io n s   f o r   o n l y   t h o s a s p ec ts   w h ich   ar e ith er   v er y   i m p o r ta n t to   t h e m   o r   w h ich   h a v h ig h   d eg r ee   o f   p o s itiv i t y / n e g ati v it y .   T h lo g ic  b eh in d   o u r   a r g u m en is   th at  g en er all y   w e,   h u m a n   b ein g s   d o   n o talk   ab o u th o b v io u s   asp ec ts / tr ait s   p r esen i n   h u m a n   b ei n g s   o r   t h o s w h ic h   ar p r ese n t i n   a v er a g d eg r ee   i.e .   a s p ec ts   w h ic h   ar n o r m al   in   d eg r ee .   I n   o u r   p r o p o s ed   s y s te m ,   f ir s w e x tr ac th li s o f   all  p o s s i b le  asp ec ts   f r o m   all  f ee d b ac k s   an d   th en   ca te g o r ize  th o s to   b eith er   ab o v av e r ag e,   b elo w   av er a g e   o r   av er ag e.   I f   th s y s te m   f i n d s   t h at  f ee d b ac k   h as  n o m en tio n ed   o f   a n   id e n ti f ied   asp ec t,  s y s te m   as s ig n s   a v er ag e   d eg r ee   o f   f r ee d o m   to   it.  T h is   w a y   it  is   co n s id er ed   th at  ev er y   u s er   h as o p in io n   ab o u t e v er y   a s p ec t b u t h e / s h m a y   n o t e x p r es s   it e x p lic itl y   i n   t h f ee d b ac k .   W h en   u s er   w r ites   f ee d b ac k   ab o u an   ite m ,   h e/ s h w r ite s   ab o u th o s asp ec ts   o n l y   w h ich   s ee m   i m p o r tan to   h i m / h er   an d   t h er ef o r e,   w h ile  as s i g n i n g   th s en ti m en s co r f o r   th at  u s er ,   ex i s ti n g   s y s te m s   e v alu a t s en ti m e n t sco r f o r   th m en tio n ed   asp ec ts   o n l y .   Ma n y   o f   th asp ec ts   r e m ar k ed   in   t w o   d if f er en t f ee d b ac k s   m a y   b en tire l y   d i f f er en a n d   it  m a k es  d i f f icu l to   co m p ar th e   t w o   f ee d b ac k s .   W h ile  i n   o u r   p r o p o s ed   s y s te m ,   w ass i g n   s e n ti m e n s co r to   all  p o s s ib le   asp ec ts   o f   ite m   f o u n d   in   all  th f ee d b ac k s   w h et h er   u s er   h as  g iv e n   h i s / h er   r e m ar k s   f o r   t h at  o r   n o t.  A b o v e   av er ag e   o r   b elo w   a v er ag s e n ti m e n s co r is   a s s i g n ed   to   r em ar k ed   a s p ec ts   a n d   it  is   co m p u ted   f r o m   r e s p ec tiv e   s en te n ce s .   A ll  o th er   asp ec ts   wh ich   ar n o r e m ar k ed   in   t h f e ed b ac k   b y   t h u s e r   ar ass ig n ed   av er a g s e n ti m e n s co r e.   W ith   o u r   s y s te m ,   w e   ca n   co m p ar ite m s   ( p r o d u cts  s er v ice s   h u m an )   w it h   r esp ec t to   o th er   ite m s   as  w ell  a s   t w o   f ee d b ac k s   ca n   b co m p ar ed .         4.   P RO P O SE D   SYS T E M   T h p r o p o s ed   f ee d b ac k   an al y s is   s y s te m   ta k es  co llectio n   o f   f ee d b ac k s   in   t h f o r m   o f   r u n n i n g   te x f o r   all  th teac h er s   o f   an   in s t itu te   o r   em p lo y ee s   o f   an   o r g an iza tio n .   I n   th f ir s p h ase,   it  id en ti f ies  th p o s s ib le  asp ec ts   an d   t h e n   s e lects  e s s e n ti al  asp ec ts   o n   th e   b asis   o f   t h p re - d ec id ed   th r e s h o ld   an d   t h en   i n   t h s ec o n d   p h ase,   it  ev al u ate s   t h p er f o r m a n ce   o f   ea ch   e m p lo y ee   tak i n g   i n to   ac c o u n th e   ess e n tia asp ec ts .   W f o llo w   t h m o d u lar   ap p r o ac h   to   d esig n   o u r   s y s te m .   W h av d iv id ed   o u r   s y s t e m   in to   th r ee   m o d u le s   n a m el y   A s p ec ts   R e tr iev al,   Asp ec S en ti m en t A n al y ze r   a n d   T ea ch er   E v alu atio n   R ep o r ts   [ 1 3 - 18 ] .   E v er y   m o d u le   is   f u r t h er   d iv id ed   in to   s u b   m o d u les.  W m a k u s o f   n a tu r al  lan g u ag p r o ce s s i n g   a n d   s en ti m e n an al y s i s   tech n iq u e s   to   i m p le m e n th e   m o d u les  o f   o u r   s y s te m .   T h b a s ic  th r ee   tire   ar ch itectu r o f   s en t i m e n b ased   f ee d b ac k   an al y s is   s y s te m   i s   m en tio n ed   b elo w   i n   Fi g u r 1 .           Fig u r 1 .   A r ch itectu r o f   P r o p o s ed   S y s te m     Evaluation Warning : The document was created with Spire.PDF for Python.
            I SS N :   2252 - 8814   IJ AA S   Vo l.  5 ,   No .   3 ,   Sep tem b er   20 1 6   :   1 2 8     1 3 6   132   4 . 1 .   Asp ec t   Ret riev a l M o du le   T h is   m o d u le   co llects  a n d   co m b in e s   t h s tu d e n ts   f ee d b ac k   f r o m   d i f f er e n s o u r ce s   a n d   i d en tifie s   al l   ess e n tial  a s p ec t s   o f   teac h er s   ( l ik ed   o r   d is li k ed   b y   th e   s t u d en t s ) .   T h is   m o d u le  i s   f u r t h er   d i v i d ed   in to   f o llo w i n g   s u b   m o d u les.     4 . 1 . 1 .   F ee db a c k   Co llect o r   T h is   s u b   m o d u le  co llect s   f ee d b ac k   o f   teac h er s   f r o m   th s p ec if ied   s o u r ce s   an d   s to r es  f ee d b ac k   in   d atab ase,   s o u r ce s   m a y   b e   r e m o te  o r   d ir ec tl y   f r o m   t h o r g an izatio n .   W co llected   f ee d b ac k   f r o m   t h   f o llo w in g   s o u r ce s .     i.   www . r ate m y p r o f ess o r . co m     ii.   www . m y f av etea c h er . co m     iii.   T ex tu al  f ee d b ac k   o f   1 0   teac h e r s   o f   o u r   co lleg e   f r o m   1 8 0   en g in ee r in g   s t u d en ts .     4 . 1 . 2 .   F ee db a c k   P re   P ro ce s s o r   Feed b ac k   co llected   b y   th f e ed b ac k   co llecto r   m o d u le  is   i n   r a w   f o r m .   C o llected   r a w   f ee d b ac k   is   p r o ce s s ed   b y   th is   m o d u le  to   r e m o v u n w a n ted   A S C I I   ch ar a cter s ,   r e m o v al  o f   u n w an ted   te x li k HT ML   tag s ,   i m a g es,  titl es,  h y p er   li n k s   etc.   Miss p elled   w o r d s   ar c o r r e ct ed   b y   u s i n g   th au to   co r r ec tio n   lib r ar y   o f   NL T K.   An o th er   i m p o r tan tas k s   o f   th is   m o d u le  i s   tex n o r m al izatio n ,   r e m o v al  o f   n a m ed   en tit ies  i.e .   s u b j ec ts   n a m e,   in s t itu te  n a m e,   teac h er s   n a m etc.       4 . 1 . 3 .   Asp ec t s   I dentif ier  a nd   A s pec t s   Co nclud er   T h ese  ar th m o s i m p o r ta n t   s u b   m o d u le s   o f   o u r   p r o p o s ed   s y s te m .   I n p u to   t h e s e   m o d u les   is   p r p r o ce s s ed   f ee d b ac k s   o f   all  tea c h er s   a n d   o u tp u is   li s o f   asp e cts  o f   teac h er s   ( lik ed   a n d   d is li k ed   b y   th e   s t u d en t s ) .   Asp ec I d en tif ier   m o d u le  r ec o g n ize s   all  p o s s ib le  asp ec ts   o f   te ac h er s   f r o m   s t u d en f ee d b ac k s   an d   A s p ec C o n cl u d er   m o d u le  m in e s   o n l y   ess en tial a s p ec ts   f r o m   p o s s ib l asp ec ts   w h ic h   a r r elev a n t in   cu r r en t c o n te x t.   W h av u s ed   s e m s u p er v is ed   ap p r o ac h   to   im p le m en th Asp ec ts   I d en ti f ier   an d   th A s p ec ts   C o n cl u d er   m o d u le s .   O u r   p r o p o s ed   s y s te m   i s   b ased   o n   Hu   a n d   L i u   [ 1 ]   ap p r o ac h .   A s   m e n tio n e d   in   [ 1 ] ,   w as s u m e   th at  t h p o s s ib le  teac h er s   asp e cts  ar n o u n s ,   n o u n   p h r ases ,   co m p o u n d   n o u n s   a n d   i n   ad d itio n   t o   th at  as  d i s cu s s ed   in   s ec tio n   3 ,   w also   ch ec k   f o r   s o m ad j ec tiv es  an d   ad v er b s   lik kn o w led g ea b le,   co n ce p tu a l,  s tr o n g ,   fr ien d ly,   en co u r a g i n g   etc .   So ,   w f ir s f in d   all  p o s s ib le  asp ec ts   ( n o u n s ,   n o u n   p h r ase s ,   co m p o u n d   n o u n s   an d   ad j ec tiv es,   ad v er b )   f r o m   all  co llected   f ee d b ac k s .   P r o ce s s in g   o f   al f ee d b ac k s   is   d o n s o   t h at  e v er y   a s p ec is   o b s er v ed   b y   th s t u d en ts   i s   n o le f b u t t h er m a y   b m a n y   ir r ele v an w o r d s /p h r ases   i n   all  p o s s ib le  asp ec ts .   T o   r em o v s u c h   ir r elev an w o r d s ,   w e   ch o o s s o m e   w ell  k n o w n   a s p ec ts   a s   s e ed   asp ec ts   an d   ad d   to   t h f in al   lis o f   asp ec t s   [ 1 9 ,   20 ] .   W ass u m t h at  v alid   tea ch er s   asp ec ts   h a v s i m i lar   co n tex t,  o r   w ca n   s a y   a s p ec ts   a r p ar ad ig m atica ll y   r elate d   w o r d s .   W iter ativ el y   i n cr ea s t h asp ec ts   lis t   eit h er   ch o o s in g   co n tex t u all y   s i m ilar   a s p ec ts   o r   f r eq u e n tl y   o cc u r r ed   w o r d s   h av i n g   s e n ti m en ts   a n d   th p r o c ess   is   co n tin u e d   un til  all  p o s s ib le  n e w   asp ec ts   ar a d d ed   to   f in al   lis t o f   asp ec t s .   Step s   o f   o u r   p r o p o s ed   s y s te m   ar g iv e n   b elo w .     Alg o rit h m :   I np ut:   Feed b ac k s   g i v e n   b y   th s tu d en ts   O utput :   L is t o f   i m p o r ta n t a s p ec ts   f o r   teac h er s   Step   1 E x tr ac t   all  n o u n s ,   n o u n   p h r a s es  a n d   co m p o u n d   n o u n s   in   all  t h f ee d b ac k s   co llect ed   f r o m   t h s t u d en t s   an d   ad d   to   th p o s s ib le_ asp ec ts _ lis t.   Step   2 A d d   all  m o d i f ier s   ( ad j ec tiv es   an d   ad v er b s )   w o r d s   o f   teac h er ,   i n s ti tu te   a n d   s u b jects’  (   ex ce p u s u al   co m m o n   m o d i f ier s   li k g o o d ,   b ad ,   aw e s o m e,   w o r s t e tc)   to   th p o s s ib le_ asp ec t_ lis t.    Step   3 : A d d   s o m w ell  k n o w n   f ea tu r e s   o f   teac h er s   to   th f in al_ asp ec ts _ lis t   as a   s ee d   f ea tu r es .   Step   4 :   C o m p u te  t h co n te x t u al  in f o r m atio n   o f   all   w o r d s   /p h r ases   p r esen t i n   f i n al_ asp ec t s _ lis t.   Step   5:   C o m p u te  t h co n te x t u al  in f o r m atio n   o f   all  w o r d s   /p h r ases   p r esen t i n   p o s s ib le_ asp e cts_ lis t.   Step   6:   C o n v er co n tex t u al   in f o r m at io n   o f   w o r d s   p h r ases   p r esen t ed   in   p o s s ib l e_ asp ec ts _ lis an d   f i n al_ asp ec ts _ lis t in   t h f o r m   o f   v ec to r s .   Step   7:   Me asu r co n te x t u al  s i m ilar it y   o f   ea c h   w o r d p h r ase   in   p o s s ib le_ asp ec ts _ li s to   th w o r d s p h r ase s   i n   f i n al_ asp ec ts _ lis t.   Step   8 A d d   h i g h l y   co n tex tu all y   s i m i lar   w o r d s   o f   p o s s ib le_ as p ec ts _ lis to   f i n al_ asp ec ts _ lis t   if   w o r d s   f r eq u en tl y   ass o ciate d   w ith   s en ti m en w o r d s .   Step   9 : Rep ea t step   2   to   8   un til   n e w   w o r d s / p h r ase   ar ad d ed   to   th ex is tin g   f in a l_ asp ec ts _ l is t.   Step   1 0 R e m o v a ll  w o r d s   f i n al_ asp ec ts _ lis t   w h o s f r eq u e n c y   is   les s   th a n   t h r esh o ld   v al u e.   F r eq u en c y   t h r es h o ld   v alu i s   d ec id ed   ex p er i m en tall y .   Evaluation Warning : The document was created with Spire.PDF for Python.
IJ AA S   I SS N:  2252 - 8814       O p in io n   S e n timen t A n a lysi s   ( A l o K u ma r )   133   Ste p   1 1 R e m o v i n v alid   as p ec ts   ( w o r d s   /   p h r ase s )   f r o m   f i n al_ asp ec ts _ li s u s i n g   li n g u i s tic  a n d   d o m ai n   k n o w led g e.   R e m ai n in g   w o r d s   / p h r ases   i n   f i n al_ asp ec ts _ li s t   ar th ess e n tial a s p ec t s   f o r   th teac h er s .     4 . 2 .   Asp ec t s   Se nti m ent   Ana ly ze r   W ass u m th at   s t u d en t s   g i v f ee d b ac k   o n   all  asp ec t s   o f   teac h er s   w h ic h   ar e   id en t if ied   b y   t h Asp ec ts   R etr iev al  m o d u le  b u s t u d en t s   m en tio n   o n l y   t h o s asp ec t s   in   h is   / h er   f ee d b ac k   w h ic h   ar ei th er   b elo w   a v er ag e   o r   a b o v av er ag e,   asp ec ts   o f   av er ag lev el  ar n o h ig h li g h ted   b y   th s tu d e n ts .   W d iv id A s p ec S en t i m e n t   m o d u le  i n   th f o llo w i n g   s u b   m o d u les.     4 . 2 . 1 .   F ee db a c k   Sca nn er   T h is   m o d u le  p r o ce s s es  f ee d b ac k s   o n b y   o n an d   p o p u lat es  t w o   l is t s   o f   asp ec ts .   F ir s l is h a s   th e   asp ec ts   m en tio n ed   b y   s tu d en i n   h i s /h er   f ee d b ac k   tak i n g   i n to   ac c o u n th o s e   s e n ten c es  o n l y   w h ic h   h a v e   s u b j ec tiv d ata.   T o   ch ec k   w h e th er   s e n ten ce   i s   s u b j ec tiv o r   o b j ec tiv e,   it  is   p ass ed   to   S u b j ec tiv it y   An al y ze r   m o d u le.   Seco n d   lis h as  asp ec ts   w h ic h   ar n o m e n tio n ed   in   f ee d b ac k .   B o th   lis ts   co n tai n   o n l y   th o s asp ec ts   w h ic h   ar f i n alize d   b y   A s p ec t s   R etr ie v al  m o d u le Sen t i m e n t   s co r o f   asp ec ts   in   b o th   li s ts   a r ca lcu lated   later .     4 . 2 . 2 .   Su bje ct iv it y   A na ly ze r   T h er ar t w o   t y p es  o f   s e n te n ce s   i n   t h f ee d b ac k s   g i v e n   b y   t h s t u d en t s s u b j ec tiv s en ten ce s   a n d   o b j ec tiv s e n te n ce s .   Ob j ec tiv e   s en te n ce s   h a v s o m f ac t u al  i n f o r m atio n ,   in   th e s e   t y p e s   o f   s en ten ce s ;   s t u d en t s   do  n o h ig h li g h an y   a s p ec t .   F o r   ex am p le :   He  is   th Hea d   o f   th Dep ar t m en t’ ,   He  is   teac h in g   u s   C o m p u ter   Net w o r k .   I n   s u b j ec tiv s en te n ce s   s t u d en ts   r e m ar k   o n   h i s /h er   lik es   o r   d is lik e s   o f   t h at  tea ch er s   asp ec ts .   O u r   s y s te m   p r o ce s s es   o n l y   s u b j ec tiv s e n ten ce s   an d   i g n o r e s   o b j e ctiv s e n te n ce s .   T o   id en tify   s u b j ec tiv s en te n c es,  w h a v u s ed   n v b ased   ap p r o ac h   to   s o lv it a s s u m i n g   t w o   class   class i f icatio n   p r o b lem .   I n p u t o   th s y s te m   is   tr ai n in g   s e t.  I n   tr ain i n g   s et ,   all  t h s e n ten c es  ar e   lab eled   w it h   ap p r o p r iate  lab el  i.e .   s u b j ec tiv o r   o b j ec tiv e.   On   th e   b asis   o f   in p u e x a m p le s ,   Naïv B a y es a lg o r ith m   g en er ates   p r o b a b ilis tic   d is tr ib u tio n   o f   wo r d s   f o r   ea ch   clas s .   On   th b as is   o f   p r o b ab ilit ies  o f   w o r d s   i n   d if f er e n cla s s es,  i t   is   d eter m i n ed   w h et h er   th s e n t en ce   is   s u b j ec tiv o r   o b j ec tiv e.     4 . 2 . 3 .   Asp ec t   Senti m ent   I de ntif ier   T h is   m o d u le  co n s id er s   f ee d b ac k   o f   o n s tu d en at  ti m e;  it   ex p lo r es  th is   f ee d b ac k   f o r   ea ch   o f   th e   p o s s ib le  asp ec ts .   T h er w o u ld   b th r ee   p o s s ib ilit ies.   a.   Asp ec is   p r esen in   th f ee d b ac k   an d   i s   h a v i n g   p o s it iv o r i en tatio n /p o lar it y .   S u ch   a n   asp ec is   as s ig n ed   ab o v av er ag s co r e.   b.   Asp ec is   p r esen i n   th f ee d b ac k   an d   is   h av i n g   n e g ati v o r ien tatio n /p o lar i t y .   Su c h   a n   asp ec is   ass i g n ed   b elo w   av er a g s co r e.   c.   Asp ec t is n o t p r ese n t in   t h f e ed b ac k   an d   s u c h   an   asp ec t i s   a s s i g n ed   p r e - d ef i n ed   av er a g s co r e.     L i k e w is f ee d b ac k   p r o v id ed   b y   all  t h s t u d en t s   is   p r o ce s s ed   f o r   asp ec s en ti m e n id en t if i ca tio n .   T o   i m p le m en Asp ec Se n ti m e n t   An al y ze r ,   w h a v p r o p o s ed   n o v el  al g o r ith m .   P r o p o s ed   alg o r ith m   as s i g n s   s en ti m e n s co r to   all  asp ec ts   w it h   r esp ec to   ea ch   f ee d b ac k   w h et h er   asp ec ts   ar m e n tio n e d   in   th f ee d b ac k   o r   n o t.   Me n tio n ed   asp ec ts   in   t h f ee d b ac k   ar ass ig n ed   p o s itiv o r   n eg ati v s en ti m en s co r e.   T o   co m p u te  s en t i m e n t   s co r es  o f   asp ec ts ,   w n ee d   to   class i f y   th t h w o r d s   as  p o s iti v o r   n eg ati v ac co r d in g   to   t h s e m a n tic  w ei g h ta g e   in   th s e n te n ce .   Ma n y   le x ico n s   i n   o p en   d o m ai n   ar av ailab l w h ich   p r o v id s en ti m e n t   s c o r es  b u to   g et  m o r e   co n tex d ep en d en s en ti m en s co r es,  w h a v d ev elo p ed   d o m ain   s p ec i f ic  teac h er   s e n ti m e n l ex ico n   to   g et  b etter   s en ti m e n s co r es  f o r   th asp ec t s   u s i n g   b o o ts tr ap p in g   tech n iq u e.   Step s   o f   o u r   p r o p o s ed   alg o r ith m   u s ed   in   A s p ec Sen ti m e n A n al y ze r   ar g i v e n   b elo w .       Alg o rit h m :   I np ut:   Feed b ac k s   g i v en   b y   t h e   all   s tu d en t s ,   L i s o f   A s p ec ts   p r o v id ed   b y   A s p ec ts   R etr iev al  m o d u le,   T ea ch er   Sen ti m e n L ex ico n .     O utput :   Ass i g n   s en t i m e n t s co r to   ea ch   asp ec t .     Step   1 Select  f ee d b ac k .     Step   2 : Read   th n e x t se n te n ce   f r o m   th s elec ted   f ee d b ac k .     Step   3 P ass   t h s e n te n ce   to   S u b j ec tiv it y   A n a l y ze r   m o d u le  t o   d eter m i n w h et h er   t h s e n te n ce   is   s u b j ec tiv o r   o b j ec ti v e.   Step   4 :   I f   th s e n te n ce   is   o b j ec tiv t h en   i g n o r it a n d   g o   to   th s tep   2 ,   o t h er w is g o   to   th s t ep   5 .   Step   5 L o o k   f o r   th a s p ec ts   i n   s e n te n ce   an d   m atc h   it  w i th   t h lis p r o v id ed   b y   th Asp ec t s   R etr ie v al  m o d u le.   I f   asp ec ts   m atch   w it h   t h li s p r o v id ed   b y   th e   A s p ec ts   R etr iev al  m o d u le  th e n   g o   to   s t ep   6   o th er w i s g o     to   s tep   2 .   Evaluation Warning : The document was created with Spire.PDF for Python.
            I SS N :   2252 - 8814   IJ AA S   Vo l.  5 ,   No .   3 ,   Sep tem b er   20 1 6   :   1 2 8     1 3 6   134   Step   6 I f   th p ar o f   s p ee ch   o f   th id e n ti f ied   asp ec is   ad j ec tiv o r   ad v er b   an d   it  is   p r esen t   i n   p o s itiv le x ico n   th en   as s ig n   s en ti m en t   lab el  ab o v av er a g e’   to   t h id en t if ied   asp ec t   o th er w i s as s ig n   b elo w   av er ag e   s en ti m e n t   lab el.   Ho w e v er ,   i f   a n y   s e n ti m en sh i f ter   li k n o t,  n e v er ,   d o   n o etc  ar p r esen th e n   f i n al   s en ti m e n s co r is   ass i g n ed   b y   o u r   s e n ti m e n t s h i f ter   f u n ctio n .   Step   7 :   I f   th p ar o f   s p ee ch   o f   id en ti f ied   asp ec is   n o u n   o r   n o u n   p h r ase,   ex tr ac n ea r b y   ad j e ctiv as  s en ti m en t   w o r d .   I f   ex tr ac ted   ad j ec tiv is   p r esen in   t h p o s itiv le x ico n   th en   a s s i g n   s en ti m e n lab el  ab o v av er ag e   to   th e   id en ti f ied   asp ec o th er w i s if   t h ex tr ac ted   ad j ec tiv is   p r esen in   n eg at iv le x ico n   t h en   as s ig n   s en t i m e n lab el   b elo w   a v er ag e   to   th id e n ti f i ed   asp ec t.  I f   a n y   s e n ti m e n t s h i f ter   p r esen t,  ca ll se n ti m e n t s h i f ter   f u n ctio n .   Step   8 : G o   to   th s tep   2   u n til a ll sen te n ce s   o f   f ee d b ac k   ar p r o ce s s ed .   Step   9 Neu tr al  s en ti m e n lab e av er ag e   is   ass ig n ed   to   all  o th er   asp ec ts   n o m e n tio n ed   b y   th s tu d en t   i n   h is   h er   f e ed b ac k .   Step   1 0 :   Go   to   s tep   1   u n ti l a ll  s tu d e n ts   f ee d b ac k   ar p r o ce s s ed .     4 . 3 .   T ea cher   E v a lua t io n Re po rt s   T h is   m o d u le  i s   r esp o n s ib le  to   g en er ate  d i f f er en c u s to m ize  r ep o r ts   o n   p ar ticu lar   asp ec ts   o r   teac h er .   W ith   th i s   m o d u le  w ca n   c o m p u te  o v er all  e f f ec ti v en e s s   o f   teac h er .   T h is   m o d u le  p er m its   to   co m p ar e   ef f ec tiv e n e s s   o f   teac h er s   w it h   r esp ec ts   to   o th er s .   W e   d iv id T ea ch er   E v alu atio n   R ep o r ts   m o d u le  in   t w o   s u b   m o d u les  i.e .   Sen ti m e n Ag g r eg ato r   an d   R ep o r Gen er atio n .   Fu n ctio n s   o f   Se n ti m e n t   Ag g r eg ato r   an d   R ep o r t   Gen e r atio n   m o d u les ar e x p lai n ed   b elo w .     4 . 3 . 1 .   Senti m ent   Ag g re g a t o r   T h is   m o d u le  is   r esp o n s ib le  f o r   s en ti m e n ag g r eg at io n   f o r   all  id en tifie d   asp ec ts   f o r   p a r ticu lar   teac h er .   Sen ti m e n a g g r eg atio n   m o d u le   r ea d s   s en ti m en t   s tat u s   o f   ea c h   asp ec as  f i n alize d   b y   A s p ec S e n ti m en An al y ze r   m o d u le  co r r esp o n d in g   to   ea c h   s tu d e n t’ s   f ee d b ac k   a n d   g e n er ates  ag g r eg a te  s co r f o r   ea c h   id en ti f ied   asp ec t .   W e   co m p u te  v al u o f   A b o v e_ av g _ ag g ,   B elo w _ av g _ ag g   an d   Av g _ a g g   f o r   all  th id en tifie d   asp ec ts   u s in g   s i m p le  n o r m aliza t io n   f o r m u la.     A b o v e_ a v g _ a g g   ( asp ec t)   =   N umb er   of   t i m es   as p e ct   l ab el ed   as   ab o v e   av er ag e   in   al l   f eed b ack s   T o t al   n umb er   of   f eed b ack s .     Si m i lar l y   s y s te m   co m p u te  v a l u o f   B elo w _ av g _ ag g   ( asp ec t )   an d   A v g _ ag   ( asp ec t) .   A b o v e - av g _ ag g   ( asp ec t)   r ep r esen ts   f r ac tio n   o f   s t u d en t s   w h o   t h in k   t h at  p ar ticu lar   asp ec is   o f   ab o v a v er ag le v el  w h ile  B elo w _ av g _ ag g   ( asp ec t)   r ep r e s en t s   f r ac tio n   o f   s tu d e n ts   w h o   th i n k   t h at  p ar ticu lar   asp ec is   o f   b elo w   av er a g e   lev el  an d   A v g _ ag g   ( asp ec t)   r ep r esen ts   f r ac t io n   o f   s t u d en t s   wh o   th i n k   t h at  p ar tic u lar   asp ec is   o f   av er ag le v el Valu es  o f   A b o v e - a v g _ a g g   ( as p ec t) ,   B el o w _ av g _ ag g   ( asp ec t)   an d   A v g _ ag g   ( asp ec t)   w ill  b e   in   th e   r an g o f   0   to   1   an d   s u m   o f   A b o v e - av g _ ag g   ( asp ec t) ,   B elo w _ av g _ ag g   ( asp ec t)   an d   A v g _ ag g   ( asp ec t )   w il b al w a y s   1 .   Ag g r eg atio n   o f   P r ese n tatio n   an d   K n o w led g e   asp ec ts   ar s h o w n   b elo w   in   Fig u r 2 .               Fig u r 2 .   A s p ec Ag g r eg atio n       4 . 3 . 2 .   Repo rt   G ener a t io n:   W ith   th h elp   o f   th is   m o d u le,   w ca n   g en er ate  r ep o r t s   f o r   a   s p ec if ic  teac h er   to   d is p lay   co m p u tat io n   r esu lt s   o n   al asp ec ts   o r   o n   s o m s elec ted   asp ec ts .   T h f o llo w i n g   f i g u r s h o w s   t h at  p ar ticu lar   teac h er s   k n o w led g e,   p r esen tat io n ,   co n c ep ts   an d   a p p r o ac h   is   o f   av er a g lev el  b u h e   /   s h i s   n o p u n c tu al  a n d   d ed icate as sh o w n   i n   F i g u r 3 .   Evaluation Warning : The document was created with Spire.PDF for Python.
IJ AA S   I SS N:  2252 - 8814       O p in io n   S e n timen t A n a lysi s   ( A l o K u ma r )   135       Fig u r 3   T ea ch er   Feed b ac k   R ep o r t     R ep o r ts   ca n   a ls o   b g e n er ate d   to   co m p a r a s p ec ts   o f   m a n y   teac h er s   at   th e   s a m e   ti m a s   s h o w n   i n   F ig u r e   4 .   Fig u r e   d e m o n s tr ate  t h at  T ea ch er - 2   is   b etter   th a n   T ea ch er - 3   an d   T ea ch er - 1   is   b ette r   th an   T e ac h er - 2   in   m o s t o f   t h asp ec ts           Fig u r 4.   T w o   T ea ch er s   C o m p ar is o n   R ep o r t       5.   RE SU L T S AN CO NC L U S I ON   Ou r   o p in io n   ev al u atio n   s y s te m   a llo w s   u s   to   ex tr ac t a ll p o s s ib le  asp ec ts   o f   teac h er   an d   th en   ev al u ate   th teac h er   o n   ea ch   asp ec t.  I t c an   b s ee n   th at  th s y s te m   is   ab le  to   i d en tify   m a n y   i m p o r tan asp ec ts   w h ic h   ar g en er all y   n o m e n tio n ed   in   a n y   q u e s tio n n a ir li k s u p p o r tiv e b ia s ed f r ie n d l y ,   f r an k ,   etc.   T ab le  1   s h o w s   th t h ir t y   m o s p r o b ab le  a s p ec ts   id en t if ied   b y   t h Fac u lt y   E v alu a tio n   S y s te m   ( FES) .   T h s y s te m   allo w s   u s   to   co m p ar o n teac h er   w ith   a n o t h er   teac h er   f o r   all  t h ch o s e n   a s p ec ts .         T ab le  1 .   A s p ec ts   I d en ti f ied   b y   S y s te m   P u n c t u a l   A ssi g n me n t   p a p e r   p a t t e r n   D i sci p l i n e d   S t r i c t   T e a c h i n g   w a y   I n t e l l i g e n t   Ex p l a n a t i o n   C o o p e r a t i v e   S y st e mat i c   P a p e r   p a t t e r n   C l a ss E n v i r o n me n t   N o r mal   B e h a v i o r   F r a n k   T e a c h i n g   s k i l l   N a t u r e   I n t e r e st i n g   A p p r o a c h   I n t e r a c t i v e   K n o w l e d g e   C o u r se   Bias   S u p p o r t i v e   F r i e n d l y   B e h a v i o r   R e sp o n s i b l e   C o n c e p t   S i n c e r e   D e d i c a t i o n       Facu lt y   E v al u atio n   S y s te m   ( FES)   ca n   b u s ed   b y   an y   o r g an iza tio n   to   ev alu a te  th u t ilit y   o f   its   e m p lo y ee s   i n   ea c h   ar ea   an d   ca n   h elp   i n   i m p r o v in g   t h p r o d u ctiv it y   o f   it s   e m p lo y ee s   b y   m a k in g   t h e m   a w ar o f   th eir   w ea k   p o in ts   an d   allo ca ti n g   th e m   m o r s u itab le  w o r k   ac co r d in g   to   th eir   s tr o n g   p o in t s .     I is   o b s er v ed   th a o p in io n   s e n ti m en an a l y s is   o f   h u m a n   b ei n g s   n ee d s   to   b h a n d led   d if f er en tl y   t h an   th s e n ti m e n a n al y s is   o f   p r o d u ct  r ev ie w s   d u to   s o m i n h er en p r o p er ties   o f   h u m a n   b ein g s .   W n ee d   to   in co r p o r ate  m o r lin g u is t ic  k n o w led g w it h   m ac h in lear n in g   alg o r it h m s   to   g et  g o o d   r esu lt s   an d   s y s te m   Evaluation Warning : The document was created with Spire.PDF for Python.
            I SS N :   2252 - 8814   IJ AA S   Vo l.  5 ,   No .   3 ,   Sep tem b er   20 1 6   :   1 2 8     1 3 6   136   ac cu r ac y   ca n   b en h a n ce d   b y   ad d in g   s o m j o b   s p ec if ic  k n o w led g e   [ 2 1 ,   2 2 ] .   W e   ar e   in   th p r o ce s s   o f   i m p le m en t in g   o t h er   m ac h i n lear n in g   al g o r ith m s   at  d i f f er en s tag e s   o f   o p i n io n   e v al u atio n   s y s te m   o f   h u m a n   b ein g s .   T h is   w ill  allo w   u s   to   co m p ar o u r   r esu lts   an d   w w il b ab le   to   u s th m o s a p p r o p r iate  m ac h in e   lear n in g   al g o r ith m s   f o r   Facu l t y   E v al u atio n   S y s te m .         RE F E R E NC E S   [1 ]   Hu ,   M i n q in g   a n d   Bi n g   L iu ,   M in i n g   a n d   s u m m a rizin g   c u sto m e re v ie ws ,   i Pro c e e d i n g o ACM   S IGKD In ter n a t io n a C o n fer e n c e   o n   K n o wled g e   Disc o v e ry   a n d   Da t a   M in i n g   ( KDD - 2 0 0 4 ) ,   2 0 0 4 .   [2 ]   P o p e sc u ,   A n a - M a ria  a n d   Ore n   Et z io n i,   Ex trac ti n g   p r o d u c f e a tu re a n d   o p i n io n f ro m   re v ie w s ,”   in   Pro c e e d in g o f   Co n fer e n c e   o n   Emp iric a M e th o d s in   Na tu ra L a n g u a g e   Pr o c e ss in g   ( EM NL P - 2 0 0 5 ) ,   2 0 0 5 .   [3 ]   Qiu ,   G u a n g ,   Bi n g   L iu ,   Jia j u n   Bu ,   a n d   C h u n   C h e n ,   Op in io n   W o rd   Ex p a n sio n   a n d   T a rg e Ex trac ti o n   th ro u g h   D o u b le   P r o p a g a ti o n ,   Co m p u t a ti o n a L i n g u isti c s ,   Vo l.   3 7 ,   No .   1 ,   p p .   9 - 2 7 ,   2 0 1 1 .   [4 ]   Jin ,   W e a n d   Hu n g   Ha y   Ho ,   A   n o v e lex ica li z e d   HMM - b a se d   lea rn in g   f ra m e w o rk   f o w e b   o p in i o n   m in in g ,”   i n   Pro c e e d in g o f   I n ter n a ti o n a l   Co n fer e n c e   o n   M a c h i n e   L e a rn in g   ( IC M L - 2 0 0 9 ) ,   2 0 0 9 .   [5 ]   J a k o b ,   Nik las   a n d   Ir y n a   G u re v y c h ,   Ex trac ti n g   Op in io n   T a rg e ts  in   a   S in g lea n d   Cro ss - Do m a in   S e tt in g   w it h   Co n d it io n a Ra n d o m   F ield s ,”   i P ro c e e d in g o Co n fer e n c e   o n   Emp irica M e th o d s in   N a tu r a L a n g u a g e   Pro c e ss in g   ( EM NL P - 2 0 1 0 ) ,   2 0 1 0 .   [6 ]   M e i,   Qia o z h u ,   X u   L in g ,   M a tt h e w   W o n d ra ,   Ha n g   S u   a n d   C h e n g X ian g   Z h a i,   T o p ic  se n ti m e n m ix tu re m o d e li n g   f a c e ts an d   o p i n i o n s i n   w e b lo g s ,   i P r o c e e d in g s o f   In ter n a ti o n a l   C o n fer e n c e   o n   W o rld   W id e   W e b 2 0 0 7 .   [7 ]   A lo k   Ku m a a n d   Re n u   Ja in ,   S e n ti m e n A n a l y sis  a n d   F e e d b a c k   Ev a lu a ti o n ,   IEE 3 r d   In ter n a ti o n a Co n f e re n c e   o n   M OO Cs,  In n o v a ti o n   a n d   T e c h n o l o g y   i n   E d u c a t io n   ( M IT E ),   2 0 1 5   [8 ]   Din g ,   X iao w e n ,   Bin g   L iu ,   a n d   P h il ip   S . ,   Yu .   h o li stic lex ico n - b a se d   a p p ro a c h   t o   o p i n io n   m in in g ,”   in   P ro c e e d i n g o f   th e   Co n f e re n c e   o n   W e b S e a rc h   a n d   W e b   Da t a   M in i n g   ( W S DM - 2 0 0 8 ) ,   2 0 0 8 .   [9 ]   L iu ,   Bin g ,   S e n ti m e n A n a l y sis  a n d   S u b jec ti v it y ,   in   Ha n d b o o k   o f   N a tu ra L a n g u a g e   P ro c e ss in g ,   S e c o n d   E d it i o n ,   N.   In d u rk h y a   a n d   F . J.  Da m e r a u ,   Ed it o rs.  2 0 1 0 .   [1 0 ]   Bin g   L iu .   S e n ti me n A n a lys is a n d   Op in i o n   M in in g ,   M o rg a n   &   Clay p o o P u b l ish e rs,  M a y   2 0 1 2 .   [1 1 ]   L iu ,   Bin g .   W e b   Da ta M in i n g Ex p lo ri n g   Hy p e rli n k s,  Co n ten ts,   a n d   Us a g e   Da t a ,   S p rin g e r 2 0 1 1 .   [1 2 ]   L iu ,   Bin g ,   M in q in g   H u ,   a n d   J u n s h e n g   Ch e n g ,   Op in i o n   o b se rv e r:  A n a l y z in g   a n d   c o m p a rin g   o p in i o n o n   t h e   w e b ,”   in   Pro c e e d i n g o I n ter n a t io n a l   C o n fer e n c e   o n   W o rld   W id e   W e b   ( W W W - 2005) ,   2 0 0 5 .   [1 3 ]   T a b o a d a ,   M a it e ,   Ju li a n   Bro o k e ,   M il a n   T o f il o sk i,   K i m b e rl y   V o ll ,   a n d   M a n f re d   S ted e ,   L e x ico n - b a se d   m e th o d s   f o se n t im e n a n a l y sis,”   Co mp u ta ti o n a L i n g u isti c s v o l .   37 (2 ) ,   p p .   2 6 7 - 3 0 7 2 0 1 1 .   [1 4 ]   Kim ,   S o o - M in   a n d   Ed u a rd   H o v y ,   De ter m in in g   th e   se n ti m e n t   o f   o p i n io n s ,   i P r o c e e d in g o f   In tern a ti o n a l   Co n f e re n c e   o n   Co m p u t a ti o n a L i n g u isti c s ( COLING - 2 0 0 4 ) ,   2 0 0 4 .   [1 5 ]   Ril o f f ,   El len ,   A u to m a ti c a ll y   c o n stru c ti n g   a   d icti o n a ry   f o in f o rm a ti o n   e x trac ti o n   tas k s ,”   in   P r o c e ss in g   o f   AA A I - 2 0 0 3 .   1 9 9 3 .   [1 6 ]   Qiu ,   G u a n g ,   Bin g   L iu ,   Jia ju n   Bu ,   a n d   Ch u n   C h e n ,   Ex p a n d i n g   d o m a in   se n ti m e n lex ico n   t h ro u g h   d o u b le   p ro p a g a ti o n ,”   i n   P r o c e e d in g s o f   In ter n a t i o n a J o in t   Co n fer e n c e   o n   Arti fi c ia I n telli g e n c e   ( IJ CAI - 2 0 0 9 ) .   2 0 0 9 .   [1 7 ]   Blei,   Da v id ,   M.   A n d re w ,   Y.  Ng ,   a n d   M ich a e l ,   I.   J o rd a n ,   L a ten d iri c h let   a ll o c a ti o n ,   T h e   J o u r n a l   o f   M a c h in e   L e a rn in g   Res e a rc h ,   2 0 0 3 .   [1 8 ]   Blair - G o ld e n so h n ,   S a sh a ,   Ke rry   Ha n n a n ,   Ry a n   M c Do n a ld ,   T y ler Ne y lo n ,   G e o rg e   A .   Re is,  a n d   Je f f   Re y n a r,   Bu il d in g   a   se n ti m e n su m m a rize f o lo c a se rv ic e   re v ie ws ,   in   P r o c e e d i n g o f   W WW - 2 0 0 8   w o rk sh o p   o n   NL P   i n   t h e   In f o rm a ti o n   Ex p l o sio n   Era .   2 0 0 8 .   [1 9 ]   Jo a c h im s,  T h o rste n ,   M a k in g   larg e - S c a le  S V M   L e a rn in g   P ra c ti c a l ,   in   A d v a n c e in   Ke rn e M e th o d -   S u p p o rt   V e c to r   L e a rn in g ,   B.   S c h ö lk o p f ,   C.   Bu rg e s,  a n d   A .   S m o la,  Ed it o rs.  M IT   p re ss 1 9 9 9 .   [2 0 ]   S h a w e - T a y lo r,   Jo h n   a n d   Ne ll o   Cr isti a n in i ,   S u p p o rt   Vec to r M a c h i n e s .   Ca m b rid g e   Un iv e rsit y   P re ss ,   2 0 0 0 .   [2 1 ]   P a n g ,   Bo ,   L il li a n   L e e ,   a n d   S h iv a k u m a V a it h y a n a th a n ,   T h u m b u p se n ti m e n c las sif ica ti o n   u sin g   m a c h in e   lea rn i n g   tec h n iq u e s ,”   in   P ro c e e d i n g s o f   C o n f e re n c e   o n   Emp irica M e th o d s in   Na t u ra L a n g u a g e   Pro c e ss in g   ( EM NL P - 2002) ,   2 0 0 2 .   [2 2 ]   T u rn e y ,   P e ter  D. ,   T h u m b u p   o th u m b d o w n ? se m a n ti c   o rien tatio n   a p p li e d   to   u n su p e rv ise d   c las sif i c a ti o n   o f   re v ie w s ,”   in   P r o c e e d in g s o f   An n u a M e e ti n g   o t h e   Asso c i a ti o n   f o Co mp u t a ti o n a L in g u isti c s ( ACL - 2 0 0 2 ) ,   2 0 0 2   Evaluation Warning : The document was created with Spire.PDF for Python.