I n t e r n a t i o n a l   J o u r n a l   o f   E l e c t r i c a l   a n d   C o m p u t e r   E n g i n e e r i n g   ( I J E C E )   V o l .   9 ,   N o .   1 ,   F e b r u a r y   2 0 1 9 ,   p p .   4 2 6 ~ 4 3 8   I S S N :   2 0 8 8 - 8 7 0 8 ,   D O I :   1 0 . 1 1 5 9 1 / i j e c e . v 9 i 1 . p p 4 2 6 - 4 3 8             4 2 6       J o u r n a l   h o m e p a g e :   h t t p : / / i a e s c o r e . c o m / j o u r n a l s / i n d e x . p h p / I J E C E   T o p i c   d i s c o v e r y   o f   o n l i n e   c o u r s e   r e v i e w s   u s i n g   L D A   w i t h   l e v e r a g i n g   r e v i e w s   h e l p f u l n e s s       F e t t y   F i t r i y a n t i   L u b i s ,   Y u s e p   R o s m a n s y a h ,   S u h o n o   H .   S u p a n g k a t     S c h o o l   o f   E l e c t r i c a l   E n g i n e e r i n g   a n d   I n f o r m a t i c s ,   I n s t i t u t   T e k n o l o g i   B a n d u n g ,   I n d o n e s i a       A r t i c l e   I n f o     A B S T R A C T   A r t i c l e   h i s t o r y :   R e c e i v e d   M a r   1 ,   2 0 1 8   R e v i s e d   J u l   1 4 ,   2 0 1 8   A c c e p t e d   S e p   9 ,   2 0 1 8       D e s p i t e   t h e   p o p u l a r i t y   o f   t h e   M a s s i v e   O p e n   O n l i n e   C o u r s e s ,   s m a l l - s c a l e   r e s e a r c h   h a s   b e e n   d o n e   t o   u n d e r s t a n d   t h e   f a c t o r s   t h a t   i n f l u e n c e   t h e   t e a c h i n g - l e a r n i n g   p r o c e s s   t h r o u g h   t h e   m a s s i v e   o n l i n e   p l a t f o r m .   U s i n g   t o p i c   m o d e l i n g   a p p r o a c h ,   o u r   r e s u l t s   s h o w   t e r m s   w i t h   p r i o r   k n o w l e d g e   t o   u n d e r s t a n d   e . g . :   C h u c k   a s   t h e   i n s t r u c t o r   n a m e .   S o ,   w e   p r o p o s e d   t h e   t o p i c   m o d e l i n g   a p p r o a c h   o n   h e l p f u l   s u b j e c t i v e   r e v i e w s .   T h e   r e s u l t s   s h o w   f i v e   i n f l u e n t i a l   f a c t o r s :   l e a r n   e a s y   e x c e l l e n t   c l a s s   p r o g r a m ,   p y t h o n   l e a r n   c l a s s   e a s y   l o t ,   P r o g r a m   l e a r n   e a s y   p y t h o n   t i m e   g a m e ,   a n d   l e a r n   c l a s s   p y t h o n   t i m e   g a m e .   A l s o ,   r e s e a r c h   r e s u l t s   s h o w e d   t h a t   t h e   p r o p o s e d   m e t h o d   i m p r o v e d   t h e   p e r p l e x i t y   s c o r e   o n   t h e   L D A   m o d e l .     K e y w o r d s :   L e a r n e r   r e v i e w s   L e a r n i n g   a n a l y t i c s   M O O C s   S e n t i m e n t   a n a l y s i s   T o p i c   m o d e l i n g   C o p y r i g h t   ©   2 0 1 9   I n s t i t u t e   o f   A d v a n c e d   E n g i n e e r i n g   a n d   S c i e n c e .     A l l   r i g h t s   r e s e r v e d .   C o r r e s p o n d i n g   A u t h o r :   F e t t y   F i t r i y a n t i   L u b i s ,     S c h o o l   o f   E l e c t r i c a l   E n g i n e e r i n g   a n d   I n f o r m a t i c s ,   I n s t i t u t   T e k n o l o g i   B a n d u n g ,   J l .   G a n e s h a   N o .   1 0 ,   B a n d u n g ,   I n d o n e s i a .   E m a i l :   f e t t y f i t r i y a n t i @ s t u d e n t s . i t b . a c . i d       1 .   I N T R O D U C T I O N   R e v i e w s   p l a y   a n   e s s e n t i a l   r o l e   i n   t h e   f i e l d   o f   e - c o m m e r c e   a n d   t o u r i s m   t h r o u g h   A m a z o n   a n d   T r i p   A d v i s o r .   R e v i e w s   p r e s e n t   i n f o r m a t i o n   a n d   h e l p   u s e r s   t o   m a k e   t r a n s a c t i o n   d e c i s i o n s ;   h e n c e ,   t h e y   i n c r e a s e   b u s i n e s s   v a l u e   f o r   b o t h   c o m p a n i e s   [ 1 ] ,   [ 2 ] .   B o t h   p a r t i e s   u s e   s u m m a r i z i n g   m e t h o d s   t o   g e t   u s e f u l   i n f o r m a t i o n   f r o m   t h e   r e v i e w s .   T h i s   h e l p f u l   i n f o r m a t i o n   i s   c a l l e d   a s p e c t s   o f   t h e   p r o d u c t   o r   i t e m .   A n   a s p e c t   i s   t h e   n a t u r e   o f   t h e   o b j e c t   t h a t   i s   c o m m e n t e d   o n   b y   r e v i e w e r s   [ 3 ] .   I n   M O O C s ,   r e v i e w s   a r e   a n   a c c e s s i b l e   m e d i u m   f o r   l e a r n e r s   t o   s h a r e   o p i n i o n s   a n d   e x p e r i e n c e s   r e l a t e d   t o   t h e   c o u r s e   ( s u c h   a s   t h e   i n s t r u c t o r ,   m a t e r i a l ,   t e s t ,   a n d   a s s i g n m e n t s   t h r o u g h   t h e   C l a s s   C e n t r a l   s i t e ) .   A s   i n   t h e   f i e l d   o f   e - c o m m e r c e   a n d   t o u r i s m ,   r e v i e w s   w e r e   u s e d   t o   a n a l y z e   t h e   u s e r   b e h a v i o r   t h r o u g h   t h e   a s p e c t s   t h a t   t h e   u s e r   c r i t i c i z e s .   T h i s   p a p e r s   g o a l   i s   t o   u n d e r s t a n d   l e a r n e r   e x p e r i e n c e s   t h r o u g h   r e v i e w s .     A s p e c t s   a r e   t h e   p r o p e r t i e s   o f   a n   o b j e c t   t h a t   u s e r s   c o m m e n t   o n   [ 3 ] ,   [ 4 ] .   T h e   l i s t   o f   i s s u e s   i s   e x t r a c t e d   b y   p r o c e s s i n g   t h e   r e v i e w s .   H o w e v e r ,   a   s e m a n t i c   l e x i c o n   i s   r e q u i r e d   f o r   a   s p e c i f i c   d o m a i n   t o   h a n d l e   t h e   r e v i e w s .   A   s e m a n t i c   l e x i c o n   a p p r o a c h   t o   a   p a r t i c u l a r   f i e l d   r e q u i r e s   h u m a n   i n t e r v e n t i o n ,   t a k e s   t i m e ,   a n d   i n c r e a s e s   c o s t s .   A d d i t i o n a l l y ,   w e   d i d   n o t   k n o w   t h e   a s p e c t   c o n t a i n e d   i n   t h e   d i s c u s s i o n .   F o r   e x a m p l e ,   s o m e   g e n e r a l   i s s u e s   o f   a   h o t e l   w i l l   b e   f r e q u e n t l y   f o u n d   i n   r e v i e w s   s u c h   a s   s e r v i c e ,   c l e a n l i n e s s ,   a n d   p r i c e ,   s i n c e   p e o p l e   a r e   c o m m o n l y   i n t e r e s t e d   i n   t h e s e   d o m a i n s .   H o w e v e r ,   i t   w i l l   b e   d i f f i c u l t   t o   m a k e   a   l i s t   o f   a s p e c t s   r e l a t e d   t o   o n l i n e   c o u r s e s ,   a s   t h e y   h a v e   n e v e r   b e e n   i n t e r e s t e d ,   u n t i l   r e c e n t l y ,   i n   t h e   M O O C s .   I t   i s   e a s y   t o   s e e   t h a t   o n l i n e   c o u r s e s '   a s p e c t s   m u s t   a l s o   b e   s u b j e c t i v e   t o   r e v i e w e r s   a n d   v e r y   f e w   i n   n u m b e r .   I n   t h i s   p a p e r ,   w e   p r o p o s e   a   m e t h o d   t o   f i n d   s e m a n t i c   c l a s s e s   a u t o m a t i c a l l y   f r o m   s t u d e n t   r e v i e w s   r e l a t e d   t o   t h e   c o u r s e   a s p e c t s .   W e   i n t r o d u c e   h e l p f u l   r e v i e w   s e n t e n c e s ,   i n   a   w a y   b a s e d   o n   B l e i s   r e s e a r c h   o n   t o p i c   m o d e l i n g   [ 5 ] .   H o w e v e r ,   B l e i   u s e d   c o n s u m e r   r e v i e w   d a t a   w i t h   k n o w n   i s s u e s   [ 6 ] ,   w h e r e a s   i n   t h i s   r e s e a r c h ,   t h e   e l e m e n t s   o f   t h e   c o u r s e   r e v i e w   d a t a   a r e   u n k n o w n   [ 7 ] .   Evaluation Warning : The document was created with Spire.PDF for Python.
I J E C E     I S S N :   2 0 8 8 - 8 7 0 8     T o p i c   d i s c o v e r y   o f   o n l i n e   c o u r s e   r e v i e w s   u s i n g   L D A   w i t h   l e v e r a g i n g   r e v i e w s   h e l p f u l n e s s   ( F e t t y   F i t r i y a n t i   L u b i s )   4 2 7 W e   d e v e l o p e d   a   p r i m a r y   m e t h o d   f o r   d i s c o v e r i n g   a s p e c t s   o f   l e a r n e r   e x p e r i e n c e s   w i t h   a   t o p i c   m o d e l i n g   a p p r o a c h .   I t   i s   b a s e d   o n   r e v i e w s   t h a t   a r e   v o t e d   h e l p f u l   b y   a   r e a d e r .   T h e   r e v i e w s   c o n t a i n e d   s p e c i f i c   i n f o r m a t i o n   j u d g e d   b y   r e a d e r s   t o   b e   m e a n i n g f u l   t o   t h e m .   T h e   r e s t   o f   t h i s   p a p e r   h a s   t h e   f o l l o w i n g   s t r u c t u r e :   s e c t i o n   2   r e v i e w s   r e l a t e d   w o r k s ,   s e c t i o n   3   d e s c r i b e s   o u r   m e t h o d ,   s e c t i o n   4   p r e s e n t s   t h e   r e s u l t s   o f   o u r   e x p e r i m e n t s   a n d   s e c t i o n   5   p r e s e n t s   o u r   c o n c l u s i o n s   a n d   d i s c u s s i o n   o f   f u t u r e   w o r k .       2 .   R E L A T E D   W O R K S   E x t r a c t i o n   o f   p r o d u c t   a s p e c t s   h a s   b e e n   c a r r i e d   o u t   b y   s u p e r v i s e d ,   s e m i - s u p e r v i s e d   a n d   u n s u p e r v i s e d   l e a r n i n g   m e t h o d s   [ 3 ] .   T h e   s u p e r v i s e d   m e t h o d   r e q u i r e s   a n n o t a t i n g   c o r p o r a   f o r   s t a t i s t i c a l   c l a s s i f i c a t i o n   t r a i n i n g   [ 3 ] .   H o w e v e r ,   t h e   d a t a   u s e d   i n   t h i s   s t u d y   a r e   n o t   a n n o t a t e d   f o r   a s p e c t s .   M o s t   M O O C s   a l s o   l e t   t h e i r   r e a d e r s   g i v e   r e v i e w s   w i t h o u t   s t r u c t u r i n g   t h e   r e v i e w   s e c t i o n   w i t h   a n   i s s u e .   T h e r e f o r e ,   t h i s   s t u d y   u s e s   a n   u n s u p e r v i s e d   c l u s t e r i n g   m e t h o d .   T h e   g o a l   i s   u n d e r s t a n d i n g   t h e   g r o u p s   f o r m e d .   T o p i c   m o d e l i n g   i s   a n   u n s u p e r v i s e d   c l a s s i f i c a t i o n   m e t h o d   f o r   p e r f o r m i n g   t h i s   p r o c e s s .   T h e   L D A   m e t h o d   o f   m o d e l i n g   i s   a   p r e v a l e n t   m e t h o d   o f   d e c i d i n g   t h e   i s - s u e s   o f   a   d o c u m e n t   [ 5 ] .   M a n y   s t u d i e s   o n   c o u r s e   r e v i e w   t o p i c   e x p l o r a t i o n   a n d   d i s c u s s i o n s   o n   t h e   M O O C s   p l a t f o r m   h a v e   u s e d   L D A   [ 6 ] ,   [ 8 ] ,   [ 9 ] .   H o w e v e r ,   L D A   w a s   u s e d   f o r   d i f f e r e n t   p u r p o s e s   i n   t h e s e   s t u d i e s .   E z e n - c a n   e t   a l .   u s e d   L D A   t o   i n v e s t i g a t e   q u a l i t a t i v e   d i s c u s s i o n   g r o u p s   [ 6 ] .   A t a p a t t u   e t   a l .   a p p l i e d   L D A   t o   f i n d   g r o u p s   o f   M O O C s   t o p i c s   o f   d i s c u s s i o n   r e l a t e d   t o   t h e   l e c t u r e s   [ 1 0 ] .   H o w e v e r ,   L D A   w a s   u n a b l e   t o   p r o v i d e   p r o p e r   l a b e l i n g   d u e   t o   a   l a c k   o f   s o u r c e   r e f e r e n c e s .   T h u s ,   A t a p a t t u   e t   a l .   p r o p o s e d   a u t o m a t i c   l a b e l i n g   b y   g e n e r a t i n g   c a n d i d a t e s   f o r   l o c a l   l a b e l s   f r o m   l e c t u r e   c o u r s e s   [ 8 ] .   P e n g   e t   a l .   U s e d   L D A   t o   d e t e c t   a   s e r i e s   o f   p o t e n t i a l   t o p i c s   i n   t h e   c o u r s e   r e v i e w   d a t a   s e t .   P e n g   e t   a l .   c o m b i n e d   L D A   w i t h   t h e   f e a t u r e s   o f   " l i k e "   b e h a v i o r   t o   i m p r o v e   t h e   a c c u r a c y   o f   t o p i c   d e t e c t i o n   a n d   w o r d   c o h e r e n c e   o n   e a c h   t o p i c   [ 1 1 ] .   E z e n - c a n   e t   a l .   p r o p o s e d   l a r g e - s c a l e   a u t o m a t i c   d i s - c o u r s e   a n a l y s i s   a n d   m i n i n g   t o   s u p p o r t   s t u d e n t   l e a r n i n g   [ 6 ] .   T h e i r   s y s t e m   u s e s   a   c l u s t e r   a p p r o a c h   t o   s i m i l a r   g r o u p   r e v i e w s ,   t h e n   c o m p a r e s   t h e   c l u s t e r s   f o r m e d   b y   g r o u p s   a n n o t a t e d   m a n u a l l y   b y   M O O C s   r e s e a r c h e r s .   T h e i r   r e s u l t s   s u g g e s t   t h a t   u n s u p e r v i s e d   m o d e l i n g   f r a m e w o r k s   f o r   s y n c h r o n o u s   c o n v e r s a t i o n s   w i t h   a s y n c h r o n o u s   d i s c u s s i o n s   c a n   o f f e r   i n s i g h t s   f r o m   s i m i l a r   p o s t s   o n   a   l a r g e   s c a l e   a n d   t h e   t o p i c s   c o v e r e d   b y   l e a r n e r s .   A t a p a t t u   e t   a l .   r e s e a r c h e d   a   v i s u a l i z a t i o n   d a s h b o a r d   t o   f i n d   a n d   c l a s s i f y   e m e r g i n g   d i s c u s s i o n   t o p i c s   [ 1 0 ] .   T h e   v i s u a l i z a t i o n   a i m e d   t o   e x p l o r e   t h e   c o r r e l a t i o n s   b e t w e e n   t h e   i s s u e s   d i s c u s s e d   a n d   o t h e r   v a r i a b l e s   s u c h   a s   c o m m e n t s ,   p o s t s ,   i d e a s ,   a n d   i n t e r v e n t i o n s   f r o m   t h e   i n s t r u c t o r .   T h e   o u t p u t   o f   t h i s   s t u d y   s h o w e d   t h e   g r a p h   r e l a t i o n s   b e t w e e n   t h e   t o p i c   a n d   t h e   t h r e a d s   i n   l e c t u r e - r e l a t e d   d i s c u s s i o n s .   P e n g   e t   a l .   u s e d   L D A   t o   d e t e c t   t h e   i n t e r e s t s   o f   l e a r n e r s   i n   t h e   r e v i e w - r e v i e w   c o u r s e   w i t h   r e a l - l i f e   d a t a s e t s .   P e n g   e t   a l .   i n c o r p o r a t e d   t h e   L D A   m e t h o d   w i t h   b e h a v i o r a l   f e a t u r e s   k n o w n   a s   L D A - l i k e   t o   o b t a i n   h i g h e r   a c c u r a c y   v a l u e s   w h e n   p r o c e s s i n g   t o p i c s   a n d   k e y w o r d   t o p i c s   w i t h i n   e a c h   t o p i c   [ 9 ] .   I n   c o n t r a s t   t o   t h e   a p p r o a c h   o f   t h e   e x t r a c t i o n   c o n d u c t e d   i n   v a r i o u s   r e s e a r c h   w o r k s   a b o v e ,   o u r   s t u d y   g o a l   i s   t o   e x t r a c t   l e a r n e r   e x p e r i e n c e s   b y   m i n i n g   t h e   c o u r s e   r e v i e w s   f r o m   t h e   C l a s s - C e n t r a l   s i t e .   W e   u s e d   r e v i e w   d a t a   w i t h o u t   k n o w i n g   t h e   a s p e c t s   o f   t h e   d a t a   a n d   w i t h o u t   e x p e r t s   i n   M O O C s   w h o   c a n   h e l p   t o   l a b e l   t h e   d a t a   m a n u a l l y .   T h e r e f o r e ,   w e   p r o p o s e d   i n c o r p o r a t i n g   t h e   L D A   m e t h o d   w i t h   h e l p f u l   r e v i e w   f e a t u r e s .       3 .   E X P L O R A T O R Y   A N A L Y S I S   O F   C O U R S E   R E V I E W S   I n   t h i s   s e c t i o n ,   w e   d e s c r i b e   a   s e r i e s   o f   e a r l y - s t a g e   e x p l o r a t i o n s   c a r r i e d   o u t   i n   t h e   c o u r s e   r e v i e w   d a t a .   T h e   s e t   o f   s t a g e s   p e r f o r m e d   i s   a s   f o l l o w s :   a c q u i s i t i o n   o f   t h e   c o u r s e   r e v i e w s ,   i n v e s t i g a t i o n   o f   c o u r s e   r e v i e w   d a t a ,   a n d   s t u d y   o f   t h e   h e l p f u l   r e v i e w s .   T h e   l a s t   t w o   s t e p s   b e c o m e   t h e   b a s i s   o f   t h e   p r o p o s e d   m e t h o d .     3 . 1 .     D a t a   g a t h e r i n g     W e   c o l l e c t e d   t h e   M O O C s   s t u d e n t   r e v i e w s   d a t a   f r o m   t h e   C l a s s - C e n t r a l   w e b s i t e .   C l a s s - C e n t r a l   i s   a   s e a r c h   e n g i n e   w i t h   r e v i e w s   f o r   M O O C s   a n d   f r e e   o n l i n e   c o u r s e s .   M o r e   t h a n   s i x   m i l l i o n   l e a r n e r s   h a v e   u s e d   t h e   s i t e   t o   a s s i s t   t h e i r   e n r o l l m e n t   d e c i s i o n s   f o r   o n l i n e   c o u r s e s .   T h e   t o p   5 0   c l a s s e s   a r e   q u a l i t y   c o u r s e s   w i t h   m a n y   r e v i e w s .   T h e r e f o r e ,   t h e   f i r s t   d a t a   c o l l e c t i o n   f o c u s e s   o n   t h e   t o p   5 0   r a n k i n g   c o u r s e   r e v i e w   d a t a .   F i g u r e   1   s h o w s   a   r e v i e w   w i t h   c o m p l e t e   f e a t u r e s .   D e t a i l e d   f e a t u r e s   c o m p l e t e   w i t h   a   r e v i e w   a r e   a s   f o l l o w s :   1 .   R a t i n g   ( 1 - 5   s t a r s )   2 .   R e v i e w   c o n t e n t   3 .   T h e   n u m b e r   o f   p e o p l e   w h o   h a v e   v o t e d   w h e t h e r   a   r e v i e w   i s   h e l p f u l   4 .   T h e   n u m b e r   o f   p e o p l e   w h o   h a v e   s t a t e d   t h a t   a   r e v i e w   w a s   n e c e s s a r y   5 .   C o u r s e   s t a t u s   o f   l e a r n e r s   6 .   L e a r n e r   i d   7 .   C o u r s e   i d   8 .   R e v i e w   i d   Evaluation Warning : The document was created with Spire.PDF for Python.
                                I S S N :   2 0 8 8 - 8 7 0 8     I n t   J   E l e c   &   C o m p   E n g ,   V o l .   9 ,   N o .   1 ,   F e b r u a r y   2 0 1 9   :     4 2 6   -   4 3 8   4 2 8     F i g u r e   1 .   F u l l - f e a t u r e d   c o u r s e   r e v i e w       T h e   n e x t   s t e p   i s   c o n d u c t i n g   d a t a   e x p l o r a t i o n .   T h e   g o a l   i s   t o   f i n d   t h e   f e a t u r e s   u s e d   a n d   a n a l y z e   t h e   c o m p a t i b i l i t y   d a t a   w i t h   r e s e a r c h   p r o b l e m s .   T h e   t a r g e t   i s   f i l t e r i n g   t h e   e l e m e n t s   a n d   l i m i t i n g   t h e   s c o p e   o f   d a t a   s o   t h a t   t h e r e   i s   n o   b i a s .     3 . 2 .     E x p l o r a t o r y   a n a l y s i s     R e v i e w s   f r o m   t h e   C l a s s - C e n t r a l   w e b s i t e   a r e   p u b l i c l y   a c c e s s e d ,   s o   o t h e r   s t u d e n t s   c a n   r e a d   t h e m .   T h e   r e v i e w s   a l s o   c o n t a i n   i n f o r m a t i o n   t h a t   i s   u s a b l e   t o   a   r e c o m m e n d e r s   s y s t e m   t o   p r o v i d e   p e r s o n a l i z e d   c o u r s e s .   T h u s ,   l e a r n e r s   w i l l   d e c i d e   t o   e n r o l l   i n   t h e   c l a s s   m o r e   e a s i l y .   I n   t h i s   s e c t i o n ,   w e   e v a l u a t e   t h e   c o u r s e ' s   r e v i e w   f e a t u r e s   b y   a n a l y z i n g   t h e   d a t a   v i s u a l i z a t i o n .   V i s u - a l i z a t i o n   h e l p s   t o   u n d e r s t a n d   t h e   c h a r a c t e r i s t i c s .   V i s u a l l y   a n a l y z i n g   t h e   e l e m e n t s   i n c l u d e s   m a n y   r e v i e w s   f r o m   t h e   s u b j e c t   g r o u p ,   r a t i n g ,   s e n t e n c e   l e n g t h ,   a n d   f r e q u e n c y   o f   w o r d   a p p e a r a n c e   i n   b o t h   p o s i t i v e   a n d   n e g a t i v e   r e v i e w s .   F i g u r e   2   s h o w s   t h e   s u b j e c t   r e v i e w   d i s t r i b u t i o n .   T h e   s u b j e c t   w i t h   t h e   m o s t   r e v i e w s   i s   P r o g r a m m i n g .   M o r e o v e r ,   a n   i t e m   w i t h   t h e   l e a s t   r e v i e w s   i s   T h e o r e t i c a l   C o m p u t e r   S c i e n c e .           F i g u r e   2 .   D i s t r i b u t i o n   o f   r e v i e w s   o n   e a c h   s u b j e c t   o f   t h e   t o p   5 0   c o u r s e s   d a t a   o n   C l a s s - C e n t r a l       F i g u r e   3   s h o w s   t h e   P r o g r a m m i n g   c o u r s e ' s   r e v i e w   r a t i n g   d i s t r i b u t i o n .   B a s e d   o n   F i g u r e   3 ,   r a t i n g s   o f   4   a n d   5   a r e   t h e   d o m i n a n t   g r o u p .   T h e   p o s i t i v e   a s s o c i a t i o n   i s   a s s i g n e d   t o   r a n k s   4   a n d   5 ;   t h e   n e u t r a l   t e a m   r a t e s   w i t h   3 ,   a n d   t h e   n e g a t i v e   g r o u p   i n c l u d e s   r a n k s   o f   1   a n d   2 .   T h i s   m e a n s   t h a t   c o u r s e s   w i t h   a   r a t i n g   r a n g e   r e c e i v e   a   p o s i t i v e   r e s p o n s e   f r o m   l e a r n e r s .   F i g u r e   4   s h o w s   t h e   w o r d   c l o u d   v i s u a l i z a t i o n   f r o m   t h e   t w o   r e v i e w   c a t e g o r i e s ,   w h i c h   a r e   p o s i t i v e   r e v i e w s   a n d   n e g a t i v e   r e v i e w s   b a s e d   o n   t h e   r a t i n g s   o b t a i n e d   b y   e a c h   r e v i e w e r .   T h e   r e s u l t s   o f   e x p l o r a t o r y   d a t a   a n a l y s i s   s h o w   t h a t   t h e   p r o g r a m m i n g   s u b j e c t   i s   d o m i n a t e d   b y   t h e   n u m b e r   o f   r e v i e w s .   T h e r e f o r e ,   t h e   n e x t   p r o c e s s   i s   t o   c o l l e c t   t h e   r e v i e w   d a t a   w i t h   a   f o c u s   o n   t h e   t o p i c   o f   p r o g r a m m i n g   t o   r e d u c e   t h e   b i a s .     Evaluation Warning : The document was created with Spire.PDF for Python.
I J E C E     I S S N :   2 0 8 8 - 8 7 0 8     T o p i c   d i s c o v e r y   o f   o n l i n e   c o u r s e   r e v i e w s   u s i n g   L D A   w i t h   l e v e r a g i n g   r e v i e w s   h e l p f u l n e s s   ( F e t t y   F i t r i y a n t i   L u b i s )   4 2 9     F i g u r e   3 .   R a t i n g s   o f   t h e   r e v i e w   d a t a   i n   t h e   s u b j e c t   g r o u p   p r o g r a m m i n g             F i g u r e   4 .   C o m m o n   w o r d s   i n   ( a )   p o s i t i v e   r e v i e w s   a n d   ( b )   n e g a t i v e   r e v i e w s   f r o m   t h e   r e v i e w   d a t a   i n   t h e   P r o g r a m m i n g   c o u r s e   c a t e g o r y       3 . 3 .     M i n i n g   r e v i e w   h e l p f u l n e s s   U s e r   r e v i e w s   p l a y   a n   i m p o r t a n t   r o l e   i n   d i s s e m i n a t i n g   i n f o r m a t i o n ,   c o n v e y   u s e r   c o n f i d e n c e ,   a n d   p r o m o t e   p r o d u c t s   i n   e l e c t r o n i c   c o m m e r c e   [ 1 0 ] .   A   l a r g e   v o l u m e   o f   d i s c u s s i o n s   w i l l   l e a d   t o   i n f o r m a t i o n   o v e r l o a d   f o r   t h e   r e a d e r .   P r o v i d i n g   h e l p f u l   i n f o r m a t i o n   c a n   h e l p   t o   o v e r c o m e   t h e   p r o b l e m   o f   i n f o r m a t i o n   o v e r l o a d .   C o m m e r c e   s i t e s ,   s u c h   a s   A m a z o n ,   u s e   a   c o m m u n i t y - b a s e d   v o t i n g   t e c h n i q u e   k n o w n   a s   s o c i a l   n a v i g a t i o n   [ 1 1 ] .   T h e   m e t h o d   a s k s   t h e   r e a d e r   t o   r a t e   t h e   u s e f u l n e s s   o f   t h e   p r o d u c t   o r   s e r v i c e   r e v i e w s   a n d   d i s p l a y   t h e   v a l u a b l e   i n f o r m a t i o n   a b o u t   t h e   p r o d u c t   o r   s e r v i c e   p r o v i d e d   b y   a l l   t h e   r e v i e w e r s .   H o w e v e r ,   m a n y   o f   t h e   r e v i e w s   w e r e   n o t   g e t t i n g   v o t e s   f r o m   r e a d e r s   b e c a u s e   t h o s e   r e v i e w s   w e r e   n e w l y   s u b m i t t e d .   T h e   r e v i e w s   t h a t   w e r e   v o t e d   h e l p f u l   b y   r e a d e r s   w i l l   b e   a b l e   t o   h e l p   o t h e r   r e a d e r s   i n   m a k i n g   d e c i s i o n s   t h a t   w i l l   i m p a c t   t h e   b u s i n e s s   o f   t h e   p r o d u c t   o r   s e r v i c e   p r o v i d e r .   T h e   p r e v i o u s   c l a s s i f i c a t i o n   t e c h n i q u e   o n l y   u s e d   t o   l a b e l   a   r e v i e w   w i t h o u t   w e i g h t i n g   a   v o t e   v a l u e .   A u t o m a t e d   r e v i e w   c l a s s i f i c a t i o n   h e l p s   r e a d e r s   a n d   p r o d u c t   o r   s e r v i c e   p r o v i d e r s   t o   r e s p o n d   a n d   a c t   i m m e d i a t e l y   [ 1 0 ] .   T h e   A m a z o n   w e b s i t e   d i s p l a y s   h e l p f u l   i n f o r m a t i o n   f r o m   r e v i e w s   b a s e d   o n   r e a d e r   v o t e s   w i t h   t h e   f o r m a t   x   f r o m   r e a d e r   y   f i n d s   h e l p f u l   r e v i e w s   b a s e d   o n   t h e   r e v i e w s   c o n t e n t .   T h e   r e g r e s s i o n   t e c h n i q u e   u s e d   v o t e   i n f o r m a t i o n   t o   b u i l d   t h e   p r e d i c t i v e   m o d e l .   T h e   p r e d i c t i o n   m o d e l   d e v e l o p e d   t o   d e t e r m i n e   t h e   e s t i m a t i o n   v a l u e   o f   h e l p f u l   r e v i e w s   [ 1 1 ] .   T h e   f i e l d   o f   e - l e a r n i n g   u s e s   t h e   s a m e   m e c h a n i s m   a s   e - c o m m e r c e   i n   d e t e r m i n i n g   t h e   r e v i e w s   q u a l i t y .   T h e   s a m e   p r o b l e m   a l s o   a r i s e s   i n   t h e   f i e l d   o f   e - l e a r n i n g .   H o w e v e r ,   i n   e - l e a r n i n g ,   t h e   p r e d i c t i v e   Evaluation Warning : The document was created with Spire.PDF for Python.
                                I S S N :   2 0 8 8 - 8 7 0 8     I n t   J   E l e c   &   C o m p   E n g ,   V o l .   9 ,   N o .   1 ,   F e b r u a r y   2 0 1 9   :     4 2 6   -   4 3 8   4 3 0 m o d e l s   g o a l   i s   t o   g r o u p   t h e   d i s c u s s i o n s   a s   h e l p f u l   o r   n o t   h e l p f u l .   T h u s ,   t h e   a p p r o a c h   i s   d i f f e r e n t .   T h i s   s t u d y   u s e d   d a t a   c o l l e c t e d   f r o m   t h e   C l a s s - C e n t r a l   s i t e   u s i n g   a   N a i v e   B a y e s   a l g o r i t h m   t o   c l a s s i f y   r e v i e w s   i n t o   t h e   g r o u p s   r e v i e w   h e l p f u l   a n d   r e v i e w   u n h e l p f u l .       4 .   L E A R N E R S   E X P E R I E N C E S   E X T R A C T I O N   P r o v i d e   a   s t a t e m e n t   t h a t   w h a t   i s   e x p e c t e d ,   a s   s t a t e d   i n   t h e   " I n t r o d u c t i o n "   c h a p t e r   c a n   u l t i m a t e l y   r e s u l t   i n   " R e s u l t s   a n d   D i s c u s s i o n "   c h a p t e r ,   s o   t h e r e   i s   c o m p a t i b i l i t y .   M o r e o v e r ,   i t   c a n   a l s o   b e   a d d e d   t h e   p r o s p e c t   o f   t h e   d e v e l o p m e n t   o f   r e s e a r c h   r e s u l t s   a n d   a p p l i c a t i o n   p r o s p e c t s   o f   f u r t h e r   s t u d i e s   i n t o   t h e   n e x t   ( b a s e d   o n   r e s u l t   a n d   d i s c u s s i o n ) .     4 . 1 .     O v e r v i e w   T h i s   s t u d y   a i m s   t o   e x t r a c t   t h e   l e a r n e r s '   e x p e r i e n c e s   f r o m   t h e   r e v i e w s   d a t a s e t .   T h a t   o u t p u t   i s   u s e d   t o   u n d e r s t a n d   t h e   l e a r n e r   f o c u s   d u r i n g   t h e   c o u r s e .   T h e r e f o r e ,   a   l e a r n e r   w i l l   r e c e i v e   t h e   a p p r o p r i a t e   r e c o m m e n d a t i o n s .   T e r m   f r e q u e n c y   i s   o n e   o f   t h e   p r i m a r y   a n d   s t a n d a r d   t e c h n i q u e s   u s e d   t o   u n d e r s t a n d   t h e   t o p i c   o f   a   d o c u m e n t .   T h i s   m e t h o d   e v o l v e s   i n t o   i n v e r s e   d o c u m e n t   f r e q u e n c y   ( I D F ) ,   t h e n   t e r m   f r e q u e n c y - i n v e r s e   d o c u m e n t   f r e q u e n c y   ( T F - I D F ) ,   s o   t h a t   t h e   i m p o r t a n c e   w e i g h t   o f   e v e r y   w o r d   i n   a   d o c u m e n t   i s   o b t a i n e d   m o r e   o b j e c t i v e l y   b a s e d   o n   t h e   c o n t e x t .   U s i n g   o n e   o f   t h e s e   t e c h n i q u e s ,   e a c h   w o r d   w i l l   h a v e   a n   i n f l u e n c e .   T h e   w o r d   c l o u d   m o d e l   v i s u a l i z e d   t h e   w e i g h t   o f   e a c h   w o r d .   F i g u r e   4   s h o w s   t h e   w o r d   c l o u d   f r o m   t w o   d i f f e r e n t   r e v i e w   g r o u p s ,   p o s i t i v e   r e v i e w s   a n d   n e g a t i v e   r e v i e w s .   B a s e d   o n   F i g u r e   4 ,   m a n y   w o r d s   a r e   s t i l l   g e n e r a l   a n d   l e s s   s p e c i f i c a l l y   d e s c r i b e   l e a r n e r s '   e x p e r i e n c e s .   L D A   i s   u s e d   t o   v i s u a l i z e   w o r d   d e t a i l   f r o m   l e a r n e r s '   r e v i e w s .   L D A   i s   a   t o p i c   m o d e l i n g   t e c h n i q u e   t o   p r e s e n t   t o p i c s   f o u n d   a s   a   g r a p h i c a l   m o d e l .   B l e i   e t   a l .   [ 5 ]   p r o p o s e d   a n   L D A   m o d e l   t o   a p p l y   t o   t o p i c   m o d e l i n g   o n   v a r i o u s   d o m a i n s   i n   r e c e n t   y e a r s   [ 1 2 ] ,   [ 1 3 ] .   T h e   u s e   o f   L D A   m e t h o d s   i n   t h e   e d u c a t i o n   f i e l d   m o s t l y   f o c u s e s   o n   t h e   p r o b l e m   o f   a n a l y z i n g   a n d   e x t r a c t i n g   s e m a n t i c   i n f o r m a t i o n   f r o m   t e x t u a l   d a t a .   H o w e v e r ,   t h e   r e s e a r c h   u n d e r t a k e n   h a s   n o t   i n v o l v e d   t h e   c h a r a c t e r i s t i c s   o f   t h e   s p e c i f i c   u s e r s '   b e h a v i o r   r e g a r d i n g   t h e   t e x t u a l   c o n t e n t ,   a s   s u g g e s t e d   b y   P e n g   e t   a l .   [ 9 ] .   S i m i l a r   t o   P e n g   e t   a l . ' s   s u g g e s t i o n ,   w e   u s e   t h e   h e l p f u l   o r   u n h e l p f u l   r e v i e w   c a t e g o r i e s   o b t a i n e d   a s   a   f o r m   o f   u s e r   r a t i n g s   a f t e r   r e a d i n g   t h e   r e v i e w s   s u b m i t t e d .     4 . 2 .     R e v i e w   h e l p f u l n e s s   e x t r a c t i o n   T h e   u t i l i t y   t e c h n i q u e   a n d   t h e   c l a s s i f i c a t i o n   t e c h n i q u e   u s e   d a t a   f r o m   a   v o t i n g   s y s t e m   t o   c a t e g o r i z e   r e v i e w s   a s   h e l p f u l   o r   u n h e l p f u l .   T h e   v o t i n g   s y s t e m   d i s p l a y s   t h e   n u m b e r   o f   u s e r s   w h o   a g r e e   t h a t   t h e   r e v i e w   i s   h e l p f u l   o r   u n h e l p f u l .   T h e   e q u a t i o n   i s   u s e d   t o   c a l c u l a t e   t h e   u t i l i t y   v a l u e   ( 1 )   [ 1 4 ]   b y   u s i n g   t h e   r a t i o   o f   u s e r s   w h o   i n d i c a t e d   t h a t   a   r e v i e w   w a s   h e l p f u l .   T h e n ,   t h e   r u l e   i n   e q u a t i o n   ( 2 )   i s   u s e d   t o   d e c i d e   t h e   r e v i e w   l a b e l .   M e a n w h i l e ,   a   m o d e l   c l a s s i f i c a t i o n   i s   b u i l t   t o   d e t e r m i n e   a   u s e r ' s   r e v i e w   l a b e l   d a t a   t h a t   h a v e   n o t   r e c e i v e d   a   v o t e .   T h e   c l a s s i f i c a t i o n   a l g o r i t h m   i s   u s e d   i n   s i m i l a r   c a s e s   s u c h   a s   S u p p o r t   V e c t o r   M a c h i n e   ( S V M )   [ 1 5 ] ,   t r e e   m o d e l s   [ 1 6 ] ,   a n d   l i n e a r   r e g r e s s i o n   [ 1 6 ] .   T h e   u t i l i t y   v a l u e   i s   c a l c u l a t e d   u s i n g   t h e   v a l u e   o f   v a r i a b l e s   x   a n d   y   i n   e q u a t i o n   ( 1 ) .   T h e   " x "   a n d   " y "   v a l u e s   r e p r e s e n t   h e l p f u l   v o t e   r e v i e w s   d i s p l a y e d   i n   t h e   f o r m a t   " x   o f   y   p e o p l e   f o u n d   t h e s e   r e v i e w s   h e l p f u l .     =   ( 1 )   T h e   u t i l i t y   v a l u e   ( )   i s   u s e d   t o   d e c i d e   t h e   r e v i e w s '   l a b e l   u s i n g   e q u a t i o n   ( 2 ) .     1 ,   < 1 ,     ( 2 )     F o r   r e v i e w s   w i t h o u t   u t i l i t y   v a l u e s ,   a   c l a s s i f i c a t i o n   t e c h n i q u e   i s   u s e d   t o   d e c i d e   t h e   r e v i e w s   l a b e l .   T h e   s i m p l i f i e d   a l g o r i t h m   t h a t   i s   o f t e n   u s e d   t o   p r e d i c t   t h i s   c a s e   i s   a   S u p p o r t   V e c t o r   M a c h i n e   ( S V M ) .   H o w e v e r ,   i n   t h i s   s t u d y ,   w e   u s e d   t h e   N a i v e   B a y e s   a l g o r i t h m .   T h e   N a i v e   B a y e s   a l g o r i t h m   w a s   s e l e c t e d   b e c a u s e   t h i s   a l g o r i t h m   h a s   a d v a n t a g e s   t h a t   m a t c h   t h e   c h a r a c t e r i s t i c s   o f   t h e   d a t a   u s e d .   T h e s e   b e n e f i t s   i n c l u d e   t h a t   t h e   m o d e l   p e r f o r m e d   w e l l   d e s p i t e   t h e   t r a i n i n g   d a t a   b e i n g   s m a l l .   T h i s   a l g o r i t h m   h a s   b e e n   p r o v e n   t o   b e   e f f e c t i v e   w i t h   e - m a i l   f o r   s p a m   f i l t e r i n g   [ 1 7 ] ,   f o r   d e t e r m i n i n g   s e n t i m e n t   i n   s o c i a l   m e d i a   d a t a   [ 1 8 ] ,   a n d   f o r   s e c u r i t y   a p p l i c a t i o n s   i n   c o m p u t e r   n e t w o r k s .   C l a s s i f i c a t i o n   w i t h   t h e   N a i v e   B a y e s   a l g o r i t h m   a i m s   t o   d i v i d e   e a c h   r e v i e w   i n t o   t h e   r e v i e w   c a t e g o r i e s   h e l p f u l   a n d   u n h e l p f u l .   P r e c i s i o n ,   r e c a l l ,   F - m e a s u r e ,   a n d   a c c u r a c y   m e t r i c s   i n   e q u a t i o n s   ( 3 ) - ( 6 )   a r e   u s e d   t o   m e a s u r e   t h e   m o d e l   p e r f o r m a n c e .     Evaluation Warning : The document was created with Spire.PDF for Python.
I J E C E     I S S N :   2 0 8 8 - 8 7 0 8     T o p i c   d i s c o v e r y   o f   o n l i n e   c o u r s e   r e v i e w s   u s i n g   L D A   w i t h   l e v e r a g i n g   r e v i e w s   h e l p f u l n e s s   ( F e t t y   F i t r i y a n t i   L u b i s )   4 3 1 P r =   ( + )     ( 3 )   =   ( + )     ( 4 )   =   × +     ( 5 )   =   + ( + + + )     ( 6 )   T h e   p r e c i s i o n   ( )   i n   e q u a t i o n   ( 3 )   i s   t h e   n u m b e r   o f   t r u e   p o s i t i v e s   ( )   o v e r   t h e   n u m b e r   o f   t r u e   p o s i t i v e s   ( )   p l u s   t h e   n u m b e r   o f   f a l s e   p o s i t i v e s ( ) .   R e c a l l   ( )   i n   e q u a t i o n   ( 4 )   i s   t h e   n u m b e r   o f   t r u e   p o s i t i v e s   ( )   o v e r   t h e   n u m b e r   o f   t r u e   p o s i t i v e s   ( )   p l u s   t h e   n u m b e r   o f   f a l s e   n e g a t i v e s ( ) .   P r e c i s i o n   ( )   i s   a   p o s i t i v e   p r e d i c t i v e   v a l u e   t o   d e c i d e   t h e   m o d e l   c o n f i d e n c e   l e v e l .   M e a n w h i l e ,   r e c a l l   i s   a   m e a s u r e   o f   c o m p l e t e n e s s   o f   t h e   r e s u l t s .   M o d e l   a c c u r a c y   u s e s   p r e c i s i o n   a n d   r e c a l l   t o   e x p l a i n   a c c u r a t e l y .   F - m e a s u r e   o r   b a l a n c e d   F - s c o r e   i n   e q u a t i o n   ( 5 )   i s   t h e   h a r m o n i c   m e a n   o f   p r e c i s i o n   a n d   r e c a l l .   T h e   a c c u r a c y   o f   e q u a t i o n   ( 6 )   i s   t h e   r a n g e   o f   p r o x i m i t y   t o   t h e   a c t u a l   v a l u e .     4 . 3 .     T e x t   f e a t u r e   e x t r a c t i o n   T e x t   f e a t u r e   e x t r a c t i o n   w a s   p e r f o r m e d   o n   r e v i e w s   i n   t h i s   s t u d y .   T h e   p u r p o s e   o f   t e x t   f e a t u r e   e x t r a c t i o n   i s   t o   u n d e r s t a n d   t h e   t o p i c   w i t h i n   t h e   d o c u m e n t .   T e x t   f e a t u r e s   w e r e   a l s o   e x t r a c t e d   u s i n g   t o p i c   m o d e l i n g .   T o p i c   m o d e l i n g   i s   a n   u n s u p e r v i s e d   m e t h o d   o f   c l a s s i f i c a t i o n   o f   d o c u m e n t s ,   s i m i l a r   t o   t h e   g r o u p i n g   m e t h o d s   i n   n u m e r i c a l   d a t a .   T h e   g o a l   i s   t o   f i n d   a   n a t u r a l   g r o u p   d e s p i t e   s e a r c h i n g   w i t h o u t   c o n f i d e n c e .   T h e   t e c h n i q u e   f o r   t o p i c   m o d e l i n g   u s e d   i s   L D A   L D A   i s   a   p o p u l a r   m e t h o d   w i t h   a   g e n e r a t i v e   p r o c e s s   f o r   d e f i n i n g   t o p i c   m o d e l s .   T h i s   t e c h n i q u e   t r e a t s   e a c h   d o c u m e n t   a s   a   f r e q u e n t   t o p i c   a n d   e a c h   t o p i c   a s   a   w o r d   c o m b i n a t i o n .   T h u s ,   d o c u m e n t s   m a y   o v e r l a p   i n   c o n t e n t   a n d   n o t   b e   s e p a r a t e d   a s   d i s c r e t e   g r o u p s .   W o r d s   a r e   t h e   b a s i c   u n i t   f r o m   a   d o c u m e n t   i n   L D A   A   w o r d   i s   a n   e l e m e n t   o f   t h e   v o c a b u l a r y   a r r a n g e d   a s   a   v o c a b u l a r y   v e c t o r   { 1 , ,   } .   T h e   w o r d   i s   r e p r e s e n t e d   a s   t h e   b a s e   o f   t h e   v e c t o r   u n i t ,   w h o s e   v a l u e   o f   e a c h   p a r t   i s   0   u n l e s s   t h e   c o r r e s p o n d i n g   w o r d   h a s   a   v a l u e   o f   1 .   L D A   i s   a   g e n e r a t i v e   p r o b a b i l i s t i c   m o d e l   o f   a   c o r p u s .   L D A   r e p r e s e n t s   t h e   d o c u m e n t   a s   a   r a n d o m   c o m b i n a t i o n   o f   p o t e n t i a l   t o p i c s ,   a n d   t h e   d i s t r i b u t i o n   o f   w o r d s   p o s e s   a n   i s s u e .   T h e   d o c u m e n t     u s e d   t h e   f o l l o w i n g   s t e p s   t o   f i n d   w o r d s   a s   a   t o p i c   m e m b e r .   1 .   D e t e r m i n e   d o c u m e n t   s i z e ,   N   r e f e r r i n g   t o   P o i s s o n ,       ~ ( )   ( 7 )   2 .   D e t e r m i n e   t h e   t o p i c   d i s t r i b u t i o n     w i t h   D i r i c h l e t   d i s t r i b u t i o n ,   :     ~ ( )   ( 8 )   3 .   F o r   e v e r y     w o r d s ,     a .   D e t e r m i n e   t h e   t o p i c     b a s e d   o n   t h e   m u l t i n o m i a l   d i s t r i b u t i o n   o b t a i n e d   f r o m     i n   s t e p   ( 2 )     ~ ( )     ( 9 )   b .   A   w o r d     d e f i n e d   f r o m   a   m u l t i n o m i a l   d i s t r i b u t i o n   p r o b a b i l i t y   o b t a i n e d   f r o m   t h e     a n d   o n   c o n d i t i o n       ~ ( | , )       ( 1 0 )     T h u s ,   m i x t u r e   t o p i c s   ,   r a n g e   o f   i s s u e s   ,   a n d   a   s e t   o f   w o r d         a r e   u s e d   i n   e q u a t i o n   ( 1 1 )   t o   c a l c u l a t e   t h e   j o i n t   d i s t r i b u t i o n   p r o b a b i l i t y .     ( , , | , ) = ( | ) ( | ) ( | , )       ( 1 1 )   Evaluation Warning : The document was created with Spire.PDF for Python.
                                I S S N :   2 0 8 8 - 8 7 0 8     I n t   J   E l e c   &   C o m p   E n g ,   V o l .   9 ,   N o .   1 ,   F e b r u a r y   2 0 1 9   :     4 2 6   -   4 3 8   4 3 2 T h u s ,       i s   e x p e r i m e n t a l l y   o b s e r v e d ,   a n d   t h e   l a t e n t   v a r i a b l e s   a r e     a n d .   T h e n ,   w e   u s e d   B a y e s i a n   i n f e r e n c e   t o   e s t i m a t e   t h e   p o s t e r i o r   d e n s i t y   f r o m     a n d     u s i n g   t h e   f o l l o w i n g   e q u a t i o n :     ( , | , , ) = ( , , | , ) ( | , )   ( 1 2 )       5 .   E X P E R I M E N T A L   R E S U L T S   W e   c o n d u c t e d   t o p i c   m o d e l i n g   f o r   e x t r a c t i n g   l e a r n e r s   e x p e r i e n c e s   f r o m   c o u r s e   r e v i e w s   i n   M O O C s .   B e f o r e   t h a t ,   w e   p e r f o r m e d   s e v e r a l   s t e p s   s u c h   a s   c o l l e c t i n g   d a t a ,   e x p l o r i n g   d a t a ,   p r o c e s s i n g   d a t a ,   a n d   p r e d i c t i n g   h e l p f u l   r e v i e w s .   W e   p r o p o s e d   h e l p f u l   L D A   a s   a n   i m p r o v e m e n t   o f   t o p i c   m o d e l i n g .   W e   c o m p a r e d   o u r   h e l p f u l   L D A   w i t h   t h e   b a s i c   L D A   t o   m e a s u r e   t h e   m o d e l   p e r f o r m a n c e .   W e   u s e d   p e r p l e x i t y   a s   t h e   m e t r i c   o f   p e r f o r m a n c e .     5 . 1 .     D a t a   p r e p a r a t i o n   W e   e x p l o r e d   t h e   c o l l e c t e d   d a t a .   W e   l i m i t e d   t h e   s u b j e c t   t o   P r o g r a m m i n g   b a s e d   o n   t h e   e x p l o r a t i o n   r e s u l t   a n d   s e l e c t e d   t h e   f e a t u r e s .   T h e   f e a t u r e s   a r e   c o u r s e   t i t l e ,   r e v i e w   i d ,   r e v i e w   c o n t e n t ,   a n d   t h e   c l a s s   o f   r e v i e w   ( h e l p f u l   r e v i e w ,   u n h e l p f u l   r e v i e w ,   a n d   u n l a b e l e d   r e v i e w ) .   T h e   s t a g e   p e r f o r m e d   a f t e r   d a t a   e x p l o r a t i o n   w a s   d a t a   c h e c k i n g .   A t   t h i s   s t a g e ,   t h i s   c h e c k i n g   p r o c e s s   w a s   c a r r i e d   o u t   a m o n g   o t h e r s :   f i r s t ,   w e   c h e c k e d   f o r   d u p l i c a t e   r e v i e w s   a n d   r e m o v e d   a l l   d u p l i c a t e s ,   a n d   s e c o n d ,   w e   c h e c k e d   i f   t h e   l a n g u a g e   u s e d   w a s   n o t   E n g l i s h .   T h e   n e x t   s t e p   i s   t h e   f i r s t   p r o c e s s i n g   s t a g e   o f   t h e   r e v i e w   c o n t e n t .   I n   t h i s   s t a g e ,   t h e   a b b r e v i a t e d   w o r d s   w e r e   c o n v e r t e d   i n t o   l o n g   w o r d s   ( e . g . ,   d o   n o t ,   w i l l   n o t ) ,   s y m b o l s   w e r e   t r a n s l a t e d   i n t o   t e x t ,   w o r d s   w e r e   t r a n s f o r m e d   i n t o   t h e i r   b a s i c   f o r m s   ( l e m m a t i z a t i o n ) ,   a n d   t h e n   s t o p   w o r d s   w e r e   r e m o v e d .     5 . 2 .     P r e d i c t i n g   r e v i e w s   h e l p f u l n e s s   A t   t h i s   s t a g e ,   p r e - p r o c e s s i n g   d a t a   i s   u s e d   t o   c o n s t r u c t   a   c a t e g o r y   r e v i e w   c l a s s i f i c a t i o n   m o d e l   [ 1 9 ] .   T h e   r e v i e w   c l a s s i f i c a t i o n   w a s   n e c e s s a r y   b e c a u s e   u s e f u l   c a t e g o r y   r e v i e w s   h a v e   i n f o r m a t i o n   t h a t   i s   s p e c i f i c   t o   t h e   l e a r n e r   e x p e r i e n c e .   H o w e v e r ,   i n   t h e   d a t a   c o l l e c t e d ,   o n l y   a   f e w   r e v i e w s   w e r e   l a b e l e d   b y   c a t e g o r y .   T h e   r e v i e w   c l a s s i f i c a t i o n   m o d e l   w a s   b u i l t   u s i n g   t h e   N a i v e   B a y e s   a l g o r i t h m   b e c a u s e   t h e   a l g o r i t h m   p e r f o r m s   w e l l .   H o w e v e r ,   b a s e d   o n   o u r   e x p e r i m e n t s ,   t h e   N a i v e   B a y e s   m o d e l s   p e r f o r m a n c e   h a s   n o t   f u l f i l l e d   o u r   g o a l s   f o r   a c c u r a c y   i n   c l a s s i f y i n g   r e v i e w s   t h a t   h e l p   w i t h   l o w   l e v e l s   o f   c l a s s i f i c a t i o n   e r r o r s .   T h e r e f o r e ,   w e   d e v e l o p e d   t h e   N a i v e   B a y e s   m o d e l   b y   a d d i n g   s e n t i m e n t   a n a l y s i s   [ 2 0 ] .   T h e   m o d e l   s h o w e d   g o o d   p e r f o r m a n c e   w i t h   a   m o r e   m o d e r a t e   e r r o r   r a t e   [ 2 0 ] .     5 . 3 .     U n d e r s t a n d i n g   t h e   e x p e r i e n c e s   o f   l e a r n e r s   w i t h   L D A   W e   u s e d   t o p i c   m o d e l i n g   t o   d i s c o v e r   a n d   u n d e r s t a n d   l e a r n e r   e x p e r i e n c e s   t h r o u g h   L D A .   H o w e v e r ,   w e   n e e d   m o r e   a n a l y s i s   t o   c o n f i r m   t h e   t o p i c s   q u a l i t y .   F i g u r e   5   s h o w s   t w o   p a r t s   o f   t h e   L D A   m o d e l i n g   p r o c e s s .   T h e   f i r s t   p a r t   i s   a   t e x t   m i n i n g   p r o c e s s ,   c o n s i s t i n g   o f   t h e   t e r m   m a t r i x   a n d   t h e   d o c u m e n t - t e r m   m a t r i x .   T h e   s e c o n d   p a r t   i s   v i s u a l i z a t i o n .   I n   t h e   f i r s t   p a r t ,   r e v i e w s   w e r e   t r a n s f o r m e d   i n t o   t w o   t y p e s   o f   m a t r i x   d a t a   a s   r e q u i r e d   b y   t h e   L D A   m o d e l .   T h e n ,   t h e   L D A   m o d e l   b u i l t   t o p i c s   u s i n g   t h e   m a t r i x   d a t a .   L a t e r ,   a   m i x t u r e   o f   w o r d s   f r o m   e a c h   t o p i c   w a s   v i s u a l i z e d .           F i g u r e   5 .   T h e   t o p i c   m o d e l i n g   d i a g r a m   w i t h   L D A       Evaluation Warning : The document was created with Spire.PDF for Python.
I J E C E     I S S N :   2 0 8 8 - 8 7 0 8     T o p i c   d i s c o v e r y   o f   o n l i n e   c o u r s e   r e v i e w s   u s i n g   L D A   w i t h   l e v e r a g i n g   r e v i e w s   h e l p f u l n e s s   ( F e t t y   F i t r i y a n t i   L u b i s )   4 3 3 T h e   f i r s t   s t e p   o f   t o p i c   m o d e l i n g   i s   d e t e r m i n e d   t h e   n u m b e r   o f   t o p i c s ,   .   T h i s   e x p e r i m e n t   u s e d     = 2 , 4 , 1 0 , 2 0 , 5 0 , a n d   1 0 0 .   T h e   g o a l   w a s   t o   f i n d     w i t h   t h e   l o w e s t   p e r p l e x i t y   s c o r e .   T h e   t o p i c s   g e n e r a t e d   f r o m   L D A   m o d e l   w a s   s h o w n   b y   t o p i c   v i s u a l i z a t i o n .   T h e   t o p i c   v i s u a l i z a t i o n s   h a v e   s h o w n   t h e   w o r d   t o p i c   p r o b a b i l i t y   d i s t r i b u t i o n   a n d   t h e   t o p i c   p r o b a b i l i t y   d i s t r i b u t i o n   b e c a u s e   t h e   g o a l s   a r e   t o   d i s c o v e r   t h e   l e a r n e r s   e x p e r i e n c e   f r o m   t h e   r e v i e w s   b y   u n d e r s t a n d i n g   w o r d   t o p i c   u s a g e   w i t h   p r o b a b i l i t y   d i s t r i b u t i o n   o n l y .   F i g u r e   6   i n d i c a t e s   t h e   w o r d - t o p i c   d i s t r i b u t i o n   w i t h   = 2 ,   w h e r e a s   F i g u r e   7   s h o w s   t h e   w o r d - t o p i c   d i s t r i b u t i o n   w i t h   = 1 0 .         F i g u r e   6 .   V i s u a l i z a t i o n   o f   w o r d - t o p i c   p r o b a b i l i t y   f r o m   L D A   m o d e l   w i t h   n u m b e r   o f   t o p i c s   = 2       B a s e d   o n   t h e   w o r d   t o p i c   d i s t r i b u t i o n   i n   F i g u r e   6 ,   w e   o b t a i n e d   a n   o v e r v i e w   o f   e a c h   t o p i c   a s   f o l l o w s :   1 .   T o p i c   1 :   p y t h o n   c l a s s   p r o g r a m m i n g   e x c e l l e n t   c h u c k   ( i n s t r u c t o r )   2 .   T o p i c   2 :   p r o g r a m m i n g   p y t h o n   c l a s s   r e c o m m e n d   l o t   M e a n w h i l e ,   F i g u r e   7   w i t h   t e n   t o p i c s   p r o v i d e d   a   t o p i c   o v e r v i e w   f r o m   l e a r n e r   e x p e r i e n c e s ,   a s   f o l l o w s :   1 .   P y t h o n   c l a s s   f u n   p r o g r a m m i n g   l e a r n i n g   2 .   P r o g r a m m i n g   p y t h o n   c l a s s   e x p e r i e n c e   f u n   3 .   P y t h o n   e x p e r i e n c e   e a s y   d o c t o r   f u n   4 .   P r o g r a m m i n g   l e a r n   p y t h o n   e a s y   r e c o m m e n d   5 .   P r o g r a m m i n g   c l a s s   l e a r n   e x c e l l e n t   l o t   6 .   L o t   p y t h o n   f u n   r e c o m m e n d   l e a r n   7 .   P r o g r a m m i n g   l e a r n   e x c e l l e n t   l o t   c l a s s   8 .   P y t h o n   c h u c k   ( i n s t r u c t o r )   c l a s s   l e a r n i n g   d o c t o r   9 .   P y t h o n   p r o g r a m m i n g   e x c e l l e n t   r e c o m m e n d   f u n   1 0 .   C l a s s   p r o g r a m m i n g   l e a r n   c o n c e p t s   c h u c k   ( i n s t r u c t o r ) .           F i g u r e   7 .   V i s u a l i z a t i o n   o f   w o r d - t o p i c   p r o b a b i l i t y   f r o m   L D A   m o d e l   w i t h   n u m b e r   o f   t o p i c s   = 1 0       T h e   v i s u a l i z a t i o n   o f   t w o   t o p i c s   a n d   d i s p l a y   o f   t e n   t o p i c s   s h o w e d   t h a t   s o m e   t o p i c s   n e e d   p r i o r   k n o w l e d g e   t o   d e c i d e   t h e   t o p i c   n a m e .   F o r   e x a m p l e ,   t h e   w o r d   C h u c k   i n   w o r d - t o p i c   d i s t r i b u t i o n   w i t h   t w o   t o p i c s   m e a n s   t h e   i n s t r u c t o r   n a m e .   T h u s ,   a n a l y z i n g   t h e   L D A   m o d e l   n e e d s   p r i o r   k n o w l e d g e   r e l a t e d   t o   t h e   c o u r s e .   T h e   v i s u a l i z a t i o n   o f   t w o   t o p i c s   a n d   t e n   t o p i c s   h a s   a m b i g u o u s   i n t e r p r e t a t i o n .   F o r   e x a m p l e ,   o n   a   Evaluation Warning : The document was created with Spire.PDF for Python.
                                I S S N :   2 0 8 8 - 8 7 0 8     I n t   J   E l e c   &   C o m p   E n g ,   V o l .   9 ,   N o .   1 ,   F e b r u a r y   2 0 1 9   :     4 2 6   -   4 3 8   4 3 4 p r o b a b i l i s t i c   v e r s i o n   t h e   w o r d - t o p i c s ,   t h e   w o r d   c h u c k   w a s   f o u n d   i n   t w o   t o p i c s ;   C h u c k   i s   t h e   n a m e   o f   t h e   c o u r s e   i n s t r u c t o r .   T h u s ,   t h e   L D A   m o d e l   h a s   r e q u i r e d   p r i o r   k n o w l e d g e   r e l a t e d   t o   t h e   c o u r s e   t o   i n t e r p r e t   t h i s   c a s e .   M e a n w h i l e ,   t h e   w o r d - t o p i c   d i s t r i b u t i o n   w i t h   t e n   t o p i c s   a m o n g   t h e   t o p i c s   f o u n d   a   s i m i l a r   i n t e r p r e t a t i o n .   T h u s ,   t h e   n u m b e r   o f   i s s u e s   a f f e c t e d   t h e   t o p i c   c l a r i t y   i n t e r p r e t a t i o n .   I n c r e a s i n g   t h e   t o p i c   n u m b e r s   a l s o   r e d u c e d   t h e   c l a r i t y .   T o p i c   m o d e l i n g   r e s e a r c h   f r o m   F a n g   e t   a l .   u s e d   p e r p l e x i t y   a s   a   q u a l i t a t i v e   e v a l u a t i o n   c r i t e r i o n   [ 2 1 ] .   P e r p l e x i t y   i s   a   s t a t i s t i c a l   m e a s u r e m e n t   t h a t   a i m s   t o   m e a s u r e   t h e   m o d e l s   a b i l i t y   t o   p r e d i c t   t h e   s a m p l e .   T h e   p e r p l e x i t y   s c o r e   d e s c r i b e s   t h e   u n s e e n   d a t a   g e n e r a l i z a t i o n .   A   l o w   p e r p l e x i t y   s c o r e   i n d i c a t e s   t h e   m o d e l s   g e n e r a l i z a t i o n   a b i l i t y .   T h e   f o r m u l a   t o   c a l c u l a t e   t h e   p e r p l e x i t y   i n   t e s t   d o c u m e n t s   i s   a s   f o l l o w s :     ( ) = ( ) | | , | |   ( 1 3 )   ( ) = ( | = ) , ( = | )   ( 1 4 )     w h e r e     i s   a   s e t   o f   w o r d s   t h a t   a p p e a r   i n   t h e   t e s t   d o c u m e n t   ,   w h i l e   ( | = )   i s   t h e   p r o b a b i l i t y   l e a r n e d   d u r i n g   t h e   t r a i n i n g   p r o c e s s ,   a n d   ( = | )   w a s   c o n c l u d e d   f r o m   t h e   S a m p l i n g   G i b b s   p r o c e s s   a g a i n s t   t h e   t e s t   d a t a   b a s e d   o n   t h e   o b s e r v e d   p a r a m e t e r s   o f   t h e   t r a i n i n g   d a t a .   W e   p e r f o r m e d   a   p e r p l e x i t y   t e s t   o n   t h e   m o d e l   w i t h   t h e   n u m b e r   o f   t o p i c s ,   = 2 , 4 , 1 0 , 2 0 , 5 0 , a n d   1 0 0 .   F i g u r e   8   s h o w s   t h e   p e r p l e x i t y   o f   t h e   l e a r n e r s   r e v i e w   d a t a   b y   t h e   n u m b e r   o f   t o p i c s ,   = 2 , 4 , 1 0 , 2 0 , 5 0 , a n d   1 0 0 .   B a s e d   o n   t h e   p l o t   i n   F i g u r e   8 ,   w e   s e e   t h a t   t h e   L D A   m o d e l   a c h i e v e d   t h e   m i n i m u m   p e r p l e x i t y   s c o r e   w i t h   5 0   t o p i c s ,   w h i l e   1 0 0   t o p i c s   o b t a i n e d   t h e   s e c o n d     l o w e s t   p o s i t i o n .           F i g u r e   8 .   L D A   m o d e l s   p e r p l e x i t y   v a l u e       5 . 4 .   U n d e r s t a n d i n g   t h e   l e a r n e r   e x p e r i e n c e   w i t h   h e l p f u l   L D A   T h e   m o s t   h e l p f u l   r e v i e w s   r e f e r   t o   t h e   r e s e a r c h   o f   L i   e t   a l .   [ 2 2 ] ,   m a n i f e s t e d   a s   a   c r e d i b l e   s o u r c e   p e r c e i v e d   b y   t h e   v o t e r   b a s e d   o n   c o n t e n t ,   p r o d u c t   o r   i t e m   i n f o r m a t i o n   r e l a t e d   t o   t h e   r a t i n g .   B a s e d   o n   t h e   r e s e a r c h   o f   L i   e t   a l . ,   w e   d e v e l o p e d   t h e   L D A   m o d e l   b y   a d d i n g   h e l p f u l   r e v i e w s .   T h e   g o a l   i s   f i n d i n g   m o r e   s p e c i f i c   l e a r n e r s '   e x p e r i e n c e   t o p i c s   t h r o u g h   v i s u a l i z a t i o n   o f   w o r d - p r o b a b i l i s t i c   t o p i c s   a n d   e n h a n c i n g   t h e   m o d e l s   c a p a b i l i t i e s ,   a s   s h o w n   b y   t h e   l o w e r   p e r p l e x i t y   s c o r e   c o m p a r e d   w i t h   t h e   L D A   m o d e l .   F i g u r e   9   s h o w s   a   h e l p f u l   L D A   f l o w   d i a g r a m .   B a s e d   o n   t h e   f l o w   d i a g r a m   i n   F i g u r e   9   w e   p r o p o s e d   a   r e v i e w   f e a t u r e   t o   f i l t e r   t h e   r e v i e w s   t o   b e   m o r e   s p e c i f i c   f r o m   t h e   u s e r   s i d e .   T h e n ,   t h e   f i l t e r e d   d a t a   b a s e d   o n   t h e   h e l p f u l   r e v i e w   f e a t u r e   a r e   f i l t e r e d   b a c k   i n   e v e r y   s e n t e n c e   w i t h   a   s e n t i m e n t   a n a l y s i s .   T h e   g o a l   i s   t o   o b t a i n   s u b j e c t i v e   s e n t e n c e s .   T h e   f l o w   d i a g r a m   o f   t h e   s t u d y   o f   s e n t i m e n t s   o n   t h e   h e l p f u l   r e v i e w s   i s   s h o w n   i n   F i g u r e   1 0 .   D e t a i l e d   a n a l y s i s   s t e p s   a c c o r d i n g   t o   F i g u r e   1 0   a r e   a s   f o l l o w s .   F i r s t ,   w e   s e p a r a t e d   p a r a g r a p h s   i n t o   s e n t e n c e s .   S e c o n d ,   s e n t i m e n t   a n a l y s i s   w a s   p e r f o r m e d   w i t h   L e x i c o n   B i n g   t o   c a t e g o r i z e   s e n t e n c e s   a s   b e l o n g i n g   t o   t h e   p o s i t i v e ,   n e g a t i v e ,   o r   n e u t r a l   c a t e g o r i e s .   T h e   t h i r d   s t e p   w a s   t o   f i l t e r   o u t   t h e   p h r a s e s   w i t h   p o s i t i v e   a n d   n e g a t i v e   g r o u p s .   T h i s   w a s   d o n e   b e c a u s e   t h e   p o s i t i v e   a n d   n e g a t i v e   c l a s s e s   c o n t a i n e d   s u b j e c t i v e   l e a r n e r   e x p e r i e n c e .   Evaluation Warning : The document was created with Spire.PDF for Python.
I J E C E     I S S N :   2 0 8 8 - 8 7 0 8     T o p i c   d i s c o v e r y   o f   o n l i n e   c o u r s e   r e v i e w s   u s i n g   L D A   w i t h   l e v e r a g i n g   r e v i e w s   h e l p f u l n e s s   ( F e t t y   F i t r i y a n t i   L u b i s )   4 3 5     F i g u r e   9 .   T h e   t o p i c   m o d e l i n g   d i a g r a m   w i t h   H e l p f u l   L D A           F i g u r e   1 0 .   F l o w   d i a g r a m   o f   s e n t i m e n t   a n a l y s i s   o n   h e l p f u l   r e v i e w s       F i g u r e   9   s h o w s   t h e   p r o c e s s   p e r f o r m e d   a f t e r   f i l t e r i n g   t h e   d a t a ,   s u c h   a s   t o k e n i z a t i o n ,   t e r m   m a t r i x ,   d o c u m e n t - t e r m   m a t r i c e s ,   a n d   L D A   m o d e l i n g .   T h e n ,   t h e   n e x t   s t a g e   i s   t h e   v i s u a l i z a t i o n   a n d   p e r f o r m a n c e   m e a s u r e m e n t   o f   t h e   h e l p f u l   L D A   m o d e l   w i t h   t h e   n u m b e r   o f   t o p i c s ,   = 2 , 4 , 1 0 , 2 0 , 5 0 , a n d   1 0 0 .   T h e   o u t p u t   o f   t h e   w o r d - t e r m   p r o b a b i l i t y   i s   s h o w n   i n   F i g u r e s   1 1   a n d   1 2   b y   t h e   n u m b e r   o f   t o p i c s ,   = 2   a n d   = 1 0 .   F i g u r e   1 1   s h o w s   t h e   p r o b a b i l i t y   o f   w o r d - t o p i c s   w i t h   t h e   n u m b e r   o f   t o p i c s   = 2   t h a t   p r o v i d e   l e a r n e r   e x p e r i e n c e   i n f o r m a t i o n   r e l a t e d   t o   t h e   c o u r s e .   T o p i c   1   c o n c e r n s   t h e   c l a s s   s i t u a t i o n .   T h e n ,   t o p i c   2   a d d r e s s e s   t h e   a c t i v i t y   r e c o m m e n d a t i o n   t o   l e a r n   i n   t h e   c o u r s e .   T h e   w o r d   d i s t r i b u t i o n   w i t h   h e l p f u l   L D A   g i v e s   a n   o v e r v i e w   o f   e v e r y   c l e a r   t o p i c   a s   i n   t h e   L D A   m o d e l .   T h u s ,   i n t e r p r e t a t i o n   o f   t h e   e x p e r i e n c e   o f   l e a r n e r s   c a n   b e   d o n e   w i t h o u t   t h e   n e e d   f o r   e a r l y   k n o w l e d g e   r e l a t e d   t o   t h e   c o u r s e ,   s u c h   a s   t h e   n a m e   o f   t h e   i n s t r u c t o r .           F i g u r e   1 1 .   V i s u a l i z a t i o n   o f   w o r d - t o p i c   p r o b a b i l i t y   h e l p f u l   L D A   m o d e l   w i t h   n u m b e r   o f   t o p i c s   = 2       F i g u r e   1 2   s h o w s   a   v i s u a l i z a t i o n   o f   w o r d - t o p i c   p r o b a b i l i t y   w i t h   t h e   n u m b e r   o f   t o p i c s   = 1 0 .   W i t h   t h e   h e l p f u l   L D A   m o d e l ,   t h e   t o p i c s   a r e   f o r m e d   a s   f o l l o w s :   1 .   P r o g r a m   l e a r n   e a s y   e x c e l l e n t   c l a s s   2 .   P y t h o n   l e a r n   c l a s s   e a s y   l o t   3 .   P r o g r a m   f u n   l e a r n   l o t   e a s y   4 .   L e a r n   c l a s s   p y t h o n   t i m e   g a m e   5 .   P r o g r a m   e x c e l l e n t   l e a r n   i n s t r u c t o r   r e c o m m e n d   6 .   R e c o m m e n d   p y t h o n   p r o g r a m   f u n   t e a c h   7 .   F u n   p r o g r a m   t e a c h   p y t h o n   l e a r n   8 .   P r o g r a m   l e a r n   p y t h o n   c l a s s   t e a c h e r   9 .   C l a s s   e a s y   c o d e   p y t h o n   c o d e   e x c e l l e n t   1 0 .   P y t h o n   f u n   t e a c h   v i d e o   r e c o m m e n d   W e   o b s e r v e d   t h e   t o p i c   s t r u c t u r e   o f   t h i s   m o d e l   t a k e   a   s l i g h t l y   d i f f e r e n t   f o r m   i n   t h e   L D A   m o d e l   w i t h   t h e   s a m e   n u m b e r   o f   t o p i c s ,   = 1 0 .   A d d i t i o n a l l y ,   w e   i d e n t i f i e d   f r o m   t h e   t o p i c s   t h r e e   t o p i c s   t h a t   r e q u i r e d   p r i o r   k n o w l e d g e   t o   i n t e r p r e t   t h e   t i t l e   o f   a   t o p i c   r e l a t e d   t o   t h e   i n s t r u c t o r ' s   n a m e   i n   t h e   w o r d - t o p i c   d i s t r i b u t i o n   v i s u a l i z a t i o n ,   s u c h   a s   " C h u c k . "   F i g u r e   1 3   s h o w s   t h e   h e l p f u l   L D A   m o d e l s   p e r p l e x i t y   v a l u e   f o r   t o p i c s   n u m b e r ,   = 2 , 4 , 1 0 , 2 0 , 5 0 , a n d   1 0 0 .   B a s e d   o n   t h a t   f i g u r e ,   w e   o b s e r v e d   t h a t   t o p i c   = 1 0 0   h a s   t h e   l o w e s t   p e r p l e x i t y   v a l u e .   B a s e d   o n   t h e   p e r p l e x i t y   v a l u e   s h o w s   i n   F i g u r e   1 4 ,   h e l p f u l   L D A   h a s   b e t t e r   p e r f o r m a n c e   t h a n   L D A .   T h e   m o d e l   w i t h   t h e   l o w e s t   p e r p l e x i t y   i s   g e n e r a l l y   c o n s i d e r e d   t h e   b e s t .   T h e   b e s t   m e a n s   g e t t i n g   e v e n   m o r e   s p e c i f i c   t o p i c s   n o w .     Evaluation Warning : The document was created with Spire.PDF for Python.