T E L K O M N I K A ,   V o l . 9 ,   N o . 1 ,   A p r i l   2 0 1 1 ,   p p .   1 1 5 ~ 1 2 4   I S S N :   1 6 9 3 - 6 9 3 0   a c c r e d i t e d   b y   D G H E   ( D I K T I ) ,   D e c r e e   N o :   5 1 / D i k t i / K e p / 2 0 1 0       1 1 5       R e c e i v e d   F e b r u a r y   6 th ,   2 0 1 1 ;   R e v i s e d   M a r c h   2 3  t h ,   2 0 1 1 ;   A c c e p t e d   A p r i l   1 1 th ,   2 0 1 1   I n t e l l i g e n t   A v a t a r   o n   E - L e a r n i n g   u s i n g   F a c i a l   E x p r e s s i o n   a n d   H a p t i c       A h m a d   H o i r u l   B a s o r i 1 ,   A n d i   T e n r i a w a r u 2 ,   A n d i   B e s s e   F i r d a u s i a h   M a n s u r 3   1 D e p t .   o f   I n f o r m a t i c   En g . ,   F a c .   o f   I n f o r m a t i o n   T e c h n o l o g y ,   I n s t i t u t   T e k n o l o g i   Se p u l u h   N o p e m b e r   S u r a b a y a     J l .   R a y a   I T S,   Su k o l i l o ,   Su r a b a y a ,   I n d o n e s i a ,   6 0 1 1 1 ,   Ph o n e / F a x .   + 6 2   3 1   5 9 4 7 3 0 2 / 5 9 3 1 2 3 7   2 F a c u l t y   M a t h e m a t i c   a n d   S c i e n c e s ,   U n i v e r s i t a s   H a l u o l e o   Ka m p u s   Bu m i   T r i d a r m a   A n d o u n o h u   Ke n d a r i ,   + 6 2   4 0 1   3 1 9 1 9 2 9   3 D e p t .   o f   So f t w a r e   En g . ,   F a c .   o f   C o m p u t e r   S c i e n c e   I n f o r m a t i o n   Sy s t e m s ,   U n i v e r s i t i   T e k n o l o g i   M a l a y s i a   J o h o r   D a r u l   T a k z i m ,   8 1 3 1 0 ,   M a l a y s i a   e - m a i l :   h o i r u l @ i t s - s b y . e d u * 1 ,   a t e n r i a w a r u @ y a h o o . c o . i d 2 ,   f i r d a _ p i n k y @ y a h o o . c o m 3       A b s t r a k   Pr o s e s   p e n g e n a l a n   e m o s i   d a p a t   d i t i n g k a t k a n   d e n g a n   s i s t e m   t u t o r i a l   d i m e n s i   t i g a   ( 3 D ) .   Pe r m a s a l a h a n   y a n g   t i m b u l   a d a l a h   b a g a i m a n a   m e m b u a t   p e n g a j a r   v i r t u a l   ( a v a t a r )   y a n g   m e n d e k a t i   k e n y a t a a n .   P e n e l i t i a n   i n i   b e r t u j u a n   u n t u k   m e n g a j a r   r e m a j a   d a l a m   m e m a h a m i   d a n   m e r a s a k a n   s e n s a s i   d a r i   e m o s i   m a n u s i a   d e n g a n   m e n y e d i a k a n   e k s p r e s i   w a j a h   d a n   s e n s a s i   s e n t u h a n   ( h a p t i c ) .   Al g o r i t m a   y a n g   d i u s u l k a n   a d a l a h   p e r h i t u n g a n   s e b u a h   k o n s t a n t a   ( f )   b e r d a s a r k a n   n i l a i   m a k s i m a l   d a r i   R G d a n   g a y a   m a g n i t u d a .   Se t e l a h   m e l a l u i   p r o s e s   p e m e t a a n ,   s e t i a p   n i l a i   d a r i   m a g n i t u d e   f o r c e   a k a n   d i p e t a k a n   k e   w a r n a - w a r n a   t e r t e n t u   s e h i n g g a   d a p a t   m e n u n j u k k a n   n i l a i   e m o s i   d a r i   w a r n a   y a n g   d i p e t a k a n .   Pr o s e s   p e n y a t u a n   a k a n   d i m u l a i   d e n g a n   m e l a k u k a n   p r o s e s   r e n d e r   p a d a   e k s p r e s i   w a j a h   k e m u d i a n   m e n g a t u r   k e k u a t a n   g a y a   m a g n i t u d a   b e r d a s a r k a n   n i l a i   e m o s i .   H a s i l   y a n g   d i c a p a i   d e n g a n   p e n g u j i a n   p a d a   m a h a s i s w a   a d a l a h   s e k i t a r   7 1 %   d a r i   p e l a j a r   s e t u j u   d e n g a n   p e n g k l a s i f i k a s i a n   g a y a   m a g n i t u d a   u n t u k   m e r e p r e s e n t a s i k a n   e m o s i .   R e s p o n d e n   b e r k a t a   b a h w a   g a y a   m a g n i t u d a   y a n g   t i n g g i   m e m b u a t   s e n s a s i   y a n g   m i r i p   d e n g a n   s e n s a s i   k e t i k a   r e s p o n d e n   m e r a s a k a n   m a r a h ,   a k a n   t e t a p i   g a y a   m a g n i t u d a   y a n g   r e n d a h   l e b i h   n y a m a n   u n t u k   r e s p o n d e n .   R e s p o n d e n   j u g a   m e n g a t a k a n   b a h w a   e k s p r e s i   w a j a h   d a n   h a p t i k   s a n g a t   i n t e r a k t i f   d a n   r e a l i s t i s .     Ka t a   k u n c i :   a v a t a r ,   e - l e a r n i n g ,   e k s p r e s i   w a j a h ,   e m o s i ,   h a p t i c       A b s t r a c t     T h e   p r o c e s s   o f   i n t r o d u c i n g   e m o t i o n   c a n   b e   i m p r o v e d   t h r o u g h   t h r e e - d i m e n s i o n a l   ( 3 D )   t u t o r i n g   s y s t e m .   T h e   p r o b l e m   t h a t   s t i l l   n o t   s o l v e d   i s   h o w   t o   p r o v i d e   r e a l i s t i c   t u t o r   ( a v a t a r )   i n   v i r t u a l   e n v i r o n m e n t .   T h i s   p a p e r     p r o p o s e   a n   a p p r o a c h   t o   t e a c h   c h i l d r e n   o n   u n d e r s t a n d i n g   e m o t i o n   s e n s a t i o n   t h r o u g h   f a c i a l   e x p r e s s i o n   a n d   s e n s e   o f   t o u c h   ( h a p t i c ) . T h e   a l g o r i t h m   i s   c r e a t e d   b y   c a l c u l a t i n g   c o n s t a n t   f a c t o r   ( f )   b a s e d   o n   m a x i m u m   v a l u e   o f   R G a n d   m a g n i t u d e   f o r c e   t h e n   m a g n i t u d e   f o r c e   r a n g e   w i l l   b e   a s s o c i a t e d   i n t o   p a r t i c u l a r   c o l o u r .   T h e   I n t e g r a t i o n   p r o c e s s   w i l l   b e   s t a r t e d   f r o m   r e n d e r i n g   t h e   f a c i a l   e x p r e s s i o n   t h e n   f o l l o w e d   b y   a d j u s t i n g   t h e   v i b r a t i o n   p o w e r   t o   e m o t i o n   v a l u e .   T h e   r e s u l t   t h a t   a c h i e v e d   o n   e x p e r i m e n t ,   i t   s h o w   a r o u n d   7 1 %   s t u d e n t s   a g r e e   w i t h   t h e   c l a s s i f i c a t i o n   o f   m a g n i t u d e   f o r c e   i n t o   e m o t i o n   r e p r e s e n t a t i o n .   R e s p o n d e n t s   c o m m e n t e d   t h a t   h i g h   m a g n i t u d e   f o r c e   c r e a t e   s i m i l a r   s e n s a t i o n   w h e n   r e s p o n d e n t s   f e e l   a n g e r ,   w h i l e   l o w   m a g n i t u d e   f o r c e   i s   m o r e   r e l a x i n g   t o   r e s p o n d e n t s .   R e s p o n d e n t s   a l s o   s a i d   t h a t   h a p t i c   a n d   f a c i a l   e x p r e s s i o n   i s   v e r y   i n t e r a c t i v e   a n d   r e a l i s t i c .       Ke y w o r d s :   a v a t a r ,   e - l e a r n i n g ,   e m o t i o n ,   f a c i a l   e x p r e s s i o n ,   h a p t i c       1 .     I n t r o d u c t i o n   T h e   t h r e e - d i m e n s i o n a l   ( 3 D )   t u t o r i n g   s y s t e m   i s   o n e   o f   a n   i n n o v a t i v e   w a y   t o   c h a n g e   t h e   c o n v e n t i o n a l   t e a c h i n g   m e t h o d s .   H o w e v e r   t h e   r e a l i s t i c   3 D   t u t o r i n g   s y s t e m   r e q u i r e s   a   h u m a n   e l e m e n t   l i k e   e m o t i o n   e x p r e s s i o n   t o   g i v e   i m p r e s s i o n   t o   t h e   u s e r s .   T h e r e f o r e ,   s t u d i e s   o f   a r t i f i c i a l   p s y c h o l o g y   h a v e   b e e n   c o n d u c t e d   t o   c r e a t e   a n   i n t e r f a c e   t h a t   i s   a b l e   t o   s a t i s f y   h u m a n   d u r i n g   t h e i r   i n t e r a c t i o n   w i t h   c o m p u t e r .   H u m a n   r e p r e s e n t a t i o n s   l i k e   v i r t u a l   a s s i s t a n t s   o r   v i r t u a l   h u m a n s   i n   t h e   v i r t u a l   e n v i r o n m e n t   a r e   c o n s i d e r e d   a s   a n   i n t e r f a c e   t h a t   c a n   m a k e   h a r m o n i o u s   r e l a t i o n s h i p s   b e t w e e n   t h e   h u m a n   a n d   t h e   c o m p u t e r   [ 1 ] . T h a t   i s   w h y   a   l o t   o f   e x i s t i n g   a p p l i c a t i o n s   s u c h   a s   S e c o n d   L i f e   o r   g a m e s   l i k e   t h e   S I M S   m a n i p u l a t e   a v a t a r s   i n   t h e i r   s y s t e m s .   B a s e d   o n   t h e   r e s e a r c h   f i n d i n g s ,   t h e   p r e v i o u s   s t u d i e s   a r e   l a c k i n g   o f   p r e s e n c e   i n   t e r m s   o f   v i r t u a l   h u m a n s .   I t   c a n   b e   Evaluation Warning : The document was created with Spire.PDF for Python.
                                      I S S N :   1 6 9 3 - 6 9 3 0   T E L K O M N I K A     V o l .   9 ,   N o .   1 ,     A p r i l   2 0 1 1   :     1 1 5     1 2 4   1 1 6 c a u s e d   b y   s e v e r a l   f a c t o r s   s u c h   a s :   t h e   c o m p l e x i t y   o f   v i r t u a l   h u m a n   m o d e l   i t s e l f   i . e .   e m o t i o n a l   e x p r e s s i o n   [ 1 ] ,   o r   i n c o h e r e n t   a n i m a t i o n   r e a c t i o n   [ 2 ] .   U s u a l l y ,   e m o t i o n   i s   e x p r e s s e d   b y   u s i n g   f a c i a l   e x p r e s s i o n ,   v o i c e   i n t o n a t i o n   o r   e v e n   u s i n g   h a n d   g e s t u r e .   T h e   f a c i a l   e x p r e s s i o n   o f   e m o t i o n   w a s   i n i t i a t e d   b y   [ 3 ]   a n d   t o d a y ,   f a c i a l   e x p r e s s i o n   i s   s t i l l   a   c h a l l e n g i n g   a r e a   t o   b e   e x p l o r e d .   [ 4 ]   h a v e   c r e a t e d   a   s t a n d a r d   g u i d e l i n e   f o r   e m o t i o n a l   f a c i a l   e x p r e s s i o n   o f   h u m a n   n a m e d   f a c i a l   a c t i o n   c o d i n g   s y s t e m s   ( F A C S ) .   I n s i d e   F A C S ,   t h e r e   a r e   a c t i o n   u n i t s   ( A U s )   w h i c h   i s   r e p r e s e n t i n g   p a r t i c u l a r   a r e a   o f   h u m a n   f a c e .   F a c i a l   e x p r e s s i o n   a l s o   t r i g g e r s   f a c i a l   a n i m a t i o n   i m p r o v e m e n t   s u c h   a s   p a r a m a t e r i z e d   f a c i a l   m o d e l   [ 5 ] ,   f a c i a l   r i g g i n g   b a s e d   o n   b l e n d   s h a p e   [ 6 ] ,   f a c i a l   r i g g i n g   u s i n g   c l u s t e r   [ 7 ]   a n d   f a c i a l   r i g g i n g   u s e r s   i n t e r f a c e   [ 8 ] .   H a p t i c s   o r   s e n s e   o f   t o u c h   a t t r a c t s   a t t e n t i o n   t o   b e   e x p l o r e d   -   e s p e c i a l l y   H a p t i c s   t h a t   i s   r e l a t e d   t o   e m o t i o n a l   e x p r e s s i o n   [ 9 ] ,   [ 1 0 ] .   O u r   w o r k   w i l l   u t i l i z e   h a p t i c   t a c t i l e   v i b r a t i o n   a s   a n   e m o t i o n a l   e x p r e s s i o n   o f   v i r t u a l   h u m a n   o r   a v a t a r   t o   g i v e   t h e   u s e r s   m o r e   s e n s a t i o n   d u r i n g   t h e i r   i n t e r a c t i o n s   o r   e v e n   t o   s t i m u l a t e   t h e   u s e r s   t o   b e c o m e   f a m i l i a r   w i t h   v i r t u a l   e n v i r o n m e n t   a n d   i t s   c o n t e n t s .   T h r o u g h   v i b r a t i o n   m a p p i n g   t e c h n i q u e ,   h u m a n   e m o t i o n   c o l o u r   s c h e m e   w i l l   b e   m a p p e d   i n t o   m a g n i t u d e   v i b r a t i o n   f o r c e   t o   s t i m u l a t e   u s e r s   t o   u n d e r s t a n d   p a r t i c u l a r   e m o t i o n a l   e x p r e s s i o n   o f   a v a t a r   s u c h   a s   a n g e r   a n d   h a p p i n e s s .   I f   w e   l o o k   f u r t h e r   i n s i d e   3 D   t u t o r i n g   s y s t e m s ,   t h e r e   a r e   s o m e   p a r t s   s u c h   a s   a v a t a r ,   e n v i r o n m e n t   e t c .   t h a t   c o n t r i b u t e   t o   c r e a t e   r e a l i s t i c   e f f e c t   t o   t h e   v i r t u a l   r e a l i t y   g a m e   i t s e l f .   A v a t a r   b e c o m e s   a   c r u c i a l   p a r t   o f   v i r t u a l   r e a l i t y   g a m e .   R e s e a r c h e r s   t r y   t o   m a k e   v i r t u a l   h u m a n   ( a v a t a r )   t h a t   i s   a b l e   t o   s h o w   a   p a r t i c u l a r   e m o t i o n   u s i n g   f a c i a l   e x p r e s s i o n ,   s o u n d   e f f e c t   a n d   e v e n   w i t h   s e n s e   o f   t o u c h   [ 1 1 - 1 3 ] .   [ 1 2 ]   c r e a t e   v i r t u a l   h u m a n   t h a t   c a n   e x p r e s s   t h e i r   e m o t i o n   u s i n g   b o d y   t o u c h ,   e v e n   s u p p o r t e d   b y   t h e   a l t e r a t i o n   o f   e n v i r o n m e n t   l i k e   h u e   ,   b r i g h t n e s s   a n d   s a t u r a t i o n .   [ 1 3 ]   c o n c e n t r a t e s   o n   h o w   v i r t u a l   h u m a n   c a n   b e h a v e   l i k e   h u m a n   b e i n g   b y   i n c r e a s i n g   t h e i r   a b i l i t y   t o   m a k e   a   m o r e   i n t e r a c t i v e   d i a l o g u e .     P r e v i o u s   r e s e a r c h e r s   l i k e   [ 1 4 ]   d e s c r i b e s   t h a t   n o n   v e r b a l   c o m m u n i c a t i o n   i n   c o l l a b o r a t i v e   v i r t u a l   e n v i r o n m e n t s   ( C V E s )   c a n   b e   c o m m u n i c a t e d   u s i n g   f a c e ,   g a z e ,   g e s t u r e   o r   e v e n   b o d y   p o s t u r e .   N o w ,   r e s e a r c h e r s   a r e   d o i n g   s o m e   e x p a n s i o n   i n   t e r m s   o f   p r o v i d i n g   h u m a n   r e p r e s e n t a t i o n   t o   i n c r e a s e   t h e   i n t e r a c t i o n   a n d   c o m m u n i c a t i o n   b e t w e e n   c o m p u t e r   a n d   h u m a n .   [ 1 ]   a l s o   m e n t i o n s   t h a t   t h e r e   a r e   t w o   m a i n   p r o b l e m s   w i t h   c r e a t i n g   a   v i r t u a l   h u m a n   i . e .   c o n s t r u c t i o n   o f   e m o t i o n   a n d   g e n e r a t i o n   o f   a f f e c t i o n   m o d e l   t o   b e   i m p l e m e n t e d   i n   t h e   v i r t u a l   h u m a n   ( t o   i m p r o v e   t h e i r   p r e s e n t a t i o n ) .   T h e   a v a t a r   d o e s   n o t   o n l y   r e p r e s e n t   h u m a n   i n   t e r m s   o f   p h y s i c a l   r e p r e s e n t a t i o n ,   i t   a l s o   n e e d s   s o m e   b e l i e v a b i l i t y   c o n t e x t .   A c c o r d i n g   t o   [ 1 5 ]   t h e   c u r r e n t   a v a t a r s   n e e d   t o   b e   i m p r o v e d   d u e   t o   t h e i r   l a c k   o f   b e l i e v a b i l i t y .   R o j a s   [ 2 ]   p r o p o s e   i n d i v i d u a l i z a t i o n   m e t h o d   b y   p u t t i n g   p e r s o n a l i t y ,   e m o t i o n   a n d   g e n d e r   i n t o   t h e   a v a t a r .   N e x t ,   t h e   a v a t a r   i s   t u r n e d   i n t o   a   c h a r a c t e r   a n d   a b l e   t o   e x p r e s s   t h e i r   e m o t i o n s   b y   i n v o l v i n g   t h e   a c t   o f   t o u c h i n g   a m o n g   t w o   c h a r a c t e r s   [ 1 2 ] .   O t h e r   r e s e a r c h e r s   l i k e   [ 1 6 ]   m a k e   s o m e   i n n o v a t i o n s   i n   e x p r e s s i n g   t h e   e m o t i o n   o f   v i r t u a l   c h a r a c t e r s   b y   p u t t i n g   a s i d e   b o d y   p a r t s .   T h e y   u s e   e l e m e n t s   l i k e   l i g h t ,   s h a d o w ,   c o m p o s i t i o n   a n d   f i l t e r   a s   t o o l s   f o r   c o n v e y i n g   t h e   c h a r a c t e r s   e m o t i o n .   I n   t e r m s   o f   h u m a n   e m o t i o n   r e s e a r c h   a r e a ,   t h e   b a s i c   h u m a n   e m o t i o n s   h a v e   b e e n   r e c o g n i s e d   a n d   f o r m a t t e d   i n t o   s t a n d a r d   f o r m s .   F o r   e x a m p l e ,   a n   e m o t i o n a l   f a c i a l   e x p r e s s i o n   c a n   b e   d e t e c t e d   f r o m   t h e   e y e s   a n d   l i p s   o f   a   h u m a n   f a c e   [ 3 ] .   O t h e r   r e s e a r c h e r s   t r y   t o   r e c o g n i s e   e m o t i o n s   f r o m   s e v e r a l   w a y s   s u c h   a s ,   c o l o u r   [ 1 7 - 2 0 ] ,   h a p t i c   d e v i c e   [ 9 ] ,   a c o u s t i c   [ 2 1 ] ,   m u s i c   [ 2 2 ]   a n d   d a n c e   m o v e m e n t   [ 2 3 ] .   A c c o r d i n g   t o   o u r   p r e l i m i n a r y   d a t a   c o l l e c t i o n   i n t o   s e n i o r   h i g h   s c h o o l   a t   M a l a y s i a ,   m o s t   o f   t h e m   s t i l l   n o t   f a m i l i a r   w i t h   t h e   3 D   t u t o r i n g   s y s t e m   a n d   w h e n   t h e y   h a v e   b e e n   i n t r o d u c e d   i n t o   s o m e   e x i s t i n g   3 D   t u t o r i n g   s y s t e m s   t h e y   s t i l l   n o t   s o   e x c i t e d .   B a s e d   o n   t h i s   f a c t ,   w e   h a v e   p r o p o s e d   a   n e w   a n d   i n n o v a t i v e   s o l u t i o n   b y   i n t e g r a t i n g   t h r e e   o f   h u m a n   s e n s e s   i n t o   m u l t i m o d a l   e x p r e s s i o n   ( v i s u a l   a n d   h a p t i c )   w h i c h   i s   c a l l e d   a s   E m o - A v t o r .   T h e   p r o p o s e d   s y s t e m   a l s o   f a c i l i t a t e   u s e r   w i t h   d i f f e r e n t   i n t e r a c t i o n   t o   h e l p   t h e m   d u r i n g   c o m m u n i c a t i o n   p r o c e s s   w i t h   E m o - A v t o r .   T h e   m o t i v a t i o n   o f   r e s e a r c h   o n   t h i s   p a p e r   i s   a l s o   i n s p i r e d   b y   h a p t i c   a b i l i t y   t h a t   c a n   g i v e   d i f f e r e n t   s e n s a t i o n   c o m p a r e d   t o   v i s u a l   s t i m u l a t i o n   a n d   h a p t i c   s t i m u l a t i o n .   A s   w e   m e n t i o n e d   b e f o r e ,   m o s t   u s e r s   a r e   m u c h   n o t   a f f e c t e d   b y   f a c i a l   e x p r e s s i o n   o f   a v a t a r   b e c a u s e   t h e y   c a n   o n l y   s e e   t h e   c h a n g e s   o f   a v a t a r   f a c i a l   e x p r e s s i o n   a n d   v a r i o u s   t o n e   o f   v o i c e   i n t o n a t i o n .   T h e s e   s i t u a t i o n s   m o t i v a t e   u s   t o   m a k e   a   b r i d g e   b e t w e e n   a v a t a r   a n d   u s e r   ( h u m a n )   w h e n   t h e y   c o m m u n i c a t i n g   e a c h   o t h e r .         2 .     R e s e a r c h   M e t h o d   F i g u r e   1   i s   o u r   s y s t e m   d e m o n s t r a t i o n   t o   S e n i o r   h i g h   s c h o o l   a t   M a l a y s i a .   M o s t   o f   t h e m   i s   v e r y   e x c i t e d   w h e n   t h e y   i n t e r a c t i n g   w i t h   o u r   s y s t e m .   E m o - A v t o r   i s   a n   i n t e g r a t i o n   o f   t w o   h u m a n   Evaluation Warning : The document was created with Spire.PDF for Python.
T E L K O M N I K A     I S S N :   1 6 9 3 - 6 9 3 0       I n t e l l i g e n t   A v a t a r   o n   E - L e a r n i n g   u s i n g   F a c i a l   E x p r e s s i o n   a n d   .   ( A h m a d   H o i r u l   B a s o r i )   1 1 7   s e n s e s :   v i s u a l   a n d   h a p t i c .   H a p t i c   i s   r e q u i r i n g   p r e p r o c e s s i n g   t o   c l a s s i f y   t h e   m a g n i t u d e   f o r c e   i n t o   s u i t a b l e   r a n g e   f o r   e m o t i o n   e x p r e s s i o n .   T h e   c l a s s i f i c a t i o n   i s   b a s e d   o n   c o l o u r   t h e o r y   w h i c h   i s   m a p p i n g   t h e   h u m a n   e m o t i o n   c h a r a c t e r i s t i c   i n t o   R G B   m o d e ,   a n d   t h e n   R G B   p r o p e r t y   w i l l   b e   c o n v e r t e d   i n t o   m a g n i t u d e   f o r c e   o f   v i b r a t i o n .   W h y   t h e   m a p p i n g s   n e e d   t o   b e   p a s s e d   t h r o u g h   R G B   n o t   d i r e c t l y   f r o m   e m o t i o n   i n t o   m a g n i t u d e   f o r c e ?   T h i s   i s   d u e   t o   t h e   p r e v i o u s   r e s e a r c h   o n   m a g n i t u d e   f o r c e   o n l y   t o u c h   t h e   h u m a n   r e s p o n s e   n o t   s p e c i f i c   t o   t h e   e m o t i o n   t y p e s .   T h a t s   w h y   w e   d o   m a p p i n g   p r o c e s s   t h r o u g h   c o l o u r   w h i c h   i s   c o n t a i n   e m o t i o n   v a l u e   a n d   m a t c h i n g   t h e   c o l o u r   v a l u e   o f   m a g n i t u d e   f o r c e   t o   c h e c k   w h e t h e r   t h e   m a p p i n g   p r o c e s s   i s   r i g h t   o r   n o t .     T h e   i n p u t   o f   E m o - A v t o r   i s   o b t a i n e d   f r o m   t w o   m a i n   s o u r c e s :   F i r s t   i s   m i n d   c o n t r o l l e r   t h a t   w i l l   r e a d   t h e   u s e r   b r a i n   a c t i v i t y   d u r i n g   t h e   i n t e r a c t i o n   w i t h   E m o - A v t o r   a n d   i t   w i l l   c h a n g e   t h e   a v a t a r   e m o t i o n   e x p r e s s i o n   i n   r e a l   t i m e .   T h i s   m e a n   w h e n   u s e r   e x p r e s s   a n g e r   t h e n   a v a t a r   w i l l   d o   t h e   s a m e   e x p r e s s i o n   ( a n g e r ) .   T h e   s e c o n d   i n p u t   i s   c o m e   f r o m   5 D T   g l o v e   w h i c h   i s   a b l e   t o   r e a d   t h e   m o v e m e n t   o f   f i n g e r .   T h e r e   a r e   t w o   s h a p e   o f   h a n d   g e s t u r e   t h a t   a b l e   t o   b e   r e c o g n i z e d   i n   t h i s   s y s t e m .   O n e   i s   c r e a t i n g   f i s t   s h a p e   ( a n g e r )   a n d   t h e   o t h e r   o n e   i s   s h o w   u p   t h e   t h u m b   ( h a p p i n e s s ) .   O n   t h e   o t h e r   h a n d ,   t h e   o u t p u t   o f   E m o - A v t o r   i s   d i s p l a y e d   t h r o u g h   t h e   a v a t a r   w h i c h   i s   a b l e   t o   e x p r e s s   t h e i r   e m o t i o n   t h r o u g h   v i s u a l   a n d   h a p t i c .   F u r t h e r m o r e ,   w e   a l s o   c o n t r i b u t e   o n   d e s i g n i n g   a n d   t e s t i n g   w e a r a b l e   h a p t i c   t o   g i v e   u s e r   i n c r e d i b l y   r e a l i s t i c   e m o t i o n   s e n s a t i o n .   F i g u r e   2   d e s c r i b i n g   t h e   o v e r a l l   a r c h i t e c t u r e   o f   E m o - A v t o r   s y s t e m .       F i g u r e   1 .   D e m o   a n d   t e s t i n g   t o   s e n i o r   h i g h   s c h o o l   s t u d e n t s                                                                   F i g u r e   2 .   E m o - A v t o r   a r c h i t e c t u r e       P r e - p r o c e s s i n g   p h a s e   i s   o n l y   u s e d   o n c e   a t   t h e   f i r s t   t i m e   t o   g e n e r a t e   t h e   a p p r o p r i a t e   m a g n i t u d e   f o r c e   f o r   e a c h   e m o t i o n s   a n d   i t   a l s o   e v a l u a t e d   a c c o r d i n g   t o   t h e   e m o t i o n   c o n d i t i o n .   T h i s   d a t a   w i l l   b e   u s e d   f o r   t h e   f a c i a l   e x p r e s s i o n   r e a l   t i m e   s i m u l a t i o n .                 O u t p u t     A v a t a r   w i t h   F a c i a l   E x p r e s s i o n ,   A c o u s t i c   i n t o n a t i o n   a n d   H a p t i c   M a g n i t u d e   F o r c e       P r e p r o c e s s i n g   S t a g e     C a l c u l a t e   c o n s t a n t   f a c t o r   ( f ) ,   f r o m   c o l o u r   R G B   t o   m a g n i t u d e   f o r c e   M a p p i n g   m a g n i t u d e   f o r c e   a c c o r d i n g   t o   c o n s t a n t   f a c t o r   C o m p a r e   c o l o u r   f r o m   m a p p i n g   r e s u l t   t o   e m o t i o n   c h a r a c t e r i s t i c   C r e a t e   c l a s s i f i c a t i o n   t a b l e   f o r   m a g n i t u d e   f o r c e   a c c o r d i n g   t o   e m o t i o n   b e h a v i o u r   I n p u t                 N i a   M i n d   C o n t r o l l e r   5 D T   G l o v e   F a c i a l   Ex p r e s s i o n   G e n e r a t o r   C o m b i n e   e a c h   a c t i o n   u n i t s   t o   p e r f o r m   p a r t i c u l a r   e m o t i o n   e x p r e s s i o n   R e n d e r   f a c i a l   e x p r e s s i o n   D i v i d e   r e g i o n   o f   f a c e   i n t o   s e v e r a l   a c t i o n   u n i t s   ( A U s )   A c o u s t i c   Ef f e c t   G e n e r a t o r   P r e p a r e   . w a v   f i l e   f o r   a n g e r   a n d   h a p p i n e s s   e m o t i o n   C o n t r o l   s o u n d   v o l u m e   i n t o n a t i o n   a c c o r d i n g   t o   e m o t i o n   s i t u a t i o n   S Y S T E M   A R C H I T E C T U R E     Evaluation Warning : The document was created with Spire.PDF for Python.
                                      I S S N :   1 6 9 3 - 6 9 3 0   T E L K O M N I K A     V o l .   9 ,   N o .   1 ,     A p r i l   2 0 1 1   :     1 1 5     1 2 4   1 1 8 2 . 1     C a l c u l a t i o n   o f   C o n s t a n t   f a c t o r   ( f )   a n d   M a p p i n g   M a g n i t u d e   F o r c e   F r o m   p r e v i o u s   s t u d y   v i b r a t i o n   f r e q u e n c y   c a n   b e   c l a s s i f i e d   i n t o   c e r t a i n   r a n g e s   o f   m a g n i t u d e   f o r c e .   T o   p l o t   t h e   g i v e n   v i b r a t i o n   f r e q u e n c y   i n t o   e m o t i o n ,   i t   n e e d s   t h e   f o l l o w i n g   e q u a t i o n   w h e r e   t h e   c o n s t a n t   f a c t o r   ( f )   d e n o t e s   c o l o u r   a n d   v i b r a t i o n .   W h e n   t h e   i n t e n s i t y   o f   r e d   c o l o u r   n e e d s   t o   b e   c h a n g e d ,   t h i s   m e a n s   t h a t   R G B   v a l u e   o f   r e d   i s   h o l d   i n   2 5 5   a n d   h u e = 0   w h i l e   s a t u r a t i o n   i s   m o v e d   f r o m   1 0 0 %   t o   0 %   w h e r e a s   R G B   v a l u e   g r e e n   a n d   b l u e   i s   m o v e d   f r o m   0   t o   2 5 5 .   T h e   m a t h e m a t i c a l   f o r m u l a   b e l o w   i s   p r o d u c e d   b y   i n v e s t i g a t i n g   t h e   c o l o u r   a n d   v i b r a t i o n   b e h a v i o u r .     m a x m a x V f R G B =   ( 1 )     2 5 5 ) V c o l o u r f x R G B b l u e i i = -   ( 2 )     n o t e :     f   =   v a r i a b l e   f o r   c o n s t a n t   V m a x   =   m a x i m u m   v a l u e   f o r   v i b r a t i o n   ( 1 0 0 0 0 )   R G B m a x   =   m a x i m u m   R G B   v a l u e   f o r   R e d ,   G r e e n   o r   B l u e   C o l o u r   ( 2 5 5 )   f   =   1 0 0 0 / 2 5 5   =   3 9 . 2 1       2 . 2   C a l c u l a t i o n   o f   C o n s t a n t   f a c t o r   ( f )   a n d   M a p p i n g   M a g n i t u d e   F o r c e   T h e   c o n v e r s i o n   p r o c e s s   i s   i l l u s t r a t e d   i n   F i g u r e   3 ,   w h e r e   v i b r a t i o n   m a g n i t u d e   p o w e r   i n c r e a s e s   o r   d e c r e a s e s   l i n e a r l y   a c c o r d i n g   t o   c o l o u r   i n t e n s i t y .   T h e   a d j u s t m e n t   o f   c o l o u r   i n t e n s i t y   w i l l   a f f e c t   t h e   v i b r a t i o n   p o w e r .           F i g u r e   3 .     F l o w   f o r   m a p p i n g   c o l o r   t o   v i b r a t i o n       B a s e d   o n   m a t h e m a t i c a l   f o r m u l a   i n   ( 1 )   a n d   ( 2 ) ,   t h e   c l a s s i f i c a t i o n   o f   e m o t i o n   a c c o r d i n g   t o   m a g n i t u d e   f o r c e   i s   l i s t e d   i n   T a b l e   1 .   I n   T a b l e   1 ,   t h e   e m o t i o n   c a n   b e   m a p p e d   i n t o   m a g n i t u d e   f o r c e   v a l u e   b y   t r a n s f e r r i n g   t h e   e m o t i o n   i n   c o l o u r   p e r c e p t i o n   i n t o   m a g n i t u d e   f o r c e .   H i g h   m a g n i t u d e   f o r c e   m o r e   t h a n   5 0 0 0   i s   p o t e n t i a l   f o r   c a r r y i n g   t h e   a n g e r   e m o t i o n   a n d   m a g n i t u d e   f o r c e   l o w e r   t h a n   5 0 0 0   i s   s i m i l a r   t o   h a p p i n e s s   e m o t i o n   c h a r a c t e r i s t i c s .   T h e   r e s u l t   a l s o   m a t c h e s   w i t h   t h e   p r e v i o u s   r e s e a r c h   [ 1 7 - 2 0 ]   w h i c h   d e s c r i b e d   t h e t   r e d   c o l o u r   i s   a b l e   t o   r e p r e s e n t   n e g a t i v e   e . g .   a n g e r   a n d   p o s i t i v e   e m o t i o n   e . g   h a p p i n e s s .   B y   a p p l y i n g   t h e   f o r m u l a ,   w e   s u c c e s s f u l l y   c r e a t e   t h e   c o n v e r s i o n   p r o c e d u r e   f r o m   c o l o u r   v a l u e   i n t o   v i b r a t i o n   p o w e r .   W e   f o u n d   t h a t   t h e   s p e e d   o f   V i b r a t i o n   i n c r e a s e   a l o n g   w i t h   c o l o u r   Evaluation Warning : The document was created with Spire.PDF for Python.
T E L K O M N I K A     I S S N :   1 6 9 3 - 6 9 3 0       I n t e l l i g e n t   A v a t a r   o n   E - L e a r n i n g   u s i n g   F a c i a l   E x p r e s s i o n   a n d   .   ( A h m a d   H o i r u l   B a s o r i )   1 1 9   m o t o r   r u m - b l e   i n c r e a s e s   l i n e a r l y   w i t h   v i b r a t i o n   f r e q u e n c y   a s   w e l l .   F o r   e x a m p l e ,   a n g e r   e m o t i o n   w i l l   t r i g g e r   h i g h   s p e e d   w h i c h   p r o v e s   t h e   i n i t i a l   e x p e r i m e n t   c o n d u c t e d   b y   B a i l e n s o n   [ 9 ] .       T a b l e   1 .   C o n v e r s i o n   f r o m   e m o t i o n   i n t o   v i b r a t i o n   p o w e r   b a s e d   o n   c o l o u r   t h e o r y   R G B   C o l o u r   V a l u e   M a g n i t u d e   F o r c e   B a s e d   o n   C o l o u r   i n t e n s i t y     C o l o u r   E m o t i o n   v a l u e   H   S   V   R   G   B                     0   8   1 0 0   2 5 5   2 3 4   2 3 4   8 2 3 . 5 3 6         0   1 6   1 0 0   2 5 5   2 1 5   2 1 5   1 5 6 8 . 6 4       0   2 6   1 0 0   2 5 5   1 9 0   1 9 0   2 5 4 9 . 0 4       0   3 7   1 0 0   2 5 5   1 6 2   1 6 2   3 6 4 7 . 0 8 8       0   4 6   1 0 0   2 5 5   1 3 7   1 3 7   4 6 7 2 . 4 8 8       0   5 7   1 0 0   2 5 5   1 1 0   1 1 0   5 6 8 6 . 3 2       0   6 6   1 0 0   2 5 5   8 5   8 5   6 6 6 6 . 7 2     0   7 7   1 0 0   2 5 5   6 0   6 0   7 6 4 7 . 1 2       0   8 6   1 0 0   2 5 5   3 5   3 5   8 6 2 7 . 5 2       0   1 0 0   1 0 0   2 5 5   0   0   1 0 0 0 0 . 0 8         n o t e :       R :   r e d ,   G :   g r e e n ,   B :   b l u e                               H :   h u e ,   S :   s a t u r a t i o n ,   V :   v a l u e       2 . 3   T h e   v a l i d a t i o n   o f   m a g n i t u d e   f o r c e   e f f e c t   t o   h u m a n   b o d y   T h e   u s e d   j o y s t i c k   i n   o u r   e x p e r i m e n t   h a s   t wo   m o t o r   r u m b l e s   wh i c h   a r e   a b l e   t o   p r o d u c e   c e r t a i n   m a g n i t u d e   f o r c e   a n d   f r e q u e n c y .   T h e   h a p t i c   i n   t h i s   s t u d y   i s   c a l l e d   we a r a b l e   h a p t i c   wh i c h   i s   p l a c e d   i n   t h e   j a c k e t   a n d   i t s   c o n t r o l l e d   wi r e l e s s l y   a s   s h o wn   i n   F i g u r e   4 .   T h e   s u b s e c t i o n   wi l l   p r o v e   e m p i r i c a l l y   t h e   e f f e c t   o f   m a g n i t u d e   v i b r a t i o n   p o we r   o f   j o y s t i c k   t o   t h e   h u m a n   a s   we l l   a s   t o   p r o v e   t h e   r e l a t i o n   b e t we e n   m a g n i t u d e   f o r c e   a n d   h u m a n   e m o t i o n .   J o y s t i c k h a s   m a g n i t u d e   f o r c e s   i . e .   t h e   f o r c e   a b l e   t o   p r o d u c e   c e r t a i n   r o t a t i o n a l   s p e e d   o r   v e l o c i t y   ( V )   a n d   a c c e l e r a t i o n   ( A ) .   T h e r e   a r e   s e v e r a l   p h y s i c s   f o r m u l a s   t h a t   a r e   v e r y   i m p o r t a n t   t o   t h i s   e x p e r i m e n t .   A c c o r d i n g   t o   i n v e s t i g a t i o n   o n   j o y s t i c k   f o r   t h e   t h e s i s ,   t h e   j o y s t i c k   u s e d   i s   x b o x   w i n d o w s   c o n t r o l l e r   a n d   T e y s u n   J o y s t i c k .   A l l   r e g u l a r   j o y s t i c k s   h a v e   t h e   s a m e   s i z e   o f   m o t o r   r u m b l e s .       2 ( ) 2 V e l o c i t y V r f r r T p w p = ´ = ´ = ´   ( 3 )   ( ) ( ) 2 2 ( ) 2 A c c e l e r a t i o n A X f X w p = ´ = ´   ( 4 )   . . ( . . ) 2 A r m s M a g n i t u d e r m s A =   ( 5 )     n o t e :   f = f r e q u e n c y   o f   j o y s t i c k   T =   d u r a t i o n   o r   p e r i o d       X = d i s p l a c e m e n t ,   t h e   d i s t a n c e   o f   b o d y   o r   h a n d   f r o m   r o t a t i o n a l   s o u r c e   r =   r a d i u s   o f   m o t o r   r u m b l e   ω = a n g u l a r   v e l o c i t y   V   i n   S I   u n i t   i s   s y m b o l i z e d   w i t h   m e t r e   p e r   s e c o n d   ( m s - 1 )   A   i n   S I   u n i t   i s   s y m b o l i z e d   w i t h   m e t r e   p e r   s e c o n d   ( m s - 2 )   M e a n   m a g n i t u d e   o r   r . m . s   M a g n i t u d e   i n   s y m b o l i z e d   w i t h   r o o t   m e a n   s q u a r e   m e t r e   p e r   s e c o n d   ( m s - 2 r . m . s )   Evaluation Warning : The document was created with Spire.PDF for Python.
                                      I S S N :   1 6 9 3 - 6 9 3 0   T E L K O M N I K A     V o l .   9 ,   N o .   1 ,     A p r i l   2 0 1 1   :     1 1 5     1 2 4   1 2 0 T h e   e x p e r i m e n t   i s   c o n d u c t e d   b y   c a l c u l a t i n g   t h e   n u m b e r   o f   r o t a t i o n   o f   m o t o r   r u m b l e s   i n   s o m e   p e r i o d s   o f   t i m e .   B i g   m o t o r   r u m b l e   h a s   t h e   c h a r a c t e r i s t i c s   o f   p r o d u c i n g   h a r d   v i b r a t i o n   a n d   s t r o n g   s e n s a t i o n ,   w h i l e   s m a l l   m o t o r   r u m b l e   t e n d s   t o   g e n e r a t e   s m o o t h   s e n s a t i o n .   T h e   t w o   m o t o r   r u m b l e s   c a n   b e   r o t a t e d   s i m u l t a n e o u s l y   t o   g e n e r a t e   s t r o n g   v i b r a t i o n .   T h e   n u m b e r   o f   r o t a t i o n   w i l l   r e v e a l   v e l o c i t y ,   f r e q u e n c y   a n d   a c c e l e r a t i o n   o f   t h e   j o y s t i c k .   B a s e d   o n   t h e   r . m . s   a c c e l e r a t i o n ,   t h e   v i b r a t i o n   w i l l   e x p o s e   t h e   u n p l e a s a n t   a n d   p l e a s a n t   f e e l i n g   t o   h u m a n .   T h e   o u t c o m e   w i l l   p r o v i d e   e m p i r i c a l   e v i d e n c e   t o   s t r e n g t h e n   t h e   m a p p i n g   t e c h n i q u e .           F i g u r e     4 .   W e a r a b l e   h a p t i c   w i t h   f o u r   h a p t i c   d e v i c e s   a t t a c h e d   t o   t h e   j a c k e t       T a b l e   2   A c c e l e r a t i o n   o f   b i g   a n d   s m a l l   m o t o r   r u m b l e   M a g n i t u d e   F o r c e   r . m . s   A   ( s m a l l )   r . m . s   A   ( B i g )   T o t a l   r . m . s   A   S t d D e v     r . m . s     m e a n   A   1 0 0 0 0   0 . 7 8   0 . 5 0   1 . 2 8   0 . 2 0   9 0 0 0   0 . 6 5   0 . 4 5   1 . 0 9   0 . 1 4   8 0 0 0   0 . 4 8   0 . 3 9   0 . 8 8   0 . 0 6   7 0 0 0   0 . 4 1   0 . 3 3   0 . 7 4   0 . 0 6   6 0 0 0   0 . 3 5   0 . 2 0   0 . 5 5   0 . 1 1   5 0 0 0   0 . 2 9   0 . 1 4   0 . 4 3   0 . 1 0   4 0 0 0   0 . 2 3   0 . 0 7   0 . 3 1   0 . 1 1   3 0 0 0   0 . 1 3   0 . 0 1   0 . 1 4   0 . 0 9   2 0 0 0   0 . 0 1   0 . 0 0   0 . 0 1   0 . 0 1   1 0 0 0   0 . 0 0   0 . 0 0   0 . 0 0   0 . 0 0               T a b l e   2   l i s t s   t h e   a c c e l e r a t i o n   o f   b i g   a n d   s m a l l   m o t o r   r u m b l e s   a n d   t h e   t o t a l   A   a n d   r . m . s .   A   i s   c o n s i d e r e d   a s   a   p a r a m e t e r   f o r   e v a l u a t i n g   t h e   e f f e c t   o f   v i b r a t i o n   t o   h u m a n   a n d   i t s   r e l a t i o n s h i p   w i t h   e m o t i o n   c h a r a c t e r i s t i c s .   A c c o r d i n g   t o   t h e   s t a n d a r d   d e v i a t i o n   o f   m e a n   A   f r o m   b i g   m o t o r   a n d   s m a l l   m o t o r ,   t h e   l o n g e s t   d i s p e r s i o n   o f   m e a n   A   i s   0 . 2 9   a n d   0 . 2 0   f o r   r . m . s   A .   F i g u r e   5   i s   a n   i l l u s t r a t i o n   o f   A c c e l e r a t i o n   b e h a v i o u r   o f   b o t h   m o t o r   r u m b l e s   o f   j o y s t i c k ,   t o t a l   o f   m e a n   A   a n d   t o t a l   r . m . s   A   a n d   s t a n d a r d   d e v i a t i o n   b e t w e e n   b o t h   o f   t h e m .   T h e   g r a p h   o f   t o t a l   m e a n   A   i s   d i f f e r e n t   f r o m   t h e   o t h e r s   a s   i t   r i s e s   r a p i d l y   s i n c e   t h e   s t a r t i n g   p o i n t   b e c a u s e   t h e   t o t a l   m e a n   A   i s   t h e   s u m   o f   m e a n   A   b i g   m o t o r   a n d   s m a l l   m o t o r .   T h e   o t h e r   g r a p h   t h a t   i s   c l o s e l y   s i m i l a r   i s   t h e   t o t a l   r . m . s   A   w i t h   m e a n   A   w h e r e   r . m . s   A   r e a c h e s   a   p e a k   w i t h   1 . 2 8   m s - 2   r . m . s   a n d   i t   d e c r e a s e s   u n t i l   z e r o .   T h i s   r e s u l t   n e e d s   t o   b e   c o m p a r e d   w i t h   t h e   p r e v i o u s   r e s u l t   t o   p r o v e   t h e   s i m i l a r i t y   b e h a v i o u r   o f   v i b r a t i o n   e f f e c t   a n d   e m o t i o n   c l a s s i f i c a t i o n .   T h e r e   a r e   n u m e r o u s   p r e v i o u s   r e s e a r c h e r s   w h o   h a v e   d e s c r i b e d   t h e   i m p l i c a t i o n   o f   v i b r a t i o n   t o   h u m a n .   O b o r n e   a n d   C l a r k e   ( 1 9 7 4 )   i n   [ 2 4 ]   h a v e   c l a s s i f i e d   t h e   v i b r a t i o n   b a s e d   o n   m e a n   m a g n i t u d e   a n d   s e m a n t i c   s c a l e s .   ·   M e a n   m a g n i t u d e   ( m s - 2 r . m . s ) :   > 2 . 3   v e r y   u n c o m f o r t a b l e   ·   M e a n   m a g n i t u d e   ( m s - 2 r . m . s ) :   1 . 2 - 2 . 3   U n c o m f o r t a b l e   ·   M e a n   m a g n i t u d e   ( m s - 2 r . m . s ) :   0 . 5 - 1 . 2   F a i r l y   U n c o m f o r t a b l e   F a i r l y   C o m f o r t a b l e                       ·   M e a n   m a g n i t u d e   ( m s - 2 r . m . s ) :   0 . 2 3 - 0 . 5   C o m f o r t a b l e   ·   M e a n   m a g n i t u d e   ( m s - 2 r . m . s ) : < 0 . 2 3   V e r y   C o m f o r t a b l e   A c c o r d i n g   t o   t h e   r e s u l t   i n   T a b l e   2 ,   i t   h a s   b e e n   d e s c r i b e d   t h a t   t h e   t o t a l   r . m . s   A   i s   a b l e   t o   r e a c h   t h e   p e a k   u n t i l   1 . 2 8   m s - 2 r . m . s .   W h e n   i t   i s   c o m p a r e d   t o   t h e   s e m a n t i c   r e s u l t   f r o m   O b o r n e   a n d   c l a r c k   ( 1 9 7 4 ) ,   t h e   r e s u l t   s h o w s   a   s t r o n g   r e l a t i o n s h i p   w i t h   e m o t i o n   c l a s s i f i c a t i o n   w i t h   t h e   Evaluation Warning : The document was created with Spire.PDF for Python.
T E L K O M N I K A     I S S N :   1 6 9 3 - 6 9 3 0       I n t e l l i g e n t   A v a t a r   o n   E - L e a r n i n g   u s i n g   F a c i a l   E x p r e s s i o n   a n d   .   ( A h m a d   H o i r u l   B a s o r i )   1 2 1   m a g n i t u d e   f o r c e   a b o v e   5 0 0 0   i s   p o t e n t i a l   t o   c a r r y   f a i r l y   u n c o m f o r t a b l e   a n d   u n c o m f o r t a b l e   f e e l i n g   t o   h u m a n .         F i g u r e   5 .   A c c e l e r a t i o n   g r a p h   f o r   b i g   a n d   s m a l l   m o t o r   r u m b l e s .       T h i s   u n c o m f o r t a b l e   f e e l i n g   i s   s i m i l a r   w i t h   a n g e r   e m o t i o n   b e h a v i o u r   w h i c h   m a k e s   h u m a n   f e e l   u n p l e a s a n t   i . e .   a n n o y   t o   t h e m .   W h i l e   t h e   M a g n i t u d e   F o r c e   o f   5 0 0 0   a n d   b e l o w   a r e   p r o s p e c t i v e   t o   i l l u s t r a t e   t h e   b e h a v i o u r   o f   h a p p i n e s s   e m o t i o n   w h i c h   c a u s e s   v e r y   c o m f o r t a b l e   o r   p l e a s a n t   f e e l i n g   t o   h u m a n .   W i t h   t h e   r e s u l t s   p r o p o s e d   i n   t h i s   c h a p t e r ,   t h e   g o a l   o f   p r o d u c i n g   e m o t i o n - v i b r a t i o n   m a p p i n g   t e c h n i q u e   s u c c e e d s   a n d   p r o v e s   t h a t   t h e   p r o p o s e d   t e c h n i q u e   i s   a b l e   t o   m a p   t h e   e m o t i o n   i n t o   m a g n i t u d e   f o r c e   o f   v i b r a t i o n   a n d   i t   a l s o   p r o v e s   t h a t   t h e   c l a s s i f i e d   t e c h n i q u e   i s   s u i t a b l e   t o   e m o t i o n   c h a r a c t e r i s t i c s   s u c h   a s   a n g e r   a n d   h a p p i n e s s .   T h i s   r e s u l t   i s   a l s o   s u p p o r t e d   b y   B a i l e n s o n   e t   a l   [ 9 ]   t h a t   a n g e r   h a s   m o r e   s p e e d   i . e .   f a s t e r   t h a n   h a p p i n e s s .       3 .   R e s u l t s   a n d   D i s c u s s i o n   T h i s   s t u d y   h a s   r e c r u i t e d :   8   m a l e   a n d   1 3     f e m a l e   t h a t   c o m e s   f r o m   u n d e r g r a d u a t e ,   p o s t   g r a d u a t e   s t u d e n t   ( M a s t e r   a n d   P h D) .   E a c h   s t u d e n t   i s   r e q u i r e d   t o   m a k e   i n t e r a c t i v e   i n t e r a c t i o n   wi t h   s y s t e m   a n d   a f t e r   i n t e r a c t i o n   s t u d e n t   wi l l   b e   a s k e d   t o   a n s we r   s o m e   q u e s t i o n s   i n   q u e s t i o n n a i r e .   Q u e s t i o n   wi l l   b a s e   o n   d a t a   p r o f i l e ,   e m o t i o n   b a c k g r o u n d ,   e x p e r i e n c e   e m o t i o n ,   i n t e r a c t i o n ,   a n d   b e n c h m a r k i n g .   F i g u r e   6   s h o t h a t   1 5   u s e r s   s t r o n g l y   a g r e e   t h a t   e m o t i o n   e x p r e s s i o n   c a n   b e   r e p r e s e n t e d   b y   m a g n i t u d e   f o r c e   o f   v i b r a t i o n .   T h e   s u r p r i s i n g   r e s u l t   c o m e s   f r o m   u s e r s   r a t i n g   t h a t   h i g h   v i b r a t i o n   i s   e q u i v a l e n t   t o   a n g e r   e m o t i o n ;   t h i s   o u t c o m e   i s   s i m i l a r   t o   o u r   a p p r o a c h   r e s u l t   o n   T a b l e   2   t h a t   a n g e r   c a n   b e   r e p r e s e n t e d   wi t h   h i g h   m a g n i t u d e   f o r c e .           n o t e :   V V E   :   U s e r   a g r e e a b l e   r a t e   o n   v i b r a t i o n   a s   e m o t i o n   e x p r e s s i o n   H V A   :   U s e r   a g r e e a b l e   r a t e   o n   H i g h   v i b r a t i o n   e q u i v a l e n t   t o   a n g e r   b e h a v i o u r   H V H   :   U s e r   a g r e e a b l e   r a t e   o n   H i g h   v i b r a t i o n   e q u i v a l e n t   t o   h a p p i n e s s   b e h a v i o r     F i g u r e   6 .   U s e r   r a t i n g   r a n k i n g   e m o t i o n   r e p r e s e n t a t i o n   s t r e n g t h   Evaluation Warning : The document was created with Spire.PDF for Python.
                                      I S S N :   1 6 9 3 - 6 9 3 0   T E L K O M N I K A     V o l .   9 ,   N o .   1 ,     A p r i l   2 0 1 1   :     1 1 5     1 2 4   1 2 2 T h e   o t h e r   u s e r   i n t e r a c t i o n   w i t h   o u r   p r o p o s e d   s y s t e m   i s   s h o w n   i n   F i g u r e   7 .   T h e   u s e r s   i n t e r a c t   w i t h   a v a t a r   t o   c h a n g e   t h e   f a c i a l   e x p r e s s i o n   o f   t h e   a v a t a r ,   t h e n   a v a t a r   w i l l   g i v e   f e e d b a c k   t o   u s e r   u s i n g   t h e i r   f a c i a l   e x p r e s s i o n ,   v o i c e   a n d   m a g n i t u d e   f o r c e   o f   v i b r a t i o n   t h r o u g h   j o y s t i c k .           F i g u r e   7 .   U s e r   I n t e r a c t i o n   w i t h   t h e   a v a t a r   u s i n g   h a p t i c   d e v i c e .       T h i s   g l o v e   i s   d e s i g n e d   f o r   c o n t r o l l i n g   t h e   i n t e n s i t y   o f   f a c i a l   e x p r e s s i o n   o f   3 D   a v a t a r   b y   m o v i n g   t h e   f i n g e r   i n t o   f a s t i d i o u s   p o s i t i o n   e . g .   i f   u s e r   i s   t r y i n g   t o   m a k e   a   f i s t   b y   g l o v e ,   i t   w i l l   b e   i n t e r p r e t e d   a s   a n g e r   e m o t i o n   t h e n   t h e   a v a t a r   w i l l   c h a n g e   s i m u l t a n e o u s l y .   T h e   a v a t a r   e m o t i o n   i s   s h o w n   b y   f a c i a l   e x p r e s s i o n   t h a t   c o n t r o l   t h r o u g h   A c t i o n   U n i t s   a r o u n d   f a c i a l   a r e a .   I n   t e r m   o f   r e a d i n g   t h e   s i g n a l   f r o m   i n d   c o n t r o l l e r ,   t h e r e   a r e   s e v e r a l   p a r a m a e t e r   t h a t   u s e d   i n   t h i s   s t u d y .   T h o s e   p a r a m e t e r s   a r e   A l p h a   ( 1 ,   2 ,   3 )   a n d   B e t a   ( 1 ,   2 ,   3 )   a s   t h e   i n d i c a t o r   o f   b r a i n   a c t i v i t y .   T h e   s i g n a l   o f   A l p h a   a n d   B e t a   i s   d i v i d e d   i n t o   f o u r   m a i n   z o n e s   i . e .   Z 1 ,   Z 2 ,   Z 3 ,   a n d   Z 4 .   T h e   b r a i n   s i g n a l   w i l l   b e   d i v i d e d   i n t o   t h e s e   f o u r   z o n e s .   Z 1   a n d   Z 2   a r e   a s s o c i a t e d   w i t h   h a p p y   e m o t i o n s   w h i l e   Z 3   a n d   Z 4   i s   a s s o c i a t e d   w i t h   a n g e r ;   t h e   d i f f e r e n c e   b e t w e e n   b o t h   o f   t h e m   i s   t h e   s t r e n g t h   o f   t h e   e m o t i o n .   I f   b r a i n   a c t i v i t y   r e m a i n s   s t r o n g   u n t i l   t h e   s i g n a l   e n t e r   Z 2   z o n e ,   i t   i s   c o n s i d e r e d   a s   a   v e r y   s t r o n g   h a p p i n e s s .   F u r t h e r m o r e ,   5 D T   g l o v e   w i l l   a l s o   c a l c u l a t e   t h e   i n t e n s i t y   o f   e a c h   e m o t i o n   a s   s h o w n   i n   F i g u r e   8 .                                           F i g u r e .   8 .   Z o n e   c l a s s i f i c a t i o n   o f   A l p h a   a n d   B e t a   s i g n a l     Evaluation Warning : The document was created with Spire.PDF for Python.
T E L K O M N I K A     I S S N :   1 6 9 3 - 6 9 3 0       I n t e l l i g e n t   A v a t a r   o n   E - L e a r n i n g   u s i n g   F a c i a l   E x p r e s s i o n   a n d   .   ( A h m a d   H o i r u l   B a s o r i )   1 2 3   4 .   C o n c l u s i o n   T h e   a i m   o f   t h i s   r e s e a r c h   i s   t o   i m p l e m e n t   h a p t i c   a s   m e - d i u m   t o   s t r e g h t h e n   t h e   e m o t i o n a l   e x p r e s s i o n   o f   a v a t a r   f o r   3 D   t u t o r   i n   E - L e a r n i n g   s y s t e m .   O u r   c o n d u c t e d   e x - p e r i m e n t s   p r o v e d   t h a t   u s e r   m a n a g e s   t o   h a v e   s t r o n g   f e e l i n g   a n d   i m p r e s s i o n   w h i l e   t h e y   i n t e r a c t   a n d   c o m m u n i c a t e   w i t h   t h e   s y s t e m .   T h e   s t u d y   h a s   p r o v e d   t h a t   h i g h   m a g n i t u d e   f o r c e   o f   h a p t i c   d e v i c e   l i k e   j o y s t i c k   c a p a b l e   t o   c r e a t e   e m o t i o n a l   s e n s a t i o n   w h i c h   i s   c l a s s i f i e d   b y   i n t e n s i t y   o f   R G B   c o l o u r .   F u r t h e r m o r e ,   i t   i s   a b l e   t o   b e   s y n - c h r o n i z e d   w i t h   f a c i a l   e x p r e s s i o n   o f   a v a t a r   a s   w e l l .   F r o m   u s e r   s t u d y ,   t h e   f e e d b a c k   f r o m   u s e r   i s   v e r y   e x c i t i n g   w h i l e   6 7 %   u s e r   g i v e   s t r o n g   a n d   p o s i t i v e   r e s p o n s e   t o   t h e   s y s t e m .   I n   a d d i t i o n ,   1 5   u s e r s   f r o m   2 1   p a r t i c i p a n t   ( 7 1 % )   a g r e e   w i t h   c l a s s i f i c a t i o n   o f   m a g n i t u d e   f o r c e   i n t o   e m o t i o n   r e p r e s e n t a t i o n ,   t h e y   s a i d   h i g h   m a g n i t u d e   f o r c e   c r e a t e   s i m i l a r   s e n s a t i o n   w h e n   t h e y   f e e l   a n g e r .   W h i l e   l o w   m a g n i t u d e   f o r c e   i s   m o r e   r e l a x i n g   t o   t h e m .   T h i s   s y s t e m   i s   b e l i e v e d   t o   b r i n g   d i f f e r e n t   w a y s   o f   t e a c h i n g   e m o t i o n   t o   t h e   s t u d e n t s .   M o s t   o f   t h e m   s a i d   t h a t   t h e y   g o t   b e t t e r   u n d e r s t a n d i n g   d u r i n g   t h e i r   i n t e r a c t i o n   w i t h   p r o p o s e d   i n t e l l i g e n t   a v a t a r .       R e f e r e n c e s   [ 1 ]   W a n g   Z ,   C h e n g   N ,   F a n   Y ,   L i u   J ,   Z h u   C .   C o n s t r u c t i o n   o f   V i r t u a l   A s s i s t a n t   Ba s e d   o n   Ba s i c   Em o t i o n s   T h e o r y   I n :   C o n s t r u c t i o n   o f   Vi r t u a l   As s i s t a n t   Ba s e d   o n   Ba s i c   Em o t i o n s   T h e o r y .   H e i d e l b e r g :   Sp r i n g e r   Be r l i n .   2 0 0 5 .       [ 2 ]   R o j a s   AG ,   G u t i r r e z   M ,   T h a l m a n n   D .   S i m u l a t i o n   o f   i n d i v i d u a l   s p o n t a n e o u s   r e a c t i v e   b e h a v i o r .   I n :   Pr o c e e d i n g s   o f   t h e   7 t h   i n t e r n a t i o n a l   j o i n t   c o n f e r e n c e   o n   Au t o n o m o u s   a g e n t s   a n d   m u l t i a g e n t   s y s t e m s .   Es t o r i l ,   Po r t u g a l .   2 0 0 8 ;   1 :   1 9 - 2 4 .   [ 3 ]   Ek m a n   P.   E m o t i o n   i n   t h e   H u m a n   F a c e .   U n i t e d   Ki n g d o m :   C a m b r i d g e   U n i v e r s i t y   Pr e s s .   1 9 8 2 .   [ 4 ]   Ek m a n   P,   F r i e s e n   W V .   F a c i a l   Ac t i o n   C o d i n g   Sy s t e m :   T e c h n i q u e   f o r   T h e   M e a s u r e m e n t   o f   F a c i a l   M o v e m e n t .   Pa l o   A l t o ,   C a l i f o r n i a :   C o n s u l t i n g   P s y c h o l o g i s t s   Pr e s s ,   I n c .   1 9 7 8 .   [ 5 ]   Pa r k e   F I .   Pa r a m e t e r i z e d   t h r e e - d i m e n s i o n a l   f a c i a l   m o d e l .   h t t p : / / w w w . c s . u c l a . e d u / ~ d t / s i g g r a p h 9 7 - p a n e l / ;   1 9 7 1   [ c i t e d   2 0 1 0   1   M a r c h   ] ;   Av a i l a b l e   f r o m :   h t t p : / / w w w . c s . u c l a . e d u / ~ d t / s i g g r a p h 9 7 - p a n e l / .   [ 6 ]   N e u b e r g e r   L .   An i m a t i n g   F a c i a l   Ex p r e s s i o n s   u s i n g   Bl e n d   Sh a p e .   A l f r e d   St a t e   C o l l e g e ,   h t t p : / / w w w . c r e a t i v e c r a s h . c o m / m a y a / t u t o r i a l s / a n i m a t i n g / c / a n i m a t i n g - f a c i a l - e x p r e s s i o n s - u s i n g - b l e n d - s h a p e ;   2 0 1 0   [ c i t e d   2 0 1 0   0 9   M a r c h ] .   [ 7 ]   G r u b b   W .   F a c i a l   An i m a t i o n   R i g   f o r   D e l g o .   An i m a t i o n   D i r e c t o r   f o r   F a t h o m   St u d i o s   o n   t h e   f i l m   D e l g o ,   h t t p : / / w w w . c r e a t i v e c r a s h . c o m / t u t o r i a l s / f a c i a l - a n i m a t i o n - r i g - f o r - d e l g o / p a g e 3 ;   2 0 1 0   [ c i t e d   2 0 1 0   0 9   m a r c h ] .   [ 8 ]   J a m e s .   B o r i s   w i t h   F a c i a l   G U I   1 . 0 . 0   h t t p : / / w w w . c r e a t i v e c r a s h . c o m / m a y a / d o w n l o a d s / c h a r a c t e r - r i g s / c / b o r i s - w i t h - f a c i a l - g u i ;   2 0 1 0   [ c i t e d   2 0 1 0   0 9   M a r c h ] .   [ 9 ]   Ba i l e n s o n   J N ,   Y e e   N ,   Br a v e   S,   M e r g e t   D ,   Ko s l o w   D .   Vi r t u a l   i n t e r p e r s o n a l   t o u c h :   e x p r e s s i n g   a n d   r e c o g n i z i n g   e m o t i o n s   t h r o u g h   h a p t i c   d e v i c e s .   H u m . - C o m p u t .   I n t e r a c t .   2 0 0 7 ;   2 2 ( 3 ) :   3 2 5 - 5 3 .   [ 1 0 ]   H a s h i m o t o   Y ,   Ka j i m o t o   H .   Em o t i o n a l   t o u c h :   a   n o v e l   i n t e r f a c e   t o   d i s p l a y   e m o t i o n a l   t a c t i l e   i n f o r m a t i o n   t o   a   p a l m .   I n :   AC M   SI G G R APH   2 0 0 8   n e w   t e c h   d e m o s .   L o s   A n g e l e s ,   C a l i f o r n i a .   2 0 0 8 .   [ 1 1 ]   G a r c   AR ,   Ve x o   F ,   T h a l m a n n   D ,   R a o u z a i o u   A ,   Ka r p o u z i s   K,   e t   a l .   E m o t i o n a l   f a c e   e x p r e s s i o n   p r o f i l e s   s u p p o r t e d   b y   v i r t u a l   h u m a n   o n t o l o g y :   R e s e a r c h   Ar t i c l e s .   C o m p u t .   An i m a t .   Vi r t u a l   W o r l d s .   2 0 0 6 ;   1 7 ( 3 - 4 ) :   2 5 9 - 6 9 .   [ 1 2 ]   Z a g a l o   N ,   T o r r e s   A.   C h a r a c t e r   e m o t i o n   e x p e r i e n c e   i n   v i r t u a l   e n v i r o n m e n t s .   V i s .   C o m p u t .   Sp r i n g e r - Ve r l a g   2 0 0 8 ;   2 4 ( 1 1 ) :   9 8 1 - 6 .   [ 1 3 ]   T r a u m   D .   T a l k i n g   t o   Vi r t u a l   H u m a n s :   D i a l o g u e   M o d e l s   a n d   M e t h o d o l o g i e s   f o r   Em b o d i e d   C o n v e r s a t i o n a l   Ag e n t s .   M o d e l i n g   C o m m u n i c a t i o n   w i t h   R o b o t s   a n d   Vi r t u a l   H u m a n s .   L N C 2 0 0 8 ;   4 9 3 0 :   2 9 6 - 3 0 9 .   [ 1 4 ]   F a b r i   M ,   M o o r e   D J ,   H o b b s   D J .   T h e   Em o t i o n a l   Av a t a r :   N o n - v e r b a l   C o m m u n i c a t i o n   Be t w e e n   I n h a b i t a n t s   o f   C o l l a b o r a t i v e   Vi r t u a l   En v i r o n m e n t s .   I n :   Pr o c e e d i n g s   o f   t h e   I n t e r n a t i o n a l   G e s t u r e   W o r k s h o p   o n   G e s t u r e - B a s e d   C o m m u n i c a t i o n   i n   H u m a n - C o m p u t e r   I n t e r a c t i o n .   1 9 9 9 :   2 6 9 - 2 7 6 .   [ 1 5 ]   R o j a s   AG ,   Ve x o r ,   T h a l m a n n   D .   I n d i v i d u a l i z e d   r e a c t i o n   m o v e m e n t s   f o r   v i r t u a l   h u m a n s .   I n :   P r o c e e d i n g s   o f   t h e   4 t h   i n t e r n a t i o n a l   c o n f e r e n c e   o n   C o m p u t e r   g r a p h i c s   a n d   i n t e r a c t i v e   t e c h n i q u e s   i n   Au s t r a l a s i a   a n d   So u t h e a s t   A s i a .   Ku a l a   L u m p u r ,   M a l a y s i a .   2 0 0 6 :   1 0 1 - 1 0 4 .     [ 1 6 ]   M e l o   C ,   Pa i v a   A.   E x p r e s s i o n   o f   Em o t i o n s   i n   Vi r t u a l   H u m a n s   U s i n g   L i g h t s ,   Sh a d o w s ,   C o m p o s i t i o n   a n d   F i l t e r s .   I n :   Pr o c e e d i n g s   o f   t h e   2 n d   i n t e r n a t i o n a l   c o n f e r e n c e   o n   A f f e c t i v e   C o m p u t i n g   a n d   I n t e l l i g e n t   I n t e r a c t i o n .   L i s b o n ,   P o r t u g a l .   2 0 0 7 :   8 7 - 9 0 .     [ 1 7 ]   F a r b e n l e h r e   J W v G Z .   Se c h s t e   Ab t e i l u n g :   Si n n l i c h - s i t t l i c h e   W i r k u n g   d e r   F a r b e .   2 0 0 5 :   1 8 0 8 - 1 8 1 0 .   [ 1 8 ]   M e l o   C M d ,   G r a t c h   J .   T h e   Ef f e c t   o f   C o l o r   o n   Ex p r e s s i o n   o f   J o y   a n d   Sa d n e s s   i n   Vi r t u a l   H u m a n s .   I n :   T h e   I n t e r n a t i o n a l   C o n f e r e n c e   o n   Af f e c t i v e   C o m p u t i n g   a n d   I n t e l l i g e n t   I n t e r a c t i o n .   Am s t e r d a m ,   N e t h e r l a n d s .   2 0 0 9 :   3 5 - 3 8 .   [ 1 9 ]   N i j d a m   N A.   M a p p i n g   e m o t i o n   t o   c o l o r .   h t t p : / / h m i . e w i . u t w e n t e . n l / v e r s l a g e n / c a p i t a - s e l e c t a / C S - N i j d a m - N i e l s . p d f ,   H u m a n   M e d i a   I n t e r a c t i o n   ( H M I ) .   D e p a r t m e n t   o f   El e c t r i c a l   En g i n e e r i n g ,   M a t h e m a t i c s   a n d   C o m p u t e r   Sc i e n c e ,   ( EEM C S)   a t   t h e   U n i v e r s i t y   o f   T w e n t e .   L a s t   a c c e s s e d   d a t e   : 0 9   Se p t e m b e r   2 0 0 9 .   Evaluation Warning : The document was created with Spire.PDF for Python.
                                      I S S N :   1 6 9 3 - 6 9 3 0   T E L K O M N I K A     V o l .   9 ,   N o .   1 ,     A p r i l   2 0 1 1   :     1 1 5     1 2 4   1 2 4 [ 2 0 ]   Su c o n t p h u n t   T ,   Y u a n   X ,   L i   Q ,   D e n g   Z .   N o v e l   Vi s u a l i z a t i o n   Sy s t e m   f o r   E x p r e s s i v e   F a c i a l   M o t i o n     D a t a   Ex p l o r a t i o n .   I n :   I EEE  Pa c i f i c   V i s u a l i s a t i o n   Sy m p o s i u m .   T o k y o ,   J a p a n .   2 0 0 8 :   1 0 3 - 1 0 6 .   [ 2 1 ]   D a i   K,   F e l l   H ,   M a c Au s l a n   J .   C o m p a r i n g   e m o t i o n s   u s i n g   a c o u s t i c s   a n d   h u m a n   p e r c e p t u a l   d i m e n s i o n s .   I n .   Pr o c e e d i n g s   o f   t h e   2 7 t h   i n t e r n a t i o n a l   c o n f e r e n c e   e x t e n d e d   a b s t r a c t s   o n   H u m a n   f a c t o r s   i n   c o m p u t i n g   s y s t e m s .   B o s t o n .   2 0 0 9 :   4 7 - 5 2 .   [ 2 2 ]   Sh a n   M K,   Ku o   F F ,   C h i a n g   M F ,   L e e   S Y .   Em o t i o n - b a s e d   m u s i c   r e c o m m e n d a t i o n   b y   a f f i n i t y   d i s c o v e r y   f r o m   f i l m   m u s i c .   E x p e r t   Sy s t .   A p p l .   2 0 0 9 ;   3 6 ( 4 ) : 7 6 6 6 - 7 6 7 4 .   [ 2 3 ]   C a m u r r i   A,   L a g e r l   I ,   Vo l p e   G .   R e c o g n i z i n g   e m o t i o n   f r o m   d a n c e   m o v e m e n t :   c o m p a r i s o n   o f   s p e c t a t o r   r e c o g n i t i o n   a n d   a u t o m a t e d   t e c h n i q u e s .   I n t .   J .   H u m . - C o m p u t .   St u d .   2 0 0 3 ;   5 9 ( 1 - 2 ) :   2 1 3 - 2 5 .   [ 2 4 ]   O b o r n e   D J ,   C l a r k e   M J .   T h e   d e t e r m i n a t i o n   o f   e q u a l   c o m f o r t   z o n e s   f o r   w h o l e - b o d y   v i b r a t i o n .   Er g o n o m i c s   1 9 7 4 ;   1 7 :   7 6 9 - 8 2 .         Evaluation Warning : The document was created with Spire.PDF for Python.