I n d on e s i an   Jo u r n al   o El e c t r i c al   En gi n e e r i n g   an d   C o m p u te r   S c i e n c e   V o l .   1 6 ,   N o .   3 D e c e m b e r   201 9 ,   pp .   1490 ~ 1498   IS S N :   2502 - 4752 ,   D O I :   10. 1 1591 / i j e e c s . v 1 6 .i 3 . pp 149 0 - 1498             1490       Jou r n al   h o m e pa ge ht t p: / / i ae s c or e . c om / j our na l s / i nde x . php/ i j e e c s   T w i t t e r   d a t a   a n a l y si s us i n g   h a d o o p   e c o sy st e m s a n d     a p a c h e   z e p p e l i n       S tan l W i l s o n ,   S i v ak u m ar   R   D e p a r t m e n t   o f   C o m put e r   S c i e nc e ,   C hr i s t   ( D e e m e d   t o   b e   U n i v e r s i t y ) ,   I ndi a       A r ti c l e   I n fo     A B S TR A C T     Ar t i c l e   h i s t or y :   R e c e i v e d   D e c   20 ,   2018   R e v i s e M a r   17 ,   20 19   A c c e pt e A p r   11 ,   201 9       T he   da y - to - da y   l i f e   o f   t he   pe o pl e   do e s n' t   de pe nd  o nl y   o w ha t   t he y   t hi nk ,   bu t   i t   i s   a f f e c t e d   a nd   i nf l ue nc e by   w ha t   o t h e r s   t hi nk .   T h e   a dv e r t i s e m e nt s   a n c a m pa i g ns   o f   t he   f a v o ur i t e   c e l e b r i t i e s   a nd  m e s m e r i z i ng   pe r s o na l i t i e s   i nf l u e nc e   t h e   w a y   pe o pl e   t hi nk  a nd   s e e   t he   w o r l d .   P e o p l e   g e t   t he   ne w s   a n i nf o r m a t i o a t   l i g h t ni ng   s pe e t ha e v e r   be f o r e .   T h e   g r o w t of   t e xt ua l   da t a   o t he   i n t e r ne t   i s   v e r y   f a s t .   P e o pl e   e xpr e s s   t h e m s e l v e s   i v a r i o us   w a y s   o t he   w e e v e r y   m i nut e .   T he y   m a ke   us e   o f   v a r i o us   pl a t f o r m s   t o   s ha r e   t he i r   v i e w s   a nd  o pi n i o ns .   A   hug e   a m o unt   o f   da t a   i s   be i ng   g e ne r a t e a t   e v e r y   m o m e nt   o n   t hi s   pr o c e s s .   B e i ng   o ne   o f   t h e   m o s t   i m po r t a n t   a nd   w e l l - kno w s o c i a l   m e di a   o f   t he   pr e s e nt   t i m e ,   m i l l i o ns   o f   t w e e t s   a r e   po s t e o T w i t t e r   e v e r y   d a y .   T he s e   t w e e t s   a r e   a   s o u r c e   o f   v e r y   i m po r t a nt   i nf o r m a t i o a nd   i t   c a b e   m a de   us e   f o r   bus i ne s s ,   s m a l l   i ndus t r i e s ,   c r e a t i ng   g ov e r nm e nt   po l i c i e s ,   a nd  v a r i o us   s t udi e s   c a be   pe r f o r m e by   us i ng   i t .   T h i s   p a pe r   f o c us e s   o t he   l o c a t i o f r o m   w he r e   t he   t w e e t s   a r e   po s t e a nd  t he   l a ng ua g e   i n   w h i c t h e   t w e e t s   a r e   w r i t t e n.   T h e s e   de t a i l s   c a b e   e f f e c t i v e l y   a na l y s e by   us i ng   H a do o p.   H a do o i s   a   t o o l   t ha t   i s   us e t o   a na l y z e   di s t r i bu t e b i g   da t a ,   s t r e a m i ng   da t a ,   t i m e s t a m da t a   a nd  t e xt   da t a .   W i t t h e   he l o f   A pa c he   F l um e ,   t h e   t w e e t s   c a be   c o l l e c t e f r o m   T w i t t e r   a nd  t he s i nk  i t he   H D F S   ( H a do o D i s t r i but e F i l e   S y s t e m ) .   T he s e   r a w   d a t a   t he n   a n a l y z e us i ng   A pa c he   P i g   a nd  t h e   i nf o r m a t i o a v a i l a bl e   c a n   be   m a de   us e   f o r   s o c i a l   a nd   c o m m e r c i a l   pur po s e s .   T he   r e s u l t   w i l l   b e   v i s ua l i z e d   us i ng   A pa c he   Z e ppe l i n.   Ke y w or d s :   F l um e   H a doo p   H D F S   JSON   P i g   T w i t t e r   T w e e t s   Z e ppe l i n   C opy r i gh t   ©   201 9   I n s t i t ut e   o f   A dv anc e E ng i ne e r i ng   and   S c i e nc e .     A l l   r i gh t s   r e s e r v e d .   Cor r e s pon di n g   Au t h or :   S t a n l y   W i l s o n ,   D e p a rt m e n t   o f   Co m put e S c i e n c e ,     Chri s t   (D e e m e t o   b e   U n i v e r s i t y ),   I n di a .   E m a i l :   s t a nl y . w i l s o n @ m c a . c hri s t u ni v e r s i t y . i n       1.   I N TR O D U C TI O N     T h e   w o r l t ha t   w e   l i ve   i n   ha s   b e e n   i n f l ue n c e by   t h e   s o c i a l   m e di a .   I n   t h i s   m o de rn   e ra ,   t h e   g r o w t h   of  m o b i l e   de v i c e s   h a s   m a de   i t   e a s y   t o   a c c e s s   t h e   i n t e rn e t   f r o m   a n y w h e r e ,   a n i n t e rn e t   c o nn e c t   pe o pl e   w i t h   o n e   a n o t h e r.   T h e y   e xpr e s s   t h e i r   v i e w s   a n e m o t i o n s ,   o n   t h e   pl a t fo r m s   t ha t   a r e   gi v e n   by   t h e   s o c i a l   m e di a .   S o c i a l   m e di a   us e r s   a r e   i n c r e a s i n g   da y   by   da y .   T h e y   s h a r e   t h e i r   pe r s o n a l   f e e l i n gs ,   r e v i e w s   o f   t h i n gs   t h e y   us e   a n d   t h e   f e e d b a c t h e y   pr o v i de   a r e   s o ur c e s   fo r   de c i s i o n   m a k i n [1] .   T h e y   ge n e r a t e   h uge   u n i m a g i n a b l e   a m o u n t   o f   da t a   t h a t   c a n   b e   a c c e s s e ov e r   t h e   n e t .   If   i t   i s   us e i n   a n   e ff i c i e n t   m a nn e r,   t h e n   i t   c a n   b r i n r e s ul t s   o v a r i o us   ki n ds .   F o r   t h e   c o m pa ni e s   a n e n t e r p r i s e s ,   t h e s e   i n f o r m a t i o n   r e nde r   h e l t o   de s i gn   t h e i r   p r o duc t s   f o r   t h e   f ut u r e ,   s i n c e   t h e   c us t o m e r   r e v i e w s   a r e   a   s ur e   m e a n s   o i m p r o v e m e n t .   G ov e r nm e nt s   c a n   us e   t h i s   i n f o r m a t i o n   fo r   m a k i n g   po l i c i e s   a n to   un de r s t a nd  t h e   p r o b l e m s   f a c e by   p e o pl e .   It   i s   us e f ul   dur i n t h e   e l e c t i o n   t i m e   fo r   e xi t   po l l s   a n u nde r s t a n d i n g   t h e   m i n ds e t   o f   t h e   pe o pl e .   B e i n o n e   o f   t h e   m o s t   i m po r t a n t   s o c i a l   m e di a   o f   o ur   t i m e ,   T w i t t e c o n t a i n s   a   v a ri e t y   of   i n f o r m a t i o n.   M i l l i o n s   o f   t w e e t s   a r e   s e n t   a nd  r e c e i v e by   T w i t t e r   o a   d a i l y   b a s i s .   T h e   a na l y s i s   of   t w e e t s   i s   a   b i t   t ri c ky   b e c a us e   of   i t s   l i m i t e c h a ra c t e l e n g t h ,   a nd  t h e y   a r e   v e r y   of t e n   a b b r e v i a t i o n s ,   e m o t i c o n s ,   a r go t s   e t c .   T w i t t e r   p r o v i de s   t h e   po s s i b i l i t y   t o   e xt ra c t   1%  o f   t h e   t w e e t s   t ha t   a r e   t w e e t e a t   t h a t   p a r t i c ul a t i m e .   B a s e o n   t h e   ke y w o r ds   gi v e t o   t h e   T w i t t e r   A P t h e   t w e e t s   a r e   do w n l o a de d   Evaluation Warning : The document was created with Spire.PDF for Python.
In do n e s i a J   E l e c   E ng  &   Co m S c i     IS S N :   2502 - 4752       T w i t t e r   d at a   ana l y s i s   us i ng   ha doop   e c os y s t e m s   an a pac h e   z e ppe l i n   ( St anl y   W i l s on)   1491   a n t h e   t w e e t s   a r e   s o u r c e s   of   v a r i o us   i n f o r m a t i o n   [2] .   B i g   da t a   i s   a   t e r m   t ha t   i s   us e t o   r e f e r   a   l a r ge   a m o u n t   o da t a   w h i c c a n ' t   b e   pr o c e s s e us i n t r a di t i o na l   da t a b a s e   t e c hni que s .   T w e e t s   e xt r a c t e f r o m   T w i t t e r   a r e   b i da t a   c o n s i de r i n g   t h e   h uge   a m o unt   o f   da t a .   A t   t h i s   j u n c t u r e ,   t h e   H a doo e c os y s t e m   c o m e s   i n   a s   a   h a ndy   t o o l   s i n c e   i t   p r o v i de s   t h e   po s s i b i l i t y   t o   e xt r a c t   t h e   t w e e t s ,   s t o r e   a nd  a na l y s e   i t .     1. 1 .   H ad o o p   H a doo i s   a n   A p a c h e   o pe n - s o ur c e   s of t w a r e   fo r   b i da t a   a na l y s i s .   It   i s   s c a l a b l e ,   r e l i a b l e   a n w o r ks   i a   di s t r i b ut e e n v i r o nm e nt .   I t   i s   c a pa b l e   of  pr o c e s s i n a   l a rge   n um b e r   o da t a   s e t s   us i n m a n y   c l us t e r s   o c o m put e r s   [3].   H a do o i s   a   ve r y   g o o d   c h o i c e   t o   a n a l y s e   t he   T w i t t e r   da t a   s i n c e   t h e   ra n ge   i n   w h i c h   H a doo p   w o r i s   v e r y   h i g h .   H a do o h a s   i t s   o r i g i i t h e   G o o gl e   F i l e   S y s t e m   (G F S a n G o o gl e ’s   M a pR e duc e .   T h e r e   a r e   t w o   m a i n   c o m po n e n t s   i n   H a doo [4].   T h e y   a r e   H a doo D i s t r i b ut e F i l e   S y s t e m ,   kn o w n s   a s   H D F S   w h i c i s   s pe c i f i c   t o   H a doo p,   a nd  a a l go r i t hm   c a l l e M a pR e duc e   [5].   M a pR e duc e   h a s   t w o   di ff e r e n t   t a s ks ,   a n d   t h e y   a r e   t h e   m a p   t a s k   a nd  t h e   r e duc e   t a s k.   T h e   M a t a s c o l l e c t s   t h e   d a t a   a nd  d i v i de s   i t   i n t o   t upl e s   w h i c h   f o r m   ke y   pa i r   v a l ue   f o r   t h e   gi v e n   t a s [6].   T h e   o ut put   o f   t h e   M a t a s i s   t h e n   g i v e n   a s   i n pu t   t o   t h e   R e duc e   t a s a n t h e   ke y   pa i r   v a l ue s   a r e   c o m b i n e t o   f o r m   s m a l l e r   t upl e s   [7] .   F o r   t hi s   p a pe t h e   H a do o i s   i n s t a l l e i a   s i n g l e   c l us t e r   m o de ,   m e a n s   H a do o i s   de pl oy e o n   o n e   s y s t e m   a l o n e .   T h e r e   a r e   s e v e r a l   n o de s   t h a t   pe r f o r m   t h e   m a p   a n r e duc e .   H a d o o p   h a s   a   m a s t e r - s l a v e   a r c h i t e c t u r e .   T h e   N a m e N o de   i s   t h e   m a s t e r   s e r v e r   t h a t   r e gul a t e s   t h e   a c c e s s ,   J o b T r a c ke r   c o o r di na t e s   t h e   p a r a l l e l   p r o c e s s i n o f   da t a   us i n M a pR e duc e   a n t h e   D a t a N o de   do e s   t h e   c o m put a t i o n a l   w o r ks   a n s t o r i ng  o da t a .   M u l t i pl e   n o de s   c a n   e a s i l y   be   a t t a c h e t o   H a doo t h a t   c a n   h a ndl e   h u ge   c l us t e r s   o da t a   [3] .   H a doo i s   ve r y   r e l i a b l e   s i n c e   i t   ha s   f e a t ur e s   of   da t a   dup l i c a t i o n.   H a do o p   ke e p s   m ul t i p l e   c o pi e s   of   t h e   s a m e   da t a   a s   i t   t ri e s   t o   ove r c o m e   t h e   h a rdw a r e   f a i l u r e ,   a nd  t h e   da t a   i s   n e v e r   l o s t .   H a doo pe r f o r m s   t h e   p r o c e s s e s   i a   f a ul t - t o l e ra n t   m a nn e a nd  i t   i s   v e r y   m uc h   r e l i a b l e   [8 9] .         1. 2 .   A p ac h e   F l u m e   A pa c h e   F l u m e   i s   de s i g n e t o   pus h   a   l a r ge   a m o unt   o f   da t a   f ro m   v a r i o us   r e s o ur c e s   t o   t h e   H D F S .   It   i s   b ui l t   o n   H a do o i t s e l f .   T h e r e   a r e   s i t u a t i o n s   i H a doo t o   de a l   w i t h   a   l a rge   num b e r   o f   da t a   a n a   l a r ge   n u m b e r   of   s e r v e r s   m a y   b e   e m pl oy e t o   i t .   Is s ue s   m a y   a ri s e   w h e m u l t i p l e   s y s t e m s   t r y   t o   w r i t e   o r   a c c e s s   H D F S   a t   t h e   s a m e   t i m e .   F l u m e   p r o v i de s   a   s o l ut i o n   t o   t h e s e   i s s ue s .   It   i s   de s i gn e t o   b e   v e r i l y   c us t o m i z a b l e   a n i t   c a b e   s c a l e o ut   v e r y   e a s i l y .   T h e   s i m pl e s t   u ni t   o f   F l um e   i s   a n   a ge n t ,   a n o n e   F l um e   a ge n t   c a b e   c o nn e c t e t m ul t i p l e   a ge nt s .   F l u m e   a ge n t   ha s   t hr e e   c o m po n e n t s   a n t he y   a r e   t h e   s o ur c e ,   c h a nn e l   a n s i nk.   T h e   s o ur c e   c o l l e c t s   t h e   e ve n t s   t o   t h e   a ge nt ,   t h e   c ha nn e l   a c t s   a s   a   b uff e r   t ha t   s t o r e   da t a   f r o m   s o u r c e   be fo r e   w r i t i n g   i n t o   t h e   H D F S ,   a n d   s i n ks   i s   r e s po n s i b l e   t o   s t o r e   t h e   da t a   t o   H D F S   [10].   It   dum ps   da t a   i H D F S   i di f f e r e n t   f o r m a t s .   In  t hi s   pa pe r,   i t   i s   c o n f i gur e t o   e xt ra c t   a n s t o r e   t h e   d a t a   i n   H D F S   i n   J S O N   (J a v a S c r i p t   O b j e c t   N o t a t i o n)  fo r m a t .     1. 3 .   A p ac h e   P i g   A pa c h e   P i i s   c r e a t e by   Y a h o o   fo r   w r i t i n p r o gra m s   f o r   H a doo t o   de a l   w i t l a r ge   s e t s   o f   da t a   pr e s e nt   i n   t h e   H a doo c l us t e r .   P i i s   a   s c r i pt i ng  l a ngua ge   kn o w n   a s   P i L a t i n .   I n   H a doo p,   M a pR e duc e   f un c t i o n s   a r e   w r i t t e n   i J a v a .   P i L a t i c o m e s   a s   a n   a l t e rn a t i v e   t o   t h i s   a nd  g i v e s   t h e   de v e l o p e r s   t h e   po s s i b i l i t y   t o   s pe n c o m pa ra t i v e l y   l e s s   t i m e   w i t h   p r o g r a m m i n i n   J a v a   a n i n v e s t   m o r e   t i m e   i n   a n a l y s i n t h e   s a m e .   P i c a n   de a l   w i t h   a   p r o b l e m   w h i c h   w o ul t a ke   o n l y   5%  of   t h e   a c t ua l   M a pR e duc e   pr o gr a m   o f   H a d o o [11].   P i c a n   ha n dl e   a n y   t y p e   of   da t a   w i t h   i t s   pow e r f ul   pr o gra m m i ng   l a n gu a ge .   P i s c ri pt s   c a n   b e   w r i t t e n   i n   a n y   t e xt   e di t o r   a nd  c o ul be   e x e c ut e i n   H a doo f r a m e w o r ks   l i k e   M a pR e duc e   o r   A pa c h e   T e z .   I n   P i g ,   e xt r a c t   t r a n s f o r m   m o de l   ( E T L i s   e m p l oy e t o   c o l l e c t   da t a   f r o m   v a ri o us   s o ur c e s ,   a n t h e n   s t o r e s   i H D F S   [12].   P i c a n   r u n   i n   t w o   m o de s .   O n e   i s   t h e   l o c a l   m o de   a n t h e   o t h e r   i n   t h e   M a pR e duc e   m o d e .   F o r   t h e   i m pl e m e nt a t i o n,   t h e   pi g   s c ri pt   w o ul b e   e xe c ut e i t h e   M a pR e duc e   m o de .     1. 4 .   A p ac h e   Ze p p e l i n   V i s ua l i z a t i o n   o f   da t a   i s   o f   s i m i l a r   i m po rt a n c e   a s   t ha t   o f   a na l y s i n t h e   da t a .   V i s u a l i z a t i o n   o f   da t a   pr o v i de s   fo r   b e t t e r   u n de r s t a ndi n g .   A p a c h e   Z e ppe l i n   i s   o n e   of  t h a t   ki nd  w h i c h   i s   q ui t e   h e l pf ul   a n po w e r f ul .   It   i s   a o pe n - s o ur c e ,   w e b - b a s e ‘n o t e boo k’  t ha t   e na b l e s   i n t e r a c t i v e   da t a   a na l y t i c s   a nd  c o l l a b o r a t i v e   do c um e n t s .   It   i s   us e f o r   da t a   i nge s t i o n,   d i s c ov e r y ,   a n a l y s i s   a n v i s ua l i z a t i o n.   I t   ha s   a i nt e rp r e t e c o n c e pt   t h a t   a l l o w s   m a n y   l a n gu a ge s   t o   b e   pl ugge i n   a n p r o c e s s e i n   i t s   e n v i r o nm e n t   l i ke   P y t h o n,   S p a r k,   H i v e ,   F l i n k,   R   a n o t h e r s   [1 3].   I t hi s   pa pe r ,   A pa c h e   Z e ppe l i n   i s   us e o n l y   fo r   t h e   da t a   v i s ua l i z a t i o n   a nd  i t   ru n s   t h e   P i L a t i S c r i pt   i i t s   e n v i r o nm e nt .           Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2502 - 4752   In do n e s i a J   E l e c   E ng  &   Co m S c i ,   V o l .   1 6 ,   N o .   3 D e c e m be r   2 01 9   :     1 4 9 0   -   1 4 9 8   1492   2.   LI TER A TU R R EV I EW   T h e   pa pe r   [ 8]  e xpl o r e   i nt o   t h e   w o r l o f   b i da t a .   It   t ri e s   t o   un de r s t a n t h e   p r o pe r t i e s   o f   b i da t a   l i ke   v e l o c i t y ,   vo l um e   a nd  v a r i e t y .   T h e y   di s c us s   t h e   di f f i c ul t i e s   i n   t h e   a r e a   o f   b i da t a   s uc h   a s   a na l y s i s   of   c us t o m e r   b e h a v i o ur ,   c us t o m e r   r e c o m m e n de d   s y s t e m   e t c .   T h e   p a pe r   s p e a ks   a b o ut   t w o   i m po r t a n t   t o o l s .   F i r s t ,   i t   di s c us s e s   H a d oo a n i t s   m a j o r   c o m po n e n t s   a l o n g   w i t h   t h e   t e c hn o l o gi e s   b ui l t   upo n   H a do o p.   T h e   s e c o n t e c hn o l o g y   i s   N o S Q L .   It   c o n c l ude s   by   s a y i n t h e   b e n e f i t s   of   H a d o o l i ke   t h e   a b i l i t y   fo r   l o a b a l a n c i ng,   s c a l a b i l i t y   a n c o s t   e ff i c i e n c y .   T h e   p a pe r   [14 p l a c e s   i t s   f o c us   o n   h o w   t o   pe rfo r m   t h e   s e nt i m e n t a l   a n a l y s i s   o n   T w i t t e r   us i ng  A pa c h e   P i g .   T h e   t w e e t s   a r e   e xt ra c t e f r o m   t h e   T w i t t e r   us i ng   t h e   T w i t t e r   A P us i n F l um e ,   a n t h e n   t h e y   a r e   l o a de i nt o   t h e   H D F S .   It   m a ke s   us e   of   s o m e   di c t i o n a r y   w hi c h   g r o ups   t h e   t w e e t s   i n t o   t hr e e   c a t e go r i e s   l i ke   po s i t i v e ,   n e g a t i v e   a nd  n e ut ra l   b a s e o t h e i po l a ri t y   w i t t h e   w o r ds   i t h e   d i c t i o n a r y .   T h e   pa pe r   [15]  b r i n gs   o ut   a   f r a m e w o r f o r   t h e   s e n t i m e n t a l   a n a l y s i s   of   s o c i a l   m e di a .   T h e y   pr o po s e   H a doo a s   a   v e r y   e f f i c i e n t   a n e f f e c t i v e   t oo l   w i t t h e   a b i l i t y   t o   w o r o n   b o t h   u n s t r uc t u r e a n d   s e m i - s t ruc t u r e da t a .   It   e l a b o r a t e s   o n   t h e   H D F S   a n M a pR e duc e   a s pe c t s   of   H a doo p.   It   a n a l y s e s   v a r i o us   e xi s t i n g   f r a m e w o r ks   t ha t   w e r e   p r o po s e e a rl i e r   w i t H a do o a s   t h e i pl a t f o r m   a n d   b r i ng  o ut   t h e i m e r i t s   a n d   de m e r i t s .     T h e   pa pe r   [16]  l o o ks   a t   t h e   b i da t a   a s pe c t   o f   t h e   t w e e t s .   T h e   p a pe r   de a l   i n   de t a i l   w i t h   t h e   t e rm i n o l o g y   b i da t a ’  a nd  i t s   m a i n   c h a ra c t e r i s t i c s .   T h e   m a i n   i s s ue s   w i t h   t h e   b i da t a   a r e   t h e   di f f i c ul t y   t s t o r e   t h e   d a t a ,   r e t r i e v e   t h e   da t a   a n d   p r o c e s s   i t .   I t   p r o po s e s   H a doo a s   a   s o l ut i o t o   de a l   w i t h   t h e   i s s ue s   b r o ugh t   by   t h e   b i d a t a   w i t i t s   H D F S   a n M a pR e duc e   a l go ri t hm s .     T h e   pa pe r   [17 s h o w s   h ow   t h e   s o c i a l   m e di a   h a s   c ha n ge t h e   w a y   t h e   w o r l t h i n ks   a nd  de c i de s ,   a n d   h o w   t h e s e   da t a   c o ul b e   us e t o   m a ke   pr e di c t i o n s   o n   v a ri o us   a r e a s .   T h e   pa pe r   de m o n s t r a t e s   t h e   T w i t t e r   da t a   a n a l y s i s   u s i n H i v e   a n F l um e   o f   t h e   H a doo e c os y s t e m .   T h e   i m p l e m e nt a t i o n   o f   t h e   da t a   a na l y s i s   w i t h   i t s   c o d e   o n   F l um e   a nd  H i v e   pr o v i de   a   gl i m ps e   of   t h e   a c t ua l   w o r ki n g .   T h e   r e s ul t s   s h o w   h ow   of t e n   a   w o r i s   r e pe a t e d   i t h e   t w e e t s   a n d   h o w   po pul a r   o n e   w o r f r o m   t h e   o t h e r .   T h e   pa pe r   [18]  de s i g n e a   m e t h o t o   pe r fo r m   t h e   s e n t i m e nt a l   a na l y s i s   us i n t h e   m a c h i n e   l e a rni n g   t e c hn i q ue s .   H e r e   t h e   da t a   i s   s t o r e i n   M o ngo D B ,   a   N oS Q L   da t a b a s e .   T h e   s t o r e d   da t a   i s   p r e - pr o c e s s e t r e m o v e   t h e   u n w a n t e d   s y m bo l s   a n s t o w o r ds .   D i f f e r e n t   c l us t e r i ng  a l go r i t hm s   (K   M e a n s ,   B i r c a nd  Cu r e )   a r e   us e d,   t o   w h i c h   t h e   p r e - pr o c e s s e t w e e t s   a r e   gi v e n   a s   i nput .   T h e   pa pe r   m a ke s   a n   o b s e r v a t i o n   t ha t   Cu r e   pe r f o r m s   b e t t e t ha K   M e a a n B i r c o n   a   l a rge   n u m b e r   o t w e e t s .   T h e   pa pe r   [19]  c o n c e n t ra t e s   o n   t h e   T w i t t e r   da t a   t o   s t udy   t h e   po pul a ri t y   of   F l i pka r t .   T h e   p r o po s e d   m e t h o do l o g y   i s   ge t t i n g   r a w   da t a   t o   H D F S ,   us i n t h e   s t r e a m i n g   A P a v a i l a b l e   i n   F l u m e   a nd  s t o r e   t hi s   r a w   da t a   i n   H D F S .   T hi s   d a t a   i s   t a b ul a r i z e a n s t r uc t u r e i n t o   t a b l e s   by   us i n H i v e .   H i v e ,   w i t h   i t s   que ri e s ,   a n a l y s e   r a w   da t a   s t o r e i n   H D F S .   A s   a   d a t a   d i c t i o na r y   f o r   t h e   a n a l y s i s ,   i t   us e s   S t a n f o r Co r e   N L P .   It   a l s o   c a t e go r i z e s   t h e   s e n t e n c e s   i n t o   t hr e e   c a t e go r i e s ,   a n d   t h e y   a r e   po s i t i v e   t w e e t s ,   n e ga t i v e   t w e e t s   a n d   n e ut ra l   t w e e t s .   In   t h i s   pa pe r   [20 t h e   e m p h a s i s   i s   o n   t h e   e xe c ut i o n   t i m e   of   t h e   a n a l y s i s .   It   s t udi e s   t h e   e xi s t i ng  s y s t e m s   a n i t s   d r a w b a c ks .   T h e   t w e e t s   a r e   e xt r a c t e a n s t o r e i n   H a do o a n p r e - p r o c e s s e d.   It   m a k e s   a   c o m pa ra t i v e   s t udy   i n   s t a ge s .   T h e   t w e e t s   a r e   c o n s i de r e i di f fe r e n t   s i z e s   a n n u m b e r   o f   t w e e t s .   It   i s   do n e   w i t h   a nd  w i t h o ut   H a doo p.   W h e n   t h e   s i z e   o f   da t a   i s   l e s s   t ha n   5M B   t h e   e xe c ut i o n   i s   f a s t e r   w i t h o ut   H a doo p.   A s   t h e   s i z e   o f   t h e   d a t a   i n c r e a s e ,   w i t h   H a doo p   t h e   e xe c ut i o t i m e   ge t s   r e duc e v e r y   m uc h .   T h e   pa pe r   [10]  e l a b o r a t e l y   l oo ks   i n t o   t h e   e m e r gi ng  t e c hn o l o gi e s   i n   t h e   f i e l of   b i da t a .   It   t a ke s   T w i t t e r   a s   a   s o ur c e   fo r   b i da t a   a n di s c us s e s   v a r i o us   a na l y s i n po s s i b i l i t i e s   w i t h   H a doo e c o s y s t e m s .   H a d oo i n f r a s t ruc t u r e   i s   de a l t   i n   de t a i l   w i t h   a   b r i e f   e xpl a n a t i o n   t o   t h e   H a doo e c o s y s t e m   t e c h n o l o gi e s   l i ke   A pa c h e   F l um e ,   A pa c h e   Z oo ke e p e r ,   A pa c h e   H i ve ,   A pa c h e   P i g,   A pa c h e   H B a s e   a n A pa c h e   S qo o p.   T h e   pa pe us e s   H i ve   fo r   t h e   a na l y s i s .   T h e   s y s t e m   i s   de pl oy e d   i n   t h e   C l o ud  s e r v i c e s   pr ov i de by   M i c r o s of t   A z ur e .   T h e   pa pe r   b r i ngs   o ut   a   f a c t   t h a t   a s   t h e   n u m b e r   o f   n o de s   i n c re a s e s ,   t h e   e xe c ut i o n   t i m e   f o r   hi v e   que r y   a l s i n c r e a s e s .     I n   [21]  f o c us e s   o n   t h e   a na l y s i s   of   t h e   da t a   t h a t   a r e   a v a i l a b l e   e s pe c i a l l y   t h e   T w i t t e r   d a t a .   T h e   t r a di t i o na l   m e t h o ds   of   s t o r i ng  a nd  a na l y z i n da t a   i s   no t   a   go o o pt i o n   t o   do   t h e   s e nt i m e nt a l   a na l y s i s   s i n c e   t h e r e   a r e   v e r y   l a r ge   u n s t ruc t u r e da t a   s e t s   t h a t   a r e   u n de r   c o n s i de ra t i o n .   T h e   R D B M S   c a n n o t   ha n d l e   un s t r uc t u r e d a t a .   S o ,   t h e   H a do o a r c h i t e c t ur e   i s   us e t o   g e t   t h e   w o r do n e .   T h e   m e t h o do l o g y   us e i n   t h e   pa pe r   i s   t o   ge t   t h e   t w e e t s   i n t o   H D F S   us i n t h e   A P a v a i l a b l e   w i t h   F l u m e   a n s i n i t   i n   H D F S .     T h e n   h i v e   que r i e s   a r e   us e t o   ge t   un s t r uc t u r e da t a   i nt o   s t r uc t u r e f o r m   s o   t h a t   v a ri o us   o pe r a t i o n s   c a n   b e   pe r f o r m e in   i t .       3.   I M P LEM EN TA TI O N   A l l   t h e   a na l y s i s   i s   pe r f o r m e o n   a   s y s t e m   h a v i n i 5 - 6200U   CP U   @   2. 30  G H z   pr o c e s s o r   a n R A M   of   16  G B   r u nni n i n   t h e   U b un t O S .   T h e r e   a r e   s o m e   s t e ps   t o   be   fo l l ow e fo r   T w i t t e r   d a t a   a na l y s i s .   T h e y   a r e   c r e a t i n a   T w i t t e r   a ppl i c a t i o w h i c h   p r o v i de s   t h e   n e c e s s a r y   p e r m i s s i o n s   r e qui r e d   f o r   e xt r a c t i n g   t h e   t w e e t s   f r o m   T w i t t e r.   A f t e r   ob t a i n i ng  t h e   pe r m i s s i o n s ,   F l u m e   i s   us e t o   e xt ra c t   t h e   t w e e t s   f r o m   T w i t t e r   a nd  t h e y   a r e   Evaluation Warning : The document was created with Spire.PDF for Python.
In do n e s i a J   E l e c   E ng  &   Co m S c i     IS S N :   2502 - 4752       T w i t t e r   d at a   ana l y s i s   us i ng   ha doop   e c os y s t e m s   an a pac h e   z e ppe l i n   ( St anl y   W i l s on)   1493   pr o c e s s e a n d   a na l y s e us i n g   P i [22] .   T h e r e   a r e   a   l o t   o de pe n de n c y   i s s ue s   p o ps   up  w h i l e   b ui l di ng   o n   H a doo p.   H a doo i s   t h e   b a s e   a n d   F l u m e   a nd  P i g   a r e   t o o l s   bui l t   o H a do o p.   O n e   m us t   b e   v e r y   c a r e f ul   w h i l e   c h o o s i n t h e   v e r s i o n   o f   t h e s e   t o o l s   be c a us e   a l l   t h e   v e r s i o n s   o f   P i a n F l um e   do   n o t   w o r o n   t h e   c o r r e s po n di ng  v e r s i o n s   of   H a d o o p.   F o r   t hi s   pa pe r   t h e   v e r s i o of  H a doo i s   2. 7. 1,   F l u m e   i s   1. 6. 0 ,   P i i s   0. 16. a n t ha t   o f   Z e ppe l i n   i s   0. 8 . 0 .   M o r e ov e r ,   t h e r e   n e e t o   b e   pr o pe r   l i b ra r y   f i l e s   fo r   bo t h   t o o l s .   T h e   de t a i l e pr o c e dur e   i s   gi v e b e l ow .         3. 1 .   C r e at i o n   o Tw i tte r   A p p l i c ati o n   It   i s   n e c e s s a r y   t h a v e   a   T w i t t e r   de v e l o pe r   a c c o un t   t o   c r e a t e   a   T w i t t e r   a pp l i c a t i o n.   T h o s e   w h o   a r e   r e gi s t e r e us e r s   o f   T w i t t e r   c a us e   t h e   s a m e   l o gi n   i n f o r m a t i o n   t o   c r e a t e   a   T w i t t e r   de v e l o pe r   a c c o un t   by   v i s i t i n t h e   w e b pa ge   ht t ps :/ / apps . t w i t t e r . c om .   H e r e   t h e   us e rs   c a n   c r e a t e ,   m a n a ge   a n de l e t e   t h e   t w i t t e a pps .   By   e n t e ri n to   t h e   s i t e ,   us e r s   c a s e e   t h e   o pt i o n   t o   c r e a t e   a   n e w   a pp  a n t h e n   p r o v i de   t h e   r e qui r e i n f o r m a t i o a s   s h o w n   i t h e   F i gu r e   1.             F i gu r e   1 .   C r e a t i o n   o f   T w i t t e r   A pp l i c a t i o n       O n c e   t h e   a p pl i c a t i o n   i s   c r e a t e d,   t h e   f o ur   r e qu i r e ke y s   w i l l   b e   ge n e ra t e w i t h   i t .   T h e   ke y s   a r e   Co n s um e r   ke y ,   C o n s um e r   s e c r e t ,   A c c e s s   t o k e n   a n A c c e s s   t o ke n   s e c r e t .   Co n s u m e r   ke y   i s   b a s i c a l l y   t h e   A P ke y   w h i c h   r e c o gn i z e s   t h e   us e r .   A   us e r   h e r e   r e f e r s   t o   a n   e n t i t y ,   e i t h e r   a   s e r v i c e   o r   w e b s i t e   t h a t   t ri e s   t o   us e   t h e   r e s o ur c e s   of   t h e   a ppl i c a t i o n   ( T w i t t e r ).   Co n s um e r   s e c r e t   i s   t he   a ut h e nt i c a t i o n   p a s s w o r us e by   t h e   s e r v e r   t i de nt i fy   t h e   us e r.   A c c e s s   t o ke n   t e l l s   t h e   p r i v i l e ge s   t h e   us e r   ha s .   A c c e s s   t o k e n   s e c r e t   i s   t h e   i n f o r m a t i o n   s e nt   a l o n w i t h   t h e   A c c e s s   t o ke n   t o   t h e   a pp l i c a t i o n   a s   a   pa s s w o r d   w h e n   a   us e r   t r i e s   t o   ge t   i t s   r e s o ur c e s .   Co n s um e ke y   a n Co n s u m e r   s e c r e t   a r e   us e f o r   a ut h e nt i c a t i o n   w hi l e   A c c e s s   t o k e n   a n d   A c c e s s   t o ke n   s e c r e t   a r e   m e a nt   fo r   t h e   a ut h o r i z a t i o n   [23] .   T h e s e   ke y s   pr o v i de   us e r s   a c c e s s   t o   t h e   T w i t t e r   a n e xt r a c t   t h e   t w e e t s .   T h e   ge n e ra t i o o f   t h e   ke y s   i s   gi v e n   i F i gu r e   2.           F i gu r e   2 .   G e n e ra t i n g   t h e   Co n s um e a nd  A c c e s s   ke y s   Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2502 - 4752   In do n e s i a J   E l e c   E ng  &   Co m S c i ,   V o l .   1 6 ,   N o .   3 D e c e m be r   2 01 9   :     1 4 9 0   -   1 4 9 8   1494   3. 2 .   Tw e e ts   Ex tr ac t i o n   u s i n F l u m e   T h e   ke y s   ob t a i n e f r o m   T w i t t e r   us i n t h e   de v e l o p e r ’s   a c c o unt   a r e   t o   b e   pl a c e i t h e   c o n f i gu r a t i o n   f i l e   l oc a t e i n   t h e   F l um e   i n s t a l l a t i o n   f o l de r .   I n   t hi s   s pe c i f i c   c o n f i gura t i o n   f i l e ,   t h e r e   a r e   v a r i o us   pa ra m e t e r s   t h a t   c a n   b e   s e t   l i ke   t h e   ke y w o r ds ,   l a n gu a ge   f i l e r ,   t h e   b l o c s i z e   of   t h e   e xt r a c t e f i l e s   e t c .   T h e   ke y w o r ds   a r e   t h e   w o r ds   o n   w h i c h   t h e   t w e e t s   w i l l   b e   e xt ra c t e [24] .   T h e   t w e e t s   t ha t   a r e   e xt ra c t e f o r   i n   t h i s   a na l y s i s   of   t h i s   pa pe w e r e   l i v e   t w e e t s   t ha t   w e r e   po s t e a t   t h e   pa rt i c u l a r   t i m e   of   dow n l o a di n a n n o t   a n y   t w e e t s   pr i o r   t o   i t .   F o r   t h e   i m pl e m e nt a t i o n,   a   c us t o m   f i l e   i s   i n c l ude i n   t h e   F l u m e   w h i c h   e xt r a c t s   t h e   t w e e t s   i n   t h e   J S O N .   T h e   c o n f i gur a t i o n   f i l e   c o n t a i ni n g   t h e   de t a i l s   f o r   t w e e t s   e xt r a c t i o i s   gi v e i F i g u r e   3.           F i gu r e   3 .   F l um e   c o n f i gu ra t i o n   f i l e       F l um e   w i t h   i t s   t hr e e   a ge n t s   m e nt i o n e e a r l i e r   e xt ra c t   t h e   t w e e t s   a n t h e n   s i n ks   i t   i n   t h e   H D F S   l o c a t i o n   c o n f i gur e i n   t h e   c o n f i gu r a t i o n   f i l e .   T h e   t w e e t s   dow n l o a de fo r   t hi s   w o r i s   a r o u n 23  G B   o da t a   a n m o r e   t ha n   4 . m i l l i o n   r e c o r ds .   A l l   t h e   b l o c ks   a r e   o f   s i m i l a r   s i z e   o f   1. 91  M B   e a c h .   T h e   t w e e t s   a r e   t a ke n   f r o m   t h e   o ff i c i a l   pa ge   of   t h e   ‘F IF A   W o r l Cup  2018 '   [25] ,   a n a l l   t h e   t w e e t s   us e d   i n   t hi s   w o r a r e   e xt ra c t e duri n g   a   m a t c h   o f   F IF A   W o r l Cu 20 18.   T h e   H D F S   f i l e s   c a n   b e   v i e w e i t h e   b r o w s e r   a s   s h o w n   i         F i gu r e   4.           F i gu r e   4 .   T w e e t s   i H D F S       Evaluation Warning : The document was created with Spire.PDF for Python.
In do n e s i a J   E l e c   E ng  &   Co m S c i     IS S N :   2502 - 4752       T w i t t e r   d at a   ana l y s i s   us i ng   ha doop   e c os y s t e m s   an a pac h e   z e ppe l i n   ( St anl y   W i l s on)   1495     T h e r e   a r e   m a n y   a t t ri b ut e s   i n   a   s i n g l e   t w e e t ,   a n d   t h e   do w n l o a de t w e e t s   a r e   i u n s t ruc t u r e f o r m a t .   A   s a m pl e   o f   dow n l o a de d   u n s t r uc t u r e d   t w e e t   i s   s h o w n   i F i g u r e   5.             F i gu r e   5 .   T w i t t e r   s a m p l e   f i l e   s t o r e d   i H D F S       3. 3 .   S tr u c tu r e   o th e   Tw e e t   In   T w i t t e r ,   t h e   us e r s   po s t   t h e   o pi n i o n s ,   a dd  m e di a ,   l i n ks   a n ha s h t a gs .   It   i s   c o l l e c t i v e l y   c a l l e a s   a   t w e e t .   A   t w e e t   m a y   o r   m a y   n o t   c o n t a i n   us e r   o pi n i o n s .   It   c a n   b e   j us t   a n   i m a ge   o r   a   U R L   l i nk.   A   s pe c i f i c   t w e e t   c o n t a i n s   m o r e   t ha n   150  a t t r i b ut e s .   T h e r e   a r e   fo ur   c o m m o obj e c t s   i n   a   t w e e t   l i ke   us e r ,   pl a c e ,   e nt i t i e s   a nd  e xt e n de e nt i t i e s .   T h e   ‘us e r   o bj e c t   pr o v i de s   t h e   o v e r v i e w   of   t h e   a u t h o r   o f   t h e   t w e e t .   T w i t t e r   gi v e s   a n   o pt i o t o   e n a b l e   o r   d i s a b l e   t h e   l o c a t i o n.   S o ,   i f   t h e   l o c a t i o n   i s   e n a b l e t h e n   t h a t   i n f o rm a t i o n   c o ul b e   s e e n   i n   t h e   ‘pl a c e '   o bj e c t .   T w e e t s   c o n t a i n   a   c o l l e c t i o n   of   h a s h t a gs ,   U R L ,   m e di a ,   t h e   us e r   o pi n i o n s   e t c ,   a n t h e y   a r e   i n   t h e   ‘e n t i t i e s '   ob j e c t .   T h e   n a t i v e   m e di a   o t h e   t w e e t s   a r e   i n   t h e   ‘e xt e n de d'   o b j e c t s   [26].   A   b r i e f   un de r s t a n d i n on   e a c h   o f   t h e s e   o bj e c t s   h e l ps   t o   u n de r s t a nd  t h e   t w e e t s   be t t e r .   U n de r   e a c h   o b j e c t ,   s o m e   i m po rt a nt   a t t r i b ut e s   a r e   e l a b o r a t e d.   T h e   de t a i l s   o f   t h e   a t t ri b ut e s   a r e   t a ke f r o m   t h e   o ff i c i a l   T w i t t e de v e l o pe r   do c um e n t s .   T h e   ‘us e r '   o bj e c t   h a s   t h e   ge n e r a l   i n f o r m a t i o n   o t h e   T w i t t e r   a c c o un t   a n t h e   a ut h o r   o t h e   t w e e t .   T h e   a t t ri b ut e s   i n   t hi s   o b j e c t   a r e   us ua l l y   c o n s t a n t ,   m e a n s   t h e y   r e m a i n   t h e   s a m e   f o r   a   s pe c i f i c   us e r   w h i c h   do   n o t   c h a nge   t w e e t   t o   t w e e t .   It   h a s   a i d'   w h i c h   i s   u ni que   f o r   e v e r y   us e r   a nd  w i t h   w h i c h   e v e r y   us e r   c a b e   uni que l y   i de nt i f i e d.   T h e   ‘s c r e e n_ n a m e '   a t t ri b ut e   i s   t h e   n a m e   of   t h e   us e r   a s   p r o v i de d,   a n i t   n e e n o t   b e   a   n a m e   o f   a   pe r s o n.   It   a c t s   l i ke   a   us e rn a m e   o f   t h e   s pe c i f i c   T w i t t e a c c o un t .   T w i t t e r   us e r s   c a n   f o l l ow   o t h e r   T w i t t e a c c o un t s .   T h e   ‘f o l l ow e r s _c o un t '   g i v e s   t h e   num b e r   o f   f o l l ow e r s   a   pa rt i c ul a r   a c c o un t   ha s ,   w h i l e   ‘f ri e nds _c o un t '   t e l l s   t h e   n um b e o f   a c c o un t s   t h e   s pe c i f i c   us e r   f o l l ow s .   T h e   f a vo ur i t e s _c o un t '   p r o v i de s   t h e   n um b e o f   t w e e t s   t h a t   a r e   l i ke by   t h e   us e r   i n   t h e   t i m e l i n e .   T h e   ‘c r e a t e d_ a t '   p r o v i de   da t e   a n t i m e   o f   t h e   c r e a t i o n   o f   t h e   s pe c i f i c   T w i t t e r   a c c o un t .   T h e   us e r' s   l a ngua ge   i n f o r m a t i o n   i s   p r o v i de by   t h e   a t t ri b ut e   ‘l a ng' .   It   t e l l s   t h e   l a n gu a ge   kn o w n   t o   t h e   us e r   a n s e l f - de c l a r e by   t h e   us e r .   It   do e s   n o t   t e l l   a n y t h i n a b o ut   t h e   c o n t e nt   o f   t h e   t w e e t   o r   t h e   l a n gu a ge   i n   w hi c h   t h e   t w e e t s   a r e   w r i t t e n   [ 27] .     T h e   ‘pl a c e '   o bj e c t   w i l l   b e   pr e s e n t   i t h o s e   t w e e t s   i n   w hi c t he   ge o - t a gge i s   e na b l e d.   I t   p r o v i de s   t h e   l o c a t i o n   w i t h   r e s pe c t   t o   t h e   c o o r di na t e s .   T h e   ‘f ul l _ n a m e   t e l l s   t h e   n a m e   o t h e   pl a c e .   T h e   ‘c o unt r y _c o d e '   t e l l s   t h e   s h o rt e n e na m e   o f   t h e   c o un t r y   w h e r e   t h e   l o c a t i o n   i s ,   w h i l e   ‘c o un t r y '   gi v e s   t h e   p r o pe r   n a m e   o t h e   c o un t r y .   T h e   ‘b o un di n g_b o x'   pr o v i de   t h e   ge o gr a p h i c a l   c o o r di n a t e s   w h i c h   e n c l o s e   t h e   pa rt i c ul a r   pl a c e   a n i t   ha s   f o ur   pa i r s   o f   v a l ue s .   Co o r di n a t e s   a r e   a   p a i r   o f   v a l ue s   c o n s i s t i n g   o f   t h e   l o ngi t ude   a nd  l a t i t u de   t h a t   u ni que l y   r e p r e s e n t   a   pa rt i c ul a r   ge o gra p hi c a l   l o c a t i o n.   T h e   ‘t y pe '   t e l l s   t h e   s h a pe   t h a t   i s   f o r m e by   t h e s e                   c oo r di n a t e s   [28] .     T h e   ‘e n t i t i e s '   o bj e c t   h a s   t h e   fo l l ow i n a t t ri b ut e s   l i ke   U RL ,   ha s h t a gs ,   s y m bo l s ,   m e di a   a n us e o pi n i o n s .   T h e y   pr o v i de   i n f o r m a t i o o n   w h a t   t h e   us e r   t w e e t s   l i ke   t h e   de s c r i pt i o n   i t h e   t w e e t ,   t h e   m e di a   t ha t   i s   a dde d,   t h e   U R L   i n s e rt e d,   t h e   ha s h t a gs   m e n t i o n e a n t h e   s y m bo l s   us e d.   T h e   h a s ht a g '   o bj e c t   c o n t a i n s   t h e   ha s h t a gs   t ha t   a r e   us e i n   t h e   t w e e t .   T hi s   o b j e c t   w i l l   r e m a i e m pt y   i f   n o   ha s h t a gs   a r e   p r e s e n t   i n   t h e   t w e e t .   I n   t h i s ,   t h e   t e xt   f i e l pr o v i de s   t h e   n a m e   of   t h e   h a s ht a g .   T h e   m e di a '   f i e l gi v e s   t h e   ov e r v i e w   o n   t h e   m e di a ,   i pr e s e nt   a n y ,   l i ke   t h e   t y pe   of   m e di a ,   i t s   di m e n s i o n s   a n t h e   U R L   t e l l s   i f   t h e   m e di a   i s   t a ke n   f r o m   a n o t h e r   l i nk.   T h e   u r l '   o b j e c t   c o n t a i n s   t h e   U R L   i n   t h e   t w e e t   i f   a n y .   T h e   ‘di s pl a y _ur l '   gi v e s   t h e   U RL   pa s t e i n   t h e   t w e e t   bo d y .   T h e   ‘us e r_m e n t i o n s '   f i e l g i v e s   t h e   us e r   o pi ni o n   m e n t i o n e i n   t h e   t w e e t s .   If   i t   i s   m o r e   t ha n   1 40  c h a ra c t e r s   t h e t hi s   w i l l   b e   pr e s e nt   i t h e   ‘e n t i t i e s '   f i e l o f   e xt e n de d   t w e e t s   [29].     T h e   ‘e xt e n de d '   o b j e c t s   b e c a m e   a   pa rt   o f   t w e e t s   i n   N o v e m b e r   2017,   a n i t   c o m e s   i n t o   t h e   pi c t u r e   w h e n   t h e   l i m i t   o f   t w e e t   e xt e n ds   b e t w e e n   140  c h a ra c t e r s   t o   280  c h a ra c t e r s .   T h e   ‘e xt e n de d '   o bj e c t s   c o n t a i t h o s e   l o n ge r   m e s s a ge s .   It   c o ul a l s o   c o n t a i ‘e n t i t i e s '   w i t h   a   c o l l e c t i o n   of   h a s ht a gs ,   m e d i a   a n us e r   o pi ni o n s .   T h e r e   a r e   r e t w e e t   a n quo t e   t w e e t .   A   r e t w e e t   i s   j us t   r e s e n di n t h e   s a m e   t w e e t s   t o   t h e   fo l l ow e r s ,   w h i l e   quo t e   Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2502 - 4752   In do n e s i a J   E l e c   E ng  &   Co m S c i ,   V o l .   1 6 ,   N o .   3 D e c e m be r   2 01 9   :     1 4 9 0   -   1 4 9 8   1496   t w e e t   i s   s e n d i n t h e   t w e e t   w i t h   c e rt a i n   c o m m e n t s   a dde t o   i t .   T h e y   h a v e   t h e i f i e l ds   s i m i l a r   t o   w h a t   ha s   m e nt i o n e d   a b o ve   l i ke   us e r ,   pl a c e   a n e n t i t i e s   [26].   A m o n d i f fe r e nt   ob j e c t s   t h a t   a r e   p r e s e n t ,   t h e   pa pe r   c o n c e n t r a t e s   o n   t h e   ‘l a n g '   a n ‘c o unt r y '   a t t r i b ut e s .   T h e r e   a r e   t w ‘l a n g'   a t t ri b ut e s .   O n e   i s   i n   t h e   ge n e r a l   s e c t i o n ,   a n t h e   o t h e r   i n   t h e   ‘us e r '   o bj e c t .   T h e   pa pe r   f oc us e s   o n   t h e   ‘l a n g '   i n   t h e   ge n e ra l   s e c t i o n   w h i c h   t e l l s   t h e   l a n gu a ge   i w hi c t h e   t w e e t s   a r e   w ri t t e n.   T h e   ‘c o un t r y '   a t t r i b ut e   i s   t h e   a t t r i b ut e   s e e i t h e   ‘pl a c e '   o b j e c t .       3. 4 .   A n al ys i n th e   tw e e ts   u s i n A p ac h e   P i g   T h e   t w e e t s   t h a t   a r e   dow n l o a de a n s t o r e i n   H D F S   a r e   i n   ra w   f o r m   a n i n   J S O N   fo r m a t .   A p a c h e   P i us e s   a   s h e l l   e n v i r o n m e n t   c a l l e g r u nt '   a n i t   ha s   t w o   m o de s   a s   m e nt i o n e e a rl i e r .   A l l   t h e   s c r i pt s   a r e   e xe c ut e i n   t h e   M a pR e duc e   m o d e .   A pa c h e   P i n e e ds   t o   b e   c o n f i gur e t o   pr o c e s s   t h e   J S O N   f i l e s .   T h e r e   a r e   s o m e   j a r   f i l e s   t h a t   n e e t o   b e   l o a de d   i n t o   P i g   [14 a n d   t h e y   a re     R E G IST E R   '/ us r / l o c al / pi g   / e l e pha nt - b i r d - hado op - c om pat - 4. 5. j ar ';     R E G IST E R   '/ us r / l o c al / pi g   / j s on - s i m p l e - 1. 1 . 1 . j ar ';         R E G IST E R   '/ us r / l o c al / pi g / e l e p hant - bi r d - p i g - 4 . 5 . j ar ';         R E G IST E R   '/ us r / l o c al / pi g / e l e p hant - bi r d - c or e - 4 . 5 . j ar ';           T h e s e   f i l e s   a r e   n o t   t h e   pa r t   o f   P i a nd  t h e y   n e e t o   be   l oa de e ve r y   t i m e   w h e n   t h e s e   s c r i pt s   a r e   e xe c ut e d.   T h e y   a l s o   c o ul b e   ke pt   i n   t h e   c o n f i gura t i o n   f i l e s   s uc h   t ha t   t h e y   w o ul b e   l o a de e a c h   t i m e   w h e n   t h e   ‘g r u nt '   s h e l l   i s   l a u n c h e d.   A f t e r   l o a di n g   t h e s e   . j ar   f i l e s ,   t h e   t w e e t s   t h a t   a r e   s t o r e i n   t h e   H D F S   n e e t o   b e   l o a de us i n g   t h e   s c r i pt     ge t T w e e t s   =   L O A D   h df s :/ / l o c al hos t :54 310/ us e r / hd us e r / nam e node / t w i t t e r _da t a/ F l um e D at a . *’   U SING   c om . t w i t t e r . e l e phant bi r d . pi g . l oad. J s onL oad e r ( ' - ne s t e dL oad')   A S   m y M ap;     A l l   t h e   b l oc ks   i n   H D F S   s t a rt   w i t h   ‘F l um e D a t a '   a n t h e   a b ov e   s c r i p t   l o a ds   a l l   o f   t h e m   f o r   t h e   a n a l y s i s .   H e r e   t h e r e   a r e   t w o   t h i n gs   t ha t   n e e t o   b e   c o n s i de re i n   pa rt i c u l a r.   T h e y   a r e   t h e   i d’  a n d   t h e   `l a n g’ .   T h e   ‘i d’  t e l l s   t h e   u n i q ue   i of   t h e   us e r   a n m a ke s   s ur e   t h a t   t h e   t w e e t s   a r e   n o t   dupl i c a t e i n   t h e   a n a l y s i s .   T h e   ‘l a n g ’  p a r t   c o n t a i n s   t h e   l a ngua ge   i w h i c t h e   t w e e t s   a r e   w ri t t e n.   T h e   s c r i p t s   t ha t   pe r f o r m   t h e s e   a c t i o n s   a r e     s pl i t _ t w e e t s   =   F O R E A CH   g e t T w e e t s   G E NE R A T E   m y Map #'i d'  as   i d , m y Ma p#'l a ng'  as   l ang;   gr oupe d=   G R O U P   s pl i t _ t w e e t s   B Y   l a ng;   w or dc ount   =   F O R E A CH   gr oup e G E N E R A T E   gr oup ,   CO U NT ( s pl i t _t w e e t s ) ;   dum w or dc ount ;     T h e   a b ov e   s c r i pt s   pe r f o r m   t hr e e   a c t i o n s .   F i r s t ,   i t   m a ps   t h e   s pe c i f i c   ‘i d'   a nd  ‘l a n g '   a t t ri b ut e s   of   t h e   t w e e t s ,   a n s t o r e   i t   i n   t h e   s pl i t _ t w e e t s .   S e c o n dl y ,   s pl i t _t w e e t s   a r e   g r o upe a c c o r di ng  t o   t h e   ‘l a ng'   a n a r e   ke pt   i n   gr oup e d .   T hi r dl y ,   t h e   a t t r i b ut e s   a r e   c o un t e a n s a v e i n   w or dc ount .   H e r e   w or dc ount   c o n t a i n s   t h e   de s i r e o ut put .   T h e   ‘du m p '   c o m m a n d   i s   us e t o   di s p l a y   t h e   r e s ul t .   A l l   t h e   s c r i p t s   m e n t i o n e h e r e   c o ul b e   ke pt   i a   s i ngl e   f i l e   w i t h   t h e   e xt e n s i o n   . p i g   a n c o ul be   e x e c ut e d   a s   a   s i n g l e   s c r i pt   w i t h   t h e   c o m m a n pi g .   F o r   e xa m pl e ,   p i f i l e n am e . pi g .     3. 5 .   R e s u l ts   an d   D i s c u s s i o n s   T h e r e   a r e   m a n y   l a n gua ge s   i n   w h i c h   t h e   t w e e t s   a r e   w r i t t e n .   T h e   r e s ul t   i s   t h e   t o t a l   n um b e r   o f   t w e e t s   w r i t t e i e a c l a n gu a ge .   T h e   o ut put   o f   t h e   e xe c ut i o i s   gi v e t h e   F i gu r e   6 .           F i gu r e   6 .   T o t a l   Co u n t   o f   L a n gu a ge s   Evaluation Warning : The document was created with Spire.PDF for Python.
In do n e s i a J   E l e c   E ng  &   Co m S c i     IS S N :   2502 - 4752       T w i t t e r   d at a   ana l y s i s   us i ng   ha doop   e c os y s t e m s   an a pac h e   z e ppe l i n   ( St anl y   W i l s on)   1497   F i gu r e   s h o w s   t h e   i ndi v i dua l   c o un t   o t h e   l a n g ua ge s   i n   w h i c h   t h e   t w e e t s   a r e   w r i t t e n .   T h e   l a n gu a ge s   a r e   r e p r e s e n t e i n   ISO   639 - 1   f o r m a t .   T hi s   t w l e t t e r   w o r ds   fo r m a t   i s   us e t i de n t i f y   a   l a n g ua ge   u n i que l y .   F r o m   t h e   a b ove ,   i t   c a n   b e   i n f e r r e t ha t   34, 98, 9 58  t w e e t s   a re   w r i t t e n   i n   E ngl i s h   ( en w h i c h   t a ke s   t h e   m a j o r   po r t i o n   o f   t h e   w h o l e   t w e e t   l a n gua ge .   T h e   s e c o n l a r ge s t   i s   S pa n i s h   ( es w h o s e   c o un t   i t   3, 57, 556.   T h e   l a s t   e n t r y   i s   `u n d'   w h i c h   i ndi c a t e s   t h e   ‘u n de t e r m i n e d' ,   m e a n s   t h e   m i xt u r e   o f   l a n g ua ge s   m a y   be   us e [30] .   T h e   v i s ua l i z a t i o o f   t h e   r e s ul t   us i n g   A pa c h e   Z e ppe l i n   i s   s h o w n   i F i gu r e   7.           F i gu r e   7 .   V i s u a l i z a t i o o f   t h e   r e s ul t   us i n g   Z e ppe l i n       T h e   a b ov e   a n a l y s i s   i s   m a de   o n   t h e   l a ngua ge s   i n   w h i c h   t h e   t w e e t s   a r e   w r i t t e n .   T h e   s a m e   c o ul be   do n e   t o   a n a l y s e   t h e   l o c a t i o n s   o r   t h e   c o un t r i e s   f r o m   w h e r e   t w e e t s   a r e   w r i t t e n .   T h e r e   a r e   t i m e s   pe o pl e   do  n o t   pr o v i de   t h e   pe rm i s s i o n s   t o   s h a r e   o r   a c c e s s   t h e i r   l o c a t i o n s .   I n   s uc h   s i t u a t i o n s ,   t h e   t w e e t s   do n ’t   gi v e   t h e   l o c a t i o n   o r   c o un t r y   i n fo r m a t i o n .   T h e   c o un t r y   i n f o r m a t i o n   o f   t w e e t s   i s   i n   t h e   ‘pl a c e s ’  o bj e c t   f r o m   w h e r e   i t   n e e ds   t o   b e   f e t c h e d.   T h e   c o unt r y   f r o m   w h e r e   t h e s e   t w e e t s   a r e   t w e e t e i s   s h o w n   i n   F i g u r e   8,   a n d   i t   c a n   b e   i n f e r r e t h a t   m o s t   of   t h e   t w e e t s   a r e   w r i t t e n   f r o m   U n i t e S t a t e s   (19344)  a n t h e   n e x t   i s   f r o m   E c ua do r   (14048 ).   H e r e   o n l y   pa r t   o f   t h e   r e s ul t   i s   s h o w n .             F i gu r e   8 .   T o t a l   Co u n t   o f   Co un t r i e s       4.   C O N C LU S I O N     T h e   a n a l y s i s   of   t w e e t s   i s   n o t   s o m e t hi n n e w .   It   w a s   t h e r e   fo r   qui t e   s o m e   t i m e .   O n e   of   t h e   m o s t   a n a l y s e a s pe c t s   of   t w e e t s   i s   t h e   s e n t i m e nt   a na l y s i s .   T hi s   r e s e a r c h   p a pe r   f oc us e d   o n   t w o   o t h e r   a t t ri b ut e s   pr o v i de by   t h e   t w e e t s   l i ke   t h e   l a n gu a ge   i n   w h i c h   t h e   t w e e t s   a r e   w r i t t e n   a n t h e   c o unt r y   de t a i l s .   T h e s e   i n f o r m a t i o n   p r e s e n t   i t w e e t s   c o ul be   of   gr e a t   i m po r t a n c e   fo r   t h e   b us i n e s s e s   a nd  i n dus t r i e s .   T h e y   h e l t unde r s t a n w h i c h   l a n gu a ge   g r o up,   o r   pe o pl e   f r o m   w h i c h   c o un t r y   r e s po n t o   t h e i p r o duc t s   t ha t   a r e   i t h e   m a r ke t   o r   t ha t   w i l l   b e   l a u n c h e s o o n .   T h e s e   da y s   c o m pa ni e s   us e   l o c a t i o n - b a s e m a r ke t i ng,   i n   o rde r   t o   pr o m o t e   a n e nh a n c e   t h e i r   b us i n e s s .   T h e   de t a i l s   o b t a i n e f r o m   t h e   t w e e t s   h e l ps   t o   f i gur e   o ut   w h e r e   t o   c o n c e n t r a t e   o r   a dv e r t i s e   m o r e   i n   o r de r   t o   off e r   be t t e r   s e r v i c e .   A n   e nh a n c e l a ngua ge   a n c o u n t r y   a n a l y s i s   h e l p   t o   h a v e   s e n t i m e n t   a na l y s i s   of   us e r s   f r o m   a   pa rt i c ul a r   l a n g ua ge   g r o up  a n l o c a t i o t ha t   c o ul b e   us e t pr o v i de   a   pe r s o na l i z e d   e xpe r i e n c e   f o r   t h e   us e r s .   Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2502 - 4752   In do n e s i a J   E l e c   E ng  &   Co m S c i ,   V o l .   1 6 ,   N o .   3 D e c e m be r   2 01 9   :     1 4 9 0   -   1 4 9 8   1498   R EF ER EN C ES     [ 1]   P B a r na g hi ,   e t   a l . ,   T e x t   A na l y s i s   a nd  S e n t i m e nt   P o l a r i t y   o F I F A   W o r l C up  2014  T w e e t s ,   C o nf e r e nc e   A C M   SI G K D D ,   A C M ,   v o l .   15 ,   pp .   10 - 13 201 5 .   [ 2]   A .   B a r s ka r   a n A .   P hul r e ,   O p i ni o M i n i ng   o f   S o c i a l   D a t a   U s i ng   H a do o p ,   I nt e r nat i on al   J our nal   of   E n gi ne e r i n g   Sc i e nc e   a nd   C om pu t i ng ,   v o l .   6 ,   pp .   384 9 - 3851 201 6 .   [ 3]   K .   S hv a c hko ,   e t   a l . ,   T h e   H a do o D i s t r i bu t e F i l e   S y s t e m , ”  I E E E   26t Sy m po s i um   on  M a s s   S t o r age   Sy s t e m s   an d   T e c hnol o gi e s ,   pp.   1 - 10 201 0 .   [ 4]   C .   K a us ha l   a nd   D .   K o unda l ,   R e c e nt   T r e n ds   i B i g   D a t a   us i ng   H a do o p ,”   I nt e r na t i ona l   J o ur n al   o f   I nf o r m a t i c s   an d   C om m uni c at i on   T e c hn ol ogy ,   v o l .   8 ,   pp.   39 - 49 20 19 .   [ 5]   M .   W a nkhe de ,   e t   a l . ,   A na l y s i s   o f   S oc i a l   D a t a   U s i ng   H a do o E c o s y s t e m , ”  I n t e r na t i ona l   J o ur n al   o f   C om put e r   Sc i e nc e   a nd   I n f o r m at i on   T e c hn ol o gi e s ,   v o l .   7 ,   p p.   24 02 - 2404 201 6 .   [ 6]   P .   G a ne s h,   e t   a l . ,   P e r f o r m a nc e   E v a l ua t i o o f   C l o ud  s e r v i c e   w i t H a do o f o r   T w i t t e r   D a t a ,   I nd one s i a J our nal   o f   E l e c t r i c al   E ng i ne e r i ng   a nd  C om pu t e r   S c i e nc e ,   v o l .   13 ,   pp .   392 - 4 04 2019 .   [ 7]   J .   D e a a n S .   G h e m a w a t ,   M a pR e d uc e :   S i m pl i f i e D a t a   P r o c e s s i ng   o L a r g e   C l us t e r s ,   C om m un i c a t i ons   o f   t he   A C M ,   v o l .   51 ,   p p.   10 7 - 113 2008 .   [ 8]   J .   S i ng a nd  V .   S i ng l a ,   B i g   D a t a :   T oo l s   a nd   T e c hno l o g i e s   i B i g   D a t a ,   I n t e r na t i ona l   J our nal   o f   C om pu t e r   A ppl i c a t i ons ,   v o l .   1 12 ,   p p.   6 - 10 2015 .   [ 9]   D .   C .   V i nu t ha   a nd   G.   T .   R a j u ,   An   A c c ur a t e   a nd  E f f i c i e n t   S c he du l e r   f o r   H a do o M a pR e duc e   F r a m e w o r k ,   I ndo ne s i an   J our nal   o f   E l e c t r i c a l   E ngi ne e r i ng   and   C om p ut e r   Sc i e nc e ,   v o l .   12 ,   pp .   1132 - 1 142 2018 .   [ 10]   A .   B ha r dw a j ,   e t   a l . ,   B i g   D a t a   E m e r g i ng   T e c hno l o g i e s :   A   C a s e   S t udy   w i t A na l y z i ng   T w i t t e r   D a t a   u s i ng   A pa c he   H i v e ,   P r oc e e di ngs   o f   2015   R A E C U I E T   P anj ab  U n i v e r s i t y   C han di ga r h ,   pp.   1 - 6 2015 .   [ 11]   C .   O l s t o n,   e t   a l . ,   P i g   L a t i n:   A   N o t - So - F o r e i g L a ng ua g e   f o r   D a t a   P r o c e s s i ng ,   P r oc e e di ngs   of   t he   20 08  A C M   SI G M O D   I nt e r n at i ona l   C on f e r e nc e   on   M anage m e nt   of   D a t a .   A C M ,   pp .   1099 - 11 10 2 008 .   [ 12]   R .   S i ng a nd  P .   J .   K a u r A na l y z i ng   P e r f o r m a nc e   o f   A pa c he   T e z   a nd  M a pR e d uc e   w i t H a do o M u l t i no de   C l us t e r   o A m a z o C l o ud ,   J o ur na l   o f   B i g   D at a ,   v o l .   3 ,   pp .   19 2016 .   [ 13]   A.   M a dh a v i L a t ha   a nd  G .   V .   K um a r ,   S t r e a m i ng   D a t a   A na l y s i s   us i ng   A pa c he   C a s s a nd r a   a nd  Z e ppe l i n ,   I nt e r n at i on al   J o ur n al   o f   I nno v a t i v e   Sc i e nc e ,   E ng i ne e r i ng   &   T e c hno l ogy ,   v o l .   3 ,   pp .   8 - 15 20 16 .   [ 14]   A .   B a r s k a r   a n A .   P h ul r e ,   O pi n i o M i n i ng   o f   T w i t t e r   D a t a   us i ng   H a do o a nd  A pa c he   P i g ,   I n t e r nat i o nal   J o ur n al   of   C om pu t e r   A p pl i c a t i on s ,   v o l .   1 58 ,   p p.   1 - 6 2 017 .   [ 15]   A .   P .   R o dr i g ue s ,   e t   a l . ,   S e n t i m e n t   A na l y s i s   of   S oc i a l   M e d i a   D a t a   us i ng   H a do o F r a m e w o r k:   A   S ur v e y ,   I nt e r n at i on al   J o ur n al   o f   C om put e r   A pp l i c a t i ons ,   v o l .   15 1 20 16 .   [ 16]   M .   K .   D a n t ha l a ,   T w e e t   A na l y s i s :   T w i t t e r   D a t a   P r o c e s s i ng   us i ng   A pa c he   H a do o p ,   I n t e r na t i o na l   J o ur n al   of   C or e   E ngi ne e r i n and   M anage m e nt ,   v o l .   1 ,   p p.   94 - 10 2 20 15 .   [ 17]   S a ng e e t a ,   T w i t t e r   D a t a   A na l y s i s   us i ng   F l um e   &   H i v e   o H a do o F r a m e   W o r k , ”  I nt e r na t i ona l   J ou r na l   of   R e s e ar c h   i A dv a nc e E ngi ne e r i ng   T e c hno l og i e s ,   pp .   119 - 12 3 20 16 .   [ 18]   G .   S .   S u pr a j a ,   e t   a l . ,   A   B i g   D a t a   M e t ho do l o gy   f o r   S e n t i m e nt   A na l y s i s   o f   T w i t t e r   D a t a ,   I nt e r n at i on al   J ou r na l   o f   I nno v at i v e   R e s e ar c h   i n   C om p ut e r   and   C om m u ni c at i on   E n gi ne e r i ng ,   v o l .   3 ,   p p.   73 24 - 7329 201 5 .   [ 19]   S .   N a da g o ud  a nd  K .   N a i k   D . ,   M a r k e t   S e n t i m e nt   A na l y s i s   f o r   P o pul a r i t y   o f   F l i pka r t ,   I n t e r na t i ona l   J our n al   of   A dv an c e R e s e ar c h   i C om pu t e r   E n gi ne e r i n and   T e c hno l og y ,   v o l .   4 ,   p p.   21 17 - 2123 201 5 .   [ 20]   N .   P a t i l ,   e t   a l . ,   T w i t t e r   S e nt i m e n t   A na l y s i s   us i ng   H a do o p , ”  I n t e r nat i o nal   J o ur na l   of   I nn ov a t i v e   R e s e ar c i n   Co m put e r   and   C om m u ni c at i on   E n gi ne e r i ng ,   v o l .   4 ,   pp .   823 0 - 8236 2016 .   [ 21]   C .   P e nc ha l a i a h,   e t   a l . ,   E f f e c t i v e   S e n t i m e n t   A na l y s i s   o T w i t t e r   D a t a   u s i ng   A pa c he   F l um e   a nd   H i v e ,   I nt e r n at i on al   J our nal   o f   I nn ov a t i v e   Sc i e nc e   E n gi ne e r i n and   T e c hno l og y ,   v o l .   1 ,   pp.   10 1 - 105 2 014 .   [ 22]   P .   K i r a r ,   e t   a l . ,   O p i n i o M i n i ng   o f   T w i t t e r   D a t a   u s i ng   H i v e , ”  I n t e r nat i ona l   J our nal   of   C om pu t e r   A pp l i c a t i ons v o l .   156 ,   p p.   44 - 49 201 6 .   [ 23]   ht t ps : / / s t a c ko v e r f l o w . c o m / que s t i o ns / 2 8057 430 / w ha t - is - t he - a c c e s s - t o ke n - vs - a c c e s s - t o ke n - s e c r e t - a n d - c o ns um e r - ke y - vs - c o ns u m e r - s ,   201 8 .   [ 24]   M .   W a nkhe de ,   e t   a l . ,   L o c a t i o ba s e A na l y s i s   o f   T w i t t e r   D a t a   us i ng   A pa c he   H i v e , ”  I n t e r na t i ona l   J ou r na l   o f   C om put e r   A pp l i c a t i o ns ,   v o l .   153 ,   pp .   21 - 26 2016 .   [ 25]   ht t ps : / / t w i t t e r . c o m / F I F A W o r l dC up 2018 .   [ 26]   ht t ps : / / de v e l o pe r . t w i t t e r . c o m / e n / do c s / t w e e t s / da t a - di c t i o na r y / ov e r v i e w / i nt r o - to - t w e e t - j s o n ,   20 18 .   [ 27]   ht t ps : / / de v e l o pe r . t w i t t e r . c o m / e n / do c s / t w e e t s / da t a - di c t i o na r y / ov e r v i e w / u s e r - o bj e c t ,   201 8.   [ 28]   ht t ps : / / de v e l o pe r . t w i t t e r . c o m / e n / do c s / t w e e t s / da t a - di c t i o na r y / ov e r v i e w / g e o - o bj e c t s ,   2018 .   [ 29]   ht t ps : / / de v e l o pe r . t w i t t e r . c o m / e n / do c s / t w e e t s / da t a - di c t i o na r y / ov e r v i e w / e n t i t i e s - o bj e c t ,   201 8.   [ 30]   ht t ps : / / w w w . l o c . g ov / s t a nd a r d s / i s o 639 - 2 / php / c o de _l i s t . php ,   2018 .   Evaluation Warning : The document was created with Spire.PDF for Python.