I nte rna t io na l J o urna l o f   E lect rica l a nd   Co m p ute E ng in ee ring   ( I J E C E)   Vo l.   7 ,   No .   1 Feb r u ar y   201 7 ,   p p .   4 0 2 ~ 4 0 7   I SS N:  2088 - 8708 DOI : 1 0 . 1 1 5 9 1 / i j ec e . v 7 i 1 . p p 4 0 2 - 4 0 7           402       J o ur na l ho m ep a g e h ttp : //ia e s jo u r n a l.c o m/o n lin e/in d ex . p h p /I JE C E   Strea m ing  Big  Da ta  Ana ly sis  f o r R e a l - T i m e  Sen ti m en b a sed  Ta rg eted  Adv er ti sing         L e k ha   R.   Na ir ,   Su j a la   D.   Sh et t y ,   Sid dh a nt  Dee pa k   Sh et t y   De p a rtme n t   o f   Co m p u ter S c ien c e ,   Birl a   In sti tu te   o f   T e c h n o lo g y   a n d   S c ien c e   (BIT S P il a n i,   Du b a C a m p u s,    Un it e d   A ra b   Em irate s       Art icle  I nfo     AB ST RAC T   A r ticle  his to r y:   R ec eiv ed   J u l 1 5 ,   2 0 1 6   R ev i s ed   Dec   2 5 ,   2 0 1 6   A cc ep ted   J an   8 ,   2 0 1 7       Big   Da ta   c o n stit u ti n g   f ro m   th e   in f o r m a ti o n   sh a re d   in   th e   v a ri o u so c ial  n e tw o rk   site h a v e   g re a r e lev a n c e   f o re se a rc h   to   b e   a p p li e d   in   d iv e rse   f ield s   li k e   m a rk e ti n g ,   p o l it ics ,   h e a lt h   o r   d isa ste m a n a g e m e n t.   S o c ial  n e t w o rk   sites   li k e   F a c e b o o k   a n d   T w it ter   a re   n o w   e x t e n siv e l y   u se d   f o c o n d u c ti n g   b u sin e ss ,   m a rk e ti n g   p ro d u c ts  a n d   se rv ice a n d   c o ll e c ti n g   o p i n io n a n d   f e e d b a c k s   re g a rd in g   th e   sa m e .   S in c e   d a ta  g a th e re d   f ro m   th e se   sites   re g a rd in g   a   p ro d u c t/ b ra n d   a re   u p - to - d a te  a n d   a re   m o stl y   su p p li e d   v o l u n tarily ,   it   ten d to   b e   m o re   re a li stic,  m a ss iv e   a n d   re f l e c ts  th e   g e n e ra p u b li c   o p i n i o n .   I ts  a n a ly si s   o n   re a ti m e   c a n   lea d   to   a c c u ra te i n sig h t s   a n d   re sp o n d in g   to   th e   re su lt s   so o n e r   is  u n d o u b ted ly   a d v a n tag e o u th a n   re sp o n d i n g   late r.     In   th is  p a p e r,   a   c lo u d   b a se d   s y ste m   f o re a ti m e   targ e ted   a d v e rti sin g   b a se d   o n   t w e e se n ti m e n t   a n a ly sis  is  d e sig n e d   a n d   im p lem e n ted   u si n g   th e   b ig   d a ta  p r o c e ss in g   e n g in e   A p a c h e   S p a rk ,   u ti li z i n g   it str e a m in g   li b ra ry .   A p p li c a ti o n   is   m e a n to   p ro m o te cro ss   se ll in g   a n d   p r o v id e   b e tt e c u sto m e su p p o rt.   K ey w o r d :   B ig   d ata   Sp ar k     Stre a m i n g   b ig   d ata  p r o ce s s in g   T ar g eted   ad v er tis in g   T w ee s e n ti m e n t a n al y s is   Co p y rig h ©   2 0 1 7   In stit u te o A d v a n c e d   E n g i n e e rin g   a n d   S c ien c e   Al rig h ts  re se rv e d .   C o r r e s p o nd ing   A uth o r :   L e k h R .   Nair ,     Dep ar t m en t o f     C o m p u ter   Scie n ce ,   B I T S P ilan i,   Du b ai  C a m p u s   P . O.   B o x : 3 4 5 0 5 5 ,   Du b ai  I n ter n atio n al  A ca d e m ic  C i t y ,   D u b ai,   Un ited   A r ab   E m ir ates   E m ail: le k h ar n air @ g m ail. co m       1.   I NT RO D UCT I O N   So cial  n et w o r k   s ites   h a v b e co m e   p r o m i n en p lat f o r m   t o   ex p r ess   o p in io n s   an d   f ee d b ac k s .   W it h   w id esp r ea d   u s o f   s m ar tp h o n es  an d   ev er   g r o w i n g   p o p u lar it y   o f   s o cial  n et w o r k   s i tes,  m o s p eo p le  n o w   s h ar e   th eir   s en ti m en t s   an d   ex p er ien ce   ab o u an y   n e w   m ar k et  p r o d u ct  al m o s i n s ta n tl y   i n   th s o cial  n et w o r k s   an d   th ese  p o s t s   h a v g r ea in f l u e n ce   in   th b u y i n g   p atter n s   o f   p r o s p ec tiv cu s to m er s .   A   m o d el  f o r   k n o w led g e   tr an s f er   f r o m   s o cial  n et w o r k s   to   p r ed ict  h u m a n   b eh a v io r   is   g i v en   i n   [ 1 ]   w h ich   ca n   b ap p lied   in   s o cial   m ar k et in g .   B u s in e s s   m ar k et  l ea d er s   h av e   id en ti f ied   t h p o ten tial  o f   t h e se   s ite s   to   g at h er   o p in io n s   ab o u t   a   p r o d u ct  r ath er   th an   co n d u cti n g   m ar k et  s u r v e y ,   as  t h d ata  f r o m   f o r m er   r ef lects  r ec en o p in io n s ,   m o s tl y   u n b ia s ed   f ee li n g s   w h ic h   w i ll  b m o r r ea lis tic  a n d   co m es  i n   h u g v o lu m es  r ep r ese n ti n g   f air   p er ce n ta g o f   g en er al  p u b lic,   t h o u g h   th d a ta  b ein g   lar g el y   u n s tr u ct u r ed .   I n   b r a n d   co m p eti tio n ,   i m m e d iate  ac tio n s   ta k en   b ased   o n   cu s to m er   f ee d b ac k s   r esu lt  i n   s tr ateg ic  ad v an ta g o f   o n b r an d   o v er   an o th er .   Satis f ied   cu s to m er s   o f   a   p r o d u ct  ar m o r li k el y   to   b u y   a n   a s s o ciate d   p r o d u ct  f r o m   th s a m e   b r an d   i f   a n   e f f ec ti v e   m ar k eti n g   s tr ate g tar g eti n g   th o s c u s to m er s   is   s u cc e s s f u ll y   i m p le m e n ted .   W h ile  co n te n ted   c u s to m er   ca n   b r in g   i n   m o r r ev en u e,   ex ce s s i v n e g ati v s e n ti m en ts   r eg ar d i n g   p r o d u ct,   s p r ea d in g   o v er   s o cial  m ed ia,   c an   ad v er s el y   a f f ec t   th s ale s   an d   r esu lt in   lo s in g   l o y al  a n d   p r o s p ec tiv cu s to m er s .     1 . 1 .   T he  P ro ble m :   Str i k i ng   Whil t he  I ro i s   Hot   C r o s s - s ell in g ,   w h er an   ad d it io n al  p r o d u ct  o r   s er v ice  i s   s o ld   to   an   ex i s ti n g   c u s to m er ,   is   d etailed     in   [ 2 ]   w h ich   r eq u ir es  ad v er tis i n g   t h p r ec is p r o d u ct  to   th ex ac cu s to m er   at  t h co r r ec ti m e.   I n   t h cu r r e n Evaluation Warning : The document was created with Spire.PDF for Python.
I J E C E     I SS N:  2088 - 8708     S tr ea min g   B ig   Da ta   A n a lysi s   fo r   R ea l - Time  S en timen t B a s ed   Ta r g eted   A d ve r tis in g   ( Lekh a   R .   N a ir )   403   h ig h l y   co m p etiti v m ar k eti n g   s ce n ar io ,   cr o s s - s ell in g   ca n   b r in g   in   h u g r ev e n u an d   t h s tr ateg y   is   v er y   ef f ec tiv e   w h en   th e   ex i s ti n g   cu s to m er   h a s   p o s iti v s en ti m en to w ar d s   t h o w n ed   p r o d u ct  w h i le  tar g e ted   ad v er tis i n g   to   t h ese  c u s t o m er s   ca n   i n cr ea s r et u r n   o n   in v e s t m e n t.  A th s a m ti m e,   f o r   ev er y   b r an d   it  is   n ec es s ar y   to   tac k le  th is s u e s   r aised   b y   t h u n s ati s f ied   c u s to m er   an d   to   p ac if y   h i m   at  t h ea r lies s o   as  to   r eg ain   h is   b r an d   co n f id en ce .   A tta in i n g   s o cial  n et w o r k   s o u r ce d   r ea l   tim b ig   d ata  f o r   an aly s i s   is   n o ea s y   as  m o s s ite s   lack   p u b lic   ap p licatio n   p r o g r am m i n g   in t er f ac e( A P I )   f o r   th ir d   p ar t y   to   ac ce s s ,   w i th   T w itter   b ein g   a n   ex ce p tio n .   A cc o r d in g   to   in ter n et  s tatis t ic s   m o r th an   6 0 0 0   t w ee ts   ar p o s ted   p er   s ec o n d   w h ic h   is   h u g e n o u g h   i n   ter m s   o f   v o l u m an d   v elo cit y   to   b h an d led   b y   tr ad itio n al  d ata  a n al y tic  s y s te m   an d   h e n ce   n ec e s s it ates t h u s ag e   o f   a   b ig   d ata  p r o ce s s in g   s y s te m .   I n   th is   w o r k ,   a n   ap ac h s p ar k   b ased   b ig   d ata  ap p licatio n   is   m o d elled   a n d   i m p le m e n ted   o n   clo u d   th a t   p r o ce s s es  r ea ti m t w ee ts   r e g ar d in g   p r o d u ct  x   an d   id e n ti f y   it s   s e n ti m en t . I f   th s en t i m e n is   n e g ati v e,   cu s to m er   s u p p o r is   o f f er ed   i n s ta n tl y   a n d   f ee d b ac k   is   r eq u ested   t h r o u g h   d ir ec t   m e s s a g e,   else,  ad v er tis e m e n o f   an   ass o ciate d   p r o d u ct  y   is   tar g eted   to   th u s er .   L o ca tio n   o f   th u s er   is   al s o   co llected   to   p r o v id lo ca tio n   s p ec if ic  s er v ices  an d   to   id en t if y   g eo g r ap h ic  ar ea s   w h er m ar k et in g   o r   cu s to m er   s er v ic s ec tio n   n ee d   to   b e   co n ce n tr ated .   Si n ce   th e s p r o s p ec tiv c u s to m er s   ar e   tar g eted   at  t h r i g h ti m e   w h en   t h e y   h av e x p r ess ed   t h eir   s en ti m e n ts ,   it i s   o b v io u s   th at  t h is   co u ld   b b etter   m ar k eti n g   s tr ate g y .     1 . 2 Select ing   Ass o cia t ed/Rec o mm ende d P ro du ct   I n   m ar k et  b as k et  a n al y s i s ,   c u s to m er   tr an s ac tio n s   ar a n al y s e d   to   r ec o g n ize  t h eir   p u r c h asi n g   p atter n .   Ass o c iatio n   r u le   lear n in g   [ 3 ]   i s   m et h o d   to   id en tify   r ela tio n s   a m o n g   v ar iab les  i n   d ataset   w h ic h   ca n   b u s ed   to   f in d   r elate d   p r o d u cts  i n   c u s to m er   tr an s ac tio n s   lead in g   to   ef f ec tiv m ar k eti n g   d ec i s i o n s .   B y   as s o ciatio n   an al y s is ,   f o r   p r o d u ct  x ,   a n   ass o ciate d   p r o d u ct  y   ca n   b i d en tifie d   w h ich   is   b o u g h t   to g eth er   w it h   o r   af ter   b u y i n g   p r o d u ct  x .   R ec o m m e n d atio n   s y s te m s   id en ti f y   p r o d u cts  to   b r ec o m m e n d ed   b ased   o n   c u s to m er s   p a s p u r ch a s es   an d   o th er   u s er s   b eh av io r .   p leth o r o f   w o r k   h a v b ee n   ca r r ied   o u in   as s o ciatio n   an al y s is   [ 4 - 5 ]   an d   r ec o m m e n d er   s y s te m s   [ 6 - 7 ]   a n d   it  is   n o in cl u d ed   in   t h s co p o f   th is   p ap er   w h er it  i s   ass u m ed   th at  t h e   ass o ciate d   p r o d u ct  y   an d   th p r o d u ct  to   b r ec o m m e n d ed   z ,   h ad   alr ea d y   b ee n   id en ti f ied .     1. 3 .   Rela t ed  Wo rk s   Ma n y   r e s ea r ch   w o r k s   h a v b ee n   ca r r ied   o u in   s e n ti m e n a n al y s i s   [ 8 ] .   Fin d in g   c u s to m er   s en ti m en ts   to w ar d s   b r an d   b y   m i n i n g   s o cial  m ed ia  tex w a s   th to p ic  o f   [ 9 ]   w h ile  u s a g o f   t w itte r   d ata  f o r   s en ti m en t   an al y s is   w as   d is cu s s ed   i n   [ 1 0 ] .   Sev er al  w o r k s   w er d o n e   f o r   r ev ea li n g   s e n ti m e n ts   r eg ar d in g   p er s o n s   o r   p r o d u cts  th at  m ad u s o f   t w i tter   d ata  [ 1 1 - 1 3 ]   .   I n   m o s o f   t h w o r k s ,   an a l y s is   w a s   p er f o r m ed   o n   s tatic  d ata.   Usef u l n es s   o f   s o cial  m ed ia  i n   b u s in e s s   i s   an   ac tiv r e s ea r ch   ar ea   an d   m ar k eti n g   s co p o f   s o cial  m ed ia  i s   d eta iled   in   [ 1 4 ] .   R elatio n s h i p   m ar k eti n g   v ia  t w it ter   is   t h to p ic  o f   d is cu s s io n   o f   [ 1 5 ] ,   w h ile  m ar k et in g   h elp f u l n es s   o f   t w itter   i n   h o tel  in d u s tr y   i s   ex p lai n ed   in   [ 1 6 ] .   T h is   w o r k   i m p le m e n ts   a u to m a ted   r ea tim tar g eted   ad v er tis i n g   s y s te m   b ased   o n   r ea ti m s en t i m e n t   an al y s is   o f   t w itter   d ata.   Do n e   f r o m   B ig   Data   p er s p ec tiv e,   th s y s te m   is   h i g h l y   s ca lab le  as  it  m a k e s   u s o f   b ig   d ata  p r o ce s s in g   e n g in Sp ar k ,   w h ic h   tak e s   in to   ac co u n o f   ch alle n g es a n d   o p p o r tu n itie s   o f   b ig   d ata  [ 1 7 ]       2.   RE S E ARCH   M E T H O D   2 . 1 .   Da t a s et :   T w it t er   Str ea m ing   Da t a   T w it ter ,   th p r ev ale n m icr o b l o g g i n g   s ite   w it h   3 2 0   m illi o n   m o n t h l y   ac ti v ac co u n t s   as  p e r   co m p a n y   s tatis t ics,  allo w s   u s er   to   s en d   1 4 0   ch ar ac ter   li m ited   m es s a g e s   ter m ed   t w ee t s ,   v i s ib le  to   all.   On ca n   also   s en d   d ir ec m es s ag w h ic h   is   v i s i b le  o n l y   to   th in te n d ed   u s er .   T w it ter s   g lo b al  s tr ea m   o f   d at ca n   b ac ce s s ed   w it h   t h aid   o f   T w itter   s tr ea m i n g   A P I .   Fo r   th i s   r ea ti m ac ce s s   to   t w ee t s ,   p er s is te n HT T P   co n n ec tio n   i s   r eq u ir ed   to   b o p en .   A n   ap p lic atio n   in ten d ed   to   u s T w itter   A P I   n ee d   to   o b tain   O Au t h   ac c ess   to k e n   o n   b e h al f   o f   t w it ter   ac co u n t.  Au th o r i ze d   r eq u ests   to   t h T w i tter   S tr ea m i n g   A P I   ca n   b is s u ed   b y   th e   ap p licatio n   m ak in g   u s e   o f   ac ce s s   to k e n   a n d   s ec r et  k e y s .   O n ce   t h co n n e ctio n   i s   es tab lis h ed ,   Sp ar k   Str ea m i n g   b u ilt   o n   t h e   to p   o f   s p ar k   co r tak es c ar o f   th r ec ep tio n   o f   r ea l ti m t w e ets  w h ic h   t h en   p r o ce s s ed   b y   s p ar k   co r en g in e.     2 . 2 .   T o o ls Apa che  Sp a rk   a n d Spa r k   Str ea m ing   L ibra ry   Sin ce   tr ad itio n al  d ata  p r o ce s s in g   s y s te m s   h a v s ca lab ili t y   is s u es  a n d   ar n o eq u ip p ed   to   h an d l e   s tr ea m i n g   d ata  o f   i m m en s v o lu m e,   s ca lab le  b ig   d ata  p r o ce s s in g   s y s te m   is   p r ef er r ed   f o r   th is   ap p licatio n .   Sp ar k   [ 1 8 ]   is   an   o p en   s o u r ce   co m p u ti n g   en g i n m ea n f o r   d is tr ib u ted   d ata  p r o ce s s i n g .   Ha d o o p   [ 1 9 ] ,   th f ir s t   g en er atio n   b ig   d ata  p r o ce s s in g   en g in is   s lo w l y   b ein g   r ep lace d   b y   Sp ar k   w h ic h   is   co n s i d er ed   as  th s ec o n d   g en er atio n   B ig   Data   p r o ce s s i n g   en g i n b y   [ 2 0 ] .   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 8 - 8708   I J E C E   Vo l.  7 ,   No .   1 Feb r u ar y   201 7   4 0 2     407   404   Dr iv er   p r o g r a m   o f   s p ar k   ap p licatio n   r u n s   t h m ai n   f u n cti o n   an d   p er f o r m s   p ar allel  o p e r atio n s   o n   v ar io u s   w o r k er   n o d es  in   s p a r k   clu s ter .   S p ar k   u s e s   th co n ce p o f   R esil ie n Di s tr ib u ted   Data s et  ( R DD)   [ 2 1 ] ,   w h ic h   is   co llectio n   o f   i m m u tab le  o b j ec ts   s eg r eg ated   ac r o s s   th clu s ter   n o d es  f o r   p er f o r m in g   p ar allel  o p er atio n s .   R DD s   ca n   b p er s is ted   in   m e m o r y   f o r   r ep etiti v e   u s e   an d   d u e   to   t h is   in - m e m o r y   an al y tic s ,   s p ar k   p er f o r m s   f as ter   th a n   th e   Ha d o o p ,   esp ec ially   in   iter ati v e   ap p licatio n s .   T h o u g h   Sp ar k   is   m ai n l y   a   b atch   p r o ce s s in g   en g i n e,   Sp ar k   ec o s y s te m   is   eq u ip p ed   w it h   Sp ar k   Stre a m i n g   t h at  i s   d esti n ed   f o r   s tr ea m in g   d ata   p r o ce s s in g   a s   g i v en   i n   Fi g u r e   1 .   I n   s p ar k   s tr ea m i n g ,   co n ti n u o u s   s tr ea m   o f   d ata  is   r ep r esen ted   b y   d is cr etize d   s tr ea m   ( Dst r ea m )   w h ic h   is   s eq u en ce   o f   R D Ds.  I n   th is   w o r k ,   s p ar k   s tr ea m in g   r ec eiv e s   an d   h an d le s   th r ea l   ti m t w ee t s   f r o m   th T w i tter   S tr ea m i n g   A P I   af ter   estab li s h i n g   th co n n e ctio n .           Fig u r 1 Sp ar k   w i th   S tr ea m i n g   A r ch itec tu r al  d iag r a m       2 . 3 .   T he  Sy s t e m   M o del   T h w o r k   f lo w   m o d el  o f   t h e   s y s te m   is   g iv e n   i n   Fi g u r 2 ,   w h ic h   is   b u ilt  ar o u n d   Sp ar k .   On ce   t h co n n ec tio n   w i th   T w itter   s tr ea m i n g   A P I   is   estab li s h ed ,   f r o m   a m o n g   th o u s a n d s   o f   t w ee t s   p o s ted   p er   s ec o n d ,   th ap p licatio n   f ilter   t w ee ts   r e g ar d in g   p ar ticu lar   p r o d u ct  x .   Sp ar k   Stre a m i n g   h a n d les  t h is   s tr ea m i n g   d ata  an d   p ac k   th ese  t w ee t s   in to   b atch e s   an d   h an d   o v er   to   u n d er l y i n g   s p ar k   co r en g in f o r   p r o ce s s i n g .   Se n ti m e n o f   ea ch   t w ee t i s   an a l y ze d   i n   r ea ti m a n d   if   f o u n d   p o s iti v e/ n eu tr al,   ad v er tis e m en t o f   an   a s s o c iate d   p r o d u ct  y   o r   a   r ec o m m e n d ed   p r o d u ct  z   is   tar g eted   to   th t w ee ter ,   w h ile  s te p s   ar tak en   to   o f f er   cu s to m er   s u p p o r an d   g ath er   r elev an i n f o r m atio n   r eg ar d in g   d is s ati s f ac tio n   i n   ca s o f   n e g ati v t w ee ts ,   s o   th at  r e m ed ial  m ea s u r es  ca n   b e   tak en   i m m ed iatel y   to   p r ev en t l o s in g   p r o s p ec tiv cu s to m er s         Fig u r 2 W o r k   Flo w   M o d el  o f   th A p p licatio n   Evaluation Warning : The document was created with Spire.PDF for Python.
I J E C E     I SS N:  2088 - 8708     S tr ea min g   B ig   Da ta   A n a lysi s   fo r   R ea l - Time  S en timen t B a s ed   Ta r g eted   A d ve r tis in g   ( Lekh a   R .   N a ir )   405   2 . 4 .   P r o du ct   Senti m ent   Ana l y s is   Ma n y   r esear c h   w o r k s   h av b ee n   ca r r ied   o u in   s en t i m e n an al y s is .   S tan f o r d   o f f er s   a n   o p en   s o u r ce   s en ti m e n an al y ze r   lib r ar y   th a ca n   b u s ed   ef f ec ti v el y   to   ca r r y   o u s e n ti m e n an al y s is .   T h er is   n o   f o o p r o o f   alg o r ith m   f o r   s en ti m e n an al y s i s   as  m an y   N L P   alg o r ith m s   s tu m b le  o n   ac c u r atel y   i d en tify i n g   s ar ca s ti c   co m m e n t s .   Fo r   th i s   p r o to ty p e,   w h a v u s ed   th m o s p r i m it iv t y p o f   s e n ti m e n a n al y ti m et h o d   o f   f i n d i n g   th r elati v co u n o f   p o s iti v an d   n e g ati v s e n ti m en t   h o ld in g   w o r d s   i n   th e   t w ee t.  lar g e   co llectio n   o f   o v er   5 0 0 0   w o r d s   li k g o o d ,   am az i n g   etc.   co m m o n l y   u s ed   to   ex p r ess   p o s itiv s e n ti m e n ts   ar co m p iled   in   tex f ile   to   b u s ed   as  lo o k u p   tab le.   Sa m is   d o n f o r   n eg a tiv w o r d s   as  w ell.   A   co u n ter   is   in itial ized   to   ze r o ,   ass u m in g   n e u tr al  s en t i m e n t,  a n d   f o r   ea ch   w o r d   i n   th e   t w ee t,   co m p ar is o n   is   d o n w i th   s e o f   p o s i tiv e   w o r d s   an d   n eg at iv w o r d s .   I f   th w o r d   is   ass o ciate d   w it h   p o s itiv s e n ti m e n t,  co u n ter   is   in cr e m e n ted   o r   if   n eg ati v e,   th co u n ter   is   d ec r e m en ted   an d   th s i g n   o f   th f in a co u n ter   v alu d eter m in e s   w h e t h er   th p r o d u ct  is   ass o ciate d   w it h   p o s i tiv e,   n e g ativ o r   n e u tr al  s e n ti m e n t.  T h o u g h   t h m et h o d   is   s i m p le,   i t   is   h a v i n g   o b v io u s   d r a w b ac k s   a n d   ca n   b r ep lace d   b y   an y   co n v e n ien s en ti m en t   an al y t ic  alg o r it h m .       2 . 5 .   L o ca t i o n Specif ic  Serv ices   Fo r   lo ca tio n   en ab led   t w ee ts ,   u s er   lo ca tio n   is   id en ti f ied   f r o m   t h t w ee t,  an d   lo ca tio n   s p e cif ic  o f f er s   an d   s er v ices  ar tar g eted   to   t h ese  u s er s .   B y   m ap p in g   t w ee t   lo ca tio n s   b ased   o n   s en ti m e n t s ,   g eo g r ap h ic  ar ea s   w h er atten tio n   is   r eq u ir ed   ca n   b id en ti f ied   an d   ap p r o p r iate   ac tio n s   ca n   b ta k en .     2. 6 Alg o ri t h m   Select  p r o d u ct  x   a.   Fin d   as s o ciate d   p r o d u ct  y   u s in g   ass o ciatio n   an al y s is     b.   Fin d   p r o d u ct  z   th at  ca n   b r ec o m m e n d ed   to   u s er   u s in g   r ec o m m en d atio n   s y s te m .   c.   W h ile  ( t w itter   A P I   co n n ec tio n   is   tr u e)   a.   Fil ter   t w ee t stre a m   r eg ar d in g   t h p r o d u ct    b.   Fo r   ea ch   t w ee t ( t w ee t( i) )   1.   Get  u s er n a m e( u s er ( i)   an d   lo ca tio n ( lo c( i) )   2.   Fin d   s e n ti m e n t o f   t h t w ee t se n ti(i)   I f ( s en ti(i) == p o s itiv O R   n e u tr al)   A d v er tis as s o ciate d   p r o d u ct  y   an d   z   to   th u s er ( i)   I f   ( lo c( i)   is   n o t n u ll)   ad v er tis lo ca tio n   lo c( i)   s p ec if ic  o f f er s   to   t h u s er ( i)   else   Of f er   cu s to m er   s u p p o r t to   u s er ( i)   an d   r eq u est f o r   u s er ( i)   f ee d b ac k       3 .     Sav t w ee t( i) ,   lo c( i)   an d   s e n ti(i)   f o r   f u r th er   a n al y s i s .       3.   RE SU L T A ND  AN AL Y SI S   T h o u g h   m an y   w o r k s   r eg ar d i n g   s e n ti m e n an al y s is   o f   t w i tter   d ata  w er d o n b ef o r e,   th is   w o r k   u tili ze s   r ea ti m t w ee s e n ti m en an al y s i s   f o r   r ea ti m t ar g eted   ad v er tis i n g   m ak in g   u s o f   s ca lab le  o p en   s o u r ce   s p ar k   s tr ea m in g ,   w h ic h   w as  n o atte m p ted   b ef o r e.   T h ap p licatio n   w as  b u ilt  u s i n g   Si m p le  B u ild   T o o l   ( SB T )   an d   r u n   o n   Sp ar k   clu s ter   w i th   m aster   an d   t w o   s la v n o d es  co n f i g u r ed   o n   i5   p r o ce s s o r ,   4 GB   R A M   an d   Ub u n tu   1 4 . 0 4   o p e r atin g   s y s te m .   I w a s   also   s u cc e s s f u ll y   d ep lo y ed   o n   Am az o n   E la s ti C o m p u te  C lo u d   ( E C 2 ) .   Sp ar k   C lu s ter   w ith   t2 . m icr o   co n f ig u r atio n   w a s   cr ea ted   an d   af ter   test i n g   th ap p lica tio n ,   th cl u s ter   w a s   d estro y ed .   Sp ar k   ec 2   s cr ip w a s   u til ized   in   la u n c h i n g   a n d   m a n ag i n g   s p ar k   cl u s ter   i n   E C 2   cl o u d .         T ab le  1 .   R ec eiv ed   T w ee ts   a n d   R ea l T im R esp o n s b ased   o n   S e n ti m en t a n d   L o ca tio n   R e a l   T i me   Tw e e t s R e c e i v e d   S e n t i me n t   i d e n t i f i e d   L o c a t i o n     D i r e c t   M e ssag e   S e n t   ( T a r g e t e d   A d v e r t i se me n t )   my   x p a d 1 0   w o r k s fi n e   P o si t i v e ,   n u l l   L i mi t e d   p e r i o d   o f f e r ,   1 0 %   d i s c o u n t   o n   a l l   O r a n g e     mo b i l e   a c c e sso r i e s   P r i c e   o f   X P a d - 1 0   i s g o o d   b u t   p i c t u r e   q u a l i t y   i p o o r   N e u t r a l , D u b a i   L i mi t e d   p e r i o d   o f f e r ,   1 0 %   d i s c o u n t   o n   a l l   O r a n g e     mo b i l e   a c c e sso r i e s   A maz i n g   o f f e r :   C l e a r a n c e   S a l e   a t   O r a n g e   i - st o r e s a t   D e i r a   C i t y   C e n t e r ,   D u b a i   N e w   x p a d   1 0   s u c k s,  d o n t   buy   N e g a t i v e ,   I n d i a   P l e a se  c a l l   t o l l   f r e e   n o   8 0 0 - 1 2 3 4   f o r   a l l   y o u r   c o mp l a i n t o r   v i si t   w w . o r a n g e . c o m/ c u st c a r e   t o   se r v e   y o u   b e t t e r   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 8 - 8708   I J E C E   Vo l.  7 ,   No .   1 Feb r u ar y   201 7   4 0 2     407   406   T h ap p licatio n   w a s   in i tiall y   test ed   b y   f ilter i n g   t w ee ts   r eg a r d in g   p o p u lar   p r o d u cts  av ailab le  in   th e   m ar k et   an d   its   s e n ti m e n w er an al y ze d ,   lo ca tio n   id en ti f ie d   an d   s a v ed   i n   a   f i le.   T ar g eted   ad v er tis i n g   w a s   d is ab led   in   th is   ca s e.   T h ir t y   t o   s ix t y   t w ee t s   p er   m i n u te  w er o b s er v ed   r eg ar d in g   alr ea d y   estab lis h ed   m ar k et   p r o d u cts,  b u t th n u m b er   i s   ex p ec ted   to   s h o o t u p   in   th i n itia l p er io d s   w h e n   n e w   p r o d u ct  is   lau n c h ed .   T h ap p licatio n   w a s   test ed   b y   s en d i n g   p o s itiv an d   n e g at iv s en ti m en t w ee t s   f r o m   5   d if f er en t   t w i tter   ac co u n t s   ab o u h y p o th etica p r o d u ct  x P ad - 1 0   f r o m   co m p a n y   Or a n g e.   A ll  th t w ee ts   w er r ec eiv ed   i n   r ea ti m a n d   its   s e n ti m e n ts   w er id en t if ied   a n d   ac co r d in g l y   p r o m o tio n a o f f er   m e s s ag e s   o r   f ee d b ac k   r eq u est/ cu s to m er   s u p p o r d eta ils   w er e   s e n b y   t h ap p licati o n   as  d ir ec m es s ag to   ea c h   t w ee ter   a s   g iv e n   i n   T ab le  1 .   A ls o   th t w ee t d etail s   w er r ec o r d ed   in   f ile  f o r   d etailed   an al y s is   later .       4.   DIS CU SS I O N S   I n   th is   p ap er   s ca lab le  s p ar k   ap p licatio n   to   p er f o r m   r ea t i m tar g eted   ad v er ti s in g   to   p r o s p ec tiv cu s to m er s   b ased   o n   th s en t i m e n ts   e x p r ess ed   o n   r elate d   p r o d u cts  o n   t w i tter   is   i m p l e m en ted .   Sin ce   n o   s en ti m e n t a n al y s i s   al g o r ith m   g iv es a   f o o l p r o o f   r esu lt,  t h o b s er v ed   s e n ti m e n m a y   b d if f e r en t i n   s o m ca s e s ,   b u s i n ce   t h ap p licatio n   is   a b o u r ea ti m tar g eted   ad v er t is in g ,   it  w i ll  n o h a v an y   n e g ati v ef f ec o n   th e   p er f o r m a n ce .       T w it ter   u s er s   w h o   ar v er y   m u c h   co n ce r n ed   ab o u t h eir   p r iv ac y   m i g h d is ab le  lo ca tio n   tr ac k in g ,   w h er lo ca tio n   s p ec i f ic  s er v i ce s   b ec o m e s   in s i g n i f ica n t.  Als o ,   if   th u s er   d is ab les  t h o p tio n   o f   r ec eiv in g   d ir ec t m e s s a g es  f r o m   e v er y o n e,   it  w ill b h ar d   to   tar g et  t h at  u s er   f o r   ad v er ti s in g .       5.   CO NCLU SI O N     T h B ig   Data   a n al y tic  s y s te m   m ea n f o r   r ea ti m tar g eted   ad v er tis i n g   w h er tar g et  id en t if icatio n   i s   d o n o n   th b as is   o f   cu s to m er   s en ti m e n ts   s h ar ed   o n   t w it ter ,   w as  s u cc ess f u ll y   b u i lt  ar o u n d   t h b ig   d ata   p r o ce s s in g   s y s te m   A p ac h Sp ar k   an d   test ed   o n   Am az o n   E C 2   clo u d .   T h s am ap p licatio n   w it h   s lig h m o d i f icatio n   ca n   b u s ed   in   in ter n a tio n al  p o liti cs  f o r   d ir ec ca m p aig n i n g   a n d   to   tak co r r ec tiv m ea s u r e s   b ased   o n   p u b lic  o p in io n s   as  w ell  as  to   f o r m u late  w i n n in g   s tr ateg y   b ased   o n   p r ed ictio n s   in   elec tio n s .   I n   th is   w o r k   in   a d d itio n   to   r ea ti m a n al y s i s ,   t h i n d iv id u al  t w ee t   w it h   it s   lo ca tio n   an d   p r ed icted   s en ti m e n is   s to r ed   in   csv   f i le  w h ic h   ca n   b m i n ed   to   g ain   in s i g h ts   to w ar d s   lo n g   ter m   p o lic y   f o r m u l atio n .       RE F E R E NC E S   [1 ]   E.   Zh o n g ,   W .   F a n ,   J.W . L .   X ia o   a n d   Y.  L i,   " Co mS o c Ad a p ti v e   T r a n sfe o Us e Beh a v i o rs   o v e Co mp o site  S o c i a l   Ne two rk " ,   in   1 8 th   A CM   S IG KD D i n tern a ti o n a c o n f e re n c e   o n   Kn o w led g e   d isc o v e r y   a n d   d a ta m in in g ,   2 0 1 2 .     [2 ]   S .   L i,   B.   S u n   a n d   L .   M .   A la n ,   " Cro ss - se ll in g   th e   rig h p ro d u c to   th e   rig h c u sto m e a th e   rig h ti m e " ,   J o u rn a o f   M a rk e ti n g   Res e a rc h ,   v o l .   4 8 ,   n o .   4 ,   p p .   6 8 3 - 7 0 0 ,   2 0 1 1 .     [3 ]   R.   A g r a w a l,   T .   I m ieliń sk a n d   A.  S w a m i,   " M in in g   a ss o c iatio n   ru l e b e tw e e n   se ts  o f   it e m in   larg e   d a tab a se s" ,   in   ACM   S IGM OD   in ter n a ti o n a c o n f e re n c e   o n   M a n a g e me n o d a t a ,   1 9 9 3 .     [4 ]   C. C.   A g g a r w a l,   C.   P ro c o p i u c   a n d   P . S .   Yu ,   " F in d in g   l o c a li z e d   a ss o c iatio n in   m a rk e b a sk e d a ta" ,   IEE E   T ra n sa c ti o n o n   Kn o wled g e   a n d   Da ta   E n g in e e rin g ,   v o l.   1 4 ,   n o .   1 ,   p p .   5 1   -   6 2 ,   2 0 0 2 .     [5 ]   M.  Ku b a t,   A .   Ha f e z ,   V . V .   Ra g h a v a n ,   J.R.   L e k k a la  a n d   W . K .   Ch e n ,   " Item se tre e f o targ e ted   a ss o c iatio n   q u e ry in g " ,   IEE T ra n sa c t io n s o n   Kn o wled g e   a n d   D a ta   En g i n e e rin g ,   v o l.   1 5 ,   n o .   6 ,   p p .   1 5 2 2   -   1 5 3 4 ,   2 0 0 3 .     [6 ]   H.K.  Kim ,   J.K.  Ki m   a n d   Y.U.  R y u ,   " P e rso n a li z e d   Re c o m m e n d a ti o n   o v e a   Cu sto m e Ne t w o rk   f o Ub iq u it o u s   S h o p p i n g " ,   IEE T r a n s a c ti o n s o n   S e rv ice s Co mp u ti n g ,   v o l.   2 ,   n o .   2 ,   p p .   1 4 0   -   1 5 1 ,   2 0 0 9 .     [7 ]   K.A .   A l m o h se n   a n d   A . J.  Hu d a ,   " Re c o m m e n d e S y ste m in   L ig h o f   Big   Da ta " ,   In ter n a ti o n a J o u r n a o El e c trica l   a n d   Co m p u ter   E n g i n e e rin g   ( IJ ECE ) ,   v o l.   5 ,   n o .   6 ,   2 0 1 5 .     [8 ]   B.   L iu ,   " S e n ti m e n a n a l y sis  a n d   o p in i o n   m in in g " ,   S y n th e sis  lec tu re o n   h u m a n   l a n g u a g e   tec h n o lo g ie s ,   v o l.   5 ,   n o .   1 ,   p p .   1 - 1 6 7 ,   2 0 1 2 .     [9 ]   M. M .   M o sta f a ,   " M o re   th a n   w o rd s:  S o c ial  n e tw o rk s’  te x m in in g   fo c o n su m e b ra n d   se n ti m e n ts" ,   Exp e rt  S y ste ms   wit h   A p p l ica ti o n s ,   v o l.   4 0 ,   n o .   1 0 ,   p p .   4 2 4 1 - 4 2 5 1 ,   2 0 1 3 .     [1 0 ]   A .   P a k   a n d   P .   P a tri c k ,   " Tw it ter  a s   a   Co rp u f o S e n ti m e n A n a l y sis  a n d   Op i n io n   M in i n g " ,   L RE C ,   v o l.   1 0 ,   p p .   1 3 2 0 - 1 3 2 6 ,   2 0 1 0 .     [1 1 ]   S.   L iu   e a l. ,   " TA S C:T o p ic - A d a p ti v e   S e n ti m e n C las si f ic a ti o n   o n   Dy n a m ic  Twe e ts " ,   IEE T ra n sa c ti o n o n   Kn o wled g e   a n d   D a ta   En g i n e e rin g ,   v o l.   2 7 ,   n o .   6 ,   p p .   1 6 9 6   -   1 7 0 9   ,   2 0 1 5 .     [1 2 ]   P . R.   Ca v a li n   e t   a l. ,   " A   sc a lab le  a r c h it e c tu re   f o re a l - ti m e   a n a l y sis  o f   m icro b lo g g in g   d a ta" ,   IBM   J o u r n a l   o f   Res e a rc h   a n d   De v e lo p me n t ,   v o l.   5 9 ,   n o .   2 /3 ,   p p .   1 6 - 1 ,   2 0 1 5 .     [1 3 ]   X .   Ch e n y a n ,   Y.  Ya n g   a n d   H.  Ch u n - Ke u n g ,   " Hid d e n   i n - g a m e   in telli g e n c e   in   NBA   p la y e rs '   t w e e ts " ,   Co mm u n ica ti o n s o th e   ACM ,   v o l .   5 8 ,   n o .   1 1 ,   p p .   8 0 - 8 9 ,   2 0 1 5 .     Evaluation Warning : The document was created with Spire.PDF for Python.
I J E C E     I SS N:  2088 - 8708     S tr ea min g   B ig   Da ta   A n a lysi s   fo r   R ea l - Time  S en timen t B a s ed   Ta r g eted   A d ve r tis in g   ( Lekh a   R .   N a ir )   407   [1 4 ]   M . S .   Ya d a v   e a l. ,   " S o c ial   c o m m e rc e a   c o n ti n g e n c y   f ra m e w o rk   f o a ss e ss in g   m a rk e ti n g   p o ten ti a l" ,   El se v ier   J o u rn a o In ter a c ti v e   M a rk e ti n g ,   v o l.   2 7 ,   n o .   4 ,   p p .   3 1 1 - 3 2 3 ,   2 0 1 3 .     [1 5 ]   B. A .   W a t k in a n d   R .   L e w is ,   " T w it ter   a G a tewa y   t o   Rel a ti o n sh ip   M a rk e ti n g :   C o n ten A n a lys is  o Re l a ti o n sh i p   Bu il d in g   v ia   T wit ter " ,   in   S o c ial  M e d ia an d   S trate g ie Co m m u n ica ti o n s,  UK ,   P a lg ra v e   M a c m il lan   ,   2 0 1 3 ,   p p .   2 5 - 4 4 .   [1 6 ]   X . Y.  L e u n g ,   B.   Bil ly   a n d   A . S .   Ku rt,   " T h e   m a r k e ti n g   e ff e c ti v e n e ss   o so c ial  m e d ia  in   th e   h o tel  in d u stry   a   c o m p a riso n   o f   f a c e b o o k   a n d   tw it ter " ,   J o u rn a l   o H o sp it a li ty  &   T o u rism   Res e a rc h ,   v o l.   3 9 ,   n o .   2 ,   p p .   1 4 7 - 1 6 9 ,   2 0 1 5 .     [1 7 ]   H.  Ba g h e ri  a n d   A .   A b d u sa la m ,   " Big   Da ta:  c h a ll e n g e s,  o p p o rt u n it ies   a n d   Clo u d   b a se d   so lu ti o n s" ,   In ter n a ti o n a l   J o u rn a o El e c trica a n d   C o mp u t e r E n g i n e e rin g   ( IJ ECE ) ,   v o l.   5 ,   n o .   2 ,   p .   3 4 0 ,   2 0 1 5 .   [1 8 ]   [ On li n e ] .   A v a il a b le:  h tt p s:// sp a rk . a p a c h e . o rg /d o c s/late st/.   [ A c c e ss e d   1 5   F e b ru a ry   2 0 1 6 ].   [1 9 ]   T .   W h it e ,   " Ha d o o p T h e   De f in it iv e   G u id e ,   3 rd   Ed it io n " ,   O' Re il l y   M e d ia,  Ca li f o rn ia,  2 0 1 2 .     [2 0 ]   F .   G e b a ra ,   H.  Ho f st e e   a n d   K.  No wk a ,   " S e c o n d - G e n e ra ti o n   Big   Da ta  S y ste m s " ,   IEE Co mp u ter ,   v o l.   4 8 ,   n o .   1 ,   p p .   36 - 4 1 ,   2 0 1 5 .     [2 1 ]   M .   Zah a ria,  M .   Ch o w d h u ry ,   M . J.  F ra n k li n ,   S .   S h e n k e a n d   I.   S t o ica ,   " S p a rk Clu ste Co m p u ti n g   w it h   W o rk in g   S e ts" ,   in   US ENIX   c o n fer e n c e   o n   Ho to p ics   in   c lo u d   c o mp u ti n g ,   2 0 1 0 .   Evaluation Warning : The document was created with Spire.PDF for Python.