I ndo ne s i a n J o ur na l  o f  E l e c t r i c a l  E ng i ne e r i ng  a nd C o m p u t e r  Sc i e nc e   V o l.   11 ,  N o.   2 A ug us t   201 8 ,   pp.   50 4 ~ 51 4   I S S N :  2502 - 4752,  D O I :  10. 11 591/ i j e e c s . v 1 1 .i 2 .p p 504 - 5 14          504       Jou r n al  h om e p age h ttp : //ia e s c or e . c om / j our nal s / i nde x . php/ i j e e c s   M ult i - Ag en t  ba s e d M a pReduce  M o del f o r E f f ici ent   Ut ili z a t io o f S y s te m   R es o ur ces       H een a  k o u s a r,  B . R .   P r as ad  B ab u   D e pa r t m e nt  of  C S E ,  E a s t   P oi n t  C ol l e g e  of  E ng i ne e r i ng  & T e c hnol o gy   B a ng a l or e ,  I ndi a       A rt i cl e I n f o     AB S T RAC T     A r tic le  h is to r y :   R ecei v ed   No v   21 201 7   Re v i se d   J an   8 ,  201 8   A ccep t ed   J an   2 7,   2 01 8       R e c e nt l y   w i t h i nc r e a s e d a dopt i o n  of  bi g da t a ,  I nt e r ne t  of  T hi ng s   a nd s e ns or   t e c hnol og y  b y  va r i ous  or g a ni z a t i on f or   pr ov i s i o ni ng  s m a r t  i nt e l l i g e nt   s e r v i c e s   f or  v a r i ous  a ppl i c a t i on  us e s .  D a t a  pr oc e s s i ng on r e a l - tim e  s o c ia l   m ed i a an d  s en s o r  d at a i s  b een  a k e y  ar e a o f  r es e ar ch  i n  r ecen t  t i m e s  an d  t h es da t a  a r e  m a s s i ve  a nd c ont i n uo us .  S m a r t  a ppl i c a t i on  us i ng  s e ns or   a nd s oc i a l   m ed i a d at a c an  b e cl as s i f i ed  i n t o  t h r ee cl as s :  1 )  o n l i n e p r o c es s i n g  o f   s tr e a m in g  d a ta ; 2 )  onl i ne  pr oc e s s i ng   of   hi s t or i c a l  da t a ;   a n d 3)   hy br i d   pr oc e s s i ng  of  bot h.  T he  e x i s t i ng   m ode l  a r e  de s i g ne d c ons i de r i ng  s t r e a m  or   ba t c h pr oc e s s i ng .  F or  pr ov i s i oni ng  r e a l - t i m e  pr oc e s s i ng  M a pR e duc e   f r a m e w or k  us i ng   H a doop f r a m e w or k i s  c ons i de r e d by  s t a t e - of - ar t   t e c hni que   f or  da t a  i nf l ow  f or e c a s t i ng .  H ow e v e r ,  t he  H a doo ba s e d f or e c a s t i ng  m ode l   ar e n o t  ef f i ci en t  i n  f u l l y  u t i l i zi n g  s y s t e m  r es o u r ce.  A g en t  b as ed  M ap R ed u ce   f o r eca s t i n g  m o d el  i s  ad o p t ed  b y  s t at e - of - ar t  t ech n i q u e t o   u t i l i ze s y s t e m   ef f i ci en t l y .  H o w e v er ,  t he y  i nc ur s  hi g h c om put a t i on ov e r he a d,  t hu s  i nc r e a s e   c os t  of  c om put i ng  c os t .  T ov e r c om e  t hi s  w or k  pr e s e nt  a n a g e nt  b a s e d D a t a   I nf l ow  F or e c a s t i ng  ( D I F )   m ode l   f or  bot h s t r e a m  a nd non - s tr e a m  ( h is to r ic a l)   d a ta  b y  u s in g  M u ltiv a r ia te  G a u s s ia n  M ix tu r e  ( M G M )  m o d e l .  T hi s  w or pr e s e nt  a n A ge nt  ba s e d M a pR e duc e  ( A M R )   f r a m e w or k  t o pr oc e s s  da t a  i r eal - t i m e an d  u t i l i ze s y s t e m  r es o u r ce ef f i ci en t l y .  T o  p r o v i d e s cal ab i l i t y  f o r   p r o ces s i n g  s o ci al  m ed i a an d  s en s o r  d at a D I F - A M R   m ode l  a dopt s  c l o ud   co m p u t i n g  ar ch i t ect u r e.  E x p er i m en t  ar e co n d u ct ed  t o  ev al u at e p e r f o r m an c e   o f D I F - A M R  of  ov e r   e x i s t i ng   m ode l  s how s  s i g ni f i c a nt  pe r f or m a nc e   im p r o v e m e n t in  te r m s  o f  c o m p u ta tio n  tim e .   Ke y wo rd s :   A ge nt   C l ou d c o m put i ng   F o r c a s tin g   H a doop   M ap R ed u ce   P a r a lle l c o m p u t in g   S t r e a m c o mp u t i n g   C opy r i g ht   ©  201 8   I ns t i t ut e  o f  A d v anc e d E ngi ne e r i ng  an Sc i e nc e   A l l  ri g h t s re se rv e d .   Co rre sp o n d i n g  Au t h o r :   H een a k o u s ar ,   D ep ar t m en t  o f  C S E ,  E as t  P o i n t  C o l l eg e o f  E n g i n eer i n g  & T ech n o l o g y ,   B a nga l o r e ,  I nd i a .     E m a il:  hk he e na ko us a r 7 3 @ g m a i l . c o m       1.   I NT RO D UCT I O N   W ith   i nc r e a s i ng a d o p t i o n o f   I nt e r ne t  o f  T hi n gs  ( I o T )  t o  pr o vi s i o n r e a l - t i m s er v i ce s  f o r  v ar i o u s   s m a r t a p p lic a tio n  u s e s .  S u c h   a s  s m a r t tr a n s p o r ta tio n  s y s te m ,  d is a s te r   m a n a g e m e n t s y s te m  e tc .   w h e r e  s e n s o r   a r e  de pl oy e d a c r os s  t h e  gl obe  t o pr ov i s i on  r e a l - t i m e s er v i c es  t o  u s er s .   D at a p r o ces s i n g   b as ed  o n  r eal - t i me   s en s o r  d at a i s  b een  a k e y  r es e ar ch  ar ea o f  v ar i o u s  acad e m i a ,  i n d u s t r y  an d  g o v er n m e n t  o r g an i zat i o n  i n  r ecen t   ti m e s .   A   d a ta   d r iv e n   p a r a d ig m   o f   s m a r i n f o ta in m e n a p p lic a tio n s ,   a i m i n g   a m i n i n g   th e   e s s e n tia v a l ue   o f   s e ns or  da t a  a n d  pr om ot i ng   s m a r t  s e r v i c e s ,  i s  a r i s e n i n s m a r t   i n t e l l i g e n t   t r a n s por t  do m a i n [ 1] .  H o w e v e r ,  s e n s or   d at a an d  i t s  r eal - t i m e ap p l i cat i o n  s er v i ce s  h a v e s o m e  n e w  c h a r a c te r is tic s  c o m p a r i n g  to  tr a d itio n a l s e n s o r  d a ta   a n d  a p p lic a tio n s :   1)   M as s i v en e s s : W it h  th e  g r o w th   o f  s m a r t in f o ta in m e n t a p p lic a tio n  s e r v ic e s ,  la r g e  a m o u n t o f  d a ta  is   g en er at ed  b y  d i f f er en t  s e n s o r  p er i o d i cal l y .  F o r  e x a m p l e,  l o cat i o n  an d   t r af f i m a n ag e m en t  s er v i ces   g en er at e s  s e n s o r  d at a at  v er y  h i g h  r at e,   w h i c h  l ead  t o  s i ze o f  p et ab y te  o f  d a ta  in  a  s h o r t te r m .   Evaluation Warning : The document was created with Spire.PDF for Python.
I nd o ne s i a n J  E l e c  E ng  &  C o m p  S c i     I SSN :   2502 - 4752       M u lti - A ge nt  bas e d M ap R e duc e  M ode l  f or  E f f i c i e nt  U t i l i z at i on of  S y s t e m  ( H e e na k ous ar )   505   2)   S t r e a mi n g :   S e n s o r  d at f r o m  d i f f er en t   s o u r ces  s u ch  as   u s er   w ear ab l e a n d  i t s  l o cat i o n   an d   m o b i l i t y   i n f o r m at i o n  ar r i v es   i n t o  t h e  s er v er  co n t i n u o u s l y   f r o m  v ar i o u s  s o u r ces  as  a  s t r ea m s  at  r ap i d  r at e.   E f f i ci en t   m ec h a n i s m  i s   n eed ed  t o   p r o ces s / p er f o r m  a n al y s i s   o n  s u ch   s t r ea m  d at a i n  r eal - t i m e   w i t h out  a ny  in te r r u p tio n .     3)   R eal - T i me :   I n   m a n y  a p p lic a tio n  s e r v ic e s  s u c h  a s  p o ll u tio n   m o n ito r i n g ,  li v e  v e h ic le  tr a f f ic   m o n ito r i n g   co m p u t i n g ,   w e n eed  r eact  q u i ck l y   t o  s u c h  l ar g e s e n s o r   d at a o n ce t h e y   ar e g e n er at e d .  S i n ce t h es i n f o r m at i o n  b eco m e s  o b s o l et e/ o u t d at ed  q u i ck l y .  P er f o r m i n g  an al y s i s  o n  s u c h   l ar g d at i n   n ear  r eal - t i m e r eq u i r es  an  e f f i ci en t   m ec h an i s m  t o  co l l ect  i n p u t  s t r ea m ,  o r g an i ze t h e d at a an d  p er f o r m  co m p u t i n g   an d  d at a an al y s i s .     4)   E ve r - E x pa n di ng :   A s   y ear s  p as s es  n e w  t y p e  a n d  n u m b er  o f   s en s o r s  a v ai l ab l e i n   m ar k et  i n cr eas e s .   A  s cal ab l e r eal - t i m e p r o ces s i n g  d es i g n  i s  r eq u i r ed  t o  h an d l e s u ch  e v er  i n cr eas i n g  s e n s o r  d at a v o l u m e.   T ha t  i s ,  t he   f ut ur e  r e a l - t i m e  pr e di c t i on   m ode l   s h o u l n ot  onl y  pr oc es s  l ar g e  v o l u m e o f  s e n s o r  d at a a n d   g u ar a n t ee r eal - t i m e  q u a l i t y  b y   a ddi n g  c o m put i ng   n ode s ,  bu t  a l s o n e w  t y pe s  of  s e n s or  da t a  e a s i l y .      A d d i t i o n al l y ,   t h er ar m a n y   ap p l i cat i o n   b as ed   o n   s en s o r   d at p r o ces s i n g   w h i c h   ca n   b cl as s i f i ed   i n t o  t h r ee cl as s e s   b as ed   o n   h o w   t h e s e n s o r   d at ar p r o ces s ed   as  s h o w n   i n   T ab l 1 .  O nl i ne   p r o c e s s i n g o f   s tr e a m i n g  d a ta ,  o f f lin e  p r o c e s s in g  o f   h i s to r ic a l/s ta t is tic a l  d a ta  a n d   h y b r id  p r o c e s s in g  o f   b o th  h i s to r ic a l a n d   s tr e a m i n g  d a ta .  T o  c o p e  w it h   d if f e r e n t a p p lic a tio n s   in  s m a r in f o t a i n m e nt  d o m a i n,  t he  p r o c e s s i ng  s ys t e m  ne e d   t o  d eal  w i t h  b o t h   m as s i v el y  l a r g e h i s t o r i cal  d at a an d  s t r ea m i n g  d at a.  T h e h i s t o r i cal  s e n s o r   d at a i s  co n s i d er ed   t o  b e m o r e v al u ab l e an d  h e n c e n eed  t o  b e m i x ed   w i t h  s t r e a m  d at a i n   m an y  cas e s  f o r  p er f o r m i n g   s t at i s t i cal   c o m p u ta tio n ,  p a tte r n  d is c o v e r y  a n d  d a ta  in f lo w  p r e d ic tio n .       T ab l 1 .   S en s o r  D at a A p p l i cat i o n  T y p es   T y pe   A ppl i c a t i o n   C h a r a ct e ri s t i   O n l i n e   p r o c e s s i n g  o f  r e a l - tim e  s tr e a m in g   s en s o r  d at a   F a k e l i c en s e p l a t e d et ect i o n ,   b l a ck  l i s t e d   v eh i c l e/ u s er s   S i n g l e  r o w  q u e r i e s  f o r m  s e n s o r  d a t a   s t r ea m   R ea l - tim e  m o n i t o r in g  o f   tr a f f ic  a n d  t r a v e l   tim e  p r e d ic tio n   M u l t i p l e  r o w s  a g g r e g a t i o n  f r om   w i n d o w e d  d a t a  o n  s t r e a m   O f f l in e  p r o c e s s in g  o f  h is to r i c a l /s ta ti s t ic a l   s en s o r  d at a   M i n i n g  v e h i c l e  a n d   u s e r   d at a   A g g r e ga t i on  on  b a t c h  d a t a   H y b r i d  p r o c e s s i n g  o f  b o t h   h i s t o r i c a l  a n d   st r e a m  se n so r  d a t a   O v e r  s p e e d i n g  v e h i c l e  d i s c o v e r y ,  C l o n e d   l i c en s p l a t e d et ec t i o n   S i n g l e  s t r e a m i n g  r o w s  c o m p a r i s o n   f r o m  st a t i st i c a l  se n so r   d a t a       I n  o r d er  cat er  p er f o r m a n ce r eq u i r e m e n t o f  s m a r t i n f o ta i n m e n t s y s te m  a p p lic a tio n s ,   h o w   to  p r o v id e   s cal ab l e an d  r eal - t i m e  pr oc e s s i ng  s u ppor t  f or   m a s s i v e l y  l a r g e   a n c on t i nu ous  s e n s or  da t a   i s  be c o m i ng  on  e s s e n tia is s u e   in  s m a r t i n f o ta in m e n t  s y s te m .  N o v e l   m e th o d o lo g ie s  a r e  r e q u ir e d  to  s u p p o r t   a bov e m e n t i on e a p p l i c a t i o ns  a nd  t o  o ve r c o m e   und e r l yi n g c ha l l e nge s .   C h al l en g es  i n  d es i g n i n g   s en s o r  d at a p r o ces s i n g  s y s t e m :   T o   co p e w i t h  ab o v m e n t i o n ed  f e at u r es  a n d   a ppl i c a t i on s  of  s e n s or   d a ta ,  th e r e  e x is t c h a lle n g e s  in  d e s i g n i n g  a s en s o r  d at a p r o ces s i n g  s ys t e m  t ha t  c a n   p r o ces s   m as s i v e l y   l ar g e s e n s o r  d at a i n  n ear  r eal - t i m e an d   h a n d l e d i f f er en t   t y p e o f   s e n s o r  d at a ap p l i cat i o n .  T h ch al l e n g e s  ar e s u m m ar i zed : .   1.   F i r s t l y ,   m a n ag e m e n t  o f  b o t h  h i s t o r i cal  an d  s t r ea m  s e n s o r  d at a,  es p eci al l y  co n s i d er i n g  t h e m as s i v e v o l u me   o f  h i s t o r i cal  d at a an d  co n t i n u o u s l y  ar r i v i n g  s t r ea m  d at a.  T h e s en s o r  d at a i s  co m p o s ed  o f  d i f f er en t   di m e ns i ons  a n n e e ds  t o be  t r a n s f e r r e d t o di f f e r e nt  pr oc e s s i n g t a s k of   s m a r t  i nf ot a i nm e n t  s y s t e m .   S o m e   d at a m a y  b e s h ar ed  acr o s s  d i f f er en t  ap p l i cat i o n s .   A s  a r es u l t   l ead  t o  co m p l ex i t y  i n   m an a g i n g  s e n s o r  d at a.   2.   S e c on dl y ,  bui l di ng  of  a n  i n t e g r a t e d a r c h i t e c t u r e  t o s u ppor t  on l i n e  pr oc e s s i ng  of   s t r e a m  da t a ,  of f l i ne   pr oc e s s i n g of   h i s t or i c a l  da t a ,  a n d hy br i d pr oc e s s i ng  of  bot h s t r e a m  a n h i s t or i c a l  da t a .  S i n c e  s t r ea m  d at a   i s  co n t i n u o u s  a n d  h i s t o r i cal   d at a i s   m as s i v e,  t h e y   n eed  t o  b e s eg m en t ed  an d  f u s ed  f o r  p r o ces s i n g  i n   d is tr ib u te d  a r c h i te c tu r e  in  a   c o o r d in a te d   m a n n e r .  F o r  e x a m p le ,  to  p e r f o r m  c o m p u ta tio n  o f  c lo n e  p la te   v e h ic le  id e n ti f ic a tio n ,   m illio n s  o f  h i s to r ic a l   r e c or ds  a n s t r e a m  da t a  i n  s pe e d of  10, 000  r e c or ds  pe r   s eco n d s  n eed s  t o  b e ex ec u t ed  ev er y  s eco n d .   3.   T h i r dl y ,  t h e r e  i s  i n c r e a s i n g   i nn ov a t i v e  s m a r t  a ppl i c a t i on  t h a t  de pe n d on  pr oc e s s i ng  of  s e ns or  da t a .  S om e   o f  t he s e   m a y b e  s ho r t - te r m   a p p lic a tio n s .   A s  a  r e s u lt ,  ef f ect i v e an d  s i m p l i f i ed  d at a i n f l o w  p at t er n  o f   ap p l i cat i o n  an d  s en s o r  d at a p r o ces s i n g  s y s t e m  ar e n eed ed .   T he  s i gni f i c a nt   gr o w t h o f  B i gD a t a  a nd  c l o ud  t e c hno l o gi e s  ha s  i nc ur r e d  s i g ni f i c a nt  c h a l l e n ge s  i n   n et w o r k  ar c h i t ect u r e i n  d at ac en t er  t o  p r o ces s   s en s o r   d at i n  r eal - t i m e .  I n [ 2]  a dopt e d t r a f f i c  e ng i n e e r i ng  t ech n i q u e t o  ad d r es s  t h e b a n d w i d t h  r eq u i r e m en t  o f  d at a cen t er  n et w o r k .  I n  [ 3 ]  p r es e n t ed  a d at a i n f l o w   pr e di c t i on   m ode l  by  a dopt i ng  r a t e  c on t r ol   m e c h a n i s m  b a s e d on  pr e di c t e d t r a f f i c  i n n e t w or k .  R e c e n t l r es ear ch er  h av e co n s i d er ed  t i g h t  i n t e g r at i o n  o f  ap p l i cat i o n  an d  n et w o r k  l a y er  f o r  o p t i m i zi n g  n et w o r k  an d   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SSN :   25 02 - 4752   I nd o ne s i a n J  E l e c  E ng  &  C o m p  S c i ,   V o l.   11 , N o .   2 A ug us t  2018   :   5 04     514   506   r o u tin g  la y e r   f o r  p r e d ic tin g  a p p lic a tio n  tr a f f ic  [ 4 ] .   A ll t h e s e   m o d e l  r e q u ir e s  p r io r  u n d e r s ta n d in g  o f  a p p lic a tio n   t r af f i c i n  d at a cen t er   n et w o r k s  ( i . e.   t h e ab i l i t y  t o  f o r ecas t  d at a i n f l o w  b ef o r e p ack et   ar r i v es  i n   n et w o r k ) .   H o w e v e r ,  it is  d if f ic u lt to  p r e d ic t d a ta  in f lo w  o f  a p p lic a tio n  a c c u r a te .     A l l  e x i s t i n g   m e t h odol ogy  [ 5]  f oc us e d on  pr e di c t i n g  da t a  i nf l o w  ba s e d on  n e t w or k  l e v e l  p a r a m e t e r s   us i n g he ur i s t i c al g o r i t h m .  F o r  ex a m p l e,  [ 5 ]  co m p u t es  d at a i n f l o w   u s i n g   f l o w  co u n t er   m eas u r e m e n t  o n   s w i t c h es  an d  [ 6 ]  u s ed  s o ck e t  b u f f er  o ccu p an c y  at  eac h  n o d es  t o  co m p u t e d at a i n f l o w   f o r  each  n o d es .   H o w e v e r ,  t h e s e   m e t h odol og i e s  h a v e   n um be r  of  dr a w ba c ks .  F i r s t l y ,   m o s t  of   t h e m  ca n n o t  p r ed i ct  t h e d at i n f l o w  d e m an d  b ef o r e d at a en t er  t h e n et w o r k .  S eco n d l y ,  p er f o r m a n ce r eq u i r e m e n t  i d en t i f i ed  o n  n et w o r k  p at h   can n o t  acc u r at el y  r ef l ect  t h e  act u al  d e m an d  o f  ap p l i cat i o n  d u t o  co n g e s t i o n  co n t r o l  at  en d   n o d es  an d   p r es en ce o f   n o i s of  ba c kg r oun d f l o w .  T h i r dl y ,  t h e y   f a i l  t o i de n t i f y  pr i or i t y  i nf or m a t i on  a n d f i n e - g r ai n ed  d at a   i nf l o w  de pe n de n c i e s  i m pos e d  by  a ppl i c a t i ons .   A s  a  r e s u l t ,   n e t w or k - l a y er  b as ed  ap p r o ach es  ar e s h o w n  t o  b pe r f or m i ng  poor l y  i n  pr e di c t i ng  t h e  r e a l - ti m e  a p p lic a tio n   d e m an d  [ 7 ] ,  t h u s  af f ect i n g  s y s t e m  p er f o r m a n ce.     A g e n t  b as ed  f o r ecas t i n g   m o d el  ai d  i n  ach i ev i n g   f i n e - g r ai n ed  p er f o r m an ce  f o r  p er f o r m i n g  r eal - ti m e   an al y s i s  o n  s o ci al   m ed i a an d   s en s o r  d at a ad o p t i n g  Map R ed u ce f r a m e w o r k   u s i n g  cl o u d  a r ch i t ect u r e [ 8 ] ,  [ 9 ]   a nd  [ 1 0] .  H a doop f r a m e w or k  [ 11]  i s  a   w i de l y   u s e d M a pR e du c e   f r a m e w or k  t h a t  a do pt s  c l ou d pl a t f or m .   M ap R ed u ce f r a m e w o r k  i s  co m p o s ed  o f  t w o  s t ag e.  I n  t h e i n i t i al  s t a g e,  i n p u t  d at a t o  b e p r o ces s ed  i s   f r ag m e n t ed   i n t o   s e g m e n t s .   E ach   s eg m e n t   i s   a s s o ci at ed   w i t h   m ap   co m pu t i ng   w or k e r   t h a t   pr ov i de s   K e y |   V a l ue   p ai r s  as  o u t p u t s .  T h e o u t p u t s  o b t ai n ed  ar e s o r t ed  o n  t h e b as i s  o f  t h e K e y  v al u es  as s o ci at ed .   T h e s o r t ed   va l ue s   a r e   t he   i np ut   t o   r e d uc e   c o m p ut i ng  w o r ke r s ,   t ha t   i s ,   K e y   |  S or t e L i s t   ( V al u e) .   R ed u ce  co m p u t i n g   w o r k er s   k eep s  t h e o u t co m e i n  H ad o op  di s t r i bu t e d f i l e  s y s t e m  ( H D F S ) .  T h e  m a p a n d r e du c e  c om pu t i n w o r k er s   ar g en er al l y   v i r t u al   m ach i n e s   ( V Ms )   i n   p u b l i cl o u d   en v i r o n m e n t s .   A   s i m p l M ap R ed u ce  m o d el   d ep l o y ed  o n  t h e V M  b as ed  co m p u t i n g e n vi r o n m e nt  i s   s ho w n i F i g ur e   1.           Fi g ur e   1 .  A r c h ite c t u r e  of  M a p R e du c e  f r a m e w or k  de pl o y e d on  pu bl i c  c l ou d pl a t f or m         I n  [ 8 ]  p r es en t ed  ag en t  b as ed   f o r ecas t i n g   m o d el  t o  p r ed i ct  a i r  p o l l u t i o n  l e v el  acr o s s  d i f f er en t  r eg i o n .   T o   im p r o v e   a c c u r a c y   o f   p r e d ic tio n   t h e ir   m o d e a d o p te d   a r tif ic ia i n te lli g e n c e   a n d   to   f o r ecas t   s h o r t es t  p at h   D i j k s t r a al g o r i t h m .  T h e p er f o r m  an a l y s i s  o n  r eal - t i m e H ad o o p  M ap R ed u ce f r a m e w o r k   i s   ad o p t ed .  H o w ev er ,   t h e y  c o n s i de r e d pe r f or m a n c e   e v a l u a t i on  onl y   f or  of f l i n e  da t a .  I n  [ 9]  pr e s e n t e d a  hy br i m ode l  t o pr oc e s s  bot h   s t r e a m  a nd  no n - st e a m  s e n s o r  d at a b y  ad o p t i n g  M ap R ed u ce f r a m e w o r k .  T h ei r  m o d el  ach i ev e s  s cal ab l e   pe r f or m a n c e  ov e r  t r a di t i on  ope n  s ou r c e  s t r e a m i n g   m ode l  S t or m  [ 12] .  H o w e v e r ,  t h e i r   m ode l  i n c u r s  c o m pu t i ng  o v er h ead .  A s  a r es u l t  i n cu r   h i g h  co s t  o f  p r o ces s i n g .  T o   m i n i m i ze co s t  [ 1 0 ]  p r es en t ed  an  ag e n t  b as ed   f or e c a s t i n g   m ode l  on  t op of  H a doop.   T h e  m ode l  i n c u r s   s l i g ht  ov e r h e a d f or  a ppl i c a t i on  bu t  a t  t h e  r e du c t i on  o f   c o m p ut i ng t i m e .  T hus ,  r e d uc i ng c o s t  o f  c o m p ut i n g.  H o w e ve r ,  r e s ul t  p r e s e nt e d  i n [ 1 3]  s ho w s  a d o p t i n g   Evaluation Warning : The document was created with Spire.PDF for Python.
I nd o ne s i a n J  E l e c  E ng  &  C o m p  S c i     I SSN :   2502 - 4752       M u lti - A ge nt  bas e d M ap R e duc e  M ode l  f or  E f f i c i e nt  U t i l i z at i on of  S y s t e m  ( H e e na k ous ar )   507   H a doop M a pR e du c e  f or  pr oc e s s i ng  i nc ur s  c o m p ut i n g o ve r he a d .  S i nc e ,   i t  d o e s   no t  f ul l ut i l i z e   t he  r e s o ur c e   av ai l ab l e.       T o  co p e w i t h  r es ear ch  c h al l en g e s  i n  d es i g n i n g  ef f i ci e n t   r eal - t i m e s o ci al   m ed i a an d  s en s o r  d at pr oc e s s i n g a n d D a t a  I nf l o w  F or e c a s t i ng  ( D I F )   m ode l ,  t h i s   w or k  pr e s e nt   an  ag e n t   b as ed  d at a i n f l o w   f or e c a s t i n g   m ode l   f or  bot h  s t r e a m  a n d n o n - s t r e a m  ( hi s t o r i c a l )  d a t a  b y u s i ng M ul t i va r i a t e  G a us s i a n M i xt ur e   ( M G M )   m o d el .  T o  p er f o r m  an al y s i s  o n   m a s s i v el y  l ar g e s o ci al   m ed i a a n d  s e n s o r  d at a,  t h i s   w o r k  ad o p t  p ar al l el   c o mp u t i n g  f r a me w or k .  T h i s   w or k pr e s e n t  a A g e n t  ba s e M a pR e du c e  ( A M R )  f r a m e w or k  t o pr oc e s s  da t a  i r eal - t i m e an d   u t i l i ze  s y s t e m   r es o u r ce ef f i ci e n t l y .  T o  p r o v i d e s cal ab i l i t y   f o r  p r o ces s i n g  s o ci al   m ed i a a n d   s en s o r  d at a A M R   m o d el  ad o p t s  cl o u d  co m p u t i n g  ar ch i t ect u r e.   T he  C o n tr ib u tio n  o f  r e s e a r c h   w o r k  i s  a s   f o llo w s :   a)   A   n o v el   A g e n t  b as ed   m o d el  M ap R ed u ce f r a m e w o r k  i s  p r es en t ed  f o r  d at a i n f l o w   f o r ecas t i n g .   b)   T h e  pr o pos e d D I F - A M R  s u ppor t  pr oc e s s i n g  of   s t r e a m ,   n on - s t r ea m  d at a an d  co m b i n at i o n  o f  b o t h  i n  r eal - t i me .   c)   T he  D I F - A M R  pr ov i de s   s ca l a b l e p r o ces s i n g  b y  ad o p t i n g  cl o u d  co m p u t i n g  ar ch i t ect u r e.   d)   DI F - A M R   u ti liz e   s y s te m   r e s o u r c e   e f f ic ie n tl y   a n d   e x p e r i m e n o u tc o m e   s h o w s   s i g n if ic a n r e d u c tio n   i n   c o m p ut i ng t i m e .     T h e r es t  o f  t h e p ap er  i s   o r g a n i zed  as   f o l l o w s .  I n  s ec t i o n  I I  t h e p r o p o s ed  ag en t   b as ed   f o r ecas t i n g   m ode l  i s  pr e s e n t e d.  I n  pe n u l t i m a t e   s e c t i on  e x pe r i m e n t a l  s t udy  i s  c a r r i e d ou t .  T h e  c on c l us i on  a n f ut u r e   w or k   is  d e s c r ib e d  in  la s t s e c t io n .          2.   P R O P O S E D   A G EN T B A S E D  F O R EC A S TI N G  M O D EL      T h i s  s ect i o n  p r es en t  an  ef f i c i en t  s t r ea m  a n d  n o n - st r e a m  da t a  i n f l o w   f or e c a s t i ng   m ode l  by  a dopt i ng  a ge nt   b as ed   M ap R ed u ce  f r a m e w o r k .  T h e p r o ces s  o f  p er f o r m i n g  s t r ea m  a n d   n o n - s t r ea m  d at a i n f l o w   f o r ecas t i n g   m o d el  o n  ag e n t  b as ed  M ap R ed u ce f r a m e w o r k  co n s i s t  o f   f o l l o w i n g  s t ep s :     a)   D a ta  in f lo w  p r e d ic to r  s e le c tio n   D a ta   in f lo w   pr e di c t or   can   b e d ef i n ed  b y  Mu l t i v ar i at e G a u s s i a n  M i x t u r e ( M G M )   m o d el ,   w h i ch  i s   c om pos e of  num e r ou s  w e i ght e G a u s s i a n  l i k e l i h ood  de n s i t y  m ode l .   T h e   G M  m ode l  w i t h     v ar i ab l es  ca n  b s ta te d  a s  f o llo w s :     ( | ) = . = 1   (1 )     w h er   i s  t h e co l l ect i o n  o f  d at a s t r eam s ,     is  th e  lik e li h o o d  d e n s it y   f o r  th e     v ar i ab l e,     is  th e  q u a lif ie r   s p eci f i er   f o r  t h   v a r ia b le ,  s a tis f y i n g   > 0 = 1 = 1 = ( 1 , , , 1 , , )   i s  th e  q u a l if ie r   s p eci f i er  s et   f o r  G m o d el .   b)   Qu al i f i er  s p eci f i er  ap p r o x i m at i o n   E x pe c t a t i on   m a x i m i z a t i o n  a l g or i t hm  i s  on e  of   t h e  e x t e ns i v e l y   u s e m e t h odol ogy  f or  qu a l i f i e r   s p e c if ie r  a p p r o x i m a t io n .  E x p e c ta tio n   m a x i m iz a tio n  a l g o r ith m  a id  in   m i n i m iz i n g  th e  c o m p l e xi t y o f   m a xi m u m   lik e li h o o d   e s ti m a t io n .  E x p ect at i o n   m a x i m i zat i o n  al g o r i t h m  i s  co m p o s ed  o f  t w o  p h a s es  s u ch  a s  E x p ect at i o n   p h as e an d  Max i m i za t i o n  p h a s e.  I n  E x p ect at i o n  p h a s e t h e  r es p o n d i n g  d eg r ee i s  co m p u t ed  u s i n g  p r es en t   q u a lif ie r  s p e c if ie r  a n d  in  M a x i m iz at i o n  p h as e,  q u al i f i er  s p eci f i er  ar e u p d at ed  b as ed  o n  r es p o n d i n g  d eg r ee.  F o r   o ne  K - v a r ia b le  G M   m o d e l,  in   w h ic h  c o lle c tio n  o f  d a ta  s tr e a m  is   = 1 , ,   an d  t h e q u al i f i er   s p eci f i er   ar e   = , , = 1 , , ,  on e  i t e r a t i on  of  t h e  e xpe c ta tio n   m a x i m iz a tio n  a l g o r ith m  is  e x p r e s s e d  a s   f o llo w s :   E x p e c ta tio n  p h a s e     , =   (2 )     M ax i m i zat i o n  p h as e:       = 1 , = 1   (3 )   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SSN :   25 02 - 4752   I nd o ne s i a n J  E l e c  E ng  &  C o m p  S c i ,   V o l.   11 , N o .   2 A ug us t  2018   :   5 04     514   508   = , = 1 , = 1   (4 )     = , = 1 , = 1 .   (5 )     T h e ex p ect at i o n   m a x i m i zat i o n   w i l l   s t o p  i f  co n v er g en ce  co n d itio n  is   s a ti s f ie d  o r  p r e d e f in e d  ite r a tio n   is  c o m p le te d .  T h e  lo c a l d a ta  in f lo w   f o r  a ll n o d e  is  o b ta i n e d  p o s t c o m p le tio n /te r m i n a t io n  o f  e x p e c ta tio n   m a x i m iz a tio n  a l g o r ith m .     c)   G lo b a l in f lo w  p r e d ic tio n   m o d e l   I n  or de r  t o pr e di c t  t h e  g l oba l  i nf l o w  of  da t a  s t r e a m ,  t h e l o cal  i n f l o w  o f  d at s t r ea m  o b t ai n ed  b y   e x p e c ta tio n   m a x i m iz a tio n  a l g o r ith m   s h o u ld  b e  p o o le d .  F o r  th a f ir s tl y ,  t h e  s i m ila r it y  a m o n g  d i f f e r e n t lo c a l   m o d el s  i s  o b t ai n ed .  S eco n d l y ,  t h e l o cal   m o d el s  ar e cl as s i f i e d .  A n d  l a s t l y ,  t h e  l o cal   m o d el s  ar e p o o l e d  b as ed   on   w e i gh t  of  e a c h  c l a s s  t o f or m   g l oba l   m ode l s .  L e t   1 2   r ep r es en t  t w o  l o cal   m o d el s ,  an d  t h e d i s t an c e   a m ong  t h e m  i s  c o m put e d a s  f o l l o w s :     ( 1 , 2 ) = 1 ( 1 , 2 ) .   (6 )     W h er e,     ( 1 , 2 ) = 1 1 + 1 2   (7 )     T h e s i m i l ar i t y  a m o n g  t w o  l o ca l   m o d el s  i s  co n s i d er ed  t o  b e h i g h  i f  t w o  l o cal   m o d el s  ar e cl o s e t o  each   o t h er .  T h en  cl as s i f i cat i o n  p r o b l e m  o f  l o cal   m o d el s  can  b e s t a t ed  as  a  m i n i m u m  s p an n i n g  t r ee p r o b l em ,  an d   c an  b e ad d r es s ed  u s i n g  [ 8 ] .  L e t  t h w ei g h t  o f  l o cal   m o d el s  b e ex p r es s ed  as :     , = 1 , , ,   (8 )     C o v ar i an ce m at r i x   o f  l o cal   m o d el s  i s  ex p r es s ed  as :     , = 1 , , ,   (9 )     A n d  av er ag v al u e o f  l o cal   m o d el s  i s  ex p r es s ed  as :     , = 1 , , .   ( 10)     T h e n  to  id e n tif y   w h ic h   s e t t h e  m o d e   b e lo n g s  to  is  e x p r e s s e d  b y   f o llo w in g   f u n c tio n     = , = 1 ,     0 , .   ( 11)     L et  co n s i d er  a s et  o f  d at a s t r ea m  f o r  l o cal   m o d el     be   .  I f  d at a s t r ea m  s i ze o f  l o cal   m o d el s  ar e n o t   eq u al ,  t h w ei g h t  o f  g l o b al   m o d el s  can  b e co m p u t ed  as :       = , = 1 = 1 ,   ( 12)     T h e co v ar i an ce  m at r i x  o f  g l o b al   m o d el s  i s  co m p u t ed  as :     = , = 1 = 1 , ,   ( 13)   Evaluation Warning : The document was created with Spire.PDF for Python.
I nd o ne s i a n J  E l e c  E ng  &  C o m p  S c i     I SSN :   2502 - 4752       M u lti - A ge nt  bas e d M ap R e duc e  M ode l  f or  E f f i c i e nt  U t i l i z at i on of  S y s t e m  ( H e e na k ous ar )   509   T h e av er ag e v al u e o f   g l o b al   m o d el s  i s  co m p u t ed  as :     = , = 1 = 1 ,   (1 4 )     d)   A g e n t  b as ed  Map R ed u ce  m o d el   T h e  pr opos e d a g e n t  ba s e d M a pR e du c e   m ode l  i s  c o m pos e d of  f ol l o w i ng  a g e n t  a s   s h o w n i n   F i g ur e   2.           Fi g ur e   2 .  A r ch i t ect u r e o f  p r o p o s ed  A g e n t  b as ed  M ap R ed u ce  ( A MR )  M o d el       F i l e/ S t rea m  R ea d   A g en t :   h e r e  th e  c l ie n t  s y s te m  ( F ile /S t r ea m   R ead   A g en t )  r ead  a  t ex t   f i l e/ s t r ea m   d at a an d  s en d s  each  l i n e o f  t ex t  as   m es s a g e t o  t h e C l i en t   A g e n t .   C l i e nt  A g e nt :   t h e  C l i en t   A g e n t   h as  t h e r e f er en ce t o  t h R e m o t A g en t  ( M ap R ed u ce  A g e n t )  an d  t h e   m es s ag e i s  p as s ed  o n  t h e R e m o t e A g en t .   S erv er/ M a p R ed u c e A g en t :   t h S er v er / Map R ed u ce A g e n t  g et s  t h e m e s s a g e f r o m   t h e C l i en t  A g e n t .   T h e  A g e n u s e s  P r io r it y  S p e c i f ie r  to  s e le c t t h e  p r io r ity  o f  th e   m e s s a g e  a n d  f ilt e r s  t he  q ue ue s  a c c o r d i ngl y .  T he   P ri o ri t y  S p eci f i er   i s  u s ed  t o  s eg r e g at e t h m es s ag e a m o n g  t h e M ap R ed u ce r eq u es t s  a n d  r et r i ev i n g   t h e l i s t  o f  o u t co m es  ( O U T _ L I S T )  m es s ag f r o m  t h e   A g gr e g a t o r  A ge nt .     M a pR e duc e  A g e nt :   s e n ds  a c r os s  t h e   m e s s a g e  t o t h e  M a A g e n t   f or   m a ppi ng  t h e   w or ds .  T h i s  M a p   A g e n t  u s e s  R o u n d R obi n   R ou t e r  di s pa t c h e r .  A f t e r   m a ppi ng  t h e   w or ds ,  t h e   m e ss a g e s i s  s e n t  a c r o ss t o   t h e   R e du c e   A g e n t  f or  r e du c i ng  t h e   w or ds .  S i m i l a r  t o M a p   A g e n t  t h e   R e du c e   A g e n t  a l s u s e s   R oun d R obi R o u t er  d i s p at ch er .   T he   r ed u ced  r es u l t s  ar e s en t  t o  t h e   A ggr e ga t o r  A ge n t  t h at  d o es  an  i n - m e m or y  a gg r e g a t i on  o f  th e  r e s u lt.   e)   A ge n t  b as ed  M ap R ed u ce i m p l e m en t at i o n  o f  d at a i n f l o w  f or e c a s t i ng  m ode l   T h is  s e c tio n  p r e s e n th e  d e ta il  i m p le m e n ta tio n  o f  d a ta  i n f lo w  f o r e c a s ti n g  o n  a g e n t b a s e d  M a p R e d u c e   f r a m e w or k .  F i r s t l y ,  t h e  da t a  s t r e a m  s h ou l d be  r ou t e d i nt o one  di r e c t e d g r a ph ,  i n   w hi c h  a r c s   r ep r es en t  n u m b er   o f  li n e s  a n d  th e  v e r tic e s  r e p r e s e n t  n u m b e r  o f  f ile s .  E a c h  a r c  is  r e p r e s e n te d   u s i n g  t w o   th i n g s ,   th e  to ta v o lu m e   a n d  p r e s e n t lo a d  o f  th e   s tr e a m s / f ile s ,   w h ic h  a r e  d e r iv e d  f r o m  d i f f e r e n t c o m p u ta tio n a a p p lic a tio n  s tu d ie s .   F ir s tl y ,   w e  i n p u t t h e d at a t h a t  h o l d s  an  ar c o f  t h g r ap h s  a n d  i t s  co n t e n t .  T h en  t h e M ap  o p er at i o n  p r o d u ces   t w o  co n t e n t s  f o r  eac h  ar c  d at a,  o n k e y ed  u n d er  each  o f  t h v er t i ces  t h a t   f o r m   t h e  ar c.  T h e v al u e eac h  r eco r d   pos s e s s  a ugm e n t i ng  f l o w     an d  p at h .  E ach     is  e q u a l to  to ta l v o lu m e   m in u s  p r e s e n t lo a d .  P o s c o m p le t io n   o f   M ap  o p er at i o n ,  a s eq u e n ce o f  co n t ai n er s  ar e cr eat ed ,  each  c o n t ai n er  p o s s es s  r eco r d s  f o r  e ach  ar c ad j acen t  t o   i t s  c o r r e s p o nd i n g/ ne i g hb o ur i n ve r t e x.  I n R e d uc e s   s t a ge ,  r e c o r d s   w i t h  s a m k e y   g en er at e d  i n  M ap  s t a g e ar e   cu m u l at ed  b y  p er f o r m i n g   s h u f f l e an d  s o r t  o p er at i o n  t o  s ea r ch  t h e p at h  an d  co m p u t e   .  P o s t c o m p le tio n  o f   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SSN :   25 02 - 4752   I nd o ne s i a n J  E l e c  E ng  &  C o m p  S c i ,   V o l.   11 , N o .   2 A ug us t  2018   :   5 04     514   510   r ed u ce o p er at i o n ,  al l  t h e 2 - d i s t an ce p at h s  a m o n g  p at h s / n o d e p ai r  ar e g en er at ed .   A g a i n   t h e  o u t p u t  o f  p r ev i o u s   r ed u ce o p er at i o n  an d  t h e r aw   ar c i s  co m b i n ed  t o  f o r m  i n p u t   an d  p er f o r m  i t er at i v e co m p u t a t i o n .  S i m i l ar l y ,  t h M ap  o p er at i o n  p r o d u ces  s eq u en ce s  o f  r eco r d s  an d  r eco r d s   w i t h  s a m e  k e y  ar e  s e n d  t o  a s p eci f i c r ed u ce   w o r k er .  P o s t  co m p l et i o n  o f   M ap  p h as e,  al l  3 - d i s t a nc e  p a t hs  a nd     ar e co m p u t ed .  S i m i l a r l y ,  t h e  p r o ces s  i s   r ep eat ed .   T h e i t er at i o n  p r o ces s  i s  car r i ed  o u t  u n t i l  o u t p u t  o f   t w o  r ed u ce  f u n ct i o n s  ar e s a m e .  T h i s   m ea n s     a nd   p at h s  a m o n g  each   n o d e p ai r  a r e en cl o s ed  i n  al l  t h e o u t p u t  p r o d u ced  b y  each  r o u n d  d ecr ea s e.  A l l   w e n ee d t do i s  t o s or t  t h e s e  ou t c o m e s  by     a n d n ode  pa i r .   I n  n ex t  s ec t i o n  ex p er i m en t  ar e co n d u ct ed  t o  ev al u at e t h e p er f o r m a n ce D I F - A M R  o ve r  e xi t i ng  m o d e l   co n s i d er i n g  d i f f er en t  ex p er i m en t s .       3.   RE S U L T   AND ANA L YS I S   T h i s  s ect i o n  d es cr i b es  t h e ex p er i m e n t al  a n al y s i s   of  pr opos e d D a t a  I n f l o w  F or e c a s t i ng   A M R  ( D I F - A M R )  p er f o r m a n ce ac h i ev ed  o v er  ex i t i n g   m o d el  [ 1 0 ] .  T h e D I F - A M R i s i m p l e m e n t e d   u s i n g  C# ,  D o t  N e t   f r a m e w or k  4. 5 a n d de pl oy e d on  M i c r os of t   A z u r e  C l o u d c o m pu t i ng  pl a t f or m .     a)   W or d f r eq u en c y  d et ect i o n  co m p u t at i o n   T he   DI F - A M R   f r a m e w or k  i s   de pl oy e d on  D 3 V M  i n s t a n c e   c om pos e d of  4 v i r t u a l  c o m pu t i n g  c or e s ,   14 G B  R A M  a n d 200 G B  l oc a l  S S D  h a r d dr i v e  s pa c e .   T h e  D I F - A M R   f r a m e w or k  i s  de pl oy e d on  M i c r os of t   azu r e cl o u d  co m p u t i n g  p l at f o r m  co m p o s ed  o f  o n m a s t er  n o d es  an d   f o u r   v i r t u a l  c o m put i ng   n ode s  t o pe r f or m   m a p a n d r e du c e  ope r a t i on   w hi c h  r u ns  on  W i n do w s  S e r v e r  2012  R 2 op e r a t i n g  s y s t e m .  H D I ns i g ht     c l u s t e r  [ 14] ,  [ 15]  i s  c on s i de r e d f or  e xi t i n m ode l   o n   M i c r os of t   a z u r e   c l ou d   c o m put i ng  pl a t f or m .   I de n t i c a l   c om p u t i n g  pl a t f or m  a n d c onf i g u r a t i o n  i s  c on s i de r e d f or  bot h  pr op os e d a n d e x i s t i ng   m ode l .  T h e   w or f r e qu e n c y  s t a t i s t i c  a ppl i c a t i on i s  de v e l ope d u s i n g   C # pr og r a m i n g  l a ng u a g e  a n d D ot . n e t  f r a m e w or k  4. 5.  A n f or  e x i s t i ng  H a doop ba s e d  m o de l  i t  i s  de s i g n e d us i ng  J a v a  pr og r a m i ng  l a n gu a g e .  T h e W i k i p ed i a d at as et  [ 1 6 ]   i s  co n s i d er ed  f o r  ex p er i m e n t   an al y s i s .  T h e W i k i p ed i a d at as et  i s   h u g e i n  s i ze ( i . e.  >1 0 0  G B )  an d  i s  s p l i t  i n t o   5 1 2  M B  each  an d  s t o r ed  i n  A z u r e cl o u d  co n t ai n er .  F o r  ex p er i m e n t al  an al y s i s  t h i s   w o r k  co n s i d er  8 G B   o f  d at a.   T h e   w or d f r e qu en c y  s t at i s t i cs  ap p l i cat i o n s   w er e e x ec u t ed  o n  t h D I F - A M R  a nd e x i s t i n g   H a doop   d ep l o y m en t s  an d  t h e r es u l t s  o b t ai n ed  ar e n o t ed .   T h e M ap  o p er at i o n  co m p u t at i o n  t i m e at  each  co m p u t i n g  n o d e i s   n o t ed  an d  r es u l t  o b t ai n ed  ar e s h o w n   in  F ig ur e   3 .  F r o m  r e s u l t o b ta in e d   i t  ca n  b e s ee n  t h at   D I F - A M R  ac h i e v es   f as t er  ex ec u t i o n  t i m e t h an  ex i t i n g   m o d el .   R ed u ce o p er at i o n  co m p u t at i o n  t i m e  at  eac h  co m p u t i n g  n o d e i s   n o t ed  an d  r es u l t  o b t ai n ed  ar e s h o w n  i n   Fi g ur e   4 .  F r o m  r e s u lt o b ta in e d  it c a n  b e  s e e n  th a t D I F - A M R  ach i ev e s  f a s t er  ex e c ut i o n t i m e  t ha n e xi t i n g   m o d el .  F r o m  r e s u l t  o b t ai n ed  i t  can  b e s een  t h at  F I F - A M R  e x h ib it s  f a s te r  c o m p u ta tio n   ti m e  t h a n  e x is tin g   H ad o o p   b as ed  m o d el  [ 1 0 ] .   T h e av er ag e co m p u t at i o n  t i m e o f  Map  an d  R ed u ce o p er at i o n  co m p u t at i o n  t i m e i s   n ot e d a n d i s  s h o w n i n F i g ur e   5.  T h e  c om pu t a t i on   t i m e  of   M a p ope r a t i on  i s  r e du c e d b y   8. 16%  by  D I F - AM R   ov e r  e x i s t i ng   m ode l .  T h e  c om p u t a t i on  t i m e  of   R e du c e  op e r a t i on  i s  r e du c e d b y  85. 23%  by  D I F - A M R  o v er   e x is t in g   m o d e l.  T h e  to ta l c o m p u ta t io n  ti m e  f o r  p e r f o r m in g   w o r k  f r e q u e n c y  s ta tis ti c s  c o m p ut a t i o n o A z ur e   c lu s te r   is   s h o w n  i n  F ig ur e   6.   T h e  c om p u t a t i on t i m e  of   m a p  ph a s e  c ons i de r i ng  D I F - A M R  i s  100. 29 s e c on ds   a n d f or  e x i s t i n g   m ode l  i s  198. 0 s e c on ds .  T h e  c om p u t i n g   t i m e  r e du c t i on  of  49. 34%  a n d 43. 36%  i s  a c h i e v e d b y   pr op os e d D I F - A M R  o v er  ex i s t i n g   m o d el  f o r  Map  an d  R ed u ce o p er at i o n   r es p ect i v el y .  T h e t o t al  co m p u t at i o n   t i m e o f   m ap  p h as e co n s i d er i n g  D I F - A M R  i s  107. 0 5 s e c on ds  a n d f or  e x i s t i ng   m ode l  i s  210. 0  s e c on ds .   T h e   t ot a l  c om p u t i n g  t i m e  r e du c t i on  of  49. 023%  i s  a c h i e v e d b y  pr opos e d D I F - AM R  o v e r  e xi s t i ng  m o d e l .           Fi g ur e   3.  M a p ope r a t i on  c om p u t a t i on  t i m e  o n   w or k e r  n ode s     Evaluation Warning : The document was created with Spire.PDF for Python.
I nd o ne s i a n J  E l e c  E ng  &  C o m p  S c i     I SSN :   2502 - 4752       M u lti - A ge nt  bas e d M ap R e duc e  M ode l  f or  E f f i c i e nt  U t i l i z at i on of  S y s t e m  ( H e e na k ous ar )   511       Fi g ur e   4 .  R ed u ce o p er at i o n  co m p u t at i o n  t i m e o n   w o r k er  n o d es           F i g ur e   5 .  A v er ag e co m p u t at i o n  t i m e o n   w o r k er  n o d es  o n  M a p  an d  R ed u ce p h as e           Fi g ur e   6 .  C o m p u ta t io n  ti m e p er f o r m an ce e v al u at i o n  co n s i d e r i n g  D I F - A M R  a n d e x i s t i ng   m ode l       b)   Ho t - W or d de t e c t i on  c om put a t i on   T he  D I F - A M R   f r a m e w or k  i s   de pl oy e d on  D 3 V M  i n s t a n c e   c om pos e d of  1 v i r t u a l  c o m pu t i n g  c or e s ,   14 G B  R A M  a n d 200 G B  l oc a l  S S D  h a r d dr i v e  s pa c e .   T h e  D I F - A M R  f r a m e wo r k  i s  de pl oy e d on  M i c r os of t   a z u r e  c l ou d c o m p u t i n g pl a t f or m  c o m pos e d o f  on e   m a s t e r  n o de s  a n f ou r   v i r t u a l  c o m put i ng   n ode s  t o pe r f or m   m a p a n d r e du c e  ope r a t i on   w hi c h  r u ns  on  W i n do w s  S e r v e r  2012  R 2 op e r a t i n g  s y s t e m .  H D I ns i g ht     c l u s t e r  [ 14] ,  [ 15]  i s  c on s i de r e f or  e xi t i n m ode l   o n   M i c r os of t   a z u r e   c l ou d   c o m put i ng  pl a t f or m .   I de n t i c a l   c om p u t i n g pl a t f or m  a n d c onf i g u r a t i o n  i s  c o n s i de r e d f or  bot h  pr opos e d a n d e x i s t i ng   m ode l  [ 17] .   T h e  h ot - w or de t e c t i on  a l g or i t hm  [ 18]  i s  de v e l ope d u s i ng  C # pr og r a m i ng  l a n gu a g e  a n d D ot . n e t  f r a m e w or k  4. 5.     A n d f or  e x i s t i ng  H a doop ba s e d m ode l  i t  i s  de s i g n e d us i ng  J a v a  pr og r a m i ng  l a n gu a g e .  T h e  “ M ov i e t w e e t i n gs   d at as et  [ 1 9 ]  i s  co n s i d er ed  f o r   ex p er i m e n t  a n al y s i s  an d   s t o r ed  i n   A z u r e cl o u d  co n t ai n er .  T w eet s  co n s i s t i n g  o f   2500 0,  50 000 ,  750 00 a n 100 000 m ov i e s  i s  c on s i de r e d a n d i s  r e pr e s e n t e d a s  25K ,  50K ,  75K  a n d 100K .   T h e   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SSN :   25 02 - 4752   I nd o ne s i a n J  E l e c  E ng  &  C o m p  S c i ,   V o l.   11 , N o .   2 A ug us t  2018   :   5 04     514   512   ho t - w o r d  d et ect i o n  al g o r i t h m   w er e ex ecu t ed  o n  t h e D I F - A M R  a n d e x i s t i ng  H a doop d e pl oy m e n t s  a n d t h e   r es u l t s  o b t ai n ed  ar e n o t ed .  T h e t o t al  co m p u t at i o n  t i m e o f  D I F - A M R  a nd  e xi s t i ng   m od e l  i s   n ot e d a n d i s   s h o w i n F i g ur e   7 .  E x p er i m en t  an al y s e s  s h o w s  as   n u m b er  o f  t w e et s  i n cr ea s es  t h e co m p u t at i o n  t i m e o f  b o t h  D I F - A M R  an d  ex i s t i n g   m o d el  i n cr eas es .  T h e co m p u t at i o n  p er f o r m an ce i m p r o v e m e n t  o f  D I F - A M R  o ve r  e xi s t i ng   m ode l   f or  25K  i s  a bou t  10. 6 % ,  f or  50K  i s  a bou t  16. 69% ,  f or  75K  i s  a bou t  58 . 41%  a n d f or  10 0K  i s  a bou t   5 7 . 9 8 %  i s  ach i ev ed .   A n  a v er ag e co m p u t at i o n  p er f o r m an ce  i m p r o v e m en t  o f  4 6 . 9 4 %  i s  ach i ev ed  D I F - AM R   o v e r  e x is ti n g   m o d e l.  B a s e d  o n  th e  r e s u lts  o b ta in e d  i n  th e  h o w o r d  d e te c tio n  a lg o r ith m   i t  can  b e co n cl u d ed   t ha t  t he  D I F - A M R   m o d el  ex h i b i t s  l o w er  co m p u t at i o n  t i m w h en  co m p ar ed  t o  t h e e x i s t i n g   m o d el .             Fi g ur e   7 .  C o m p u t at i o n  t i m e p er f o r m an ce e v al u at i o n  co n s i d e r i n g  D I F - A M R  a n d e x i s t i ng   m ode l       H D I n s i gh t  c l u s t e r   [ 14] ,   [ 15 ]   i s   c on s i de r e f or   e x i t i ng   m ode l   on  M i c r os o f t   a z u r e   c l ou c om p u t i ng  pl a t f or m .  I de n t i c a l  c o m pu t i ng  pl a t f or m  a n d c onf i gu r a t i on i s  c on s i de r e d f or   bot h  pr o p os e d a n d e x i s t i n m ode l .  T h e   h ot - w or d de t e c t i on  a l g or i t hm  [ 18]  i s  de v e l ope d u s i n g C # pr og r a m i ng  l a ng u a g e  a n d D ot . n e t   f r a me w or k  4. 5.  A n d f or  e x i s t i n g H a doop ba s e m ode l  i t  i s  de s i gn e d us i n g  J a v a  pr og r a m i n g l a ngu a g e .  T he   M o v i et w eet i n g s ” d at as et   [ 1 7 ]   i s   co n s i d er ed  f o r  ex p er i m e n t   an al y s i s  an d   s t o r ed  i n   A z u r cl o u d  co n t ai n er .   T w e e t s  c on s i s t i n g  of  25000,   5 0000,  7 500 0 a n d 1 000 00 m o v i es  i s  co n s i d er ed  an d  i s  r ep r es en t ed  as  2 5 K ,  5 0 K ,   75K  a n d 1 00K .   T h e  h ot - w o r d  d et ect i o n  al g o r i t h m   w er e ex ecu t ed  o n  t h e D I F - A M R  a nd e x i s t i ng  H a doop  d e p lo y m e n t s  a n d  th e  r e s u lts  o b ta in e d  a r e  n o te d .  T h e  to ta l c o m p u ta tio n  c o s t o f  D I F - A M R  a n d e x i s t i ng   m ode l   i s n o t e d  a nd  i s  s ho w n i T ab l e 2 .  E x p er i m en t  a n al y s es  s h o w s  a s  n u m b er  o f  t w eet s  i n cr eas es  t h e co m p u t at i o n   c os t  of  bot h  D I F - A M R  an d  ex i s t i n g   m o d el  i n cr ea s es .  T h e co m p u t at i o n  co s t  i m p r o v e m en t  o f  D I F - AM R  o v e r   e x i s t i ng   m ode l  f or  25K  i s  a bo u t  32. 67% ,  f or  5 0K  i s  a bo u t  3 7. 34% ,  f or   75K  i s  a bou t  63 . 0 5%  a n d f or  100K  i s   a bou t  62. 23%  i s  a c hi e v e d.   A n a v e r a g e  c o m p u t a t i on c os t   i m pr ov e m e n t  of  48. 82%  i s  a c hi e v e d D I F - AM R  o v e r   e x is t in g   m o d e l.  B a s e d  o n  th e  r e s u lt s  o b ta in e d  in  t h e  h o w o r d  d e te c tio n  a lg o r ith m   it c a n  b e  c o n c lu d e d  th a t  t he   DI F - A M R   m ode l  e x h i bi t s  l o w e r  c om put a t i on  c os t   w he n   c o m p a r e d  to  th e  e x is tin g   m o d e l.       T ab l 2 .   C os t  c om put a t i on   u s i n g  D I F - A M R  t e c hn i q ue   N u m b er  o f  T w i t t er  F e ed s   C o s t c o m p u ta tio n  ( $ )   E xi s t i n g          D I F - AM R   I m p r o v e m e n t  ( % )   2 5 K     0 . 4 2 9 1               0 . 2 8 8 9   3 2 . 67   5 0 K   0 . 8 4 6 0                0 . 5 3 0 1   3 7 . 34   7 5 K   1 . 5 2 7 5                0 . 5 6 4 4   6 3 . 05   1 0 0 K   1 . 6 7 1 1                0 . 6 3 1 1   6 2 . 23       I n  th i s  s e c tio n  th e  e x e c u tio n  o f  th e   i m p r e c is e  a p p lic a tio n s   n a m e l y   w o r d  f r e q u e n c y  s ta tis ti c s  a n d  h o t   w or d de t e c t i on  i s   p r es en t ed .  T h e r es u l t s  p r es en t ed   h er e  p r o v e t h at  t h e D I F - A M R   m o d el  r ed u ces  t h e   co m p u t at i o n  t i m e o b s er v ed  d u e t o  t h e n o v el  ag e n t  b as ed  p ar al l el  c o m p u t at i o n   m et h o d  i n co r p o r at ed .     A n  a v e r a g e  r e du c t i on  of  49. 02%  f or   w or d f r e qu e n c y   s t a t i s t i c s  a n d 46. 94%  f or  t h e  h o w o r d  d e te c tio n  is   r e por t e d c on s i de r i n g   t h e  D I F - A M R   m ode l   w he n  c o m pa r e d t o t h e  e x i s t i n m ode l  [ 10] .  T h e  c um u l a t i v e   an al y s i s  o v er  s t at e - of - a r t te c h n iq u e  i n  T a b le   2   s ho w s  t he  e f f i c i e nc y  o f  D I F - A M R o v e r  s t a t e - of - a r t te c h n iq u e   i n t e r m s  o f  r o b us t ne s s  a nd  s c a la b ilit y .  S i n c e ,  D I F - A M R  s u ppor t  pa r a l l e l   pr oc e s s i n g  o f  s t r e a m  a n n on - st r e a m   da t a  by  a dopt i n g  M a pR e du c e  f r a m e w or k .   A dopt i on  of  a g e n t  ba s e d c om p u t i n g  a i d i n   f u l l y  u t i l i z i n g  s y s t e m   r es o u r ces .  S u p p o r t  accu r at e p r o ces s i n g  o f  a l l  t y p e o f  d at s h o w s  r o b u s t n es s  o f D I F - A M R .   A dopt i on  c l ou d   Evaluation Warning : The document was created with Spire.PDF for Python.
I nd o ne s i a n J  E l e c  E ng  &  C o m p  S c i     I SSN :   2502 - 4752       M u lti - A ge nt  bas e d M ap R e duc e  M ode l  f or  E f f i c i e nt  U t i l i z at i on of  S y s t e m  ( H e e na k ous ar )   513   pl a t f or m  a i d i n  pr ov i ng  s c a l a b i l i t y  o f  pr oc e s s i ng  of  l a r g e  a m ou n t  of  da t a  o f  v a r i ous  t y pe s   on  l a r g e  c o m p u t i n cl u s t er s .  A l l  t h es f eat u r e at t r i b u t ed  t o  t h e p er f o r m a n ce i m p r o v e m e n t   o f D I F - A M R  ov e r  e x i s t i ng   m ode l s ho w i n T a b l e   3       T ab l e 3 .   C o m p a r is o n   w i th   s ta t e  o f  a r t te c h n iq u e            [8 ]   [9 ]   [ 1 0 ]   DI F - AM R   M ap R ed u c e p l a t f o r m   c o n s i d er ed   H a d o o p   S t or m   H a d o o p   C u st o m   A g en t  b as ed   Y es   No   Y es   Y es   C l o u d  a d o p t e d   Y es   Y es   Y es   Y es   N on - s t r e a m  d a t a   p r oc e s s i n g  s u p p o r t   Y es   Y es   Y es   Y es   S t r ea m  d a t a  p r o c e s s i n g  s u pp or t   No   Y es   No   Y es   H y b r i d  p r o c e s s i n g  s up p o r t   No   Y es   No   Y es   F o r e cas t i n g  acc u r a cy   Y es   No   Y es   Y es       4.   CO NCL U S I O N     T h e m ai n  co n t r i b u t i o n  o f  t h i s   w o r k  i s  p r es en t i n g  an  a g e n t  b as ed  s cal ab l e s t r ea m  an d   n o n - st r e a m   p r o ces s i n g  o f  s o ci al   m ed i a a n d  s en s o r  d at a u s i n g  Map R ed u ce f r a m e w o r k .  E f f i ci e n t  d at i n f l o w  f o r ecas t i n g   m o d el  ad o p t i n g  Map R ed u ce a n d  cl o u d  p l at f o r m  i s  p r es e n t e d .  M u l t i v ar i a t e G au s s i a n  Mi x t u r e ( M G M )   m o d el   i s  de s i gn e d t o i m pr ov e  t h e  a c c u r a c y  of   f or e c a s t i n g   f or  bot h  s t r e a m  a n n on - st r e a m  d at a.  D I F - AM R   o v e r c o m e s  t h e  li m ita tio n  o f   s t a te - of - ar t  t ech n i q u e i n  t er m s   o f  co m p u t at i o n  o v er h ead   w h i ch  ar e ex p er i m e n t al   p r o v en .  E x p er i m e n t  ar e co n d u ct ed  t o  ev al u at e t h e p er f o r m an ce o f  p r o p o s ed  D I F - A M R  o v er  s t at e o f  ar t - te c h n iq u e   in   te r m s   o f  c o m p u t a tio n   t i m e   c o ns i d e r i n g d i f f e r e nt   e xp e r i m e nt   s uc h   a s   w o r d  f r e q ue nc s t a t i s t i c   pr e di c t i on   a n h ot   w or de t e c t i on .   E x pe r i m e n t   o u t c o m e s   s h o w s   D I F - A M R   i m p r o ve s   c o m p ut a t i o t i m e   b 49. 02%   ov e r  e x i s t i ng   m ode l  f or  w or d f r e qu e n c y   s t a t i s t i c s  a nd 46. 94%  f or  h ot   w or d de t e c t i on .  T h e  e x pe r i m e nt   o u t co m es   s h o w s  s i g n i f i can t  p er f o r m a n ce i m p r o v e m en t   o f  D I F - A M R  o v er  ex i t i n g   m o d el  i n  t er m s  o f   c o m p u ta tio n  ti m e  c o n s id e r in g  e x e c u tio n  o n  c lo u d  p la tf o r m   f o r  r e la tiv e l y  la r g e  s tr e a m  a n d  n o n - s t r ea m  d at a.   T hus  D I F - A M R  i s  s cal ab l e i r r es p ect i v e o f  d at a s i ze a n d  co m p u t i n g  cl u s t er  s i ze.   T h e f u t u r w o r k   w o u l d  co n s i d er  p er f o r m an ce e v al u at i o n  co n s i d er i n g  l ar g e d at as et  a n d  al s o  co n s i d er   s e c u r i t y  pr ov i s i on i ng   f or  c o m pu t i ng  da t a  on  c l ou d pl a t f or m s .  T h i s   w or k   w o u l f u r t h e r  c o n s i de r  opt i m i z a t i on  o f  M ap R ed u ce s c h ed u l er   f o r  f u r t h er  r ed u ct i o n  o f  co m p u t at i o n  t i m e.       R EF ER EN C ES   [ 1 ]   L .   T a ng   e t  a l . ,   ` ` A   f r a m e w or k of  t r a v e l i ng  c o m pa ni on di s c ov e r y  on t r aj ect o r y  d at a s t r e a m s , ' '   A C M  T r ans .  I nt e l l .  Sy s t .   T e c hnol . ,   v ol .  5,  n o.   1,  A r t .  I D  3 ,   D e c .  201 3.   [ 2 ]   T .  B e ns on,  A .  A na nd,  A .  A ke l l a ,  a nd M .  Z ha ng ,   M i c r o T E :  F i ne  gr ai ne d t r af f i c  e n gi ne e r i n g f or  d at a c e nt e r s ,   i P r oc .  C oN E X T ,  A r t .  n o.   8,   20 11.   [ 3 ]   K .  C h en  et  al . O S A:  An  o p tic a s w itc h in g  a r c h ite c t u r e  fo r  d a t a  c e n te r  n e tw o r k s  w ith   u n p r e c e d e n te d  fle x ib il ity ,   in   P r oc .   N S D I ,  p.  18 ,   2 01 2.   [ 4 ]   A .  D .  F e r g us on,  A .   G uha ,  J .   P l a c e ,  R .  F ons e c a ,  a nd  S .  K r i s h na m ur t hi ,   P a r tic ip a to r y  n e tw o r k in g ,   i n P r oc .   H ot - I C E ,  p.  2,  2 01 2.   [ 5 ]   M .  Al - F ar es ,  S .  R ad h ak r i s h n a n ,   B .  R ag h av an ,  N .  H u an g ,  an d  A .  V ah d at ,   H e de r a:  D y nam i c  f l o w  s c he dul i ng  f or   dat a c e nt e r  ne t w or k s ,   i n   P r oc .  N S D I ,  p.  1 9,   20 10.   [ 6 ]   A . C u r t i s , W . K i m , a n d   P . Y a l a g a n d u l a M a ho ut :  L ow - ov e r he a d d at ac e nt e r  t r a f f i c  m a na ge m e nt  us i n g e nd - hos t - bas e e l e p ha nt  de t e c t i on ,   i n   P r o c . I E E E  I N F O C O M ,  p p 1 6 2 9 163 7 ,  2 01 1.   [ 7 ]   H .  H .  B azzaz et  al . ,   Sw i t c hi n g t he  opt i c al   di v i de :  F un dam e nt al  c hal l e nge s  f or   hy br i d e l e c t r i c al / op t i c al  d at ac e nt e r   n et w o r ks ,   i P r oc .  S O C C ,  A r t .  n o.  3 0,   20 11 .   [ 8 ]   A . E l  F a z z i k i , D B en s l i m an e,   A .  S ad i q ,  J .  O u ar zazi  an d  M .  S ad g al ,  " A A ge nt  B a s e d T r a f f i c  R e g ul a t i on  S y s t e m   f or   t he  R oa ds i de  A i r  Q ua l i t y  C ont r ol , " i n   I E E E  A c c e s s vo l .  5 ,   p p.  13 192 - 1 32 01,  20 17 .   [ 9 ]   Z .  Z ha o,  W .  D i ng ,  J .  W a ng a nd Y .  H a n,  " A  H y br i d P r oc e s s i ng  S y s t e m   f or   L a r g e - S ca l e  T r a f f i S en s o r  D at a, "  i n   I E E E  A c c e s s ,  vo l .  3,  pp .   2 34 1 - 23 51,  20 15 .   [ 1 0]   W ei  D ai ,  P en g  H u ,  “ R e s e a r c h on  P e r s o na l i z e d B e ha v i or s  R e c om m e nda t i on  S y s t e m  B a s e d on C l o ud C om put i ng ,   T E L K O M N I K A  I nd one s i an J our n al  o f  E l e c t r i c al   E n gi ne e r i n V ol . 12,  N o. 2,  F e br ua r y  201 4 ,  pp.   1 48 ~  14 86 .   [ 1 1]   H a doo p,  ht t p : / / ha do op. a pa c he . or g ,  a c c e s s e d O c t .  22,   20 17.   [ 1 2]   H a doo p.   [ O n l i ne ] .  A v a i l a bl e :  ht t p : / / ha d oo p. a pa c he . or g / ,  a c c e s s e d O c t .  21 ,  2 01 7.   [ 1 3]   H ai w en  H an ,   W ei p i n g  Z h en g ,  “ A  P r i v ac y  D at a - o r i en t ed  H i er ar ch i cal  M ap R ed u ce P r o g r am m i n g  M o d el ”,   T E L KO M NIKA   I nd one s i a n J our n al  of  E l e c t r i c al  E ng i ne e r i ng ,  V ol .  11,  N o .  8,  A ug us t  20 13,   pp .  45 8 7~ 4 59 3 e - I SSN :   208 7 - 27 8X .   [ 1 4]   H di ns i g ht  ( ha d oo p o n a z ur e ) , "  ht t ps : / / w w w . ha doo po na z ur e . c om / ,  a c c e s s e d O c t .  20 ,  2 01 7.     Evaluation Warning : The document was created with Spire.PDF for Python.