I n t e r n at i on al   Jo u r n al   o f   Ad va n c e s   i n   A p p l i ed   S ci en ces  ( I J A A S )   V o l .   7 ,   N o .   1 ,   M ar ch   20 1 8 ,   pp .  21 ~ 28   I S S N 225 2 - 88 14 ,   D O I 10. 115 91 /ij a a s . v7 . i 1 . p p21 - 28             21       Jo u r n al   h om e pa ge h t t p : / / i a e s co r e . c o m/ o n l i n e / i n d e x . p h p / I J A A S   D at a P a rt i t i on i n g i n  M on go  D B   w it h  C lo u d       A a ka nks h a   J um l e ,   S w a t i   A h i r r a o   C om put e r   S c i e nc e   S y m bi os i s   I ns t i t ut e  of   T e c hn ol o gy ,   L a va l e ,   P une ,   I n di a       A rt i cl I n f o     A BS TR A C   Ar t i c l e   h i s t o r y :   R ecei v ed   Ma 2 3 ,   2 01 7   Re v i s e d   D ec  2 7 ,   20 1 7   A ccep t e d   F e 18 ,   2 01 8       Cl oud c om put i n g offe rs  va ri ous   a nd us e ful  s e rv i c e s  l i k e  IA A S ,  P A A S  S A A S   for de pl o y i ng t he  a ppl i c a t i ons  a t  l ow  c os t .  M a ki ng i t  a va i l a bl e  a n y t i m e   a n y w h e re  w i t t he  e xp e c t a t i on t o be   i t  s c a l a bl e   a nd c ons i s t e nt .   O ne  of t h e   t e c hn i que   t o i m prove  t h e  s c a l a bi l i t y   i s  D a t a  p a rt i t i oni ng.  T he   a l i v e   t e c hn i que s   w h i ch  ar e u s ed   ar e n o t  t h at   cap ab l e  t o  t r ack  t h e d a t ac ces s  p at t er n T h i s   pa pe r i m pl e m e n t s  t he  s c a l a bl e  w orkl oa d - dri ve n  t e c hni qu e  for p ol i s hi ng t h e   s cal ab i l i t y  o f  w eb  ap p l i cat i o n s T h e ex p er i m en t s  ar e car r i ed  o u t   ove r c l oud  us i ng N oS Q L  d a t a  s t ore  M ongo D B t o s c a l e  out .  T hi s  a pproa c h  offe rs  l ow   re s pons e  t i m e ,   hi gh t hroughput  a nd l e s s  num b e r of di s t r i but e d  t ra ns a c t i o n .   T h re s ul t  of p a r t i t i on i ng t e c hni q ue  i s   c onduc t e a nd e va l ua t e d us i ng T P C - be nc hm a rk .   Ke y wo r d s :   D a t a   p a r t i t i o n i n g     D i s t r i b u t e d   t r a n s a c t i o n   P er o f r m an ce   S cal ab l W o r k l o ad - D r i v en   TP C - C   b en c h m ar k   Copy r i ght  ©  201 8   Ins t i t ut e  o f   A d v anc e d  E ngi n e e r i ng and S c i e nc e   A l l  ri g h t s re se rv e d .   C or r e s po n di n A u t h or :   A a ka n ks ha   J u m l e ,     C om put e r   S c i e nc e   S y m bi os i s   I ns t i t ut e   of   T e c hn ol o gy ,   L av al e,   P u n e,   I n d i a.   E m a i l :   a a ka nks ha . jum l e @ s i t pune . e d u. i n       1.   I N T R O D U C T I O N     I n p r e s e nt  w o r l d,  t he r e  i s  hu ge  wi de ni n g o f  da t a  due  t o s t or a ge ,  t r a n s f e r ,  s ha r i ng o f  s t r uc t u r e d a nd   uns t r uc t ur e d d a t a  whi c h i n u n da t e s  t o b us i ne s s .  E - c om m e r c e  s i t e s  a nd a p p l i c a t i on pr o duc e  hu ge   a n d c o m pl e d at a w h i ch  i s  t er m ed  as  B i g  D at a.  I t  i s  m at u r e t er m  t h at  ev o k e l ar g e am o u n t  o f   u n s t r u c t u r e d ,  s em i - s tr u c tur e a nd s t r uc t ur e d da t a .  T he  c l ou d c om put i n g f ur ni s wi t h t he  s t a bl e  pl a t f o r m  f or  vi t a l ,  e c on om i c a l  a nd e f f i c i e nt   or ga ni s a t i on  o f   da t a   f o r   ope r a t i ng  i t .   I n  o r de r  t ha n dl e  a nd  s t o r e  t he s e   h uge  da t a ,  a  l a r ge  da t a b a s e  i s   ne e de d.   T o c o pe   up   w i t h l a r ge s c a l e   d at a m an ag em en t  s y s t e m  ( D B M S )  w o u l d  n o t  s u p p o r t  t h s y s t e m .  R el at i o n al   d at ab as es   w er n o t  cap a b l e w i t h   t h e s cal e an d  s w i f t n es s  ch al l e n g e s  t h a t  f a c e   m ode r n a ppl i c a t i ons ,   n ow he r e  t he y  bui l t  t o  t a ke  be ne f i t  o f  t he   c om m odi t y   s t or a ge  a n c om put i ng   t he   p ow e r   a va i l a bl e   c u r r e nt l y .   N o S Q L   i s   c a l l e d   a s   N o t   o n l y   S Q L   a s   i t   p a r t i a l l y   s u p p o r t s   S Q L .   T h e s e   d a t a   s t o r e s   a r e   r a p i d l y   u s e d   i n   B i D a t a   a n i m a ny   w e b   a p pl i c a t i ons .   N o S Q L   i s   ba s i c a l l y   us e f ul   f o r   t he   da t a   whi c i s   uns t r uc t ur e t o   s t or e .   U ns t r uc t ur e d a t a  i s  gr o w i n r a pi dl y  t ha n s t r uc t u r e da t a  a nd  d oe s  n ot  f i t   t he  r e l a t i ona l  s c he m a s  of  R D B M S .   H e nc e  t he   N o S QL  [ 1]  da t a  s t or e s  ge t  i nt r o duc e d w i t hi g h a v a i l a b i l i t y ,  h i g h  s c a l a b i l i t y  a n d  i t s  c o n s i s t e n c y .   N o S Q L   d at a b a s i s   w i d el y   u s ed   t o   p r o ces s   h eav y   d at an d   w eb   ap p l i cat i o n .   N o wa da y s  m os t  of  t he   c om pa ni e s  a r e  s hi f t i ng t o  N oS Q L   d at a b as e [ 1 - 3 ]  f o r  t h e i r  f l e x i b i l i t y  a n d   a bi l i t y  t o s c a l e  out ,  t ha n dl e   bul ky  u n s t r u c t u r e d   d a t a  i n  c o n t r a s t  w i t h  r e l a t i o n a l  d a t a b a s e .  N o S Q L  c l o u d  d a t a   s t or e s  a r e   de v e l ope d t ha t  a r e  doc um e nt  s t or e ,  Ke y - v al u e ,  co l u m n  f a m i l y ,  g r a p h   d at ab as e,  et c.  N o S Q L  d at s t or e s   c om pr i s e   i t s   a d va nt a ge s   f or   c o pi n wi t t he   va s t   l oa d   o f   da t a   w i t h   t h e   a i d   o f   s c a l e   o u t   a p p l i c a t i o n s .   T h t ec h n i q u es   w h i ch   a r i n   u s ar cl as s i f i ed   i n t o   s t at i [ 4 - 5 ]   a n dy na m ic   pa r t i t i oni n [ 6 s y s t e m s .   I n  s t a t i c  p a r t i t i o n s ,  t h e  r e l a t e d   d a t a  i t e m  a r e   p u t   o n  s i n g l e  p a r t i t i o n  f o r  a c c e s s i n g  t h e  d a t a ,  a n d   o n c e  t h e   p a r t i t i o n s  f o r m e do  n ot  c ha nge  f ur t he r .  T he  a dva nt a ge   of   s t a t i c  pa r t i t i on  c r e a t i o n,  n o m i gr a t i on  of  da t a  i s   do ne   s o   a s   t he   c os t   of   da t a   m igr a t i o i s   ne gl i gi bl e .   Evaluation Warning : The document was created with Spire.PDF for Python.
                                I S SN :   2 252 - 88 14   IJ A A S     V o l .   7 ,   N o .   1 ,   M a r ch   2 018   2   28   22   T h e   d y n a m i c   p a r t i t i o n   s y s t e m ,   t h e   p a r t i t i o n s   a r e   f o r m e d   d y n a m i c a l l y   i n   w h i c h   t h e   p a r t i t i o n s   c h a n g e s   f r e que nt l y  s o a s  t o r e d uc e  t he  di s t r i b ut e d t r a ns a c t i o n.  A s  t h e  pa r t i t i ons  c h a nge s ,  t he  c ha nc e s  o f  m i gr a t ing t he   da t a   i s   hi g s a s   t he   c os t   of   m i gr a t i on.   T a ki n g i nt o c ons i de r a t i o o f  t he   pr os  a n d  c on s  o f  t he   s t a t i c  a nd dy na m i c  pa r t i t i oni n g s y s t e m s ,   s cal ab l e w o r k l o a dr i ve da t a  pa r t i t i oni n g t e c hni que  i s  de r i ve d.  T he  m a i n a im  of  t hi s  t e c hni que s  i s  t o r e duc e   t he   di s t r i b ut e d  t r a ns a c t i on ,   m a ki ng  t he   da t a ba s e  s c a l a bl e  a n d a l s o t he  pe r f or m a nc e   t he  a ppl i c a t i on  t ge t   i m p r o v ed .  T h e  s cal ab l e al g o r i t h m  t r ack s  t h e d at a acces s   pa t t e r n t ha t  i s  whi c h w a r e h ous e  i s  s u ppl y i ng t o   w hi c ot he r   r e que s t e w a r e h ous e   a nd  a l s t he   t r a ns a c t i o l ogs   a r e   a na l y s e d.   T he   p r o p os e s y s t e m   f r a m e s ,   t he   pa r t i t i on  w hi c h a r e  f o r m e d us e s  N oS Q L   da t a ba s e  t ha t  i s  M on g oD B   u s i ng t hi s  s c a l a bl e  w or kl oa d - dr i ve n   t ech n i q u w h i c h  f al l  n ei t h er   u n d e r  s t at i c n o r   d y n am i c s y s t em .  T h e t r an s ac t i o n  l o g s  an d  d at a acces s  p at t er  ar m oni t or e a n pa r t i t i ons   a r e   f or m e pe r i o di c a l l y .   T he   e s s e nt i a l   c ont r i b ut i ons   o f   t hi s   pa pe r   a r e   s t r uc t u r e a s   f ol l ow s :   a.   T he   de s i gn of  s c a l a bl e   w o r kl o ad - dr i ve p a r t i t i o n i n g  [ 2 ]  w h i ch  ar e s t a n d   o n   d at a acces s  p at t er n  a n d  t r a ces   t he   l o gs ,   a r e   s t udi e a nd   i m ple m e nt e i n   M o ng o D B   by   f or m i ng  5   pa r t i t i ons .   b.   Th e  TP C - C   9 t a bl e s  a r e  m a ppe d i nt di f f e r e nt  9 c ol l e c t i on s  i n M on go D B  a nd t r a ns a c t i o n a r e  c a r r i e o ut   on   5  p a r t i t i o n s  w h i c h  a r e  s t a t i c a l l y  p l a c e d .  T h i s  s t a t i c  a p p r o a c h  i n c r e a s e s  t h e  d i s t r i b u t e d  t r a n s a c t i o n  a n d   t h p e r f o r m an ce  o f   t h e   ap p l i cat i o n   i s   d ecr e as e.   c.   Th e  TP C - C 9   t a b l e s   a r e  t he n   m a ppe d i nt a  s i ngl e  c ol l e c t i on,  t he   s c a l a bl e  w or kl oa d - dr i ve n t e c hni q ue  i s   us e d t o pa r t i t i on t he   da t a  a c r os s  t he  5  pa r t i t i on a n d t r a ns a c t i ons  a r e  c a r r i e d o ve r  t h os e   pa r t i t i ons .  T he s e   w i l l  r ed u ce t h e d i s t r i b u t e d  t r an s act i o n .  T h e p e r f o r m an ce i n  t h e t er m s  o f  r e s p o n s e t i m e i s  l o w  a n d   t hr ou g hp ut   of   t he   s y s t e m   i s   hi gh  a s   c om pa r e t o   a b o v cas e .   d.   T h r es u l t s  o f  b o t h  ab o v e c as e ar e  t ak e n   o n  l o cal  m ach i n e a n d  al s o   o n   E C2   i n s t an ce t o  c h ec k  t h e   p er f o r m an ce  o v er   t h cl o u d .   T he   r e s t   of  t hi s  pa pe r  i s  a s   f ol l ow s .  T he   s e c t i on  2 i s  t he   ba c k g r o u nd  o f  t he   pa pe r  c o n s i s t  of  t he   r e l a t e d w o r k d one   by   t h r es ear ch es  ar e  e x p l ai n ed  i n  b r i e f .  T h e  s ect i o n   3   d es cr i b es  t h e cen t r al  i d ea  o f  t h w o r k   do ne   w hi c h i nc l u de s  de s i gn  o f  t h e  s c a l a bl e   wo r kl oa d  d r i ve n  a l go r i t hm  i s  de s c r i be d.  A l s o,  t he   ar ch i t ect u r e o f  t h e p r o p o s ed   s y s t e m .  M ap p i n g   o f  t h e T P C - C t a b l e s  i n t o   Mo n g oD B   c o l l e c t i o n s  a r e  e x p l a i n e d   i n t he  s e c t i o 4.   F ol l owi ng  s e c t i on  5,  w i t h  t he  i m pl e m e nt a t i on  of  t he  w o r k.   S e c t i o 6 s t a t e s  t he   r e s ul t s  o f  t he   w o r k   d o ne .   F i n a l l y ,   s e c t i on  C onc l us i o n,   f i na l i z e   t he   pa pe r .       2.   B AC K G RO U ND   D a t a  p a r t i t i o n i n g  m e a n s  p h y s i c a l l y   p a r t i t i o n i n g  t h e   d a t a b a s e  w h i c h   w i l l  h e l p  t o  s c a l e  o u t  t h e   da t a ba s e  t ge t  a va i l a bl e  a l l   the  t im e .  A l ot   of  w o r k i s  d on e  on t he  m e t r ic s  f or   da t a  pa r t i t i oni ng t o gi v e  t he   hi g pe r f o r m a nc e   of  t he  a ppl i c a t i on t be  s c a l a bl e  a n r e s t r i c t  t he  t r a ns a c t i ons   on  a   s i n g l e  p a r t i t i o n .  S o m e  o f   t h e m   a r e   l i s t e d   b e l o w .   T he   pr ot ot y pe  i s  b u i l t  w i t h  b e n c h m a r k  t o o l  T P C - C   w h i ch  u s es  O L T P   t r an s act i o n   f o r  w e b   ap p l i cat i o n s .  T h es O L T P  t r a n s act i o n   r eq u i r es  q u i ck  r e s p o n s f r o m  t h e a p p l i cat i o n s  i n   r ecen t  t i m es .  T P C - be nc hm a r k i s   a  p o p ul a r   be nc hm a r k w hi c h i s  a Onl i ne   T r a ns a c t i o n p r oc e s s i ng  w or kl oa d f or  e s t im a t i n g t he   p e r fo rm a n c e   o n   d i ffe re n t   h a r d w a re   a n d   s o ft w a re   c o n fi g u ra t i o n .     T he  or i gi na t o r   S u di pt o D a s  ope n up wi t t he   t e c h ni q ue  E l a s T ra S  [4 ]   w h i c h  ex p r es s  S ch em a l ev e l   p a r t i t i o n i n g   f o r   g a i n i n g   s c a l a b i l i t y .   T h e   i n t e n t   b e h i n d   s c h e m a   l e v e l   p a r t i t i o n i n g   i s   t o   c o l l e c t   a l i k e   d a t a   i n t o   t h e   s am e p ar t i t i o n ,  as  t h e t r an s act i o n s   o n l y  acces s  t h e d at w h i ch  i s  n ee d e d  f r o m  a l ar g e d at ab as e.   A  m aj o r  g o a l   o f   E l a s T r a S   i s   t o   h a v e   e l a s t i c i t y   a n d   a l s o   t r e duc e   c o s t   o pe r a t i on   o f   t he   s y s t e m   dur i ng   f a i l ur e .   T he  a ut h or  C r a l o C ur i no  ha s  put  f o r wa r d,  S c hi s m :  A  W o r kl oa d - D r i ve A pp r oa c h  t o Da t a ba s e   Re p l i c a t i o n  a n d   P a r t i t i o n i n g  [ 7 ]  t o i m pr o ve  t he  s c a l a bi l i t y of  s ha r e n ot h i ng  di s t r i b ut e d  da t a ba s e s .  I t  i nt e n ds   t o  d e p r e c a t e  t h e   d i s t r i b u t e d   t r a n s a c t i o n s   w h i l e  m a k i n g   b a l a n c e d  p a r t i t i o n s .   F o r  t r a n s a c t i o n a l  l o a d s  g r a p h   pa r t i t i oni ng  t e c hni que  i s   us e d   t o ba l a nc e  t he   da t a .   Da t a  i t e m s  w hi c h  a r e  a c c e s s e d i gr a p pa r t i t i oni ng   by  t he   t r a n s a c t i o n s   a r e   k e p t   o n   a   s i n g l e   p a r t i t i on.   J .  B ak er  et  al . ,  p r es e n t ed   M eg as t o r e [ 5 ]  i n  w h i c h  d a t a  i s  p a r t i t i o n e d  i n t o  a  c o m p i l a t i o n   o f  e n t i t y   gr o ups .  A n e nt i t y  gr o up i s  a  s e l e c t i on o f  r e l a t e d da t a  i t e m s  a nd i s   put   on a  s i ngl e  n o de  s o  t ha t  t he  da t a  i t e m s   r e q ui r e d f or  e n ha nc i ng t h e  a p pr oa c h a r e   acc es s ed  f r o m  a s i n g l e n o d e.  M e g as t o r e ai m s  t o   m ak e t h e s y s t e m  t o   ha ve :   M e ga s t o r e  pr ovi de s   s y n c hr o no us   r e pl i c a t i on  but   de l a y s   t he   t r a ns a c t i on .     T he  a ut ho r  X i a oy a W a n g  ha s  pr e s e nt e d,  A ut om a t i c   D a t a  D i s t r i b ut i on i n L a r ge - s cal e O L T P   A p p l i c a t i o n s   [ 8 ] .  T h e d at a  i s   d i v i d e d  i n t o  t w o  c a t e g o r i e s  o r i g i n a l  d a t a  a n d  i n c r e m e n t a l  d a t a .  F o r   o r i g i n a l  d a t a   t h a t  i s  o l d  d a t a ,  BE A  ( Bo n d  E n e r g y  A l g o r i t h m )  i s  a p p l i e d  o n  i t  a n d  f o r  i n c r e m e n t a l  d a t a  t h a t  i s  p r o g r e s s i v e   d a t a ,  o n l i n e   p a r t i t i o n i n g  w i l l   b e   i n v o k e d  w h e r e  p a r t i t i o n s   a r e  f or m e d o n t he   ba s e   of   k N N  ( k - N ear es t   N e i g h b o u r )   c l u s t e r i n g   a l g o r i t h m .   D a t a   p l a c e m e n t s   a l l o c a t e   t h e s e   d a t a   t o   t h e   p a r t i t i o n s   b y   g e n e t i c   a l g o r i t h m .   Evaluation Warning : The document was created with Spire.PDF for Python.
IJ A A S     I S S N 225 2 - 88 14       D at P ar t i t i oni ng   i M o n go   D w i t C l o u ( A ak ank s h J u m l e )   23   T he  a ut ho r  F r a nc i s c o C r uz   put  f or w a r d T a bl e  S pl i t t i ng  T e c h ni q ue  [ 1]   whi c h c o ns i de r s  t he  s y s t e m   w o rk l o a d .  A  r e l e v a n t  s p l i t t i n g  p o i n t  i s  t h e   p o i n t  t h a t  s p l i t  t h e  r e g i o n  i n t o  t w o  n e w   r e g i o n s   w i t h  l i k e l y  l o a d s .   T h e   s p l i t   k e y   s e a r c h   a l g o r i t h m   s a t i s f i e s   t h e   a b o v e   s t a t e m e n t .   T h e   a l g o r i t h m   e s t i m a t e s   t h e   s p l i t t i n g   p o i n t   w h e n   i t  r ecei v es  t h e  k ey   f r o m  t h e f i r s t   r eq u es t   o f   e a c h  r e g i o n .  F o r  e a c h  r e q u e s t ,  i f  t h e  s p l i t  k e y  d i f f e r s  t h e n   a l go r i t hm   c ha n ge s   t he   s pl i t t i ng  poi nt .   T h e  a u t h o r  C u r i n o ,  s u g g e s t e d  t h e  Re l a t i o n a l   C l oud [ 9 ]  i n ,   w h i c h  s c a l a b i l i t y  i s  r e a c h e d  w i t h  t h e   w o rk l o a d - a wa r e  a p pr oa c h t e r m e d a s   gr a ph  pa r t i t i oni n g.   I g r a p h   p a r t i t i o n i n g ,  t h e   d a t a  i t e m s ,  w h i c h  a r e   f r e que nt l y  a c c e s s e d by  t he  t r a ns a c t i o ns  a r e  ke pt  o n a  s i n gl e  pa r t i t i on .   Gr a p h - ba s e d p a r t i t i oni n g m e tho d i s   u s e d  t o  s p r ea d  l ar g d at ab a s es  acr o s s  m an y  m ach i n es  f o r   s cal ab i l i t y .  T h n o t i o n  o f  ad j u s t ab l p r i v acy   s h ow i n g t he   u s e  of   di f f e r e nt  l e ve l s  of  e nc r y pt i o n l a y e r e d c a n e na bl e   S Q L   que r i e s  t o be   pr oc e s s e d o ve r   en cr y p t ed   d at a.   T he   a ut h or   M i gue l   L i r oz - G i s t a u   [ 6 ]   ha s   pr o pos e a   di ve r g e nt   w a y   o f   dy n a m i c   pa r t i t i oni ng  t e c hni q ue   c a l l e d Dy nP a r t  a nd  D y nP a r t G r ou p a l go r i t hm  i n   D y n am i c W o r k l o ad - Ba s e d  P a r t i t i o n i n g  A l g o r i t h m s  f o r   Co n t i n u o u s l y   G r o w i n g   D a t a b a s e s ,   f o r   e f f i c i e n t   d a t a   p a r t i t i o n i n g   f o r   i n c r e m e n t a l   d a t a .   T h e   p r o b l e m   w i t h   s t a t i c   pa r t i t i oni ng   i s   t ha t  e a c h   t i m e   a   ne s e t   of   da t a   a r r i ve s   a n t h e   pa r t i t i oni n i s   r e do ne   f r om   s cr at ch .     T he   a ut h or s   B r i a S a ue r   a n W e i   Ha ha ve   p r e s e n te [ 10 ]   a   d i f f e r e n t   w a y   o f   d a t a   p a r t i t i o n   u s i n g   t h e   da t a   m i ni ng  t e c hni que s .  I t   i s   t he   m e t hod ol ogy  f o r  N o S Q L   da t a ba s e  pa r t i t i oni n g w hi c h de pe n ds  on  da t a   cl u s t er i n g   o f   d at ab as e l o g   f i l es .  T h e n ew  a l g o r i t hm  ha s  b e e bui l t  t o ve r c om e  k - m e a n s  i s s u e  t h a t   i s  t h e   de t e c t i on   o f   od dl y   s ha pe da t a ,   by   us i ng   m ini m u m   s pa nni ng   t r e e   w hi c i s   e f f e c t i ve   t ha n   k - m ean s       3.   P R ES EN T   TH E C E N TR A I D EA   O F   T H W O R K   3. 1.     D e s i g n   o f   Sc a l a bl e   W or k l oa d   Dr i ve n   P ar t i t i on i n i M o n g o db   T he  p r o p os e d s y s t e m  c ons i d e r s  t he  m a ppi n g o f  T P C - C s c h e m a  i n t o  M o n g o D B c o l l e c t i o n s  f o r  t h e   i m p r o v em en t  o f  t h p er f o r m an ce.   I n  t h i s  p ar t i t i o n i n g  s t r a t eg y ,  t r a n s act i o n  l o g s  a n d   d at a acces s   p at t er n  ar e   m o n i t o r ed .  T h e d at a acces s   p at t er n  ar e  an al y s ed   s uc h  a s  w hi c wa r e h ous e  i s  m or e   pr o ne  t o  s u p pl y  t he   r e q ue s t e wa r e ho us e .  T ha t  m e a ns  w he n c us t om e r  pl a c e  a n or de r ,  a n d t ha t  or de r  i s  s a t i s f i e d by  w a r e h o us e   p r e s e n t  o n  a  p a r t i t i o n  b u t  t h e  i t e m  i s  o u t  o f  s t o c k  a n d  t h a t   t r a n s a c t i o n  i s  f u l f i l l e d  b y  a n o t h e r  w a r e hou s e  f r o m   a not he r  pa r t i t i on .  T hi s   be ha vi o ur  o f  s e r vi ng  t he  r e qu e s t e w a r e h ous e   i s  t r a c ke d a n d  pa t t e r ns  a r e   f or m e d.   B a s e on   t he s e  t w o   f a c t or s   t h e   pa r t i t i ons   a r e   f or m e d.     3. 2.     S c a l a b l e   W o r k l o a d   D r i v e n   P a r t i t i o n i n g   A l g o r i t h m   T h e ar c h i t ect u r e o f  s cal ab l e  w o r kl oa d d r i ve a l g o r i t h m  [ 2 ]  gi ve s   ov e r vi e w  o f  t he  pr o je c t .  T h e   da t a ba s e  w hi c ne e d s  t be   pa r t i t i one d c o n t a i ns  da t a  i t e m s  o f  l oc a l  a n r e m ot e  w a r e h o us e s  i w hi c l oc a l   h o u s w i l l  r ep r es en t   r eq u es t e d  w a r eh o u s e a n d  t h e r em o t e w ar e h o u s w i l l  r ep r e s en t  t h e  s u p p l i e r wa re h o u s e .   T he   a l go r i t hm   i s   t he a p pl i e d o t he   da t a ba s e  a n d s ha r ds  a r e  f o r m e d.  He nc e  w hi c h wi l l  r e s t r i c t  t he   t r a n s a c t i o n  t o   a  s i n g l e  p a r t i t i o n  a n d  t h e   p e r f o r m a n c e  a n d  t h e  t h r o u g h p u t   o f  t h e  a p p l i c a t i o n  w i l l  i n c r e a s e .   T h e   a l g o r i t h m  i s  n e i t h e r  s t a t i c   no r  dy na m i c ,  i t   li e s  be t w e e n t h e m  a nd pa r t i t ions  a r e  r e s t r uc t ur e d a s  pe r  ne e d,   by   r ef e r r i n g   t h t r an s act i o n   l o g s   an d   acces s   p at t er n y .             F i g u re   1 .   A rc h i t e c t u re   o t h e   w o rk   fl o w             Evaluation Warning : The document was created with Spire.PDF for Python.
                                I S SN :   2 252 - 88 14   IJ A A S     V o l .   7 ,   N o .   1 ,   M a r ch   2 018   2   28   24   3. 3 .     D e f i n i t i o n s   o f   Te r m s   I n   Th e   A l g o r i t h m   3. 3. 1.   Lo a d   T he  l oa of  t he   p a r t i t i o n  [ 2 ]  w h i c h  i s  c a l c u l a t e d  i n  t h e  a l g o r i t h m ,  i n t e r p r e t s  t h e  n u m b e r   o f   t r a ns a c t i o ns  e x e c ut e d o n t he  e a c h w a r e h ou s e ,  a nd t he  t ot a l  l oa d of  t he  p a r t i t i on i s  c a l c ul a t e d by  a d di ng t h e   l oa on e a c w a r e h ous e .  T h e   m e a n of  t he   l oa d i s  c a l c ul a t e d t o pe r f or m  s t a nda r de vi a t i on o n t he   p a r t i t i on   w hi c w i l l   de f i ne   ho m uc i s   t he   di vi s i o o f   t he   l oa f r om   t he   a ve r a ge   l o a of   t he   pa r t i t i on .     3. 3. 2 .   A s s o c i a t i o n   T he  a s s oc i a t i o of  t he   p a r t i t i o n  [ 2 ]  i s  c a l c ul a t e d i n a l g or i t hm ,  i nt e r pr e t s  t he   n um be r   of   l o cal   t r a n s a c t i o n  a n d  d i s t r i b u t e d  t r a n s a c t i o n  e x e c u t e d  o n  t h e   p a r t i t i o n .  L o c a l  t r a n s a c t i o n   m e a n s  t h e  t r a n s a c t i o n   w hi c h a r e  f ul f i l l e d by  t he  r e que s t e wa r e h ous e  o nl y  a n d  t he  di s t r i but e d t r a ns a c t i o m e a ns  t he  r e q ue s t  i s   f ul f i l l e by  t he  s up pl i e r  w a r e ho us e   w he r e  t he  r e q ue s t e d  wa r e ho us e   w a s  out  o f  s t oc k.  F or  e xa m ple ,  t he   c us t om e r  i s  r e que s t i ng  da t a  o n w 1 wa r e ho us e  of   pa r t i t i on  A  b ut  a s  t he r e   i s  no s t o c k ,  t he  r e q ue s t  i s  c om pl e t e d   buy   a n ot he r   w   t wo  w a r e h o us e   o f   pa r t i t i on   B .   I n t he  s c a l a bl e  wo r kl oa d d r i ve n a l go r i t hm ,  t he  i np ut  c o n t a i ns  n um be r  of   pa r t i t i on s  t o be   f or m e d,   num be r  o f  t he  wa r e ho us e  a n d t r a n s a c t i on  d a t a .  T he  o ut pu t  of  t hi s  a l g or i t hm  gi ve s  t he  opt i m i s e d pa r t i t i ons .   T he  p r oc e s s   of  t he  a l go r i t hm  s t a r t s  by di s t r i b ut i ng  t he  w a r e h ou s e  s t a t i c a l ly  i nto t he  pa r t i t i o n  a n d   c om bi na t i ons   of  t he  pa r t i t i on  a nd w a r e h o us e  a r e  f or m e d w i t h t he  he l of  ge ne t i c  a l go r i t hm  w hi c h w i l l  gi ve   t h e   o p t i m i z e d   c o m b i n a t i o n s   o f   i t .   L a t e r   o n,   t he   c a l c ul a t i on  of   t h e   l oa d   o t he   e a c wa r e h ous e   i s   c a l c ul a t e whi c w i l l   t he s um   up  a n d   gi ve   t he  e nt i r e  l oa on t he  pa r t i t i on by   us i n g s t a n da r de v i a t i on.  T he n t h e  l oa d i s  s or t e d i n a s c e n di n g  or de r .   T he  a s s oc i a t i on of  t he  pa r t i t i on i s  t o o c a l c u l a t e d a nd s or t s  i t   i n de s c e n di ng  or de r .  A s u m m a t i on of   bo t h t he   l oa d  r a nk  a nd  a s s oc i a t i o r a nk  a r e  c om put e d a n d s or t  i t  i n a s c e n di n or de r  a nd  t o 5 c om bi na t i on s  a r e   s e l e c t e d  a s  t h e  p a r t i t i o n s   w h i c h   w i l l  h a v e  o p t i m i s e d  l o a d  b a l a n ce an d  as s o ci at i o n .  T h e b el o w   F i g u r e 2   e xpl a i n s   t he   s c a l a bl e   w or kl oa d - dr i ve n   a l g o r i t h m   [ 2 ].           F i g ur e   2 .   S cal a b l w o r k l o ad - dr iv e n   a lgo r it hm       3. 4 .     M a p pi ng   O f   T he   T pc - C   Sc he m a   I nt o   M o ng o d b   I n t hi s ,  m a ppi ng  o f  T P C - C  s c he m a  i nt o t he  da t a  m ode l  o f  t he  M o n go D B  i s  pe r f or m e d.  T he r e  a r e   t ot a l  ni ne  t a bl e s  a s  a  di s t r i c t ,   c us t om e r ,  s t oc k,   w a r e h ous e ,   or de r s ,   ne w - o rd e r,   o r d er - l i n e ,  i t e m ,  a n d  h i s t o r y  i n   t h e  T P C - C  s c h e m a.  T h es n i n e t ab l es  a r m ap p ed  t o  a s i n g l e c o l l e c tio n in  Mon goD B .   F ig ur e  3   s ho ws  t he   m a ppi n g o f  T P C - C  s c he m a   t o M on go D B .  T he  hi s t or y  t a bl e  ha s  n ot  b e e n c o ns i de r e d w hi l e  c r e a t i ng t he   M o n g o D B c o l l e c t i o n .   A s  t he   t r a ns a c t i o ge t s  t r i gge r e d t he  hu nt i n of   f o r  t he  pa r t i c ul a r   da t a  i nt o t he  s i ngl e   c o l l e c t i o n  t h a t  i s  s i n g l e  p a r t i t i o n   w i l l  p e r f o r m  b e t t e r  i n s t e a d  o f  s e a r c h i n g   t h e  d a t a  i n t o  d i f f e r e n t  9  c o l l e c t i o n s .   Evaluation Warning : The document was created with Spire.PDF for Python.
IJ A A S     I S S N 225 2 - 88 14       D at P ar t i t i oni ng   i M o n go   D w i t C l o u ( A ak ank s h J u m l e )   25   U s i n g t he  s c a l a bl e  w o r kl oa d   dr i ve n  a l g or i t h m  a nd m a ppi n g i nt o s i ngl e  c ol l e c t i on i n M on g oD B  t he   pa r t i t i ons   ar f o r m ed .   T h r eas o n   f o r   c r eat i n g   s i n g l co l l ect i o n   f o r   a l l   t h 9   t ab l es   i s   t o   m i n i m i ze  t h r es p o n s t i m f o r   r e t r i e v i n g   t h e   r e s u l t s .           F i gu r e   3.   M a p pi n of   T P C - C   s ch em a       4.   I M P LEM E N TA TI O N     T h i m pl e m e nta t i on o f  t he  p r oje c t  c ons i de r s   t w o  m e t r i c  t h a t  i s  r e s p o n s e  t i m e  a n d  t h r o u g h p u t .  I t   w a s   pe r f o r m e d on  l oc a l   m a c hi ne  a nd o n c l o ud  a nd t he  di f f e r e nc e   of  t he i r  r e s p ons e  t i m e  a nd t h r o u gh put  i s   m eas u r ed .   T h e  b e l o w  t a b l e  s p e c i f i e s  t h e  c o n f i g u r a t i o n  o f  t h e   m ach i n es  w h i ch  w er u s e d   f o r  t h e e x p e r i m en t al   pu r pos e .       T a b l e 1 .   Co n f i g u r a t i o n   o f   l o c a l   m a c h i n e     C o n f i g u r atio n  o f  L o cal M ach in e   E d itio n   :   W i ndow s  7   R AM   :   8. 00 G B   Sto r ag e   :   1  GB   Pr o ces s o r   :   I n tel C o r ( i3 )   S ys t e m  T yp e   :   64 bi t     T a b l e 2 :   C o n f i g u r a t i o n   o c loud   ins ta n c e     C onf i gur a t i on o f   C l oud I ns t a nc e   E d itio n   :   W i ndow s  10   R AM   :   16. 00 G B   Sto r ag e   :   30 G B   S ys t e m  T yp e   :   64 bi t   Co st   :   $ 0. 263/ hr         5.   R ES U LTS     R es p o n s e t i m e  an d  t h r o u g h p u t  ar e cal cu l at ed  f o r  o n  l o ca l   m ach i n e an d  o n  cl o u d .  B el o w  ar e t h gr a p hs   r e pr e s e nt i ng 1 w ar e h o u s es ,  25  w ar eh o u s e s   a nd  35   w a r eh o u s es .  T he  n um be r  o f   us e r s  va r y  f r o m  200   t o 1 0 00 .  T he   p ur p os e   of  t hi s   e xpe r i m e nt  w a s  t va l i da t e  t h e  s c a l a b i l i t y  o f  t h e  s t a t e d  p a r t i t i o n i n g  s c h e m e  w i t h   t h e   i nc r e a s i n g num be r  of   c o n c ur r e nt  us e r s .   F ig ur e  4 - 1 5 s h ow s  t he   r es p o n s e t i m e  w i t h  1 5   w a re h o u s e s ,   25  w a r e h ous e s   a n 35   wa r e ho us e s   o n   l o cal   a nd  on   c loud .       Evaluation Warning : The document was created with Spire.PDF for Python.
                                I S SN :   2 252 - 88 14   IJ A A S     V o l .   7 ,   N o .   1 ,   M a r ch   2 018   2   28   26         F i gu r e   4.   R e s p ons e   T i m e   wi t 15   wa r e ho us e s     o n   l o cal     F i gu r e  5.   R e s p ons e   T i m e   wi t 15   wa r e ho us e s   o c lou d             F ig ur e   6 .   T hr ou ghp u w ith   15  w a r e hou s e s   on   lo c a l     F ig ur e   7 .   T hr ou ghp u w ith   15  w a r e hou s e  o c lo ud               F i gu r e   8.   R e s p ons e   T i m e   wi t 25   wa r e ho us e s     o n   l o cal     F i gu r e  9.   R e s p ons e   T i m e   w i t 25   w a r e ho us e s     on   c loud   Evaluation Warning : The document was created with Spire.PDF for Python.
IJ A A S     I S S N 225 2 - 88 14       D at P ar t i t i oni ng   i M o n go   D w i t C l o u ( A ak ank s h J u m l e )   27         F i gu r e  1 0.   T h r ou g hp ut   wi t 2 w a r e h ous e s   on   l oc a l     F i gu r e  1 1.   T h r ou g hp ut   wi t 2 w a r e h ous e s   on   c l o ud             F i gu r e   1 2.   R e s po ns e   T i m e   wit 3 wa r e h o us e s     o n   l o cal     F i gu r e   1 3.   R e s po ns e   T i m e   wit 3 wa r e h o us e s     o n   l o cal               F i gu r e  1 4.   T h r ou g hp ut   wi t 3 w a r e h ous e s   on   l oc a l     F i gu r e  1 5.   T h r ou g hp ut   wi t 3 w a r e h ous e s   on   c l o ud         Evaluation Warning : The document was created with Spire.PDF for Python.
                                I S SN :   2 252 - 88 14   IJ A A S     V o l .   7 ,   N o .   1 ,   M a r ch   2 018   2   28   28   6.   C O N CL U S I O N     S cal ab l e w o r k l o ad - dr i ve pa r t i t i oni ng i s  i m pl e m e nt e d us i ng M on g oDB   t o s a t i s f y  t he   de m a nds  o f   l a t e s t  c l oud r e l a t e d a ppl i c a t i o ns .  T he  e x pe r i m e nt  pe r f or m e d wi t h t he  s ol ut i on  of  u s i n g t he  w o r kl oa d - dr i ve n   al g o r i t h m  i s  v al i d at ed   o v e r  t h e l o cal  m ach i n e an d  al s o   o n  t he  c l o u d.  T he   us e   of  E C c lou i ns t a nc e  i m pr o ve s   t he  m e t r i c s  us e d f or  va l i da t i o n.  B y  i m pl e m e nt i ng t he  c onc e r ne d s c he m e   us i n g t he   be nc hm a r k T P C - C,  i t  h a s   be e o bs e r ve t ha t  s c a l a bl e  w or kl oa d d r i ve n  pa r t i t i oni ng  r e duc e s  t he  n um be r   of   di s t r i b ut e d t r a n s a c t i on s  a nd  g i v es   b et t er   r es p o n s e   t i m as   co m p ar ed   t o   T P C - C.       R EF ER E N C ES     [1]   F ra nc i s c o Cruz ,  F ra nc i s c o M a i a ,  Rui  O l i ve i r a  a nd Ri c a rdo V i l a ¸c a .  W orkl oa d - a w a re  t a bl e  s pl i t t i ng for N oS Q L .   S A C’14  M a rc h 24 28,  G y e ongj u,  K ore a  Cop y ri ght  2014 A CM  9 78 -   1 - 4503 - 2469 - 4/ 14/ 03 ,  2014   [2]   S .  A hi rra o a nd  R.  Ingl e ,  “ S c a l a bl e  T r a ns a c t i ons  i n Cl oud D a t a   S t ore s ,   J our nal  of  Cl oud Com put i ng: A dv an c e s ,   Sy s t e m s   and A pp l i c at i ons ,  4: 2 1 .   D O I 10. 1186/ s 13677 - 015 -   0047 - 3,  2015 .     [3]   S . P h an s al k ar  a n d  D r . A . D an i ,  “ T r an s act i o n  A w ar e V er t i ca l  P ar t i t i oni ng of D a t a b a s e  (T A V P D ) F or Re s pons i v e   O L T P  A ppl i c a t i ons  In Cl oud D a t a  S t ore s ,   J our nal  of  T he or e t i c al  and A ppl i e d I nf or m at i on T e c h nol ogy , V o l u m e.  59 N o. 1,  J a nua r y   2014.     [4]   Da s S ,  Ag r a wa l   D,  E l  Ab b a d i  A,   E l as T r aS :  A n   el as t i c,  s ca l ab l e,  an d  s e l f - m a na gi ng  t ra ns a c t i on a l   da t a b a s e  for  t he   c l oud A CM T r ans  D at abas e Sy s t  ( T O D S )   38(A rt i c l e  5): 1 45 ,  201 3.     [5]   Ba ke r J ,  Bond C ,  Corbe t t  J ,  F urm a n J J ,  K horl i A ,  L a rs on J ,  L ´ e on J - M ,  L i  Y ,  L l o y d A ,  Y us hpra kh V ,   M eg as t o r e:   P rovi di ng s c a l a b l e ,  hi ghl y   a v a i l a bl e  s t or a ge  for  in te r a c tiv e  s e r v ic e s .  In:   CID R ,  V o l um e  11.  pp 223 234,  2011 .     [6]   M i gue l  L i roz - G i s t au , R e za A k b ar i n i a,  E s t h er  P aci t t i , F ab i o  P o r t o  an d  P at r i ck   V al d u r i e z.  D y n a m i c  W orkl oa d - Ba s e d P a rt i t i on i ng A l gori t hm s  f or Cont i nuous l y   G row i ng D a t a b a s e s .  S pri ng e r - V e rl a g  Be rl i n H e i de l be rg ,  2013 .     [7]   Curi no C,  J one s  E P C,  P opa  RA ,  M a l vi y a  N ,  W u E ,  M a dde n S ,  Z e l dovi c h N ,   Re l a t i ona l  c l oud:   A  da t a ba s e - as - a - s e rvi c e  for  t he  c l oud .  I n:   P r oc e e di ngs  of  t he  5 t h B i e nni a l  Conf e r e nc e  on Inno v at i v e  D at a Sy s t e m s  R e s e ar c h .  p 235 240,  2011 .     [8]   Xi a o y a n W a ng ,   X u F a n,  J i nc hu a n Che a nd X i a o y ong D u .   A u to m a tic  D a ta  D is tr ib u tio n  in   La r g e - s cal e O L T P   A ppl i c a t i ons I nt e r nat i onal  J ou r nal  of  D at abas e  T he or y  and  A pp l i c at i on .   V ol um e . 7,  N o. 4,  pp.  37 - 46,  2014 .     [9]   Curi no C,  J one s  E ,   Z ha ng  Y ,   M a dde n S ,   S ch i s m :  a   w orkl o a d - dri ve n  a ppro a c t o d a t a b a s e  re pl i c a t i on  a nd   pa rt i t i oni ng P r o c V L D B E n d o w m en t .   3(1 2 ): 48 57,  2010 .     [10]   Bri a n S a ue a nd  W e i  H a o,   H ori z ont a l  Cl oud D a t a b a s e  P a rt i t i on i ng w i t h D a t a   M i ni ng T e c hni q ue s 12t h A nnu al   IE E E  Cons um e r   Com m uni c at i ons  and Ne t wor k i ng  Conf e r e n c e  ( CCNC) ,  2015.     Evaluation Warning : The document was created with Spire.PDF for Python.