I nte rna t io na l J o urna l o f   I nfo rm a t ics a nd   Co m m un ica t io n T ec hn o lo g y   ( I J - I CT )   Vo l.  1 5 ,   No .   3 Sep tem b er   20 2 6 ,   p p .   1 1 6 7 ~ 1 1 7 8   I SS N:  2252 - 8 7 7 6 DOI 1 0 . 1 1 5 9 1 /iji ct . v 1 5 i 3 . pp 1 1 6 7 - 1 1 7 8           1167       J o ur na l ho m ep a g e h ttp : //ij ict. ia esco r e. co m   A pilot r ev iew of  t he  G o o g le  clus ter wo rklo a d t ra ce   2 0 1 9 metho do lo g y  and its alterna tives a na ly sis  of worklo a d in    la rg e sca le data  c entres       Ak a s h P a t el 1 ,   Am it   Na y a k 2 K hu s hi P a t el 3 ,   Ana nd   P a t el 4   1 D e p a r t me n t   o f   I n f o r mat i o n   Te c h n o l o g y ,   D e v a n g   P a t e l   I n st i t u t e   o f   A d v a n c e   Te c h n o l o g y   a n d   R e s e a r c h   ( D EPS TA R ) ,     F a c u l t y   o f   T e c h n o l o g y   a n d   E n g i n e e r i n g   ( F TE),  C h a r o t a r   U n i v e r si t y   o f   S c i e n c e   a n d   T e c h n o l o g y   ( C H A R U S A T) A n a n d ,   I n d i a   2 D e p a r t me n t   o f   C o m p u t e r   S c i e n c e   a n d   E n g i n e e r i n g ,   D e v a n g   P a t e l   I n st i t u t e   o f   A d v a n c e   T e c h n o l o g y   a n d   R e s e a r c h   ( D EPS TA R ) ,     F a c u l t y   o f   T e c h n o l o g y   a n d   E n g i n e e r i n g   ( F TE),  C h a r o t a r   U n i v e r si t y   o f   S c i e n c e   a n d   T e c h n o l o g y   ( C H A R U S A T) ,   A n a n d ,   I n d i a   3 D e p a r t me n t   o f   C o m p u t e r   En g i n e e r i n g ,   D e v a n g   P a t e l   I n st i t u t e   o f   A d v a n c e   Te c h n o l o g y   a n d   R e se a r c h   ( D EPS TA R ) ,     F a c u l t y   o f   T e c h n o l o g y   a n d   E n g i n e e r i n g   ( F TE),  C h a r o t a r   U n i v e r si t y   o f   S c i e n c e   a n d   T e c h n o l o g y   ( C H A R U S A T) ,   A n a n d ,   I n d i a   4 I n f o r mat i o n   T e c h n o l o g y   D e p a r t me n t ,   D h a r ms i n h   D e sa i   I n st i t u t e   o f   Te c h n o l o g y   ( D D I T) ,   F a c u l t y   o f   T e c h n o l o g y ,     D h a r msi n h   D e s a i   U n i v e r si t y   ( D D U ) ,   N a d i a d ,   I n d i a       Art icle  I nfo     AB S T RAC T   A r ticle  his to r y:   R ec eiv ed   J u n   5 ,   2 0 2 5   R ev is ed   Ap r   1 4 ,   2 0 2 6   Acc ep ted   Ma y   1 7 ,   2 0 2 6       Clo u d   d a ta  c e n tres   re q u ire  sh a re d   se rv ice th a a re   h ig h ly   a v a il a b le,  e las ti c   c a p a c it y ,   m a n a g e d   o p e ra ti o n s,  a n d   ro b u st  re c o v e r y   c a p a b il it ies   t o   fa c il it a te  th e   n e x t   g e n e ra ti o n   o f   e fficie n t,   re li a b le,  a n d   d i v e rse   c o n n e c ted   c o m p u ti n g   e n v iro n m e n ts.   Ne v e rth e les s,  lar g e - sc a le  c lo u d   in fra stru c t u re c o n ti n u e   to   fa il   re g u larly   d e s p it e   t h e ir   a v a il a b il i t y ,   sc a lab il it y ,   a n d   c o st  e fficie n c y ,   p r ima ril y   d u e   t o   l o re so u rc e   u ti li sa ti o n   a n d   i n a d e q u a te  e a rly - sta g e   fa il u re   m a n a g e m e n t.   Th e   k e y   t o   e ffe c ti v e   re so u rc e   m a n a g e m e n a n d   m in imiz in g   fa il u re in   s u c h   se tt i n g is   u n d e rs tan d i n g   t h e   n a t u re   o f   th e   w o rk l o a d   a n d   it fa il u re   m o d e s.  T h e   c u rre n re v ie c o n sid e rs  t h e   G o o g le  c l u ste wo rk l o a d   trac e   2 0 1 9   to   in v e stig a te  wo r k lo a d   a n d   fa il u re   p a tt e rn a n d   to   g e n e ra li se   th e   re su lt o 2 4   a rti c les .   Th e   a n a l y sis  is  a lso   c o m p a re d   wit h   o t h e m a jo d a tas e ts,  su c h   a M icr o so ft   Az u r e   Trac e ,   Ten c e n Trac e ,   a n d   Ali b a b a   Trac e .   Th e   p a p e e sta b li sh e th e   re lev a n c e   o G o o g le  c lu ste trac e s,  d e s c rib e th e   k e y   c o n ten ts o t h e   2 0 1 9   d a tas e t,   a n d   c o n tras ts p ri o l it e ra tu re   wit h   re sp e c to   re se a rc h   o b jec ti v e s,  trac e   d a tas e ts,  sig n ifi c a n re su lt s,  a n d   li m it a ti o n s.   M o re o v e r,   it   b riefl y   d e sc rib e m e th o d s   fo r   a n a ly z i n g   a n d   m o d e li n g   c l u ste r   trac e a n d   id e n ti fies   g a p i n   t h e   r e se a rc h   th a sh o u l d   b e   a d d re ss e d   t o   a d v a n c e   th e   stu d y   o c lu ste trac e s.   K ey w o r d s :   C lo u d   co m p u tin g   Data   ce n ter s   Dee p   lear n in g   Go o g le  clu s ter   tr ac e   Ma ch in lear n in g   W o r k lo ad   T h is i a n   o p e n   a c c e ss   a rticle   u n d e r th e   CC B Y - SA   li c e n se .     C o r r e s p o nd ing   A uth o r :   Am it Na y ak   Dep ar tm en t o f   C o m p u ter   Scie n ce   an d   E n g in ee r in g   Dev an g   Patel  I n s titu te  o f   Ad v an ce   T ec h n o lo g y   an d   R esear c h   ( DE PS T AR )   Facu lty   o f   T ec h n o lo g y   an d   E n g in ee r in g   ( FTE )   C h ar o tar   Un iv er s ity   o f   Scien c an d   T ec h n o lo g y   ( C HARUS AT )   C h an g 3 8 8 4 2 1 ,   An an d ,   I n d ia   E m ail: A m itn ay ak . it@ ch ar u s at. ac . in       1.   I NT RO D UCT I O N   I n   co m m er cial  s ettin g s ,   la r g e - s ca le  d ata  ce n ter s   h av e   b ec o m th e   s tan d ar d   s o lu tio n   f o r   a   v ast  r an g e   o f   ap p licatio n s .   T h is   is   m ain ly   attr ib u tab le  to   th f ac t h at  th ese  ce n ter s   o f f er   s ig n if ican p o ten tial  f o r   av ailab ilit y ,   s ca lab ilit y ,   an d   c o s t - ef f ec tiv o p e r atio n al  ex p e n s es.  C lo u d   co m p u tin g   s y s tem s   f ail  d u to   th eir   co m p lex ity ,   h eter o g en eity ,   o p en n ess ,   an d   d is p er s io n .   T h ese   f ailu r es  ca n   d eg r ad e   clo u d   s y s tem   d ep en d a b ilit y   an d   co s u s er s   an d   p r o v id er s   a   lo o f   m o n ey .   C lo u d   p r o v i d er s   m ay   in cu r   s u b s tan tial  lo s s es   f r o m   t h ese  er r o r s .   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8 7 7 6   I n t J I n f   &   C o m m u n   T ec h n o l Vo l.  1 5 ,   No .   3 Sep tem b er   20 2 6 :   1 1 6 7 - 1 1 7 8   1168   T h u s ,   d ata  a n aly s is   o n   r ea l - w o r ld   s o u r ce s   is   ess en tial  to   s o lv in g   th e   p r o b lem s   f ac in g   lar g e - s ca le  clo u d   d ata   ce n ter s .   T h is   p ap er   p r esen ts   an   an aly s is   an d   s u r v ey   o f   th 2 0 1 9   Go o g le  C lu s ter   tr ac e d atase t   [ 1 ] ,   wh ich   Go o g le  p r o v id es.  I in clu d es  2 . 4   ter ab y tes  o f   wo r k lo ad   tr a ce s   co llected   f r o m   eig h clu s ter s   th r o u g h o u Ma y   2 0 1 9 .   T h is   d ataset  h as  e n ab le d   a   co m p a r is o n   o f   th d ev elo p m en o f   s ch ed u lin g   d ec is io n s   m ad b y   clu s ter   m an ag er s ,   o p e n in g   u p   n o v el  o p p o r tu n ities .   T h n ew  d at aset  co v er s   allo s ets,  b est - ef f o r b atch   s ch ed u ler ,   v er tical  s ca lab ilit y ,   an d   task   d ep en d en cies.  T h is   in f o r m atio n   aid s   in   jo b   s ch ed u lin g   e x p lan atio n s .   Un lik th e   2 0 1 1   tr ac d ataset  [ 2 ] ,   th e   2 0 1 9   d ataset  allo ws  u s   to   ex te n d   o u r   h y p o th esis   to   eig h cl u s ter s   ac r o s s   th r ee   co n tin en ts   an d   t o   ex am in e   n o n co n f o r m is t te n d en cies [ 3 ] .   wid r an g o f   r esear c h   ar t icles  h av b ee n   p u b lis h ed   t o   d ate  o n   th e   Go o g le  c lo u d   t r ac es  2 0 1 9   d ataset.   Ad d itio n ally ,   s o m o f   th ese  ar ticles  h av co m p ar e d   th is   d ataset  with   o th er   p u b licly   av ailab le  clo u d   d atasets .   W h en   it c o m es to   r esear ch   p u b licatio n s ,   h o we v er ,   t h er is   lack   o f   h ig h - q u ality   a r ticles.   I n   clo u d   c o m p u tin g   r esear ch ,   s ev er al  r ea l - wo r ld   d ata  ce n te r   tr ac d atasets   h av b ee n   r elea s ed ,   alo n g   with   th eir   r esp ec tiv p er f o r m a n ce   s ta n d ar d s .   2 0 1 1   f ea tu r ed   t h r elea s o f   Go o g le  clu s ter   tr ac e   [ 2 ] ,   wh ic h   was  co n s id er ed   t o   b e   o n o f   th e   e ar lies an d   m o s s ig n if ican d atasets .   Fu r th er m o r e,   th Alib ab C lu s ter   Data s et  [ 4 ]   is   an o th er   d ataset  r ec en t ly   m ad e   av ailab le.   T h p u r p o s o f   t h is   r eso u r ce - c o n s u m p tio n   d ataset  is   to   en h an ce   u tili za tio n   an d   r ed u c in f r astru ctu r c o s ts .   I co m e s   f r o m   th p r o d u ctio n   cl u s ter   o f   Alib ab a,   w h ich   o p er ates  b o th   o n lin e   s er v ices  an d   b atch   p r o ce s s es.  On   t h o th er   h a n d ,   th d iv er s r eq u ir e m en ts   o f   wo r k l o ad s   n ec ess itate   th d ev elo p m en o f   n o v el  s ch e d u lin g   alg o r ith m s   to   m an ag c o - lo ca ted   h eter o g en eo u s   ap p licatio n   g r o u p s   ef f ec tiv ely   [ 5 ] .   T h is   p ap er   co n s is ts   o f   th f o llo win g   s ec tio n s .   Sectio n   1   is   an   I n tr o d u ctio n .   Sectio n   2   d e s cr ib es  th e   s ig n if ican ce   o f   Go o g le  clu s ter   tr ac e s .   Sectio n   3   d is cu s s es  th Go o g le  clu s ter   tr ac e   2 0 1 9   d ataset.   Sectio n   4   p r esen ts   co m p ar ativ an al y s is   u s in g   alter n ativ d atasets .   Sectio n   5   d escr ib es  m eth o d s   f o r   an aly zi n g   an d   m o d elin g   clu s ter   tr ac e s .   Sectio n   6   d escr ib es  r esear ch   c h allen g es  an d   o p en   ar ea s .   T h f in al   s ec tio n ,   7 ,   p r esen ts   th co n clu s io n .   R esear ch   o b jectiv es:     Pre s en ts   s y s tem atic  liter atu r r ev iew  o f   29   ar ticles  th at  d e p lo y   th Go o g le  c lu s ter   wo r k l o ad   tr ac e   2 0 1 9   d ataset,   wh ich   s u m m a r izes  e v id en ce   o n   wo r k lo a d   as  wel as  f ailu r b eh a v io u r   in   r e al - wo r ld   clo u d   clu s ter s .     Giv es  co m p ar ativ s tu d y   o f   th Go o g le  cl u s ter   tr ac e s   with   th MS  Azu r e,   T e n ce n a n d   Alib ab tr ac es  in clu d in g   t h eir   s im ilar ities ,   d if f er en ce s   an d   t h eir   co m p lem en tar y   ad v a n tag es to   clo u d   r esea r ch .     E x p lain s   th m ea n in g   a n d   co n ten t s   o f   th Go o g le  c lu s ter   d at aset  o n   2 0 1 9   s u ch   as  wh at  k in d   o f   wo r k l o ad s ,   r eso u r ce s ,   an d   e v en ts   ar b ein g   r ec o r d ed ,   a n d   h o th ese  h av b ee n   ex p lo ited   in   p r ev io u s   liter atu r e.     Dete r m in es  s o lu tio n s   to   u n r eso lv ed   is s u es  an d   u n d e r in v esti g ated   f i n d in g s   in   th c u r r e n b o d y   o f   liter atu r e   on  clu s ter   tr ac e   an d   o u tlin es  f u tu r e   r esear ch   q u esti o n s   in   clu s ter   tr ac e   a n aly s is   s p ec if ically   with in   th e   co n tex t o f   AI -   an d   GPU - b ased   wo r k lo ad   co n s tr ain t p r ed ictio n .       2.   SI G NIF I CANC E   O F   G O O G L E   C L US T E T RAC E S   T h ey   co n d u cte d   an   in - d ep t h   an aly s is   o f   th 2 0 1 9   Go o g le  clu s ter   tr ac e   d ataset,   co m p r is in g     wo r k lo ad   tr ac es  to talin g   2 . 4   g ig ab y tes  f r o m   eig h clu s ter s   lo ca ted   in   d if f er en t   p ar ts   o f   t h wo r ld .   Go o g le p r o d u ctio n   clo u d   h as  b ee n   task ed   with   ex am i n in g   th e   ch ar a cter is tics   o f   ab o r ted   o r   f ailed   j o b s   an d   c o r r elatin g   th em   with   s ig n i f ican f ac t o r s .   T h ese  f ac to r s   i n clu d e   r eso u r c u tili za tio n ,   w o r k   p r i o r ity ,   s ch ed u lin g   class ,   jo b   d u r atio n ,   an d   t h n u m b er   o f   t im es  th task   was  r esu b m itted .   Acc o r d i n g   to   o u r   f in d in g s ,   s ev er al  s ig n if ican f ea tu r es  o f   f ailed   task s   co n tr ib u ted   to   th wo r k s   f ailu r an d   co u ld   b u s ed   to   d ev elo p   an   ea r ly   f ailu r e   p r ed ictio n   s y s tem   [ 1 ] .   Sev er al  r esear ch er s   h av e   u s ed   GAR C an d   AR I MA   m o d els  to   d ev el o p   tec h n iq u es   f o r   p r e d ictin g   th e   r eliab ilit y   a n d   r esp o n s tim es  o f   o n lin s er v ices.  I n   ad d itio n ,   s ev er al  p r io r   s tu d ies  f o u n d   th at  v ir tu al  m ac h in es  ex h ib ited   r elativ ely   co n s is ten wo r k lo ad   p atter n s .   Usi n g   Hid d en   Ma r k o v   Mo d elin g ,   th ey   d ev elo p ed   m eth o d   to   d escr ib an d   p r e d ict  v ir tu al  m ac h in wo r k lo a d   p atter n s .   T h ey   d ev elo p e d   s ev er al  a p p r o ac h es,  an d   th is   s tr ateg y   was  am o n g   th em .   T h u s o f   s tatis tical  tech n iq u es  b ased   o n   Go o g le  C lu s ter   tr ac e s   h as  led   to   co m p ar is o n s   o f   Go o g le  d at ce n ter s   with   g r id   o r   h ig h - p er f o r m a n ce   co m p u tin g   ( HPC )   s y s tem s   [ 6 ] .     T h is   co m p ar is o n   is   m ad e   ev en   th o u g h   Go o g le  d ata  ce n ter s   ar class if ied   as c lo u d   s tag es.   th o r o u g h   m u lti - v iew  ass es s m en s tr ateg y   f o r   d u al - clo u d   wo r k lo ad s   was  d escr ib ed ,   an d   ca s e   s tu d y   o n   Go o g le   C lu s ter   T r ac i n g   was  u s ed   to   illu s tr ate  th e   c o n ce p t   [ 4 ] .   Sev er al   s t u d ies  u s ed   th e   wo r k l o ad   o f   th Go o g le  clu s ter   to   d eter m in th d is tr ib u tio n   o f   clo u d   s er v er s   m ain ten an ce   tim an d   tim e - to - f ailu r [ 6 ] .   T h ese  an aly s es we r co n d u cted   to   d eter m i n th lik elih o o d   o f   f ailu r e.   T h Go o g le   C lu s ter   tr ac e   Data s et  co m p r is es  eig h B o r g   ce l ls ,   ea ch   lo ca ted   in   d if f er en tim zo n e,   s u ch   as  New   Yo r k ,   Helsin k i,  an d   Sin g a p o r e.   Ma ch in e   tab le s ,   C o llectio n   tab les,  an d   I n s ta n ce   tab les  ar e   th e   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J I n f   &   C o m m u n   T ec h n o l     I SS N:   2252 - 8 7 7 6       A   p ilo t revie w   o f th G o o g le  cl u s ter w o r klo a d   tr a ce   2 0 1 9 ,   me th o d o lo g a n d   its   a lter n a tives    ( A ka s h   P a tel )   1169   th r ee   p r im ar y   ty p es  o f   tab le s   th at  ar in clu d ed   in   ea ch   B o r g   ce ll,  wh ich   is   co m p r is ed   o f   f iv tab les   T o   b e   m o r e   ex p licit,  Ma ch i n es  ar d i v id ed   in to   two   ta b les:   th Ma ch in eE v en ts   tab le  d escr ib es  ev en ts   ass o ciate d   with   m ac h in es,  an d   th Ma ch in eAttr ib u tes  ta b le  p r o v id es  in f o r m atio n   o n   m ac h in f ea tu r es.  C o llectio n s   ar wh at   Go o g le   r ef er s   to   as  jo b s   an d   all o c   s ets,  in s tan ce s   ar wh at   th ey   c all  task s   an d   allo c   in s tan ce s ,   an d   item s   ar wh at  th ey   u s to   r ef er   to   co llectio n s   o r   in s tan ce s .   T h C o l lectio n E v en ts   an d   I n s tan ce E v en ts   tab les,  r esp ec tiv ely ,   r ec o r d   th e   life cy cle  o f   co llectio n s   an d   in s tan ce s   [ 7 ] .   T h 2 0 1 9   tr ac es  i n clu d e   o n l y   r eso u r ce   r eq u ests   an d   u tili za tio n th e y   d o   n o t   ca p tu r e n d   u s er s ,   d ata,   o r   ac ce s s   p atter n s   to   s to r ag e   s y s tem s   an d   o th e r   s er v ices.  E ac h   r ec o r d   c o n tain s   m icr o s ec o n d   tim estam p   r elativ to   a   r ef er e n ce   p o in 6 0 0   s ec o n d s   b e f o r e   th s tar t   o f   t h tr ac p er io d .   T h tim estam p s   ar 6 4 - b it  in teg er s .   Fo r   e x am p le,   2 0 - s ec o n d   e v en o cc u r r i n g   6 2 0   s ec o n d s   af ter   th tr ac b e g in s   wo u ld   h av a   tim estam p   o f   6 2 0   s ec o n d s .   T wo   ex ce p tio n al  tim estam p   v alu es  ar av ailab le  f o r   ev en ts   b ey o n d   th t r ac e   win d o w:  0   f o r   p r e - tr ac ev e n ts   an d   2 6 3     1   ( MA XI NT )   f o r   p o s t - tr ac e v en ts .   L im itin g   u s m ea s u r em en tim es  to   3 0 0   s ec o n d s ,   o f f s et  r u les  ar u s ed   to   d etec o cc u r r en ce s   r elativ to   th tr ac e   p er io d .   Me asu r em e n ts   ar ac cu r ate  to   th n ea r est  s ec o n d   b u p r esen ted   in   m icr o s ec o n d s   f o r   clar ity .   T h ese  tim estam p s   ar g en er ally   ac cu r ate,   alth o u g h   s m all  v ar ia tio n s   m ay   o cc u r   d u e   to   cl o ck   d r if ac r o s s   clu s ter   n o d es,  r ath er   th an   s ch ed u lin g   o r   u s ag co n ce r n s   [ 8 ] .   W h en   co n d u ctin g   r esear ch   o n   th clo u d ,   it  is   ess en tial   to   en s u r th av ailab ilit y   o f   em p ir ic al  d atasets   th at  d em o n s tr ate  th e x ten to   wh ich   th e   clo u d   m ee ts   cu s to m er   r e q u ir em en ts .   Fo r   e x am p l e,   n u m er o u s   p u b lic   clo u d   p latf o r m   tr ac es  f o r   clu s t er   tr ac e   an aly s is   h av b ee n   m ad av ailab le.   T h ese  in clu d t h Face b o o k   tr ac e,   th T ao b a o   d ataset,   th Go o g le  clu s ter   tr ac e ,   an d   th Al ib ab tr ac e   2 0 1 8 .     I n   No v e m b er   2 0 1 1 ,   Go o g le  r elea s ed   clu s ter   u s ag tr ac e   d ataset .   T h er is   r em ar k ab l am o u n t o f   d etail  in   th is   tr ac e,   as  well  as  wid v ar iety   o f   task s .   T h p o s itio n s   en co m p ass   wid er   r an g o f   r esp o n s ib ilit ies,  in clu d in g   p r o v id i n g   o n lin e   s er v ices  s u ch   as  s ea r ch   q u er ies  an d   o th er   u s es  o f   Ma p R ed u ce   m eth o d s .   T h ter m   wo r k lo ad   r ef e r s   to   th e   n u m b er   o f   jo b s   b ein g   r ec ei v e d ,   th task s   ass o ciate d   with   th o s jo b s   th at  u s er s   h av s u b m itted ,   an d   t h lo a d   p ar ticu lar   s y s tem   ex p er ien ce s   wh en   co n d u ctin g   task s .   W i t h in   th s co p o f   th is   s tu d y ,   th tr ac d ataset  is   ch ar ac ter ized   with   r esp ec to   h o task s   ar p r o ce s s ed   an d   t er m in ated   with in   t h clu s ter ,   h o ter m in ated   jo b s   ar d is tr ib u ted ,   a n d   h o s ch ed u lin g   class   an d   p r i o r ity   in f l u en ce   ter m in ated   jo b s   [ 9 ] [ 1 0 ] .   T o   ca p tu r e   lo n g - r an g d ep e n d en cies  in   clo u d   wo r k lo a d s ,   th is   an aly s is   is   co n d u cted   u s in g   wo r k lo ad s   d er iv ed   f r o m   s tan d ar d   r ea l - wo r ld   d ataset,   Go o g le  C lu s ter   tr ac e .   T h e   r esear ch   s h o ws  th at  th m et r ics  u n d er   an aly s is   ar h ea v y - tailed m o r eo v er ,   m ath em atica f o r m   is   d er iv ed   t o   ch ar ac ter ize   lo n g - r an g d e p en d e n cies  in   ag g r eg ate  wo r k lo ad s .   T h wo r k lo ad s   in   th Go o g le  clu s ter   tr ac e   ar an aly ze d   in   p r io r   wo r k ,   d ep e n d in g   o n   th ch ar ac ter is tics   o f   th e   tas k s   an d   t h r eso u r ce s   u s ed .   T h ey   o b s er v ed   th at  o cc u p atio n s   in   th f o r est  in d u s tr y   ca n   b class if ied   in to   t h r ee   c ateg o r ies:   s h o r t,  m e d iu m ,   a n d   lo n g   task s .   T h is   class if icati o n   is   b ased   o n   th e   r eso u r ce - in ten s iv e   n atu r e   o f   t h jo b s .   Ad d itio n ally ,   th e y   wo r k ed   o n   clu s ter in g   wo r k l o ad   p atter n s .   On   t h o th er   h an d ,   th eir   r esear ch   d o e s   n o f o cu s   o n   u n d er s tan d in g   th n atu r o f   clo u d   wo r k lo ad s   th at  ar d ep en d e n o n   an   e x ten d ed   p er io d   o f   ti m e.   T h v a r ied   n atu r o f   w o r k lo ad s   in   Go o g le  clu s ter   tr a ce   is   th s u b ject  o f   d is cu s s io n   in   an o th er   p iece   o f   r esear ch .   T h r ep o r o b s er v es  th at  th wo r k lo ad   is   h ig h l y   d y n am ic,   m ea n i n g   it  ch an g es  o v er   tim an d   is   d r i v en   b y   n u m er o u s   b r ief   ass ig n m en ts   th at  r eq u ir r ap id   s c h ed u lin g   d ec is io n s .     T h r esear ch   t h at  th ey   h av d o n e,   o n   t h o th e r   h a n d ,   d o e s   n o an aly ze   t h lo n g - r an g r elian ce   th at  clo u d   wo r k lo ad s   h a v [ 1 1 ] .   b ase  p r e d icto r   is   a   ter m   t h at   is   wid ely   u s ed   to   r ef er   to   ea c h   o f   th e   n u m e r o u s   p r ed ictio n   m o d els  th at  ar u tili ze d   in   an   en s em b le  m eth o d .   T h is   in clu d es  th u s o f   m u ltip le  p r ed ic tio n   m o d els  to   f o r ec ast  f u tu r e   o u tco m es.  I n   Go o g le  C lu s ter   tr ac e   2 0 1 1 ,   th wo r k lo ad   is   an aly ze d   b y   p ar titi o n in g   it  in to   th r ee   d o m ai n s p o s itiv d o m ain   ( POS),   n eg a tiv d o m ain   ( NE G) ,   an d   b o r d er   d o m ain .   th r ee - way   d e cisi o n   is   th to o em p lo y ed   f o r   th is   ty p o f   wo r k lo ad   an aly s is .   E MA   p r ed ict io n   m eth o d o lo g y   is   u tili ze d   f o r   th g iv en   s tab le   p er io d .   Fo r   th v o latile  p er io d ,   th Ho lt - W in ter s   p r ed ictio n   m o d el  is   ap p lied ,   an d   th is   is   s en s itiv to   ju m p   p atter n s   in   th d ata.   Fo r   th v o latilit y   p er io d ,   weig h ted   p r ed i ctio n   tech n iq u f o r m s   t h co r p r ed ictio n   m o d el  with in   th p r ed ictiv f r am ewo r k ,   as  th m o d el  r esp o n s ib le  f o r   d eter m in in g   th r elev an o u tc o m es.  Ou tco m weig h ti n g   is   u s ed   to   esti m ate  th e   f in al   p r o ject ed   wo r k lo ad   b ased   o n   weig h ts   o b tain ed   u s in g   r ec ip r o ca l e r r o r   tech n iq u es.  Hen ce ,   m o d els with   h ig h er   ac c u r ac y   ar g iv e n   g r ea ter   weig h t,  wh er ea s   th o s with   lo ac cu r ac y   r ec eiv m in im al  weig h t [ 1 2 ] .       3.   O VE RVI E O F   G O O G L E   CL US T E T RA CE S 2 0 1 9   D AT AS E T   An   ex ten s iv d ataset  th at  is   m ad ac ce s s ib le  to   th g en e r al  p u b lic  i s   k n o wn   as  Go o g le  clu s ter   tr ac e s .   Mo r th an   1 2 , 5 0 0   n o d es  wer u s ed   to   g en e r ate  th d ata   f o r   th is   lar g d ataset.   Du r i n g   th p er i o d   f r o m   Feb r u ar y   8   to   Ma r c h   2 8 ,   Go o g le clu s ter   tr ac e s   co m p r is a p p r o x im ately   2 8   m illi o n   task s   an d   6 7 2 , 0 7 4   j o b s .   E ac h   jo b   h as  u n iq u c h ar ac te r is tics   b ased   o n   its   s ch ed u lin g   ca teg o r y ,   p r io r ity ,   r eso u r ce   r eq u ir e m en ts ,   an d   r eso u r ce   u tili za tio n .     T h f o ll o win g   s u m m a r y   c o v er s   G o o g l T r ac es   k e y   s tatis tics .   T h li n k s   b etwe en   f ailed   task s ,   s ch ed u led   co u r s es,  an d   r eso u r ce   d em an d s   ar b r o k e n   to   elim in ate  th em .     B asic  in f o r m atio n   was d er iv ed   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8 7 7 6   I n t J I n f   &   C o m m u n   T ec h n o l Vo l.  1 5 ,   No .   3 Sep tem b er   20 2 6 :   1 1 6 7 - 1 1 7 8   1170   b y   a n aly zin g   f ailu r p atter n s   o v e r   a   2 9 - d ay   p e r io d .   T h e   Go o g le   T r ac e   o f   2 9   d ay s   r ev ea ls   s ig n if ican t   d if f er en ce s   i n   p atter n s   o f   f ai lu r es  o f   jo b s   a n d   task s .   I n co m p lete  ac tiv ities   in   Go o g le  T r ac wen h ig h ly   b etwe en   d ay s   2   a n d   1 0 ,   wh ic h   s h o ws s ig n if ican t d estru ctio n   o f   p ar ticu lar   d ata  ce n tr e   r eso u r ce s   [ 6 ] .   Go o g le  h as  o n ly   r ec en tly   r elea s ed   n ew  tr ac d ata   ap p lica b le  at  lar g e   s ca le.   C o m p ar e d   with   th e   p r io r   v er s io n ,   th Ma y   2 0 1 9   d ataset  co n tain s   eig h d is tin ct   Go o g le  co m p u ter   clu s ter s ,   r ef er r ed   to   as  ce lls .     I n   co n tr ast  to   ea r lier   r esear ch ,   th is   ap p r o ac h   en ab les  in ter - clu s ter   an aly s is ,   wh ich   was  p r ev io u s ly   d if f icu lt.   J o b s ,   m ac h in ev en ts ,   an d   o t h er   u tili za tio n   d ata  ar in clu d ed   in   th Go o g le  T r ac 2 0 1 9   d ataset.   J o b s   an d   m ac h in ev en ts   co n tain   in f o r m atio n   o n   j o b   an d   allo ca tio n   s ch ed u lin g ,   as  well  as  o n   m ac h in life - cy cle   o p er atin g   p r o ce s s es.  Use  th p r o v id e d   d ata  to   co m p u te  th n o r m alize d   C PU  an d   m em o r y   u s ag f o r   ea ch   ac tiv ity ,   r an g in g   f r o m   0   to   1 .   T h c o m p u tatio n   d iv id es  ac tu al  u s ag b y   th e   m ax im u m   n u m b er   o f   Go o g le  c o m p u te  u n its   ( GC Us)  o r   m em o r y   ca p ac ity   o f   all  co m p u ter s   in   ce ll [ 1 3 ] .   Go o g le  r elea s ed   its   th ir d   an d   latest  d ataset.   I wa s   r ele ased   in   ea r ly   2 0 2 0   an d   r ec o r d s   clo u d     r eso u r ce   u s ag f r o m   eig h clu s ter s ,   o n o f   wh ich   h ad   m o r th an   1 2 , 0 0 0   co m p u ter s   in   Ma y   2 0 1 9 .   T h is   d ataset   f o cu s es  o n   r eso u r ce   r eq u ests   an d   co n s u m p tio n   an d   d o es  n o in clu d en d   u s er s ,   u n lik e   th 2 0 1 1   d ataset.     T h 2 0 1 9   d ataset  ad d s   task - r eser v ed   s h ar ed   r eso u r ce s ,   C PU - u s h is to g r am s   f o r   e ac h   f iv e   m in u tes,     an d   jo b - p ar en r elatio n s h ip s   f o r   m aster - wo r k er   r elatio n s h ip s ,   s u ch   as  Ma p R ed u ce   jo b s   [ 1 4 ] .   T a b le  1   s h o ws  a   co m p ar is o n   b etwe en   th Go o g le  clu s ter   tr ac e   2 0 1 1   an d   th G o o g le  clu s ter   tr ac e   2 0 1 9   d atas ets.   T h d ataset  o f   Go o g le   c lu s ter   2 0 1 9   ca n   b e   s u cc ess f u lly   a p p lied   in   th e   d ev el o p m en t   o f   th p r ed ictiv e   m o d els to   o p tim ize  clu s ter   p er f o r m an ce   a n d   r eso u r ce   u tili za tio n   s in ce   it in clu d es a b u n d a n m etr ics th at  ca n   b u s ed   to   an aly ze   wo r k l o ad   p atter n s   an d   r eso u r ce   r eq u i r em en with in   th e   clo u d   e n v ir o n m en t.   T h ese   u n d er s tan d i n g s   f ac ilit ate  m o r e   s o p h is ticated   m eth o d s   lik r e in f o r ce m e n lear n in g   ( R L ) ,   in   wh ich   f r am ewo r k s   lik Q - lear n in g   an d   d ee p   Q - n etwo r k s   m ay   o p tim ize  th r eso u r ce   allo ca tio n   d y n am icall y   b y   b alan ci n g   t h wo r k lo ad s   an d   en h an c in g   th ef f icien cy   o f   th s y s tem s .   Als o ,   p r ed ictiv s y s tem s   c an   u s f o r ec asti n g   tech n iq u es  lik NARX  an d   AR I MA   to   p r ed ict  f u tu r wo r k lo ad s   u s in g   p ast  d ata  to   e n ab le  th p r o ac ti v allo ca tio n   o f   r eso u r ce s ,   m in i m ize  co s ts ,   an d   ac h iev h ig h   p er f o r m an ce .   Ma ch i n lear n in g   s o lu tio n s   ar   also   in s tr u m en tal  in   task   ass ig n m en wh e r ar tific ial  n e u r al  n etwo r k s ,   as  well  as,  en s em b le  alg o r ith m s     ca n   b u s ed   to   d eter m in t h b est  n o d e - task   ass ig n m e n ts   r esu ltin g   in   an   ef f icien t   u s o f   r eso u r ce s .   Nev er th eless ,   r eg ar d less   o f   i ts   p o ten tial,  th m o d el  ac cu r ac y   an d   p er f o r m a n ce   m a y   b in f lu e n ce d   b y   ch allen g es,  in clu d i n g   d ata  q u ality   p r o b lem s ,   an d   th d y n a m ic  an d   u n p r ed ictab le  n at u r o f   wo r k lo ad s ,   a n d   to   m ax im ize  th b e n ef its   o f   p r ed ictiv an aly tics   in   clu s ter   m an ag em en t,   it  is   i m p o r tan t   to   m itig ate  th ese  lim itatio n s   [ 1 5 ] - [ 1 7 ] .       T ab le  1 .   C o m p a r is o n   b etwe en   Go o g le  C lu s ter   tr ac e   2 0 1 1   ( v 2 )   an d   2 0 1 9   ( v 3 )   d atasets     V e r si o n   2   ( c e l l )   V e r si o n   3   ( t o t a l )   V e r si o n   3   ( c e l l   a v g )   To t a l   e v e n t s   3 7 7 8 0   3 0 9 8 3 3   3 8 7 2 9   I n i t i a l   m a c h i n e s   1 2 4 7 7   9 1 9 0 2   1 1 4 8 7   N e w   A D D   1 0 6   4 6 5 3   5 8 2   R E M O V E   8 9 5 7   1 5 3 7 7 9   1 9 2 2 2   U P D A TE   7 3 8 0   3 2 4   40   R EJO I N   8 8 6 0   1 5 1 0 7 7   1 8 8 8 4   R E M O V ( p e r ma n e n t l y )   98   2 7 0 2   3 3 8   R e p a i r   p r o b a b i l i t y   0 . 9 8 9 1 7   0 . 9 8 2 4 3   -       4.   CO M P ARA T I V E   ANA L YS I S WI T H   AL T E RNA T I V E   DATAS E T S   R ec en s tu d ies  o n   clo u d   c o m p u tin g   an d   wo r k l o ad   tr ac a n al y s is   h av f o cu s ed   o n   im p r o v i n g   r eso u r ce   u tili za tio n ,   s ch ed u lin g   ef f ici en cy ,   wo r k lo ad   p r e d ictio n ,   an d   s y s tem   r eliab ilit y   in   lar g e - s ca le  d is tr ib u ted   en v ir o n m en ts .   T h ese  s tu d ies  u tili ze   r ea l - wo r ld   clu s t er   tr ac e   d atasets   f r o m   m ajo r   clo u d   p r o v id er s   s u ch   as   Alib ab a,   Go o g le,   T e n ce n t,  a n d   Mic r o s o f Azu r t o   ev alu ate  d if f er en m o d els,  s ch ed u l in g   tech n iq u es,  an d   wo r k lo ad   g e n er atio n   f r am ewo r k s .   T ab le  2   in   th Ap p en d ix   [ 1 8 ] - [ 2 2 ] .   C o m p ar ativ an al y s is   p r esen ted   b elo h ig h lig h ts   th e   o b jectiv es,  d atasets ,   m ajo r   f in d in g s ,   an d   id en tifie d   lim itatio n s   o f   ex is tin g   r esear ch   wo r k s ,   th er eb y   p r o v id in g   a   clea r   u n d er s tan d in g   o f   c u r r e n ad v an ce m en ts   an d   p o ten tial  f u tu r e   r es ea r ch   d i r ec tio n s   in   clo u d   wo r k lo ad   t r ac an a ly s is .       5.   M E T H O DS F O ANA L Y Z I NG   AND  M O D E L I NG   C L UST E T RACE S   co m p r eh en s iv co llectio n   o f   wo r k lo ad   d ata  th at  was  co llected   f r o m   eig h Go o g le  B o r g   co m p u te   clu s ter s   o v er   th m o n th   o f   Ma y   2 0 1 9   is   p r o v i d ed   b y   th Go o g le  clu s ter   wo r k l o ad   t r ac es   2 0 1 9   d ataset,     wh ich   s er v es  as  a   lan d m ar k   to   th d ev elo p m en o f   clo u d   co m p u tin g   r esear ch .   I is   co r n er s to n f o r   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J I n f   &   C o m m u n   T ec h n o l     I SS N:   2252 - 8 7 7 6       A   p ilo t revie w   o f th G o o g le  cl u s ter w o r klo a d   tr a ce   2 0 1 9 ,   me th o d o lo g a n d   its   a lter n a tives    ( A ka s h   P a tel )   1171   u n d er s tan d i n g   t h d y n am ics  o f   lar g e - s ca le  clu s ter   m an ag em en an d   wo r k lo ad   s ch ed u lin g   in s id e   clo u d   en v ir o n m en t,  a n d   th d ataset  o b tain ed   f r o m   Kag g le  is   th e   s o u r ce   o f   th in f o r m ati o n .   Giv en   th at  t h p r o ject  is   p r im ar ily   co n ce r n ed   with   th m an ag em en o f   h ea v y   tr af f ic,   th Go o g le  clu s ter   wo r k l o ad   t r ac es   2 0 1 9   d ataset   h as  em er g ed   as  an   im p o r tan r eso u r ce   th at  ca n   b u tili ze d   f o r   jo b   s u b m is s io n ,   s ch e d u lin g   ch o ices,  an d   r eso u r ce   u tili za tio n   ac r o s s   v ar iety   o f   clu s ter s .   T h p u r p o s o f   th is   co m p o n en is   to   c o n d u ct   an   an aly s is   in   o r d er   t o   ev alu ate   th ef f icac y   an d   o u tco m o f   o u r   alg o r ith m .   co m p ar is o n   o f   th e   m eth o d   with   m o r e   co n v en tio n al  lo a d   b ala n cin g   tech n iq u es,  s u c h   as  least  co n n e ctio n s   an d   least  r esp o n s tim e ,   is   u s ed   to   an aly ze   th ef f ec tiv e n ess   o f   th e   alg o r i t h m .   I n   o r d er   to   d o   th e   co m p ar is o n ,   cr itical  v a r iab les  s u ch   as  r eso u r ce   u s ag e,   laten cy ,   th r o u g h p u t,  an d   er r o r   r ate  wer tak en   i n to   co n s id er atio n .   T h ef f icie n cy   an d   d ep en d ab ilit y   o f     lo ad - b alan cin g   alg o r ith m s   in   r ea l - wo r ld   cir cu m s tan ce s   m ay   b an aly ze d   u s in g   th ese  m ea s u r es,  wh ich   ar ac ce p tab le  f o r   t h p u r p o s e.   T h is   an aly s is   is   ca r r ied   o u b y   d is tr ib u tin g   5 0 0   task s   to   ea ch   o f   th alg o r ith m s ,   b eg in n in g   with   1 0 0   task s   an d   in cr ea s in g   th e   n u m b er   o f   task s   b y   1 0 0   in   ea c h   s u cc es s iv s tag e.   I n   th is ,     th m etr ics  wer watc h ed   an d   k ep clo s ely   in   a   m an n e r   f o r   an aly s is   to   d eter m in wh ich   im p lem en tatio n   h ad   an   ef f ec tiv o u tco m f r o m   all  o f   th em   [ 7 ] .   T h is   r esear ch   an aly ze d   th G o o g le  T r ac Data s et.   T h is   d at aset  is   ex tr em ely   v alu ab le  d u e   to   th f ac th at  it  is   cu r r en tly   b e in g   wo r k ed   o n   b y   lar g n u m b er   o f   a ca d em ics,  an d   th f in d in g s   o f   th is   r esear ch   h av e   th p o ten tial  to   in f lu en ce   th n ex g en er atio n   o f   clo u d   co m p u tin g   an d   d ata  ce n ter s .   Fo u r   p er s p ec tiv es  wer e   u s ed   to   an aly ze   th Go o g le  T r ac to   en h an ce   cl u s ter   p er f o r m an ce .   Me m o r y   af f ec ts   wo r k   p er f o r m an ce   m o r th an   th C PU,  ac co r d i n g   to   o u r   in itial  d ata  r esear ch .   Des p ite  m em o r y   b ein g   th b ar r ie r ,   Go o g le   r ec en tly   u p d ated   s er v er s   with   f u ll  C PUs   to   h av e   f u ll   m em o r y .   B o r g   p er f o r m a n ce   will  im p r o v e   b y   r ed u cin g   R AM   b y   2 5 f r o m   2 2 1 8   f u ll  C PU  an d   m em o r y   s y s tem s   to   1 0 , 1 8 8   with   0 . 5   C PU  an d   0 . 2 4 9 3   m e m o r y .   I ca n   b s ee n   th at  m o r e   r estrictiv p r o f ess io n s   ten d   to   d elay   less   in   th e   s ec o n d   ex p e r im en t,  alth o u g h   t h t h ir d   tr ial   h as g iv en   r esu lts   s h o win g   th at  lo wer - p r io r ity   jo b s   co n t r ib u te  lo t   in   ter m s   o f   r esch ed u lin g   a n d   au g m en clo u d   o v er h ea d ,   wh ich   wer n o ex p ec ted .   I was  p r o p o s ed   to   m in im ize  th tim s p en o n   ea ch   jo b   a n d   let  th e   lo wer - p r io r it y   jo b s   f in is h   f o r   o p tim al  u s o f   r eso u r ce s .   Fin ally ,   it  was  o b s er v ed   th at  th clo u d   m an ag em e n t   s y s tem   p u ts   th m ax im u m   c o n s tr ain ts   to   KI L L E jo b s ,   an d   th is   is   th m ain   o b s er v a tio n   o f   t h is   s tu d y .     I s h o u ld   b e   b r o k en   d o wn   in t o   jo b s   with   s u b task s   in   o r d er   to   m in im ize  th n u m b e r   o f   jo b s   elim in ated   an d   im p r o v p er f o r m an ce   [ 9 ] .   Alth o u g h   G o o g le  cl u s ter   d at a s et  o f   2 0 1 9   h as  b ee n   wid ely   e x p lo r ed ,   th er e   ar s till   m ajo r   o p er atio n al  in s ig h ts   to   b e   m ad e .   I n   th is   p ap er ,   th e   au t h o r s   s u g g est  ar tif icial  in tellig en ce   m o d els  th at  ar r u n   o n   g r ap h ics  p r o ce s s in g   u n its   to   f o r ec ast  th wo r k l o ad   lim itatio n s ,   wh ich   is   o n e   o f   th e   p r im a r y   b o ttlen ec k s   in   cl o u d   en v ir o n m en ts   at  th s ca le.   T h ap p r o ac h   wo u l d   h elp   i n   b etter   p r o v is io n in g   o f   its   r eso u r ce s ,   less en in g   p er f o r m an ce   d eg r a d atio n ,   an d   ex tr ac tin g   m o r v al u o u o f   th e   ex is tin g   clu s ter   t r a ce   in f o r m atio n   b y   an ticip atin g   s u ch   co n s tr ain ts   in   th f u tu r e.   R esear ch   s u g g e s ts   co m b in in g   m ac h in lear n i n g   alg o r ith m s   lik XGBo o s with   h y p er p ar am ete r   tu n in g   ap p r o ac h es  lik s war m - b ased   ar tific ial  b ee   co lo n y   o p tim izatio n   to   s av en er g y   an d   tim e.   Acc u r ate  co n s tr ain n u m b er   f o r ec asti n g   s av es  tim an d   en er g y .   Ou r   r e s ea r ch   en d ea v o r s   to   p u s h   th e   lim its   o f   t h ca p a b ilit y   o f   th is   d ataset,   with   th g o al   o f   d is co v er in g   s ig n if ica n k n o wled g th at  h as  an   in f lu en ce   in   th ac tu al  wo r ld .   Als o ,   th B o r g   s y s tem   s h o u ld   o p tim ize  its   ef f icien cy   b y   an aly zin g   an   o p tio n   th at  d is r eg ar d s   VM s   th at   h av an   u n u s u ally   lo n u m b er   o f   r eso u r ce s eith e r   C PU  o r   R AM .   T h er ef o r e,   t h e   f u tu r r esear ch   a r ea   is   p r o v i d in g   s o p h is ticated   id ea s   to   B o r g   ab o u r eso u r ce   allo ca tio n   te ch n iq u es,  with   th e   aim   to   elim in ate  p o te n tial  b o ttlen ec k   ef f ec ts   s u ch   u n d er - p r o v is io n ed   v ir tu al  m ac h in es  cr ea te.   I is   f u r th e r   h ig h ly   r ec o m m e n d ed   th at  o t h er   m ajo r   clo u d   s er v ice  p r o v id er s   in clu d i n g   Am az o n   W eb   Ser v ices  ( AW S),   Mic r o s o f Azu r e,   an d   Alib ab a   b c o n s id er ed   in   s u b s eq u en t   r esear ch   ef f o r ts .   C o m p ar ativ e   s tu d ies  ac r o s s   th ese   p latf o r m s   ca n   th e r ef o r p r o v id th r esear ch   co m m u n ity   as a   wh o le  with   v alu a b le  f in d in g s   [ 9 ] .   W ith in   th r ea lm   o f   cu r r e n clu s ter   m an ag em en s y s tem s ,   tr ac an aly s is   h as  b ee n   p er f o r m in g   a   s ig n if ican r o le   in   p r o v id in g   an   u n d er s tan d in g   o f   t h b e h a v io r s   th at  t h ey   ex h ib it.   T h is   p ap er   p r esen ts   th e   f in d in g s   o f   o u r   in ter - clu s ter   an aly s is   o f   th e   r ec en tly   d is clo s ed   Go o g le   tr ac 2 0 1 9   d ata  s et.   Ou r   a n aly s is   f o cu s ed   o n   th d is tr ib u tio n   o f   u n d er ly i n g   p h y s ical  m ac h in es ,   s u ch   as  th n u m b e r   o f   m ac h i n es  an d   r eso u r ce s ,   an d   co m p u tatio n al   task   r eq u est  m etr ics,  s u ch   as  wo r k   d u r atio n ,   tim e   u s ed ,   a n d   c y cles  p er   in s tr u ctio n .     T h is   f u r th er   r ev ea l   th at  th e   ce lls   p o s s ess in g   alm o s th s am co m p o s itio n   o f   m ac h in r eso u r ce   co u ld   co n s u m e   th o s r eso u r ce s   in   an   en tire ly   d i f f er e n m an n er   b y   c o n s id er in g   th p atter n   o f   r eq u est  o f   t ask s .   s h ap h as   b ee n   f ig u r ed   o u th r o u g h   an   u n s u p er v is ed   lear n in g   alg o r ith m   f r o m   v ar io u s   clu s ter s s u ch   s h ap es  ap p ea r   to   b e   two   ty p es  -   co n ca v a n d   co n v ex   f o r m s .   I n   ca s o f   th e   co n v ex   s h ap e,   it  wo u ld   b th p r esen ce   o f   co h er en t   s ca le  v ar iatio n   f o r   all  d im en s i o n ,   b u t c o n ca v d e p icts   m is s in g   v ar ian ce   al o n g   with   a n y   d im en s io n .   Pro v id ch a r ac ter izatio n   an aly s is   o f   wo r k lo ad   tr ac th at  was  o b tain ed   o v e r   p e r io d   o f   two   m o n th s   f r o m   p r o d u ctio n   m a ch in e   lear n in g   as  s er v ice  clu s ter   in   Alib ab th at  h ad   m o r th an   6 , 0 0 0   GPUs .   T h ex p lan atio n   o f   clu s ter   s c h ed u lin g   ch allen g es  is   g iv en .   Su ch   is s u es   in clu d lo u tili za tio n   o f   g r ap h ical   p r o ce s s in g   u n its ,   lo n g   tim es  to   wait  in   th q u eu es,   th e x is ten ce   o f   ce r tai n   h ar d - to - s ch ed u le  ap p licatio n s   r eq u ir in g   h ig h - e n d   GPUs   b u h av s p ec if ic  s ch ed u lin g   r e q u ir em en ts   an d   m ay   ca u s i m b alan ce d   lo ad in g   ac r o s s   h eter o g en e o u s   m ac h i n es,  ca u s in g   b o ttlen ec k s   o n   C PUs .   T h ese  cu r r en s o lu tio n s   in clu d s ch ed u ler ,   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8 7 7 6   I n t J I n f   &   C o m m u n   T ec h n o l Vo l.  1 5 ,   No .   3 Sep tem b er   20 2 6 :   1 1 6 7 - 1 1 7 8   1172   wh ich   allo ws  f o r   GPU   s h ar in g   an d   u s es  r eser v in g - an d - p a ck in g   s tr ateg y   in   s ep ar atin g   h ig h - GPU  jo b s   f r o m   lo w - GPU  task s   to   b etter   m an ag th s ch ed u lin g   o f   PAI   wo r k lo ad s .   T h e   o b s er v atio n   is   th at  m o s o f   th jo b s   ar u s u ally   r u n n in g   an d   s ch ed u led   b y   g r o u p s ,   with   less   th an   o n GPU   p er   i n s tan ce .   On ly   v e r y   f ew     b u s in ess - cr itical  jo b s   u s th h ig h - en d   GPUs   in   o n s y s tem   co n n ec ted   v ia  NVL in k s .   T h C PU  s ee m s   to   b b o ttlen ec k   f o r   s u ch   lo GP r eso u r ce   jo b s in   f ac t,  it  also   h o s ts   d ata  p r e - p r o ce s s in g   an d   s im u latio n .     So m p r o b lem s   r em ai n ,   in clu d in g   p o s s ib le  C PU  b o ttlen ec k   an d   lo a d   im b alan ce   f o r   h eter o g en eo u s   d ev ices.   T h tr ac e - th e   m o s d etailed   i n   ter m s   o f   w o r k lo a d s   an d   clu s ter   s ca le - is   p u b lis h ed   to   p r o m o te  f u r t h er   r esear c h   o n   b etter   GPU  s ch ed u lin g   [ 1 7 ] .   W ith in   th s co p o f   th is   r esea r ch ,   co m p r e h en s iv s tr ateg y   f o r   th task   f ailu r d etec tio n   m o d el  is   p r o p o s ed .   Fiv e   tr ad itio n al   m o d els  o f   m ac h in e   lear n in g   a n d   t h r ee   d ee p   lea r n in g   m o d els  we r cr ea ted   u s in g   th e   GC T   d ataset  to   ass e s s   th p er f o r m an ce   o f   t h ese  d if f er e n m o d els  in   jo b   a n d   task   f ailu r p r ed ictio n .   T h b est   m o d el  is   th e   XGBo o s class i f ier ,   wh ich   g iv es  a n   ac c u r ac y   s co r e   o f   9 4 . 3 5 a n d   a n   F - s co r o f   0 . 9 3 1 0   as   o b tain ed   b y   th p er f o r m an ce   an aly s is .   T wo   m o d els  wer f o u n d   at  th e   task   lev el  t h at  ar e   at  ex ce llen le v els.  T h ese  m o d els   ar b a s ed   o n   d ec is io n   tr ee   a n d   r an d o m   f o r es t .   s co r e   o f   8 9 . 7 5 f o r   ac c u r ac y   a n d   s co r e   o f   0 . 9 1 5 4   f o r   th F - s co r h av e   b ee n   ca lcu lated   f o r   b o th   m o d els.  T ak in g   e v er y th i n g   in t o   co n s id er atio n ,   th e   f in d in g s   h a v d em o n s tr ated   t h at  th t r ad itio n al  ML   m o d els   p er f o r m   s ig n if ican tly   b etter   t h an   th DL   m o d els  wh en   it  co m es  to   class if y in g   t h ter m in atio n   s tatu s   o f   jo b s   an d   task s .   Fu r th er m o r e,   ac co r d in g   to   th f i n d in g s   o f   o u r   r esear ch   o f   th s ig n i f ican ce   o f   f ea t u r es,  th s ch ed u lin g   class   an d   th C PU  r eq u est  ar th m o s im p o r tan ch ar ac ter is tics   f o r   T r ad itio n al  ML ,   wh er ea s   th d is k   s p ac r eq u est  an d   th m em o r y   r eq u est  ar th m o s im p o r tan f ea tu r es  f o r   D L   in   ter m s   o f   th p r e d ictio n   o f   task   f ailu r e.   On   th o th er   h an d ,   wh en   it  co m es  to   task - lev el  p r ed ictio n ,   th m o s ess en tial   e lem en f o r   t r ad itio n al  ML   is   r eso u r ce   d em an d s ,   wh er ea s   p r io r ity   is   th m o s cr itical  f ac to r   f o r   D L   m o d els.   I n   co n cl u s io n ,   o u r   s ca lab ilit y   an aly s is   r ev ea led   t h at  T r ad itio n al  ML   m o d els  ar ca p ab le  o f   m ak in g   p r ed ictio n s   in   r ea s o n ab le   am o u n o f   tim e,   d esp i te  th e   f ac th at  th ey   ar im p lem en ted   o n   co n s u m er - lev el  h ar d war [ 1 4 ] .   I n   th f ield   o f   clo u d   co m p u ti n g ,   s ev er al  s tu d ies   h av e   m ad e   u s o f   clu s ter in g   t o   an aly ze   clo u d   tr ac e   d ata  in   o r d er   to   i m p r o v r es o u r ce   m an ag em e n t.  Mu c h   o f   th is   r esear ch   h av b ee n   s u c ce s s f u l.  Du r in g   th clu s ter in g   p r o ce s s ,   th d im en s io n s   an d   t h ap p r o ac h   th at   a r u tili ze d   ca n   h av e   s ig n if i ca n im p ac t   o n   th e   q u ality   o f   th e   clo u d   t r ac es  th at  ar clu s ter ed .   T h p ap er   p r esen ted   two   co n tr ib u tio n s an   in - d ep th   a n aly s is ,   co n s id er in g   th p o s s ib il ity   o f   im p r o v in g   clu s ter in g   q u ality   u s in g   d im en s io n s   th at  ar m o r ef f icien th a n   tr ad itio n al  o n es  an d   p r o ce d u r e s   d if f er en f r o m   th e   u s u al  o n e s   u s ed .   T h ch allen g o f   p r e d ictin g   wh ich   o f   th e   two   elem en ts   wil o cc u r   is   s o m eth in g   th at  h as  n o y et  b ee n   an tici p ated ,   s o   d etec tio n   m eth o d ,   E Fectio n ,   was  in v en ted .   co m p ar is o n   o f   th p er f o r m an ce   o f   t h r ee   in ter n a v alid atio n   m ea s u r es - Dav ies - B o u ld in ,   Sil h o u ette   C o ef f icien t,  an d   C alin s k i Har ab asz was  co n d u cted   to   f i n d   th e   m o s s u itab le   v alid ati o n   m et h o d   f o r   th is   tec h n iq u wh ile  d e v elo p in g   t h E Fectio n   ap p r o ac h .   T h is   m eth o d   allo ws  o n to   f in d   w h ich   d im en s io n   a n d   m eth o d   will  p r o d u ce   th h ig h e s q u ality   clu s ter in g   o f   p ar tic u lar   clo u d   tr ac with o u an   an aly s is   o f   th en tire   d ataset.   I n   d o in g   s o ,   th Dav ies B o u ld en   in d e x   as  well  as  th Pear s o n   co r r elatio n   co ef f icien is   u s ed .   Per f o r m an ce   m etr ics:   I n itially ,   th test ab ilit y   o f   E Fectio n   s ta r ted   with   a   v e r if icatio n   o f   ac c u r ac y   an d   p r ec is io n   to   id en tify   in s tan ce s   o v er   v ar i o u s   co m b in atio n s   o f   attr ib u tes   with   d if f er en m eth o d s .   T h en   its   u ti lity   is   s h o wn   b y   m ak i n g   two   a p p licatio n s   in   r elate d   an aly s is .   co m p ar is o n   with   th m o s r ec en d o cu m en ted   ef f o r ts   in   th e   liter atu r r ev ea led   th at  E Fectio n   was  p o ten tially   ap p licab l in   alm o s 8 3 o f   ca s es  an d   h ad   th h ig h est  ac cu r ac y   p r ef e r e n ce .   A d d itio n ally ,   it  s u r p ass ed   th e   m o s r ec en attem p b y   elev e n   p er ce n t ag p o i n ts   an d   h ad   h ig h er   s tab ilit y   th an   th p r ev io u s   ap p r o ac h   [ 2 3 ] ,   [2 4 ].   Usi n g   th Go o g le  clu s ter   tr ac e   d ata  s et  v er s io n   3 ,   wh ich   was   ac q u ir ed   f r o m   ab o u 9 6 , 0 0 0   c o m p u ter s ,   Failu r s tatis tic s   an d   m ac h in life tim es  o v er   tim wer e   s tu d ied .   I n   less   th an   a   m in u te   f r o m   th e   p r e v io u s   f ailu r o f   th m ac h in e,   it  was  ca lcu lated   th at  1 3 th at  an o t h er   m ac h in o n   th s am n etwo r k   s witch   will  f ail.   Ma r k o v   c h ain   m o d el  was d esig n ed   in   o r d er   to   p r ed ict  wh i ch   m ac h in es a r in   wh ich   s tates a t a n y   tim e.   W ith   th is   m o d el  an d   co m p u ted   p r o b ab ilit y   esti m ates,  v er y   ac cu r ate  p r ed ictio n s   ab o u m ac h in s t atu s   co u ld   b d o n e   f o r   s ev er al  d ay s .   Usi n g   th esti m ated   m ac h in s tates,  th tr en d   o f   th ac tiv m ac h in was  g en er ated   an d   co m p ar ed   to   th tr e n d   p r o v id e d   in   th Go o g le  cl u s ter   wo r k lo ad   tr ac es   d ataset.   T h e   er r o r   o b tain ed   was  1 . 7 6 %.   W ith in   th co m p r ess ed   f o r m a t,  th d ata  s et  v er s io n   3   h as  s ize  o f   2 . 7   ter ab y tes.  T h d ata  co llectio n   was  m ad av ailab le  b y   Go o g le  i n   b o th   th J SON  f o r m at  an d   as  B ig Qu er y   tab les.  R eg ar d in g   J SON,   th s ize  o f   th d ata  co llectio n   is   g r ea ter   th a n   7   ter ab y tes.  W ith   s u ch   l ar g d ata   s et  co m es  a   s et  o f   ch allen g es  th at   ar e   en tire ly   u n iq u e .   T h m ajo r ity   o f   th ch allen g es  th at  ar r el ated   with   th e   J SON  f o r m at  m ay   b r eso lv ed   b y   u s in g   th v er s io n   o f   th d ata  s et  th at  is   h o s ted   o n   Go o g le  B i g Qu er y .   B ig Qu er y   is   q u ite  ex p en s iv e,   b u d u t o   th J SON  f o r m at,   it  ca n   r u n   o n   co m m o d ity   h ar d wa r e.   Fo r   t h is   r esear ch   wo r k ,   t h d ata   s et  was  r etr iev ed   f r o m   th Go o g le  Sto r ag e   b u ck et,   a n d   th e n   it   was  d o wn l o ad ed   c o m p r ess ed   in   J SON  f o r m at.   T o   in cr ea s e   m em o r y   ef f icien cy ,   th e   co m p r ess ed   J SON  was  im p o r ted   in to   th e   Sp ar k   C lu s ter   an d   s av e d   i n   Ap a ch Par q u et  f o r m at   b ec au s u n co m p r ess ed   J SON  o cc u p ies  to o   m u c h   o f   th s y s tem s   m em o r y .   On ly   th e   n e ed ed   d ata  f r o m   th e   Ap ac h Sp ar k   Par q u et  f ile  was  r ea d ,   co n v er ted ,   a n d   s av ed   to   C SV  f ile  f o r   f u r th er   p r o ce s s in g   with     Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J I n f   &   C o m m u n   T ec h n o l     I SS N:   2252 - 8 7 7 6       A   p ilo t revie w   o f th G o o g le  cl u s ter w o r klo a d   tr a ce   2 0 1 9 ,   me th o d o lo g a n d   its   a lter n a tives    ( A ka s h   P a tel )   1173   Py th o n   [ 2 2 ] .   I n   o r d er   to   in cr e ase  th ac cu r ac y   o f   th f o r ec a s t,  First,  p r esen th r ee - way   e n s em b le  d ata  ce n te r   wo r k lo ad   p r ed ictio n .   I was  s tated   th at  wo r k lo ad s   wer co n tin u o u s ,   v ar y in g ,   an d   d ela y s .   T h u s ,   u s in g   th an n ea lin g   s ch em e,   w o r k lo a d - d iv is io n   th r esh o ld in g   was  d is co v er ed .   Su b s eq u en tly ,   b y   m ak in g   a   th r ee - way   d ec is io n   p r in cip le   to   ass ig n   o n o f   th r ee   ty p es  o f   f o r e ca s tin g   m o d els  d ep e n d in g   u p o n   wo r k l o ad   ty p e   an d   p r io r   p r io r er r o r   p r ed ictio n ,   ac c u r ac y   ca n   b im p r o v ed   u p o n .   L astl y ,   T W D - R C PM  en h an ce d   wo r k lo a d   f o r ec ast   ac cu r ac y   b y   6 9 . 0 %,  6 8 . 6 %,  an d   7 2 . 6 wh en   test ed   o n   Go o g le  clu s ter   tr ac e   C PU  lo ad   m o n ito r in g   lo g s   co m p ar ed   to   AR I MA ,   NN,   an d   DM ASVR - 3 W [ 1 2 ] .   T h an aly s is   o f   Go o g le  clu s t er   tr ac e s   n ee d s   to   u tili ze   s o p h is ticated   clu s ter in g   tech n iq u es  th at  ca n   ef f icien tly   o p e r ate  with   h ig h - d im en s io n al  an d   d y n a m ically   ch an g in g   d ata.   I n co r p o r atin g   cu r r en alg o r ith m s   an d   m o d el s ,   r esear ch er s   will  b ab le  to   en h an ce   th ac c u r a cy   an d   in ter p r etab ilit y   o f   th r esu lts   o f   clu s ter in g ,   wh ich   is   n ec ess ar y   to   a n aly ze   d ata  m ea n i n g f u lly .   T r im m ed   an d   s p ar s cl u s ter in g   ar e   au t o m ated   m eth o d s   o f   clu s ter in g   th at  em p h asize  im p o r tan f ea tu r es  an d   d ee m p h a s ize  n o is s o   th at  th p r o ce s s   is   le s s   s en s itiv to   o u tlier s   an d   th p a r am eter s   ar m o r ea s ily   ch o s en   b y   u s er s .   Fra m ewo r k s   s u ch   as  B UR ST,   to o ,   ar tailo r e d   to   s tr ea m in g   tim e - s er ies  d ata,   allo win g   r ea l - tim a n aly s is   th r o u g h   d y n am ically   a d ap tin g   to   c h an g es  an d   esti m atin g   th b est  n u m b er   o f   clu s ter s .   B esid es  ac cu r ac y ,   ex p lain ab ilit y   is   an   im p o r ta n p a r o f   clu s ter in g   a n d   s u ch   to o ls   as  C lu s ter - E x p lo r er   ca n   b u s ed   to   im p r o v in ter p r etab ilit y   b y   d eter m i n in g   p atter n s   an d   ch ar ac ter is tics   th at  ar im p o r tan t   in   clu s ter s   an d   em p l o y   m eth o d s   s u ch   as  f r eq u e n t - item s et  m in in g .   Nev er th eless ,   s o m p r o b lem s   ar s till   p r esen t,  esp ec ial ly   in   th p r o b lem   o f   g u a r an teein g   ea s y   an d   u n d er s tan d a b le  o u tco m es  with   co m p lex   d ata,   s o   m o r r esear ch   is   n ec ess ar y   to   en h an c th ef f ic ien cy   an d   v er s atility   o f   clu s ter in g   ap p r o a ch es [ 2 5 ] - [ 2 8 ].       6.   RE S E ARCH   CH A L L E NG E S IN  CL US T E T RAC E   A NALYS I S   T h er ar s ev er al  ch allen g es in   th Go o g le  clu s ter   wo r k lo ad   tr ac es   d ataset  an d   its   alter n ati v d atasets   n am ely   Alib ab T r ac e,   MS  Azu r T r ac e,   a n d   T e n c en t T r ac e .     E d g clo u d   AI   in f e r en ce   o n   I o T   d ata  p r esen ts   n o v el  ch all en g es.  E d g clo u d s ,   lik co n v en tio n al  clo u d   p latf o r m s ,   will  o p er ate   n u m e r o u s   ten a n ap p s   o n   ea c h   s e r v er .   T h ese  a p p licatio n s   u tili ze   ed g e   s er v er   h ar d war e,   s u ch   as  ac ce ler ato r s .   T r ad itio n al  r eso u r ce s   li k e   C PUs   an d   s er v e r   GPUs   ac ce p v i r tu aliza tio n   f o r   ap p licatio n   m u ltip lex in g ,   wh i le  ed g ac ce ler ato r s   d o   n o t.  Usi n g   DNN  ac ce ler ato r   f o r   s ev er al  ten an ap p licatio n s   m ig h ca u s p e r f o r m a n ce   in ter f er e n ce   o win g   to   lack   o f   is o latio n   m e th o d s ,   s u ch   as  v ir tu aliz atio n .   T h is   ca n   n eg ativ ely   im p ac r esp o n s tim es  f o r   laten cy - s en s itiv I o T   ap p licatio n s .   Dev elo p in g   n o v el  clu s ter   r eso u r ce   m an ag e m en s tr ateg ies   is   n ec ess ar y   to   ef f icien tly   m u ltip lex   s h ar e d   ed g clo u d   r eso u r ce s   f o r   laten cy - s en s itiv ap p licatio n s   [2 3 ] .     Sev e r al  r esear ch er s   f o u n d   th at  an aly zin g   clu s ter   wo r k l o ad   tr ac es   o n   s in g le  p latf o r m   m ig h b e   ch allen g in g   d u to   v ar iab ilit y ,   lim itin g   th ap p licab ilit y   o f   an   ap p r o ac h .   Mo s m icr o s er v ices  in   th e   Alib ab clu s ter   ar m o r s en s itiv to   C PU  th an   m em o r y ,   ac co r d in g   t o   an   an aly s is   o f   Alib ab tr ac e.   Su ch   ex p lo r atio n   is   en co u r a g ed   b y   t r ac cr o s s - p latf o r m   co m p a r is o n   [ 2 5 ].     Alth o u g h   th Go o g le  clu s ter   d ataset  2 0 1 9   h as  b ee n   an al y z ed ,   in s ig h ts   r em ain   u n ex p lo r e d .   Ou r   s o lu tio n   in v o lv es u s in g   AI   an d   GPU  p o wer   to   esti m ate  jo b   lim its ,   s ig n if ican t c h allen g in   clo u d   s y s tem s   [ 9 ] .     T h s ea r ch   f o r   n ew   clu s ter s   was  attem p ted   in   th 2 0 1 9   Go o g le  C lu s ter   d ataset,   m ea s u r ed   at  2 . 4   ter ab y tes,  h u g i n   co m p ar is o n   with   its   p r ed ec ess o r   th at  m ea s u r ed   o n ly   at  4 4   g ig a b y tes.  T h e r ef o r e,   p r o p er   ef f o r h as   to   b p u b eh i n d   tim a n d   r eso u r ce s   to   m an e u v er   t h a m o u n o f   d ata  p r o ce s s ed .   T o   o v er co m th ese  ch allen g es,  G o o g le   c lo u d   to o ca lled   B ig Qu er y   was  u s ed .   I en a b les  co m p lex   s ea r ch es  o n   th e   Go o g le   C lu s ter   d ataset  with o u t h av in g   to   d o wn l o a d   th e n tire   tr ac [ 9 ] .     Go o g le  C lu s ter   tr ac e   is   an   im a g o f   th eir   d ata  ce n ter   o p er atio n s .   As in f r astru ctu r d ev elo p s ,   th is   tr ac m ay   b ec o m o u td ated   an d   lim ited .   W ith o u s tan d ar d s   o r   p r o ce d u r es,  d ec is io n - m ak i n g   m ig h b e   ch allen g in g   to   u n d er s tan d .   Priv ac y   an d   co n f id en tiality   co n ce r n s   m ak e   Go o g le  T r ac e   ch allen g i n g .   I is   ch allen g in g   to   m an ag an d   an aly ze   h u g am o u n ts   o f   d ata  in   lar g e - s ca le  s y s tem s ,   d etec v alu ab le  p atter n s ,   an d   g en e r ate  tr u s two r th y   r esu lts .   Gen er aliza b ilit y   m ay   b r estricte d   b y   Go o g le s   r u l es,  w h ich   m a y   d i f f er   s ig n if ican tl y   f r o m   th o s o f   o th e r   b u s in ess es.  An aly zin g   an d   ca teg o r izin g   th Go o g le  C lu s ter   tr ac e   p r o v id es  v alu ab le  in s ig h ts   in to   m an ag in g   lar g e - s ca le  d is tr ib u ted   s y s tem s ,   s u ch   as c lo u d   co m p u tin g   a n d   d ata  c en ter s   [ 1 0 ] .     R esear ch er s   wan t   to   u s e   u n s u p er v is ed   lear n in g   tech n iq u es  to   an aly ze   wo r k   ca teg o r ies.  ch allen g ar is es  wh en   d ea lin g   with   m illi o n s   o f   m u lti - d im en s io n al  d ata  item s .   Du to   th cu r s o f   d im en s io n ality ,   with   lar g er   d ata  s ets,  ea ch   d im en s i o n   g r ea tly   i n cr ea s es  p r o ce s s in g   co s ts .   Ad d itio n ally ,   d ata  wit h   s ev er e   o u tlier s   an d   h ea v y   b ias  m ig h b ias  t h clu s ter in g   alg o r ith m .   T h e s ch allen g es  ar o v er co m e   b y   r e d u cin g   th m etr ics  to   th r ee   b ased   o n   th o u tco m e   o f   co r r elatio n   an aly s is .   Oth er   s tr ateg ies  in clu d s c alin g   o f   o u tlier s   u s in g   B o x - C o x   tr an s f o r m atio n   an d   ce n ter i n g   th d ata  b y   s tan d ar d   s ca ler   wh ich   also   elim in ates  s tan d ar d   d ev iatio n   [ 1 3 ].   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8 7 7 6   I n t J I n f   &   C o m m u n   T ec h n o l Vo l.  1 5 ,   No .   3 Sep tem b er   20 2 6 :   1 1 6 7 - 1 1 7 8   1174     Ou r   s ch ed u ler   p o licy   d esig n   h as  ch allen g es,  m a n y   o f   w h ich   ar y et  u n ad d r ess ed .   N ex t,  s o m o p en   ch allen g es  th at  m ay   ar is in   GPU  clu s ter s   with   h e ter o g en eo u s   m ac h in es  ar g o i n g   to   b d ea lt     with m is m atch ed   s p ec if icat io n s   an d   r eq u est  f o r   in s ta n ce s ,   o v er cr o w d in g   lo w - p e r f o r m an ce   GPU  co m p u ter s ,   a n d   im b ala n ce d   lo ad s   in   h ig h - en d   m ac h in es [ 1 7 ].     T h is   ch allen g h elp s   clo u d   s er v ice  co m p an ies  s av ex p en s es.  T h s u s tain ab le  d ev elo p m en t   g o als  ar also   s u p p o r ted .   T o   tr ain   th is   m o d e l,  co n s id er   u s in g   alter n ativ d atasets .   T r an s f er   lear n in g   tech n iq u es  m ay   b e   u s ed   to   cr ea te  h i g h - q u ality   p r e d ictio n   m o d els f o r   clo u d   r eso u r ce   m an ag em e n t   [ 1 4 ] .     Stra g g ler   task s ,   wh ich   ar s o m etim es  r elate d   to   th lo n g   tail  p r o b lem ,   is   s till   b u r n in g   is s u in   clu s ter   co m p u tin g   s in ce   o n ly   f ew  s l o r u n n in g   task s   ca n   g r ea tly   p o s tp o n th ex ec u tio n   o f   wh o le  jo b .   T h ese   s tr ag g ler s   h av ad v e r s ef f ec ts   o n   th p er f o r m an ce   an d   r e s o u r c ef f icien cy   o f   th s y s tem   as  wh o le.   C o n s eq u en tly ,   p r o p er   i d en tifi ca tio n   an d   co n tr o l   o f   s u ch   ac tiv ities   ar cr itical,   an d   s u p er io r   f r a m ewo r k s   an d   s tr ateg ies  ar e   n ec ess ar y   t o   m ax im ize   r eso u r ce   allo ca tio n   an d   en h an ce   t h ef f icien cy   o f   th e   s y s tem   in   g en er al   [2 9 ].       7.   CO NCLU SI O N   T h s u r v ey   h as  ex am in ed   Go o g le  clu s ter   wo r k lo a d   tr ac e   d atasets   o f   2 0 1 1   an d   2 0 1 9 ,   an d   th o th er   d ata  s ets  in clu d in g   t h Alib ab a,   MS  Azu r a n d   T e n ce n clu s ter   tr ac e s .   I co m p ar es  th 2 0 1 9   Go o g le  tr ac t o   b lar g er ,   m o r v a r ied ,   an d   cl o s er   to   th m o d e r n   p r o d u ctio n   wo r k lo ad s   co m p ar ed   t o   th 2 0 1 1   tr ac e,   with   th e   alter n ativ d atasets   o f f er in g   s u p p lem en tar y   in s ig h ts   o f   co - l o ca ted   wo r k lo a d s ,   clo u d   o p er atio n s ,   an d   lar g e - s ca le  s ch ed u lin g   b eh av i o r .   N ev er th eless ,   th er ar n u m b er   o f   g ap s   in   r esear c h   in   th liter atu r e.   T o   b eg i n   with ,   th m ajo r ity   o f   th cu r r en s tu d ies  ar d ed icate d   to   o n d ataset,   an d   th er is   n o   co m m o n l y   ad o p ted   cr o s s - tr ac b en c h m ar k i n g   f r a m ewo r k   t o   ass ess   th wo r k lo ad   an aly s is   tech n i q u es  in   v ar io u s   clo u d   s ettin g s .   Seco n d ,   p r ep r o c ess in g   c o n v e n tio n s ,   s ch em m ap p in g ,   an d   tr ac f ilter in g   v ar y   s ig n i f ican tly   b etwe en   d atasets   r estrictin g   r ep r o d u cib ilit y   an d   d ir ec co m p ar is o n .   T h ir d ,   th e   tem p o r al  v ar iatio n s   in   th n a tu r o f   wo r k lo ad s ,   s ch ed u le  p atter n s   a n d   r eso u r ce   co n s u m p ti o n   ar e   n o y et   ad eq u ately   i n v esti g ated ,   p ar ti cu lar ly   b etwe en   th e   2 0 1 1   an d   2 0 1 9   Go o g le  tr a ce s .   L astl y ,   f u tu r s tu d ies  o u g h t o   f o c u s   o n   tr a n s f er a b ilit y ,   s tan d ar d ized   m ea s u r em en ts   an d   s tan d ar d i ze d   ev alu atio n   p r o ce d u r es  to   en s u r th at  tr ac e - b ased   m o d els  ca n   b test ed   ef f ic ien tly   u s in g   h eter o g e n eo u s   p r o d u ctio n   d atasets .   Ov er all,   clu s ter   tr ac e   d atasets   co n tin u t o   b e   cr u cial   in   co m p r eh en d in g   clo u d   w o r k lo a d   b e h av io r ,   y et  th d is cip lin s till   lack s   s tan d ar d ized   p r ac tices  in   a n aly s is   an d   v ali d atio n   ac r o s s   d atasets .   T h f ill - in   o f   th ese   g ap s   will  en s u r th at  f u tu r t r ac e - b ased   s ch ed u lin g ,   p r ed ic tio n ,   an d   r eso u r ce - m an a g em e n s tu d ies  b ec o m e   m o r g e n er aliza b le  an d   u s ef u in   p r ac tice.       F UNDING   I NF O R M A T I O N   Au th o r s   s tate  n o   f u n d in g   in v o lv ed .       AUTHO CO NT RI B UT I O NS ST A T E M E N T   T h is   jo u r n al  u s es  th C o n tr ib u to r   R o les  T ax o n o m y   ( C R ed iT)   to   r ec o g n ize  in d iv id u al  au th o r   co n tr ib u tio n s ,   r ed u ce   au th o r s h ip   d is p u tes,  an d   f ac ilit ate  co llab o r atio n .     Na m o f   Aut ho r   C   M   So   Va   Fo   I   R   D   O   E   Vi   Su   P   Fu   Ak ash   Patel                               Am it Na y ak                               Kh u s h i Pate l                               An an d   Patel                                 C     C o n c e p t u a l i z a t i o n   M     M e t h o d o l o g y   So     So f t w a r e   Va     Va l i d a t i o n   Fo     Fo r ma l   a n a l y si s   I     I n v e st i g a t i o n   R     R e so u r c e s   D   :   D a t a   C u r a t i o n   O   :   W r i t i n g   -   O r i g i n a l   D r a f t   E   :   W r i t i n g   -   R e v i e w   E d i t i n g   Vi     Vi s u a l i z a t i o n   Su     Su p e r v i si o n   P     P r o j e c t   a d m i n i st r a t i o n   Fu     Fu n d i n g   a c q u i s i t i o n         CO NF L I C T   O F   I N T E R E S T   ST A T E M E NT     T h au th o r s   d ec lar n o   co n f lict o f   in ter est.     Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J I n f   &   C o m m u n   T ec h n o l     I SS N:   2252 - 8 7 7 6       A   p ilo t revie w   o f th G o o g le  cl u s ter w o r klo a d   tr a ce   2 0 1 9 ,   me th o d o lo g a n d   its   a lter n a tives    ( A ka s h   P a tel )   1175   DATA AV AI L AB I L I T Y   Data   g en er ated   an d   an aly ze d   d u r in g   th is   s tu d y   ar a v ailab le  f r o m   t h co r r esp o n d i n g   a u th o r   u p o n   r ea s o n ab le  r eq u est.  T h d ata ,   wh ich   co n tain   in f o r m atio n   t h at  co u ld   c o m p r o m is th p r iv ac y   o f   r esear ch   p ar ticip an ts ,   ar n o p u b licl y   av ailab le  d u to   ce r tain   r estrictio n s .   R eq u ests   s h o u ld   b d ir ec ted   to   th e   co r r esp o n d in g   a u th o r co n tac t d etails.       RE F E R E NC E S   [ 1 ]   F .   H .   B a p p y ,   T.   I sl a m ,   T .   S .   Za m a n ,   R .   H a s a n ,   a n d   C .   C a i c e d o ,   d e e p   d i v e   i n t o   t h e   g o o g l e   c l u st e r   w o r k l o a d   t r a c e s :   a n a l y z i n g   t h e   a p p l i c a t i o n   f a i l u r e   c h a r a c t e r i s t i c a n d   u ser   b e h a v i o r s,   i n   Pro c e e d i n g s   -   2 0 2 3   I n t e r n a t i o n a l   C o n f e r e n c e   o n   F u t u re   I n t e r n e t   o f   T h i n g s   a n d   C l o u d ,   F i C l o u d   2 0 2 3 ,   I EE E,   A u g .   2 0 2 3 ,   p p .   1 0 3 1 0 8 .   d o i :   1 0 . 1 1 0 9 / F i C l o u d 5 8 6 4 8 . 2 0 2 3 . 0 0 0 2 3 .   [ 2 ]   G o o g l e ,   G o o g l e   c l u s t e r   w o r k l o a d   t r a c e s   2 0 1 9 .   A c c e ss e d :   M a y   2 0 ,   2 0 2 6 .   [ O n l i n e ] .   A v a i l a b l e :   h t t p s : / / r e se a r c h . g o o g l e / r e s o u r c e s / d a t a set s/ g o o g l e - c l u s t e r - w o r k l o a d - t r a c e s - 2 0 1 9 /   [ 3 ]   G o o g l e   c l u st e r   d a t a   2 0 1 1 ,   G o o g l e .   A c c e ss e d :   M a y   2 0 ,   2 0 2 6 .   [ O n l i n e ] .   A v a i l a b l e :   h t t p s: / / r e sea r c h . g o o g l e / t o o l s/ d a t a se t s/ c l u s t e r - w o r k l o a d - t r a c e s/   [ 4 ]   N .   D e z h a b a d ,   S .   G a n t i ,   a n d   G .   S h o j a ,   C l o u d   w o r k l o a d   c h a r a c t e r i z a t i o n   a n d   p r o f i l i n g   f o r   r e s o u r c e   a l l o c a t i o n ,   i n   Pr o c e e d i n g   o f   t h e   2 0 1 9   I EEE   8 t h   I n t e r n a t i o n a l   C o n f e r e n c e   o n   C l o u d   N e t w o rk i n g ,   C l o u d N e t   2 0 1 9 ,   I EEE,   N o v .   2 0 1 9 ,   p p .   1 4 ,     d o i :   1 0 . 1 1 0 9 / C l o u d N e t 4 7 6 0 4 . 2 0 1 9 . 9 0 6 4 1 3 8 .   [ 5 ]   A l i b a b a ,   C l u s t e r   d a t a   c o l l e c t e d   f r o m   p r o d u c t i o n   c l u s t e r s   i n   A l i b a b a   f o r   c l u st e r   m a n a g e me n t   r e sea r c h .   A c c e sse d :   M a y   2 0 ,   2 0 2 6 .   [ O n l i n e ] .   A v a i l a b l e :   h t t p s: / / g i t h u b . c o m/ a l i b a b a / c l u s t e r d a t a   [ 6 ]   H .   B o mm a l a ,   V .   U ma   M a h e sw a r i ,   R .   A l u v a l u ,   a n d   S .   M u d r a k o l a ,   M a c h i n e   l e a r n i n g   j o b   f a i l u r e   a n a l y s i a n d   p r e d i c t i o n     mo d e l   f o r   t h e   c l o u d   e n v i r o n men t ,   H i g h - C o n f i d e n c e   C o m p u t i n g ,   v o l .   3 ,   n o .   4 ,   p .   1 0 0 1 6 5 ,   D e c .   2 0 2 3 ,     d o i :   1 0 . 1 0 1 6 / j . h c c . 2 0 2 3 . 1 0 0 1 6 5 .   [ 7 ]   V .   E .   J y o t h i ,   S .   A l u g o j u ,   K .   I n d r a j a ,   N .   S .   C h o w d a r y ,   A .   M a d h u r i ,   a n d   S .   S i n d h u r a ,   A d a p t i v e   c l o u d   l o a d     b a l a n c i n g   w i t h   r e i n f o r c e m e n t   l e a r n i n g :   l e v e r a g i n g   g o o g l e   c l u s t e r   d a t a ,   i n   5 t h   I n t e r n a t i o n a l   C o n f e re n c e   o n   El e c t r o n i c a n d   S u s t a i n a b l e   C o m m u n i c a t i o n   S y s t e m s,   I C E S C   2 0 2 4   -   Pro c e e d i n g s ,   I EEE,   A u g .   2 0 2 4 ,   p p .   5 7 2 579 ,     d o i :   1 0 . 1 1 0 9 / I C ESC 6 0 8 5 2 . 2 0 2 4 . 1 0 6 8 9 9 7 3 .   [ 8 ]   M .   Y i l d i z   a n d   A .   B a i o c c h i ,   D a t a - d r i v e n   w o r k l o a d   g e n e r a t i o n   b a s e d   o n   g o o g l e   d a t a   c e n t e r   me a su r e me n t s ,   i n   I EEE  I n t e rn a t i o n a l   C o n f e re n c e   o n   H i g h   Pe r f o rm a n c e   S w i t c h i n g   a n d   R o u t i n g ,   H PS R ,   I EEE,   J u l .   2 0 2 4 ,   p p .   1 4 3 148 ,     d o i :   1 0 . 1 1 0 9 / H P S R 6 2 4 4 0 . 2 0 2 4 . 1 0 6 3 5 9 2 5 .   [ 9 ]   D .   S h a h mi r z a d i ,   N .   K h a l e d i a n ,   a n d   A .   M .   R a h ma n i ,   A n a l y z i n g   t h e   i m p a c t   o f   v a r i o u s p a r a me t e r s o n   j o b   sc h e d u l i n g   i n   t h e   G o o g l e   c l u st e r   d a t a se t ,   C l u s t e r   C o m p u t i n g ,   v o l .   2 7 ,   n o .   6 ,   p p .   7 6 7 3 7 6 8 7 ,   S e p .   2 0 2 4 ,   d o i :   1 0 . 1 0 0 7 / s1 0 5 8 6 - 0 2 4 - 0 4 3 7 7 - 8.   [ 1 0 ]   S .   Jo ma h   a n d   S .   A j i ,   G o o g l e   c l o u d   t r a c e :   c h a r a c t e r i z a t i o n   o f   t e r mi n a t e d   j o b s,   i n   Pro c e e d i n g -   2 n d   I n t e r n a t i o n a l   C o n f e re n c e   o n   Ad v a n c e m e n t   i n   C o m p u t a t i o n   a n d   C o m p u t e T e c h n o l o g i e s ,   I n C AC C T   2 0 2 4 ,   I EEE,   M a y   2 0 2 4 ,   p p .   5 1 7 5 2 2 ,     d o i :   1 0 . 1 1 0 9 / I n C A C C T6 1 5 9 8 . 2 0 2 4 . 1 0 5 5 1 1 4 6 .   [ 1 1 ]   S .   G u p t a   a n d   A .   D .   D i l e e p ,   Lo n g   r a n g e   d e p e n d e n c e   i n   c l o u d   ser v e r s :   a   st a t i s t i c a l   a n a l y si b a se d   o n   G o o g l e   w o r k l o a d   t r a c e ,   C o m p u t i n g ,   v o l .   1 0 2 ,   n o .   4 ,   p p .   1 0 3 1 1 0 4 9 ,   A p r .   2 0 2 0 ,   d o i :   1 0 . 1 0 0 7 / s 0 0 6 0 7 - 0 1 9 - 0 0 7 7 9 - 4.   [ 1 2 ]   Y .   Li n ,   A .   B a r k e r ,   a n d   S .   C e e s a y ,   E x p l o r i n g   c h a r a c t e r i st i c o f   i n t e r - c l u s t e r   mac h i n e a n d   c l o u d   a p p l i c a t i o n s   o n   G o o g l e   C l u st e r s,   i n   Pr o c e e d i n g s   -   2 0 2 0   I EEE   I n t e r n a t i o n a l   C o n f e re n c e   o n   Bi g   D a t a ,   Bi g   D a t a   2 0 2 0 ,   I EEE,   D e c .   2 0 2 0 ,   p p .   2 7 8 5 2 7 9 4 ,     d o i :   1 0 . 1 1 0 9 / B i g D a t a 5 0 0 2 2 . 2 0 2 0 . 9 3 7 7 8 0 2 .   [ 1 3 ]   Q .   W e n g   e t   a l . M La a S   i n   t h e   w i l d :   w o r k l o a d   a n a l y s i a n d   sc h e d u l i n g   i n   l a r g e - s c a l e   h e t e r o g e n e o u G P U   c l u st e r s,   Pr o c e e d i n g s   o f   t h e   1 9 t h   U S EN I S y m p o s i u m   o n   N e t w o r k e d   S y s t e m s De si g n   a n d   I m p l e m e n t a t i o n ,   N S D I   2 0 2 2 ,   p p .   9 4 5 9 6 0 ,   2 0 2 2 .   [ 1 4 ]   T.   N .   T .   A sm a w i ,   A .   I smai l ,   a n d   J.  S h e n ,   C l o u d   f a i l u r e   p r e d i c t i o n   b a se d   o n   t r a d i t i o n a l   m a c h i n e   l e a r n i n g   a n d   d e e p   l e a r n i n g ,   J o u rn a l   o f   C l o u d   C o m p u t i n g ,   v o l .   1 1 ,   n o .   1 ,   p .   4 7 ,   S e p .   2 0 2 2 ,   d o i :   1 0 . 1 1 8 6 / s 1 3 6 7 7 - 0 2 2 - 0 0 3 2 7 - 0.   [ 1 5 ]   S .   M .   A l i   a n d   G .   K e c sk e me t i ,   EF e c t i o n :   e f f e c t i v e n e ss  d e t e c t i o n   t e c h n i q u e   f o r   c l u st e r i n g   c l o u d   w o r k l o a d   t r a c e s,   I n t e r n a t i o n a l   J o u rn a l   o f   C o m p u t a t i o n a l   I n t e l l i g e n c e   S y st e m s v o l .   1 7 ,   n o .   1 ,   p .   2 0 2 ,   A u g .   2 0 2 4 ,   d o i :   1 0 . 1 0 0 7 / s 4 4 1 9 6 - 0 2 4 - 0 0 6 1 8 - 1.   [ 1 6 ]   A .   U mer,   A .   N .   M i a n ,   a n d   O .   R a n a ,   P r e d i c t i n g   m a c h i n e   b e h a v i o r   f r o m   G o o g l e   c l u st e r   w o r k l o a d   t r a c e s ,   C o n c u r re n c y   a n d   C o m p u t a t i o n :   Pr a c t i c e   a n d   Ex p e ri e n c e ,   v o l .   3 5 ,   n o .   5 ,   F e b .   2 0 2 3 ,   d o i :   1 0 . 1 0 0 2 / c p e . 7 5 5 9 .   [ 1 7 ]   R .   S h i   a n d   C .   Ji a n g ,   T h r e e - w a y   e n s e mb l e   p r e d i c t i o n   f o r   w o r k l o a d   i n   t h e   d a t a   c e n t e r ,   I EEE  A c c e ss ,   v o l .   1 0 ,   p p .   1 0 0 2 1 1 0 0 3 0 ,   2 0 2 2 ,   d o i :   1 0 . 1 1 0 9 / A C C ESS . 2 0 2 2 . 3 1 4 5 4 2 6 .   [ 1 8 ]   Y .   Li a n g ,   N .   R u a n ,   L.   Y i ,   a n d   X .   S u ,   A n   a p p r o a c h   t o   w o r k l o a d   g e n e r a t i o n   f o r   mo d e r n   d a t a   c e n t e r s :   a   v i e w   f r o m   A l i b a b a   t r a c e ,   Be n c h C o u n c i l   T r a n sa c t i o n o n   B e n c h m a r k s,  S t a n d a r d a n d   Ev a l u a t i o n s ,   v o l .   4 ,   n o .   1 ,   p .   1 0 0 1 6 4 ,   M a r .   2 0 2 4 ,   d o i :   1 0 . 1 0 1 6 / j . t b e n c h . 2 0 2 4 . 1 0 0 1 6 4 .   [ 1 9 ]   C .   K a t sa k i o r i s ,   C .   A l v e r t i ,   K .   N i k a s,   D .   S i a k a v a r a s ,   S .   P s o ma d a k i s ,   a n d   N .   K o z i r i s,  F a a S R a i l :   e m p l o y i n g   r e a l   w o r k l o a d t o   g e n e r a t e   r e p r e se n t a t i v e   l o a d   f o r   serv e r l e ss   r e se a r c h,   i n   H PD C   2 0 2 4   -   P ro c e e d i n g s   o f   t h e   3 3 rd   I n t e r n a t i o n a l   S y m p o si u m   o n     H i g h - Pe r f o rm a n c e   Pa r a l l e l   a n d   D i st ri b u t e d   C o m p u t i n g ,   N e w   Y o r k ,   N Y ,   U S A :   A C M ,   J u n .   2 0 2 4 ,   p p .   2 1 4 226 ,     d o i :   1 0 . 1 1 4 5 / 3 6 2 5 5 4 9 . 3 6 5 8 6 8 4 .   [ 2 0 ]   J.  Li ,   Q .   W a n g ,   P .   P .   C .   Le e ,   a n d   C .   S h i ,   A n   in - d e p t h   c o m p a r a t i v e   a n a l y s i o f   c l o u d   b l o c k   s t o r a g e   w o r k l o a d s:   f i n d i n g a n d   i mp l i c a t i o n s ,   AC T r a n s a c t i o n o n   S t o r a g e v o l .   1 9 ,   n o .   2 ,   p p .   1 3 2 ,   M a y   2 0 2 3 ,   d o i :   1 0 . 1 1 4 5 / 3 5 7 2 7 7 9 .   [ 2 1 ]   C .   Ji a n g ,   G .   H a n ,   J.   L i n ,   G .   Ji a ,   W .   S h i ,   a n d   J.   W a n ,   C h a r a c t e r i st i c s   o f   C o - a l l o c a t e d   o n l i n e   s e r v i c e a n d   b a t c h   j o b s   i n   i n t e r n e t   d a t a   c e n t e r s :   a   c a se   st u d y   f r o m   A l i b a b a   c l o u d ,   I E E Ac c e ss ,   v o l .   7 ,   p p .   2 2 4 9 5 2 2 5 0 8 ,   2 0 1 9 ,     d o i :   1 0 . 1 1 0 9 / A C C ESS . 2 0 1 9 . 2 8 9 7 8 9 8 .   [ 2 2 ]   Q .   W a n g ,   Y .   Ti a n ,   X .   Y u ,   L.   D i n g ,   a n d   X .   Z h a n g ,   W h e r e   i s   t h e   Tr a f f i c   G o i n g ?   A   c o mp a r a t i v e   s t u d y   o f   c l o u d f o l l o w i n g   d i f f e r e n t   d e s i g n s,   I EE T r a n s a c t i o n o n   S e rv i c e C o m p u t i n g ,   v o l .   1 6 ,   n o .   2 ,   p p .   1 4 7 3 1 4 8 4 ,   M a r .   2 0 2 3 ,     d o i :   1 0 . 1 1 0 9 / TSC. 2 0 2 2 . 3 1 8 2 0 4 7 .   [ 2 3 ]   Q .   Li a n g ,   W .   A .   H a n a f y ,   A .   A l i - E l d i n ,   a n d   P .   S h e n o y ,   M o d e l - d r i v e n   c l u st e r   r e s o u r c e   ma n a g e m e n t   f o r   A I   w o r k l o a d s   i n     e d g e   c l o u d s,   A C M   T ra n s a c t i o n s   o n   Au t o n o m o u s   a n d   Ad a p t i v e   S y s t e m s ,   v o l .   1 8 ,   n o .   1 ,   p p .   1 2 6 ,   M a r .   2 0 2 3 ,     d o i :   1 0 . 1 1 4 5 / 3 5 8 2 0 8 0 .   [ 2 4 ]   L.   R u a n ,   X .   X u ,   L.   X i a o ,   L .   R e n ,   N .   M i n - A l l a h ,   a n d   Y .   X u e ,   E v a l u a t i n g   p e r f o r m a n c e   v a r i a t i o n c r o ss  c l o u d   d a t a   c e n t r e u si n g   mu l t i v i e w   c o m p a r a t i v e   w o r k l o a d   t r a c e s   a n a l y s i s,   C o n n e c t i o n   S c i e n c e ,   v o l .   3 4 ,   n o .   1 ,   p p .   1 5 8 2 1 6 0 8 ,   D e c .   2 0 2 2 ,   d o i :   1 0 . 1 0 8 0 / 0 9 5 4 0 0 9 1 . 2 0 2 1 . 2 0 1 5 2 8 9 .   [ 2 5 ]   L.   S l i w k o ,   C l u s t e r   w o r k l o a d   a l l o c a t i o n :   a   p r e d i c t i v e   a p p r o a c h   l e v e r a g i n g   mac h i n e   l e a r n i n g   e f f i c i e n c y ,   I EE Ac c e ss ,   v o l .   1 2 ,     p p .   1 9 4 0 9 1 1 9 4 1 0 7 ,   2 0 2 4 ,   d o i :   1 0 . 1 1 0 9 / A C C ESS . 2 0 2 4 . 3 5 2 0 4 2 2 .   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8 7 7 6   I n t J I n f   &   C o m m u n   T ec h n o l Vo l.  1 5 ,   No .   3 Sep tem b er   20 2 6 :   1 1 6 7 - 1 1 7 8   1176   [2 6 ]   S .   O f e k   a n d   A .   S o me c h ,   E x p l a i n i n g   b l a c k - b o x   c l u st e r i n g   p i p e l i n e s   w i t h   c l u st e r - e x p l o r e r ,   Pro c e e d i n g s   o f   t h e   V L D E n d o w m e n t v o l .   1 8 ,   n o .   5 ,   p p .   1 4 9 5 1 5 0 8 ,   J a n .   2 0 2 5 ,   d o i :   1 0 . 1 4 7 7 8 / 3 7 1 8 0 5 7 . 3 7 1 8 0 7 5 .   [ 2 7 ]   A .   G i a n n o u l i d i s,  A .   G o u n a r i s,  a n d   J.  P a p a r r i z o s,  B U R S T:   r e n d e r i n g   c l u s t e r i n g   t e c h n i q u e su i t a b l e   f o r   e v o l v i n g   st r e a ms,   Pro c e e d i n g o f   t h e   VLD E n d o w m e n t ,   v o l .   1 8 ,   n o .   1 1 ,   p p .   4 0 5 4 4 0 6 3 ,   Ju l .   2 0 2 5 ,   d o i :   1 0 . 1 4 7 7 8 / 3 7 4 9 6 4 6 . 3 7 4 9 6 7 5 .   [ 2 8 ]   J.  A .   B e r n a b é - D í a z ,   M .   F r a n c o ,   J.  M .   V i v o ,   a n d   J.  T .   F e r n á n d e z - B r e i s,   O p t i mi z i n g   c l u s t e r i n g - b a se d   a n a l y t i c a l   me t h o d w i t h   t r i mm e d   a n d   s p a r se  c l u st e r i n g ,   C o m p u t e rs  i n   Bi o l o g y   a n d   M e d i c i n e ,   v o l .   1 9 4 ,   p .   1 1 0 4 3 6 ,   A u g .   2 0 2 5 ,   d o i :   1 0 . 1 0 1 6 / j . c o mp b i o m e d . 2 0 2 5 . 1 1 0 4 3 6 .   [ 2 9 ]   T.   L e   D u c ,   C.   N g u y e n ,   a n d   P . - O .   Ö st b e r g ,   E n e r g y - a w a r e   st r a g g l e r   t a s k   m a n a g e me n t   f r a m e w o r k   f o r   s u st a i n a b l e   c l o u d   e n v i r o n m e n t ,   A u t h o re a   Pre p ri n t s ,   2 0 2 4 ,   d o i :   1 0 . 3 6 2 2 7 / t e c h r x i v . 1 7 3 3 9 8 0 6 9 . 9 8 8 5 2 3 3 2 / v .       AP P E NDI X       T ab le  2 .   C o m p a r ativ an aly s is   R e f e r e n c e   a n d   p u b l i c a t i o n   w i t h   y e a r   O b j e c t i v e o f   t h e   r e s e a r c h   C l u st e r   t r a c e   d a t a se t   u se d   F i n d i n g o f   t h e   r e se a r c h   Li mi t a t i o n s/ f u t u r e   w o r k   [ 1 8 ]   El se v i e r ,   2 0 2 4   To   p r o v i d e   S TWG EN ,   a   u n i q u e   a p p r o a c h   t h a t   u s e s   st a t i st i c a l   t r a c e   d a t a   t o   g e n e r a t e   w o r k l o a d ,   t o   so l v e   t h i s   c h a l l e n g e .   A l i b a b a   Tr a c e   2 0 1 8   S TWG EN   a c c u r a t e l y   s i mu l a t e b a t c h   t a s k   r e s o u r c e   u t i l i z a t i o n   b y   i n t e g r a t i n g   t a s k - l e v e l   d a t a   w i t h   ma c h i n e - l e v e l   c h a l l e n g e s.  Ex t e n si v e   e x p e r i m e n t c o n f i r t h e   su p e r i o r i t y   o f   t h e   S TWG EN   me t h o d   o v e r   e x i st i n g   b a s e l i n e s.   Th e   s c o p e   o f   o u r   r e se a r c h   w i l l   b e   e x p a n d e d   i n   t h e   f u t u r e   t o   a c c o u n t   f o r   w o r k   d e p e n d e n c i e s   i n   w o r k f o r c e   d e v e l o p me n t .   [ 1 9 ]   A C M ,   2 0 2 4   Th i s   r e se a r c h   a i ms  t o   f i l l   t h e   g a p   b y   c r e a t i n g   a   met h o d   f o r   f i t t i n g   o p e n - so u r c e   w o r k l o a d s   f r o m   F a a S   b e n c h m a r k i n g   s u i t e s   t o   o p e r a t i o n a l   F a a S   w o r k l o a d   t r a c e w h i l e   p r e ser v i n g   t h e i r   e sse n t i a l   st a t i st i c a l   a s p e c t s.   M S   A z u r e   Tr a c e   I t   a n a l y s e t h e   e x e c u t i o n   mo d e s   o f   F a a R a i l   a n d   c o m p a r e s   l o a d   r e p r e s e n t a t i v i t y   w i t h   A z u r e   F u n c t i o n s,  H u a w e i p r o d u c t i o n - sca l e   t r a c e s,  a n d   e x i st i n g   s e r v e r l e ss   l i t e r a t u r e .   F a a S R a i l   c u r r e n t l y   d o e s   n o t   mo d i f y   f u n c t i o n   i n p u t s ,   r e su l t i n g   i n   c o n s i st e n t   e x p e c t e d   e x e c u t i o n   t i mes.   E x p e r i m e n t i n g   w i t h   d i f f e r e n t   i n p u t i a   p o t e n t i a l   n e x t   st e p .     N o t   a l l   e x p e r i m e n t s   b e n e f i t   f r o sc a l i n g   t h e   i n p u t   t r a c e   o v e r   t i m e .   E x p e r i me n t s   a n a l y z i n g   sa n d b o x   c a c h i n g   st r a t e g i e o r   p r e d i c t i v e   p r e a l l o c a t i o n   o p t i mi z a t i o n s ma y   b e n e f i t   f r o F a a S R a i l M i n u t e   R a n g e   m o d e ,   w h i c h   d o e n o t   sca l e   r e q u e s t   o v e r   t i me .   [ 2 0 ]   A C M ,   2 0 2 3   Th e   r e s e a r c h   b e l o w   c o m p a r e o p e r a t i o n a l   c l o u d   b l o c k   st o r a g e   w o r k l o a d s   u si n g   b l o c k - l e v e l   I / O   t r a c e s   f r o m   A l i b a b a   C l o u d   a n d   Te n c e n t   C l o u d   B l o c k   S t o r a g e ,   a n a l y z i n g   b i l l i o n s   o f   r e q u e st s .   A l i b a b a   C l o u d   &   Te n c e n t   C l o u d   B l o c k   S t o r a g e   C l o u d   b l o c k   st o r a g e   w o r k l o a d a n d   p r o m i n e n t   p u b l i c   b l o c k - l e v e l   I / O   w o r k l o a d f r o c o r p o r a t e   d a t a   c e n t e r a t   M i c r o so f t   R e s e a r c h   C a m b r i d g e   a r e   c o m p a r e d   t o   d e t e r mi n e   t h e i r   si mi l a r i t i e a n d   d i f f e r e n c e s .   Th e s e   o b j e c t i v e a r e   a c h i e v e d   t h r o u g h   t h e   o v e r a l l   p r o v i si o n   o f   s i x t e e n   d e t a i l e d   d a t a   p o i n t a n d   si x   h i g h - l e v e l   d a t a   p o i n t s,  t a l k i n g   a b o u t   l o a d   i n t e n s i t y ,   g e o g r a p h i c a l   p a t t e r n s,  a n d   t e m p o r a l   p a t t e r n s.   T h e   a n a l y si f o c u s e o n   h o w   t h e   f i n d i n g i n f l u e n c e   l o a d   b a l a n c i n g   i n   c l o u d   b l o c k   st o r a g e ,   t h e   e f f i c i e n c y   o f   c a c h i n g ,   a n d   t h e   a d mi n i s t r a t i o n   o f   c l u st e r s .   Tr a c e   a n a l y s i h a v a r i o u s   l i m i t a t i o n s.   B e c a u s e   t h e   t r a c e s   c o l l e c t e d   b y   A l i C l o u d   a n d   Te n c e n t   C l o u d   c a p t u r e   t h e   r e sp o n s e   t i me   d i f f e r e n t l y   t h a n   t h e   t r a c e c a p t u r e d   b y   M S R C ,   it i m p o ssi b l e   t o   d o   l a t e n c y   a n a l y si f o r   I / O   r e q u e s t d u r i n g   a   r e a l   d e p l o y me n t .   B o t h   o f   t h e a l s o   d o   n o t   e x p o s e   w h i c h   p r o g r a ms  a r e   r u n n i n g   o n   a   p a r t i c u l a r   d i s k ,   t h u l e a v i n g   o u t   t h e   a ss o c i a t i o n   o f   i n d i v i d u a l   w o r k l o a d s   o f   a n   a p p l i c a t i o n   t o   t h e i r   c o r r e s p o n d i n g   I / O   p a t t e r n .   [ 2 1 ]   I EEE,   2 0 2 3   H a r mo n y   i a   d e e p   l e a r n i n g - d r i v e n   M L   c l u st e r   s c h e d u l e r   t h a t   o p t i m i z e p e r f o r ma n c e   b y   sch e d u l i n g   h e t e r o g e n e o u s   t r a i n i n g   t a sk u s i n g   p a r a m e t e r   serv e r   o r   a l l - r e d u c e   a r c h i t e c t u r e   t o   mi n i mi z e   i n t e r f e r e n c e   a n d   i n c r e a s e   p e r f o r m a n c e   ( i . e . ,   t r a i n i n g   c o m p l e t i o n   t i me   r e d u c t i o n ) .   R e a l   M L   W o r k l o a d s   i n   K u b e r n e t e s   C l u st e r   Th e   m o d e l   i s   b u i l t   f o r   o n l i n e   j o a r r i v a l   u s i n g   a   p a r a m e t e r   ser v e r   o r   a l l - r e d u c e   a r c h i t e c t u r e .   A   t w o - st e p   l e a r n i n g   m e c h a n i sm   i s   a p p l i e d   t o   l e a r n   t h e   p l a c e me n t   p o l i c y   w i t h o u t   a n   i n t e r f e r e n c e   m o d e l   o f   w o r k l o a d .   I n i t i a l l y ,   t h e   s c a r c e   h i st o r i c a l   d a t a   i u se d   f o r   t r a i n i n g   a   r e w a r d   n e u r a l   n e t w o r k ,   a n d   t h e n   D R L   i t r a i n e d   o n   p l a c e me n t   d e c i si o n   w i t h   r e w a r d   samp l e s   o b t a i n e d   f r o m   t h e   r e w a r d   mo d e l .   A c c o r d i n g   t o   t h e   e v a l u a t i o n   o f   a   K u b e r n e t e c l u st e r ,   H a r m o n y   r e d u c e s   t h e   c o mp l e t i o n   t i me   f o r   j o b b y   1 6 % - 4 2 %   c o m p a r e d   w i t h   r e p r e s e n t a t i v e   s c h e d u l i n g   me t h o d s.   -   Evaluation Warning : The document was created with Spire.PDF for Python.