I n d on e s ian   Jou r n al   o f   E lec t r ica l   E n gin e e r in g  a n d   Com p u t e r   S c ience   Vo l .   3 7 ,   N o .   1 ,  J a n ua r y   20 2 5 ,   pp.   335 ~ 346   I S S N:  2 502 - 4 7 52 ,   DO I :  10 . 11591/i j e e cs .v 3 7 . i 1 . pp 335 - 346             335     Jou r n al  h o m e page :  ht tp: // ij e e cs . iaes c or e . c om   A p ac h e  S p ar k  b ase d   d is t r ib u t e d  c lu st e r in g f or  b ig  d at a an al y t ic   w ith  ap p li c at io n  t o 3D  r oad  n e t w o r k       Rot s n ar an i  S e t h y ,   S o u m ya  Ranj an   M ah a n t a ,   M r u t yu n j aya  P an d a   D e pa r tm e nt   of  C o mput e r   S c i e n c e  a nd A ppl i c a ti o ns , U tk a l  U ni ve r s it y ,  B huba ne s w a r , I ndi a       Ar t ic l e   I n f o     AB S T RA CT   A r ti c le  h is tor y :   R e c e i ve d  J u n   11 ,   202 4   R e vi s e d  S e p   8 ,  202 4   A c c e pt e d  S e p   29 ,   202 4       T h e   v as t   am o u n t   o f  d at a  s t o red   n o w ad a y s   h as   t u rn ed   b i g   d at a  an al y t i c s   i n t o   a   v e r y   p ro m i s i n g   r e s e ar c h   fi el d .   Cl u s t e r i n g   i s   an   e s s e n t i a l   s t e p   i n   d at a  an al y s i s ,   w i d el y   u s e d   fo r   c l as s i fi c at i o n ,   c o l l ec t i n g   s t at i s t i c s ,   an d   ac q u i r i n g   i n s i g h t s   i n   s p e c i f i c   d o m ai n s   o f  k n o w l e d g e .   H o w ev e r,   t h e   m o s t   o f  e x i s t i n g   a l g o ri t h m s   b as e d   o n   L l o y d - Fo rg y ’s   me t h o d ,   h av e   an   en o r mo u s l y   h u g e   av e rag e - c as e  c o m p l e x i t y   w h i l e  c l u s t e ri n g   d at a  s e t s   w i t h   a   l ar g e   n u m b e r   o f   f e at u r e s ,   w h i c h   m a y   b e  s u p e rp o l y n o mi al   t i me   ( N P - h ar d )  an d   ar e  s ev e r e l y   co n s t rai n ed   i n   t e rm s   o f  s p eed ,   p ro d u c t i v i t y ,   an d   a d ap t ab i l i t y .   A i mi n g   t o   i m p ro v e   L l o y d - Fo rg y ’s   cl u s t e ri n g   p e rfo r m a n ce ,   K - m e a n s + +   a l g o ri t h m s ,   a  v ari e t y   o f   al g o r i t h m - l ev e l   o p t i mi zat i o n s   w h i ch   i s   n o t   b een   w el l - s t u d i ed ,   i s   d i s c u s s ed   al o n g   w i t h   v e r y   p ro mi s i n g   g au s s i an   m i x t u r e   mo d el   (G MM)  an d   s o ft   c l u s t e ri n g   b as e d   F u zz y   C - me an s   (FCM) .   F u rt h e r,   f o r   fas t   an d   d i s t ri b u t e d   d at a  p ro c e s s i n g   an d   t o   l ev e rag e  t h e   b e n e f i t s   o f  b i g   d at a  p l at fo r m s ,   s u c h   as   A p ac h e   Sp ark ,   Sp ark - b as ed   c l u s t e ri n g   me t h o d s   are  ap p l i e d   o n   t h r ee - d i me n s i o n a l   ( 3D )   ro a d   n e t w o r k   d at a  s e t   w h i c h   i s   c o l l ec t e d   fro m  U C I  re p o s i t o r y .   H o w ev e r,   Sp ark - b as e d   c l u s t e ri n g   r e s e ar ch   i s   s t i l l   i n   i n fa n cy .   T h e  d i s t ri b u t e d   co m p u t at i o n   t e s t s   are  co n d u c t ed   b y   a l l o c at i n g   t w o   co r e  p ro ce s s o rs   an d   o n e   d at ab ri ck s   u n i t   (D B U )  w i t h   1 5   G B  m em o r y   a n d   me as u ri n g   e x ec u t i o n   t i me s ,   as   w el l   as   ro o t   me an   s q u ar e   e rro r  (RMS E ),   m e an   ab s o l u t e   e rr o r  (MA E ),   c l u s t e ri n g   a cc u ra cy ,   an d   s i l h o u e t t e   v al u e s .   T h e  r e s u l t s   are   p ro mi s i n g   a n d   p ro v i d e  n ew   r e s e ar c h   d i r ec t i o n s   i n   t h e  fi el d   o f   s p ark - b as e d   c l u s t e ri n g   o n   b i g   d at a.   K e y w o r d s :   3 D   ro ad   n e t w o r k   A p ac h e  Sp ark     A rc G I S  d at a  v i s u a l i zat i o n   Cl u s t e ri n g   Cl u s t e ri n g   a cc u ra cy   Si l h o u e t t e   s co r e   Sp ark - b as e d   c l u s t e ri n g   Th i s   i s   a n   o p en   a c ces s   a r t i c l e  u n d e r   t h e  CC  B Y - SA   l i cen s e.     C or r e s pon din g  A u th or :   M r ut y u nj a y a   P a n da   De pa r t m e n t   o f   C o m put e r   S c i e n c e   a n d  A pp li c a t i o n s ,   U t ka l   U ni ve r s i t y   Va ni   V i ha r ,   B h u b a n e s wa r ,   Od i s h a - 751004,   I n d i a   E m a i l :  m r ut y u nj a y a 74 @ g m a i l . c o m       1.   I NT RODU C T I ON   I t  i s   e nvi s i o n e d  t h a t   by   t h e   e n d  o f   2050,   a r o un d  70%   o f   t h e   wo r l d  po pu l a t i o n   m i g h t   b e   li v i ng  i n   t h e   ur b a n   a r e a s .   T hi s   l e a d s   to   de v e l o p i n g  a   s m a r t   c i t y   w i t h   a   l o t   o f   p l a nni ng  a n d  t e c hn o l o g y   a s   t h e   f o un da t i o n .   Ur b a n   o r   s m a r t   c i t y   r o a d  n e t wor ks ,   a n   i m po r t a n t  c o m po n e n t   o f   n a t i o n a l   i n f r a s t r uc t u r e   is   n o w  r e p r e s e n t e d   t h r o ugh   i n t e l li ge n t   ge o g r a phi c a l   i n f o r m a t i o n   s y s t e m   ( GI S )   too l s   li ke   t h r e e   d i m e n s i o na l   ( 3D )   m a p s   f o r   b e tt e r   vi s u a l i z a t i o n   [ 1] .   T hi s   wa y ,   3D  r o a d  n e t w or k  r e pr e s e n t a t i o n s   a r e   h e l p i ng  g o v e r nm e n t   to   h a v e   e f f i c i e n t   p l a nni ng  a n d  de v e l o p m e n t   o f   t h e   ur b a n /  s m a r t   c i t y   l i ke s   t h a t   o f   b u il d i ng  a   wo r l d - c l a s s   gr e e nf i e l d  s m a r t  c i t y   in  Gur ugr a m ,   Ha r y a n a   i n   I n d i a .   3D  r o a d  n e t w o r ks   a r e   a m o n g s t   t h e   vi t a ll y   ne c e s s a r y   e l e m e n t s   o f   a   s m a r t   c i t y   a n d  i n t e l li ge n t   tr a n s po r t a t i o n   m e c h a ni s m ,   whi c h   h a s   b e e n   r e c o nn o i t e r i n g  i n   v a r i o us   wa y s   to   m i n im i z e   t h e   l o s s   o f   r e v e n ue   by   t h e   go v e r nm e n t   due   to  i m pr o pe r   pl a nni ng  a n d  de v e l o p m e n t   o f   t h e   c i t y   i n c l ud i ng:  da m a ge d   r o a ds ,   di s put e d  c o n s t r uc t i o ns ,   d i s a s t e r   m a n a ge m e n t ,   to   n a m e   a   f e w.   Ho we v e r ,   r e s e a r c h e r s   s t i ll   f a c e   c h a ll e n g e s   e x t r a c t i n g  3D  ne t wor ks   o n   a   l a r ge   s c a l e   wi t h   l i m i t e d   r e s ou r c e s   to  m o n i tor   e f f e c t i v e l y   e v e r y   Evaluation Warning : The document was created with Spire.PDF for Python.
                                I S S N :   2 5 0 2 - 4 7 52   In do n e s i a n   J   E l e c   E n g   &   C o m p  S c i ,  Vo l .   3 7 ,   N o .   1 ,  J a n ua r y   20 2 5 :   335 - 346   336   c o n s tr u c t i o n   s i t e   a n d/ or   s up e r vi s e   e v e r y   n e w  r oa d   [ 2 ] .   I t   i s   a l s o   po i n t e d  o u t   by   t h e   r e s e a r c h e r s   t h a t   t h e   im pr o pe r   pl a nni ng  o f   r o a d  t r a n s po r t a t i o n   p l a y s   a   ke y   r o l e   i n  g l o b a l   c li m a t e   c h a n ge   t h a t   h a s   a   n e ga t i v e   r e pe r c us s i o n   o n   publi c   h e a l t h   a t   l a r ge   [ 3] ,   whi c h   c o ul d  h a v e   b e e n   a v o i de d  t o   a   g r e a t  e x t e n t   t h r o ugh   tar ge t   f ue l   s a vi ngs   a n d  r e duc e d  gr e e nh o us e   ga s   e m i s s i o n s   a n d  ot h e r   s e l e c t e d  a i r   po l l ut a n t s .   T h e   3D   s pa t i a l   m a p  o f   a   s m a r t   c i t y   r o a d  n e t wor k  wi t h   e co - r o u t i n g  c a n   de v e l o p  a n   i n t e ll i g e n t   t r a n s po r t a t i o n   s y s t e m   [ 4]   w i t h   a   s a vi ng  in  f ue l   c o s t   o f   8 - 12%   i n   c o m pa r i s o n   to   a   s t a n da r d  r out i n g  ba s e d  2D  m o de l   [ 5]   a n d  c a n   b e   a pp li e d  f o r   a c c ur a t e   pr e d i c t i o n   o f   f ue l   c o ns u m pt i o n   [ 6] .   F ur t h e r ,   3D  r oa d  n e t wor k  m o de l li ng  c a n   b e   e f f e c t i v e ly   u s e d  i n   i n t e r n e t  o f   v e hi c l e s   ( I o V)   s c e n a r i o   by   pr o vi d i ng  m o r e   a c c ur a t e   to p o l o g y   f o r   t h e   r o a d   n e t w o r k   to  pr e di c t   t h e   v e hi c l e ’ s   pr e c i s e   l o c a t i o n   w i t h   r e a l - t i m e   po s i t i o n   i n f o r m a t i o n   a n d  im pr o v e d  w i r e l e s s   c h a nn e l   e s t i m a t i o n   [ 7] .   S e v e r a l   r e s e a r c h e r s   e x pe r im e n t e d  t h e   e c o - r o u t i n g  m e t h o d  o n   3D  s pa t i a l   r o a d  n e t wo r k   da t a   by   us i ng  t h e   dr i ve r ’ s   dr i vi n g  s c e n a r i o   i nc l ud i ng  v e hi c l e   s pe e d,   t i m e ,   nu m b e r   o f   s t a r t ,   a n d  s to ps   by   a pp l yi ng  b r a ke s .   I n   a n   ur b a n  e nvi r o nm e n t   to   s t udy   t h e   c a r b o n   e mi s s i o n   e f f e c t s   a n d  de v e l o p  m o de l s   t o   r e duc e   t h e m   [ 8] .   C h e n   e t  al.   [ 2 ]  s t udi e d  t h e   m u l t i - s o ur c e   3D   r o a d   n e t w o r k   e x t r a c t i o n   m e t h o d  to   o b t a i n   a   c o m p l e t e   a n d  a c c ur a t e   r o a d  e l e v a t i o n  da t a   s e t ,   wh e r e   t h e y   o b t a i ne d  t h e   f i na l   r oot   m e a n  s qua r e   e r r o r   ( R M S E )   o f   3. 80   m   a n d  m e a n   a b s o l ut e   e r r o r   ( M A E )   o f   1. 94   m   whil e   c o m pa r i n g  w i t h   t h o s e   o f   unm a nn e d  a e r i a l   v e hi c l e   ( U A V )   d i g i t a l   s ur f a c e   m o de l   ( DSM ) ,  l i g h t   de t e c t i o n   a n d  r a n g i ng  ( L i D A R )   po i n t   c l o ud  a n d  g oo gl e   e a r t h   i n   t h r e e   c i t i e s   o f   d i f f e r e n t   s c a l e .   Ne x t ,   to  s uppo r t  t h e   r o a d  da t a   i n   3D  r o a d  n e t w o r k ,   t h e r e   a r e   f o ur   c o n ve n t i o na l   wa y   o f   r o a d  i nf o r m a t i o n   e x t r a c t i o n   a r e   a v a i l a b l e   i n   li t e r a t ur e   s uc h   a s :  g l o ba l   po s i t i o ni ng  s y s t e m   ( GPS )   tr a j e c t or y   c l u s t e r i n g  m e t h o ds   [ 9 ] ,   a r e a   m e t h o ds   [ 1 0 ] ,   kn o wl e dg e   m o de l s   [ 1 1 ] ,   a nd  a r t i f i c i a l   m a pp i ng  m e t h o ds   [ 1 2 ] .     R e c e n t l y ,   de e p  l e a r ni n g  t e c hni que s   a r e   us e d  by   s o m e   r e s e a r c h e r s   to  e x t r a c t  hi g h - r e s o l ut i o n   r o a d   i n f o r m a t i o n   f r o m   t h e   r e m o t e   s e n s i ng  i m a g e s   us i ng   g oo gl e   e a r t h   a n d  to  c l a s s if y   t h e   r o a d  i m a ge   w i t h   r o a d   a n d  no - r o a d  c l a s s e s ,   whi c h   s e e m s   t o   b e   c o m put a t i o n a l  i n t e n s i ve   [ 1 3 ] .   S e m a n t i c   i m a g e   s e g m e n t a t i o n   m e t h o ds   a r e   e m p l o y e d  by   W a n g  e t  al.   [1 4 ]   o n   r o a d  s c e n e s   t o   e x t r a c t   e x a c t   r o a d  i nf o r m a t i o n   w hil e   U - Ne t ,   a   l o s s - f u n c t i o n   b a s e d  o p t i mi z e r   ne t wor k  i s   us e d  i n   [ 1 5 ]   to  e x t r a c t  t h e   ur b a n   r o a ds   wi t h o ut  o bj e c t   b a r r i e r .   I n   t h e   e r a   o f   bi g   da t a ,   n e w  s y s t e m s   a r e   to   b e   de v e l o pe d  t o  e f f i c i e n t l y   de a l   w i t h   t h e   da t a   s tor i n g  a n d  da t a   pr o c e s s i n g  [ 16] .   S pa r k   i n i t i a ll y   de v e l o pe d  by   t h e   U ni ve r s i t y   o f   C a li f o r ni a   B e r ke l e y   R & D  L a b   i s   a n   o pe n - s o ur c e   too l   u s e d  a s   a n  i n t e r f a c e   to  e x p l o i t   f a u l t - to l e r a n t   c l us t e r s   b a s e d  o n  pa r a l l e li z a t i o n   o f   t h e   h uge   da t a   f o r   di s t r i b ut e d  c om put i n g.   As   de f i ne d  by   Da t a b r i c k s ,   whi c h   i s   o n e   o f   t h e   m a j o r   c o n tr i b ut o r s   to   A pa c h e   S pa r k,   S pa r k  b a s e d  di s t r i b ut e d  c o m put i n g  i s   o n e   o f   t h e   v e r y   f a s t   a n d  i n - m e m o r y   da t a   p r o c e s s i ng  e n g i ne s   to   p r o c e s s   t h e   da t a   i n   r e a l   t i m e   in  b a t c h   m o de   [ 1 7 ] .   T o   c o n que r   t h e   de f i a nc e   po s e d  i n   pr o c e s s i n g  t h e   bi g  da t a ,   us e   o f   c l u s t e r i n g  t e c hni q ue s   a r e   a   r e a s o n a bl e   s o l ut i o n .   Ho we v e r ,   t h e r e   a r e   a l s o   c a s e s   whe r e   i t   i s   o b s e r v e d  t h a t  t h e   t r a di t i o n a l   c l us t e r i n g   a l go r i t hm s   a r e   n o t   f o un d  s u i t a bl e   f o r   l a r ge   da t a   s e t s   [ 1 8 ]   l i ke   t h e   3D  r o a d  n e t w o r k   da t a   s e t s   us e d  i n   t hi s   r e s e a r c h .   Us i n g  A pa c h e   S pa r k  d i s t r i b ut e d  c l us t e r i ng  ut i l i z i ng  p a r a l l e l   pr o c e s s i ng  t o  r e a d  a n d  pr o c e s s   th e   l a r ge   da t a   s e t s   a c r o s s   m u l t i p l e   d i s ks   a n d  C P U/VD U  i n   c o n t r a s t  to  us i n g  a   s i n g l e   P C   s e e m s   to   b e   pr o m i s i n g  a r e a   o f   r e s e a r c h   i n   bi g  da t a   a n a ly t i c s .   T hi s   wa y ,   o pt i m i z e d  c o m put a t i o n s   o n   e a c h   c l u s t e r   n o de   a r e   a c hi e v e d   t h r o ugh   e f f i c i e n t   ut i l i z a t i o n   o f   a v a i l a b l e   c o m put e r   r e s o u r c e s   w i t h   l o w  c o m put a t i o n a l   t i m e   a n d  pr o duc e   a c c ur a t e   s o l ut i o ns   [ 19 ] .   E v e n   t h o ugh   Ha do o p   a n d  S pa r k  b ot h   a r e   v e r y   m u c h   po pul a r   i n   pa r a ll e l   c l u s t e r i n g  a p pr o a c h e s   to   de a l   w i t h   bi g  da t a ,   S pa r k  i s   m o r e   e f f i c i e n t   a s   i t   n o t   o nl y   s t or e s   t h e   i n t e r m e d i a t e   r e s u l t s   i n   m e m o r y   b ut   a l s o   e l im i na t e   t h e   e xi g e n c y   f o r   n u m e r o us   d i s k  i n put /o u t pu t  ( I /O )   o pe r a t i o n s   [ 2 0 ] .   T hi s   wa y   S pa r k  i s   c o ns ider e d  to   b e   f a s t e r   ( a t  l e a s t   3  t i m e s   f a s t e r   o n   a   100   T B   o f   da ta)   i n   c o m pa r i s o n   to   Ha d oo p  M a pR e duc e .   T h e   tr a di t i o n a l   h a r d  K - m e a ns   m e t h o d  [ 2 1 ]   a l wa ys   pr o duc e   h a r d  c l u s t e r s ,   whi c h   i s   f o un d  to  b e   too  e x pe ns i ve   i n   m a ny   m a c hi ne   l e a r ni ng  a pp l i c a t i o n s   wh e n   a n   o bj e c t   b e l o n g s   to  m o r e   t h a n   o n e   c l u s t e r ,   a n d  a s   a   r e s u l t ,   c l u s t e r   b o un da r i e s   ne c e s s a r i ly   o v e r l a p.   On   t h e   ot h e r   h a n d,   s o f t   c l u s t e r i n g  b a s e d  o n   F uz z y   s e t   r e pr e s e n t a t i o n ,   l i ke   F u z z y   C - m e a n s   ( F C M )   a l go r i t hm ,   a l l o ws   a n   o bj e c t   to  b e l o n g  t o  m u l t i p l e   c l us t e r s   w i t h  c e r t a i n   m e m be r s hi p  de gr e e   lyi ng  b e t we e n   0  a n d  1,   b ut   a t   t h e   e x pe n s e   o f   hi g h   de s c r i pt i v e n e s s   o f   t h e   c lus t e r i n g   r e s u l t s .   T h e n   t h e   s o l ut i o n   to   t h e   F CM   c l us t e r i n g  wa s   to   us e   r o ugh   s e t - b a s e d   c l us t e r i n g  w h e r e   t h e   r e s u l t   i s   n e i t h e r   too   r e s tr i c t i v e   a s   i n   t r a di t i o n a l   c l u s t e r i n g  n o r   too  de s c r i pt i v e   i n   c o m pa r i s o n   to  f uz z y   c l us t e r i ng  [ 2 2 ] .   D i s t r i b ut e d  c l u s t e r i n g  o n   t h e   ot h e r   h a n d  h a s   n ot   y e t   e x p l o r e d  f u ll y   t i ll   da t e ,   c r e a t e s   c h a l l e n g e s   i n   t e r m s   o f   c o m m u ni c a t i o n   o v e r h e a d  m a y   u s e   f e w  da t a   w i t h   a s   m i n im u m   s y nc h r o ni z a t i o n   a s   po s s i bl e ,   b ut   pr o duc e s   e f f i c i e n t   r e s u l t s .   I t   i s   a l s o   o b s e r v e d  t h a t   d i s t r i b ut e d  c l us t e r i n g  u s i n g  S pa r k  h a n d li ng  K - m e a n s   i s   a lm o s t   100  t i m e s   f a s t e r   t h a n   us i ng  Ha do o p  b a s e d  c l us t e r i n g  [ 2 0 ] .   T hi s   m o t i v a t e s   us   t o   us e   A pa c h e   S pa r k  e nvi r o nm e n t   f o r   o ur   e x pe r i m e n t s   i n   bi g  da t a   a n a ly t i c s .     H i g hli g h t s   o f   t h e   r e s e a r c h   a r e :     T hi s   r e s e a r ch   pr e s e n t s   a n   A p a c h e   S pa r k  b a s e d   c l u s t e r i n g  [ 2 3 ] ,   a   bi g  da t a   pl a t f o r m   f o r   de a l i n g  f o r   d i s t r i b ut e d  c o m put a t i o ns     A pa c he   S pa r k  c a n   d i s t r i b ut e   t h e   da t a   wi t h   l a r ge   f e a t ur e s   o v e r   a s   m a ny   c o m put i n g  n o de s   a s   we   c a n   a f f o r d.   He r e ,   t w o   c o r e   p r o c e s s o r s   a n d  o n e   DB U  ( D a t a b r i c k s   u ni t )   w i t h   15   GB   m e m o r y   a r e   e m p l o y e d  f o r   t h e   r e s e a r c h   wo r k .   Evaluation Warning : The document was created with Spire.PDF for Python.
I n do n e s i a n   J   E l e c   E n g  &   C o m p  S c i     I S S N:   2 5 0 2 - 4 7 52         A pac he   Spar k   bas e d  dis tr ibut e d  c lus ter ing  f or   big   data  analytic  w it h  …  ( R ots na r ani  Se thi )   337     A   f r e e   ve r s i o n   o f   t h e   A r c GI S   s o f t wa r e   [ 2 4 ]   i s   us e d  f o r   b e tt e r   un de r s t a n d i n g  o f   3D  r o a d   n e t w o r k   da ta  s e t s   o b t a i n e d  f r o m   UC I   r e p o s i t o r y   [ 2 5 ]   t h r o ugh   vi s u a l i z a t i o n ,   de n s i t y   o f   t h e   a r e a   un de r   c o n s i d e r a t i o n   a nd   po s s i bl e   o u t l i e r s   i n   t h e   da t a .     S e v e r a l   c l u s t e r i n g   a l go r i t hm s   s uc h   a s   s im p l e   K - m e a ns ,   A pa c h e   S pa r k  b a s e d  K - m e a ns + +   ( a n   e f f ic i e n t   pa r a l l e l   K - m e a ns   c l us t e r i n g) ,   ga us s i a n   m i x t ur e   m o de l   ( GM M )   a n d  F C M   a r e   pr o p o s e d  o n   a   3 - D  r o a d   n e t wo r k   da t a   s et   f o r   i t s   e f f e c t i ve   i m p l e m e n t a t i o n .     E x pe r i m e n t a l   r e s u l t s   s h o w  t h e   a ppl i c a bi li t y   o f   thi s   n o v e l   A pa c he   S pa r k  b a s e d  di s t r i b ut e d  c l us t e r i n g   a ppr o a c h e s   i n   bi g  da t a   a n a l y t i c s .     A pa c he   S pa r k  b a s e d  F C M   c l u s t e r i n g  m e t h o d  a c hi e v e s   pr o m i s i ng  r e s u l t s   i n   c o m pa r i s o n   to  ot h e r   e xi s t i ng   a ppr o a c h e s   i n   t e r m s   o f   i )   ha vi n g   qua li t y   c l u s t e r s ,   i i)   l o we s t   e x e c ut i o n   t i m e s ,   a n d  ii i )   c a u s e   m i n im u m   e r r o r   dur i n g  c l us t e r i n g  pr o c e s s   wi t h   100%   c l u s t e r i n g  a c c ur a c y   w h e n   a pp l i e d  i n   a   hi g h - d i m e ns i o n a l   a n d  hi g h - s pa r s i t y   da t a   s e t s   whi c h   c a n   b e   us e d  a s   ' gr o un d - t r u th'   v a l i d a t i o n .   T h e   r e s t  o f   t h e   pa pe r   i s   o r ga ni z e d  a s   f o l l o ws .   S e c t i o n   2  di s c us s e s   a b o ut  t h e   m a t e r i a l s   a n d  m e t h o ds   us e d  i n   t hi s   r e s e a r c h   f o l l o we d  by   e x pe r i m e n t s   c o n duc t e d  i n   s e c t i o n   3.   W hi l e   e x p e r i m e n t a l   r e s u l t s   a n d   d i s c us s i o ns   a r e   pr e s e n t e d  i n   s e c t i o n   4,   t h e   pa pe r   c on c l ude s   i n   s e c t i o n   5  w i t h   f ut ur e   s c o pe   o f   t h e   r e s e a r c h .       2.   M AT E RI AL S   AN D  M E T HO DS   2. 1.     Dat as e t   d e s c r ip t ion   I n   t hi s   r e s e a r c h ,   3D  r o a d   n e t wor k  da t a   s e t   c o v e r i ng  a   r e g i o n   o f   185 × 135  s qua r e   k i l o m e t e r s   wa s   c o l l e c t e d  f r o m   UC I   r e po s i t o r y   by   a dd i ng  e l e v a t i o n   i nf o r m a t i o n   to   t h e   pr e vi o us ly   a v a il a bl e   2D  r o a d   n e t wo r k   da t a   s e t   c r e a t e d  i n   No r t h   J ut l a n d  o f   De nm a r k  [ 2 5 ] .   T h e   a dde d  e l e v a t i o n   v a l ue s   a r e   e x t r a c t e d  f o r   De nm a r k,   b y   us i n g  a   o pe n   s o ur c e   m a s s i ve   l a s e r   s c a n   po i n t   c l o ud .   T hi s   3D  r o a d  n e t wo r k  da t a   s e t   i s   u s e d  a s   a   be n c hm a r k  f o r   f ue l ,   c a r b o n   d i o xi de   ( CO 2 )   a n d  ot h e r   p o l l ut a n t s   e s ti m a t i o n .     R o a d  n e t wor k  da t a s e t   a n a l y s i s   i n  GI S   us i ng  t r a di t i o n a l   r o u t i n g  f u n c t i o n s   a r e   s o m e w h a t   d i f f i c u l t   t o  pr o duc e   o p t i m a l   s o l ut i o n s   a s   i t   r e s u l t s   c o m bi na t or i a l   c o m p l e xi t y .   De a li ng  w i t h   s uc h   a   c o m p l e x   r o a d  n e t wo r k   f o r   b ot h   c o m m u ni c a t i o n   a n d  t r a n s po r t a t i o n   n e t wo r k   n e e ds   s o m e   e f f i c i e n t   wa y s   a n d  m e a ns   to  a l l o c a t e   a n d  pr o vi de   ur b a n   a m e ni t i e s   to   t h e   publi c   c o n s i de r i ng   s h o r t e s t   r o u t e   a n d  t r a v e l   de m a n d.   T hi s   m a y   b e   a c hi e v e d   t h r o ugh   b e tt e r   vi s ua li z a t i o n   o f   t h e   r o a d   n e t w o r k   b y   u s i n g  a v a il a bl e   f r e e   o r   c o m m e r c i a l   m a p  s e r vi c e s   s uc h   a s   A r c GI S .   A t  t h e   s a m e   t i m e ,   i t   i s   a l s o   v e r y   po pul a r ly   u s e d  f o r   a c c ur a t e   e co - r o u t i n g,   c y c l i ng  r o u t i n g  a nd  v e hi c le   r o u t i n g  f o r   i m p l e m e n t a t i o n   o f   I o V .   I t  i s   c us t o m a r y   to   s a y   h e r e   t h a t   a   b e tt e r   r o a d  n e t w or k  n ot  o nl y   r e d uc e s   t h e   t r a f f i c   c o n ge s t i o n   b ut   a l s o   h e l ps   i n  mi n im i z i ng  t he   e m i s s i o n   o f   C O  ga s ,   g l o b a l   wa r mi ng,   h u m a n   r e s e n t m e n t  a n d  r o a d   a c c i de n t s   to   n a m e   a   f e w.   F o r   da t a   m i n i n g  a ppl i c a t i o ns   i n   s a t e l l i t e   i m a ge   pr o c e s s i n g  a n d  s p a t i a l   da t a   mi n i ng,   t hi s   m a y   a l s o   b e   us e d  a s   a   “ gr o un d - t r u t h ”   v a li da t i o n .   A s   t h e   3D  r o a d  n e t w or k   da t a   s e t  d o e s n't  c o n t a i n  a ny   c l a s s   l a be l s ,   i t   i s   m o r e   s u i t a bl e   to  us e   pot e n t i a l   c l us t e r i n g  a l go r i t hm s   to   o b t a i n   s o m e   m i s s i ng  e l e v a t i o n  i n f o r m a t i o n   a t   a ny   po i n t s   o n   t h e   r o a d  n e t w or k.   T h e r e   a r e   f o ur   a tt r i b ut e s   w i t h   434 , 874  n u m b e r s   o f   i ns t a n c e s ;  t h e   de t a i l s   a r e   a s   pr o vi de d  b e l o w.     2. 1. 1.   At t r ib u t e   in f or m at ion   i)   OSM _I D:  o pe n   s tr e e t   m a p  I D  f o r   e a c h   r o a d  s e g m e n t   o r   e dge   i n   t h e   gr a ph .   ii )   L o n g i t ude :  we b   m e r c a pt or   ( g oo gl e   f o r m a t )   l o n g i t u de .   ii i )   L a t i t ude :  we b   m e r c a pt or   ( g oo gl e   f o r m a t )   l a t i t ude .   i v)   Al t i t ude :   h e i g h t   i n   m e t e r s .   I n   t h i s ,   O S M _ I D   i s   t h e   I D  a s s i gn e d   by   o p e n   s tr e e t  m a ps   to  th e   r oa d   s e g m e n t s .   E a c h   ( l o n gi tud e ,   l a t i t u de ,   a n d   a l t i tud e )   p o i n t  o n   a   r oa d   s e gm e n t  ( w i t h   uni qu e   OSM   I D )   i s   s or te d   i n   t h e   s a m e   or d e r   a s   t h e y   a pp e a r   on   t h e   r oa d .   S o ,   a   3D - p o l y l i n e   c a n   b e   d r a wn   by   j o i ni n g   p o i n t s   o f   e a c h   r ow   f or   e a c h   O S M _ I D   r oa d   s e gm e n t.   C o n s i de r i n g  t h e   a b o v e   da t a ,   a   de s c r i pt i v e   a n a ly s i s   is   c o n duc t e d  to   un de r s t a n d  m o r e   de t a i l e d  de ns i t y   d i s t r i b ut i o n   o f   t h e   da t a   a l o n g  w i t h   o u t l i e r s   a n d  c lus t e r s   o f   po i n t s   us i n g  P y t h o n   a n d  A r c GI S   s o f t wa r e   [ 2 4 ] .     A   gr a p hi c a l   r e pr e s e n t a t i o n   o f   t h e   d i s t r i b ut i o n   o f   l a y e r s   i n  t e r m s   o f   OSM   I D  a s   n u m be r   o f   c o un t s   pr e s e n t e d  i n  F i gur e   1.   C r e a t i n g  a   de n s i t y   m a p  i n   P y t h o n   c a n   b e   a   v a l u a bl e   wa y   t o   v i s ua li z e   t h e   d i s t r i b ut i o n   o f   da t a   po i n t s   w i t hi n   a   t h r e e - d i m e ns i o na l   s p a c e .   F i gur e   2  pr e s e nt s   a   vi s u a l i z a t i o n   o f   t h e   3D  r o a d  n e t w o r k   da t a   s e t  i n   t e r m s   o f   de ns i t y   f o r   e a c h   l a y e r   i n   t h e   da t a   s e t,   whi c h   i s   p a r t i c u l a r l y   us e f u l   f o r   i n s i g h t s   i n t o   t h e   c o n c e n t r a t i o n   o f   da t a   a n d  i de n t i f yi ng  pa t t e r n s   o r   c l u s t e r s ,   f o r   e co - r o u t i n g   by   t h e   pu bli c .   He r e ,   t h e   i n put   i s   a   s e t   o f   po i n t s   ( OSM   I Ds )   i n  3D  r o a d  n e t w o r k ,   a n d  t h e   o u tpu t   i s   a   de ns i t y   m a p  t h a t   i ll u s t r a t e s   wh e r e   po i n t s   a r e   m o s t   de n s e ly   pa c ke d   w i t h   r e s pe c t   to   c o r r e s po n d i n g  l o n g i t ude ,   l a t i t ude   a n d  a l t i t ude .   B i gg e r   b a r   i n  t h e   F i gur e   1  i nd i c a t e s   m o r e   de n s e   po i n t s   i n   r o a d  n e t w o r k   a t  t h a t   s pe c i f i c   c a t e go r y .   F ur t h e r ,   f r o m   F i gur e   2,   o n e   c a n   o b s e r v e   t h a t   t h e   r o a d  n e t wo r k   i s   hi g hly   de ns e   f o r   l o n g i t ude   o f   9. 9711008,   l a t i t ude   o f   56. 9970205   a n d  a l t i t ude   ( h e i g h t )   o f   17. 0527715677876,   wi t h   hi g he s t   de n s i t y   v a l ue   i n  c o m pa r i s o n   t o   t h e   ot h e r   p o i n t s ,   ur ge   f o r   a tt e n t i o n   f o r   b e tt e r   E c o - r o u t i n g  whil e   de s i g ni ng  f o r   s m a r t   c i t y   a n d  i n t e ll i ge n t   t r a n s po r t a t i o n   pur po s e s .   Evaluation Warning : The document was created with Spire.PDF for Python.
                                I S S N :   2 5 0 2 - 4 7 52   In do n e s i a n   J   E l e c   E n g   &   C o m p  S c i ,  Vo l .   3 7 ,   N o .   1 ,  J a n ua r y   20 2 5 :   335 - 346   338       F i gur e   1 .   Di s t r i b ut i o n   o f   3D  r o a d   n e t wor k  da t a   s e t           F i gur e   2 .   De n s i t y   P l o t   f o r   3D  r o a d  n e t w o r k   da t a   vi s ua l i z a t i o n       2. 2. 2.   Dat a   vis u al iz at ion   of   t h e   r oad   n e t wor k   T h e   3D  r o a d  n e t w o r k  da t a   wa s   i m po r t e d  i n t o  a   f r e e   v e r s i o n   o f   a r c GI S   s o f t wa r e   whi c h   i s   e s s e n t i a ll y  us e d  to  pl o t  m a ps .   3D  s pa t i a l   r o a d  n e t w or k  da t a   wi t h   a l t i t ude   i s   s h o wn   i n   F i gur e   3.   I n   F i gur e   3,   o n e   c a n  o b s e r v e   t h e   c i r c l e s   o f   d i f f e r e n t   s i z e   r e pr e s e n t   t h e   po i n t s   w i t h   d i f f e r e n t   a l t i t ude .   T h e   b a s e m a p  w i t h   OSM   I D   a n d  Al t i t ude   f o r   un de r s t a n d i ng  o u t l i e r s   a r e   pr e s e n t e d  i n   F i gur e   4,   wh e r e   d i f f e r e n t   c i r c l e   c o l o r s   r e pr e s e n t   d i f f e r e n t   c l us t e r s .   T h e r e   a r e   s e v e r a l   o ut pu t  c o l o r   c a t e g o r i z a t i o n s   u s e d  i n   t hi s   r e s e a r c h   t o   hi g hl i g h t   t h e   a l t i t ude   o f   d i f f e r e n t   v a l ue s .   I n   F i gur e   4,   whil e   p i n k  o ut pu t  f e a t ur e s   a r e   pa r t   o f   a   c l u s t e r   o f   hi g h - a l t i t ude   va l u e s ,   l i g h t  bl ue   a r e   pa r t   o f   a   c l u s t e r   o f   l o w  a l t i t ude   v a l ue s ,   r e d  o u t pu t  f e a t ur e s   r e pr e s e n t   h i g h   o u t l i e r s   w i t hi n   a   c l us t e r   o f   l o w  a l t i t ude   v a l ue s   a n d  bl ue   o u t pu t  f e a t ur e s   r e pr e s e n t   l o w  o u t l i e r s   w i t hi n   a   c l u s t e r   o f   hi g h - a l t i t ude   v a l u e s .   F ur t h e r ,   o u t l i e r   a n a ly s i s   f o r   a l t i t ude   v a l ue s   i n   t h e   3 D  r o a d   n e t w o r k   da t a   s e t  a r e   pe r f o r m e d  whi c h   a r e   s h o wn   i n  Fi gur e   5  wi t h   t h e   f o l l o w i ng  de s c r i pt i o n   o f   t h e   o u t l i e r   a n a ly s i s   f o r   b e t t e r   un de r s t a n d i n g  o f   t h e   da t a   s e t  a n d   de c i s i o n - m a k i ng   pr o c e s s .           F i gur e   3 .   3D  s pa t i a l   r o a d  n e t w o r k   da t a   wi t h   a l t i t ude   Evaluation Warning : The document was created with Spire.PDF for Python.
I n do n e s i a n   J   E l e c   E n g  &   C o m p  S c i     I S S N:   2 5 0 2 - 4 7 52         A pac he   Spar k   bas e d  dis tr ibut e d  c lus ter ing  f or   big   data  analytic  w it h  …  ( R ots na r ani  Se thi )   339       F i gur e   4 .   B a s e m a p  w i t h   OSM   I D  a n d  a l t i t ude   f o r   u n de r s t a n d i ng  o ut l i e r s           F i gur e   5 .   Ou t l i e r   a na l y s i s   f o r   a l t i t ude   w i t h   hi g h - high   c l us t e r       T h e   s t e p   wi s e   o b s e r v a t i o ns   r e c or de d  whi l e   pe r f o r m i n g  t h e   o u t l i e r   a n a ly s i s   f o r   t h e   a l t i t ude   us i n g   A r c GI S   s o f t wa r e   a r e   pr e s e n t e d  b e l o w.   i)   S t e p - 1 :  i ni t i a l   da t a   a s s e s s m e n t .   T h e r e   we r e   431   v a l i d  i n put   f e a t ur e s .   T h e   a l t i t ude   pr o pe r t i e s   s h o w n   i n   T a bl e   1 .       T a bl e   1.   S um m a r y   s t a t i s t i c s   o f   a l t i t ude   pr o pe r t i e s   M in   M a x   M e a n   S ta nda r d   d ev ia ti o n   0.1003   8.3522   2.9549   2.1549       T h e r e   we r e   3  o u t l i e r   l o c a t i o ns ;   whi c h   w il l   n o t   b e   u s e d  to   c o m put e   t h e   o p t i m a l   f i xe d  d i s t a n c e   b a n d.   ii )   S t e p - 2 :  s c a l e   o f   a n a ly s i s .  T h e   o pt i m a l   f i xe d  d i s t a nc e   ba n d  wa s   b a s e d  o n   t h e   a v e r a ge   d i s t a n c e   t o   21  n e a r e s t  n e i g hb o r s   2574. 0000  m e t e r s .   ii i )   S t e p - 3 :  o u t l i e r   a n a ly s i s .  T h e r e   i s   499  pe r m ut a t i o n s   f o r   c r e a t i n g  t h e   r a n do m   r e f e r e n c e   d i s t r i b ut i o n   f o r   o u t l i e r   a n a ly s i s ,   o u t  o f   w hi c h :     T h e r e   a r e   431  o u t pu t  f e a t ur e s   s t a t i s t i c a ll y   s i g ni f i c a n t   b a s e d  o n   a   F DR   c o r r e c t i o n   f o r   m u l t i p l e   t e s t i ng  a n d  s pa t i a l   de pe n de n c e .     T h e r e   a r e   5  s t a t i s t i c a ll y   s i g ni f i c a n t   hi g h   o u t l i e r   f e a t ur e s .   Evaluation Warning : The document was created with Spire.PDF for Python.
                                I S S N :   2 5 0 2 - 4 7 52   In do n e s i a n   J   E l e c   E n g   &   C o m p  S c i ,  Vo l .   3 7 ,   N o .   1 ,  J a n ua r y   20 2 5 :   335 - 346   340     T h e r e   a r e   3  s t a t i s t i c a ll y   s i g ni f i c a n t   l o w  o u t l i e r   f e a t ur e s .     T h e r e   a r e   244  f e a t ur e s   pa r t  o f   s t a t i s t i c a ll y   s i g ni f i c a n t   l o w  c l us t e r s .     T h e r e   a r e   106  f e a t ur e s   pa r t  o f   s t a t i s t i c a ll y   s i g ni f i c a n t   hi g h   c l us t e r s .   I n   t h e   s a m e   wa y ,   o ut l i e r   a n a ly s i s   f o r   t h e   ot h e r   t w o   l a y e r s   ( lo n g i t ude   a n d  l a t i t ude )   m a y   a l s o   b e   c o n duc t e d  f o r   b e t t e r   un de r s t a n d i ng  o f   t h e   d a t a   s e t .   A   r e s u l t   f o r   o u t l i e r   a n a ly s i s   c o n s i de r i ng  l o n g i t ude   i s   s h o w n   i n   F i gur e   6,   wh e r e   t h e   c l u s t e r   p o i n t   o f   i n t e r e s t   s h o ws   n ot  s i g nif i c a n t   o u t l i e r   pr e s e n t .   I n   o v e r a l l  a n a l y s i s   o f   F i gur e   6,   i t   i s   o b s e r v e d  t h a t   t h e r e   a r e   0   s t a t i s t i c a ll y   s i g ni f i c a n t   hi g h   o u t l i e r   f e a t ur e s ,   2  s t a ti s t i c a l ly  s i g nif i c a n t   l o w  o u t l i e r   f e a t ur e s ,   0  f e a t ur e s   pa r t   o f   s t a t i s t i c a ll y   s i g ni f i c a n t   l o w  c l us t e r s   a n d  0  f e a t ur e s   pa r t   o f   s t a t i s t i c a ll y   s i g ni f i c a n t   hi g h   c l u s t e r s .           F i gur e   6 .  Ou t l i e r   a na l y s i s   f o r   l o n g i t ude   i n   3D  r o a d  n e t wo r k   da t a   s e t       2. 2.     P r op os e d   m e t h od     I n   t hi s   s e c t i o n ,   f o ur   c l us t e r i n g  m e t h o ds   s uc h   a s   K - m e a ns ,   K - m e a n s + + ,   GM M   a n d  F C M   a r e   d i s c us s e d  whi c h   a r e   i m p l e m e n t e d  i n   t hi s   r e s e a r c h   s t udy .     2. 2. 1.   K - m e an s + +   c l u s t e r in g    T h e   K - m e a ns   c l us t e r i n g  i ni t i a ll y   pr o po s e d  by   M a c   Que e n   i s   o n e   o f   t h e   m o s t   p o pul a r ,   s i m p l e ,   y e t   a n   e f f i c i e n t   a n d  s t a bl e   c l us t e r i n g  m e t h o d  a v a il a bl e   i n  t h e   l i t e r a t ur e .   S t i ll ,   i t   h a s   s o m e   l im i t a t i o n s   f o r   b e i ng  bl o c ke d  l o c a ll y   b a s e d  o n   t h e   r a n do m l y   c h o s e n  i ni t i a l   c l us t e r   c e n t e r s .   T hi s   dr a wba c k  i s   e li mi n a t e d  i n    K - m e a n s + +   by   i n t e ll i ge n t l y   c h o o s i n g  a   s e t   o f   i ni t i a l   c l us t e r   c e n t e r s   i n   p l a c e   o f   r a n do m ly   c h o s e n   o n e s .   T hi s   wa y ,   K - m e a n s + +   e n s ur e s   a n   e f f i c i e n t   wa y   o f   c hoo s i n g  c l u s t e r   c e n t e r s   ( c e n t r o i d s )   w i t h   a c c e pt a bl e   c l u s t e r   qua l i t y .   D i s t r i b ut e d  K - m e a ns + +   i s   i m p l e m e n t e d  i n   t hi s   r e s e a r c h   i n   A p a c h e S pa r k  Da t a B r i c k s   e nvi r o nm e n t ,   whi c h   i s   s o m e t i m e s   c a ll e d  a s   K - m e a ns ||  ( o r   pa r a l le l   K - m e a n s )   i n   P y S pa r k.   P a r a l l e li s m   i s   n e e de d  t o  a ddr e s s   t h e   bi g  da t a   a n a l y s i s   us i ng  m a c hi ne   l e a r ni n g  a l go r i t hm s   s o   t h a t  t h e   r e s u l t s   c a n   b e   o b t a i n e d  i n   a   s h o r t e r   s pa n   o f   t i m e .   T h e   K - m e a n s + +   [ 2 6 ]   c a n   f i n d  a   c e n t e r   s e t  t h a t   a c hi e v e s   O( l o g  K )   a ppr o xi m a t i o n   f o r   t h e   o p t i m a l   c e n t e r   s e t .   A t   t h e   s a m e   t i m e ,   i t   h a s   a   c o m put a t i o na l   c o m p l e xi t y   o f   O( K ) ,   whi c h   i n d i c a t e s   t h a t  t h e   c l us t e r i ng  pr o c e s s   i s   s l o w  i ni t i a l ly   f o r   l a r ge   v a l ue   o f   K   whi c h   e ve n tua l ly   h a v e   n o   i m pr o v e m e n t   e v e n   t h o ugh   l e s s   i t e r a t i o n s   a r e   us e d  a n d  a c hi e ve s   c o n s t a n t   bi - c r i t e r i a   a ppr o xi m a t i o n   w i t h   c o n s t a n t   p r o b a bi li t y   [2 7 ] .   F ur t h e r ,   to  un de r s t a n d  t h e   o p t i m a l   c l u s t e r   n u m b e r s   ( K )   a n d  c l us t e r   qua l i t y ,   e l b o w  m e t h o d  w i t h   s i l h o ue t t e   s c or e   ( S )   a r e   us e d  i n   t hi s   r e s e a r c h .     S i l h o ue t t e   s c or e   ( S )   i s   a   m e a s ur e   o f   de gr e e   o f   s im il a r i t y   b e t we e n   t w o   c l us t e r   p o i n t s   pr e s e n t   i n   t h e   s a m e   c l u s t e r ,   wh i c h   c a n   b e   r e pr e s e n t e d  a s   i n   ( 1) .     = − m a x ⁡ ( − )                     ( 1)     He r e ,     i s   t h e   mi nim u m   a v e r a ge   d i s t a nc e   f r o m   i t h   c lus t e r   p o i n t   to   c l us t e r   po i n t s   i n   a   d i f f e r e n t   c l u s t e r   a n d    r e pr e s e n t s   t h e   a ve r a ge   d i s t a n c e   f r o m   i th   c l us t e r   po i n t   to  ot h e r   c l us t e r   po i n t s   i n   t h e   s a m e   c l us t e r .   T h e   r a n ge   o f   Evaluation Warning : The document was created with Spire.PDF for Python.
I n do n e s i a n   J   E l e c   E n g  &   C o m p  S c i     I S S N:   2 5 0 2 - 4 7 52         A pac he   Spar k   bas e d  dis tr ibut e d  c lus ter ing  f or   big   data  analytic  w it h  …  ( R ots na r ani  Se thi )   341   v a l ue s   f o r     l i e s   b e t we e n   - 1  to  + 1,   wh e r e   a   hi g h   v a lue  o f     i n d i c a t e s   t h a t  i th   c l u s t e r   p o i n t   i s   we l l   m a t c he d  to   i t s   o wn   c l u s t e r   b ut   p oor l y   m a t c h e d  to   t h e   p o i n t s   i n   t h e   i n t e r   c l us t e r s .     2. 2. 2.   Gau s s i an   m ix t u r e   m od e l   T h e   GM M   i s   a   po we r f u l   c l us t e r i n g  m e t h o d  f o r   i de n t i f yi ng  s u b t l e   c l us t e r   pa tt e r n s   wh e r e   i t   e x pr e s s e s   t h e   g a us s i a n   pr o b a bi li s t i c   d i s t r i b ut i o n   o f   da t a   p o i n t s ,   di v u l ge   hi dde n   s t r uc t u r e s   a n d  l i nk a ge s   w i t hi n   c l u s t e r s   [2 8 ] .   T h e   po pul a r i t y   o f   GM M   l i e s   i n   i s   a da pt a bil i t y   i n   de a li ng  w i t h   f i nd i ng  c l u s t e r s   o f   d i f f e r e n t   s h a pe s ,   s i z e   a n d  de ns i t i e s ,   whi c h   m a ke s   a n   i de a l   c h o i c e   f o r   th e   3D  r o a d  n e t wo r k   da t a   s e t   us e d  i n   t hi s   r e s e a r c h .   O n e   d i s a d v a n t a ge   o f   GM M   i s   i n  da t a   ge n e r a t i o n   f r o m   a   m i x t ur e   o f   g a u s s i a n   pr o b a bil i t y   d i s t r i b ut i o ns ,   whi c h   m a y  n o t   b e   p o s s i bl e   a l wa y s   i n   r e a l – wo r l d  e nvi r o nm e n t s .   T h e   c o m put a t i o n a l   c o m p l e xi t y   o f   GM M   de pe n d s   o n   t h e   n u m be r   o f   i t e r a t i o n s   a n d  t i m e   t o  c o m put e   e x pe c t a t i o n s   a n d  m a xim i z a t i o n   s t e ps   [ 29 ] .       2. 2. 3.   F u z z y  C - m e an s   T h e   f uz z y   c l us t e r i n g  m e t h o d  [ 3 0 ]   a ppl i e s   to  t h e   po i n t s   o f   r e g i o n   whe r e   i t   i s   l i t t l e   d i f f i c u l t   to  c a t e g o r i z e   t h e m   e x a c t l y   i n   t wo   c l u s t e r s .   F C M   a l g o r i t hm   i s   a   s o f t   c l us t e r i n g  t e c hni que   us i ng  t h e   c on c e pt   o f   f uz z y   l o g i c   s o   t h a t   t h e   o b j e c t s   o f   c l a s s if i c a t i o n s   c a n   f a ll   i n   m o r e   t h a n   o n e   c l u s t e r .   B a s e d  o n   t h e s e   s e p a r a t i o n s ,   r e pe t i t i o n s   a r e   pe r f o r m e d  o n   e a c h   c l u s t e r   g r o ups   a n d  t h e n   n e w  c e n t r o i ds   a r e   c a l c u l a t e d  w i t h   t h e   h e l p  o f   f uz z y  pa r t i t i o n   w hi c h   f i na ll y   e n a bl e s   us   to   o b t a i n   t h e   c l a s s i f i c a t i o n   t a s ks   t h a t   h a s   l i ne a r   d i s t r i b ut i o n   o f   f e a t ur e   s pa c e .   F o r   t h e   da t a   s e t  h a vi n g  n o nli ne a r   d i s t r i b ut i o n   o f   f e a t ur e   s pa c e ,   ke r n e l   ba s e d  F C M   [3 1 ]   a r e   s ugge s t e d  whi c h  u l t i m a t e l y   i m pr o v e s   t h e   E uc l i de a n   d i s t a n c e   m e a s u r e   to   h a v e   b e t t e r   c l us t e r i n g  pr o c e s s .   Ho we v e r ,   e v e n   t h o ugh  F C M   i s   po pul a r   a n d  s i m p l e   to   us e ,   t hi s   m e t h o d  i s   n ot   f o un d  s u i t a bl e   f o r   c l u s t e r i n g  bi g  da t a   due   to  t h e i r   c o m p l e x   s t r uc t ur e   [ 3 2 ] .   F ur t h e r ,   t h e   dr a wb a c ks   l i e s   e f f i c i e n t   c l us t e r   c e n t e r   i ni t i a li z a t i o n ,   a s   i m pr o pe r   i n i t i a li z a t i o n   c a n   r e s u l t   i n   s l o w  o r   n o n - o p t i m a l   c o nv e r ge n c e   m a k i ng  t h e   c l us t e r   o f   l o w  qua l i t y   [ 3 2 ] .   On   t h e   ot h e r   h a n d,   wh e n   d e a l i ng  w i t h   hi g h   d im e n s i o n a l   da t a ,   r a n do m   s a m p li ng  m e t h o d  i s   pr o p o s e d  by   w hi c h   da t a   a r e   di vi de d  i n t o  s ub gr o ups ,   e a c h   c o n t a i ni ng  a   s m a l l   s a m p l e   o f   wh o l e   da t a   s e t ,   t a ki n g  l e s s   i t e r a t i o ns ,   f a s t e r   c o n v e r ge n c e   a n d  w i t h   goo d  c l us t e r i n g  qua l i t y   [ 3 3 ].     2. 3.     P e r f o r m an c e   m e as u r e s   I n   t hi s   r e s e a r c h ,   we   us e   e l b o w  m e t h o d  w i t h   s il h o u e tt e   s c or e   to   o b t a i n   t h e   o pt i m a l   c l us t e r   a n d  c l us t e r   qua l i t y .   F ur t h e r ,   b a s e d  o n   t h e   c l us t e r   s i z e ,   s e v e r a l   c l us t e r i n g  a l go r i t hm s   ( K - m e a ns ,   K - m e a n s + + ,   GM M   a n d   F C M )   we r e   m o de l e d  o n   3D  r o a d   n e t w o r k   da t a   s e t   to  o b t a i n   t h e   pe r f o r m a n c e   c o m pa r i s o n   t h o r o ugh   c l us t e r i n g   t i m e ,   r oot  m e a n   s qua r e   e r r o r ,   m e a n   a b s o l ut e   e r r o r   a n d  c l us t e r i n g  a c c ur a c y .         3.   E XP E R I M E NT S   All   t h e   e x pe r im e n t s   i n   t hi s   r e s e a r c h   a r e   c o n duc t e d  i n   a n   I n t e l   C o r e   i 5  m a c hi ne   w i t h   1   T B   HD D,   8   GB   R AM   a n d  2. 64   GB   C P U  i n   A p a c h e   S pa r k  e nvi r o nm e n t   us i n g  Da t a b r i c ks .   Da t a b r i c k s   pr e s e n t s   us   i n   t e r m s   o f   vi r t ua l   m a c hi ne s   ( VM s )   a n d  DB Us ,   b a s e d  o n   t h e   VM   i ns t a n c e   s e l e c t e d.   A   DB U  i s   a   uni t   o f   pr o c e s s i n g   c a pa bi li t y ,   bil l e d  o n   a   pe r - s e c o n d  us a ge   i n  c o m mer c i a l   v e r s i o n .   Ho we v e r ,   we   us e d  a   f r e e   da t a b r i c k s   v e r s i o n  w i t h   2  c o r e s ,   1DB U  a n d  15   GB   f r e e   m e m o r y   f o r   o ur   e x pe r i m e n t a l   s e t up   i n   A pa c h e   S pa r k  e n vi r o nm e n t   to  c a r r y   d i s t r i b ut e d  pr o c e s s i n g  o n   t h e   da t a   s e t .  F o r   b e tt e r   un de r s t a n d i n g  a b o u t   t h i s   r e s e a r c h ,   t h e   s t e ps   c a r r i e d  o u t   i n   t h e   e x pe r im e n t a l   pr o c e s s   a r e   pr e s e n t e d  i n   F i gur e   7  wi t h   f o l l o w i ng  s t e ps .     S t e p - 1 :  a t   f i r s t ,   we   us e d  t h e   i n put   3 - D  r o a d  n e two r k  da t a s e t   c o l l e c t e d  f r o m   U C I   r e po s i t o r y   i n t o  t h e   A r c GI S   s o f t wa r e   to  un de r s t a n d  t h e   da t a   vi s ua li z a t i o n   w i t h   de n s i t y   d i s t r i b ut i o n s   a n d  t h e n   pe r f o r m   t he   o u t l i e r   a na l y s i s   t o  b e tt e r   un de r s t a n d  a b o ut   t h e   r o a d   c o n d i t i o n s   t h a t   m i g h t   b e   us e f u l   f o r   de c i s i o n   m a k in g  in  eco - r o u t i n g  a n d  s m a r t   c i t y   s c e n a r i o .     S t e p - 2 :  s e c o n d l y ,   f o r   pe r f o r m i ng  d i s t r i b ut e d  da t a   c l u s t e r i n g  a ppr o a c h ,   t h e   i n put   da t a   s e t  wa s   us e d  i n   t h e   A pa c he   S pa r k  s e r v e r   i n   Da t a B r i c ks   e nvi r o nm e n t .     S t e p - 3 :  t h e n ,   s c he m a   i s   ge n e r a t e d  a n d  t h e   da t a   i s   f o r m a t t e d  us i n g  ve c t or   a s s e m bl e r   i n t o   v e c t o r s   w hi c h  we r e   us e d  a s   f e a t ur e s   f o r   a n a ly s i s   i n   3 rd   s t e p.     S t e p - 4 :  n e x t ,   we   us e d  s i l h o ue t t e   s c o r e   a n d  i n e r t i a   m e t h o d  to  f i nd  t h e   o p t i m a l   n u m be r   o f   c l u s t e r s   i n   4 th   s t e p.     S t e p - 5 :  i n   t h e   f i f t h   s t e p ,   t h e   pr o p o s e d  di s t r i b ut e d  c l us t e r i n g  m o de l   u s i ng  K - m e a ns ,   K - m e a ns + + ,   G M M   a n d  F C M   we r e   us e d  f o r   bi g  da t a   a n a ly t i c .     S t e p - 6 :  f i na l ly ,   i n   t h e   6 th   s t e p,   e x pe r i m e n t a l   r e s u l t s   a r e   o b t a i n e d  us i ng  pe r f o r m a n c e   m e t r i c s   s uc h   a s :   c l u s t e r i n g   t i m e ,   R M S E ,   M A E ,   a n d  c l u s t e r i n g  a c c ur a c y .   a n d  c o m p a r i s o n   w i t h   o t h e r   a v a il a bl e   r e s e a r c h   is   c a r r i e d  o u t   to  un de r s t a n d  t h e   s u i t a bil i t y   o f   t h e   pr o p o s e d  r e s e a r c h .   Evaluation Warning : The document was created with Spire.PDF for Python.
                                I S S N :   2 5 0 2 - 4 7 52   In do n e s i a n   J   E l e c   E n g   &   C o m p  S c i ,  Vo l .   3 7 ,   N o .   1 ,  J a n ua r y   20 2 5 :   335 - 346   342       F i gur e   7 .   E x pe r i m e n t a l   f r a m e wo r k  f o r   di s t r i b ut e d  c l u s t e r i n g  f o r   bi g  da t a   a n a ly t i c       I n   t hi s   r e s e a r c h ,   t h e   n u m be r   o f   c l u s t e r s   i s   c h o s e n   a t   t h e   e l b o w  po i n t   o f   t h e   gr a ph ;   s im il a r   to   t h a t  o f   e l b o w  po i n t   o f   t h e   a r m ,   h e n c e   t h e   na m i ng  i s   do n e   a c c o r di n g ly   a s   “ e l b o w  c r i t e r i a ” .   T hi s   e l b o w  c a n’ t   a l wa y s   be   un a m b i guo us l y   i de n t i f i e d.   T h e   po i n t   ge n e r a l ly   pr e s e n t   us   t h e   n u m b e r   o f   c l u s t e r   p o i n t   wh e r e   t h e   m o de l   c a n  pe r f o r m   we l l .   On   t h e   ot h e r   h a n d,   I n e r t i a   r e pr e s e n t s   t h e   s um   o f   s qua r e d  d i s t a nc e s   o f   s a m p l e s   t o  t h e i r   c l o s e s t   c l u s t e r   c e n t e r s .   H o we v e r ,   we   d o   n ot  h a ve   a l w a y s   a   c l e a r   c l us t e r e d  da t a .   T h e   o p t i m a l   n u m be r   o f   c l u s t e r s   ( K )   c a n   b e   f o un d  t h r o ugh   s u m   o f   s qua r e d  d i s t a nc e s   w i t hi n   c l u s t e r s   ( W C S S )   whi c h   i s   c a l c u l a t e d  f o r   d i f f e r e n t   v a l ue s   o f   K .   T h e   “ e l b o w”   i n   t h e   pl o t  o f   W C S S   a ga i ns t   K   t y p i c a l ly   i n d i c a t e s   t h e   o p t i m a l   n u m be r   o f   c l us t e r s   to  c h o o s e .     M o de l   e v a l ua t i o n :   s il h o ue t t e   s c o r e   i s   us e d  to   a s s e s s   t h e   qua l i t y   o f   c l u s t e r s   pr o duc e d  by   v a r i o us   c l u s t e r i n g  t e c hni que s   l i k e   K - m e a n s ,   K - m e a ns + + ,   GM M   a n d  F C M .   T h e   s il h o ue t t e   s c o r e   o b t a i n e d   f o r   t h e   wh o l e   da t a   s e t   i s   t h e   m e a n   v a l ue   o f   t h e   S i l h o ue t t e   S c o r e s   o f   a l l   d a t a   p o i n t s .       4.   RE S UL T S   AN D  DI S CU S S I ON   T hi s   s e c t i o n   pr e s e n t s   t h e   r e s ul t s   o b t a i n   f r o m   t h e   e x pe r im e n t s   c o n duc t e d   a n d  di s c us s e s   t h e m   t o  ge t  b e t t e r   kn o wl e dge   r e pr e s e n t a t i o n   i n   c l us t e r i n g  pr o c e s s   o n   t h e   3D  r o a d  n e t w o r k   da t a   s e t ,   f o r   e f f e c t i ve   de c i s i o n  m a k i ng.   F i gur e   8   s h o ws   t h e   d i s t r i b ut i o n   o f   da t a   p o i n t s   t h r o ugh   3D  s pa t i a l   n e t wor k  c l us t e r i n g  us i ng  K - m e a n s   c l u s t e r i n g  f o r   5  c l us t e r s   ( K = 5)   i n   t e r m s   o f   t h r e e   l a y e r s   s uc h   a s   l o n g i t ude ,   l a t i t ude ,   a n d  a l t i t ude .   Ne x t ,   e l b o w   m e t h o d  i s   us e d  t o  f i nd  t h e   o p t i m a l   c l us t e r ,   whi c h  i s   a t   K = 4  a s   c a n   b e   o b s e r v e d  f r o m   F i gur e   9 .   I n   t hi s ,   t h e   s i l h o ue t t e   s c o r e   f o r   4   c l us t e r s   i s   0. 427   ( r e s tr i c t i n g   to  t h r e e   de c i m a l   p l a c e s ) .   I n e r t i a   m e t h o d  i s   e m p l o y e d  w i t h  r e s pe c t   to  n u m b e r   o f   c l us t e r s   i n   F i gur e   9   to  o b t a i n   t h e   o p t i m a l   c l u s t e r   v a l ue   a n d  r e s pe c t i v e   c l u s t e r   qua l i t y   us i n g  K - m e a n s + + .   E v e n   t h o ugh   i n e r t i a   m e t h o d  i s   a   v e r y   po pu l a r   o n e   i n   f i nd i ng  o p t i m a l   c l us t e r s ,   i t   po s e s   s o m e   c o n c e r ns   i n   r i g h t   s e l e c t i o n   o f   K   a s   i t   de c r e a s e s   m o n o to ni c a ll y   w i t h   r e s pe c t   to   n u m b e r   o f   c l us t e r s   ( K ) .   Ho we v e r ,   a   un i v e r s a l   s o l ut i o n   t o   f i n d  t h e   r i g h t   n u m be r   o f   c l us t e r s   i n   c l us t e r i n g   pr o c e s s   i s   n o t   y e t   a c hi e v e d  s o   f a r   [ 3 4 ].   A  c o m pa r i s o n   o f   t h e   c l us t e r i n g  m e t h o ds   us i ng  s i mp l e   K - m e a n s   c l us t e r i n g  a l o n g  w i t h   A pa c h e   S pa r k   b a s e d  d i s t r i b ut e d  c l us t e r i n g  w i t h   K - m e a n s + + ,   GM M   a n d   F C M   w i t h   t h e i r   r e s pe c t i v e   s il h o ue t t e   s c o r e   i s   g i ve n  i n   T a bl e   2 .   F r o m   T a bl e   2 ,   o n e   c a n   o b s e r v e   t h a t   o p t i m a l   c l u s t e r   i s   f o un d  a t   K = 4  f o r   a l l   c a s e s   ( 0. 5780  f o r   s i m p l e   K - m e a ns ;   0. 4298   f o r   A pa c he   S pa r k   K - m e a ns + + ;   0. 4220  f o r   A pa c h e   S pa r k  GM M   a n d  0. 4205  f o r   A pa c he   S pa r k   F C M )   h a vi ng  l a r ge s t   s i l h o ue t t e   s c o r e   t h a n   t h a t  o f   ot h e r   v a l u e s   o f   K .   A t   t h e   ne x t   s t a ge ,   we   a pp l i e d  s e v e r a l   c l us t e r i n g  a l go r i t hm s   o n   t h e   3D  r oa d  n e t wor k  da t a   s e t s   wi t h   d i f f e r e n t   K   v a l ue s   t o  un de r s t a n d  t h e   e f f e c t i v e ne s s   o f   t h e   c l us t e r i n g  a l go r i t hm   i n  c lus t e r i n g  pr o c e s s .   R oot  m e a n   s qu a r e   e r r o r   ( R M S E ) ,   m e a n  a bs o l ut e   e r r or   ( M A E ) ,   c l u s t e r i n g  t i m e   a n d  tot a l   e xe c ut i o n   t i m e   i n  s e c o n d s   a r e   us e d  to  e v a l ua t e   t h e   c l us t e r i n g   m o de l s ,   w hi c h   i s   pr e s e n t e d  i n   T a bl e   3 .            F i gur e   8 .   Di s t r i b ut i o n   o f   da t a   i n   3D  r o a d   n e t wor k  da t a   s e t   us i n g  K - m e a n s   c l us t e r i n g  ( K = 5)   Evaluation Warning : The document was created with Spire.PDF for Python.
I n do n e s i a n   J   E l e c   E n g  &   C o m p  S c i     I S S N:   2 5 0 2 - 4 7 52         A pac he   Spar k   bas e d  dis tr ibut e d  c lus ter ing  f or   big   data  analytic  w it h  …  ( R ots na r ani  Se thi )   343       F i gur e   9 .   P l o tt i n g  t h e   i ne r t i a   t o  f i nd  t h e   o p t i m a l   n u m be r   o f   c l u s t e r s   us i n g  K - m e a n s + +       I t  c a n   b e   o b s e r v e d  f r o m   T a bl e   3   t h a t  a f t e r   a p p l yi ng  K - m e a n s + +   i n   A pa c h e   S pa r k  di s t r i b ut e d  c l u s t e r i n g  e nvi r o nm e n t ,   t h e   tot a l   e x e c ut i o n   t i m e   t a ke s   90  t i m e s   l e s s   t h a n   t h e   s i m p l e   K - m e a n s   c l us t e r i n g  f o r   K = 4,   43  t i m e s   l e s s   f o r   K = 10  a n d  30. 72  t i m e s   l e s s   f o r   K = 40  C l u s t e r s .   A s   i n   o ur   c a s e ,   K = 4  i s   t h e   o p t i m a l   c l u s t e r s ,   we   c a n   c o n c l ude   t h a t   A pa c h e   S pa r k  di s t r i but e d  c l u s t e r i n g  e nvi r o nm e n t   w i t h   K - m e a n s + +   t a ke s   v e r y   l e s s   e x e c ut i o n   t i m e   i n   c o m pa r i s o n   to  t r a di t i o n a l   e nvi r o nm e n t s   w i t h   K - m e a n s   c l us t e r i n g.   T o   pe r f o r m   m o r e   r e s e a r c h   o n   t h e   e f f e c t i ve n e s s   o f   d i s t r i b ut e d  c l us t e r i n g,   G M M   a n d  F C M   a r e   us e d  i n  A pa c he   S pa r k  e nvi r o nm e n t   o n   t h e   s a m e   da t a   s e t   a n d  t h e   o b t a i n e d  r e s u l t s   a r e   pr e s e n t e d  i n   T a bl e   4 .  F r o m   T a ble  4 ,   i t   i s   o b s e r v e d  t h a t   A pa c h e   S pa r k  b a s e d  F C M   o ut pe r f o r m s   GM M   by   h a vi ng  hi g he s t   c l us t e r i n g  a c c ur a c y   ( 100% ) ,   l o we s t   R M S E   ( 0. 19 80 )   a n d  M A E   ( 0. 1552 )   a t  t h e   e x pe n s e   o f   a c c e pt a bl e   e xe c ut i o n   t i m e   ( 3156. 30  s e c o n ds )   a n d  c l us t e r i n g  t i m e   ( 10. 32  s e c o n ds ) .     F i na ll y ,   a   c o m pa r i s o n   w i t h   ot h e r   e xi s t i n g  r e s e a r c h   m e t h o ds   a r e   p r e s e n t e d  i n   T a bl e   5   f o r   K = 4  a n d  K = 8  w hi c h   de m o ns t r a t e s   t h e   s upe r i o r i t y   o f   o ur   p r o p o s e d  A pa c h e   S pa r k  b a s e d  F C M   o v e r   GM M ,   E M   a n d    K - M e a n s   c l u s t e r i n g  a ppr o a c h e s   w i t h   100%   c l us t e r i n g  a c c ur a c y .   F r o m   T a bl e   5 ,   i t   i s   o b s e r ve d  t h a t  o ur   pr o p o s e d  A pa c he   S pa r k  b a s e d  GM M   a n d  F C M   o ut pe r f o r m s   t h e   K - m e a n s   a n d  E M   c l us t e r i n g  a ppr oa c he s   in  t e r m s   o f   %   a c c ur a c y   w i t h   95. 69% ,   100 %   wi t h   o p ti m a l   c l u s t e r   K = 4  r e s pe c t i ve ly .   W h e r e a s ,   f o r   K = 8,   F C M   i s   m o s t   a c c ur a t e   wi t h   100%   a c c ur a c y   i n   c o m pa r i s o n   to   87 . 39%   f o r   GM M ,   90 . 92%   f o r   K - M e a ns   [ 3 5 ]   a n d  91. 67%   f o r   E M   c l us t e r i n g  [ 3 5 ] .     F r o m   a ll   t h e   c o m pa r i s o n s   pr e s e n t e d  i n   T a bl e s   3   to  5 ,   i t   i s   qu i t e   e vi de n t   t h a t   A pa c h e   S pa r k  b a s e d   F C M   c l us t e r i n g  i s   t h e   w i nne r   f o l l o we d  by   G M M   a n d  t h e n   K - m e a ns + + ,   w i t h   hi g he s t   c l us t e r i n g   a c c ur a c y   ( 100%   f o r   4 ,   10 ,   a n d  40  c l u s t e r s )   wi t h   l o we s t   R M S E   ( 0. 1980 ,   0 . 1300,   0. 0554   f o r   4,   10 ,   a n d  40  c l u s t e r s   r e s pe c t i ve ly )  w i t h   a c c e pt a bl e   M A E   ( 0. 1552 ,   0. 09 92 ,   a n d  0 , 0424   f o r   4 ,   10 ,   a n d  40   c l u s t e r s   r e s pe c ti ve ly )   i n   c o m pa r i s o n   to   K - m e a n s + +   b ut   t a ke s   l i t t l e   m o r e   e x e c ut i o n   t i m e   t h a n   K - m e a ns + + ,   b ut   l e s s   t h a n   GM M   i n  d i s t r i b ut e d  c l u s t e r i n g  pr o c e s s .         T a bl e   2 .   S i l h o ue t t e   s c o r e   c o m pa r i s o n   f o r   t r a di t i o n a l   a n d  d i s t r i b ut e d  c l us t e r i n g   A lg o r i th m   N umbe r   of   c lu s t e r s   S il ho u e tt e  s c o r e   S im pl e   K - m e a ns   4   0.5780   10   0.5085   40   0.3437   A pa c he  S pa r k  K - m e a ns + +   4   0.4289   10   0.3743   40   0.3857   A pa c he  S pa r k  G M M   4   0.4220   10   0.3239   40   0.3523   A pa c he  S pa r k  F C M   4   0.4205   10   0.3698   40   0.3917       Af t e r   e x t e n s i ve   e x pe r im e n t s ,   i t   c a n   b e   un de r s t ood  h e r e   t h a t   s o m e t i m e s ,   A pa c h e   S pa r k  t a ke s   m o r e   t i m e   f o r   c l u s t e r i n g  pr o c e s s ,   a s   t h e r e   a r e   too  m a ny   c o n c ur r e n t   t a s ks   r un ni ng  w hi c h   i s   a   b e n e f i c i a l   f e a t ur e   a s   i t   pr o vi de s   f i ne - gr a i ne d  s ha r i n g  a n d  e v e n t ua l ly   l e a ds   to   m a xim u m   ut i li z a t i o n   w hil e   c ut t i n g  do wn   th e   que r y   l a t e n c y .   A t   t h e   s a m e   t i m e ,   di f f i c u l t y   i n   A pa c h e   Sp a r k  i m p l e m e n t a t i o n s   by   n o n - e x pe r t s   i n   m a c hi ne   l e a r ni ng   Evaluation Warning : The document was created with Spire.PDF for Python.
                                I S S N :   2 5 0 2 - 4 7 52   In do n e s i a n   J   E l e c   E n g   &   C o m p  S c i ,  Vo l .   3 7 ,   N o .   1 ,  J a n ua r y   20 2 5 :   335 - 346   344   a n d  de e p  l e a r ni ng  a pp li c a t i o n s   w i t h   b e t t e r   g r a p hi c a l   r e pr e s e n t a t i o ns   i s   a   r e a l   c h a ll e n ge   w hi c h   a r e   to   b e   a ddr e s s e d  i n   t h e   f ut ur e   [ 3 6 ] .   S t i ll ,   t h e   m a c hi ne   l e a r ni ng  l i br a r y   o f   A pa c he   S pa r k  c o n s i de r e d  b e i ng  s c a l a bl e   a m d  m o r e   a c c e s s i bl e   i n   c o m pa r i s o n   to  i t s   c o un t e r pa r t  A pa c h e   Ho d oo p   M a pR e duc e   whil e   de a l i ng  w i t h   bi g  da t a   o f   h u n dr e d s   o f   T B   or   m o r e ,   whi c h   i s   qu i t e   i n t e r e s t i n g  [ 2 0 ] .   T hi s   r e s e a r c h   i s   n o t  y e t   f u ll y   e x p l o r e d;   h e n c e   f ur t h e r   a n d  i n - de pt h   s t ud i e s   m a y   b e   n e e de d  t o  c o nf i r m   i t s   s u i t a bi li t y   e s p e c i a ll y   i n   d e v e l o p i ng  e co - r o u t i ng   m o de l   w hil e   de s i g ni ng  a n   I o V ,   s m a r t   c i t y   a n d  i n t e l li ge n t   t r a n s po r t a t i o n   s c e na r i o   f o r   a   s u s t a i na bl e   e nvi r o nm e n t .         T a bl e   3 .   E x pe r i m e n t a l   r e s u l t s   us i ng  c l u s t e r i n g  a l go r i t hm   i n   A p a c h e   S pa r k  e nvi r o nm e n t   A lg o r i th m/ e r r o r   me a s ur e s   N o   of   c lu s te r s   R M S E   M A E   C lu s te r in g t im e   in  S e c   T ot a l  e xe c ut i o n  ti me  i n s ec   S im pl e   K - m e a ns   4   3.2201   1.7336   4.7395   2089.5237   10   1.4028   0.8711   5.6595   2090.5515   40   0.5157   0.3973   13.6936   2078.3555   A pa c he   S pa r k   K - m e a ns + +   4   2.6011   1.4158   4.4808   22.9585   10   1.4028   0.8711   9.9141   47.2690   40   0.5157   0.3973   30.9308   65.5233       T a bl e   4 .   C o m pa r i s o n   o f   GM M   a n d  F C M   i n   A pa c he   S pa r k  o n   3D  r o a d   n e t w o r k  da t a   s e t   A lg o r i th m/ e r r o r   me a s ur e s   N o   of   c lu s te r s   R M S E   M A E   C lu s te r in g t im e   in   s ec   T ot a l  e xe c ut i o n  ti me  i n s e c   %  A c c ur a c y   A pa c he  S pa r k  G M M   4   0.1997   0.1555   2.64   3291.46   95.69   10   0.1364   0.1046   30.67   3256.24   86.71   40   0.0598   0.0460   74.57   3362.70   86.54   A pa c he  S pa r k  F C M   4   0.1980   0.1552   10.32   3156.30   100   10   0.1300   0.0992   97.29   3268.54   100   40   0.0554   0.0424   843.67   3453.16   100       T a bl e   5 .   C o m pa r i s o n   w i t h   o t h e r s   w o r k  a ppl i e d  o n   3D  r o a d  n e t w o r k   da t a   s e t   A lg o r i th m   K  ( n o .  of   c lu s t e r s )   A c hi e v e d  c lu s t e r in g a c c u r a c y   %   K - m e a ns  [ 3 5 ]   4   91.67   K - m e a ns  [ 3 5 ]   8   90.92   E M  [ 3 5 ]   4   90.71   E M  [ 3 5 ]   8   91.67   O ur s  ( G M M )   4   95.69   O ur s  ( G M M )   8   87.39   Ou r s  ( F C M )   4   100   Ou r s  ( F C M )   8   100       5.   CONC L USI ON   I n   t hi s   r e s e a r c h ,   t h e   a i m   w a s   t o   de v e l o p  a n   e f f i c i e n t   d i s t r i b ut e d  c l us t e r i n g  m o de l   f o r   bi g  da t a   a n a ly t i c s   us i n g  3D  r o a d   n e t w o r k   da t a   s e t .   F o r   a ny   da t a   a n a ly t i c   pr o c e s s ,   da t a   v i s ua li z a t i o n   p l a y s   a   ve r y   vi t a l   r o l e .   S o ,   da t a   di s t r i b ut i o n   w i t h   de n s i t y   p l o t   a n d  pa i r   p l o t  i s   us e d  to  un de r s t a n d  t h e   r e l a t i o ns   a m o n gs t   t h e   v a r i a bl e s .   F ur t h e r ,   to  c h e c k  whe t h e r   a ny   o ut l i e r   i s   pr e s e n t   i n   t h e   da t a   s e t ,  e x pe r i m e n t s   a r e   c o n duc ted   us i n g   A r c GI S   to  a c hi e v e   t hi s .   Ne x t ,   t h e   da t a   s e t   i s   us e d   o n   a n   A pa c h e   S pa r k  b a s e d  e nvi r o nm e n t   us i n g  d i s t r i b ut e d  c l u s t e r i n g  t h r o ugh   K - m e a n s + +   ( pa r a l l e l   K - m e a ns ) ,   GM M   a n d  F C M   a n d  t h e   pe r f o r m a n c e   o f   e a c h   o n e   o f   t h e m   a r e   r e c o r de d  i n   t e r m s   o f   S il h o ue t t e   s c or e ,   c l us t e r i n g  t i m e ,   tot a l   e x e c ut i o n   t i m e ,   R M S E ,  M A E ,   a n d  c l us t e r i n g   a c c ur a c y .     F r o m   t h e   c o m pa r i s o n ,   i t   i s   o b s e r v e d  t h a t   t h e   d i s t r i b ut e d  c l us t e r i n g  t h r o ugh   A p a c h e   S pa r k  b a s e d  K - m e a ns + +   o ut pe r f o r m   t r a di t i o n a l   K - m e a ns   c l us t e r i n g  by   t a k i n g  90  t i m e s   l e s s   t i m e   w i t h   m o r e   a c c ur a t e   c l u s t e r i n g.   Ne x t ,   to   pe r f o r m   f ur t h e r   i nv e s t i g a t i o n  a b o ut   t h e   e f f e c t i v e n e s s   o f   t h e   c l us t e r i n g  pr o c e s s ,   s e v e r a l  ot h e r   c l us t e r i n g  pr o c e s s   s uc h   a s   G M M   a n d  F C M   a r e   e m p l o y e d  i n  A pa c he   S pa r k  d i s t r i b ut e d  e nvi r o nm e n t .   Af t e r   c o m pa r i ng  t h e   r e s u l t s   o b t a i n e d  by   o ur   e x pe r i m e n t s   w i t h   d i f f e r e n t   c l u s t e r i n g  m o de l s   a n d  s u bs e que n t l y  c o m pa r i ng  w i t h   t h e   ot h e r   a v a i l a bl e   r e s e a r c h   a ppli e d  o n   t h e   s a m e   da t a   s e t ,   we   c o n c l ude   t h a t  F C M   b a s e d   d i s t r i b ut e d  c l u s t e r i n g  i s   t h e   b e s t   c l us t e r i n g  m o de l   w i t h   hi g he s t   c l u s t e r i n g  a c c ur a c y   ( 100% ) ,   l o we s t  R M S E   ( 0. 1980)   a n d  M A E   ( 0. 1552 )   a t  t h e   e x pe ns e   o f   a c c e pt a bl e   e x e c ut i o n   t i m e   ( 3156. 30  s e c o n ds ) .    F r o m   t h e   a b o v e   f i nd i ngs ,   i t   i s   e nvi s a ge d  t h a t  t hi s   r e s e a r c h   w i ll   b e   h e l p f u l   i n   w a r r a n t   t h e   f ut ur e   a dv a nc e m e n t   i n   da t a   a n a ly t i c s   a n d  m a c hi ne   l e a r ni ng  e s pe c i a l ly   c l u s t e r i n g  t e c hni qu e s   us i ng  d is t r i b ut e d  c o m put i n g  a ppr o a c h   i n   o r de r   to   un c o v e r   t h e   hi dd e n   i nf o r m a t i o n   f r o m   t h e   v a s t   a m o un t   o f   m o s t  c h a ll e n g i ng   un s t r uc t ur e d   a n d  s pa t i o - t e m po r a l   da t a .   F ur t h e r ,   bi g  da t a   m a c hi ne   l e a r ni ng  us i ng  t h e   e f f e c t i v e ne s s   of   s e v e r a l   Evaluation Warning : The document was created with Spire.PDF for Python.