T E L K O M NIKA   T elec o mm un ica t io n  Co m pu t i ng   E lect ro nics   a nd   Co ntr o l   Vo l.  24 ,   No .   5 ,  Octo b er   20 26 ,   p p .   1 5 3 5 ~ 1 5 4 9   I SS N:  1 6 9 3 - 6 9 3 0 ,   DOI : 1 0 . 1 2 9 2 8 / T E L KOM NI K A . v 24 i 5 . 27639          1535       J o ur na l ho m ep a g e :   h ttp : //telko mn ika . u a d . a c. i d   Dev elo p m e nt  m o del of r e m o te  sens ing  data   m a na g e m en t  for  lo ng - ter m  stora g e  using  big da ta       Riy a n M a hend ra   Sa pu t ra 1 ,   Ag nes   So nd it a   P a y a ni 2 ,   O g i  G u m ela r 2   1 D i r e c t o r a t e   f o r   P o l i c y   F o r mu l a t i o n   o f   R e se a r c h ,   T e c h n o l o g y   a n d   I n n o v a t i o n ,   N a t i o n a l   R e se a r c h   a n d   I n n o v a t i o n   A g e n c y   ( B R I N ) ,  Jak a r t a ,   I n d o n e si a   2 R e se a r c h   C e n t e r   f o r   G e o i n f o r mat i c s,  N a t i o n a l   R e se a r c h   a n d   I n n o v a t i o n   A g e n c y   ( B R I N ) ,   B o g o r ,   I n d o n e si a       Art icle  I nfo     AB ST RAC T     A r ticle  his to r y:   R ec eiv ed   Oct   30 ,  2025   R ev i s ed   J u l   6 ,  2 0 2 6   A cc ep ted   A u g   28 ,  2026       T h e   g ro w in g   v o lu m e   o f   r e m o te se n sin g   d a ta req u ires   e ff icie n t  a p p r o a c h e s f o r  lo n g - term   sto ra g e   a n d   d a ta  m a n a g e m e n t.   T h e   Na ti o n a l  Re m o te  S e n sin g   Da ta  Ba n k   (BDP JN )   sto re s  m u lt i - re so l u ti o n   sa telli te   im a g e r y   a c q u ired   s in c e   1 9 9 3   to   s u p p o rt   d isa ste r  m o n it o ri n g ,   c li m a te  stu d ies ,   n a tu ra l   re so u rc e   m a n a g e m e n t,   a n d   o t h e r  Earth   o b se rv a ti o n   a p p li c a ti o n s.  Ho w e v e r,   m a n a g in g   c o n ti n u o u sly   g ro w in g   a rc h iv e s  re m a in s  c h a ll e n g in g   d u e   to   m a n u a l  m i g ra ti o n   p ro c e ss e s,  in e f f icie n t  sto ra g e   u ti l iza ti o n ,   a n d   li m it e d   sc a lab il i ty .   T h is  stu d y   p ro p o se s  a n   i n teg ra ted   re m o te   se n sin g   d a ta  m a n a g e m e n t  m o d e l  t h a t   c o m b in e s  h iera rc h ica l  sto ra g e   m a n a g e m e n t  (HSM )  w it h   A p a c h e   S p a rk - b a se d   p a ra ll e l  p ro c e ss in g   t o   s u p p o rt  p o l icy - d riv e n   d a ta  m ig r a ti o n   a n d   l o n g - term   sto ra g e   o p ti m iza ti o n .   T h e   p ro p o se d   m o d e l  e n a b les   d a ta   m i g ra ti o n   a c ro ss   m u lt ip le  sto ra g e   ti e rs  b a se d   o n   d a ta   c h a ra c teristics   a n d   st o ra g e   p o li c ies   w h il e   im p ro v in g   m ig ra ti o n   e f f icie n c y   th ro u g h   d istri b u te d   p ro c e ss in g .   Ex p e rim e n tal  e v a lu a ti o n   w a s  c o n d u c ted   u si n g   L a n d sa t - 8 ,   S P OT - 6 ,   S P OT - 7 ,   a n d   P leia d e s  d a tas e ts  u n d e r  b o t h   1   G b p s  a n d   1 0   G b p s  n e tw o rk   e n v iro n m e n ts.  T h e   re su lt s  d e m o n stra te  m ig ra ti o n   p e rf o r m a n c e   im p ro v e m e n ts  ra n g in g   f ro m   8 0 . 1 4 %   to   9 1 . 0 4 %   c o m p a re d   w it h   th e   e x isti n g   m a n u a l  m i g ra ti o n   sy ste m .   T h e se   f in d in g s  in d ica te  th a t  i n teg ra ti n g   HSM   w it h   S p a rk - b a se d   p a ra ll e l  p r o c e ss in g   c a n   re d u c e   m ig ra ti o n   b o t tl e n e c k s,  im p ro v e   sto ra g e   u ti li z a ti o n ,   a n d   p r o v id e   a   sc a lab le  a n d   c o st - e ff e c ti v e   a p p ro a c h   f o r   m a n a g in g   larg e - sc a le  re m o te  s e n sin g   a rc h iv e s  w h il e   su p p o r ti n g   lo n g - term   d a ta g o v e rn a n c e   a n d   a c c e ss ib il it y .   K ey w o r d s :   B ig   d ata   Data   d is tr ib u tio n   Data   m a n ag e m e n t   Hier ar ch ical  s to r ag e  m an a g e m e n t   Satellite   T h is i s  a n   o p e n   a c c e ss   a rticle   u n d e r th e   CC B Y - SA   li c e n se .     C o r r e s p o nd ing   A uth o r :   R i y a n   Ma h en d r a  Sap u tr a   Dir ec to r ate  f o r   P o licy   Fo r m u l atio n   o f   R e s ea r ch ,   T ec h n o lo g y   an d   I n n o v a tio n   Natio n al  R e s ea r ch   a n d   I n n o v a tio n   A g e n c y   ( B R I N)   B . J .   Ha b ib ie   B u ild in g , 5 th   Flo o r ,   J l.   M. H.   T h a m r in   No .   8 ,   C en tr al  J ak ar ta,   1 0 3 4 0 ,  I n d o n esia     E m ail:  r i y an . m a h en d r a. s ap u tr a@ b r in . g o . id       1.   I NT RO D UCT I O N   R em o t e  s en s in g   d at a   h av e  b e c o m e  c r u c i a l  f o r   l o n g - t e r m   e n v i r o n m en ta l   m o n it o r in g ,   p r o v i d in g   c o n t in u o u s   an d   h is t o r i ca l   o b s e r v a ti o n s   o f   th e   E a r th   o v e r   d e c a d e s .   L o n g - te r m   s at e l li t e   r e c o r d s   e n a b l e   q u an ti t a tiv e  d o c u m en t a ti o n   o f   e n v i r o n m en ta l   c h an g e   th a t   w o u l d   b e   im p o s s i b l e   w ith   s h o r t - t e r m   o r   g r o u n d - b as e d   o b s e r v at i o n s   a l o n e .   R e m o te  s e n s i n g   o f f e r s   co n ti n u o u s ,   w id e - ar ea   co v er ag e  t h r o u g h   s atellite s   an d   o th er   s e n s o r s ,   s ig n i f ica n tl y   i m p r o v i n g   o u r   ab ilit y   to   o b s er v e  cli m ate  v ar iab ilit y   an d   ec o lo g ical  ch a n g e s   at  g lo b al  an d  r eg io n al  s ca les  o v er   t i m e   [ 1 ] .  E f f ec tiv e  lo n g - ter m   m o n i to r in g   d ep en d s   n o t  o n l y   o n   d ata  a v ailab ilit y   b u t   also   o n   th e  p r eser v at io n   o f   h is t o r ical  ar ch iv es,  d ata  i n teg r i t y ,   an d   ef f ic ien t  d ata  m an a g e m en t  an d   ac ce s s   m ec h a n i s m s .   T h ese  ex te n s i v e   ti m e - s er ies  d ataset s   f o r m   a n   in d is p en s ab le  f o u n d atio n   f o r   d etec tin g   tr en d s ,   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   1 6 9 3 - 6930   T E L KOM NI K A   T elec o m m u n   C o m p u t E l  C o n tr o l ,   Vo l.  24 ,   No .   5 ,  Octo b e r   20 26 :  1 5 3 5 - 1549   1536   v alid ati n g   m o d els,  an d   d ev is i n g   p o licies  in   d o m ain s   s u c h   as  clim ate  ch a n g e  ad ap tatio n ,   n atu r al  r eso u r ce   m an a g e m e n t,  an d   d is aster   m o n ito r in g .     A s   r em o t e   s e n s in g   a r ch iv es   co n t in u e   t o   ex p an d ,   t h e i r   l o n g - t e r m   v a lu e   i n c r e a s i n g ly   d e p en d s   o n   th e  a b i l i ty   t o   m an ag e   an d   p r es e r v e   l a r g e   v o lu m e s   o f   h e t e r o g en e o u s   d a t a   i n   a   r e li a b l e  m an n e r .   M o d e r n   E a r th   o b s e r v at i o n   m i s s i o n s   g en e r a te   m as s i v e   d a t a   s t r ea m s   w ith   h ig h   v o lu m e ,   v e l o ci ty ,   a n d   v a r i ety ,   d r i v e n   b y   m u lt i - s en s o r   p l a tf o r m s   an d   in c r e as in g   s p a t ia l ,   s p e ct r a l ,   an d   t em p o r a l   r e s o l u t i o n s   [ 2 ] .   T h e s e   c h a r a ct e r is t i cs   p o s e  s ig n if i c an t   c h al l en g es   f o r   d a t a  s t o r a g e ,   a cc e s s ,   an d   l o n g - t e r m   p r e s e r v at i o n ,   p a r t i cu l a r ly   w h en   d a t as e ts   r em ain   u s a b l e   f o r   f u tu r e   s c i en tif i c   an aly s i s   a n d   p o li cy   f o r m u l a ti o n .   W i t h o u t  a p p r o p r i a t e   l o n g - t e r m   s to r a g e   s t r a te g i e s ,   th e  s u s ta in a b i li ty   an d   r e u s a b i li ty   o f   r em o t e   s e n s in g   b ig   d a t a   w o u l d   b e   s ev e r ely   c o m p r o m is ed   [ 3 ] .   I n   o p e r a t i o n al  e n v i r o n m en ts ,   th es e   ch al l en g es   a r e   o f t en   r e f l e c te d   in   m an u a l  d a t a   m ig r a ti o n ,   in ef f i ci en t   s t o r a g e   u ti l iz a t i o n ,   an d   l im i t e d   s c a la b i l ity   o f   e x i s t in g   s to r a g e   w o r k f l o w s .   C l o u d - b as e d   a r ch it e c tu r es   an d   d a t a   l if e cy c l e   m an ag em en t   f r am e w o r k s   h a v e   b e e n   ex p l o r e d   t o   s u p p o r t  s c a l a b l e   a c c es s   a n d   s u s t a in e d   u s a b i li ty   o f   l a r g e   an d   h e t e r o g en e o u s   r em o t e   s en s in g   d a t as e ts   [ 4 ] .   T o   a d d r e s s   th es e   c h a ll en g e s ,   in   l a r g e - s c a l e   d a t a  r e p o s i t o r i e s   an d   d a t a - in t en s iv e   c o m p u tin g   en v i r o n m en ts ,   h i e r a r ch i c a l   s t o r a g e  a p p r o a c h e s   a r e   u s e d   t o   m an ag e  d a t a   p l a c em en t   a c r o s s   m u lt i p le   s t o r ag e   t ie r s   in   o r d e r   t o   b a l an c e   p e r f o r m an c e   an d   s t o r ag e   ef f ic i en cy .   Hi e r a r ch i ca l   s t o r a g e   m an ag em en t   ( H SM )   e n a b l e s   d a t a   t o   b e   d is t r i b u t e d   a c r o s s   d if f e r en t  s t o r ag e   t i e r s   a c c o r d in g   t o   a c ce s s   p a tt e r n s   an d   w o r k l o a d   ch a r a c t e r is t i cs ,   a ll o w in g   f r e q u en t ly   ac c e s s e d   d a t a   t o   r e s i d e   o n   h i g h - p e r f o r m an c e   s to r a g e   w h il e   l es s   a ct iv e   d a t a   ar e   p l a c e d   o n   l o w e r - c o s t   ti e r s   [ 5 ] .   R e c en t   s tu d i es  f u r th e r   d em o n s t r a t e  th a t  au t o m a te d   an d   in t e l li g e n t   ti e r e d   s t o r ag e   m ec h an i s m s   ca n   d y n am ic a l ly   a d a p t   t o   c h an g in g   a c c es s   p a t te r n s   an d   s i g n if i c an tly   im p r o v e   d a t a   p r o c e s s i n g   p e r f o r m a n c e   a n d   s y s t em   ef f i c i en cy   i n   d i s t r i b u t e d   p la tf o r m s   s u ch   as   H a d o o p   a n d   S p a r k - b as e d   in f r a s t r u c tu r es ,   as   w e ll   as   in   ex t r em e - s c a le   s ci en t if i c   c o m p u t in g   en v i r o n m en ts   [ 5 ] ,   [ 6 ] .   B ig   d ata  tec h n o lo g ie s   p r o v id e  s ca lab le  i n f r astru c tu r es   f o r   s to r in g ,   m an a g i n g ,   an d   p r o c ess i n g   t h e  r ap id ly   g r o w in g   v o lu m es  o f   r e m o te  s e n s i n g   d ata.   I n   co n t r ast  to   tr ad itio n al  ce n tr alize d   s y s te m s ,   b ig   d at a   p latf o r m s   ar e  d esig n ed   to   h an d le  h ig h   d ata  v o lu m e,   v elo cit y ,   an d   v ar iet y   t h r o u g h   d is tr ib u ted   s to r ag e  an d   p ar allel  p r o ce s s in g   m ec h a n i s m s .   Dis tr ib u ted   co m p u ti n g   f r a m e w o r k s   s u c h   as  A p ac h e  H ad o o p   an d   A p ac h e  Sp ar k   en ab le  p ar allel  d ata  p r o ce s s in g   a n d   ef f icie n t  h an d li n g   o f   m as s iv e  g eo s p atial  d at asets   b y   e x ec u ti n g   co m p u tatio n s   ac r o s s   m u l tip le   n o d es,  th er eb y   i m p r o v i n g   th r o u g h p u t  an d   r ed u ci n g   p r o ce s s in g   ti m e  f o r   d ata - in te n s i v e  w o r k lo ad s   [ 7 ] ,   [ 8 ] .   T h ese  ca p ab ilit ies  m ak e  b i g   d ata  tech n o lo g ies  p ar tic u lar l y   s u i tab le  f o r   lar g e - s ca le  r em o te  s e n s i n g   ar ch iv e s ,   w h er e  d ata  in g e s tio n ,   m i g r atio n ,   an d   ac ce s s   o p er atio n s   m u s t  b e  p er f o r m ed   ef f icien tl y   o v er   co n ti n u o u s l y   e x p an d in g   d ataset s .   F u r th er m o r e,   in teg r ati n g   d is tr ib u ted   p r o ce s s i n g   w i th   s to r ag e   s y s te m s   en ab les   ad v an ce d   d at a  m a n ag e m e n t  s tr ate g ies,  s u c h   as  p ar allel  d ata  m i g r atio n   an d   p o lic y - d r i v en   d ata   p lace m en t.  T h ese  s tr ate g ies  ar e  ess e n tial  f o r   i m p r o v i n g   th e   s ca lab ilit y   a n d   o p er atio n al  ef f i cien c y   o f   lar g e  an d   co n ti n u o u s l y   g r o w i n g   r e m o te  s en s in g   d ata  r ep o s ito r ies.   E x is ti n g   s t u d ies  o n   r e m o te  s en s i n g   b ig   d ata  m a n ag e m e n t   h av e  i n v e s ti g ated   v ar io u s   a p p r o ac h es,   in cl u d in g   p ar allel  d ata  p r o ce s s i n g   f r a m e w o r k s ,   d is tr ib u te d   b ig   d ata  p r o ce s s in g ,   an d   h ier ar ch ical  s to r ag e   ar ch itec t u r es  [ 7 ] - [ 1 0 ] .   T h ese  w o r k s   e m p h as ize  th e   i m p o r tan ce   o f   s ca lab le  co m p u tati o n ,   ef f icie n t  d ata   lif ec y cle  m a n a g e m e n t,  an d   lo n g - ter m   s to r ag e  s tr ate g ie s   f o r   lar g e  r em o te  s e n s in g   ar ch i v es.  Ho w e v er ,   m o s t   ex is t in g   ap p r o ac h es  ad d r ess   th ese  a s p ec ts   in   i s o latio n ,   f o cu s i n g   eit h er   o n   ac ce ler ati n g   lar g e - s ca le  d ata   p r o ce s s in g   o r   o n   s tr u c tu r i n g   s to r ag e  h ier ar ch ies,  w i th o u t  p r o v id in g   an   i n teg r ated   o p er atio n al  f r a m e w o r k   t h at  j o in tl y   co n s id er s   HSM  a n d   p ar allel  m i g r atio n   m ec h a n is m s .   C o n s eq u e n tl y ,   th e  lack   o f   u n if ied   m o d el s   li m it s   th e  ef f ec ti v e n es s   o f   lar g e - s ca l e  ar ch iv e  m an a g e m en t in   d ata - in te n s i v e  r e m o te  s e n s in g   en v ir o n m e n ts .   T o   f u r th er   clar i f y   th e  n o v elt y   o f   th i s   s t u d y ,   T ab le  1   co m p ar es  r ep r esen tativ e  p r io r   w o r k s   w it h   t h e   p r o p o s ed   m o d el.   T h e  r ev ie wed   s tu d ies   h a v e  co n tr ib u ted   t o   d if f er e n t  asp ec t s   o f   r e m o te   s en s i n g   b ig   d ata   m an a g e m e n t.  Ho w ev er ,   w it h in   th e  r e v ie w ed   liter at u r e,   th ese  ap p r o ac h es  g e n er all y   ad d r ess   s to r ag e   m an a g e m e n t,  d ata  p r o ce s s in g ,   o r   m i g r atio n   p er f o r m a n ce   as  s ep ar ate  co n ce r n s .   L i m ited   atten tio n   h as  b ee n   g iv e n   to   an   o p er atio n al  m o d el   th at  co m b in e s   H SM - b ased   s t o r ag e  tier in g ,   Sp ar k - b ased   p ar allel  m ig r atio n ,   an d   p o licy   d r i v en   m i g r atio n   r u les  f o r   lo n g - ter m   n a tio n al  r e m o te   s en s in g   ar ch iv e s .   T h is   s t u d y   ad d r ess es  th i s   g ap   b y   p r o p o s in g   an d   ev al u ati n g   an   in te g r ated   HSM – Sp ar k   ar ch itect u r e  f o r   s ca lab le  lo n g - ter m   m a n a g e m e n t  o f   r e m o te  s en s i n g   ar ch iv e s .   T h is   li m ita tio n   b ec o m es  m o r e  ev id en t  i n   th e  co n tex t  o f   I n d o n esia ’ s   Natio n al  R e m o te  Se n s i n g   Data   B an k   ( B DP J N) ,   w h ich   m an a g es  m u lti - r eso l u tio n   s atellite  i m a g er y   to   s u p p o r t  n atio n al  r esear ch   an d   p o licy   n ee d s .   C u r r en t l y ,   d ata   m ig r ati o n   ac r o s s   s to r ag e  m ed ia  i s   lar g el y   p er f o r m ed   m a n u al l y   u s i n g   a g e - b ased   r u les,   w h ic h   ar e  i n s u f f ic ien t   to   ca p t u r e  d iv er s e   d ata  p r io r ities   an d   ac ce s s   p atter n s .   As  a  r e s u lt,   t h e  e x is ti n g   s y s te m   lack s   au to m ated ,   p o licy - d r iv e n   m i g r atio n   an d   p ar allel  p r o ce s s i n g   ca p ab ilit ies,  co n s tr ain i n g   its   s ca lab ilit y   a n d   o p er atio n al  ef f icie n c y   f o r   m a n ag i n g   c o n ti n u o u s l y   g r o w in g   r e m o te  s en s i n g   ar ch iv e s .   A lt h o u g h   r ec en t  s tu d ie s   h av e  p r o p o s ed   g o v er n an ce   a n d   d ata  q u ality   m a n ag e m e n t  f r a m e w o r k s   f o r   B DP J N  [ 1 1 ] ,   is s u es  r elate d   to   lar g e - s ca le  d ata  m ig r atio n   p er f o r m an ce   an d   s to r ag e  o p ti m izatio n   r e m a in   i n s u f f icie n tl y   ad d r ess ed .   T h ese  g a p s   Evaluation Warning : The document was created with Spire.PDF for Python.
T E L KOM NI K A   T elec o m m u n   C o m p u t E l  C o n tr o l         Dev elo p men t m o d el  o f remo te  s en s in g   d a ta   ma n a g eme n t f o r   lo n g - term  …   ( R iya n   Ma h en d r a   S a p u tr a )   1537   in d icate   th e  n ee d   f o r   an   in te g r ated   d ata   m a n a g e m e n t  m o d el   th at  co m b i n es  HS M  w i th   p ar allel  p r o ce s s in g   to   s u p p o r t e f f icien t,  s ca lab le,   an d   p o licy - d r iv e n   m ig r atio n   o f   lar g e  r e m o te  s e n s i n g   ar ch i v es.   I n   ad d itio n   to   th e  co r e   tech n o lo g ies  d is cu s s ed   ab o v e,   r ec e n t  d ev elo p m e n ts   f u r t h er   e m p h asize  t h e   n ee d   f o r   i n te g r ated   s to r ag e   an d   p r o ce s s in g   f r a m e w o r k s .   C lo u d - b ased   p lat f o r m s ,   m u l ti - s o u r ce   d ata  in te g r atio n ,   an d   m ac h i n e  lear n i n g - d r iv e n   an al y s is   h av e  b ee n   w id el y   ad o p ted   t o   s u p p o r t   en v ir o n m en t al  m o n ito r in g ,   lan d   u s e  a n al y s is ,   an d   d ec is io n - m a k in g   p r o ce s s es  [ 1 2 ] - [ 1 8 ] .   I n   p ar allel,   r ec en t  s tu d ies  h a v e  h ig h li g h ted   th e  r o le  o f   s tr ateg ic  tr a n s f o r m at io n   an d   s u s tai n ab ilit y   in   i m p r o v i n g   t h e  ad ap tab ilit y   a n d   ef f icie n c y   o f   o r g a n izatio n al  s y s te m s   [ 1 9 ] .   I n   th e  s to r ag e  d o m a in ,   H SM  h a s   ev o l v ed   w it h   ad ap tiv e  a n d   in tel lig e n t  m e ch an i s m s ,   i n cl u d in g   r ein f o r ce m en t  lear n i n g   a n d   wo r k lo ad - a w ar e  d ata  p lace m en t ,   to   o p tim ize  s to r ag e  e f f icien c y   an d   p er f o r m a n c e   in   lar g e - s ca le  s y s te m s   [ 2 0 ] ,   [ 2 1 ] .   R ec en t  ad v an ce m en ts   also   ex p lo r e  w o r k lo ad - a w ar e  ar ch itectu r es  an d   d o m ai n - s p ec i f ic  i m p le m e n tati o n s   o f   h ier ar ch ical  s to r ag e,   s u c h   as  b lo ck - b ased   m a n ag e m en t  f r a m e w o r k s ,   lar g e - s ca le  s cie n ti f ic  d ata  h an d li n g ,   an d   h ier ar ch ica l  ac ce s s   co n tr o l  m o d els  i n   d is tr i b u ted   s to r ag e   en v ir o n m e n t s   [ 2 2 ] ,   [ 2 3 ] .   T h ese  d ev elo p m en ts   f u r t h er   co n f ir m   t h e  n ee d   f o r   in te g r ate d   f r a m e w o r k s   t h at  co m b i n e  s to r ag e  m a n ag e m e n t   an d   p ar allel  p r o ce s s i n g   ca p ab ilit ies  to   s u p p o r t  lo n g - ter m   a n d   s ca lab le  r e m o te   s en s in g   d ata  m a n a g e m e n t.   T h e  m ai n   co n tr ib u tio n s   o f   th is   s tu d y   ar e  th r ee f o ld .   First,  th is   s t u d y   p r o p o s es  an   in teg r ated   d ata   m an a g e m e n t  m o d el  th a t  co m b in es  HSM  w it h   b ig   d ata  tech n o lo g ies  to   s u p p o r t  s ca lab le  an d   ef f icie n t  h a n d lin g   o f   lar g e  r e m o te  s e n s i n g   d ata  ar ch iv es.  Seco n d ,   it  in tr o d u ce s   p o licy - d r iv e n   d ata  m i g r at io n   r u les  b ased   o n   m u ltip le  d ata  attr ib u tes,  in clu d in g   d ata  ag e,   f ile  class ,   f i le   s iz e,   p r io r ity ,   an d   s to r ag e  ca p ac it y   th r es h o ld s ,   w h ic h   ar e  ex ec u ted   w i th i n   a  Sp ar k - b ased   p ar allel  p r o ce s s in g   en v ir o n m e n t.  T h ir d ,   th is   s tu d y   p r ese n ts   an   e n d - to - en d   p er f o r m an ce   e v alu a tio n   o f   th e  p r o p o s ed   f r a m e w o r k ,   co v er in g   d ata  m ig r atio n ,   d ata  d is tr ib u tio n ,   an d  d ata  ac ce s s   s ce n ar io s   u n d er   b o th   1   Gb p s   an d   1 0   Gb p s   n et w o r k   in f r astr u ctu r e s ,   an d   r ep o r ts   p er f o r m a n ce   i m p r o v e m en t s   co m p ar ed   to   th e  ex is ti n g   s y s te m .   T h ese  co n t r ib u tio n s   ar e  ex p ec ted   to   s u p p o r t  m o r e  s ca lab le,   ef f icien t,  an d   s u s tain ab le  m an ag e m e n t  o f   n atio n a l  r e m o te  s e n s i n g   ar ch iv e s .   T h e y   ar e  p ar ti cu lar l y   r ele v an t  f o r   cli m ate  m o n i to r in g ,   d is a s ter   m an ag e m e n t,  n at u r al  r eso u r ce   m o n ito r in g ,   an d   lo n g - ter m   s cie n tif ic  r esear c h .       T ab le  1 .   R elate d   w o r k s   o n   r e m o te  s e n s i n g   b i g   d ata  m a n ag e m en t a n d   ar ch i v es   S t u d y   F o c u s   M e t h o d   /   t e c h n o l o g y   K e y   f i n d i n g s   L i mi t a t i o n s   C h i   e t   a l .  [ 7 ]   B i g   d a t a   f o r   r e mo t e   se n si n g   S t a t e - of - t h e - a r t   r e v i e w   I d e n t i f i e d   c h a l l e n g e s i n   st o r a g e ,   mi g r a t i o n ,   a n d   v i su a l i z a t i o n   C o n c e p t u a l ;   n o   i mp l e me n t a t i o n   o f   i n t e g r a t e d   f r a mew o r k   C h e b b i   e t   a l .  [ 8 ]   B i g   d a t a   p r o c e ssi n g   f o r   r e mo t e   se n si n g   C o mp a r i so n :   H a d o o p   M a p R e d u c e   v s.   S p a r k   S p a r k   mo r e   e f f i c i e n t   f o r   i t e r a t i v e   r e mo t e   se n si n g   t a s k s   F o c u se d   o n   c o m p u t a t i o n ;   d i d   n o t   i n t e g r a t e   w i t h   s t o r a g e   man a g e me n t   L a n   e t   a l .   [ 9 ]   L a r g e - sca l e   r e m o t e   se n si n g   d a t a   p r o c e ssi n g   S p a r k - b a se d   p a r a l l e l   i n - me mo r y   p r o c e ssi n g   o n   c l o u d   p l a t f o r ms   P r o c e sse d   ~ 1 0 7 . 4   G B   o f   L a n d sat   8   d a t a   i n   1 , 0 1 8   s ,   d e mo n st r a t i n g   sc a l a b l e   p r o c e ssi n g   o f   l a r g e   r e mo t e   se n si n g   d a t a se t s   S t o r a g e   l i f e c y c l e   man a g e me n t   a n d   g o v e r n a n c e   w e r e   o u t si d e   t h e   sco p e   o f   t h e   st u d y   W u   a n d   F u   [ 1 0 ]   R e mo t e   se n si n g   d a t a   man a g e me n t   M e t a d a t a - d r i v e n   f i l e   a n d   d a t a b a se   ma n a g e me n t   sy st e m (D B M S )   I mp r o v e d   r e t r i e v a l   a n d   c a t a l o g i n g   o f   a r c h i v e s   D i d   n o t   a d d r e ss mi g r a t i o n   sp e e d   o r   sca l a b l e   t i e r e d   st o r a g e   L e e   a n d   K a n g   [ 2 4 ]   G e o sp a t i a l   b i g   d a t a   a r c h i t e c t u r e   T h r e e - l a y e r   d e si g n   ( d a t a – p r o c e ss – se r v i c e )   P r o v i d e d   a r c h i t e c t u r a l   mo d e l   f o r   i n t e g r a t i o n   a n d   a n a l y t i c s   H i g h - l e v e l ;   l a c k s v a l i d a t i o n   i n   mi g r a t i o n   a n d   l o n g - t e r m  st o r a g e   H u a n g   e t   a l .  [ 2 5 ]   C l o u d - b a se d   r e mo t e   se n si n g   b i g   d a t a   man a g e me n t   C l o u d   c o mp u t i n g   a r c h i t e c t u r e   D e mo n st r a t e d   t h e   a b i l i t y   o f   c l o u d   c o m p u t i n g   t o   su p p o r t   s c a l a b l e   st o r a g e   a n d   p r o c e ssi n g   o f   l a r g e   sat e l l i t e   i mag e r y   d a t a se t s   D i d   n o t   sp e c i f i c a l l y   i n t e g r a t e   H S M - b a se d   t i e r i n g   w i t h   S p a r k - b a se d   p a r a l l e l   mi g r a t i o n   p o l i c i e s       2.   M E T H O D   T h is   s tu d y   d ev elo p s   a  r e m o te  s en s in g   d ata  m an a g e m en t  m o d el  b y   i n te g r ati n g   H SM  w it h   a  b ig   d ata   p r o ce s s in g   f r a m e w o r k .   T h e  r esear ch   m et h o d   co n s i s ts   o f   f o u r   m ai n   s ta g es:  a n al y s i s   o f   t h e  e x is ti n g   B DP J N  s to r ag e  w o r k f lo w ,   d ev elo p m e n t  o f   th e  p r o p o s ed   HSM – Sp ar k   ar ch itect u r e,   f o r m u latio n   o f   m i g r atio n   p o licies,   an d   ex p er i m en ta l e v a lu at io n .   T h e  ex p er i m e n tal  eq u ip m e n t  u s ed   in   th i s   s tu d y   h ad   th e   f o llo w i n g   s p ec i f icatio n s :   ( i)   o n e  m a s ter   s er v er   w it h   6 4   co r es  an d   6 4   GB   o f   m e m o r y ,   ( ii)  w o r k er   s er v er s   w it h   3 2   co r es  an d   1   GB   o f   m e m o r y ,   ( iii)  m ai n   s to r ag e   w it h   a   ca p ac it y   o f   1   p etab y t e,   ( iv )   s ec o n d ar y   s to r ag e  w it h   a  ca p ac it y   o f   7 5 0   ter ab y te s ,   ( v )   n et w o r k   co n f ig u r atio n s   o f   1 0   Gb p s   an d   1   Gb p s ,   an d   ( v i)   a  d atab ase  s er v er   u s i n g   P o s tg r e SQ L .         Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   1 6 9 3 - 6930   T E L KOM NI K A   T elec o m m u n   C o m p u t E l  C o n tr o l ,   Vo l.  24 ,   No .   5 ,  Octo b e r   20 26 :  1 5 3 5 - 1549   1538   2 . 1 .     E x is t ing   B DP J N  s t o ra g e  w o rk f lo w   T h e  B D P J N   s y s te m   i s   d ev el o p ed   to   s u p p o r t   ac tiv ities   r an g in g   f r o m   d ata  ac q u is it io n ,   p r o ce s s in g ,   s to r ag e,   d is tr ib u tio n ,   an d   d is s e m i n atio n   o f   r e m o te  s e n s in g   d ata  an d   in f o r m atio n .   T h e  i m p le m e n tat io n   o f   B DP J N  r ef er s   to   I n d o n esia n   Sp ac e  L a w   No .   2 1   o f   2 0 1 3 ,   w h ich   r e g u lates  n atio n a l  r em o te  s e n s i n g   d ata  m an a g e m e n t.  Fi g u r e  1   ill u s tr a tes  t h e  L ev el - 1   d ata  f lo w   o f   th e  B DP J N  s y s te m .   T h e  s y s te m   co n s is ts   o f   s e v er al   m ai n   e n titi e s   t h at  i n ter ac t  w it h in   t h e  r e m o te   s e n s i n g   d ata  m an a g e m e n t  w o r k f lo w .   U s er s   r ep r esen t  g r o u p s   o f   r e m o te  s en s in g   i m a g e  u s er s   w h o   ca n   s ea r c h   an d   o b tain   d ata  th r o u g h   t h e  d is s e m i n atio n   s y s te m .   T h e  d ata  ac q u is itio n   s y s te m   is   r esp o n s ib le  f o r   o b tain in g   r e m o t e  s en s i n g   i m a g er y   t h r o u g h   ac q u is itio n ,   d at a   p r o cu r em e n t,  a n d   d o w n lo ad in g   f r o m   i n ter n a tio n al  g r o u n d   s tatio n s .   T h e  d ata  m a n ag e m e n t  s y s te m   r eg u late s   d ata  s to r ag e,   in cl u d i n g   r e g is tr atio n ,   m i g r atio n ,   ar c h i v in g ,   an d   d ata  ac ce s s .   T h e  d ata  p r o ce s s in g   s y s te m   p r o v id es  v alu e - ad d ed   p r o d u cts  f r o m   t h e  ac q u ir ed   d ata.   T h e  d ata  d is s e m i n atio n   s y s te m   d is tr ib u tes  d ata  an d   in f o r m atio n   t h r o u g h   t h e  d ata   ca talo g   s u b s y s te m .   T h e  d atab ase  ac ts   a s   t h e  ce n tr al  r ep o s ito r y   t h at  r ec o r d s   ac tiv itie s   w it h i n   th e  B DP J N  s y s te m .   T h er e  ar e  th r ee   ap p r o ac h es  to   r em o te  s e n s in g   i m ag e  s to r ag e   m an a g e m e n t:  f ile - b ased   s to r ag e  m a n a g e m en t,  g eo g r ap h i ca l  d atab a se - b ased   m a n a g e m en t,  an d   a  h y b r i d   ap p r o ac h   co m b in i n g   f i le  an d   d atab ase  m a n ag e m e n t  [ 1 0 ] .           Fig u r e  1 .   B DPJ N  s y s te m   lev e l   1   d ata  f lo w   ch ar t       2 . 2 .     P r o po s ed  H SM - SPAR K   inte g ra t ed  a rc hite ct ure   T o   a d d r ess   th e  li m itatio n s   o f   t h e  ex is ti n g   B DP J N  w o r k f lo w ,   th is   s t u d y   p r o p o s es a n   i n te g r a ted   HSM – Sp ar k   ar ch itect u r e  to   en ab le  s ca lab le  r em o te  s en s in g   d ata  m i g r atio n   a n d   p o licy - d r iv e n   s to r ag e  m a n ag e m e n t.   B ig   d ata  g eo s p atial  s y s te m s   ar e  g en er all y   o r g a n ized   i n to   th r ee   la y er s :  g eo s p atial  b ig   d ata  in te g r atio n   a n d   m an a g e m e n t,  g eo s p atial  b i g   d ata  an al y tics ,   a n d   g eo s p atial  b i g   d ata  s er v ice  p lat f o r m s .  T h e  f ir s t la y er   f u n ctio n s   f o r   s to r in g ,   r etr iev i n g ,   in d ex i n g ,   an d   s ea r ch in g   g eo s p atial   d ata.   T h e  s ec o n d   lay er   s er v es  to   in ter ac tiv el y  an al y ze   g eo s p atial  d ata  i n   r ea l - ti m e  a n d   d y n a m ic  d ata.   T h e   th ir d   la y er   f u n ctio n s   a s   a  s er v ice  p lat f o r m   t h at  h an d le s   u s er   in ter ac tio n   w i th   b ig   d ata  s y s te m s   [ 2 4 ] .   Fig u r e  2   s h o w s   t h e  o v er all  s y s te m   d esig n   o f   a  b ig   d ata   g eo s p atial  ar ch itec tu r e.   R e f er r in g   to   th i s   s tr u c tu r e,   t h e  p r o p o s ed   ar ch itect u r e  ad ap ts   an d   m o d if ies t h e  m o d el  to   s u it  t h e  o p er atio n al  ch ar ac ter is tics   o f   B DP J N.   I n   th is   co n tex t,  A p ac h e  Sp ar k   is   u s e d   as  a  d is tr ib u ted   p r o ce s s in g   f r a m e w o r k   to   en a b le  p ar allel  d ata  m i g r atio n ,   wh ile  t h e  Had o o p   d is tr ib u ted   f i le  s y s te m   ( HD FS )   f u n ctio n s   as  t h e  u n d er l y in g   s t o r ag e  s y s te m   f o r   m a n ag i n g   la r g e - s ca le  d atasets .   Me tad ata  i s   o r g an ized   th r o u g h   ca talo g - b ased   m ec h a n i s m s   to   s u p p o r t e f f icien t d ata  i n d ex i n g   an d   r etr iev al.   Had o o p - b ased   b ig   d ata  f r am e w o r k s   ar e  co m m o n l y   i m p le m en ted   u s i n g   a  m as ter – s lav e  ar ch itect u r e,   w h er e  th e  m a s ter   n o d e  co o r d in ates  s y s te m   o p er atio n s   w h i le  w o r k er   n o d es  ex ec u te  d is t r ib u ted   p r o ce s s in g   task s   [ 2 4 ] .   I n   r e m o te  s e n s i n g   en v ir o n m e n ts ,   b i g   d ata  ar ch itect u r es  ar e  o f te n   o r g a n iz ed   in to   th r ee   m ai n   co m p o n e n t s :  t h e  r e m o te   s e n s i n g   d ata  ac q u is itio n   u n it  ( R SD U) ,   d ata  p r o ce s s in g   u n it  ( DP U ) ,   an d   d ata  an al y s i s   Evaluation Warning : The document was created with Spire.PDF for Python.
T E L KOM NI K A   T elec o m m u n   C o m p u t E l  C o n tr o l         Dev elo p men t m o d el  o f remo te  s en s in g   d a ta   ma n a g eme n t f o r   lo n g - term  …   ( R iya n   Ma h en d r a   S a p u tr a )   1539   an d   d ec is io n   u n it  ( D A DU) .   T h e  R SD U  is   r esp o n s ib le  f o r   ac q u ir in g   r e m o te  s en s i n g   d ata  f r o m   g r o u n d   s tatio n s .   T h e  DP U  p er f o r m s   d ata  f ilter in g ,   lo ad   b alan ci n g ,   an d   p r ep r o ce s s in g   ta s k s   b ef o r e  s to r in g   th e  p r o ce s s ed   d ata.   T h e  DA DU  ag g r eg ate s   p r o ce s s in g   r esu l ts   an d   d is tr ib u te s   th e m   to   v ar io u s   ap p licatio n s   f o r   f u r th er   an al y s is   an d   d ec is io n - m a k i n g   p r o ce s s e s   [ 2 6 ] .   R ef er r i n g   to   th e  m o d els  d esc r ib ed   ab o v e,   th is   s tu d y   p r o p o s es  a  m o d if ied   g eo s p atial  b ig   d ata  m o d el  f o r   r em o te  s en s i n g   d ata  m an a g e m e n t  w it h i n   th e  B DP J N   en v ir o n m en t,  as  s h o w n   in   Fi g u r e  3 .   T h e  p r o p o s ed   m o d el  co n s is ts   o f   t h r ee   la y er s :   −   R e m o te  s en s i n g   b ig   d ata  m a n ag e m e n t  la y er :  t h is   la y er   m an a g e s   d ata  s to r ag e,   m etad ata  r eg is tr atio n ,   in d ex i n g ,   an d   d ata  tr an s f o r m atio n .   I t  co o r d in ates  s to r ag e  tier   allo ca tio n   an d   p r ep a r es  d atasets   f o r   d is tr ib u ted   p r o ce s s in g .   Data   ar e  s to r ed   ac r o s s   m u lti - tier   m e d ia,   in clu d i n g   p er f o r m a n ce   s t o r ag e  ( T ie r - 1 ) ,   ca p ac it y   s to r ag e  ( T ier - 2 ) ,   an d   ar ch iv e  s to r ag e  ( T ier - 3 ) .   −   B ig   d ata  an al y s i s   an d   p r o ce s s in g   la y er :  t h is   la y er   i m p le m en ts   d is tr ib u ted   an d   p ar allel  p r o ce s s in g   u s i n g   A p ac h e  Sp ar k .   T h e  Sp ar k   f r am e w o r k   o p er ates  in   a  m aster – w o r k er   co n f i g u r atio n ,   w h er e  th e  m as ter   n o d e  co o r d in ates  j o b   s ch ed u lin g   an d   r eso u r ce   allo ca tio n ,   w h i le  w o r k er   n o d es  ex ec u te  p ar allel  m i g r atio n   tas k s .   T h is   co n f i g u r atio n   en ab les  co n cu r r en t  d ata  tr an s f er   o p er ati o n s   ac r o s s   s to r ag e  tier s ,   r ed u cin g   b o ttle n ec k s   d u r in g   lar g e - s ca le  m i g r atio n .   −   Ser v ice  an d   ac ce s s   la y er :  th is   la y er   p r o v id es  ap p licatio n   m o d u les  an d   ap p licatio n   p r o g r am m in g   i n ter f ac e   ( A P I ) - b ased   in ter f ac es  t h at  all o w   u s er s   an d   s y s te m   ad m in i s t r ato r s   to   p er f o r m   d ata  r eg is tr a tio n ,   m i g r atio n ,   m o n ito r i n g ,   a n d   ac ce s s   co n tr o l   o p er atio n s .           Fig u r e  2 .   B ig   d ata  g eo s p atial  ar ch itect u r e  [ 2 4 ]       Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   1 6 9 3 - 6930   T E L KOM NI K A   T elec o m m u n   C o m p u t E l  C o n tr o l ,   Vo l.  24 ,   No .   5 ,  Octo b e r   20 26 :  1 5 3 5 - 1549   1540       Fig u r e  3 .   A r ch itectu r e  o f   t h e  p r o p o s ed   r em o te  s e n s in g   d ata  m an a g e m e n t  m o d el       2 . 3 .     M ig ra t i o n po licy   f o rm u la t io n   T h e  m ig r atio n   p o lic y   in   th i s   s tu d y   is   d e s ig n ed   to   m an a g e   r e m o te  s e n s i n g   d ata  m o v e m en t  ac r o s s   m u ltip le  s to r ag e  tier s .   Data   s t o r ed   in   th e  B DPJ N  s y s te m   c o n s is t  o f   r e m o te  s e n s i n g   i m a g er y   o b tain ed   f r o m   g r o u n d   s tat io n   ac q u i s itio n ,   p r o ce s s ed   d ata  p r o d u cts,  an d   p r o cu r e m e n t  d ata.   T h e  d ata   ar e   class i f ied   in to   t w o   ca teg o r ies,  n a m e l y   h o t  d ata  a n d   co ld   d ata.   Ho t  d ata  r ep r esen t  f r eq u e n tl y   ac ce s s ed   d atas ets  an d   ar e  t y p icall y   s to r ed   in   T ier - 1   s to r ag e.   C o ld   d ata  r ep r esen t  less   f r eq u e n tl y   ac ce s s ed   d atasets   an d   ca n   b e  m ig r ated   to   lo w er   s to r ag e  tier s .   Sev er al  p ar am et er s   ar e  u s ed   to   d eter m in e  m ig r atio n   p r io r ity ,   in cl u d in g   d ata  ag e,   d ata  ty p e,   an d   s to r ag e  ca p ac it y   co n d itio n s .   Data   ag e   is   u s ed   to   d eter m i n e  h o w   lo n g   d ata  r e m ai n   i n   h ig h er - p er f o r m a n ce   s to r ag e  b ef o r e  b ein g   m i g r at ed   to   lo w er   tier s .   M ig r atio n   is   tr i g g er ed   w h e n   s to r ag e   ca p ac it y   r ea ch e s   a  p r ed ef in ed   th r es h o ld .   T h ese  p ar a m eter s   en ab le  t h e  s y s te m   t o   d eter m i n e  ca n d id ate  d ataset s   f o r   m i g r atio n   a n d   s u p p o r t e f f icien t  s to r ag e  u tili z atio n   i n   lar g e - s ca le  r e m o te  s e n s in g   d ata  en v ir o n m en ts .     2 . 4 .     E x peri m ent a l set up     T h e  i m ag e  d ata  u s ed   i n   th is   s t u d y   co n s is t  o f   r e m o te  s en s i n g   i m a g er y   o b tain ed   f r o m   m u ltip le  s atellite   s o u r ce s .   I n   to tal,   t h e  B DP J N   s y s te m   m a n ag e s   i m ag er y   f r o m   2 2   s atell ite  p latf o r m s .   H o w e v er ,   m i g r atio n   test i n g   in   t h is   s t u d y   is   li m ited   to   L an d s at  8 ,   SP O T   6 ,   SP O T   7 ,   an d   P leiad es  d atasets ,   w h ic h   r ep r esen t  ac tiv el y   ac q u ir ed   s atellite  i m a g er y .   T h ese  d atasets   w er e  s elec ted   b ec au s e  t h e y   r ep r esen t  s a tellite  i m a g er y   t h at  i s   s ti ll   act iv el y   ac q u ir ed   in   th e  B DP J N  o p er atio n al  en v ir o n m e n t  an d   h av e  d if f er e n t  s p atial  r eso lu tio n s   an d   f ile  s ize   ch ar ac ter is tic s .   L a n d s at  8   r ep r esen ts   m ed iu m - r e s o lu tio n   i m ag er y ,   SP OT   6   an d   SP O T   7   r ep r esen t  h i g h - r eso lu tio n   i m ag er y ,   w h ile  P leiad es  r ep r esen ts   v er y   h i gh - r es o lu tio n   i m a g er y   w it h   r elativ e l y   lar g er   f ile  s izes.   T h e  r em ain in g   s atell ite  d atasets   m a n ag ed   b y   B DP J N  a r e  p r i m ar il y   ar c h iv e  d ata  th at  ar e  n o   lo n g er   r o u tin e l y   ac q u ir ed   an d   th er ef o r e  w er e  n o t selec ted   f o r   th e  m ig r atio n   p er f o r m an ce   e x p er i m e n t.   Fo r   th e  m i g r atio n   ex p er i m en t,  d atasets   w er e  p r ep ar ed   in   s e v er al  s ize s   co n s is ti n g   o f   1 0 ,   2 0 ,   3 0 ,   4 0 ,   5 0 ,   6 0 ,   7 0 ,   8 0 ,   9 0 ,   an d   1 0 0   i m ag e  f ile s .   T h e  s to r ag e  in f r as tr u ctu r e  u s ed   in   th e  e x p er i m e n t  co n s i s ts   o f   t h r ee   s to r ag e  m ed ia  tier s .   T h e  f ir s t  s to r ag e  tier   h a s   a  ca p ac it y   o f   1   P B ,   th e  s ec o n d   tier   h a s   a  ca p a cit y   o f   7 5 0   T B ,   an d   th e  th ir d   tier   h as  a  ca p ac ity   o f   2 0 0   T B .   T h e  ex p er im en tal   en v ir o n m en t  co n s is t s   o f   o n e  m a s ter   s er v er ,   t w o   w o r k er   n o d es,  o n e  d atab ase  s er v er ,   an d   o n e  ap p licatio n   m o d u le  s er v er .   T h e  n et w o r k   co n f i g u r atio n   s u p p o r ts   b an d w id t h s   o f   1   Gb p s   an d   1 0   Gb p s   f o r   p er f o r m a n ce   ev al u ati o n .       3.   RE SU L T S AN D  D I SCU SS I O N    T h is   s ec tio n   p r esen ts   e x p er im en tal  r esu lt s   an d   ev al u ates  th e  p er f o r m an ce   o f   t h e  p r o p o s ed   r em o te   s en s in g   d ata  m a n ag e m e n t  m o d el.   T h e  e v alu a tio n   f o c u s e s   o n   d ata  m i g r atio n   p ar a m eter s ,   s y s te m   Evaluation Warning : The document was created with Spire.PDF for Python.
T E L KOM NI K A   T elec o m m u n   C o m p u t E l  C o n tr o l         Dev elo p men t m o d el  o f remo te  s en s in g   d a ta   ma n a g eme n t f o r   lo n g - term  …   ( R iya n   Ma h en d r a   S a p u tr a )   1541   i m p le m en ta tio n ,   an d   p er f o r m a n ce   u n d er   d if f er e n t  n et w o r k   en v ir o n m e n t s   ( 1   Gb p s   an d   1 0   Gb p s ) .   T h ese  r esu lt s   d em o n s tr ate  th at   th e  in te g r ati o n   o f   H SM  an d   p ar allel  p r o ce s s i n g   o v er all  i m p r o v es  d ata  m i g r atio n   e f f icie n c y   an d   s y s te m   p er f o r m a n ce   co m p ar ed   to   th e  ex is ti n g   s y s te m .     3 . 1 .     Ana ly s is   o f   m ig ra t io n p a ra m et er s   T h e  p a r am eter s   u s ed   to   d ete r m in e  d ata  m i g r atio n   in c lu d e   class ,   ag e,   s ize,   an d   ca p ac it y   t h r es h o ld .   T h ese   p ar am eter s   ar e  ap p lied   to   c o n tr o l  h o w   d ata  ar e  d is tr ib u ted   ac r o s s   s to r ag e  tier s   i n   t h e  ex i s ti n g   s to r ag e   en v ir o n m e n t.  T h e  cu r r en t  s to r ag e  co n f i g u r atio n   co n s is t s   o f   u n i f ie d   s to r ag e  an d   s to r ag e  v i r tu aliza tio n   w it h   a  ca p ac it y   o f   1   P B ,   w h er e  7 5 0   T B   is   allo ca ted   f o r   T ie r   1   an d   T ier   2 ,   an d   a  ta p e  lib r a r y   w it h   a  ca p ac ity   o f   2 0 0   T B   is   u s ed   as  T ier   3 .   T h e  d ata  s to r ed   in clu d es  r e m o te  s e n s i n g   i m a g er y   f r o m   ac q u is it i o n ,   p r o ce s s in g ,   a n d   p r o cu r em e n t  ac ti v itie s .   Data   ar e  class if ied   in to   t w o   ca teg o r ies,  n a m el y   h o t  an d   co ld .   Ho t  d ata  r e p r esen t   ac tiv el y   ac q u ir ed   i m a g er y   t h at  is   p r i m ar il y   s to r ed   in   T ier   1 ,   w h ile  u n d er   ce r tain   co n d itio n s   th e y   m a y   b e   m o v ed   to   T ier   2 .   C o ld   d ata  ar e   t y p icall y   m i g r ated   to   lo w er   s t o r ag e  tier s   b ased   o n   p r ed ef in e d   p o licies.   T ab le  2   p r esen ts   th e  i m a g e  d a ta  ch ar ac ter is tic s   an d   co r r esp o n d in g   m ig r at io n   p ar a m eter s   u s ed   in   t h is   s tu d y .   T h is   tab le  i s   i m p o r tan t  b ec au s e  it  ill u s tr ates   h o w   d i f f er en t  d ata  t y p e s   ar e  as s ig n ed   m i g r at io n   p r io r ities   b ased   o n   th eir   r eso lu tio n ,   s ize ,   an d   s to r ag e  p o licies.  As  s h o w n   in   T ab le  2 ,   h ig h er - r eso l u ti o n   an d   lar g er - s ize   d atasets   ten d   to   h av e  h i g h er   m i g r atio n   p r io r ities ,   in d icati n g   th eir   i m p ac t  o n   s to r ag e  m a n ag e m e n t  a n d   s y s te m   p er f o r m a n ce .   T h e  u s e  o f   m u lt i p le  m i g r atio n   p ar a m eter s   p r o v id es  a  m o r e  s tr u ctu r ed   ap p r o a ch   co m p ar ed   to   th e  ex is t in g   co n d itio n ,   w h ic h   r eli es  m ai n l y   o n   d ata  ag e.   T h is   en ab les  a  m o r e  ac c u r ate  r ep r esen tat io n   o f   d ata   ch ar ac ter is tic s   in   d eter m i n in g   m i g r atio n   d ec is io n s .   I n   ad d itio n ,   th e   ca p ac it y   th r es h o ld   is   d ef in ed   as  2 0 %  o f   to tal  s to r ag e  ca p ac it y ,   co m b i n in g   a  1 0 %  h ar d w ar e  aler t  a n d   1 0 %  r eser v ed   ca p ac it y .   T h is   m ec h a n i s m   en s u r es   th at  o n l y   8 0 %  o f   s to r ag e   is   ac tiv el y   u s ed ,   allo w in g   ea r l y   m i g r atio n   to   p r ev en t   s to r a g e  o v er lo ad .   T h is   th r es h o l d - b ased   m ec h a n i s m   i m p r o v es  s y s te m   r eliab ilit y   b y   en ab li n g   p r o ac tiv e  m i g r ati o n   b ef o r e  s to r ag e  ca p ac it y   r ea ch es c r itical  l i m its .       T ab le  2 .   I m ag e  d ata  an d   m ig r a tio n   p ar a m eter s   No   R e so l u t i o n   S a t e l l i t e   D a t a   c l a ss   D a t a   a g e   ( y e a r )   T e mp o r a r y   ( d a y s)   F i l e   si z e   M i g r a t i o n   p r i o r i t y   01   L o w   r e so l u t i o n   NOAA   H   0 - 3   1 0 0   3 0 0   M B   6   02   L o w   r e so l u t i o n   M O D I S   T ER R A   H   0 - 3   1 0 0   5 , 5   G B   7   03   L o w   r e so l u t i o n   M O D I S   A Q U A   H   0 - 3   1 0 0   5 , 5   G B   8   04   L o w   r e so l u t i o n   N P P - N P O ESS   H   0 - 3   1 0 0   1 0   G B   9   05   M e d i u m re so l u t i o n   L A N D S A T   5   C   0 - 4   1 0 0   3 5 0 M B   4   06   M e d i u m re so l u t i o n   L A N D S A T   7   C   0 - 4   1 0 0   5 6 0 M B   5   07   M e d i u m re so l u t i o n   L A N D S A T   8   H   0 - 4   1 0 0   7 8 0   M B   10   08   M e d i u m re so l u t i o n   A L O S   ( A V N I R ,   P R I S M )   C   0 - 4   1 0 0   2 8 0 M B   3   09   M e d i u m re so l u t i o n   S P O T   2   C   0 - 4   1 0 0   6 0   M B   1   10   M e d i u m re so l u t i o n   S P O T   4   C   0 - 4   1 0 0   6 0   M B   2   11   H i g h   r e so l u t i o n   S P O T   5   H   0 - 5   1 0 0   2 4 0   M B   11   12   H i g h   r e so l u t i o n   S P O T   6   H   0 - 5   1 0 0   3 0 0   M B   12   13   H i g h   r e so l u t i o n   S P O T   7   H   0 - 5   1 0 0   6 0 0   M B   13   14   V e r y   h i g h   r e so l u t i o n   I K O N O S   H   0 - 5   1 0 0   6 0 0   M B   14   15   V e r y   h i g h   r e so l u t i o n   Q U I C K B I R D   H   0 - 5   1 0 0   1 , 5   GB   16   16   V e r y   h i g h   r e so l u t i o n   P L E I A D ES 1 A / 1 B   H   0 - 5   1 0 0   2   G B   17   17   V e r y   h i g h   r e so l u t i o n   W O R L D V I E W   1 / 2 / 3   H   0 - 5   1 0 0   4   G B   18   18   V e r y   h i g h   r e so l u t i o n   G EO   EY E   H   0 - 5   1 0 0   4   G B   19   19   V e r y   h i g h   r e so l u t i o n   R A P I D   EY E   H   0 - 5   1 0 0   6 0 0   M B   15   20   R a d a r   R A D A R S A T   H   0 - 5   1 0 0   4 1 0   M B   20   21   R a d a r   T ER R A S A R - X   H   0 - 5   1 0 0   1 , 1   G B   22   22   R a d a r   A L O S   P A L S A R   H   0 - 5   1 0 0   7 5 0   M B   21       3 . 2 .     M o del desig n   T h e   r e s u lt s   o f   th e   m i g r a t i o n   p a r am et e r   a n aly s is   a r e   u s e d   a s   th e   b a s i s   f o r   d e s ig n in g   t h e   p r o p o s e d   s t o r ag e  m an ag em en t   m o d e l   a n d   m ig r a t i o n   m eth o d .   T h i s   d es ig n   i s   im p o r t an t   b ec au s e   i t   en a b l es  p o l i cy - d r iv en   d a ta  m ig r at i o n   a c r o s s   s t o r ag e   t i e r s   u s in g   S p a r k - b as e d   p a r a l le l   p r o ce s s in g .   T h e   p r o p o s e d   m o d e l   c o n s i s t s   o f   th r e e   m a in   c o m p o n e n t s :   ( i )   d a t a   a n d   s t o r ag e   m an ag em en t ,   ( i i )   p r o c e s s   m an ag em en t   s y s tem ,   a n d   ( i ii )   a p p l i c a t i o n   an d   A PI   g a t e w ay .   T h ese  co m p o n e n ts   w o r k   to g et h er   to   m an a g e  d ata   s to r ag e,   ex ec u te  p ar allel  m i g r atio n   p r o ce s s es,  an d   p r o v id e  u s er   ac ce s s   to   t h e  s y s te m .   T h is   i n te g r atio n   al lo w s   m i g r atio n   p o licies  to   b e  ex e cu ted   d y n a m ica ll y   w it h i n   a  p ar allel  p r o ce s s in g   en v ir o n m e n t,  i m p r o v in g   co o r d in atio n   b et w ee n   s to r ag e  m a n ag e m e n t  an d   d ata  p r o ce s s in g   co m p ar ed   to   th e  e x is ti n g   s y s te m .     T h e   m ig r a t i o n   ex p e r im en ts   w er e   c o n d u ct e d   u s in g   t h e   im p l em en t at i o n   a r c h i t e ct u r e   s h o w n   in   F ig u r e   4 .   T h e  ex p er i m en tal  en v ir o n m e n t  co n s is t s   o f   o n e  ap p licatio n   s er v er ,   o n e  m aster   ( s er v er )   n o d e,   t w o   w o r k er   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   1 6 9 3 - 6930   T E L KOM NI K A   T elec o m m u n   C o m p u t E l  C o n tr o l ,   Vo l.  24 ,   No .   5 ,  Octo b e r   20 26 :  1 5 3 5 - 1549   1542   n o d es,  an d   th e  s to r ag e  s u b s y s t e m   u s ed   to   ev al u ate  m i g r atio n   p er f o r m a n ce   u n d er   1   Gb p s   an d   1 0   Gb p s   n et w o r k   en v ir o n m e n t s .   T h e  s er v ice  lay er   in   th e  p r o p o s ed   ar ch itectu r e  a ls o   s u p p o r ts   in teg r atio n   w it h   ex ter n a l  s y s te m s   th r o u g h   clie n t  ap p licatio n   s er v ices  a n d   an   A P I   g ate w a y .   T h is   f ea t u r e  en ab les  t h e  d ata  m a n ag e m e n t  s y s te m   to   p r o v id e  r em o te  s e n s i n g   d ata  s er v ices  to   o th er   ap p licatio n s ,   s u c h   as  d is aster   m o n ito r in g   p latf o r m s ,   s a t ellite   co m m u n icatio n - r elate d   d ata  s er v ices,  an d   i n ter n e t  o f   t h i n g s   ( I o T ) - b ased   en v ir o n m e n tal  s en s o r   n et w o r k s .   I n   th is   co n tex t,  s ca lab le  s to r ag e   an d   p ar allel  m i g r atio n   ar e  r elev an t  n o t  o n l y   f o r   g eo i n f o r m atic s ,   b u t  also   f o r   telec o m m u n icatio n   a n d   co m p u ti n g   d o m ai n s   b ec au s e  t h e y   s u p p o r t  f aster   d ata  d eli v er y ,   d i s tr ib u ted   p r o ce s s i n g ,   an d   s er v ice - o r ien ted   ac ce s s   to   lar g e - s ca le  r e m o te  s e n s in g   ar c h iv e s .   F ig u r e   4   i l l u s t r at e s   th e   p r o p o s ed   d e s i g n   a r ch i t ec tu r e .   F ig u r e   4 ( a )   s h o w s   th e   a p p l i c a ti o n   a r ch it e c tu r e   f o r   d a t a   r e g i s t r a t i o n ,   m ig r at i o n ,   an d   t r an s f e r   u s in g   S p a r k - b as e d   p r o c e s s in g   an d   r e la t i o n a l  d a ta b a s e   m an ag em en t  s y s tem   ( R D B M S )   in t eg r at i o n .   F ig u r e   4 ( b )   s h o w s   t h e   ex p e r im e n t al   a r ch i t e c tu r e ,   in c lu d in g   t h e   a p p l i c at i o n ,   s e r v e r   n o d e ,   w o r k e r   n o d es ,   an d   s t o r a g e   c o m p o n e n t s   f o r   s t r u c tu r ed   a n d   u n s t r u c tu r e d   d a t a .   Fi g u r e  5   p r esen ts   th e   p r o p o s ed   d ata  m an a g e m en t   s y s te m   m o d el  i n   m o r e  d etail.   T h e  m o d el  s h o w s   h o w   clie n t a p p licatio n s   ac ce s s   th e   s y s te m   t h r o u g h   ap p licatio n   s er v ices  a n d   an   A P I   g ate w a y ,   w h ile  th e  co r e  d ata  m an a g e m en t  ap p l icatio n   h an d le s   r eg is tr atio n ,   m i g r atio n ,   an d   tr an s f er   p r o ce s s es.  T h ese  p r o ce s s es  ar e  co n n ec ted   to   s tr u ctu r ed   d ata  s to r ag e  an d   Sp ar k - b ased   p a r allel  p r o ce s s in g ,   w h ich   co o r d in ates  th e  m a s ter   an d   w o r k er   n o d es.  T h e  u n s tr u ct u r ed   r e m o te  s e n s i n g   d ata  ar e  m an a g ed   a cr o s s   o n li n e,   n ea r li n e,   an d   ar ch iv e  s to r ag e  tier s ,   en ab li n g   p o licy - d r iv e n   m ig r at io n   an d   lo n g - ter m   s to r ag e  m a n ag e m e n t.   T h e  s er v ice  la y er   a n d   A P I   g ate w a y   i n   t h e  p r o p o s ed   ar ch itectu r e  also   p r o v id e  o p p o r tu n itie s   f o r   in te g r atio n   w i th   e x ter n al  s y s te m s .   T h r o u g h   t h i s   la y er ,   r e m o t e  s en s in g   d ata  s er v ices  ca n   b e   ac ce s s ed   b y   o th er   ap p licatio n s ,   s u ch   as  d is a s ter   m o n ito r i n g   p latf o r m s ,   s a tellit e  co m m u n icatio n - r elate d   s er v ices,  an d   I o T - b ased   en v ir o n m e n tal  s e n s o r   n et w o r k s .   T h is   ca p ab ilit y   b r o ad en s   th e  r elev an ce   o f   t h e  p r o p o s ed   m o d el  b ey o n d   g eo in f o r m atic s   b y   s u p p o r tin g   s er v ice - o r ien ted   ac ce s s ,   d is tr ib u ted   co m p u t in g ,   a n d   s ca lab le  d ata  d eliv er y   f o r   telec o m m u n icatio n   an d   co m p u ti n g   ap p licatio n s .           ( a)   ( b )     Fig u r e  4 .   Desig n   ar ch itec tu r e  ap p licatio n : ( a)   ap p licatio n   ar c h itect u r e  f o r   d ata  r eg is tr atio n ,   m i g r atio n ,   an d   tr an s f er   u s in g   Sp ar k - b ased   p r o ce s s i n g   a n d   R DB MS  i n te g r ati o n ; a n d   ( b )   ex p er i m en ta l a r ch i tectu r e  s h o w in g   th e  ap p licatio n ,   s er v er   n o d e,   w o r k er   n o d es,  an d   s to r ag e  co m p o n en t s   f o r   s tr u c tu r ed   an d   u n s tr u ctu r ed   d ata       Evaluation Warning : The document was created with Spire.PDF for Python.
T E L KOM NI K A   T elec o m m u n   C o m p u t E l  C o n tr o l         Dev elo p men t m o d el  o f remo te  s en s in g   d a ta   ma n a g eme n t f o r   lo n g - term  …   ( R iya n   Ma h en d r a   S a p u tr a )   1543       Fig u r e  5 .   P r o p o s ed   d ata  m a n a g e m e n t  s y s te m   m o d el  d esi g n       3 . 3 .     Appl ica t io n  m o du le  de s ig n   T h e  ap p licatio n   co n s is ts   o f   s e v er al  m o d u les,  in cl u d i n g   d ata  r eg is tr atio n ,   m ig r atio n ,   d ata  tr an s f er ,   an d   s to r ag e  m a n a g e m en t .   T h ese  m o d u les  ar e  d esi g n ed   to   s u p p o r t  th e  ex ec u tio n   o f   m ig r at io n   p o licies  an d   en ab le   d ata  m o v e m e n t  ac r o s s   s to r ag e  tier s .   T h e  i m p le m e n tatio n   o f   t h ese  m o d u le s   d e m o n s tr ate s   h o w   t h e  p r o p o s ed   m o d el  o p er ates  i n   p r ac tice,   p a r ticu lar l y   in   ex ec u ti n g   m ig r ati o n   p r o ce s s es  a n d   m a n a g i n g   d ata  ac r o s s   d if f er e n t   s to r ag e  lev e ls .   Fi g u r e  6   s h o ws  th e  m ai n   i n ter f ac e  o f   t h e  ap p licatio n   m o d u le,   in cl u d i n g   s y s te m   co n f i g u r atio n ,   u s er   m a n a g e m en t,  a n d   A p ac h e   Sp ar k   m a n ag e m e n t s h o w n   i n   Fig u r es 6 ( a)   to   ( d ) .         ( a)       ( b )       ( c)       ( d )     Fig u r e  6 .   A p p licatio n   m o d u le  in ter f ac e :   ( a)   in itial  m e n u ,   ( b )   d atab ase  co n f i g u r atio n ,   ( c)   u s e r   co n f ig u r atio n ,   an d   ( d )   A p ac h e  Sp ar k   m an a g e m en t   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   1 6 9 3 - 6930   T E L KOM NI K A   T elec o m m u n   C o m p u t E l  C o n tr o l ,   Vo l.  24 ,   No .   5 ,  Octo b e r   20 26 :  1 5 3 5 - 1549   1544   T h is   in ter f ac e  e n ab les   u s er s   to   m a n a g e  d ata  m i g r atio n   p r o ce s s es  a n d   m o n ito r   s y s te m   o p er atio n s .   T h e  m i g r atio n   p r o ce s s   is   ex ec u ted   th r o u g h   a  p ar allel  w o r k f lo w ,   w h er e  th e  m aster   n o d e  d is tr ib u tes  ta s k s   to   w o r k er   n o d es.  E ac h   w o r k er   p r o ce s s es  ass i g n ed   d ata  an d   r ep o r ts   ex ec u t io n   r es u l ts   b ac k   to   th e   m aster   s y s te m .   I n   ad d itio n ,   th e  s to r ag e  m a n a g e m en t  m o d u le  p r o v id es  i n f o r m atio n   o n   s to r ag e  tier s   a n d   p o licies,  s u p p o r tin g   co n tr o lled   d ata  p lace m e n t a n d   m o n ito r i n g   ac r o s s   T ier   1 ,   T ier   2 ,   an d   T ier   3 .   M i g r at i o n   p e r f o r m an c e  is   in f lu en c e d   b y   th e   e f f e c t iv e  d a t a  t r a n s f e r   s p e e d ,   w h i ch   d e p en d s   o n   n etw o r k   c o n f ig u r a t i o n   an d   s y s t em   s e tu p .   I n   t h e   1   G b p s   en v i r o n m en t ,   th e   m ax im u m   t r an s f e r   s p e e d   r a n g es   f r o m   7 5 4   M b p s   t o   9 0 0   M b p s   a f t e r   c o n f ig u r a tio n   im p r o v em en ts .   I n   c o n t r a s t ,   th e   1 0   G b p s   en v i r o n m en t  a ch i ev es   an   av e r ag e   t r a n s f e r   s p e e d   o f   u p   t o   5   G b p s .   T h i s   d if f e r en c e   in   t r an s f er   s p e e d   c o n t r i b u te s   t o   th e   o b s e r v e d   v a r i a t i o n   in   m ig r at i o n   p e r f o r m an c e   b etw e en   th e   1   G b p s   an d   1 0   G b p s   en v ir o n m en t s .     Fig u r e  7   illu s tr ate s   th e  d ata  r eg is tr atio n   ( Fig u r e  7 ( a) )   an d   d ata  m i g r at io n   i n ter f ac es  ( Fi g u r e  7 ( b ) ) ,   w h ic h   s u p p o r t  th e  ex ec u tio n   o f   m i g r atio n   task s   w it h i n   th e  s y s te m .   T h ese  i m p le m e n tatio n   r esu lt s   d e m o n s tr ate   th at  t h e  p r o p o s ed   m o d el  is   ca p ab le  o f   ex ec u t in g   p o lic y - d r iv en   an d   p ar allel  d ata  m ig r at io n .   T h e  ef f ec ti v e n es s   o f   th i s   ap p r o ac h   is   f u r th er   ev a l u ated   th r o u g h   m i g r atio n   e x p er i m e n ts   u n d er   d if f er en t n et w o r k   co n d itio n s .         ( a)       ( b )     Fig u r e  7 .   User   in ter f ac e s   s u p p o r tin g   d ata  m a n a g e m e n t p r o ce s s es: ( a)   d ata  r eg is tr atio n   p ag e ,   an d   ( b )   d ata   m i g r atio n   p ag e  f o r   m a n ag i n g   d ata  tr an s f er   b et w ee n   s to r ag e  t ier s     Evaluation Warning : The document was created with Spire.PDF for Python.