I nte rna t io na l J o urna l o f   E lect rica l a nd   Co m pu t er   E ng ineering   ( I J E CE )   Vo l.   1 6 ,   No .   2 A p r il   20 2 6 ,   p p .   1 0 5 1 ~ 1 0 6 2   I SS N:  2088 - 8 7 0 8 ,   DOI : 1 0 . 1 1 5 9 1 /ijece. v 1 6 i 2 . pp 1 0 5 1 - 1 0 6 2           1051       J o ur na l ho m ep a g e h ttp : //ij ec e. ia esco r e. co m   FADTESE :  A  fra mewo rk f o r  auto ma ted  deplo y men a nd   eff ec tivenes s ev a l ua tion for big  dat a  t o o ls       M o ny   H o So k r o eurn  Ang So ph ea t ra   H uy M idh un cha k k a ra v a rt hy   J a na rt ha na n   S c h o o l   o f   A I   C o m p u t i n g   a n d   M u l t i m e d i a ,   L i n c o l n   U n i v e r s i t y   C o l l e g e ,   S e l a n g o r ,   M a l a y s i a       Art icle  I nfo     AB S T RAC T   A r ticle  his to r y:   R ec eiv ed   Ma y   2 1 ,   2 0 2 5   R ev is ed   Dec   1 9 ,   2 0 2 5   Acc ep ted   J an   1 6 ,   2 0 2 6       M a n u a d e p lo y m e n o b i g   d a ta  t o o ls  su c h   a Ha d o o p ,   S q o o p ,   a n d   P y th o n   is   o ften   sl o w,  c o m p le x ,   a n d   e rro r   p ro n e   b e c a u se   o e x te n siv e   c o n fig u ra ti o n   ste p s,  d e p e n d e n c y   c o n fli c ts,   a n d   in c o n siste n t   c o m m a n d - li n e   e x e c u ti o n .   Th e se   c h a ll e n g e lea d   to   u n re li a b le  in sta ll a ti o n a n d   v a riati o n a c ro ss   sy ste m s.  Th is  st u d y   i n tro d u c e f ra m e wo rk   fo a u to m a ted   d e p l o y m e n a n d   ti m e ,   e rro r,   sa ti sfa c ti o n   e v a l u a ti o n   ( F AD TE S E),   a   u n ifi e d   fra m e wo rk   t h a t   a u to m a tes   th e   in sta ll a ti o n   o b i g   d a ta  to o ls  a n d   e v a l u a tes   it p e rfo rm a n c e .   Th e   fr a m e wo rk   c o n sists   o tw o   in teg ra ted   c o m p o n e n ts.  Th e   fi rst  is  th e   a u to m a ted   d e p lo y m e n m o d e l,   w h ich   v a li d a tes   e n v iro n m e n re a d i n e ss   u sin g   th e   a u t o m a ti o n   d e p lo y m e n re a d in e ss   in d e x   (AD RI)   a n d   a c h iev e d   a   re a d in e ss   v a lu e   o 1 . 0   in   th is  s tu d y .   T h e   se c o n d   is  th e   ti m e ,   e rro r,   a n d   sa ti sfa c ti o n   e v a lu a ti o n   m o d e l,   w h ich   q u a n ti fies   imp ro v e m e n ts  g a in e d   fr o m   a u to m a ti o n   a n d   p r o d u c e d   a   sc o r e   o 0 . 5 9 4 1   th r o u g h   b o o tstra p   r e sa m p li n g   with   ten   t h o u sa n d   sa m p les ,   in d ica ti n g   m o d e ra te  e ffe c ti v e n e ss .   Th e   F AD TE S sc rip wa tec h n i c a ll y   v a li d a ted   a c ro ss   m u lt i p le  Li n u x   e n v iro n m e n ts,  i n c lu d in g   Ub u n t u ,   Li n u x   M in t ,   a n d   AWS   Ub u n tu   se rv e r   sy ste m s.  Th e   p e rfo rm a n c e   e v a lu a ti o n   i n v o lv in g   e ig h ty   I p ra c ti ti o n e rs  wa s   c o n d u c ted   o n   Ub u n tu   sy ste m t o   e n su re   c o n siste n tes ti n g   c o n d it io n a n d   c o n firme d   su b sta n ti a g a in i n   i n sta ll a ti o n   ti m e ,   e rro re d u c ti o n ,   a n d   u se r   sa ti sfa c ti o n .   Co m b i n i n g   re a d i n e ss   a n d   e ffe c ti v e n e ss   y ield a   c o m p o site  sc o re   o 0 . 5 9 4 1   o 5 9 . 4 1% .   F AD TE S p ro v id e a   re p ro d u c i b le  a n d   d a ta  d riv e n   m e th o d   th a t   sta n d a rd ize b ig   d a ta  d e p l o y m e n t   a n d   im p ro v e re li a b il it y   a c ro ss   lo c a a n d   c l o u d - b a se d   Li n u x   e n v iro n m e n ts.   K ey w o r d s :   Au to m ated   d e p lo y m e n t   B ash   au to m atio n   B ig   d ata  to o ls   C o m p o s ite  s co r e   Dep lo y m en t r ea d in ess   ev alu atio n   Per f o r m an ce   e v alu atio n   f r am ewo r k   T im e,   er r o r ,   an d   s atis f ac tio n   ass es s m en t   T h is i a n   o p e n   a c c e ss   a rticle   u n d e r th e   CC B Y - SA   li c e n se .     C o r r e s p o nd ing   A uth o r :   Mo n y   Ho   Sch o o l o f   AI   C o m p u tin g   an d   Mu ltime d ia,   L in co ln   U n iv er s ity   C o lleg e   241 2 4 3   J alan   SS 6 /6 ,   Kela n J ay a,   4 7 3 0 1   Petalin g   J ay a,   Sel an g o r ,   Ma lay s ia   E m ail:  m h o . p h d s ch o lar @ lin co ln . ed u . m y       1.   I NT RO D UCT I O N   I n   th 2 1 st   ce n tu r y ,   d ata  s cien ce   h as  b ec o m ess en tial  f o r   s u p p o r tin g   d ec is io n - m ak in g   a n d   b u s in ess   in tellig en ce   th r o u g h   d ata - d r iv en   in s ig h ts   [ 1 ] ,   in c r ea s in g   th d em an d   f o r   p r o f ess io n als  s k illed   in   ar tific ial   in tellig en ce   ( AI ) ,   m ac h in lea r n in g ,   s tatis tics ,   an d   d atab ase  t ec h n o lo g ies  [ 2 ] .   Data   s cien ce   p r o v id es st r u ctu r ed   m eth o d s   f o r   a n aly zin g   d ata  a n d   im p r o v in g   p r ed ictiv a n al y tics   [ 3 ] ,   w h ile  b ig   d ata   an al y tics   h as  g r o wn   in   im p o r tan ce   d u to   th lim itatio n s   o f   tr a d itio n al  s y s tem s   [ 4 ] .   C o r b ig   d ata   to o ls   in clu d H ad o o p ,   Sq o o p ,   an d   Py th o n .   Had o o p   p r o v id es  s c alab le  an d   f au lt - to ler a n p r o ce s s in g   th r o u g h   d is tr ib u te d   s to r ag an d   p a r allel  co m p u tatio n   [ 5 ] [ 7 ] .   Sq o o p   e n ab les  ef f icien d ata  tr an s f er   b etwe en   r elatio n al  d atab ases   an d   Had o o p   [ 8 ] ,   an d   Py th o n   is   wid ely   u s ed   f o r   d at an aly s is   an d   m ac h in lear n in g   b ec au s o f   its   ex ten s iv lib r ar ies  an d   u s ab ilit y   [ 9 ] ,   [ 1 0 ] .   T o g et h er ,   th ese  tech n o lo g ies  f o r m   an   in teg r ate d   b ig   d ata   an aly tics   ec o s y s tem   [ 1 1 ] .   H o wev er ,   th eir   m an u al  in s tallatio n   r em ain s   d i f f icu lt,  tim co n s u m i n g ,   a n d   v u ln er ab le  to   m is tak es.    Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 8 - 8 7 0 8   I n t J E lec  &   C o m p   E n g ,   Vo l.   1 6 ,   No .   2 Ap r il   20 2 6 :   1 0 5 1 - 1 0 6 2   1052   T h p r o b lem   o f   th is   s tu d y   is   th at  m an u al  d e p lo y m e n o f   Ha d o o p ,   Sq o o p ,   an d   Py th o n   r em ain s   s lo w,   co m p lex ,   an d   er r o r - p r o n e   d u e   to   n u m er o u s   co n f ig u r atio n   s tep s ,   d ep e n d en c y   co n f licts ,   an d   B ash - b ased   s etu p   p r o ce s s es  th at  o f ten   lead   t o   i n co n s is ten r esu lts   ac r o s s   s y s tem s   [ 1 2 ] [ 1 4 ] .   I n   ad d itio n ,   t h er is   n o   u n if ie d   m eth o d   to   v alid ate  en v ir o n m en r ea d in ess   o r   ev alu ate  in s tallatio n   p er f o r m an ce .   T h is   s tu d y   ad d r ess es  th ese   is s u es  b y   au to m atin g   th d ep l o y m en p r o ce s s   an d   ass ess in g   its   ef f ec tiv en ess   o n   Ub u n t u - b ased   s y s tem s   u s in g   m ea s u r ab le  p e r f o r m an ce   m etr ics,  in clu d in g   in s tallatio n   tim e,   er r o r   r ate,   s u cc ess   r ate,   a n d   u s er   s atis f ac tio n .   T h is   p ap er   a d d r ess es  th f o ll o win g   r esear ch   q u esti o n Ho ca n   b ig   d ata  d ep l o y m en b au to m ated   wh ile   s y s tem atica lly   ev alu atin g   its   ef f ec tiv en ess   in   ter m s   o f   tim e,   er r o r   r ate,   an d   u s er   s atis f ac tio n ?   T h n o v elty   o f   t h is   s tu d y   lies   in   in tr o d u cin g   f r am ewo r k   f o r   au to m ated   d e p lo y m e n an d   tim e,   er r o r ,   s atis f ac tio n   ev alu atio n   ( FADT E SE) ,   th e   f ir s f r am ewo r k   th at   u n if ies  a u to m ated   d e p lo y m e n with   a   s tr u ctu r ed   ev alu atio n   o f   in s tallatio n   o u tco m es.  FADT E SE  p r o v id es  an   in teg r ated   ap p r o ac h   b y   au to m atin g   th f u ll  s etu p   o f   Had o o p ,   Sq o o p ,   a n d   Py t h o n   w h ile  s im u ltan eo u s ly   as s ess in g   d ep lo y m en t   q u ality   u s in g   s tan d ar d ize d   p er f o r m an ce   m etr ics.  T h e   f r am ewo r k s   s in g le   ex ec u ta b le  s cr ip t,  v alid ated   th r o u g h   em p ir ical  test in g ,   im p r o v es  i n s tallatio n   co n s is ten cy ,   r ed u ce s   c o n f ig u r atio n   er r o r s ,   an d   e n h an ce s   u s er   ex p e r ien ce ,   o f f er in g   a   p r ac tical  an d   r e p r o d u cib le  s o l u tio n   f o r   b ig   d ata  en v ir o n m e n t s .   T h is   s tu d y   c o n tr ib u tes  to   t h liter atu r b y   ad d r ess in g   th ab s en ce   o f   u n if ied   ap p r o ac h   th at  ev alu ates  b o th   d ep lo y m en r ea d in ess   an d   p o s t - d ep lo y m en o u tco m es  in   b ig   d ata   en v ir o n m en ts .   Prio r   r esear ch   o f ten   au to m ates  o n ly   i n s tallati o n   s tep s   o r   ass ess es  p er f o r m a n ce   af ter   d e p lo y m e n t,  b u n o t b o th   with in   s in g le   m eth o d o l o g ical  s tr u ctu r e.   T h i s   wo r k   ad v a n ce s   b ig   d ata  au t o m atio n   r esear c h   b y   estab lis h in g   s tan d ar d ized   f o u n d atio n   t h at  co m b in es  r ea d in ess   ass es s m en an d   d ep lo y m en ev alu atio n ,   t h er eb y   o f f e r in g   clea r e r   cr iter ia   f o r   s tu d y i n g   en d - to - e n d   in s tall atio n   ef f ec tiv en ess .   T h is   s tu d y   p r o p o s es  FADT E S E ,   lig h tweig h f r am ew o r k   th at  au to m ates  th in s tallatio n   o f   Had o o p ,   Sq o o p ,   an d   Py th o n   a n d   ev alu ates  d ep lo y m en o u tco m e s   u s in g   s tan d a r d ized   m etr ic s .   T h f r am ewo r k   in teg r ates  an   a u to m ated   d ep l o y m en t   ( AD)   m o d el,   g u id e d   b y   th a u to m atio n   d e p lo y m en r ea d in ess   in d ex   ( ADRI) ,   to   v alid ate  en v ir o n m en p r ep ar e d n ess ,   an d   tim e,   er r o r ,   s atis f ac tio n   ev alu atio n   ( T E SE)   m o d el  th at   m ea s u r es  tim ef f icien cy ,   er r o r   r ed u ctio n ,   a n d   u s er   s atis f ac tio n .   T h ese  co m p o n en ts   g en er ate  co m p o s ite  sc o r ( C S)  th at  s u m m ar izes o v er all  d ep lo y m e n t e f f ec tiv e n ess .   a.   C h allen g es in   m an u al  d e p lo y m en t b ig   d ata  to o ls   Mo d er n   d atasets   in   g en o m ics  an d   im ag i n g   co n tin u to   in c r ea s in   s ca le  a n d   co m p lex ity ,   cr ea tin g   m ajo r   ch allen g es  f o r   b ig   d ata  an aly s is   [ 1 5 ] .   T h is   r ap i d   g r o w th   h as  also   s h ap e d   d ata   s cien ce   ed u ca tio n   th r o u g h   s p ec ialized   p r o g r am s   in   d ata   en g in ee r in g   an d   an aly tics   [ 1 6 ] .   B ey o n d   th e   f iv e   Vs  o f   b ig   d ata  ( v o lu m e,   v elo city ,   v ar iety ,   v al u e,   an d   v er ac ity )   [ 1 7 ] ,   is s u es o f   d ata  q u ality ,   s ca lab ilit y ,   r ea l tim p r o ce s s in g ,   an d   s y s tem   in teg r atio n   p er s is t,  wh ile  d ee p   lear n in g   ap p licatio n s   r eq u ir ad ap tiv a n d   s ca lab le  AI   te ch n iq u es  [ 1 8 ] ,   [ 1 9 ] Ma n u al  d ep lo y m en o f   b ig   d ata  to o ls   in ten s if ies  th ese  ch allen g es,  as  Had o o p   o f ten   en co u n ter s   SS H,   Nam eNo d e,   Data No d e,   an d   au th en ticatio n   er r o r s   [ 2 0 ] ,   Sq o o p   m ay   f ail  d u to   I m is co n f ig u r atio n s ,   au th en ticatio n   is s u es,  o r   v e r s io n   m is m atch es  with   J av an d   My SQL  [ 2 1 ] ,   an d   Py th o n   in s tallatio n s   ca n   s u f f e r   f r o m   c o r r u p ted   d o wn lo ad s ,   m i s s in g   d ep en d en cies,  o r   m is co n f ig u r ed   en v ir o n m en v ar iab les   [ 2 2 ] .   b.   Ad v an tag o f   a u to m atio n   Prio r   r esear ch   h ig h lig h ts   th e   g r o win g   im p o r ta n ce   o f   a u to m at io n   ac r o s s   v ar io u s   d o m ain s .   D ata - d r iv en   f r am ewo r k s   h av e   b ee n   d e v elo p ed   f o r   ad a p tiv KPI   g en er atio n   [ 2 3 ] ,   an d   B ash   s cr ip tin g   h as  b ee n   u s ed   to   r ed u ce   h u m an   er r o r   in   cy b er s ec u r ity   o p er atio n s   [ 2 4 ] ,   [ 2 5 ] .   B io m ed ical  s tu d ies  s h o th at  au to m atio n   m in im izes  d elay s   an d   m an u al  d iag n o s tic  er r o r s   [ 2 6 ] ,   wh ile  b lo ck c h ain - b ased   au to m atio n   im p r o v es   r eg is tr atio n ,   au th en ticatio n ,   an d   ac ce s s   co n tr o l r eliab ilit y   [ 2 7 ] .   E d u ca tio n al  an d   ad m in is tr ativ au to m atio n   h as   also   d em o n s tr ated   s u b s tan tial  tim s av in g s   an d   im p r o v e d   ac cu r ac y ,   as  s ee n   in   Py t h o n - b ased   g r ad i n g   au to m atio n   [ 2 8 ]   a n d   r o b o tic   p r o ce s s   a u to m atio n ,   wh ich   ac h iev ed   a   ze r o - er r o r   r ate  c o m p ar ed   to   m an u al  p r o ce d u r es  [ 2 9 ] .   Au to m atio n   to o ls   in   m ed ical  wo r k f lo ws,  s u ch   as  th au to m ated   p lan   ch ec k   ( APC ) ,   h av r ed u ce d   v er if icatio n   tim a n d   s ig n if ican tly   lo wer ed   er r o r   r ates  [ 3 0 ] .   Similar ly ,   au t o m ated   m alwa r d etec tio n   m eth o d s   s u ch   as  Sh ellB r ea k er   o u tp er f o r m   tr ad itio n al  an tiv ir u s   en g in es  b y   ac h iev in g   lo wer   f alse  n eg ativ e   r ates  [ 3 1 ] .   C o llectiv ely ,   th ese  s tu d ies  s h o th at  au to m atio n   en h an ce s   ef f icien cy ,   co n s is ten cy ,   r eliab ilit y ,   an d   u s er   s atis f ac tio n   [ 3 2 ] ,   [ 3 3 ] .   Ku b er n etes  f u r th e r   s u p p o r ts   au to m atio n   in   clo u d   an d   ed g en v ir o n m e n ts   b y   p r o v id i n g   s ca lab le  co n tain er   m an ag em en [ 3 4 ] .   c.   R ea d in ess   i n d ices in   I C T   an d   s y s tem s   T h tech n o lo g y   r ea d in ess   in d ex   ( T R I )   [ 3 5 ]   m ea s u r es  in d iv id u al  r ea d in ess   to   ad o p tech n o lo g y   th r o u g h   f o u r   d im en s io n s   an d   co m p u tes  an   o v e r all  s co r b y   av e r ag in g   s tan d ar d ized   s u b s ca le  v alu es  af ter   r ev er s in g   in h ib ito r   item s .   T h Un ited   Natio n s   E - Go v er n m en Dev elo p m en I n d ex   ( E GDI )   [ 3 6 ]   ev alu ates   n atio n al  d ig ital  r ea d in ess   u s in g   th m ea n   o f   th r ee   n o r m alize d   co m p o n en ts o n lin s er v ice,   telec o m m u n icatio n   in f r astru ctu r e,   an d   h u m an   c ap ita l.  Sm ith s   Un if ied   C lo u d   R ea d in ess   Ass ess m en Mo d el  [ 3 7 ]   ass ess es  o r g an izatio n al   r ea d in ess   th r o u g h   s ev en   f ac to r s   s u c h   as  s tr ateg y ,   tech n o lo g y ,   h u m an   ca p ital ,   an d   Secu r ity ,   p r o v id i n g   th c o n ce p t u al  b asis   f o r   th e   r ea d in ess   s tr u ctu r u s ed   in   th ADRI .   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J E lec  &   C o m p   E n g     I SS N:   2088 - 8 7 0 8         F A DTES E :   A   fr a mewo r fo r   a u to ma ted   d ep lo yme n a n d     ( Mo n Ho )   1053   d.   T h n ee d   f o r   a n   in teg r ated   s o l u tio n   an d   r esear ch   g ap   E x is tin g   au to m atio n   s tu d ies  r ep o r clea r   b e n ef its   ac r o s s   d o m ain s ,   ev en   th o u g h   m an y   e x a m in o n ly   is o lated   to o ls   o r   in d iv i d u al  w o r k f lo w   s tag es.  I n   th I o MT   d o m ain ,   a u to m atio n   elim in ates  f r ag m en te d   m a n u al  p r o ce s s es  [ 3 8 ] ,   wh ile  s tu d y   s h o ws th at  AI   b ased   ze r o   tr u s t d etec tio n   r ep lace s   s lo m an u a l th r ea t r ev iew  an d   im p r o v es  ac cu r ac y   [ 3 9 ] .   T h es f in d in g s   d em o n s tr ate  th at  a u to m atio n   en h an ce s   r eliab ilit y   an d   r ed u ce s   h u m a n   er r o r ,   r ein f o r cin g   t h n ee d   f o r   au to m ated   ap p r o ac h es in   co m p lex   d ep l o y m en ts   s u ch   as  b i g   d ata  to o ls .       2.   M E T H O D   2 . 1 .     F ADTE SE   f ra m ewo rk   a rc hite ct ure    FADT E SE  in teg r ates  th AD  an d   T E SE  m o d els  to   u n if y   d ep lo y m en t   au to m atio n   an d   p e r f o r m a n ce   ev alu atio n   with in   a   s in g le  co n s o lid ated   p ip elin e   [ 4 0 ] ,   [ 4 1 ] .   T h AD  m o d el  ass ess es  en v ir o n m en t   r ea d in ess ,   wh ile  th T E SE  m o d el  e v alu ates  p o s t - d ep lo y m en p e r f o r m an ce .   T o g eth er ,   th ese  m o d e ls   g en er ate  th e   C S,   wh ich   r ep r esen ts   o v er all  d ep l o y m en ef f ec tiv en ess .   An   o v er v iew  o f   th e   f r am ew o r k   is   s h o wn   in   Fig u r 1 ,   wh ile  s ec tio n s   2 . 2   an d   2 . 3   p r o v id d etailed   d escr ip tio n s   o f   th AD  an d   T E SE  m o d els.  T h C co m b i n es  r ea d in ess   an d   p e r f o r m an ce   u s i n g   th f o llo win g   e x p r ess io n :      =       ×         ( 1 )     o r   eq u i v alen tly ,      = 1 [  +  +  3 0 . 8 ] ×    ( 1 3 ( (  ) + (  ) + ( 5 ) ) )   ( 1 a)     w h er e   AD  Sco r is   o b tain ed   f r o m   ( 2 )   in   th AD  m o d el  s ec tio n .   T E SE  Sco r is   o b tain e d   f r o m   ( 3 )   i n   th T E SE  m o d el  s ec tio n .           Fig u r 1 .   FADT E SE  f r am ewo r k   ar ch itectu r e     Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 8 - 8 7 0 8   I n t J E lec  &   C o m p   E n g ,   Vo l.   1 6 ,   No .   2 Ap r il   20 2 6 :   1 0 5 1 - 1 0 6 2   1054   2 . 2 .     AD  m o del   T h AD  m o d el  m ea s u r es r ea d i n ess   u s in g   th ADRI,   as sh o wn   in   ( 2 ) :     AD = 1 [ LC + IC + SV 3 0 . 8 ]     ( 2 )     w h er e:     L C L in u x   C L I   r ea d i n ess ,   c o n f ir m in g   th e   av ailab ilit y   o f   c o m m an d - lin e   en v ir o n m e n f o r   e x ec u tin g   au to m atio n   s cr ip ts .     I C I n ter n et  co n n ec tiv ity ,   r e q u ir ed   to   d o wn lo ad   d ep en d en cie s ,   p ac k ag es,  an d   to o ls .     SV: Scr ip v alid atio n ,   en s u r in g   th B ash   s cr ip t f ile  is   ex ec u t ab le  an d   er r o r - f r ee .   T h th r esh o ld   v alu o f   0 . 8   f o llo ws  p r io r   s tu d y   [ 4 2 ]   th at  d ef in es  0 . 8   as  t h m in im u m   ac ce p tab le   lev el  f o r   s y s tem   r ea d in ess   o r   r eliab ilit y   in   tec h n o lo g y   a n d   en v ir o n m e n ass ess m en m o d els.  T h is   g atin g   f o r m u latio n   en s u r es  th at   au t o m atio n   o n ly   p r o ce e d s   wh e n   th e n v ir o n m en is   p r ep ar ed   ( ADRI    0 . 8 ) ,   o th er wis e,   th p r o ce s s   s to p s .   On ce   AD   is   s u cc ess f u lly   v alid ated ,   th au t o m atio n   co n tin u es  th r o u g h   a   f iv e - s te p   wo r k f lo w:  I n itial Setu p ,   Had o o p   Setu p ,   Sq o o p   Setu p ,   Py th o n   Setu p ,   an d   Setu p   Ver if icatio n .   T h B ash   s cr ip t,  in s tall_ b ig _ d ata_ u tili ties . s h ,   was  test ed   o n   Ub u n t u   2 2 . 0 4 /2 4 . 0 4   L T S,  L in u x   Min 2 1 /2 2 ,   an d   Ub u n tu   2 2 . 0 4 /2 4 . 0 4   Ser v er   AM I s   o n   AW S,  d em o n s tr atin g   cr o s s - L in u x   co m p a tib ilit y   ac r o s s   b o th   lo ca l a n d   clo u d   en v ir o n m en ts .   I ts   p u b lic  GitHu b   [ 4 3 ]   r elea s also   s u p p o r ts   Dev Op s   wo r k f l o ws.     2 . 3 .     T E SE   m o del   T h T E SE  m o d el  p r o v id es  th p er f o r m an ce   co m p o n e n o f   th C S.  I ev alu ates  p o s t - d ep lo y m en t   ef f ec tiv en ess   u s in g   th r ee   n o r m alize d   d im en s io n s tim ef f icien cy ,   er r o r   r ed u ctio n ,   an d   u s er   s ati s f ac tio n ,   ea ch   s ca led   f r o m   0   to   1 .   T im an d   er r o r   m ea s u r im p r o v em e n o v er   m an u al  in s tallatio n ,   wh ile  s atis f ac tio n   r ef lects   p er ce iv ed   ea s o f   u s e.   T E SE  s co r es  ar e   class if ied   as  h i g h   ef f ec tiv en ess   (   8 0 ) ,   m o d er ate  ef f ec tiv en ess     ( 0 . 5 0 0 . 7 9 ) ,   o r   lo e f f ec tiv en ess   ( 5 0 )   [ 4 4 ] T h T E SE  s co r is   co m p u ted   as:      =    ( 1 3 ( (  ) + (  ) + ( 5 ) ) )     ( 3 )     w h er e:     T h B o o ts tr ap ( )   o p er at o r   [ 4 5 ]   ap p lies   1 0 , 0 0 0   r esam p les  at  9 5 co n f id en ce   in ter v al  to   en s u r s tatis tica l   r o b u s tn ess   an d   m in im ize   s am p lin g   b ias.     1 3   is   b asically   th eq u al - weig h ti n g   co n s tan th at  en s u r es  all  th r ee - p er f o r m an ce   m etr ics  co n tr ib u te  f air ly   t o   th f in al  ef f ec tiv e n ess   s co r e.     w T w E ,   w S   d en o te  t h r elativ weig h ts   ass ig n ed   to   ea ch   m etr ic  ( d ef au lt = 1 /3 ) .     T m E m ,   S m   r ep r esen th m an u al  v alu es  f o r   in s tallatio n   tim e,   er r o r   r ate,   an d   av er a g s atis f ac tio n   r atin g ,   r esp ec tiv ely .     T a E a ,   S a   r ep r esen th e   au to m ate d   v a lu es  f o r   in s tallatio n   tim e,   e r r o r   r ate,   an d   av e r ag s atis f ac tio n   r atin g ,   r esp ec tiv ely .     2 . 4 .     Resea rc m e t ho ds   a nd   pa rt icipa nts   T h is   s tu d y   em p lo y ed   m ix ed   m eth o d s   em p ir ical  d esig n   in t eg r atin g   ex p er im en tal,   q u an tit ativ e,   an d   q u alitativ ap p r o ac h es  t o   v alid ate  th FADT E SE  f r am ewo r k   [ 4 6 ] .   Data   wer e   co ll ec ted   f r o m   8 0   I T   p r ac titi o n er s ,   d eter m in e d   u s in g   Yam an e’ s   f o r m u la  [ 4 7 ] ,   with   4 0   p er f o r m in g   th m an u al  in s tallatio n   in   th B ash   s h ell  an d   4 0   ex ec u tin g   th au to m ated   in s tallatio n   u s in g   B ash   s cr ip t.  co n tr o lled   ex p er im en co m p ar ed   b o th   m eth o d s   u s in g   th T E SE  m etr ics,  an d   s tatis tical  s ig n if ican ce   was a s s es s ed   u s in g   p air ed   t - test   [ 4 8 ] ,   [ 4 9 ] .   User   s atis f ac tio n   was  m ea s u r ed   u s in g   f iv e - p o in L ik er s ca le,   an d   o p en - e n d ed   f ee d b ac k   was  th em atica lly   an aly ze d   [ 5 0 ] [ 5 3 ] .   All p ar ticip an ts   p o s s ess ed   b asic L in u x   co m m an d - lin s k ills ,   m ee tin g   th AD   m o d el  p r e r eq u is ites .   T eleg r am   s u p p o r te d   co m m u n icatio n ,   an d   GitHu b   h o s ted   all  m ate r ials   f o r   r e p r o d u cib ilit y   [ 4 3 ] ,   i n clu d in g :     First I n s tr u ctio n   to   I n s tall Bi g   Data . p d f   ( m a n u al  in s tallatio n   g u id e)     Seco n d   I n s tr u ctio n   to   I n s tall Bi g   Data . p d f   ( au to m ated   in s tallatio n   g u id e )     R esp o n d en t Satis f ac tio n   Su r v e y . p d f   ( T E SE  q u esti o n n air e)     Dep lo y m en t Reliab ilit y   Me tr ics.p d f   ( Su cc ess   r ate  an d   c o n f i g u r atio n   ac c u r ac y   ch ec k lis t)     in s tall_ b ig _ d ata_ u tili ties . s h   ( B ash   au to m atio n   s cr ip t im p lem en tin g   th f i v e - s tep   wo r k f lo w)       Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J E lec  &   C o m p   E n g     I SS N:   2088 - 8 7 0 8         F A DTES E :   A   fr a mewo r fo r   a u to ma ted   d ep lo yme n a n d     ( Mo n Ho )   1055   2 . 5 .     E x perim ent a s et up   a nd   env iro nm ent     Ho s an d   v ir tu al  m ac h in es  f o llo wed   th e   co n f ig u r atio n s   i n   T ab les  1   a n d   2   to   e n s u r r eliab le  d ep lo y m e n t.       T ab le  1 .   Min im u m   s y s tem   r eq u ir em en ts   C o m p o n e n t   S p e c i f i c a t i o n   P r o c e ss o r   ( C P U )   I n t e l   C o r e   i 5   o r   e q u i v a l e n t   M e m o r y   ( R A M )   8   G B   S t o r a g e   1 0 0   G B   a v a i l a b l e   sp a c e   O p e r a t i n g   sy st e m   M i c r o s o f t   W i n d o w 1 0   P r o   V i r t u a l i z a t i o n   p l a t f o r m   V i r t u a l B o x       T ab le  2 .   M in im u m   v ir tu al  m a ch in co n f ig u r atio n   r eq u ir em e n ts   C o n f i g u r a t i o n   p a r a me t e r   M i n i m u m   sp e c i f i c a t i o n   O p e r a t i n g   sy st e m   U b u n t u   Li n u x   2 4 . 0 4   C P U   a l l o c a t i o n   2   C P U   C o r e s   R A M   a l l o c a t i o n   4   G B   S t o r a g e   a l l o c a t i o n   4 0   G B   d i sk   sp a c e   I n st a l l a t i o n   mo d e   G U I   mo d e   ( r e q u i r e d )   S n a p sh o t   ma n a g e me n t   S y st e m s t a t e   b a c k u p   a n d   r e s t o r a t i o n       2 . 6 .     P re re qu is it es a nd   ex pect ed  o utc o m es   B o th   in s tallatio n   m eth o d s   wer co n d u cted   u n d er   id e n tical  co n d itio n s ,   as su m m ar ized   i n   T a b le  3 .       T ab le  3 .   Pre r e q u is ites   an d   ex p ec ted   o u tco m es f o r   m a n u al  v e r s u s   au to m ated   in s tallatio n   C a t e g o r y   M a n u a l   i n st a l l a t i o n   A u t o ma t e d   i n s t a l l a t i o n   K n o w l e d g e   r e q u i r e d   U n d e r st a n d i n g   L i n u x   c o mm a n d - l i n e   c o n c e p t s   U n d e r st a n d i n g   L i n u x   c o mm a n d - l i n e   c o n c e p t s   S k i l l s r e q u i r e d   A b i l i t y   t o   t y p e   a n d   e x e c u t e   c o m ma n d s ma n u a l l y   A b i l i t y   t o   e x e c u t e   p r e - w r i t t e n   scr i p t s   Le a r n i n g   ma t e r i a l   F i r st   I n st r u c t i o n   t o   I n st a l l   B i g   D a t a . p d f   S e c o n d   I n st r u c t i o n   t o   I n st a l l   B i g   D a t a . p d f   O t h e r   r e q u i r e me n t s   Te r mi n a l ,   i n t e r n e t   a c c e ss,  a n d   a ssi st a n c e   Te r mi n a l ,   i n t e r n e t   a c c e ss,  a n d   a ssi st a n c e   Ev a l u a t i o n   me t h o d   I n st a l l   b i g   d a t a   t o o l s   b y   ma n u a l l y   t y p i n g   c o mm a n d i n   t h e   t e r mi n a l   I n st a l l   b i g   d a t a   t o o l s   b y   e x e c u t i n g   a   p r e - d e f i n e d   B a s h   scr i p t   f i l e   Ex p e c t e d   o u t c o m e   D e mo n st r a t e   p r o f i c i e n c y   i n   ma n u a l l y   d e p l o y i n g   b i g   d a t a   t o o l s   D e mo n st r a t e   p r o f i c i e n c y   i n   a u t o m a t e d   d e p l o y me n t   u s i n g   F A D T ESE       2 . 7 .     P er f o r m a nce  a s s ess m ent   m et rics   Per f o r m an ce   ass ess m en u s ed   two   m etr ic  g r o u p s T E SE  m e tr ics  an d   d e p lo y m e n r eliab ilit y   m etr ics.  T E SE  m etr ics,  co llected   th r o u g h   th r esp o n d e n s atis f ac tio n   s u r v ey ,   m ea s u r e d   tim ef f icie n cy ,   er r o r   r ate,   an d   u s er   s atis f ac tio n   u s in g   in s tallatio n   tim estam p s ,   s elf - esti m ated   er r o r   p er ce n tag es,  an d   f iv e - p o in L ik er item s .   Dep lo y m en r eliab ili ty   [ 4 3 ]   w as  ev alu ated   u s in g   two   tech n i ca m etr ics.  i )   Su cc ess   r ate  m ea s u r ed   h o m an y   m an u al  a n d   au to m ate d   in s tallatio n s   co m p leted   with o u in te r v en tio n   u s in g   a   f iv e - item   p r o ce s s   ch ec k lis an d   ADRI  v alid atio n .   ii )   C o n f ig u r atio n   ac cu r ac y   v er if ied   co r r ec in s tallatio n   u s in g   ten - item   ch ec k lis co v er in g   J av a,   SS H,   Had o o p   an d   Sq o o p   v er s io n s ,   r eq u ir ed   Sq o o p   lib r ar ies,  an d   Py th o n   an d   p ip   r ea d in ess .   T h s u cc ess   r ate  was c alcu lated   as:          ( % ) =                  × 100     ( 4 )     a n d   co n f ig u r atio n   ac cu r ac y   as :             ( % ) =          10 × 100     ( 5 )     2 . 8 .     Da t a   c o llect io n pro ce s s   a nd   a na ly s is   Data   co llectio n   f o llo wed   th FADT E SE  wo r k f lo w.   Af ter   e ac h   en v ir o n m en p ass ed   ADR I   v alid atio n   (   0 . 8 ) ,   p ar ticip a n ts   p er f o r m e d   m an u al  an d   a u to m ated   in s tallatio n s   u n d er   id en tical   co n d itio n s .   T E SE  d ata   wer g ath er ed   th r o u g h   o b s e r v atio n   an d   th r esp o n d en s atis f ac tio n   s u r v ey ,   r ec o r d i n g   in s tallatio n   tim e,   co u n tin g   er r o r s ,   a n d   ca p tu r i n g   u s er   s atis f ac tio n   u s in g   f iv e - p o in t   L ik er t   item s .   Dep lo y m en r eliab ilit y   d ata  wer co llected   u s in g   th d ep lo y m en r eliab ilit y   ch ec k lis t ,   co n s is tin g   o f   f iv e - item   s u cc ess   r ate  s ec tio n   an d   ten - item   co n f i g u r atio n   ac cu r a cy   s ec tio n   v er if y in g   J av a,   S SH,  Had o o p ,   Sq o o p ,   Py th o n ,   p ip ,   an d   r eq u ir ed   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 8 - 8 7 0 8   I n t J E lec  &   C o m p   E n g ,   Vo l.   1 6 ,   No .   2 Ap r il   20 2 6 :   1 0 5 1 - 1 0 6 2   1056   lib r ar ies.  C h ec k lis r esu lts   w er co n v er ted   to   p er ce n tag es  u s in g   ( 4 )   an d   ( 5 ) .   Pair ed   t - test s   an d   B o o ts tr ap   r esam p lin g   ( 1 0 . 0 0 0   s am p les,   9 5 C I )   wer a p p lied   t o   T E SE  m etr ics.  Op en - e n d e d   co m m e n ts   wer th em atica lly   an aly ze d .   SP SS   an d   E x ce s u p p o r ted   s tatis tical  test in g ,   co n f id en ce - in ter v al  esti m atio n ,   an d   v is u aliza tio n   u s ed   to   d e r iv th C S.       3.   RE SU L T S AN D I SCU SS I O N   3 . 1 .     Ca s s t ud ies a nd   a pp lic a t io n scena rio s   T wo   ca s s tu d ies  co m p ar ed   m an u al  an d   au to m ated   in s t allatio n   m eth o d s .   I n   th m a n u al  ca s e,   p ar ticip an ts   f o llo wed   th e   f ir s t in s tr u ctio n   g u id a n d   ty p ed   m u ltip le  B ash   co m m an d s   to   i n s tall  Had o o p ,   Sq o o p ,   an d   Py th o n ,   r esu ltin g   i n   lo n g er   in s tallatio n   tim es,  h ig h er   e r r o r   r ates,  an d   g r ea ter   f ac ilit a to r   s u p p o r t.   I n   th au to m ated   ca s e,   p ar ticip an ts   u s ed   th FADT E SE  s cr ip f r o m   th s ec o n d   i n s tr u ctio n   g u id to   in s talled   th e   s am to o ls   u s in g   s in g le  B ash   co m m an d   af ter   d o wn lo ad i n g   th s cr ip t .   T h is   p r o ce s s   was  f aster ,   p r o d u ce d   f ewe r   er r o r s ,   a n d   d eliv er ed   m o r co n s is ten o u tco m es.   T h e s f in d in g s   c o n f ir m   FADT E SE’ s   p r ac tical  u s e   in   ac ad em ic  an d   w o r k p lace   s etti n g s   in   T ab le  4 .       T ab le   4 Ap p licatio n   s ce n ar io s   alig n ed   with   ass ess m en t m etr ics   S c e n a r i o   t y p e   D e scri p t i o n   K e y   m e t r i c s   A c a d e mi c   l e a r n i n g   e n v i r o n m e n t   S t u d e n t s   p e r f o r mi n g   m a n u a l   a n d   a u t o mat e d   i n s t a l l a t i o n i n   a   c o n t r o l l e d   l a b   s e t t i n g .   Ti me ,   e r r o r   r a t e ,   su c c e ss ra t e ,   sat i sf a c t i o n   W o r k p l a c e   I e n v i r o n me n t   I st a f f   t e s t i n g   F A D TESE   i n   r e a l   t e c h n i c a l   se t t i n g s.   Ti me ,   e r r o r   r a t e ,   c o n f i g u r a t i o n   a c c u r a c y ,   sa t i sf a c t i o n       Fo r   s u cc ess   r ate  an aly s is   u s in g   ( 4 ) ,   th e   m an u al  in s tallatio n   ac h iev ed   5 7 . 5 0 %   (   23 40 × 100 ) ,   wh ile  t h e   au to m ated   in s tallatio n   ac h iev ed   9 5 . 0 0 %   (   38 40 × 100 ) .   Fo r   co n f ig u r atio n   ac cu r ac y   an aly s is   u s in g   ( 5 ) ,   th m an u al  in s tallatio n   o b tain ed   6 0 . 0 0 %   ( 6 10 × 100 ) ,   wh e r ea s   th a u to m ated   i n s tallatio n   r ea ch e d   9 0 . 0 0 %   ( 9 10 × 100 ) .   T h ese  r esu lts   s h o th a th au to m ated   s cr ip p r o d u ce d   m o r co n s is ten an d   ac cu r ate  co n f ig u r atio n s   th an   t h m an u a l p r o ce s s .     3 . 2 .     T im e f f iciency   co m pa r is o n   Au to m atio n   r ed u ce d   in s tallatio n   tim b y   6 3 . 0 4 in   T ab le  5 ,   an d   th p air ed   t - test   ( t = 2 4 . 7 2 ,   p <0 . 0 0 1 in   T ab le  6   c o n f ir m e d   th im p r o v em en t a s   s tatis tically   s ig n if ican t.       T ab le  5 .   Me an   in s tallatio n   tim co m p ar is o n   b etwe en   m a n u al   an d   au t o m ated   m eth o d s   M a n u a l   i n st a l l a t i o n   A u t o ma t e d   i n s t a l l a t i o n   Ti me   e f f i c i e n c y   i m p r o v e m e n t   6 7 . 2 8   m i n   2 4 . 8 7   m i n   6 3 . 0 4 %       T ab le  6 .   Pair ed   t - test   r esu lts   f o r   in s tallatio n   tim co m p ar is o n   M e t r i c   t - v a l u e   p - v a l u e   I n st a l l a t i o n   Ti m e   2 4 . 7 2   <   0 . 0 0 1   ( S i g n i f i c a n t )       3 . 3 .     E rr o r a t a na l y s is   E r r o r   r ates  d r o p p ed   f r o m   2 7 . 0 0 to   5 . 1 0 ( 8 1 . 1 1 %;  in   T ab le  7 ) ,   an d   th p ai r ed   t - tes ( t = 2 2 . 4 1 ,   p <0 . 0 0 1 in   T a b le  8 )   c o n f ir m e d   th r ed u ctio n   as si g n if ican t.       T ab le  7 .   C o m p a r is o n   o f   m ea n   er r o r   r ates b etwe en   m an u al  a n d   au to m ated   in s tallatio n s   M a n u a l   i n st a l l a t i o n   A u t o ma t e d   i n s t a l l a t i o n   Er r o r   r a t e   r e d u c t i o n   2 7 . 0 0 %   5 . 1 0 %   8 1 . 1 1 %       T ab le  8 .   Pair ed   t - test   r esu lts   f o r   er r o r   r ate  co m p ar is o n   M e t r i c   t - v a l u e   p - v a l u e   Er r o r   R a t e   2 2 . 4 1   <   0 . 0 0 1   ( S i g n i f i c a n t )   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J E lec  &   C o m p   E n g     I SS N:   2088 - 8 7 0 8         F A DTES E :   A   fr a mewo r fo r   a u to ma ted   d ep lo yme n a n d     ( Mo n Ho )   1057   3 . 4 .     User  s a t is f a ct io a na ly s is   Au to m atio n   i n cr ea s ed   u s er   s at is f ac tio n ,   r aisi n g   th o v er all   m ea n   f r o m   2 . 3 9   t o   4 . 0 7   o n   th f iv e - p o in L ik er s ca le  ( 7 0 . 3 2 g ain in   T ab le  9 ) .   Par ticip an ts   n o ted   clea r er   in s tr u ctio n s ,   s m o o th er   in s tallatio n ,   an d   r ed u ce d   f ac ilit ato r   d ep en d en c e.   T h au to m ated   s etu p   s h o w ed   m ajo r   g ain s   in   ef f icien cy   an d   er r o r   h an d lin g ,   with   in s tallatio n   ef f ec tiv e n ess   im p r o v i n g   f r o m   2 . 2 7   to   4 . 2 7   ( 8 8 . 1 1 %).   T h ese  f in d in g s   v alid ate   th T E SE   m o d el  an d   s h o th at  au t o m atio n   en h an ce s   u s ab ilit y   with in   t h FADT E SE  f r am ewo r k .       T ab le  9 .   User   s atis f ac tio n   s u r v ey   r esu lts : m an u al  v s .   au t o m at ed   in s tallatio n   S u r v e y   Q u e s t i o n s   M a n u a l   I n st a l l a t i o n   ( A v g . )   A u t o ma t e d   I n st a l l a t i o n   ( A v g . )   I mp r o v e m e n t   Th e   a l l o c a t e d   t i m e   ( 3 0   mi n u t e s)   w a s s u f f i c i e n t   t o   c o m p l e t e   t h e   i n s t a l l a t i o n .   2 . 3 8   4 . 0 0   6 8 . 0 7 %   Th e   i n st a l l a t i o n   i n st r u c t i o n s wer e   c l e a r   a n d   e a s y   t o   f o l l o w .   2 . 4 3   4 . 0 6   6 7 . 0 7 %   I   r e q u i r e d   m i n i m a l   f a c i l i t a t o r   su p p o r t   d u r i n g   t h e   i n s t a l l a t i o n   p r o c e ss .   2 . 5 2   4 . 0 3   5 9 . 9 2 %   I   e n c o u n t e r e d   f e w   e r r o r o r   mi s c o n f i g u r a t i o n s   w h i l e   f o l l o w i n g   t h e   st e p s.   2 . 3 6   4 . 0 1   6 9 . 9 1 %   I   f o u n d   t h i s i n s t a l l a t i o n   p r o c e ss  e f f i c i e n t   a n d   e f f e c t i v e .   2 . 2 7   4 . 2 7   8 8 . 1 1 %   O v e r a l l   2 . 3 9   4 . 0 7   7 0 . 2 2 %       3 . 5 .     T hem a t ic  a na ly s is   o f   us er   f ee db a ck   Qu alitativ f ee d b ac k   co n f ir m ed   th q u an titativ r esu lts ,   n o tin g   clea r er   s tep s ,   g r ea ter   in d ep en d en ce ,   an d   r ed u ce d   r elian ce   o n   f ac ilit ato r s ,   as su m m ar ized   in   T ab le  1 0 .   Par ticip an ts   ex p r ess ed   h ig h er   co n f id e n ce   an d   u s ab ilit y ,   r ein f o r cin g   T E SE  f in d in g s   th at  au t o m atio n   lo we r s   o p er atio n al  c h allen g es in   b ig   d ata  d ep lo y m en t.       T ab le  1 0 .   User - i d en tifie d   ch all en g es a n d   a u to m ated   s o lu tio n s   Th e m a t i c   i ss u e   C h a l l e n g e i n   ma n u a l   i n st a l l a t i o n   S o l u t i o n i n   a u t o m a t e d   i n st a l l a t i o n   C o m p l e x   i n s t r u c t i o n s   Th e   i n st r u c t i o n s wer e   so   l o n g ,   l e a d i n g   t o   mi si n t e r p r e t a t i o n   a n d   u ser  e r r o r d u r i n g   e x e c u t i o n .   R e v i s e d   sh o r t   i n st r u c t i o n s   w i t h   st e p - by - st e p   t o   e x e c u t e   scr i p t   t o   i n st a l l   a u t o m a t i c a l l y .   H i g h   e r r o r   r a t e   F r e q u e n t   s y n t a x   mi s t a k e s   a n d   mi ss i n g   d e p e n d e n c i e s   mad e   i t   d i f f i c u l t   t o   c o m p l e t e   t h e   s e t u p .   A u t o ma t e d   s c r i p t   m i n i m i z e d   ma n u a l   i n p u t ,   e n s u r i n g   a c c u r a t e   e x e c u t i o n   a n d   r e d u c i n g   e r r o r s.   D e p e n d e n c y   i ssu e s   M a n u a l   i n st a l l a t i o n   r e q u i r e d   ma n u a l l y   r e so l v i n g   d e p e n d e n c i e s,   c a u s i n g   d e l a y a n d   c o mp a t i b i l i t y   i ss u e s .   Pre - i n s t a l l e d   d e p e n d e n c i e s   i n   t h e   a u t o mat e d   s c r i p t   e n s u r e d   a   sm o o t h   a n d   c o n f l i c t - f r e e   i n s t a l l a t i o n .   F a c i l i t a t o r   d e p e n d e n c y   M a n y   st e p s   w e r e   u n f a m i l i a r ,   r e q u i r i n g   c o n t i n u o u s   f a c i l i t a t o r   a ssi s t a n c e ,   e sp e c i a l l y   i n   c o n f i g u r a t i o n   s e t t i n g s .   A u t o ma t e d   c o n f i g u r a t i o n s,   p r e - s e t   e n v i r o n m e n t   v a r i a b l e s ,   a n d   g u i d e d   p r o m p t s   r e d u c e d   r e l i a n c e   o n   f a c i l i t a t o r s.   I n st a l l a t i o n   t i m e   c o n st r a i n t s   Th e   p r o c e ss w a s   l e n g t h y ,   r e q u i r i n g   m u l t i p l e   c o mm a n d   e n t r i e s   a n d   t r o u b l e s h o o t i n g   e r r o r s.   A u t o ma t i o n   r e d u c e d   i n s t a l l a t i o n   t i m e   t h r o u g h   scr i p t   e x e c u t i o n ,   e l i mi n a t i n g   m a n u a l   s t e p s.       3 . 6 .     O pp o rt un it ies f o i m pro v em ent     Alth o u g h   au t o m atio n   im p r o v ed   u s er   ex p er ien ce ,   a d d itio n al  en h an ce m en ts   wer id en ti f ied   af ter   d ep lo y m e n in   T a b le  1 1 .   Par t icip an ts   also   n o ted   f u r th er   im p r o v em e n o p p o r t u n ities   in   T ab le  1 2 ,   in clu d in g   d iag n o s tic,   co m p atib ilit y ,   an d   r ec o v er y   f ea tu r es to   i n cr ea s f r am ewo r k   r o b u s tn ess .       T ab le  1 1 .   I m p r o v em e n ts   af ter   au to m atio n   F i r st   m e t h o d p r o b l e ( M a n u a l   i n s t a l l a t i o n )   U ser  e x p e r i e n c e   i n   sec o n d   me t h o d   ( A u t o ma t e d   i n s t a l l a t i o n )   I n st r u c t i o n s   l a c k e d   c l a r i t y   a n d   d e t a i l .   Th e   se c o n d   p r a c t i c e   p r o v i d e d   c l e a r e r ,   sh o r t ,   s t r u c t u r e d   i n s t r u c t i o n s w i t h   s h e l l   a u t o ma t e d   e x e c u t i o n .   I n st a l l a t i o n   r e q u i r e d   f r e q u e n t   f a c i l i t a t o r   a ss i st a n c e .   A u t o ma t i o n   ma d e   t h e   p r o c e ss m o r e   i n d e p e n d e n t ,   r e d u c i n g   t h e   n e e d   f o r   f a c i l i t a t o r   s u p p o r t .   Er r o r s o c c u r r e d   f r e q u e n t l y   d u e   t o   ma n u a l   c o n f i g u r a t i o n   i ssu e s.   Th e   scri p t   m i n i mi z e d   e r r o r b y   a u t o m a t i c a l l y   c o n f i g u r i n g   set t i n g s   a n d   r e s o l v i n g   d e p e n d e n c i e s.   M a n u a l   c o mm a n d   e n t r y   w a s re p e t i t i v e   a n d   t i me - c o n s u mi n g .   Th e   a u t o ma t e d   p r o c e ss   o p t i m i z e d   i n st a l l a t i o n ,   r e d u c i n g   t y p i n g   e f f o r t   a n d   e x e c u t i o n   t i me.       T ab le  1 2 .   O p p o r t u n ities   f o r   im p r o v em e n t in   au t o m ated   in s tal latio n   F e e d b a c k   f r o m   a u t o ma t e d   m e t h o d   P r o p o se d   i mp r o v e m e n t   Th e r e   i s   n o   l o g   r e c o r d   i f   a n   e r r o r   o c c u r s.   A d d   e r r o r   l o g g i n g   f u n c t i o n a l i t y   t o   t h e   scri p t .   C h a n g e s   i n   H a d o o p ,   S q o o p ,   o r   P y t h o n   o f f i c i a l   d o w n l o a d   U R Ls  c a u se   f a i l u r e s.   M i r r o r   t h e s e   t o o l s   i n   a   G i t H u b   r e p o si t o r y   f o r   f a l l b a c k   i n st a l l a t i o n   i f   o f f i c i a l   U R Ls  f a i l .   O n l y   w o r k o n   L i n u x   U b u n t u - b a se d   s y st e ms.   Ex p a n d   c o m p a t i b i l i t y   t o   i n c l u d e   a d d i t i o n a l   L i n u x   d i s t r i b u t i o n s.   N o   r o l l b a c k   f u n c t i o n   i f   i n st a l l a t i o n   i i n t e r r u p t e d .   I mp l e me n t   a   r o l l b a c k   m e c h a n i s m t o   r e st o r e   t h e   p r e v i o u s   st a b l e   st a t e   a f t e r   f a i l u r e .   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 8 - 8 7 0 8   I n t J E lec  &   C o m p   E n g ,   Vo l.   1 6 ,   No .   2 Ap r il   20 2 6 :   1 0 5 1 - 1 0 6 2   1058   3 . 7 .     K ey   f ind ing s   co m pa riso n wit h e x is t ing   s t ud ies   T im ef f icien cy   im p r o v ed   b y   6 3 . 0 4 %,  with   th a u to m ated   s cr ip s ig n if ican tly   r ed u cin g   i n s tallatio n   tim e,   co n s is ten t w ith   p r io r   a u to m atio n   r esear ch   in   T ab le  1 3 .         T ab le  13 T im ef f icien c y   im p r o v em en t c o m p a r ed   with   p r io r   au to m atio n   s tu d ies   S t u d y   M a n u a l   I n st a l l a t i o n   A u t o ma t e d   I n st a l l a t i o n   Ti me   Ef f i c i e n c y   I mp r o v e me n t   Th i s   S t u d y   6 7 . 2 8   m i n   2 4 . 8 7   m i n   6 3 . 0 4 %   P y t h o n   S c r i p t   [ 2 9 ]   2 1 3   m i n   2 2   mi n   8 9 . 6 7 %   R P A   [ 3 0 ]   8 . 3 3   mi n   0 . 8 3   mi n   9 0 . 0 4 %   A P C   t o o l   [ 3 1 ]   2 1 . 7   mi n   1 1 . 1   mi n   4 8 . 8 5 %       Au to m atio n   r e d u ce d   er r o r s   b y   8 1 . 1 1 %,  with   m a n u al  in s ta llatio n s   av er ag in g   2 7   e r r o r s   v er s u s   5 . 1     f o r   au to m ate d .   T h is   s ig n if ic an r ed u ctio n   ( p <0 . 0 0 1 )   h ig h lig h ts   th m an u al  m eth o d s   s u s ce p tib ilit y   to   m is co n f ig u r atio n s   in   T ab le  1 4 .       T ab le  1 4 .   C o m p ar is o n   o f   er r o r   r ate  r ed u ctio n   b etwe en   t h is   s tu d y   an d   p r io r   au t o m atio n   r esear ch   S t u d y   M a n u a l   I n st a l l a t i o n   A u t o ma t e d   I n st a l l a t i o n   Er r o r   R a t e   R e d u c t i o n   Th i s   S t u d y   2 7   mi n   5 . 1 0   mi n   8 1 . 1 1 %   R P A   [ 3 0 ]   1 2 %   0%   1 0 0 %   A P C   t o o l   [ 3 1 ]   5   p l a n s   1   p l a n   8 0 . 0 0 %   S h e l l B r e a k e r   [ 3 2 ]   3 4 . 1   f a l s e   n e g a t i v e   r a t e   8 . 3 0   f a l s e   n e g a t i v e   r a t e   7 5 . 6 6 %       Su r v ey   r esu lts   s h o wed   7 0 . 2 2 in cr ea s in   p er ce iv ed   in s tallatio n   ea s with   au to m atio n .   Pa r ticip an ts   r ep o r ted   clea r e r   s tep s ,   less   r el ian ce   o n   f ac ilit ato r s ,   an d   r ed u ce d   tr o u b lesh o o tin g   d u to   g u id ed   p r o m p ts   an d   p r ec o n f ig u r e d   s ettin g s .   T h is   al ig n s   with   p r io r   s tu d ies  [ 1 5 ] ,   [ 3 3 ] ,   co n f ir m in g   th at   r ed u cin g   m an u al  c o m p lex ity   im p r o v es u s ab ilit y   an d   s u p p o r ts   I T   s o lu tio n   ad o p tio n .     3 . 8 .     K ey   f ind ing s   co m pa riso n wit h f ra m ewo r k   T h r esu lts   s u p p o r t FADT E SE.   Fro m   ( 2 ) ,   th AD  v alu is :     AD = 1 [ 1 + 1 + 1 3 = 1 . 0 0 . 8 ]   = 1     C o n f ir m in g   all  p r er eq u is ites .   Usi n g   ( 3 ) ,   th e   T E SE  r esu lts   wer e:     T im e   im p r o v em en t :     T = = 67 . 28 24 . 87 67 . 28 = 42 . 41 67 . 28 = 0 . 6304     E r r o r   r ed u ctio n   E = = 27 . 00 5 . 10 27 . 00 = 21 . 90 27 . 00 = 0 . 8111     Satis f ac tio n   g ain :   S = 5 = 4 . 070 2 . 3 92 5 = 1 . 682 / 5 = 0 . 3364     Fig u r es 2   an d   3   s h o th e   ADRI  ch ec k   an d   d ep lo y m en o u tp u t c o n f ir m in g   p r er eq u is ites .   Ap p ly in g   B o o ts tr ap   r esam p lin g   ( 1 0   0 0 0   s am p les,  9 5   % C I ) ,   t h T E SE  s co r was:     TESE = B ootstr a p ( 1 3 ( 0 . 6304 + 0 . 8111 + 0 . 3364 ) ) = B ootstr a p ( 0 . 5926 ) = 0 . 5941     C o r r esp o n d in g   to   m o d e r ate  ef f ec tiv en ess   lev el   ( 5 9 . 4 1 %) .   Su b s titu tin g   t h AD  a n d   T E SE  v alu es  in to   ( 1 co n f ir m s   m o d er ate  o v er all  ef f ec tiv en ess   with   f u ll r ea d in ess .     CS = 1   × 0 . 5941 = 0 . 5941   or   59 . 41%     3 . 9 .     P r a ct ica l i m pli ca t io ns   a nd   lim it a t io ns   Alth o u g h   th FADT E SE  f r am ewo r k   ac h iev ed   m o d er ate  o v e r all  ef f ec tiv en ess   ( C S = 5 9 . 4 1 %),   s ev er al  lim itatio n s   r em ain .   T h m o d el  is   p latf o r m - d ep e n d en a n d   u s es  eq u al - weig h in d ices  t h at  m ay   n o r ef lect  Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J E lec  &   C o m p   E n g     I SS N:   2088 - 8 7 0 8         F A DTES E :   A   fr a mewo r fo r   a u to ma ted   d ep lo yme n a n d     ( Mo n Ho )   1059   d iv er s o p er atio n al  co n tex ts .   B o o ts tr ap   v alid atio n   is   co n s tr ain ed   b y   s am p le  s ize  an d   co n tr o lled   co n d itio n s ,   an d   th f r am ewo r k   ev alu ates  d ep lo y m e n b u n o p o s t - d e p l o y m en p er f o r m a n ce .   Fu tu r wo r k   s h o u ld   en a b le  weig h ted   an d   ad a p tiv r ea d i n ess   s co r in g ,   cr o s s - p latf o r m   s u p p o r t,  d y n am ic  er r o r   r ec o v er y ,   a n d   b r o ad er   v alid atio n   in   in d u s tr ial  s ettin g s .           Fig u r 2 .   ADRI  r ea d in ess   v er i f icatio n           Fig u r 3 .   Au t o m ated   d e p lo y m en t e x ec u tio n   o u tp u t       4.   CO NCLU SI O N   T h is   s tu d y   p r esen ted   FADT E SE  as  u n if ie d   f r a m ewo r k   th at  in teg r ates  au to m ate d   d e p lo y m en with   s tr u ctu r ed   e f f ec tiv en ess   ev al u atio n   f o r   b ig   d ata   t o o ls .   B y   c o m b in in g   th e   au t o m ated   d ep l o y m en t   m o d el  with   th tim e,   er r o r ,   a n d   s atis f ac tio n   ev alu atio n   m o d e l,  th f r am e wo r k   p r o v id es  co m p lete  ap p r o ac h   to   ad d r ess in g   th co n f i g u r atio n   co m p lex ity ,   d ep en d en cy   is s u es,  an d   in co n s is ten r esu lts   ty p ically   o b s er v ed   in   m an u al   in s tallatio n   o f   Had o o p ,   Sq o o p ,   an d   Py th o n .   R esu lts   f r o m   eig h ty   I T   p r ac titi o n er s   d em o n s tr ated   th at   th en v ir o n m en was  f u lly   p r ep a r ed   f o r   au to m atio n ,   as  in d icate d   b y   an   ADRI  v alu o f   1 . 0 ,   a n d   th at  au to m atio n   led   to   s u b s tan tial  im p r o v e m e n ts   in   in s tallatio n   o u tco m es.  Au to m atio n   r e d u ce d   in s tallatio n   tim e,   m in im ized   co n f ig u r atio n   er r o r s ,   an d   in cr ea s ed   u s er   s ati s f ac tio n ,   lead in g   to   T E SE  s co r o f   0 . 5 9 4 1   an d   C o m p o s ite  Sco r o f   5 9 . 4 1 % ,   co n f i r m in g   m o d er ate  o v er all  ef f ec tiv e n ess   with   f u ll  r ea d in ess .   B ey o n d   q u an titativ g ain s ,   q u alitativ f ee d b ac k   s h o wed   th at  au to m atio n   im p r o v e d   clar ity ,   r ed u ce d   f ac ilit ato r   d ep en d e n ce ,   an d   in cr ea s ed   co n f id en ce   d u r in g   d ep lo y m e n t.  T h ese  f in d in g s   v alid ate   th f r am ewo r k   d em o n s tr at th at  co m b in ed   au to m atio n - a n d - e v alu atio n   a p p r o ac h   ca n   cr ea te  m o r co n s is ten t,  r eliab le,   an d   r ep r o d u cib le  d ep lo y m e n p r o ce s s es  f o r   b ig   d ata   en v ir o n m en ts .   W h ile  th f r a m ewo r k   p e r f o r m ed   ef f ec tiv ely ,   li m itatio n s   r em ain   in   p latf o r m   d ep en d en cy ,   lack   o f   r o llb ac k   an d   lo g g in g   f ea tu r es,  a n d   f ix ed   m etr i weig h tin g .   Fu tu r e   en h an ce m e n ts   will  in clu d ex p an d in g   p latf o r m   s u p p o r t,  in te g r atin g   d ia g n o s tic  an d   r ec o v er y   m ec h an is m s ,   an d   v alid atin g   th e   ap p r o ac h   in   b r o ad er   i n d u s tr ial  co n tex ts   to   f u r th er   s tr en g th en   th r o b u s tn es s   an d   s ca lab ilit y   o f   FADT E SE.       ACK NO WL E DG M E N T S   T h au th o r s   th a n k   t h ei r   c o - a u th o r s   f o r   g u id a n ce ,   p ee r   r ev iewe r s   f o r   v alu ab le   f ee d b ac k .   T h ey   also   ac k n o wled g e   th s u p p o r t o f   th L in co ln   Un iv e r s ity   C o lleg Do cto r al  Pro g r a m .       F UNDING   I NF O R M A T I O N   T h is   r esear ch   r ec eiv ed   n o   e x te r n al  f u n d in g .     Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 8 - 8 7 0 8   I n t J E lec  &   C o m p   E n g ,   Vo l.   1 6 ,   No .   2 Ap r il   20 2 6 :   1 0 5 1 - 1 0 6 2   1060   AUTHO CO NT RI B UT I O NS ST A T E M E N T   T h is   jo u r n al  u s es  th C o n tr ib u to r   R o les  T ax o n o m y   ( C R ed iT)   to   r ec o g n ize  in d iv id u al  au th o r   co n tr ib u tio n s ,   r ed u ce   au th o r s h ip   d is p u tes,  an d   f ac ilit ate  co llab o r atio n .     Na m o f   Aut ho r   C   M   So   Va   Fo   I   R   D   O   E   Vi   Su   P   Fu   Mo n y   Ho                               So k r o eu r n   An g                               So p h ea tr Hu y                               Mid h u n ch a k k ar a v ar th y   J an ar th an an                                 C     C o n c e p t u a l i z a t i o n   M     M e t h o d o l o g y   So     So f t w a r e   Va     Va l i d a t i o n   Fo     Fo r mal   a n a l y s i s   I     I n v e s t i g a t i o n   R     R e so u r c e s   D   :   D a t a   C u r a t i o n   O   :   W r i t i n g   -   O r i g i n a l   D r a f t   E   :   W r i t i n g   -   R e v i e w   &   E d i t i n g   Vi     Vi su a l i z a t i o n   Su     Su p e r v i s i o n   P     P r o j e c t   a d mi n i st r a t i o n   Fu     Fu n d i n g   a c q u i si t i o n         CO NF L I C T   O F   I N T E R E S T   ST A T E M E NT   T h au th o r s   d ec lar n o   co n f lict o f   in ter est.       DATA AV AI L AB I L I T Y   T h d ata  th at  s u p p o r th f in d in g s   o f   th is   s tu d y   ar o p en l y   av ailab le  in   GitHu b   [ 4 3 ] .   T h d ataset   g en er ated   an d   an aly ze d   d u r in g   th cu r r en s tu d y   is   av ailab l f r o m   th co r r esp o n d in g   au th o r   u p o n   r ea s o n ab le   r eq u est.       RE F E R E NC E   [ 1 ]   T.   H .   D a v e n p o r t   a n d   D .   J.  P a t i l ,   D a t a   sc i e n t i st :   T h e   se x i e st   j o b   o f   t h e   2 1 st   c e n t u r y ,   H a rv a r d   B u s i n e ss  R e v i e w ,   v o l .   9 0 ,   n o .   1 0 ,   p .   5 ,   2 0 1 2 .   [ 2 ]   V .   D h a r ,   D a t a   sc i e n c e   a n d   p r e d i c t i o n ,   C o m m u n i c a t i o n s   o f   t h e   A C M ,   v o l .   5 6 ,   n o .   1 2 ,   p p .   6 4 7 3 ,   2 0 1 3 ,   d o i :   1 0 . 1 1 4 5 / 2 5 0 0 4 9 9 .   [ 3 ]   F .   P r o v o st   a n d   T .   F a w c e t t ,   D a t a   s c i e n c e   a n d   i t s re l a t i o n s h i p   t o   b i g   d a t a   a n d   d a t a - d r i v e n   d e c i si o n   ma k i n g ,   Bi g   D a t a ,   v o l .   1 ,   n o .   1 ,   p p .   5 1 5 9 ,   2 0 1 3 ,   d o i :   1 0 . 1 0 8 9 / b i g . 2 0 1 3 . 1 5 0 8 .   [ 4 ]   A .   K .   S a n d h u ,   B i g   d a t a   w i t h   c l o u d   c o mp u t i n g :   D i sc u ss i o n s   a n d   c h a l l e n g e s,”   Bi g   D a t a   M i n i n g   a n d   An a l y t i c s ,   v o l .   5 ,   n o .   1 ,   p .   3 2 ,   2 0 2 2 ,   d o i :   1 0 . 2 6 5 9 9 / B D M A . 2 0 2 1 . 9 0 2 0 0 1 6 .   [ 5 ]   C .   M a ,   M .   Zh a o ,   a n d   Y .   Z h a o ,   A n   o v e r v i e w   o f   H a d o o p   a p p l i c a t i o n s   i n   t r a n s p o r t a t i o n   b i g   d a t a ,   J o u r n a l   o f   T r a f f i c   a n d   T ra n s p o rt a t i o n   En g i n e e r i n g   ( E n g l i sh   Ed i t i o n ) ,   v o l .   1 0 ,   n o .   5 ,   p p .   9 0 0 9 1 7 ,   2 0 2 3 ,   d o i :   1 0 . 1 0 1 6 / j . j t t e . 2 0 2 3 . 0 5 . 0 0 3 .   [ 6 ]   R .   C .   Ta y l o r ,   A n   o v e r v i e w   o f   t h e   H a d o o p / M a p R e d u c e / H B a se   f r a mew o r k   a n d   i t s   c u r r e n t   a p p l i c a t i o n s   i n   b i o i n f o r mat i c s ,   B MC   Bi o i n f o rm a t i c s ,   v o l .   1 1 ,   n o .   S U P P L.   1 2 ,   2 0 1 0 ,   d o i :   1 0 . 1 1 8 6 / 1 4 7 1 - 2 1 0 5 - 11 - S 1 2 - S 1 .   [ 7 ]   S .   La n d s e t ,   T .   M .   K h o sh g o f t a a r ,   A .   N .   R i c h t e r ,   a n d   T.   H a s a n i n ,   A   s u r v e y   o f   o p e n   so u r c e   t o o l s fo r   ma c h i n e   l e a r n i n g   w i t h   b i g   d a t a   i n   t h e   H a d o o p   e c o s y st e m,   J o u rn a l   o f   Bi g   D a t a ,   v o l .   2 ,   n o .   1 ,   p p .   5 6 ,   2 0 1 5 ,   d o i :   1 0 . 1 1 8 6 / s 4 0 5 3 7 - 0 1 5 - 0 0 3 2 - 1.   [ 8 ]   D .   G e n g ,   C .   Z h a n g ,   C .   X i a ,   X .   X i a ,   Q .   L i u ,   a n d   X .   F u ,   B i g   d a t a - b a s e d   i m p r o v e d   d a t a   a c q u i si t i o n   a n d   st o r a g e   s y st e m   f o r   d e s i g n i n g   i n d u st r i a l   d a t a   p l a t f o r m ,   I EEE  A c c e ss ,   v o l .   7 ,   p p .   4 4 5 7 4 4 4 5 8 2 ,   2 0 1 9 ,   d o i :   1 0 . 1 1 0 9 / A C C ESS . 2 0 1 9 . 2 9 0 9 0 6 0 .   [ 9 ]   T.   J.  P o l l a r d ,   A .   E.   W .   J o h n so n ,   J.  D .   R a f f a ,   a n d   R .   G .   M a r k ,   T a b l e o n e :   A n   o p e n   s o u r c e   P y t h o n   p a c k a g e   f o r   p r o d u c i n g   su mm a r y   st a t i st i c s   f o r   r e sea r c h   p a p e r s,”   J A MIA  O p e n ,   v o l .   1 ,   n o .   1 ,   p p .   2 6 3 1 ,   2 0 1 8 ,   d o i :   1 0 . 1 0 9 3 / j a m i a o p e n / o o y 0 1 2 .   [ 1 0 ]   J.  D e a r   e t   a l . ,   O r a n g e :   D a t a   mi n i n g   t o o l b o x   i n   p y t h o n ,   J o u rn a l   o f   Ma c h i n e   L e a rn i n g   Re s e a r c h ,   v o l .   1 4 ,   p p .   2 3 4 9 2 3 5 3 ,   2 0 1 3 .   [ 1 1 ]   I .   A .   A j a h   a n d   H .   F .   N w e k e ,   B i g   d a t a   a n d   b u si n e ss   a n a l y t i c s:   Tr e n d s,  p l a t f o r ms,  s u c c e ss   f a c t o r a n d   a p p l i c a t i o n s,”   Bi g   D a t a   a n d   C o g n i t i v e   C o m p u t i n g ,   v o l .   3 ,   n o .   2 ,   p p .   1 3 0 ,   Ju n .   2 0 1 9 ,   d o i :   1 0 . 3 3 9 0 / b d c c 3 0 2 0 0 3 2 .   [ 1 2 ]   J.  L i   e t   a l . ,   C h a l l e n g e s   t o   e r r o r   d i a g n o s i i n   H a d o o p   e c o s y st e ms,   i n   2 7 t h   L a r g e   I n s t a l l a t i o n   S y st e m   Ad m i n i st r a t i o n   C o n f e r e n c e ,   L I S 2 0 1 3 ,   2 0 1 3 ,   p p .   1 4 5 1 5 4 .   [ 1 3 ]   W .   C .   C h u n g   e t   a l . ,   C l o u d D O E:   A   u ser - f r i e n d l y   t o o l   f o r   d e p l o y i n g   H a d o o p   c l o u d a n d   a n a l y z i n g   h i g h - t h r o u g h p u t   se q u e n c i n g   d a t a   w i t h   M a p R e d u c e ,   PL o S   O N E ,   v o l .   9 ,   n o .   6 ,   p p .   2 3 ,   2 0 1 4 ,   d o i :   1 0 . 1 3 7 1 / j o u r n a l . p o n e . 0 0 9 8 1 4 6 .   [ 1 4 ]   Z.   Zh o n g ,   S .   H e ,   H .   W a n g ,   B .   Y u ,   H .   Y a n g ,   a n d   P .   H e ,   A n   e m p i r i c a l   st u d y   o n   p a c k a g e - l e v e l   d e p r e c a t i o n   i n   P y t h o n   e c o sy s t e m ,   i n   Pro c e e d i n g -   I n t e r n a t i o n a l   C o n f e re n c e   o n   S o f t w a re  E n g i n e e ri n g ,   2 0 2 5 ,   p p .   6 6 7 7 ,   d o i :   1 0 . 1 1 0 9 / I C S E5 5 3 4 7 . 2 0 2 5 . 0 0 0 4 6 .   [ 1 5 ]   J.  F a n ,   F .   H a n ,   a n d   H .   Li u ,   C h a l l e n g e s   o f   b i g   d a t a   a n a l y s i s,”   N a t i o n a l   S c i e n c e   Re v i e w ,   v o l .   1 ,   n o .   2 ,   p p .   2 9 3 3 1 4 ,   2 0 1 4 ,   d o i :   1 0 . 1 0 9 3 / n sr / n w t 0 3 2 .   [ 1 6 ]   B .   K i m   a n d   G .   H e n k e ,   E a sy - to - u s e   c l o u d   c o m p u t i n g   f o r   t e a c h i n g   d a t a   s c i e n c e ,   J o u r n a l   o f   S t a t i st i c s   a n d   D a t a   S c i e n c e   Ed u c a t i o n ,   v o l .   2 9 ,   n o .   S 1 ,   p p .   S 1 0 3 S 1 1 1 ,   2 0 2 1 ,   d o i :   1 0 . 1 0 8 0 / 1 0 6 9 1 8 9 8 . 2 0 2 0 . 1 8 6 0 7 2 6 .   [ 1 7 ]   D .   B l a z q u e z   a n d   J .   D o m e n e c h ,   B i g   d a t a   s o u r c e s a n d   m e t h o d f o r   so c i a l   a n d   e c o n o m i c   a n a l y s e s,”   T e c h n o l o g i c a l   F o rec a s t i n g   a n d   S o c i a l   C h a n g e ,   v o l .   1 3 0 ,   p p .   9 9 1 1 3 ,   2 0 1 8 ,   d o i :   1 0 . 1 0 1 6 / j . t e c h f o r e . 2 0 1 7 . 0 7 . 0 2 7 .   [ 1 8 ]   M .   M .   N a j a f a b a d i ,   F .   V i l l a n u st r e ,   T.   M .   K h o s h g o f t a a r ,   N .   S e l i y a ,   R .   W a l d ,   a n d   E.   M u h a r e ma g i c ,   D e e p   l e a r n i n g   a p p l i c a t i o n a n d   c h a l l e n g e s i n   b i g   d a t a   a n a l y t i c s,   J o u r n a l   o f   Bi g   D a t a ,   v o l .   2 ,   n o .   1 ,   p p .   6 7 ,   2 0 1 5 ,   d o i :   1 0 . 1 1 8 6 / s 4 0 5 3 7 - 0 1 4 - 0 0 0 7 - 7.   [ 1 9 ]   X .   W .   C h e n   a n d   X .   L i n ,   B i g   d a t a   d e e p   l e a r n i n g :   C h a l l e n g e a n d   p e r s p e c t i v e s,   I EEE  Ac c e ss ,   v o l .   2 ,   p p .   5 1 4 5 2 5 ,   2 0 1 4 ,   d o i :   1 0 . 1 1 0 9 / A C C ESS . 2 0 1 4 . 2 3 2 5 0 2 9 .   Evaluation Warning : The document was created with Spire.PDF for Python.