Indonesi an  Journa l  of El ect ri cal Engineer ing  an d  Comp ut er  Scie nce   Vo l.   1 3 ,  No.   2 ,  Febr uar y   201 9 , pp.  7 29 ~ 7 3 6   IS S N: 25 02 - 4752, DO I: 10 .11 591/ijeecs .v1 3 .i 2 .pp 7 29 - 7 3 6          729       Journ al h om e page :  http: // ia es core.c om/j ourn als/i ndex. ph p/ij eecs   A noble  approa ch  to  d evel op dynam ically s ca l able n amen ode in   hadoop d istributed file  sy stem usi ng secon dary sto rage       Tumpa  Rani  Shaha 1 ,  Md.  Na sim  Akht ar 2 , Fatem a  Tu j Johor a 3 ,  Md.  Z ak ir   Ho ss ain 4 ,    Most af ij ur   Rahman 5 , R. B.   Ah m ad 6   1, 2,4 Depa rtment   o f  Com pute r  Sci e nce   and Engi ne e ring,   Dhak a  Uni ver sit y   of   Eng in ee ring   and   Tech nolog y   (DU ET ) ,   Gaz ipur, Ba ng ladesh   3 Instit ute of Info rm at ion  T ec hno l og y ,   Jaha ng irnagar  Univer si t y   (J U),  Banglade sh    5 D epa rtment of  Software   Eng ineeri ng,   Daffodi l  I nte rna ti ona l  Uni ver sit y   (DIU ), Dhaka ,   Bang la des h   1 Depa rtment of  Com pute r  Scie n ce   and Engi ne ering,  Daffod il   In ternat ion al   Univ er sit y   (DIU ),   Dhak a,   B anglade sh   6 Facul t y   of  Infor m at ic s a nd   Com puti ng,   Univer sit y   Sul t an   Zaina l A bidi n  (UniSZA ),   22200   Besut,  Te ren gg anu, Ma lay s ia       Art ic le  In f o     ABSTR A CT   Art ic le  history:   Re cei ved   N ov  12 , 201 8   Re vised  Dec  13 ,   2018   Accepte d  Dec  27 , 201 8       For  sca la bl e  da t a  storage,  Hado op   is  widely   us ed  nowada y s.  I t   provide s  a  distri bute d  fi le   sy stem  tha t  store s  dat a  on  the   compute  nodes.   Basic a lly ,   i t   rep rese nts  a  m a ster/ slav e  arc h itect ur e  that  con sists   of  a  Name Node  and  copi ous  Dat a  N odes.   Dat a  Nod es  contain  appli ca t ion  da ta  and  m et ada t a   of   appl i ca t ion  data   reside s  in  the  Main  Mem or y   of  Nam eNode .   In  ca ch ed   appr oac h ,   they   f rag m ent   the   m etada t a  depe nd ing   on  the   la st  acces s  ti m e  and  m ove  the   least  f req uentl y   used   dat a   to  s ec ondar y   m emor y .   If  th e  req u este d   dat a  is  not  foun d  in  m ai n  m em or y   th e n  the   se c ondar y   d ata  will  be  loa de d   aga in  on  the   RAM .   So   when  the   sec ondar y   d at a  re loa ds  to  the   prima r y   m emory   th en  the  Nam eNode   m ai n  m emory   li m it a ti on  ari ses  again.  The   foc us   of  thi s  res ea rch   i s  to  red u ce   the   n amespac e  prob lem   of  m ai n  m emor y   and  t o   m ake   t he   s y st e m   d y namic al l y  sca l abl e .   A  n ew  Meta d at a   Fragm ent ation   Algorit hm   is  proposed  tha t   sepa ra te s  th e  m et ad at a   li st  o f   Nam eNode   d y nami ca l l y .   Th e  Nam eNode   cr ea t es  Seconda r y  Mem ory   Fil e  in   per spec ti v e   of  the   thre shold  val ue  and  al lo cate s  sec ondar y   m emor y   loc at ion  base d  on  the  req uire m ent.  Ac cor ding  to  th e  pr oposed  al gor it h m   the   m axi m um   thi rd ,   out   of   fourth  of  m ai n  m emory   is  used   at   th e  se conda r y   f il e  cachi ng  tim e.   The   f ree  spac e  a ids  in  fas te r  oper at ion  b y   D y namic al l y   Sc al ab le   Nam eNode   appr oa ch .   Thi s  proposed   a l gorit hm   show s  tha t  th e  spa ce   u tilizati on  is  inc r eas ed  to  17%   and  ti m e  utiliza ti on  is  inc r ea se d  to  0. 0005%  with  the   compa rison  of  the   exi sting   fra gm en ta ti on   a lgori thm.   Ke yw or ds:   DataN od e   Hado op   Me ta data   Nam eNo de   Seco nd a ry St orage   Copyright   ©   201 9   Instit ut e  o f Ad vanc ed   Engi n ee r ing  and  S cienc e .     Al l   rights re serv ed.   Corres pond in g  Aut h or :   Tum pa  Ra ni S hah a ,    Dep a rtm ent o f C om pu te r  Scie nce a nd E ng i ne erin g,   Dh a ka U niv e rs it y of  E ng i neeri ng  a nd Tec hn ology,  Gazip ur, Ban glades h.   Em a il : t u m pa. cse4 9@gm ail.co m         1.   INTROD U CTION   In   t his  m od er n  age,   it   has  bec om e  the  m ai n  con ce r n  to  ha ndle   the  data  th at   is  bein g  generate d  e ver y   day.  Appro xim at el y 25   qu i ntil li on   byte s of dat a are cr eat e d every  day an d 90% o f  t he  dat a h as  bee n  cr ea te d  in   the  la st  two  ye ars.   This  da ta   are  bein g  gen e ra te d  fro m   ever ywhe re   li ke  sensors  for  gat her in g  cl i m ate   inf or m at ion ,  soc ia l  m edia  sit e s,  tran sact ion   r ecords,  sat el li t es  et c.  These  da ta   set s  are  i m m ensely   un str uc ture d  and  as  a  resu l t  to  proces s  a nd   est i m at e  these  big  data  is   a  great   co nce rn.  As   the  dat a  s iz e  has  i ncrea sed  extrem el y  RD BM S  has  f ou nd   it   c halle ngin g.   M or e  e ver   as  t hese  data  set s  are   sem i - structu r ed  an d  un st ru ct ur e d  RDBM S  can no t cat egorize  as  t hey  are  desig ne d  to  ha nd le   struct ur e d  data. Th is  pro blem   req ui res   a  database  m a nag em ent  syst e m   that  is   capab le   of   a naly ze  these  data  in  an  e ff ic ie nt  and   c onve nien t  way.   Evaluation Warning : The document was created with Spire.PDF for Python.
                          IS S N :   2502 - 4752   Ind on esi a n  J  E le c Eng &  Co m p  Sci,   Vo l.   1 3 , N o.   2 ,  Fe bru ary  201 9   :   7 2 9 –   7 3 6   730   Ap ac he  Ha doop  is  su ch  kind  of   DBMS  for  handlin g  sem i - structu re d  an d  un st ru ct ur e d  da ta   that  pr ovid es  a n  op e n  s ource ,  di stribu te d  data base  processi ng  platf orm   acro ss  se ver al   t housa nd  nodes.  M or e  e ver  it   is  high  sp ee d  a nd  has   great er  t olera nce  t o  fau lt   al ong  with   cost   eff ic ie ncy  as   i t  stock s  data  i n  sm al l  a m ou nt  via   m ul ti ple serv e r s.   Fil e  syst e m   meta data  and   a ppli cat ion   data  are  store d  se pa ratel y  in  the  existi ng   Ha doop  Distri bu te d  Fil e  Syst e m .  Nam eNo de   co ntains  t he  m etad at a  of   t he  s yst e m   and   Dat aNode  co ntain   ap plica ti on   da ta .  Pe r   cl us te r  ab out  te ns   of  th ou sa nds  of  cl ie nts  can  acce ss  the  H adoo p  sto rag e  at   a  tim e.  DataNode  sto re  the   blo c k  of  data  i n  thei r   local   file   syst e m   and   Nam eNo de   sto re  m et a d at a  of  al l  the   DataN od e   in  t heir  l ocal  file   s yst e m .   So   i f  we  try   t o  exte nd  the  ne twork   or  try   t o  ad d  ne w  DataNode  t he n  bec ause  of  Nam e Node  m ai n  m e m or y  lim it at ion   we  can’ t  e xten d  t he  netw ork.  T his  na m espace  lim i ta ti on   is  on e   of  t he  im portant  pro blem s  of   exi sti ng H a doop  Distrib uted F il e Syst e m .   This  pro po se d  Dynam ic al l y  Scal able  N a m eNo de   ( D SN )   ap proac h  intr oducin g  a  Me ta daya   Fr a gm entat ion   Algorithm   (M FA )  t o  fr a gm e nt  the  m e ta data  fr eq ue ntly   and   inc rease  th e  nam espace  capaci ty   dynam ic al l y by  m aking  t he  i nteract io n between  m ai n  m e m or y and  sec onda ry m e m or y of Nam eNode.        2.   LIT ERATUR E REVIE W    In   the  fiel d  of  m od ern   te ch nolog y,  the  us e  of  Ha doop  f or   handlin g  bi g  da ta   has  bec ome   an  act ive   area  of   resea rc h.   Seve ral a ppr oach e s  hav e  b e en  s uggeste d o n  this  f ie ld.     In   [1 ] ,   they  d e velo ped  t he  Ha doop D ist ri bu t ed  Fil e Syst e m  o n beh al f  of Ya hoo.  T hey h a ve  ex plain e d  about the  H a do op arc hitec ture  and s howe d  t he  r es ult f or   ha ndli ng 25 Pet ab yt e o f data  at  Yaho o.   A  cl assifi cat io n  base d  m et adata  m anag em e nt  syst e m   is  pr opos e d  in  [ 2].  They  f ocu se d  on   reducin g  the  bo tt le nec k  of   the  Nam e Node  m ai n  me m or y.  They  f rag m ent  the  m et adata  of   Na m eNo de  based  on   the   i m po rtance f ac tor.   T hey  ha ve  cal culat ed  thre e  (H ig h,   Me di um   and   Lo w)   t ypes  of  im po rtance  fact or  ( I f).  Has h  ta ble  is  us e d  t o  re prese nt  h ig h  I f,  a  tree  m ap  is  us e d  to  re pr ese nt  m edium   If   and  seq ue nce  file s  are  us e d  t o  represe nt lo w  I f.     A  cache d  a ppr oach   is  pro po s ed  in  [ 3]  f or   a ddressi ng   Nam eNode  scal a bili ty   in  HD FS .  Their  m ai n  fo c us   was  to  e nh a nce  the  e xi sti ng   arc hitec ture .  They  f ra gm ent  t he  m et a data  de pends  on  the  la st  acce ss  tim e   and   m ov e d  the   le ast   fr eq ue ntly   us ed  data  to cache.  T hey  w ere  able  to r em ov e 250 MB  o f  data  from   RAM.  Bu t   for  da ta   searc hi ng   when  t he  r equ e ste d  data  no t  fou nd  in  m ai n  m e m or y  then  the  seco nda ry  data  will   be  loade d  a gain  on  the   R AM.  S o  w hen  the  sec ondar y  data  rel oad  to  t he  pr im ary  m e m or y  the  issue   of  Nam eNode   m a in  m e m or y l i m it a ti on  a rises a gain.     In  pa per  [ 4],  they   analy ze  t he  requirem ent  li ke  ha rdwa r e,  s of twa re,   ne twork   en vir onm ent  fo r   i m pr ovin g  the p er form ance  of  cl oud  c om pu ti ng . Th ey  d eve lop e d  a  cach e  s yst e m   in  la ye re d  pas sio n  w he r e  the  syst e m   has  a  cl ie nt  li br ary  a nd  m ulti ple  cache  se rv ic es.   Cl ie nt  li br ary  ca n  acce ss  t he  fi le s  from   the  sh are d  m e m or y.  This   distrib uted  ca che  syst em   ca n  m anipu la te   la rg e  num ber   of  file s  with   a  m illi secon d  le vel  in   highly  concu rrent en vir onm e nt.     I n  [ 5],  they   de velo ped   a   m ec han ism   to  i m pr ov e d  Hado op   perform ance  usi ng   m et adata  for  ha ndli ng   big   data.  By   as sign i ng  jo bs   to   the  DataN od e ,   H 2H a doop  w as  exte nd e d  t he   abili ty   of   Na m eNo de .  T hey   wer e  su ccess fu l  f or   r edu ci ng CP U  t i m e and   nu m be r of   nee d op e r at ion .     I n  [ 6 - 8],  they   pro po se d  a  s yst e m   fo r  im p rovin g  m et adata  m anag em ent  in  HDFS  for   sm a ll   file s.   They f oc us e d on the  sm all f il es in t he  m ai n  m e m or y and p r ov i de  a rch i val  m et ho ds f or th os e sm al l fi le s.    Distrib uted  m et adata  m anag e m ent  schem e   is  propose d  in  [ 9].  They   pro po se d  a  syst e m   fo r   distrib uted  m et adata m anag e m ent sch em e i n HDFS t o  im pr ove t he HD FS  eff ic ie nc y.   In   [10],  t he  na m espace  is  de par te d  into   sev eral  fr a gm ents.  Re plica s  of  ea ch  f ra gm ent  are  disp e rs e d  a m on g  the  NN.  More  ti m e   is   need e d  f or   m et adata  searchi ng   with  sync hro nizat ion   bec ause  the  f rag m ented   nam espaces ar e d ist rib ute d  a m on g  di ff e ren t  NN   In   [11],  they   pro po se d  a  D ynam ic   Director y  Pa rtit ion in g  ( D DP )  te c hniq ue  w he re  they   al lowi ng   directo ry  m e tad at a  an d  file   m et adata  in  a  div e rse  way.  They  i m pr ove d  the  pe rfo rm a nce  on  scal abi li ty   and  adap ta bili ty .   An  ef fici ent  m et adata  m anag em ent  syst e m   is  propose d  in .  T hey  pro po s ed  direct ory   le vel  base d  m et adata  m anag em ent  wh ic h  is  m or e  eff ic ie nt  th an  t he  dire ct or y  sub  tree  par ti ti on i ng   a nd  tradit io nal  ha sh in g  te chn iq ue.       3.   RESEA R CH MET HO D    The  D SN   m eth od ology  has  the  fo ll ow i ng   desig n  pri nci pl e  (1 )  Dynam i cal ly   Scal able  Nam eNo de   arch it ect ure  an d  ( 2)  w orki ng   proce dure.  In  this  sect io n,   t he   syst e m   arch it ect ur e  a nd  the  work i ng  pr oce dure  of   the DSN  arc hitec ture  is  give n.   Evaluation Warning : The document was created with Spire.PDF for Python.
Ind on esi a n  J  E le c Eng &  Co m p  Sci     IS S N:  25 02 - 4752       A no ble ap pr oach  to devel op  dyna mically  sc alable n am en ode in   ha doop  di stri bu te d…  ( T ump a  R ani S ha ha )   731   3.1 .      Dyna mi c ally S c alabl e  Na m eN od e   Ar chitecture     The  Dynam ic a ll y  scal able  N a m eNo de   arc hi te ct ur e  is  s hown  in  F ig ur e  1.   D NS   has  m ast er/sl ave   arch it ect ure.  DNS  cl us te r  c on sist s  of  a  sing le   Na m eNode,  a  m as te r  serv e r  that  m a nag e s  the  file   syst e m   nam espace  and   regulat es  acce ss  to  file s  by  cl ie nts  and   a  num ber   of   Data Node,   us ually   on e  per   no de  in  the   cl us te r.   I n  ov e r al l,  the  DSN  s yst e m   con sist s  of   on e  Nam e Node,   a  gro up   of   DataN od e ,  cl ie nts,  m a in  m e m or y  and sec ondar y  m e m or y con ce pt which  is  discuss e d  in  this s ect ion .            Figure  1. Dy na m ic al l y Scal able Nam eNo de Arc hitec ture       3.2 .      Na m eN ode   The  f ocal point  o f HD FS  is N a m eNo de . I t k eeps th e trac k wh e re th e  file  d at a is kep t  over th e cluste r .   The  directo ry t ree of all  f il e i n  the  syst em  al so   kep t  he re. Wh e n  t he  cl ie nt s w ish t o  lo cat e a f il e or t hey n eed  to   add /c op y/ delet e/m ov e  a  file   t hen   cl ie nt  ap plica ti on s  sen d  a  req ue st  to  the  Nam eNo de.   T he  Nam eNo de  rep li es   with c orres pondin g Data N od e  addres s.     3. 3 .    M ain  Me mor y   Norm al l y  the  nam espace  of   the  Ha doop  syst e m   is  store d  i n  Nam eNo de   m ai n  m e m or y.  In  this  pro po se d  a rc hi te ct ur e  we   in tro du ce   Ma in  Mem or y  Fil e  (MM F)   c once pt,  wh ic h  st ores  the  high  pr iority  m et adata of  t he  syst e m .     3. 4 .    Sec on d ar y  Mem ory   In   t his  propos ed  a rch it ect ure   we  i ntrod uce d  the   seco ndar y  m e m or y  concept.  T he  fr a gm ented  lo w   pr i or it y  m et adata  will   store  in  the  sec onda ry  m e m or y.  A   lot  of   file s  can  sto re  in  th e  seco nd a ry  m e m or y  accor ding t o  th e pro posed  alg or it hm  w hic h  i s d isc us se d  in   wo rk i ng  proce dure s ect io n.      3. 5 .    D ata Nod e     DataN od e  cac he  the  data  in  the  H DF S.  DataNode  ta lks  to   the  Na m eNo de   to  per f or m   m od ific at ion s   of   the  data  com m and ed  by   the  Nam eNo de  an d  res ponse   to  the  Na m eNo de  a fter   a  fixed   ti m e   interval  con ti nu ously   with  a  li st  of  a  ch unk  that   they   are  sto r ing   for  file   s yst e m   activity.  Cl ie nts  syst em   can   com m un ic at e t o  the  D at a Nod e d irect ly  if t he  N am eNo de  h a s assig ne d  the   address  of the   DataN od e .     3. 6 .    Clie n ts     Cl ie nts  of   the  pro po se d  syst e m   can  request  t o  the  Nam eNode  f or   a ny  par t ic ular  file .  Na m eNo de  will  rep ly   with  t he  address  of  the  requested   Data Node  to   the  cl i ents.  T he n  cl ie nts  dir ect ly   com m un ic at e  with  the   DataN od e  for r eadin g or w riti ng ope rati on.     3. 7.    Me t adata     HDFS  m et adata  is  div i ded  in to  tw o  cat eg ori es  of   file s  na m ed  fsim age  and  edits  lo g.  T he  c om plete  sta te   of   the  file   processi ng   s yst e m   at   a  po int  in  tim e  is  c on te nt  by  the  fsim age  file .  A  uniq ue  inc r easi ng  transacti on  id  i s  assig ned   i n  e ver y  m od ific at ion   of   file   syst e m .  Af te r  al l  m od ific at ion   to  that  id  fsim a ge  fil es  represe nts the f il e syst e m  stat e .                               C l i e n t s   R e qu e s t   R e ply     ...       MMF   S M F 1   M a i n   M e mo r y   S e c o n d a r y   M e mo r y     S M F 2   S M F n   Da ta  Node   …   Da ta  Node   Da ta  Node   Na m e N ode   Evaluation Warning : The document was created with Spire.PDF for Python.
                          IS S N :   2502 - 4752   Ind on esi a n  J  E le c Eng &  Co m p  Sci,   Vo l.   1 3 , N o.   2 ,  Fe bru ary  201 9   :   7 2 9 –   7 3 6   732   3. 8.    W orkin g  Proced ure     In   this  DSN  a rch it ect ure  w he n  Ha doop  cl ie nt  re qu est   to  Nam eNo de,   it   firstly   check   t he  avail able   sp ace  of  MM F  (Mai n  Me m or y  Me ta data  Fil e).  If  so  th en  t he  new  fil e  is  create d.  And  de fau lt   pri or it y  1  (Lowest  P rio rity )  is  set   fo r  t he  ne wly  crea te d  file .  But  if   there  is  no  a vaila ble  sp ace   in  MM F  then   le ast   pr i or it y  m et adata  will   be  m ov e d  to  SMF   (S eco ndary  Mem or y  Me ta data  Fil e)  f ollow i ng   t he  pro po s ed   Me ta data  Fr ag m entat ion   Algorithm   (MFA) .   That   is  a  pr ior it y  based   dyna m ic   m et adata  cl assifi er  is  propos e d  for  the  m ai n  m e m or y uti li zat i on. For assi gn i ng prio rity  let  u s ass um e the foll ow i ng p a ra m et ers       T d   =Fixe d  Tim e I nterv al       H= Nu m ber   of H it s  durin g  T d     MM S=M ai n  Mem or y Si ze      M th =M ai n  Me m or y Thr es ho l d      S th =Seco nd a ry  Mem or y Th res ho l d      MM F=M ai n  Mem or y M et adata Fil e      SMF=Sec on da ry Mem or y M et adata Fil e      S= Size  of eac h  m et adata     x= Num ber   of  m et adata fil e f or M th   = (MM S/2) /S     y=  N um ber   of  m et adata fil e f or S th  = (MMS/ 4) /S     Gen e rall y,  the   fu ll   fsim age  file   is  store d  in  the  m ai n  m e m or y  of   Na m eNo de .  T o  f rag m ent  the   fsim age  file   threshold  value  (Mth)  is  cal cul at ed  by  (MM S )/2.   T hat  is  ha lf  of   t he  m ai n  m e m or y  siz e  i s  th e   thres ho l d  f or   MM F.  Seco ndary  Mem or y  Thr es hold  ( Sth )  value  is  cal cul at ed  by  (MM S ) /4.  S o  x  is  the  nu m be r   of   m et adata  fil e  that  can  be  store d  on  Mt h  and   y  is  the  num ber   of   m et a data  file   that  c an  be  sto red   on  Sth.   Figure  2  s hows  the m et adata fr agm entat ion  a lgorit hm .           Figure  2. Me ta data F rag m entat ion   Algorith m       Wh e n  the  siz e   of   the  m e ta da ta   file   exceeds   the  Mt h  then  the  fr a gm entation   al gorithm   i s  trigg e red.   Wh e n  t he  th re sh ol d  value  e xc eeds,  t he n  th e  pr i or it y  val ue   for  eac h  m etad at a  will   be   updated   f reque ntly   if  need e d  ba sed  on   trig ge r.   Ne wly  gen er at ed   pr io rity   values  are  so rte d  (hi gh e r   to  lowe r   or de r)   a nd   m et adata   hav i ng h i gh e r pr i or it y wil l ke ep  to  the MMF . T hat is x n umber  of m et adata has  b ee n  st ored in M MF   Lo w  pri ori ty   m et adata  reco r ds   are  sepa rat ed  out  an d  m ov e d  int o  the  file   create d  on  sec ondar y  stora ge.   A s  lo w  pri or it y  m etad at a  fr e quentl y  m ov es  to  the  secondary  st or a ge  so   the  num ber   of   SM F  will  exten d  acc ordi ng  to  t he  siz e  of   m et adata.  T he  nu m ber   of  m et adata  has  be en  st or e d  in   e ach  SMF   is  m easur e d  by  facto r  y  and  they   m us t  be  store d  acco rd i ng  their  higher  t o  lowe r  pri ori ty .  Let   con side r   the  siz e  of   the   m ai n   m e m or y  is  1  GB,  then  the  t hresh old   val ue  ( Mt h)   will   be  512  MB   a nd   the   siz e  of   eac h  fragm ented  file   in  t he   seco nd a ry  m e m or y  (S th)  is  1  GB/4=2 56  MB .  If   we  c on sider  t hat  siz e  of   eac h  m et adata  is  1MB  the n  MM F   can c on ta i n 512 m et adata   wh i ch  is  facto r x.   Wh e n  t he  us er  search e s  a ny  pa rtic ular  file ,  the  syst em   will   search   that dat a  in  the   m ai n  m e m or y  first.   If   it   is  found,   t he  file   will   be  rep li ed  t o  the  use r  with  t he  D at aNode  ad dre ss.  But  if  it   is  no t  f ound  in  t he   m ai n       1 .   I f   MM F > M t h   th e n   2.   C alcu late  n e w   P r io r ity   v al u e  ( P ) =  A v er ag e     ( Old   P r i o r ity ,   H)   3.   So r t th e  m etad ata  d ep en d in g   o n   P   in   d escen d i n g     o r d er   4.   Kee p   h ig h   o r d er   x   f ac to r   o f   d ata  in   MM F   5.   Sh if t r es t lo w e s t d ata  to   SM F [ i=1 …. n ]   6.   I f   SMF[ i]   >  S t h   th e n   7.   R ep ea t step   2   &   3   8.   Kee p   h ig h   o r d er   y   f ac to r   o f   d ata  in   SMF[ i]   9.   Sh if t r es t lo w   f ac to r   d ata  to   SMF[ i+1 ]   10.   en d   if   1 1 .   en d   i   Evaluation Warning : The document was created with Spire.PDF for Python.
Ind on esi a n  J  E le c Eng &  Co m p  Sci     IS S N:  25 02 - 4752       A no ble ap pr oach  to devel op  dyna mically  sc alable n am en ode in   ha doop  di stri bu te d…  ( T ump a  R ani S ha ha )   733   m e m or y  then  a ccord in g  to  t he   pr io rity   value  the  re qu est e d  f il e  will   be  cached  t o  the  m ain   m e m or y  fr om   the   seco nd a ry m e m or y t hr ough  pag e  table  wh i ch  is s how n  i n Fi gure  3.           Figure  3. Sec onda ry Fil e Cac hing       4.   RESU LT S  AND A N ALYSIS    To  e valuate   the  perform ance  of  the   MF A  al go rithm   we  hav e   c onduct ed  t w o  kinds  of  te st:   1.   Perfo rm ance  on  m ai n  m e m o ry  us a ges   2.  P erfor m ance  on   ave rag e   res po ns e  ti m e.  In   t his  sect io n  we   ha ve  dem on strat ed  the  perform ance of th e  DSN  a ppr oach an d  t he  co m par iso n wit h  the  ex ist i ng cache  app roach.     4.1 .     Simul at io n Pla tform   We  ha ve  de ve lop e d  the  MF A  an d  e xisti ng  f rag m entat ion   al gorithm   usi ng   C+ +  la ng uag e  i n  tw o  diff e re nt  com pu te rs.  O ne  of  t ho s e  is  4G B   RAM  wit h  2.10  G Hz  C or e  i 3  process or  an d  ano t her  one  is   8G B   RAM wit h 1 .60GHz C or e  i5 pr ocess or.      4 . 2 .       Per fo r m an ce  on  M ain  Mem ory U s ag es    In   t his  sect io n  the  perform a nces  on  m ai n  m e m or y  us age s  of  DSN  a ppro ac h  a nd  e xisti ng   cac he d  appr oach   i n  te r m s  of   siz e  of  m ai n  m e m or y  is  discusse d.  F igure  4  sho ws  the  Nam eNode   m a in  m e m or y  us a ge  com par ison.       0 512 1024 1536 2048 2560 3072 3584 0 200 400 600 800 1000 1200 1400 1600 1800 2000 2200 2400 2600 2800 3000 3200 3400 3600 Us e d  of RAM (MB) Size  of   RAM(MB)   Dy nam ically   Scalable  Nam eNode  Approach   Ex isting   Cached  Approach     Figure  4. Nam eNode Mai n  M e m or y Usa ge C om par ison           MMF   SMF1           SMF1     SMF2       SMFn           Ma in   Me m o r y   A d d r ess   T r an s latio n   1   C ac h ed     0     0   Me m o r y   R e s id en t  P ag e  T a b le   Seco n d ar y   Me m o r y   Evaluation Warning : The document was created with Spire.PDF for Python.
                          IS S N :   2502 - 4752   Ind on esi a n  J  E le c Eng &  Co m p  Sci,   Vo l.   1 3 , N o.   2 ,  Fe bru ary  201 9   :   7 2 9 –   7 3 6   734   Accor ding  to  the  MFA  t he  us e  of   R AM  for  the  Dyna m ic al l y  Scal able  Nam eNo de   appr oach   is   cal culat ed  by  the  siz e  of  x  fa ct or ,   y  fact or   a nd  the  siz e  of  each  m et adata.  Af te r  the   f ra gm entat ion   of   c ach e   appr oach   t he  m ai n  m e m or y  can  sto re  700M B  m et adata  and  25 0MB  da ta   in  the  sec on dar y  m e m or y  of   1GB  RAM  [3 ] .  But   in  DS N  syst e m   the  m a in  m e m or y  is  able  to  ho l d  512M B  and   25 6MB  in  secondary  m e m or y  after  the  m et a data  fr a gm entat ion   al gorithm   trigg e r.   T he  Seco nd a ry   Me m or y  can  store   sever al   file s  of   siz e   256MB.  So t he  stor a ge  ca paci ty  h as  been inc reased  d y nam i cal ly .    Existi ng   cac he d  ap proac h  is  us e d  92%  of  R AM  an d  the  D SN   al gorithm   req ui red   m axi m um   75 %  of   m ai n  m e m or y  in  w orst  case.  So   t his  D SN   a ppr oach   is  util iz ed  a v era ge  17%  of  m ai n  m e m or y  us age.  T his  f ree   sp ace  of m ai n  m e m or y ensur e the  ov e rall  r e sp onse  tim e o f t he  Nam eNode .      4 . 3 .      Per fo r m an ce  on  Re sponse Ti me     In   this  sect io n  the  perf or m ances  on  a ver a ge  res pons e  ti m e  of   DSN  a ppr oac h  an d  ex ist ing   cache d  appr oach   is   dis cusse d.   F or   a na ly zi ng   the  av erag e  re spo ns e   tim e  of   the  N a m eNo de ,  we  hav e  m ade  a  set up   to  si m ulate   of   pr opos e d  a nd  e xi sti ng   MF A  al gorithm   in  tw o  well   co nfi gu red  com pu te rs .   Setu p - 1:  4GB  RAM  with  2.1 0  G Hz   Core  i3  proce sso r  a nd   Set up  - 2:  8G B  RA M  with  1. 60 G Hz  Core  i5  process or.  Figur e  5  an d  Figure  6  s how   the av e ra ge res pons e  tim e analy sis of  set up - 1 an d  set up - 2.        0 512 1024 1536 2048 2560 3072 3584 0.00 0.01 0.02 0.03 0.04 0.05 0.06 0.07 0.08 0.09 0.10 0.11 0.12 R esp o n se Ti me in   Secon d s  ( S) S ize   of   R AM  ( MB )   Dy na mi c a ll y   S c a la ble   Nam e Node A ppr oa c h   Ex is ti ng   C a c he   Appr oa c h     Figure  5.  A verage Res pons e   Ti m e A naly sis  of Setu p - 1       Let   con si der   th e  siz e  of   each  m et adata  (S )  is  1MB.  The n  th e  MM F  will   con ta in  51 2  m e ta data  w hich   is facto r X a nd each SM F ca n co ntain  256  m et adata w hich  is facto r Y.         0 512 1024 1536 2048 2560 3072 3584 0 . 0 0 0 . 0 1 0 . 0 2 0 . 0 3 0 . 0 4 0 . 0 5 0 . 0 6 0 . 0 7 0 . 0 8 0 . 0 9 0 . 1 0 0 . 1 1 0 . 1 2 Re sp o n se  Tim e  in  Se c o n d s  (S ) Size  of   RAM(MB)   Dy nam ically   Scalable  Nam eNode  Approach   Ex isting   Cached  Approach     Figure  6. A verage Res pons e   Ti m e A naly sis  of setu p - 2   Evaluation Warning : The document was created with Spire.PDF for Python.
Ind on esi a n  J  E le c Eng &  Co m p  Sci     IS S N:  25 02 - 4752       A no ble ap pr oach  to devel op  dyna mically  sc alable n am en ode in   ha doop  di stri bu te d…  ( T ump a  R ani S ha ha )   735   In   sim ul at ion ,  the  config ur at i on   of   set up - 2  is  hig he r  than  set up - 1.  So   we   can  see  that  t he  ave rag e   respo ns e  tim e  in  set up - 2  is  le ss  than  set up  - 1.   So   her e  it   is  pr ove d  that   this  propose d  syst e m   wil l  pr ovide   bette r  re spo ns e  tim e in h ig h  c onfig ur e d sy ste m .        5.   CONCL U SI O N    In   t his  propose d  work  we   ha ve  e xp e rim ent ed  with  a  la r ge   am ou nt  of  da ta   eff ic ie ntly   thu s  t he  ti m e  requirem ents  ha s  bee n  reduce d  a nd  m e m or y  util iz at ion   is  i ncr ease d.  T he  pro po se d  syst em   is  m or e  ef fi ci ent  than  the  e xisti ng  cache d  a ppr oa ch  that  is  pro ved   by  ou r  pe r form ance  evaluati on  secti on. By  i m ple m entin g  t he   con ce pt  of  se conda ry  stora ge   it   has  been   sh ow n  that  am ou nt  of   m etad at a  will   no t   be  so   hi gh   t hat  the   Nam eNo de  will   be  irres pons i ve  due  to  the  e xcessive  am ount  of   data.  At  t he  sam e  t i m e  t he  cl ie nt  r eq ue st  can  be  handled   m or e  fr e quently   than  t he  e xisti ng   syst em .  In  fu t ur e  w ork  we  would  li ke   to  intr oduce   sever al   par am et ers  an d  be  pro ve d  m at he m at ic a lly  so   that  the   syst e m   can  work  m or e  ef fici ently   and   can  be   i m ple m ented  in  real t i m e syste m .       REFERE NCE S   [1]   K.  Shvachko,   H.   Kuang,   S.  Radi a,   and  R. Chansl er,   “ The   Hadoop   Distribut ed  File  Sy st em , ”  IEEE  26th  Symposium ,  pp.   1 – 10 ,   Ma y ,   2010 .    [2]   A.Cha ndra sek ar,  K.Cha ndra seka r,   H.  Ramasatagopan,   and  J.B al asubra m aniy a n ,   “ Cla ss ifi ca t ion   base d  Meta da t a  Mana gement  f or  HD F S,”   IEE E  14th  Inte r nati onal  Confer enc e  on  High  Pe rform ance  Computing  and  Comm unic ati ons,  2012   [3]   Zha ng,   G.  W u,   X.  Hu,  and  X.  W u,   “ A   Distribut ed  Cac h e  for  Hadoop  Distribut e d  File   Sy st em  in   Real - ti m e   Clou d  Serv ic es, ”  13 th  I nte rnational   Co nfe renc e  on   Gr id  Computing, pp .   12 - 21 ,   2012 .     [4]   H.  Alsham m ari ,   J.L ee,  and  H.  B aj wa,   “ H2H adoop:   Im proving  Hadoop  Perform anc e  using  the   Me ta da ta   of  relate d  jobs,”   I EEE  Tr ansacti ons on  C lo ud  Computing ,   PP .   1 - 1,   2015 .    [5]   G.  Mac ke y ,   S.   S ehr ish,  and  J .   W ang,   “ Im proving  Meta d at a   Mana gement  f or  Sm al l  File s  in  HD FS , ”   IEEE  Inte rnational   Co nfe renc e  on   Clus te r Computing   a nd  Workshops ,   2 009.   [6]   S.  Bende,  R.   Sh edge ,   “ Dea li ng  with  Sm al l  Files   Problem  in  Hadoop  Distributed  File  S y stem, ” 7th  Int ernati on a l   Confe renc e  on   C omm unic ati on,   Computing  and  Vi rtuali zat ion, 2 016.   [7]   Dr.  Raut ,   S . ,   Phakade ,   P. ,   “ An  Innova ti ve  Strat eg y   for  Im prove d  Proce ss i ng  of  Sm al l  File s  in  Hadoop”   Inte rnational   Jo urnal  of Appl i ca ti on  or Inno vat io n  in Engi ne ering   and  Manag eme nt ,   3 ,   pp .   278 - 28 0,   Jul y ,   2014.   [8]   M.  Vara de ,   V.Je tha ni ,   “ Distributed  Meta d at a  Ma nage m ent   Sche m e  in  HD FS , ”  Inte rnational   Jou rnal  of  Sci en ti f i c  and  Re search   P ubli cations ,   3 ,   2 013.   [9]   Y.  KIM ,   T .   Ar ara gi ,   J.   Naka m ura ,   T.  Masuza wa,   “ A  Distribu te d  Nam eNode   Cluste r  for  a  H ighly -   Avai la b le  Hadoop  Distribu te d  Fil e  S y stem, ”  IE EE 33rd Inte rnational   S ymposium on  Reliable   Distribute d   Syst em ,   2014 .   [10]   Y.  Fu,  N.  Xiao,   and  E.   Zhou,   “ A  Novel  Dy na m ic   Meta data  Mana gement  Sc heme  for  La rge   Distribut ed  Stor age  S y stems , ”   10 th  I EE E   Inte rnat ion al  Conf ere nce o n   High  P erformance   Comput ing   and  Comm unications ,   2008 .   [11]   L.   R an,  and  H .   Jin,  “ An   Eff icient   Me ta d at a   Mana gement  M et hod  in   L arg e   Distribut ed   St ora ge  S y s te m s, ”   Inte rnational   Co nfe renc e  on  Hu man - ce ntric  Co mputing  and  Embe dded  and   Mul ti media  Comput i ng,   pp.   375 - 383,   20 11 .       BIOGR AP HI ES OF  A UTH ORS         Tu mpa  Ra ni  S hah a   obta ine d  h er  B. Sc  and  M. Sc  degr ee s  unde r  depa rtment  of  Com pute r   Scie nc e  and  En gine er ing  from   Dhaka   Univer sit y   of  Engi ne eri n g  and  Technol o g y   (DU ET ) ,   Gaz ipur,   Bang ladesh.  Tumpa  Rani   shaha   rese ar c h  int ere sts  are   o n  Data   Mining,   Big  Data ,   Hadoop  Distribu te d  Fil e  S y s te m ,   Mac hin e  L ea rn i ng  and  De ep  Learni ng.   Curre n tl t   she  is  a  fac ul t y   m ember  at   d epa rtment   of   Com pute r  Sci en ce   and  Eng ineeri ng,   Daffodi l  In ternat ion al   Univer sit y .             Md.   Nas im  A kh tar   rec ei ved   the   M.E ng  an d  Ph.D  degr ee s  from   Nati onal  Te chnica l   Univer sit y   of  Ukrai ne,   Ki ev,   Ukrai ne  and  M oscow  Stat e  Aca dem y   o f  Fine  Chemica l   Te chno log y ,   Ru ss ia ,   in  1998  an d  2010,   respe cti vely .   Cur ren t l y ,   he  is  a   Profess or  in  th e  Depa rtment  of  Com pute r   Scie nce   and  Engi n ee r ing,   Dhaka   Uni ver sit y   of  Eng in ee ring  and   Te chno log y   (D UET) ,   Gaz ipur,   Bangl ad esh.   His  rese arc h  in te r ests  inc lude   Distri bute d  Dat a   W are house  S y st em  On  La rg e  Cl usters,   Digi ta l   I m age   Proce ss in g  and  W ater  Ma rking,   Pe er   to  Peer   Networ king,   C loud  Co m puti ng,   Opera t ing  S y stem.  He   has  pre sent ed  pape rs  a t   conf ere n ce s bo th   hom e  and   abr o a d,   publ ished art i cl es  and  p ape rs  i n  var ious  journal s.   Evaluation Warning : The document was created with Spire.PDF for Python.
                          IS S N :   2502 - 4752   Ind on esi a n  J  E le c Eng &  Co m p  Sci,   Vo l.   1 3 , N o.   2 ,  Fe bru ary  201 9   :   7 2 9 –   7 3 6   736       Md.   Z akir  Ho ss ain   rec ei v ed  t he  B. Sc  Engi n ee ring  degr ee   i n  Com pute r  Sc ie nc e  and   Engi ne eri ng  De par tment  from   Dhaka   Univer sit y   of  Engi ne eri n g  and  Technol o g y   (DU ET ) ,   Gaz ipur,   B angl a desh,   in  2015  an d  he  is  cur ren tly  pursuing  the   M.Sc  Engi ne eri ng  degr ee   in   Com pute r  Scie n ce   and  Engi ne er ing  Depa rtment   in  Dhaka   Univ ersity   of  Eng ineeri ng  and   Te chno log y   (DU ET ),   Gaz ipur.   His  rese arc h  in t ere st  in cl udes  D at a  Mining ,   Big   Data ,   AI,   Mac hine   Learni ng,   Cloud  Com puti ng,   Softwar e   Engi ne eri ng ,   C om pute r  Network,   IoT .   He   has  pre sent ed  p a per s a t   conf ere n ce s bot h   hom e a nd  abr oad           Ms.   Fate ma   Tu j  Joohora   is  the   Le c ture r  of  a  rep ute d  private  uni ver sit y   in  Banglade sh.  Sh e   has  rec ei v ed   her   B. Sc  and  M.Sc  degr ee   in   Infor m at ion  Te chn olog y   from   Jaha ngirna g ar   U nive rsit y   (JU ).   Her  rec ent   publ i ca t ions  inc lude   “ An  Eff ic ie nt  Approac h  of   Tra in ing   Artif ici al   Neura l  Net wo rk  to  Rec ognize   Benga li   Hand  Sign"  (2016).   H er  rese ar ch  int er est  inc lud e s  Data   Mining,   Artifi cial   Neu r al   Ne twork,   Im a ge  proc essing,   and  cl oud  computing.             Mostafij ur  Rah man  complet ed  his  BS c  in  Comput er  Sci enc e  fr om   Nati onal   Univer sit y   o f   Bangl ad esh  (2003).   He  Purs ued  his  MS c  (2009)  and  PhD   (2017)  in  Com pute r  Engi nee r ing,  from   UN IM AP ,   Malay s ia.  He  w orke d  as  L ec tur e r  since   2009  to   Septe m ber ,   2017  for  School  of  Com pute r  an d  Com m unic at i on  Engi n ee ring   in  UN IMA P.  Curre ntly   he  is  serving  as   As sis ta nt  Profes sor  in  the   Depa rtment  of  Software   Engi n ee r ing   at   Daffodi l  Int ern ational  Univer sit y   (DIU ),   Bangl ad esh.   His  rese arc h  intere st  in  Softwar e  Te sting ,   Multi m edi a  and  Crea t ivi t y   in  Medic a l  Scie nc e,   Com pute r  Secur ity ,   C lou d  Com puti ng,   Algorit hm   Optimiza ti o n,   P ara l le l  and  Distribut ed  S y stem ,   Device  Drive r  for  GN U/Li nux  base d  embedde d  OS .   He  has  pre sented  pape rs  at   conf ere nc es  both  hom e  and  abr oad,  publi shed  art i cl es  and  p apers   in  var ious j our nal s.           R.  Bad li sh ah  A hmad   rec ei ved  t he  M.Sc   Engi ne eri ng  and  Ph.D  degr ee s  from   Univer sit y   of   Strat hcly d e,  UK   in  1995   and  20 00,   respe ctively .   Curre nt l y ,   h e  is  a  Fa cul t y   of  In form at ic s   and  Com puti ng,   Univer siti   Sult an  Zaina l  Abid in  (UniSZA).  His  rese arc h   in te rests  in   Com pute r  and  T el e comm unic at i on  Net work  Modell ing   include   W SN   and  Optic al   Networ k   using  discre t e  e vent   sim ula tors  (OM NeT ++ ),   O pti c al   Networki ng  and  Embedd ed  S y stem   base d  on  GN U/Li nux.   He   has  pre sente d  p ape r s  at   conf ere nc e s  both  hom e  a nd  abr oad ,   publi shed  art i cle s a nd  pap ers  in   v ari ous j ourn al s.           Evaluation Warning : The document was created with Spire.PDF for Python.