Indonesi an  Journa of El ect ri cal Engineer ing  an d  Comp ut er  Scie nce   Vo l.   1 3 ,  No.   2 Febr uar y   201 9 , pp.  7 29 ~ 7 3 6   IS S N: 25 02 - 4752, DO I: 10 .11 591/ijeecs .v1 3 .i 2 .pp 7 29 - 7 3 6          729       Journ al h om e page http: // ia es core.c om/j ourn als/i ndex. ph p/ij eecs   A noble  approa ch  to  d evel op dynam ically s ca l able n amen ode in   hadoop d istributed file  sy stem usi ng secon dary sto rage       Tumpa  Rani  Shaha 1 ,  Md.  Na sim  Akht ar 2 , Fatem Tu j Johor a 3 ,  Md.  Z ak ir   Ho ss ain 4   Most af ij ur   Rahman 5 , R. B.   Ah m ad 6   1, 2,4 Depa rtment   o Com pute Sci e nce   and Engi ne e ring,   Dhak Uni ver sit y   of   Eng in ee ring   and   Tech nolog y   (DU ET ) ,   Gaz ipur, Ba ng ladesh   3 Instit ute of Info rm at ion  T ec hno l og y ,   Jaha ng irnagar  Univer si t y   (J U),  Banglade sh    5 D epa rtment of  Software   Eng ineeri ng,   Daffodi I nte rna ti ona Uni ver sit y   (DIU ), Dhaka ,   Bang la des h   1 Depa rtment of  Com pute Scie n ce   and Engi ne ering,  Daffod il   In ternat ion al   Univ er sit y   (DIU ),   Dhak a,   B anglade sh   6 Facul t y   of  Infor m at ic s a nd   Com puti ng,   Univer sit y   Sul t an   Zaina l A bidi (UniSZA ),   22200   Besut,  Te ren gg anu, Ma lay s ia       Art ic le  In f o     ABSTR A CT   Art ic le  history:   Re cei ved   N ov  12 , 201 8   Re vised  Dec  13 ,   2018   Accepte Dec  27 , 201 8       For  sca la bl da t storage,  Hado op   is  widely   us ed  nowada y s.  I t   provide distri bute fi le   sy stem  tha store dat on  the   compute  nodes.   Basic a lly ,   i t   rep rese nts  m a ster/ slav arc h itect ur that  con sists   of  Name Node  and  copi ous  Dat N odes.   Dat Nod es  contain  appli ca t ion  da ta  and  m et ada t a   of   appl i ca t ion  data   reside in  the  Main  Mem or y   of  Nam eNode .   In  ca ch ed   appr oac h ,   they   f rag m ent   the   m etada t depe nd ing   on  the   la st  acces ti m and  m ove  the   least  f req uentl y   used   dat a   to  s ec ondar y   m emor y .   If  th req u este d   dat is  not  foun in  m ai m em or y   th e the   se c ondar y   d ata  will  be  loa de d   aga in  on  the   RAM .   So   when  the   sec ondar y   d at re loa ds  to  the   prima r y   m emory   th en  the  Nam eNode   m ai m emory   li m it a ti on  ari ses  again.  The   foc us   of  thi res ea rch   i to  red u ce   the   n amespac prob lem   of  m ai m emor y   and  t o   m ake   t he   s y st e m   d y namic al l sca l abl e .   n ew  Meta d at a   Fragm ent ation   Algorit hm   is  proposed  tha t   sepa ra te th m et ad at a   li st  o f   Nam eNode   d y nami ca l l y .   Th Nam eNode   cr ea t es  Seconda r Mem ory   Fil in   per spec ti v e   of  the   thre shold  val ue  and  al lo cate sec ondar y   m emor y   loc at ion  base on  the  req uire m ent.  Ac cor ding  to  th pr oposed  al gor it h m   the   m axi m um   thi rd ,   out   of   fourth  of  m ai m emory   is  used   at   th se conda r y   f il cachi ng  tim e.   The   f ree  spac a ids  in  fas te oper at ion  b y   D y namic al l y   Sc al ab le   Nam eNode   appr oa ch .   Thi proposed   a l gorit hm   show tha th spa ce   u tilizati on  is  inc r eas ed  to  17%   and  ti m utiliza ti on  is  inc r ea se to  0. 0005%  with  the   compa rison  of  the   exi sting   fra gm en ta ti on   a lgori thm.   Ke yw or ds:   DataN od e   Hado op   Me ta data   Nam eNo de   Seco nd a ry St orage   Copyright   ©   201 9   Instit ut o f Ad vanc ed   Engi n ee r ing  and  S cienc e .     Al l   rights re serv ed.   Corres pond in Aut h or :   Tum pa  Ra ni S hah a   Dep a rtm ent o f C om pu te Scie nce a nd E ng i ne erin g,   Dh a ka U niv e rs it y of  E ng i neeri ng  a nd Tec hn ology,  Gazip ur, Ban glades h.   Em a il : t u m pa. cse4 9@gm ail.co m         1.   INTROD U CTION   In   t his  m od er age,   it   has  bec om the  m ai con ce r to  ha ndle   the  data  th at   is  bein generate e ver y   day.  Appro xim at el y 25   qu i ntil li on   byte s of dat a are cr eat e d every  day an d 90% o t he  dat a h as  bee cr ea te in   the  la st  two  ye ars.   This  da ta   are  bein gen e ra te fro m   ever ywhe re   li ke  sensors  for  gat her in cl i m ate   inf or m at ion soc ia m edia  sit e s,  tran sact ion   r ecords,  sat el li t es  et c.  These  da ta   set are  i m m ensely   un str uc ture and  as  resu l to  proces a nd   est i m at these  big  data  is   great   co nce rn.  As   the  dat s iz has  i ncrea sed  extrem el RD BM has  f ou nd   it   c halle ngin g.   M or e ver   as  t hese  data  set are   sem i - structu r ed  an un st ru ct ur e RDBM can no t cat egorize  as  t hey  are  desig ne to  ha nd le   struct ur e data. Th is  pro blem   req ui res   database  m a nag em ent  syst e m   that  is   capab le   of   a naly ze  these  data  in  an  e ff ic ie nt  and   c onve nien way.   Evaluation Warning : The document was created with Spire.PDF for Python.
                          IS S N :   2502 - 4752   Ind on esi a J  E le c Eng &  Co m Sci,   Vo l.   1 3 , N o.   2 Fe bru ary  201 9   :   7 2 9   7 3 6   730   Ap ac he  Ha doop  is  su ch  kind  of   DBMS  for  handlin sem i - structu re an un st ru ct ur e da ta   that  pr ovid es  a op e s ource di stribu te data base  processi ng  platf orm   acro ss  se ver al   t housa nd  nodes.  M or e ver  it   is  high  sp ee a nd  has   great er  t olera nce  t fau lt   al ong  with   cost   eff ic ie ncy  as   i stock data  i sm al a m ou nt  via   m ul ti ple serv e r s.   Fil syst e m   meta data  and   a ppli cat ion   data  are  store se pa ratel in  the  existi ng   Ha doop  Distri bu te Fil Syst e m Nam eNo de   co ntains  t he  m etad at of   t he  s yst e m   and   Dat aNode  co ntain   ap plica ti on   da ta Pe r   cl us te ab out  te ns   of  th ou sa nds  of  cl ie nts  can  acce ss  the  H adoo sto rag at   tim e.  DataNode  sto re  the   blo c of  data  i thei r   local   file   syst e m   and   Nam eNo de   sto re  m et a d at of  al the   DataN od e   in  t heir  l ocal  file   s yst e m .   So   i we  try   t exte nd  the  ne twork   or  try   t ad ne DataNode  t he bec ause  of  Nam e Node  m ai m e m or lim it at ion   we  can’ e xten t he  netw ork.  T his  na m espace  lim i ta ti on   is  on e   of  t he  im portant  pro blem of   exi sti ng H a doop  Distrib uted F il e Syst e m .   This  pro po se Dynam ic al l Scal able  N a m eNo de   ( D SN )   ap proac intr oducin Me ta daya   Fr a gm entat ion   Algorithm   (M FA t fr a gm e nt  the  m e ta data  fr eq ue ntly   and   inc rease  th nam espace  capaci ty   dynam ic al l y by  m aking  t he  i nteract io n between  m ai m e m or y and  sec onda ry m e m or y of Nam eNode.        2.   LIT ERATUR E REVIE   In   the  fiel of  m od ern   te ch nolog y,  the  us of  Ha doop  f or   handlin bi da ta   has  bec ome   an  act ive   area  of   resea rc h.   Seve ral a ppr oach e hav e  b e en  s uggeste d o this  f ie ld.     In   [1 ] ,   they  d e velo ped  t he  Ha doop D ist ri bu t ed  Fil e Syst e m  o n beh al of Ya hoo.  T hey h a ve  ex plain e about the  H a do op arc hitec ture  and s howe t he  r es ult f or   ha ndli ng 25 Pet ab yt e o f data  at  Yaho o.   cl assifi cat io base m et adata  m anag em e nt  syst e m   is  pr opos e in  [ 2].  They  f ocu se on   reducin the  bo tt le nec of   the  Nam e Node  m ai me m or y.  They  f rag m ent  the  m et adata  of   Na m eNo de  based  on   the   i m po rtance f ac tor.   T hey  ha ve  cal culat ed  thre (H ig h,   Me di um   and   Lo w)   t ypes  of  im po rtance  fact or  ( I f).  Has ta ble  is  us e t re prese nt  h ig I f,  tree  m ap  is  us e to  re pr ese nt  m edium   If   and  seq ue nce  file are  us e t represe nt lo I f.     cache a ppr oach   is  pro po s ed  in  [ 3]  f or   a ddressi ng   Nam eNode  scal a bili ty   in  HD FS Their  m ai fo c us   was  to  e nh a nce  the  e xi sti ng   arc hitec ture They  f ra gm ent  t he  m et a data  de pends  on  the  la st  acce ss  tim e   and   m ov e the   le ast   fr eq ue ntly   us ed  data  to cache.  T hey  w ere  able  to r em ov e 250 MB  o data  from   RAM.  Bu t   for  da ta   searc hi ng   when  t he  r equ e ste data  no fou nd  in  m ai m e m or then  the  seco nda ry  data  will   be  loade a gain  on  the   R AM.  S w hen  the  sec ondar data  rel oad  to  t he  pr im ary  m e m or the  issue   of  Nam eNode   m a in  m e m or y l i m it a ti on  a rises a gain.     In  pa per  [ 4],  they   analy ze  t he  requirem ent  li ke  ha rdwa r e,  s of twa re,   ne twork   en vir onm ent  fo r   i m pr ovin the p er form ance  of  cl oud  c om pu ti ng . Th ey  d eve lop e cach s yst e m   in  la ye re pas sio w he r the  syst e m   has  cl ie nt  li br ary  a nd  m ulti ple  cache  se rv ic es.   Cl ie nt  li br ary  ca acce ss  t he  fi le from   the  sh are m e m or y.  This   distrib uted  ca che  syst em   ca m anipu la te   la rg num ber   of  file with   m illi secon le vel  in   highly  concu rrent en vir onm e nt.     I [ 5],  they   de velo ped   a   m ec han ism   to  i m pr ov e Hado op   perform ance  usi ng   m et adata  for  ha ndli ng   big   data.  By   as sign i ng  jo bs   to   the  DataN od e ,   H 2H a doop  w as  exte nd e t he   abili ty   of   Na m eNo de T hey   wer su ccess fu f or   r edu ci ng CP t i m e and   nu m be r of   nee d op e r at ion .     I [ 6 - 8],  they   pro po se s yst e m   fo im p rovin m et adata  m anag em ent  in  HDFS  for   sm a ll   file s.   They f oc us e d on the  sm all f il es in t he  m ai m e m or y and p r ov i de  a rch i val  m et ho ds f or th os e sm al l fi le s.    Distrib uted  m et adata  m anag e m ent  schem e   is  propose in  [ 9].  They   pro po se syst e m   fo r   distrib uted  m et adata m anag e m ent sch em e i n HDFS t im pr ove t he HD FS  eff ic ie nc y.   In   [10],  t he  na m espace  is  de par te into   sev eral  fr a gm ents.  Re plica of  ea ch  f ra gm ent  are  disp e rs e a m on the  NN.  More  ti m e   is   need e f or   m et adata  searchi ng   with  sync hro nizat ion   bec ause  the  f rag m ented   nam espaces ar e d ist rib ute a m on di ff e ren t  NN   In   [11],  they   pro po se D ynam ic   Director Pa rtit ion in ( D DP te c hniq ue  w he re  they   al lowi ng   directo ry  m e tad at an file   m et adata  in  div e rse  way.  They  i m pr ove the  pe rfo rm a nce  on  scal abi li ty   and  adap ta bili ty .   An  ef fici ent  m et adata  m anag em ent  syst e m   is  propose in T hey  pro po s ed  direct ory   le vel  base m et adata  m anag em ent  wh ic is  m or eff ic ie nt  th an  t he  dire ct or sub  tree  par ti ti on i ng   a nd  tradit io nal  ha sh in te chn iq ue.       3.   RESEA R CH MET HO   The  D SN   m eth od ology  has  the  fo ll ow i ng   desig pri nci pl (1 Dynam i cal ly   Scal able  Nam eNo de   arch it ect ure  an ( 2)  w orki ng   proce dure.  In  this  sect io n,   t he   syst e m   arch it ect ur a nd  the  work i ng  pr oce dure  of   the DSN  arc hitec ture  is  give n.   Evaluation Warning : The document was created with Spire.PDF for Python.
Ind on esi a J  E le c Eng &  Co m Sci     IS S N:  25 02 - 4752       A no ble ap pr oach  to devel op  dyna mically  sc alable n am en ode in   ha doop  di stri bu te d…  ( T ump R ani S ha ha )   731   3.1 .      Dyna mi c ally S c alabl Na m eN od e   Ar chitecture     The  Dynam ic a ll scal able  N a m eNo de   arc hi te ct ur is  s hown  in  F ig ur 1.   D NS   has  m ast er/sl ave   arch it ect ure.  DNS  cl us te c on sist of  sing le   Na m eNode,  m as te serv e that  m a nag e the  file   syst e m   nam espace  and   regulat es  acce ss  to  file by  cl ie nts  and   num ber   of   Data Node,   us ually   on per   no de  in  the   cl us te r.   I ov e r al l,  the  DSN  s yst e m   con sist of   on Nam e Node,   gro up   of   DataN od e cl ie nts,  m a in  m e m or and sec ondar m e m or y con ce pt which  is  discuss e in  this s ect ion           Figure  1. Dy na m ic al l y Scal able Nam eNo de Arc hitec ture       3.2 .      Na m eN ode   The  f ocal point  o f HD FS  is N a m eNo de . I t k eeps th e trac k wh e re th file  d at a is kep over th e cluste r .   The  directo ry t ree of all  f il e i the  syst em  al so   kep he re. Wh e t he  cl ie nt s w ish t lo cat e a f il e or t hey n eed  to   add /c op y/ delet e/m ov file   t hen   cl ie nt  ap plica ti on sen req ue st  to  the  Nam eNo de.   T he  Nam eNo de  rep li es   with c orres pondin g Data N od e  addres s.     3. 3 .    M ain  Me mor y   Norm al l the  nam espace  of   the  Ha doop  syst e m   is  store i Nam eNo de   m ai m e m or y.  In  this  pro po se a rc hi te ct ur we   in tro du ce   Ma in  Mem or Fil (MM F)   c once pt,  wh ic st ores  the  high  pr iority  m et adata of  t he  syst e m .     3. 4 .    Sec on d ar Mem ory   In   t his  propos ed  a rch it ect ure   we  i ntrod uce the   seco ndar m e m or concept.  T he  fr a gm ented  lo w   pr i or it m et adata  will   store  in  the  sec onda ry  m e m or y.  A   lot  of   file can  sto re  in  th seco nd a ry  m e m or accor ding t th e pro posed  alg or it hm  w hic i s d isc us se in   wo rk i ng  proce dure s ect io n.      3. 5 .    D ata Nod e     DataN od cac he  the  data  in  the  H DF S.  DataNode  ta lks  to   the  Na m eNo de   to  per f or m   m od ific at ion s   of   the  data  com m and ed  by   the  Nam eNo de  an res ponse   to  the  Na m eNo de  a fter   fixed   ti m e   interval  con ti nu ously   with  li st  of  ch unk  that   they   are  sto r ing   for  file   s yst e m   activity.  Cl ie nts  syst em   can   com m un ic at e t the  D at a Nod e d irect ly  if t he  N am eNo de  h a s assig ne the   address  of the   DataN od e .     3. 6 .    Clie n ts     Cl ie nts  of   the  pro po se syst e m   can  request  t the  Nam eNode  f or   a ny  par t ic ular  file Na m eNo de  will  rep ly   with  t he  address  of  the  requested   Data Node  to   the  cl i ents.  T he cl ie nts  dir ect ly   com m un ic at with  the   DataN od e  for r eadin g or w riti ng ope rati on.     3. 7.    Me t adata     HDFS  m et adata  is  div i ded  in to  tw cat eg ori es  of   file na m ed  fsim age  and  edits  lo g.  T he  c om plete  sta te   of   the  file   processi ng   s yst e m   at   po int  in  tim is  c on te nt  by  the  fsim age  file uniq ue  inc r easi ng  transacti on  id  i assig ned   i e ver m od ific at ion   of   file   syst e m Af te al m od ific at ion   to  that  id  fsim a ge  fil es  represe nts the f il e syst e m  stat e .                               C l i e n t s   R e qu e s t   R e ply     ...       MMF   S M F 1   M a i n   M e mo r y   S e c o n d a r y   M e mo r y     S M F 2   S M F n   Da ta  Node     Da ta  Node   Da ta  Node   Na m e N ode   Evaluation Warning : The document was created with Spire.PDF for Python.
                          IS S N :   2502 - 4752   Ind on esi a J  E le c Eng &  Co m Sci,   Vo l.   1 3 , N o.   2 Fe bru ary  201 9   :   7 2 9   7 3 6   732   3. 8.    W orkin Proced ure     In   this  DSN  a rch it ect ure  w he Ha doop  cl ie nt  re qu est   to  Nam eNo de,   it   firstly   check   t he  avail able   sp ace  of  MM (Mai Me m or Me ta data  Fil e).  If  so  th en  t he  new  fil is  create d.  And  de fau lt   pri or it (Lowest  P rio rity is  set   fo t he  ne wly  crea te file But  if   there  is  no  a vaila ble  sp ace   in  MM then   le ast   pr i or it m et adata  will   be  m ov e to  SMF   (S eco ndary  Mem or Me ta data  Fil e)  f ollow i ng   t he  pro po s ed   Me ta data  Fr ag m entat ion   Algorithm   (MFA) .   That   is  pr ior it based   dyna m ic   m et adata  cl assifi er  is  propos e for  the  m ai m e m or y uti li zat i on. For assi gn i ng prio rity  let  u s ass um e the foll ow i ng p a ra m et ers       T d   =Fixe Tim e I nterv al       H= Nu m ber   of H it durin T d     MM S=M ai Mem or y Si ze      M th =M ai Me m or y Thr es ho l     S th =Seco nd a ry  Mem or y Th res ho l     MM F=M ai Mem or y M et adata Fil     SMF=Sec on da ry Mem or y M et adata Fil     S= Size  of eac m et adata     x= Num ber   of  m et adata fil e f or M th   = (MM S/2) /S     y=  N um ber   of  m et adata fil e f or S th  = (MMS/ 4) /S     Gen e rall y,  the   fu ll   fsim age  file   is  store in  the  m ai m e m or of   Na m eNo de T f rag m ent  the   fsim age  file   threshold  value  (Mth)  is  cal cul at ed  by  (MM S )/2.   T hat  is  ha lf  of   t he  m ai m e m or siz i th e   thres ho l f or   MM F.  Seco ndary  Mem or Thr es hold  ( Sth value  is  cal cul at ed  by  (MM S ) /4.  S is  the  nu m be r   of   m et adata  fil that  can  be  store on  Mt and   is  the  num ber   of   m et a data  file   that  c an  be  sto red   on  Sth.   Figure  s hows  the m et adata fr agm entat ion  a lgorit hm .           Figure  2. Me ta data F rag m entat ion   Algorith m       Wh e the  siz e   of   the  m e ta da ta   file   exceeds   the  Mt then  the  fr a gm entation   al gorithm   i trigg e red.   Wh e t he  th re sh ol value  e xc eeds,  t he th pr i or it val ue   for  eac m etad at will   be   updated   f reque ntly   if  need e ba sed  on   trig ge r.   Ne wly  gen er at ed   pr io rity   values  are  so rte (hi gh e r   to  lowe r   or de r)   a nd   m et adata   hav i ng h i gh e r pr i or it y wil l ke ep  to  the MMF . T hat is x n umber  of m et adata has  b ee st ored in M MF   Lo pri ori ty   m et adata  reco r ds   are  sepa rat ed  out  an m ov e int the  file   create on  sec ondar stora ge.   A lo pri or it m etad at fr e quentl m ov es  to  the  secondary  st or a ge  so   the  num ber   of   SM will  exten acc ordi ng  to  t he  siz of   m et adata.  T he  nu m ber   of  m et adata  has  be en  st or e in   e ach  SMF   is  m easur e by  facto and  they   m us be  store acco rd i ng  their  higher  t lowe pri ori ty Let   con side r   the  siz of   the   m ai n   m e m or is  GB,  then  the  t hresh old   val ue  ( Mt h)   will   be  512  MB   a nd   the   siz of   eac fragm ented  file   in  t he   seco nd a ry  m e m or (S th)  is  GB/4=2 56  MB If   we  c on sider  t hat  siz of   eac m et adata  is  1MB  the MM F   can c on ta i n 512 m et adata   wh i ch  is  facto r x.   Wh e t he  us er  search e a ny  pa rtic ular  file the  syst em   will   search   that dat in  the   m ai m e m or first.   If   it   is  found,   t he  file   will   be  rep li ed  t the  use with  t he  D at aNode  ad dre ss.  But  if  it   is  no f ound  in  t he   m ai n       1 .   I f   MM F > M t h   th e n   2.   C alcu late  n e w   P r io r ity   v al u ( P ) A v er ag e     ( Old   P r i o r ity ,   H)   3.   So r t th m etad ata  d ep en d in g   o n   P   in   d escen d i n g     o r d er   4.   Kee p   h ig h   o r d er   x   f ac to r   o f   d ata  in   MM F   5.   Sh if t r es t lo w e s t d ata  to   SM F [ i=1 …. n ]   6.   I f   SMF[ i]   S t h   th e n   7.   R ep ea t step   2   &   3   8.   Kee p   h ig h   o r d er   y   f ac to r   o f   d ata  in   SMF[ i]   9.   Sh if t r es t lo w   f ac to r   d ata  to   SMF[ i+1 ]   10.   en d   if   1 1 .   en d   i   Evaluation Warning : The document was created with Spire.PDF for Python.
Ind on esi a J  E le c Eng &  Co m Sci     IS S N:  25 02 - 4752       A no ble ap pr oach  to devel op  dyna mically  sc alable n am en ode in   ha doop  di stri bu te d…  ( T ump R ani S ha ha )   733   m e m or then  a ccord in to  t he   pr io rity   value  the  re qu est e f il will   be  cached  t the  m ain   m e m or fr om   the   seco nd a ry m e m or y t hr ough  pag e  table  wh i ch  is s how i n Fi gure  3.           Figure  3. Sec onda ry Fil e Cac hing       4.   RESU LT S  AND A N ALYSIS    To  e valuate   the  perform ance  of  the   MF al go rithm   we  hav e   c onduct ed  t w kinds  of  te st:   1.   Perfo rm ance  on  m ai m e m o ry  us a ges   2.  P erfor m ance  on   ave rag e   res po ns ti m e.  In   t his  sect io we   ha ve  dem on strat ed  the  perform ance of th e  DSN  a ppr oach an t he  co m par iso n wit the  ex ist i ng cache  app roach.     4.1 .     Simul at io n Pla tform   We  ha ve  de ve lop e the  MF an e xisti ng  f rag m entat ion   al gorithm   usi ng   C+ la ng uag i tw diff e re nt  com pu te rs.  O ne  of  t ho s is  4G B   RAM  wit 2.10  G Hz  C or i process or  an ano t her  one  is   8G B   RAM wit h 1 .60GHz C or e  i5 pr ocess or.      4 . 2 .       Per fo r m an ce  on  M ain  Mem ory U s ag es    In   t his  sect io the  perform a nces  on  m ai m e m or us age of  DSN  a ppro ac a nd  e xisti ng   cac he appr oach   i te r m of   siz of  m ai m e m or is  discusse d.  F igure  sho ws  the  Nam eNode   m a in  m e m or us a ge  com par ison.       0 512 1024 1536 2048 2560 3072 3584 0 200 400 600 800 1000 1200 1400 1600 1800 2000 2200 2400 2600 2800 3000 3200 3400 3600 Us e d  of RAM (MB) Size  of   RAM(MB)   Dy nam ically   Scalable  Nam eNode  Approach   Ex isting   Cached  Approach     Figure  4. Nam eNode Mai M e m or y Usa ge C om par ison           MMF   SMF1           SMF1     SMF2       SMFn           Ma in   Me m o r y   A d d r ess   T r an s latio n   1   C ac h ed     0     0   Me m o r y   R e s id en P ag T a b le   Seco n d ar y   Me m o r y   Evaluation Warning : The document was created with Spire.PDF for Python.
                          IS S N :   2502 - 4752   Ind on esi a J  E le c Eng &  Co m Sci,   Vo l.   1 3 , N o.   2 Fe bru ary  201 9   :   7 2 9   7 3 6   734   Accor ding  to  the  MFA  t he  us of   R AM  for  the  Dyna m ic al l Scal able  Nam eNo de   appr oach   is   cal culat ed  by  the  siz of  fa ct or ,   fact or   a nd  the  siz of  each  m et adata.  Af te the   f ra gm entat ion   of   c ach e   appr oach   t he  m ai m e m or can  sto re  700M m et adata  and  25 0MB  da ta   in  the  sec on dar m e m or of   1GB  RAM  [3 ] But   in  DS syst e m   the  m a in  m e m or is  able  to  ho l 512M and   25 6MB  in  secondary  m e m or after  the  m et a data  fr a gm entat ion   al gorithm   trigg e r.   T he  Seco nd a ry   Me m or can  store   sever al   file of   siz e   256MB.  So t he  stor a ge  ca paci ty  h as  been inc reased  d y nam i cal ly   Existi ng   cac he ap proac is  us e 92%  of  R AM  an the  D SN   al gorithm   req ui red   m axi m um   75 of   m ai m e m or in  w orst  case.  So   t his  D SN   a ppr oach   is  util iz ed  a v era ge  17%  of  m ai m e m or us age.  T his  f ree   sp ace  of m ai m e m or y ensur e the  ov e rall  r e sp onse  tim e o f t he  Nam eNode     4 . 3 .      Per fo r m an ce  on  Re sponse Ti me     In   this  sect io the  perf or m ances  on  a ver a ge  res pons ti m of   DSN  a ppr oac an ex ist ing   cache appr oach   is   dis cusse d.   F or   a na ly zi ng   the  av erag re spo ns e   tim of   the  N a m eNo de we  hav m ade  set up   to  si m ulate   of   pr opos e a nd  e xi sti ng   MF al gorithm   in  tw well   co nfi gu red  com pu te rs .   Setu p - 1:  4GB  RAM  with  2.1 G Hz   Core  i3  proce sso a nd   Set up  - 2:  8G RA with  1. 60 G Hz  Core  i5  process or.  Figur an Figure  s how   the av e ra ge res pons e  tim e analy sis of  set up - 1 an set up - 2.        0 512 1024 1536 2048 2560 3072 3584 0.00 0.01 0.02 0.03 0.04 0.05 0.06 0.07 0.08 0.09 0.10 0.11 0.12 R esp o n se Ti me in   Secon d ( S) S ize   of   R AM  ( MB )   Dy na mi c a ll y   S c a la ble   Nam e Node A ppr oa c h   Ex is ti ng   C a c he   Appr oa c h     Figure  5.  A verage Res pons e   Ti m e A naly sis  of Setu p - 1       Let   con si der   th siz of   each  m et adata  (S is  1MB.  The th MM will   con ta in  51 m e ta data  w hich   is facto r X a nd each SM F ca n co ntain  256  m et adata w hich  is facto r Y.         0 512 1024 1536 2048 2560 3072 3584 0 . 0 0 0 . 0 1 0 . 0 2 0 . 0 3 0 . 0 4 0 . 0 5 0 . 0 6 0 . 0 7 0 . 0 8 0 . 0 9 0 . 1 0 0 . 1 1 0 . 1 2 Re sp o n se  Tim e  in  Se c o n d (S ) Size  of   RAM(MB)   Dy nam ically   Scalable  Nam eNode  Approach   Ex isting   Cached  Approach     Figure  6. A verage Res pons e   Ti m e A naly sis  of setu p - 2   Evaluation Warning : The document was created with Spire.PDF for Python.
Ind on esi a J  E le c Eng &  Co m Sci     IS S N:  25 02 - 4752       A no ble ap pr oach  to devel op  dyna mically  sc alable n am en ode in   ha doop  di stri bu te d…  ( T ump R ani S ha ha )   735   In   sim ul at ion the  config ur at i on   of   set up - is  hig he than  set up - 1.  So   we   can  see  that  t he  ave rag e   respo ns tim in  set up - is  le ss  than  set up  - 1.   So   her it   is  pr ove that   this  propose syst e m   wil pr ovide   bette re spo ns e  tim e in h ig c onfig ur e d sy ste m       5.   CONCL U SI O   In   t his  propose work  we   ha ve  e xp e rim ent ed  with  la r ge   am ou nt  of  da ta   eff ic ie ntly   thu t he  ti m requirem ents  ha bee reduce a nd  m e m or util iz at ion   is  i ncr ease d.  T he  pro po se syst em   is  m or ef fi ci ent  than  the  e xisti ng  cache a ppr oa ch  that  is  pro ved   by  ou pe r form ance  evaluati on  secti on. By  i m ple m entin t he   con ce pt  of  se conda ry  stora ge   it   has  been   sh ow that  am ou nt  of   m etad at will   no t   be  so   hi gh   t hat  the   Nam eNo de  will   be  irres pons i ve  due  to  the  e xcessive  am ount  of   data.  At  t he  sam t i m t he  cl ie nt  r eq ue st  can  be  handled   m or fr e quently   than  t he  e xisti ng   syst em In  fu t ur w ork  we  would  li ke   to  intr oduce   sever al   par am et ers  an be  pro ve m at he m at ic a lly  so   that  the   syst e m   can  work  m or ef fici ently   and   can  be   i m ple m ented  in  real t i m e syste m .       REFERE NCE S   [1]   K.  Shvachko,   H.   Kuang,   S.  Radi a,   and  R. Chansl er,   The   Hadoop   Distribut ed  File  Sy st em , ”  IEEE  26th  Symposium pp.   1 10 ,   Ma y ,   2010   [2]   A.Cha ndra sek ar,  K.Cha ndra seka r,   H.  Ramasatagopan,   and  J.B al asubra m aniy a n ,   Cla ss ifi ca t ion   base Meta da t Mana gement  f or  HD F S,”   IEE 14th  Inte r nati onal  Confer enc on  High  Pe rform ance  Computing  and  Comm unic ati ons,  2012   [3]   Zha ng,   G.  W u,   X.  Hu,  and  X.  W u,   A   Distribut ed  Cac h for  Hadoop  Distribut e File   Sy st em  in   Real - ti m e   Clou Serv ic es, ”  13 th  I nte rnational   Co nfe renc on   Gr id  Computing, pp .   12 - 21 ,   2012 .     [4]   H.  Alsham m ari ,   J.L ee,  and  H.  B aj wa,   H2H adoop:   Im proving  Hadoop  Perform anc using  the   Me ta da ta   of  relate jobs,”   I EEE  Tr ansacti ons on  C lo ud  Computing ,   PP .   1 - 1,   2015   [5]   G.  Mac ke y ,   S.   S ehr ish,  and  J .   W ang,   Im proving  Meta d at a   Mana gement  f or  Sm al File in  HD FS ,   IEEE  Inte rnational   Co nfe renc on   Clus te r Computing   a nd  Workshops ,   2 009.   [6]   S.  Bende,  R.   Sh edge ,   Dea li ng  with  Sm al Files   Problem  in  Hadoop  Distributed  File  S y stem, 7th  Int ernati on a l   Confe renc on   C omm unic ati on,   Computing  and  Vi rtuali zat ion, 2 016.   [7]   Dr.  Raut ,   S . ,   Phakade ,   P. ,   An  Innova ti ve  Strat eg y   for  Im prove Proce ss i ng  of  Sm al File in  Hadoop”   Inte rnational   Jo urnal  of Appl i ca ti on  or Inno vat io in Engi ne ering   and  Manag eme nt ,   3 ,   pp .   278 - 28 0,   Jul y ,   2014.   [8]   M.  Vara de ,   V.Je tha ni ,   Distributed  Meta d at Ma nage m ent   Sche m in  HD FS , ”  Inte rnational   Jou rnal  of  Sci en ti f i and  Re search   P ubli cations ,   3 ,   2 013.   [9]   Y.  KIM ,   T .   Ar ara gi ,   J.   Naka m ura ,   T.  Masuza wa,   Distribu te Nam eNode   Cluste for  H ighly -   Avai la b le  Hadoop  Distribu te Fil S y stem, ”  IE EE 33rd Inte rnational   S ymposium on  Reliable   Distribute d   Syst em ,   2014 .   [10]   Y.  Fu,  N.  Xiao,   and  E.   Zhou,   Novel  Dy na m ic   Meta data  Mana gement  Sc heme  for  La rge   Distribut ed  Stor age  S y stems ,   10 th  I EE E   Inte rnat ion al  Conf ere nce o n   High  P erformance   Comput ing   and  Comm unications ,   2008 .   [11]   L.   R an,  and  H .   Jin,  An   Eff icient   Me ta d at a   Mana gement  M et hod  in   L arg e   Distribut ed   St ora ge  S y s te m s,   Inte rnational   Co nfe renc on  Hu man - ce ntric  Co mputing  and  Embe dded  and   Mul ti media  Comput i ng,   pp.   375 - 383,   20 11 .       BIOGR AP HI ES OF  A UTH ORS         Tu mpa  Ra ni  S hah a   obta ine h er  B. Sc  and  M. Sc  degr ee unde depa rtment  of  Com pute r   Scie nc and  En gine er ing  from   Dhaka   Univer sit y   of  Engi ne eri n and  Technol o g y   (DU ET ) ,   Gaz ipur,   Bang ladesh.  Tumpa  Rani   shaha   rese ar c int ere sts  are   o Data   Mining,   Big  Data ,   Hadoop  Distribu te Fil S y s te m ,   Mac hin L ea rn i ng  and  De ep  Learni ng.   Curre n tl t   she  is  fac ul t y   m ember  at   d epa rtment   of   Com pute Sci en ce   and  Eng ineeri ng,   Daffodi In ternat ion al   Univer sit y .             Md.   Nas im  A kh tar   rec ei ved   the   M.E ng  an Ph.D  degr ee from   Nati onal  Te chnica l   Univer sit y   of  Ukrai ne,   Ki ev,   Ukrai ne  and  M oscow  Stat Aca dem y   o Fine  Chemica l   Te chno log y ,   Ru ss ia ,   in  1998  an 2010,   respe cti vely .   Cur ren t l y ,   he  is  a   Profess or  in  th Depa rtment  of  Com pute r   Scie nce   and  Engi n ee r ing,   Dhaka   Uni ver sit y   of  Eng in ee ring  and   Te chno log y   (D UET) ,   Gaz ipur,   Bangl ad esh.   His  rese arc in te r ests  inc lude   Distri bute Dat a   W are house  S y st em  On  La rg Cl usters,   Digi ta l   I m age   Proce ss in and  W ater  Ma rking,   Pe er   to  Peer   Networ king,   C loud  Co m puti ng,   Opera t ing  S y stem.  He   has  pre sent ed  pape rs  a t   conf ere n ce s bo th   hom and   abr o a d,   publ ished art i cl es  and  p ape rs  i var ious  journal s.   Evaluation Warning : The document was created with Spire.PDF for Python.
                          IS S N :   2502 - 4752   Ind on esi a J  E le c Eng &  Co m Sci,   Vo l.   1 3 , N o.   2 Fe bru ary  201 9   :   7 2 9   7 3 6   736       Md.   Z akir  Ho ss ain   rec ei v ed  t he  B. Sc  Engi n ee ring  degr ee   i Com pute Sc ie nc and   Engi ne eri ng  De par tment  from   Dhaka   Univer sit y   of  Engi ne eri n and  Technol o g y   (DU ET ) ,   Gaz ipur,   B angl a desh,   in  2015  an he  is  cur ren tly  pursuing  the   M.Sc  Engi ne eri ng  degr ee   in   Com pute Scie n ce   and  Engi ne er ing  Depa rtment   in  Dhaka   Univ ersity   of  Eng ineeri ng  and   Te chno log y   (DU ET ),   Gaz ipur.   His  rese arc in t ere st  in cl udes  D at Mining ,   Big   Data ,   AI,   Mac hine   Learni ng,   Cloud  Com puti ng,   Softwar e   Engi ne eri ng ,   C om pute Network,   IoT .   He   has  pre sent ed  p a per s a t   conf ere n ce s bot h   hom e a nd  abr oad           Ms.   Fate ma   Tu Joohora   is  the   Le c ture of  rep ute private  uni ver sit y   in  Banglade sh.  Sh e   has  rec ei v ed   her   B. Sc  and  M.Sc  degr ee   in   Infor m at ion  Te chn olog y   from   Jaha ngirna g ar   U nive rsit y   (JU ).   Her  rec ent   publ i ca t ions  inc lude   An  Eff ic ie nt  Approac of   Tra in ing   Artif ici al   Neura Net wo rk  to  Rec ognize   Benga li   Hand  Sign"  (2016).   H er  rese ar ch  int er est  inc lud e Data   Mining,   Artifi cial   Neu r al   Ne twork,   Im a ge  proc essing,   and  cl oud  computing.             Mostafij ur  Rah man  complet ed  his  BS in  Comput er  Sci enc fr om   Nati onal   Univer sit y   o f   Bangl ad esh  (2003).   He  Purs ued  his  MS (2009)  and  PhD   (2017)  in  Com pute Engi nee r ing,  from   UN IM AP ,   Malay s ia.  He  w orke as  L ec tur e since   2009  to   Septe m ber ,   2017  for  School  of  Com pute an Com m unic at i on  Engi n ee ring   in  UN IMA P.  Curre ntly   he  is  serving  as   As sis ta nt  Profes sor  in  the   Depa rtment  of  Software   Engi n ee r ing   at   Daffodi Int ern ational  Univer sit y   (DIU ),   Bangl ad esh.   His  rese arc intere st  in  Softwar Te sting ,   Multi m edi and  Crea t ivi t y   in  Medic a Scie nc e,   Com pute Secur ity ,   C lou Com puti ng,   Algorit hm   Optimiza ti o n,   P ara l le and  Distribut ed  S y stem ,   Device  Drive for  GN U/Li nux  base embedde OS .   He  has  pre sented  pape rs  at   conf ere nc es  both  hom and  abr oad,  publi shed  art i cl es  and  p apers   in  var ious j our nal s.           R.  Bad li sh ah  A hmad   rec ei ved  t he  M.Sc   Engi ne eri ng  and  Ph.D  degr ee from   Univer sit y   of   Strat hcly d e,  UK   in  1995   and  20 00,   respe ctively .   Curre nt l y ,   h is  Fa cul t y   of  In form at ic s   and  Com puti ng,   Univer siti   Sult an  Zaina Abid in  (UniSZA).  His  rese arc h   in te rests  in   Com pute and  T el e comm unic at i on  Net work  Modell ing   include   W SN   and  Optic al   Networ k   using  discre t e vent   sim ula tors  (OM NeT ++ ),   O pti c al   Networki ng  and  Embedd ed  S y stem   base on  GN U/Li nux.   He   has  pre sente p ape r at   conf ere nc e both  hom a nd  abr oad ,   publi shed  art i cle s a nd  pap ers  in   v ari ous j ourn al s.           Evaluation Warning : The document was created with Spire.PDF for Python.