I nte rna t io na l J o urna l o f   E lect rica l a nd   Co m p ute E ng in ee ring   ( I J E CE )   Vo l.   8 ,   No .   3 J u n e   201 8 ,   p p .   1854 ~ 1 8 6 2   I SS N:  2 0 8 8 - 8708 DOI : 1 0 . 1 1 5 9 1 / i j ec e . v8 i 3 . p p 1 8 5 4 - 186 2          1854       J o ur na l ho m ep a g e h ttp : //ia e s co r e . co m/ jo u r n a ls /in d ex . p h p / I JE C E   A Survey  of Ma c hine Lea rning  Te chniques  for Sel f - tuning  H a do o p P er for ma nce       M d.  Arm a n ur  Ra h m a n 1 ,   J .   H o s s en 2 ,   Ven k a t a s es ha ia h C 3 ,   CK   H o 4 ,   T a n K i m   G eo k 5 Aziz a   Su lt a na 6   J es m ee n M .   Z .   H . 7 ,   F er do us   H o s s a in 8   1, 2, 3, 5 ,7 ,8 F a c u lt y   o f   En g in e e rin g   a n d   T e c h n o lo g y ,   M u lt im e d ia Un iv e rsity ,   M e lak a ,   7 5 4 5 0 ,   M a lay sia   4 F a c u lt y   o f   Co m p u ti n g   a n d   In f o r m a ti c s,  M u lt im e d ia Un iv e rsit y ,   Cy b e rja y a 6 3 1 0 0 ,   M a lay sia   6 F a c u lt y   o f   Co m p u ti n g   a n d   En g i n e e rin g ,   Dh a k a   In tern a ti o n a Un iv e rsit y ,   Dh a k a ,   1 2 0 5 ,   Ba n g lad e sh       Art icle  I nfo     AB ST RAC T   A r ticle  his to r y:   R ec eiv ed   J an   2 9 ,   2 0 1 8   R ev i s ed   Ma r   2 0 2 0 1 8   A cc ep ted   Ma r   3 0 2 0 1 8     T h e   A p a c h e   H a d o o p   f ra m e w o r k   is  a n   o p e n   so u rc e   im p le m e n tatio n   o f   M a p Re d u c e   f o p r o c e ss in g   a n d   sto rin g   b ig   d a ta.  Ho w e v e r,   to   g e th e   b e st   p e rf o r m a n c e   f ro m   th is  is  a   b i g   c h a ll e n g e   b e c a u se   o f   it lar g e   n u m b e r   c o n f ig u ra ti o n   p a ra m e t e rs.  In   th i p a p e r,   t h e   c o n c e p o f   c rit ica l   issu e o H a d o o p   sy ste m ,   b ig   d a ta   a n d   m a c h in e   lea rn in g   h a v e   b e e n   h ig h li g h ted   a n d   a n   a n a ly sis  o f   so m e   m a c h in e   lea rn in g   tec h n iq u e a p p li e d   so   f a r,   f o im p ro v in g   th e   H a d o o p   p e rf o rm a n c e   is  p re se n ted .   T h e n ,   a   p r o m isin g   m a c h in e   lea rn in g   tec h n iq u e   u si n g   d e e p   lea r n i n g   a lg o rit h m   is  p ro p o se d   f o H a d o o p   sy ste m   p e rf o r m a n c e   i m p ro v e m e n t.   K ey w o r d :   Had o o p     HDFS    Ma ch i n l ea r n i n g     Ma p R ed u ce     P ar am eter   Co p y rig h ©   2 0 1 8   In s ti t u te o A d v a n c e d   E n g i n e e rin g   a n d   S c ien c e   Al rig h ts  re se rv e d .   C o r r e s p o nd ing   A uth o r :   Md .   A r m a n u r   R ah m a n   Facu lt y   o f   E n g i n ee r i n g   a n d   T e ch n o lo g y ,   Mu lti m ed ia  U n iv er s it y ,   Me lak a,   7 5 4 5 0 ,   Ma lay s ia .   E m ail:  ar m an . b d m ai l@ g m ail. co m       1.   I NT RO D UCT I O N     T h p u r p o s o f   th is   p ap er   is   th r ee f o ld   T o   p r o v id es  b r ief   d escr ip tio n   of   th co n ce p o f   m ac h i n le ar n in g ,   b ig   d ata  an d   H ad o o p   s y s te m .   T o   p r esen s y s te m a tic  an al y s is   o f   e x is t in g   tec h n iq u e s   in   ter m s   o f   p er f o r m a n ce ,   p ar a m eter s ,   d ataset  an d   s y s te m   co n f i g u r atio n .   T o   p r o p o s p r o m i s in g   tec h n iq u u s i n g   d e ep   lear n i n g   al g o r ith m   f o r   i m p r o v in g   t h H ad o o p   s y s te m   p er f o r m an ce   i n   p r o ce s s in g   b ig   d ata.     A   r o ad m ap   o f   t h i s   p ap er   is   g iv e n   i n   F ig u r 1 .   I n   Sectio n   an d   Sectio n   2 ,   H ad o o p   s y s te m   w it h   Ma p R ed u ce   ( MR),   Had o o p   Dis tr ib u ted   Fil S y s te m   ( H D FS )   an d   Y A R h a v b ee n   d is cu s s ed .   T h en ,   a   d is cu s s io n   ab o u b ig   d ata  an d   V’ s ,   clas s i f icatio n   o f   m ac h in lear n in g   an d   ex i s ti n g   m ac h i n lear n i n g   alg o r ith m s   is   p r esen ted .   I n   S ec tio n   2 . 2 ,   cr itical  i s s u es   in   H ad o o p   s y s te m   ar d is c u s s e d .   I n   Sectio n   3 ,   a   p r o m i s in g   ap p licatio n   o f   De ep   L ea r n i n g   al g o r ith m   to   i m p r o v th H ad o o p   p er f o r m an ce   is   d is c u s s ed .   s u m m ar y   i s   p r esen ted   in   Secti o n   4.       Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J   E lec  &   C o m p   E n g     I SS N:  2 0 8 8 - 8708       A   S u r ve o f Ma ch in e   Lea r n in g   Tech n iq u es fo r   S elf - tu n i n g   H a d o o p   P erfo r ma n ce   ( Md .   A r ma n u r   R a h m a n )   1855       Fig u r 1 .   R o ad m ap   o f   th i s   s u r v e y       1 . 1   H a do o p sy s t e m   T h A p ac h H ad o o p   f r a m e wo r k   m ai n l y   co n s is t s   o f   th r ee   c o m p o n en t:   MR,  HDFS   an d   Y AR N.   T h e   r o le  o f   MR  is   d ata  p r o ce s s i n g .   T h r o le  o f   HDFS  is   to   m a n ag s to r ag w h ic h   i s   d o n b y   b r ea k in g   f ile  i n to   m u ltip le  b lo ck s   an d   co p y i n g   ea ch   o f   th e m   i n to   t h r ee   d i f f er en s er v er s   [1 ] - [ 4] .   MR  i s   co n s id er ed   as  a   p r o g r am m i n g   p r o ce s s   th at  co m p r i s e s   o f   J o b T r ac k er   ( m an a g th tas k )   an d   T ask T r ac k er   ( r u n   t h tas k ) .   Fig u r 2   s h o w s   t h h i g h - lev el  ar ch itect u r o f   H ad o o p .   Ha d o o p   w o r k s   w it h   t w o   n o d es  n a m el y   m a s ter   n o d an d   s lav n o d e.   Un d er   th m aster   n o d e ,   th er ar T ask T r ac k er   an d   J o b T r ac k er   in   MR  L a y er   a n d   Na m eNo d an d   Data No d in   HDFS  la y er .   Un d er   s la v e   n o d e ,   th er ar T ask T r ac k e r   in   MR  la y er   an d   Data No d in   HDFS   la y er .   T ask T r ac k er   o f   Ma s ter   No d co n tacts   w it h   t h J o b T r ac k er   an d   J o b T r ac k er   co n tacts  w it h   t h s la v n o d T ask T r ac k er .   Na m eNo d co n ta cts  w it h   all  Data No d e.                                 Fig u r 2 .   Hig h   le v el  A r c h itect u r o f   Had o o p       1 . 1 . 1 .   H a do o p f ile  s y s t e m   ( H DF S)   HDFS   is   d esig n ed   f o r   r eliab l an d   e f f icie n   s to r ag e   o f   v er y   lar g e   d ataset s   [ 5 ] .   Had o o p   en ab les   s ca lin g   to   lar g e   n u m b er   o f   h o s ts   a n d   d ata  p ar titi o n i n g   i n   m an y   n o d es  f o r   p er f o r m i n g   c o m p u tatio n s .   Sto r ag e   o f   f ile  s y s te m   m etad ata    an d   ap p lic atio n   d ata  ar d o n b y   s ep ar ately   i n   HDFS  [ 3 ] .   HDFS  s to r es  m e tad ata  in   d ed icate d   s er v er   ca lled   Nam n o d e.   A p p licatio n   d ata  is   s to r ed   o n   an o th er   s er v er   ca lled   Dat No d e   [ 6 ] [ 7 ]     1 . 1 . 2 .   M a pReduce   MR  i s   p r o g r a m m i n g   p r o ce s s   w h ich   co n tai n s   t w o   f u n ctio n s   n a m el y   m ap   an d   r ed u ce   [ 6 ] [ 8 ] .   I n   ter m s   o f   d esi g n i n g ,   M R   co m p r i s es  o f   th r ee   m ain   co m p o n en ts p r o g r a m m i n g ,   s to r a g d esig n i n g ,   an d   s ch ed u lin g .   I n   p r o g r a m m i n g   s tep ,   m ap   f u n c tio n   r ec eiv e s   i n p u as  v al u an d   k e y   f r o m   u s er   an d   p ass e s   t h o u tp u to   r ed u ce   f u n ctio n   f o r   f u r th er   p r o ce s s i n g   a n d   g en er atin g   t h r esu l [ 8 ] [ 3 ] .   T h r ed u ce   f u n ctio n   p r o ce s s es  th e   o u tp u f r o m   t h e   m ap   f u n ctio n   t h r o u g h   s h u f f li n g ,   s o r tin g   a n d   m er g i n g   o f   d a ta  [ 7] [ 9 ] .   Fig u r 3   s h o w s   M R   w o r k   p r o ce s s .   M a ste No d e   T a sk T r a c k e r   Jo b T r a c k e r   N a me N o d e   D a t a N o d e   T a sk T r a c k e r   D a t a N o d e   T a sk T r a c k e r   S l a v e   N o d e   S l a v e   N o d e   Ma p R ed u ce   L a y er   HDFS  L a y er   D a t a N o d e   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 8 - 8708   I n t J   E lec  &   C o m p   E n g ,   Vo l.  8 ,   No .   3 J u n 2 0 1 8   :   1 8 5 4     186 2   1856       Fig u r 3 .   Ma p R ed u ce   p r o ce s s       1 . 1 . 3 .   P a ra m et er   Had o o p   c o n tain s   o v er   2 0 0   p ar a m eter s   w h er th s etti n g s   o f   th ese  p ar a m e ter s   d eter m i n it   ef f ec tiv e   p er f o r m a n ce   [ 1 0 - 15] .   Am o n g   th ese,   ab o u t 3 0   p ar am eter s   ca n   d ir ec tl y   i m p ac t th p er f o r m a n ce .         2.   M ACH I NE   L E AR NIN G   T E CH NIQU E S AN CR I T I C AL   I S SU E   2 . 1 .   Cla s s if ica t io n o f   m a chi ne  lea rning   a lg o rit h m s   Ma ch i n L ea r n in g   ( ML )   s i m p ly   r ef er s   to   th in telli g e n ce   o f   m ac h in w h er th m a ch in ca n   p r o v id d ec is io n   [ 1 6 ] [ 1 7 ] .   I h as   g r ea tl y   i m p ac ted   i n f o r m at io n   s cien ce   in   th s ec to r s   o f   p r ed ictio n ,   class i f icatio n ,   i m a g r ec o g n i tio n ,   co m p u ter   v i s io n ,   s p ee c h   p r o ce s s in g ,   n at u r al  lan g u a g u n d er s tan d i n g ,   n eu r o s cie n ce ,   h ea lt h ,   a n d   I o T   ( I n ter n et  o f   T h in g s ) .   ML   al g o r ith m   is   r eq u ir ed   to   p r o ce s s   i n f o r m atio n   f r o m   t h e   v er it y   o f   d ata  w it h in   li m ited   ti m d u r atio n .   I is   ch alle n g e d   b y   th e m er g en ce   o f   b i g   d ata  [ 1 8 ] [ 7 ] .   Ma ch in e   L ea r n i n g   i s   ca te g o r ized   in to   s u p er v is ed ,   u n s u p er v i s ed ,   s e m i - s u p er v is ed   a n d   r ein f o r ce m en lear n in g   [ 1 9 ] .   Mo s t p o p u lar   m ac h i n lear n i n g   alg o r it h m s   ar s h o w n   i n   Fi g u r 4.   a.   Su p er v i s ed   L ea r n i n g Su p er v i s ed   lear n i n g   i s   s k i lled   b y   lab elled   in s tan ce s ,   li k e   an   i n p u as  t h e x p ec te d   r esu lt i s   k n o w n .   S u p er v i s ed   lear n in g   d eliv er s   d ataset  co m p r i s in g   o f   b o th   s tr u ct u r an d   lab els.   b.   Un s u p er v i s ed   L ea r n in g U n s u p er v is ed   le ar n i n g   co n d u cted   d ata  w h er n o   p r ev io u s   lab els  a n d   its   ai m   i s   to   d is co v er   d ata  an d   tr ac s i m ila r ities   a m o n g   th o b j ec ts .   T h is   is   tech n iq u o f   ex p lo r i n g   l ab els  s in ce   th e   d ata  its elf .   U n s u p er v i s ed   lear n in g   f u n c tio n s   w ell  o n   t h tr an s ac tio n al  d ataset.   c.   Se m i - s u p er v i s ed   L ea r n in g Se m i - s u p er v i s ed   lear n in g   a n d   s u p er v i s ed   lear n in g   ca n   u s th s a m e   ap p licatio n   b u s e m i - s u p er v is ed   lear n in g   ca n   d o   to g eth er   w it h   lab eled   to   u n lab eled   d ata  b ec au s o f   lear n in g .     d.   R ein f o r ce m e n L ea r n in g R ei n f o r ce m en lear n i n g   is   f r eq u e n tl y   u s ed   in   n a v ig a tio n ,   g a m i n g   a n d   r o b o tics .   T h is   lear n i n g   m et h o d   w h ic h   c o n n ec t s   b y   d y n a m ic  s itu a tio n   i n   w h er it   h a s   to   p er f o r m   a   p ar ticu lar   ai m   ex ce p t a   tr ain er   ex p licit l y   s a y i n g   it  w h et h er   h a s   ap p r o ac h ed   its   ai m   [ 2 0 ] .     Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J   E lec  &   C o m p   E n g     I SS N:  2 0 8 8 - 8708       A   S u r ve o f Ma ch in e   Lea r n in g   Tech n iq u es fo r   S elf - tu n i n g   H a d o o p   P erfo r ma n ce   ( Md .   A r ma n u r   R a h m a n )   1857       Fig u r 4 Ma ch in L ea r n in g   Alg o r ith m s       2 . 2 .   Ana ly s is   o f   cr it ica l iss ue s   in  h a do o p s y s t e m   T h cr itical  is s u e s   in   Had o o p   s y s te m   f o r   b ig   d ata  p r o ce s s in g   ar d ep icted   in   Fig u r 5 .   C l u st e r i n g   A l g o r i t h ms   k - M e a n s   k - M e d i a n s   Ex p e c t a t i o n   M a x i m i sa t i o n   H i e r a r c h i c a l   C l u st e r i n g   C o n v o l u t i o n a l   N e u r a l   N e t w o r k     D e e p   B o l t z man n   M a c h i n e     S t a c k e d   A u t o - E n c o d e r s   D e e p   B e l i e f   N e t w o r k   P a r t i a l   L e a st   S q u a r e s R e g r e ssi o n   P r i n c i p a l   C o m p o n e n t   A n a l y si s   S a mm o n   M a p p i n g   P r i n c i p a l   C o m p o n e n t   R e g r e ssi o n   M i x t u r e   D i scr i mi n a n t   A n a l y si s   M u l t i d i me n s i o n a l   S c a l i n g     P r o j e c t i o n   P u r su i t   L i n e a r   D i scri mi n a n t   A n a l y si s   F l e x i b l e   D i scri m i n a n t   A n a l y si s   Q u a d r a t i c   D i scr i mi n a n t   A n a l y si s     M a c h i n e   L e a r n i n g   A l g o r i t h ms   D e e p   L e a r n i n g   A l g o r i t h ms   En se mb l e   A l g o r i t h ms   A r t i f i c i a l   N e u r a l   N e t w o r k   A l g o r i t h ms   R e g r e ssi o n   A l g o r i t h ms   I n st a n c e - b a se d   A l g o r i t h ms   R e g u l a r i z a t i o n   A l g o r i t h ms   D e c i si o n   T r e e   A l g o r i t h ms   B a y e si a n   A l g o r i t h ms   A sso c i a t i o n   R u l e   L e a r n i n g   A l g o r i t h ms   D i me n si o n a l i t y   R e d u c t i o n   A l g o r i t h ms   O t h e r   A l g o r i t h ms   O r d i n a r y   L e a st   S q u a r e s R e g r e ssi o n     M u l t i v a r i a t e   A d a p t i v e   R e g r e ssi o n   S p l i n e s   S t e p w i se   R e g r e ssi o n   L i n e a r   R e g r e ssi o n   L o g i st i c   R e g r e ssi o n   L o c a l l y   Esti m a ted   S c a tt e rp lo S m o o th i n g   R a n d o m F o r e st   S t a c k e d   G e n e r a l i z a t i o n   ( b l e n d i n g )   G r a d i e n t   B o o st e d   R e g r e ssi o n   T r e e s   G r a d i e n t   B o o st i n g   M a c h i n e s (G B M )   B o o st i n g   B o o t st r a p p e d   A g g r e g a t i o n   ( B a g g i n g )   A d a B o o st   L e a st - A n g l e   R e g r e ssi o n   ( L A R S )   R i d g e   R e g r e ssi o n   L e a st   A b so l u t e   S h r i n k a g e   a n d   S e l e c t i o n   O p e r a t o r   El a st i c   N e t   P e r c e p t r o n   B a c k - P r o p a g a t i o n   H o p f i e l d   N e t w o r k   R a d i a l   B a s i s F u n c t i o n   N e t w o r k   A p r i o r i   a l g o r i t h m   Ec l a t   a l g o r i t h m   k - N e a r e st   N e i g h b o u r   ( k N N )   L e a r n i n g   V e c t o r   Q u a n t i z a t i o n   S e l f - O r g a n i z i n g   M a p   ( S O M )   L o c a l l y   W e i g h t e d   L e a r n i n g   N a t u r a l   L a n g u a g e   P r o c e ssi n g   R e i n f o r c e me n t   L e a r n i n g   C o mp u t a t i o n a l   i n t e l l i g e n c e   ( e v o l u t i o n a r y   a l g o r i t h ms,   e t c . )   G r a p h i c a l   M o d e l s   C o mp u t e r   V i s i o n   ( C V )   R e c o mm e n d e r   S y st e ms   B a y e si a n   N e t w o r k   N a i v e   B a y e s   M u l t i n o m i a l   N a i v e   B a y e s   G a u ssi a n   N a i v e   B a y e s   B a y e si a n   B e l i e f   N e t w o r k   A v e r a g e d   O n e - D e p e n d e n c e   Es t i m a t o r s   M5   C l a ssi f i c a t i o n   a n d   R e g r e ssi o n   T r e e     C 4 . 5   a n d   C 5 . 0     I t e r a t i v e   D i c h o t o mi se r   3     D e c i si o n   S t u mp   C h i - sq u a r e d   A u t o m a t i c   I n t e r a c t i o n   D e t e c t i o n   ( C H A I D )   C o n d i t i o n a l   D e c i si o n   T r e e s   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 8 - 8708   I n t J   E lec  &   C o m p   E n g ,   Vo l.  8 ,   No .   3 J u n 2 0 1 8   :   1 8 5 4     186 2   1858     Fig u r 5 .   I s s u es o f   Had o o p   s y s te m   f o r   B ig   d ata  p r o ce s s in g       2 . 2 . 1 .   P er f o r m a nce    A   n u m b er   o f   m o d el s   h a v b ee n   p u b l is h ed   in   th last   f e w   y ea r s   o n   H ad o o p   an d   MR  s y s te m   to   o p tim ize  th p er f o r m an ce   b y   d if f er e n t y p e s   o f   s el f - t u n in g   tech n iq u es.  C o m p ar i s o n   w i th   d ef a u lt  H ad o o p   s y s te m s   is   m ad to   f i n d   o u t h p ar a m eter s   in v o lv ed   i n   m a n ag i n g   s y s te m   p er f o r m a n ce s ,   u n d er s ta n d   t h w a y   th o s p ar a m eter s   w o r k   an d   lo o k   f o r   th li m itat io n s   o f   d ef a u lt  H ad o o p   s y s te m s .   I n   o r d er   to   im p r o v H ad o o p   s y s te m   p er f o r m a n ce   f o r   p r o ce s s i n g   b ig   d ata,   a n   e f f icien al g o r ith m   is   cr u cial  f o r   o p ti m izi n g   t h p er f o r m a n ce .   Ma n y   r esear ch er s   h a v d e v elo p ed   d if f er e n t a l g o r ith m   f o r   i m p r o v in g   H ad o o p   s y s te m   p er f o r m a n ce   co m p ar ed   to   th d ef au lt c o n f ig u r atio n .       Dif f er en t   t y p e   o f   ML   al g o r ith m   h a v b ee n   ap p lied   in   H ad o o p   s y s te m   f o r   p er f o r m an ce   i m p r o v e m en t.   A l g o r ith m s   ar e:    a.   R an d o m - Fo r est   On o f   th p o p u lar   alg o r ith m s   o f   M L   is   R a n d o m   Fo r est .   A m o n g   m an y   o th er   ap p r o a ch es  f o r   H ad o o p   p er f o r m a n ce   i m p r o v e m en t,  R an d o m - Fo r est  A p p r o ac h   to   Au to - T u n i n g   Had o o p s   C o n f i g u r atio n   ( R FHO C ) ,   is   m o d el  to   tu n e   th co n f ig u r atio n   p ar a m e ter s   au to m atica ll y   i n   o p ti m iz in g   t h p er f o r m a n ce   f o r   s p ec i f ic  ap p licatio n   t h at  r u n s   o n   p ar ticu lar   clu s ter .   T h R FHO C   e s tab lis h es   t w o   m o d els  b ased   o n   th r an d o m - f o r est  ap p r o ac h   th at  w o r k   w it h   t h m ap   an d   r ed u ce   s tag es  i n   s i m ilar l y .   Fiv H ad o o p   p r o g r am s   n a m e l y   w o r d co u n t,   ter a s o r t,  s o r t,  A d j lis a n d   I n v er ted - I n d ex   ar u s ed   in   th ev al u atio n   o f   R FHO C .   T h e v al u atio n   s h o w s   t h at   th e   p er f o r m a n ce   h as   b ee n   s p ee d ed   u p   b y   an   a v er ag f ac to r   o f   2 . 1 1 tim es  w h er t h m a x i m u m   s p ee d   ca n   r u n   u p   to   7 . 4   ti m es  co m p ar e d   to   co s t - b ased   o p ti m izatio n   ( C B O )   ap p r o ac h   [ 1 ] .   b.   Su p p o r t V ec to r   R eg r ess io n     Su p p o r Vec to r   R eg r ess io n   ( SVR )   is   also   o n o f   th m o s p o p u lar   alg o r ith m s   o f   ML .   SVR   m o d el  i s   co n s id er ed   as  o n e   o f   t h b es a m o n g   M L   ap p r o ac h es   in   ter m s   o f   ac c u r ac y   an d   co m p u tati o n al  e f f ic ien c y .   SVR   a u to - tu n i n g   m ec h an is m   h as  i n te g r ated   m ac h i n e - lear n i n g   p er f o r m an ce   m o d el  an d   i n tellig e n s ea r ch   alg o r ith m   f o r   an   e f f ec ti v e x p lo r atio n   o f   p ar a m eter   s p ac a n d   ef f icie n tr ai n i n g   m o d els.  T h SVR   m o d el   p er f o r m a n ce   w as   m ea s u r ed   i n   t w o   p r o g r a m s :   s o r a n d   w o r d co u n a n d   co m p ar ed   Star f is h   m o d el.   I w a s   s h o w n   th a th SVR   m o d el  p er f o r m an ce   i n cr e m en w as  3 9 w h i le  Star f is h   m o d el  p er f o r m an ce   in c r e m en t   w a s   1 3 w h e n   it  is   an al y z ed   in   s o r p r o g r am s .   B u in   w o r d co u n p r o g r a m ,   th e   Star f is h   m o d el   p er f o r m a n ce   i n cr e m e n w a s   ei th er   s i m ilar   at  4 0 % o r   s lig h tl y   b etter   w it h   r ate  o f   5 [ 2 1 ]   c.   Su p p o r t V ec to r   Ma ch in e   I n   an o t h er   m o d el  k n o w n   a s   A u to m ated   R e s o u r ce   A ll o ca tio n   an d   C o n f ig u r atio n   o f   Ma p R ed u c e   E n v ir o n m e n i n   th C lo u d   ( AR OM A )   t h allo ca tio n   o f   r eso u r ce s   an d   co n f i g u r atio n   o f   p ar a m eter s   ar e   au to m ated   t h r o u g h   t w o - s ta g e   o p tim iza tio n   f r a m e w o r k   a n d   ML .   T h is   m o d el  f o cu s ed   o n   th w a y   to   r ed u cin g   th e   co s o f   b i g   d at p r o ce s s in g   in   H ad o o p   s y s te m .   T h r esu lt  d ep icts   t h at  t h co s o f   p r o ce s s i n g   1 0 GB   d ata  w it h   A R OM A   au t o - tu n i n g   i s   3 6   ce n ts   u s i n g   5   m ed iu m   VM s   ( Vir tu a Ma ch i n e )   w h er t h o n e   w it h o u AR OM a u to - t u n in g   is   5 1   ce n t s   u s i n g   6   m ed i u m   VM s .   I t   also   s h o w s   th at   r es o u r ce   allo ca tio n   u n d er   A R O M A   m ec h a n is m   ca n   co s less   co m p ar ed   to   th d ef au lt  o n e.   On   a v er ag AR OM A’ s   co s t   ef f icien c y   i s   2 5 [ 2 2 ] .     Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J   E lec  &   C o m p   E n g     I SS N:  2 0 8 8 - 8708       A   S u r ve o f Ma ch in e   Lea r n in g   Tech n iq u es fo r   S elf - tu n i n g   H a d o o p   P erfo r ma n ce   ( Md .   A r ma n u r   R a h m a n )   1859   d.   K - m ea n s ++     Un li k t h AR OM A   m ec h an i s m ,   m a n y   o th er   m ec h a n i s m s   j u s f o cu s   o n   i m p r o v i n g   t h p er f o r m an ce s   b y   r ed u cin g   t h t i m e   o f   d ata  p r o ce s s i n g .   P r o f ilin g   a n d   P er f o r m an ce   An al y s i s - b ased   S y s te m   ( P P A B S)  u s e s   t w o - p h a s ( A n a l y ze r   a n d   R ec o g n izer )   f r a m e w o r k   t h at  o p er ates  o n   K - m ea n s ++   clu s te r i n g   f o r   an al y z i n g   an d   class i f icatio n   ap p r o ac h   f o r   r ec o g n izi n g   t h j o b s .   T h ex p er i m e n tal  r esu lts   s h o w   t h a th p r o ce s s in g   ti m f o r   B ig   Da ta  h a s   b ee n   r e d u ce d   in   T er aSo r an d   W o r d C o u n m et h o d s .   I n   a n   ex p er i m en w it h   1 0   GB   in p u t   d ata  s et,   t h u s u al  ac c o m p li s h m e n ti m f o r   T er aS o r an d   W o r d C o u n d ec r ea s e s   b y   3 8 . 4 an d   1 8 . 7 % r esp ec tiv el y .   T h r ea s o n   f o r   th i s   m is m atc h   in   p er f o r m an ce   is   c h ar ac ter is tics   o f   v ar io u s   j o b s   [ 2 3 ] .   e.   T r ee - B ased   R eg r ess io n   T h is   ap p r o ac h   h as  t w o   p h ase s   f ir s t   o n is     p r ed ictio n   p h ase  an d   th s e c o n d   o n i s   o p ti m iz atio n   p h ase.   I n   th p r ed ictio n   p h ase,   th p er f o r m a n ce   o f   Ma p R ed u ce   j o b   is   esti m ated   an d   in   t h o p ti m i za tio n   p h ase ,   s ea r ch   f o r   o n   an   av er ag o p tim u m   co n f i g u r atio n   p ar a m ete is   m ad by   in v o k i n g   th p r ed icto r   r ep ea te d ly .   I is   r ep o r ted   th at  th i s   ap p r o a ch   ca n   h elp   t h u s er   to   in cr e m en th p er f o r m a n ce   r eg ar d in g   2   to   8   ti m e s   b etter   th an   p r ed ictio n   p h ase [ 2 4 ] .     2 . 2 . 2 .   P a ra m e t er s     A b o v al g o r ith m s   h a v b ee n   u s ed   p ar am eter s   i n   T ab le  1 .   P ar am eter s   ar th m ai n   f ac t o r s   th at  p la y   an   i m p o r tan r o le  in   H ad o o p   s y s te m   f o r   p er f o r m an ce   i m p r o v e m en t.   T h li m itatio n   o f   d ef a u lt   H ad o o p   s y s te m   is   th at  th e   p ar a m eter s   ar e   f ix ed   at  d ef a u lt   v al u e s .   Am o n g   th 3 0   ef f ec ti v p ar am eter s   d if f er e n m o d els  u s ed   d if f er e n t   p ar a m eter   co n f ig u r at io n s .   T h T a b le  1 .   s h o w s   s o m m o s t e f f ec tiv p a r a m eter s ,   w h ich   w er u s ed   in   o p tim izin g   H ad o o p   p er f o r m a n ce   [ 2 5 ] - [ 2 8 ] .     2 . 2 . 3 .   Da t a s et     A p p lied   ab o v al g o r it h m s   h a v b ee n   u s ed   t h ese   d ataset s .   I n   d e v elo p in g   a n   e f f ec tiv e   m o d el   f o r   i m p r o v i n g   H ad o o p   p er f o r m a n ce ,   m o s o f   t h M L   alg o r it h m   h av u s ed   m u l tip le  d atasets   i n   o r d er   t o   m a k s u r e   th at  t h p er f o r m an ce   d o es  n o d ec r ea s ag ain s th d ata  s i ze .   R an d o m   Fo r est  m o d el  h a s   u s ed   d ataset  o f     2 - 5 GB   f o r   tr ain in g   ti m a n d   5 0 GB   to   1 T B   w h ile  ca r r y i n g   o u t h ev a lu at io n .   T h b en ch m ar k   h a s   b ee n   co llected   f r o m   P u m an d   HiB e n ch   s u ite s   [ 1 ] .   SVR   b ased   a u to - t u n i n g   ap p r o ac h   h as  u s ed   d ataset  o f   8 0 GB   an d   2 4 0 GB   in   SNB   cl u s ter   an d   ap p lied   th e   s o r a n d   wo r d co u n f r o m   H iB en ch   b en ch m ar k   s u ite  [ 2 1 ] .   AR OM A   m o d el  h a s   u s ed   d ataset  o f   5 GB ,   1 0 GB   an d   2 0 GB   an d   u s ed   R a n d o m T ex tW r iter   an d   R an d o m W r iter   to o ls   i n   H ad o o p   p ac k ag to   p r o d u ce   d ata  o f   d if f er en s izes  b ec au s o f   th So r t,  Gr ep   an d   W o r d C o u n p r o g r a m s   [ 2 2 ] .   T h P P A B m o d el  u s ed   1 GB ,   5 GB   an d   1 0   GB   d atasets .   A   t r ain in g   s et  o f   M R   ap p licatio n s   co n s i s ti n g   o f   3   w ell - k n o w n   s ets  n a m el y :   Had o o p   E x a m p les  s et,   HiB en ch   a n d   Had o o p   B en ch m ar k s   s et  ( I n tel  i m p le m en ted   b en ch m ar k   s et)   [ 2 3 ] .         T ab le  1 .   C o n f ig u r atio n   P ar a m eter s   in   Had o o p   s y s te m   P a r a me t e r   P a p e r / R e f e r e n c e   i o . so r t . f a c t o r   [ 1 ] ,   [ 2 1 - 2 4 ]     map r e d . j o b . sh u f f l e . me r g e . p e r c e n t   [ 1 ] ,   [ 2 2 ] [ 2 4 ]   map r e d . o u t p u t . c o mp r e ss   [ 1 ] ,   [ 2 4 ]   map r e d . i n me m.me r g e . t h r e sh o l d   [ 1 ] ,   [ 2 4 ]   map r e d . r e d u c e . t a s k s   [ 1 ] ,   [ 2 1 ] ,   [ 2 2 ]   i o . so r t . s p i l l . p e r c e n t   [ 1 ] ,   [ 2 2 - 2 4 ]   map r e d . j o b . sh u f f l e . i n p u t . b u f f e r . p e r c e n t   [ 1 ] ,   [ 2 2 ] ,   [ 2 4 ]   i o . so r t . r e c o r d . p e r c e n t   [ 1 ] ,   [ 2 2 ] ,   [ 2 4 ]   i o . so r t . m b   [ 1 ] ,   [ 2 2 - 2 4 ]   map r e d . c o mp r e ss.ma p . o u t p u t   [ 1 ]   map r e d . t a s k t r a c k e r . ma p . t a sk s.ma x i m u m   [ 2 1 ] ,   [ 2 3 ]   map r e d . t a s k t r a c k e r . r e d u c e . t a s k s.m a x i mu m   [ 2 1 ] ,   [ 2 3 ] ,   [ 2 4 ]   map r e d . c h i l d . j a v a . o p t s   [ 2 3 ]   map r e d . r e d u c e . p a r a l l e l . c o p i e s   [ 2 2 ] ,   [ 2 3 ]   d f s. b l o c k . s i z e   [ 2 3 ]   map r e d . ma p . o u t p u t . c o m p r e ss   [ 2 3 ] ,   [ 2 4 ]   map r e d . j o b . r e d u c e . i n p u t . b u f f e r . p e r c e n t   [ 2 2 ] ,   [ 2 4 ]   M a p H e a p S i z e   [ 2 4 ]   M a p T a sk s M a x   [ 2 4 ]   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 8 - 8708   I n t J   E lec  &   C o m p   E n g ,   Vo l.  8 ,   No .   3 J u n 2 0 1 8   :   1 8 5 4     186 2   1860   P a r a me t e r   P a p e r / R e f e r e n c e   S p l i t S i z e   [ 2 4 ]   H t t p T h r e a d   [ 2 4 ]   R e d u c e H e a p S i z e   [ 2 4 ]   R e d u c e T a sk sN u m   [ 2 4 ]   R e d u c e C o p y N u m   [ 2 4 ]   R e d u c e S l o w st a r t   [ 2 4 ]   JV M R e u se   [ 2 4 ]       2 . 2 . 4 .   Sy s t e m   co nfig ura t io n     T h s y s te m   co n f ig u r atio n   h a s   b ee n   u s ed   i n   ab o v ML   a lg o r ith m s   f o r   i m p r o v i n g .   T h d if f er en m o d el s   h a v e   co m p ar ed   t h p er f o r m an ce   w it h   d if f er en s y s te m .   Fo r   ex a m p le,   R an d o m -   Fo r est  m o d el  h a s   co m p ar ed   its   o u tco m ag ai n s t   C B b ased   ap p r o ac h   an d   th e   co n f i g u r atio n   h a s   b ee n   d o n in   s i m ilar   m a n n er   also .   I h as  u s ed   1 0   Su g a n   s er v er s   p r ep ar ed   w it h   I n tel - Xeo n   C P U -   E5 - 2 4 0 7   2 . 2 0 GHz   an d   q u ad - co r e   p r o ce s s o r   an d   3 2 GB   P C 3   m e m o r y   co n n ec ted   th r o u g h   g ig a b it  E th er n et  [ 1 ] .   SVR   m o d el  h as  u s ed   HiB en ch   b en ch m ar k   f o r   W o r d C o u n a n d   So r b e n ch m ar k   w h ile   it  h as  u s ed   t w o   clu s ter s   n a m el y   San d y B r id g e   ( SNB )   an d   Z T   clu s ter .   S VR   p er f o r m ed   th ex p er i m e n o n   s er v er   w h ic h   is   d u a l - co r I n tel R   C o r eT i5 - 2 5 4 0 M   p r o ce s s o r   r u n n i n g   at  2 . 6 0 GHz   an d   4 GB   m ai n   m e m o r y   [ 2 1 ] .   On   th o th er ,   h a n d   SVM  m o d el  w a s   i m p le m en ted   o n   s etti n g s   o f   7 HP   P r o - L ia n B L 4 6 0 C   G6   b l ad s er v er   to g eth e r   w i th   H P   E VA   s to r ag ar ea   n et w o r k   th at   co m p r is ed   o f   1 0 Gb p s   E th er n e an d   8 Gb p s   Fi b r e/iSC SI  d u a ch a n n els.   T h s m all  a n d   m ed iu m   VM   ( Vir tu al  Ma ch i n e)   u s ed   w er co n tai n ed   w ith   1 v C P U,   2 GB   R A an d   5 0 GB   h ar d   d is k   s p ac a n d     2 v C P Us,  4 GB   R A a n d   8 0 GB   h ar d   d is k   s p ac r esp ec tiv ely   [ 2 2 ] .   I n   ad d itio n ,   K - m ea n s + m o d el  h a s   u s ed   clu s ter   t h at  co n tain s   f i v Dat aNo d es  an d   o n Nam eNo d e.   T h Na m eNo d an d   Data No d r u n   o n   C P o f     2 E C 2   C o m p u te,   a n d   1 E C 2   C o m p u te  Un i t,  t h m e m o r y   o f   3 0 0 GB   an d   2 0 0 GB   r esp ec tiv el y   [ 2 3 ] .   B e s id es,   T r ee - B ased   R eg r ess io n   m ac h i n lear n in g   alg o r it h m   h as   ev al u ated   it s   p er f o r m a n ce   o n   8   n o d es P d ef au lt   s ett in g   w h er ea ch   n o d e   co n tain s   ei g h t I n tel  i7 - 4 7 7 0   co r es,  3 2 GB   R A a n d   2 T B   d is k   s p ac [ 2 4 ] .       3.   P RO SPEC T   O F   AP P L I C AT I O N   O F   DE E P   L E A RNIN G   A L G O RI T H M   T O   H ADO O P   P E RF O RM ANCE IM P RO VE M E NT   Had o o p   is   an   in te g r al  p ar o f   p r o ce s s in g   b i g   d ata.   Had o o p   p er f o r m a n ce   i s   an   i m p ed i m e n in   g etti n g   ef f icien s er v ice  as   t h p ar a m eter s   ar n o s el f - t u n ed .   Di f f e r en M L   al g o r ith m   h as   b ee n   p r o p o s ed   to   im p r o v e   th p er f o r m an ce s   b y   allo w i n g   au to - t u n i n g   o f   th e   m o s t e f f ec ti v p ar a m eter s .   T h an a l y s is   o f   p er f o r m an ce   w it h   d if f er e n M L   alg o r it h m s   s h o ws  th a t h s el f - t u n i n g   h a s   i m p r o v ed   H ad o o p   s y s te m   p er f o r m an ce   in   co m p ar i s o n   w it h   d ef a u lt  p ar a m eter   co n f i g u r atio n .   Ho w e v er ,   t h er i s   n ee d   f o r   n e w   m o d el  to   f u r th e r   i m p r o v H ad o o p   s y s te m   p er f o r m an ce   w i th   r esp ec to   s p ee d   an d   ac cu r ac y .   De ep   lear n in g   h as  b ee n   ad o p ted   w it h   m o s p o p u lar   T h ea n o   [ 2 9 ] ,   T en s o r f lo w   [ 3 0 ] ,   C af ee   [ 3 1 ]   lib r ar y   in   m a n y   s ec to r s   o f   b ig   d ata  p r o ce s s in g   an d   it  w a s   f o u n d   to   re s u lt  in   i m p r o v ed   p er f o r m an c e.   Dee p   L ea r n in g   a lg o r it h m s   a r u s ed   i n   p r o ce s s i n g   b i g   d ata  in   m a n y   g ia n t   tec h   co m p a n ies  i n cl u d in g   Go o g l e,   Face b o o k ,   Am az o n   an d   s o   o n .   T h au th o r s   f ee th er i s   s co p f o r   ap p ly i n g   d ee p   lear n in g   al g o r ith m s   f o r   s elf - tu n i n g   an d   i m p r o v in g   H ad o o p   s y s te m   p er f o r m an ce [ 7 ] .     4.   CO NCLU SI O N     I n   th is   p ap er   b r ief   r e v ie w   o f   th co n ce p ts   o f   b ig   d ata,   H a d o o p   s y s te m   is   p r ese n ted ,   s el f - t u n i n g   o f   H ad o o p   p ar am eter s   a n d   M L   a lg o r ith m s .   Sel f - t u n i n g   o f   H ad o o p   s y s te m   p ar a m eter s   u s in g   ML   alg o r it h m s   h a s   b ee n   f o u n d   to   i m p r o v p er f o r m a n ce   co m p ar ed   to   d ef a u l p ar a m eter   co n f i g u r atio n .   T h p r o s p ec o f   t h e   ap p licatio n   o f   d ee p   lear n in g   alg o r ith m s   f o r   s elf - t u n in g   in   H ad o o p   s y s te m   to   i m p r o v s p ee d   an d   ac cu r ac y   o f   p er f o r m a n ce   is   p r o p o s ed   b y   t h au th o r s .       RE F E R E NC E   [1 ]   Be Z,   Yu   Z,   Zh a n g   H,  X i o n g   W ,   X u   C,   Eec k h o u L   a n d   F e n g   S ,   2 0 1 6 ,   " RF HO C:  A   Ra n d o m - F o re st  A p p ro a c h   to   A u to - T u n in g   Ha d o o p ’s C o n f ig u ra ti o n ",   IEE E   T ra n s.  P a ra ll e l   Dist rib .   S y st. ,   27 ,   p p .   1 4 7 0 - 14 83 .   [2 ]   T e c h n o lo g y   2 0 1 6   S u rv e y   o n   P e r f o r m a n c e   o f   H a d o o p   M a p re d u c e   Op ti m iza ti o n   M e th o d s ,   2 ,   p p .   1 1 4 - 21 .   [3 ]   Uz u n k a y a   C,   En sa ri  T   a n d   Ka v u ru c u   Y ,   2 0 1 5 ,   " Ha d o o p   Eco sy ste m   a n d   Its  A n a l y sis  o n   T w e e ts ",   Pro c e d ia   -   S o c .   Beh a v .   S c i. ,   1 9 5 ,   p p .   1 8 9 0 - 1 8 9 7 .   [4 ]   Bo n if a c io   A   S ,   M e n o ll A   a n d   S il v a   F ,   2 0 1 4 ,   " Ha d o o p   M a p Re d u c e   Co n f ig u ra ti o n   P a ra m e te rs  a n d   S y ste m   P e rf o rm a n c e a   S y ste m a ti c   Re v ie w " ,   2 0 1 4   In t.   C o n f .   Pa r a ll e Distr ib .   Pr o c e ss .   T e c h .   A p p l. p p .   1 - 7 .   [5 ]   Do n g y u   F e n g ,   L ig u   Zh u   a n d   L e Zh a n g ,   2 0 1 6 ,   " Re v ie w   o f   h a d o o p   p e rf o rm a n c e   o p ti m iza ti o n " ,   2 0 1 6   2 n d   IE EE   I n t.   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J   E lec  &   C o m p   E n g     I SS N:  2 0 8 8 - 8708       A   S u r ve o f Ma ch in e   Lea r n in g   Tech n iq u es fo r   S elf - tu n i n g   H a d o o p   P erfo r ma n ce   ( Md .   A r ma n u r   R a h m a n )   1861   Co n f.   Co mp u t.   Co mm u n . ,   p p .   65 - 6 8 .   [6 ]   Re h a n   M   a n d   G a n g o d k a D ,   2015 ,   " Ha d o o p ,   M a p Re d u c e   a n d   HD F S  :  De v e lo p e rs  P e rsp e c ti v e ",   Pro c e d ia   -   Pro c e d ia   C o mp u t.   S c i. ,   48 ,   p p .   45 - 50 .   [7 ]   Ou ss o u A ,   Be n jello u n   F ,   A it   a n d   Be lfk ih   S ,   2 0 1 7 ,   " Big   Da ta   tec h n o lo g ies  :  A   su rv e y ",   J .   Kin g   S a u d   Un iv.   -   Co mp u t .   In f.   S c i.   [8 ]   Jia n g   D,  Oo C,   S h L   a n d   W u   S ,   2 0 1 0 ,   " T h e   p e rf o rm a n c e   o f   M a p Re d u c e " ,   Pro c .   V L DB  E n d o w. ,   3 ,   p p .   4 7 2 - 4 83 .   [9 ]   Zh a n g   B,   Křik a v a   F ,   Ro u v o y   a n d   S e in t u rier  L ,   2015 " S e lf - c o n fig u ra ti o n   o f   th e   n u m b e o c o n c u rre n tl y   ru n n in g   M a p Re d u c e   j o b s i n   a   h a d o o p   c l u s ter ",   Pro c .   -   IEE E   In t.   Co n f.   Au t o n .   Co m p u t , .   ICAC   2 0 1 5 ,   p p .   1 4 9 - 1 50 .   [1 0 ]   L e e   G   a n d   F o rtes   J A   B ,   2 0 1 6 ,   " Ha d o o p   p e rf o rm a n c e   se l f - tu n in g   u sin g   a   f u z z y - p re d ictio n   a p p ro a c h ",   Pro c .   -   2 0 1 6   IEE In t.   Co n f.   Au t o n .   Co m p u t .   I CAC  2 0 1 6 ,   p p .   55 - 64 .   [1 1 ]   G e n k in   M ,   De h n e   F ,   P o sp e lo v a   M ,   Ch e n   a n d   Na v a rro   P ,   2 0 1 6 ,   " A u to m a ti c   ,   o n - li n e   tu n i n g   o f   YA RN  c o n tain e m e m o r y   a n d   CP U   p a ra m e ters ".   [1 2 ]   L C,   Zh u a n g   H,  L u   K,  S u n   M ,   Z h o u   J,  Da D an d   Z h o u   X ,   2 0 1 4 ,   " A n   a d a p ti v e   a u t o - c o n f ig u ra ti o n   to o f o h a d o o p " ,   Pro c .   IEE E   In t.   Co n f.   En g .   Co m p lex   C o mp u t .   S y st.  IC ECCS ,   p p .   69 - 72 .   [1 3 ]   Ke rk   W   a n d   Zah id   M   S   M ,   2 0 1 5 , " A u to - T u n e d   Ha d o o p   M a p Re d u c e   f o ECG   A n a l y sis ",   p p .   3 2 9 - 3 34 .   [1 4 ]   P o sp e lo v a   M   a n d   A ff a irs  P ,   2 0 1 5 ,   " Re a T i m e   A u to tu n i n g   f o M a p Re d u c e   o n   Ha d o o p   YA R b y   Re a T i m e   A u to tu n i n g   f o M a p Re d u c e   o n   H a d o o p   YA R N .   [1 5 ]   W il lk e   T   L ,   2016 ,   " G u n th e r :  S e a rc h - Ba se d   A u to - T u n in g   o f   M a p Re d u c e   G u n th e r :  S e a rc h - Ba se d   A u to - tu n i n g   o f   M a p Re d u c e ".   [1 6 ]   Jo rd a n   M   I   a n d   M it c h e ll   T   M ,   2 0 1 5 ,   " M a c h in e   lea rn i n g T re n d s,   p e rsp e c ti v e s,  a n d   p r o sp e c ts " ,   S c ien c e   ( 8 0 - .   ) ,   3 4 9 pp.   2 5 5 - 2 60 .   [1 7 ]   Qiu   J,  W u   Q,  Din g   G ,   X u   a n d   F e n g   S 2 0 1 6 ,   " A   su rv e y   o f   m a c h in e   lea rn in g   f o b ig   d a ta  p r o c e ss in g ",   EURA S IP   J .   Ad v .   S ig n a l   Pro c e ss . ,   2 0 1 6 ,   67 .   [1 8 ]   T sa C - W ,   L a C - F ,   Ch a o   H - a n d   V a silak o s A   V 2 0 1 5 ,   " Big   d a ta an a ly ti c s: a su rv e y ",   J .   Bi g   Da ta   2 ,   21 .   [1 9 ]   S o lan k K an d   Dh a n k a A ,   2017 ,   " A   re v ie w   o n   M a c h in e   L e a rn in g   T e c h n iq u e s ",   8 ,   p p .   7 7 8 - 7 82 .   [2 0 ]   S in g h   Y,  B h a ti a   P   a n d   S a n g w a n   O ,   2 0 0 7 ,   " A   re v ie w   o f   stu d ies   o n   m a c h in e   lea rn in g   T e c h n iq u e s ",   In t.   J .   Co m p u t .   S c i.   S e c u r. 1 ,   p p .   3 9 5 - 39 9   [2 1 ]   Yig it b a si  N,  W il lk e   T   L ,   L ia o   G   a n d   Ep e m a   D ,   2013 ,   " T o w a rd m a c h in e   lea rn in g - b a se d   a u to - t u n i n g   o M a p Re d u c e ",   Pro c .   -   IEE C o mp u t.   S o c .   A n n u .   In t.   S y mp .   M o d e l.   A n a l .   S im u l.   Co m p u t .   T e l e c o mm u n .   S y st.   M AS COTS ,   p p .   11 - 20 .   [2 2 ]   L a m a   P   a n d   Zh o u   X ,   2 0 1 2 ,   " A ROM A A u to m a ted   Re so u rc e   A ll o c a ti o n   a n d   Co n f ig u ra ti o n   o f   M a p Re d u c e   En v iro n m e n t   in   th e   Cl o u d ",   Pro c .   9 th   In t .   Co n f.   Au t o n .   Co m p u t.   -   I CAC  ’1 2 ,   63 .   [2 3 ]   W u   D ,   2 0 1 3 ,   " A   P ro f il in g   a n d   P e rf o rm a n c e   A n a l y sis  Ba s e d   S e lf - tu n in g   S y ste m   f o Op ti m iza t io n   o f   Ha d o o p   M a p Re d u c e   Clu ste C o n f ig u ra ti o n ".   [2 4 ]   Ch e n   C   O,  Z h u o   Y   Q,  Ye h   C,   L in   M   a n d   L iao   S   W ,   2 0 1 5 ,   " M a c h in e   L e a rn in g - Ba se d   Co n f ig u ra ti o n   P a ra m e ter   T u n in g   o n   Ha d o o p   S y ste m ",   Pro c .   -   2 0 1 5   IEE In t.   Co n g r .   Bi g   Da t a ,   Bi g Da t a   C o n g r. ,   2 0 1 5 ,   p p .   3 8 6 - 3 92 .   [2 5 ]   He g e D ,   2013 ,   " Ha d o o p   P e rf o rm a n c e   T u n in g - A   P ra g m a ti c   &   Itera ti v e   A p p ro a c h " ,   C.   J . ,   p p .   1 - 16 .   [2 6 ]   De v ice s A   M ,   2 0 1 2 ,   " Ha d o o p   P e r f o r m a n c e   T u n in g   G u id e " ,   p p .   1 - 22 .   [2 7 ]   S h rin iv a J ,   2 0 1 1 ,   " In tro d u c ti o n   Ha d o o p   C o n f ig u ra ti o n   T u n in g   Be st  P ra c ti c e JV M   Co n f ig u ra ti o n   T u n i n g   OS   Co n f ig u ra ti o n   T u n in g   Co n c lu si o n   &   F u t u re   Dire c ti o n ",   T e c h n o lo g y 9 ,   p p .   2 0 1 1 - 2 0 1 1 .   [2 8 ]   M in - Z h e n g   J ,   2 0 1 5 ,   " Re se a rc h   o n   t h e   p e rf o rm a n c e   o p ti m iza ti o n   o f   h a d o o p   i n   b ig   d a ta  e n v iro n m e n t ",   In t.   J .   Da ta b a se   T h e o ry   Ap p l. ,   8 ,   p p .   2 9 3 - 3 0 4 .   [2 9 ]   T h e   T h e a n o   De v e lo p m e n T e a m ,   " T h e a n o A   P y th o n   f ra m e w o rk   f o f a st  c o m p u tatio n   o f   m a th e m a ti c a l   e x p re ss io n s.   Av a il a b le ",   a rX iv :1 6 0 5 . 0 2 6 8 8 .     [3 0 ]   A b a d M ,   A g a r w a A ,   Ba rh a m   P ,   Bre v d o   E ,   Ch e n   Z ,   Cit r o   C,   e a l. ,   " T e n so rF lo w L a rg e - S c a le  M a c h in e   L e a rn in g   o n   He tero g e n e o u s Distrib u ted   S y ste m s,"   Co RR,  2 0 1 6 .     [3 1 ]   Jia   Y,  S h e lh a m e E,   Do n a h u e   J ,   Ka ra y e v   S ,   L o n g   J,  G irsh ick   R,   G u a d a rra m a   S   a n d   Da rre ll   T ,   2 0 1 4 ,   " Ca ff e :   Co n v o l u ti o n a A rc h it e c tu re   f o F a st F e a tu re   Em b e d d in g ".       B I O G RAP H I E S   O F   AUTH O RS        M d .   Ar m a n u r   R a h m a n   re c e i v e d   th e   B. S c .   d e g re e   in   c o m p u te sc ien c e   a n d   e n g in e e rin g   f ro m   A sia n   Un iv e rsit y   o f   B a n g lad e sh   ( A UB)  in   2 0 1 0 .   He   is  c u rre n tl y   w o rk in g   to w a rd   th e   M E n g S c   d e g re e   a th e   M u lt ime d ia  Un iv e rs it y   (M M U),  M a la y sia .   His  r e se a r c h   in tere st  in c lu d e   p e rf o rm a n c e   o p ti m iza ti o n   o f   b ig   d a ta sy ste m ,   d a ta  m in in g ,   m a c h in e   lea rn in g   a n d   im a g e   p ro c e ss in g .       Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 8 - 8708   I n t J   E lec  &   C o m p   E n g ,   Vo l.  8 ,   No .   3 J u n 2 0 1 8   :   1 8 5 4     186 2   1862     Dr .   J a k ir  H o s se n   is  g ra d u a ted   in   M e c h a n ica En g i n e e rin g   fro m   th e   Dh a k a   Un iv e rsit y   o En g in e e rin g   a n d   T e c h n o lo g y   (1 9 9 7 ),   M a ste rs  in   C o m m u n ica ti o n   a n d   Ne tw o rk   En g in e e rin g   f ro m   Un iv e rsiti   P u tra  M a la y sia   (2 0 0 3 )   a n d   P h in   S m a rt  T e c h n o l o g y   a n d   Ro b o ti c   En g in e e rin g   f ro m   Un iv e rsiti   P u tra  M a lay si a   (2 0 1 2 ) .   He   is  c u rre n tl y   a   S e n i o L e c tu re a th e   F a c u lt y   o f   En g in e e rin g   a n d   T e c h n o lo g y ,   M u lt im e d ia  U n iv e rsity ,   M a la y si a .   His  re se a rc h   in tere sts   a re   in   th e   a re a   o A rti f icia In telli g e n c e   (F u z z y   L o g ic,  Ne u ra Ne t w o rk ),   In f e re n c e   S y st e m s,  P a tt e rn   Clas sif ica ti o n ,   M o b i le Ro b o Na v ig a ti o n   a n d   I n t e ll ig e n C o n tr o l.           Dr . Ch i n th a k u n ta   V e n k a ta   S e s h a i a h   r e c e i v e d   h is  Ba c h e lo o f   En g in e e rin g   (B. E. De g re e   in   El e c tri c a En g in e e rin g   f ro m   S . V .   Un iv e rsit y ,   A n d h ra   P ra d e sh ,   I n d i a ,   in   th e   y e a 1 9 6 4 . He   re c e iv e d   M a ste o En g in e e rin g   (M . E)  d e g re e   in   Hig h   V o lt a g e   En g in e e rin g   f ro m   In d ian   In stit u te o f   S c ien c e ,   Ba n g a lo re   in   1 9 6 6 .   He   re c e iv e d   h is  P h . D.  d e g re e   in   El e c tri c a En g in e e rin g   (in   th e   a re a   o f   P o w e S y st e m s)  in   1 9 7 6   f ro m   I. I. T .   M a d ra s.  L a ter,  h e   w o rk e d   in   th e   sa m e   in stit u te  ti ll   2 0 0 5 .   He   w a a p p o i n ted   a P ro f e ss o o f   El e c tri c a En g in e e rin g   in   Ja n . 1 9 9 3 .   In   2 0 0 6 ,   h e   jo in e d   th e   F a c u lt y   o En g in e e rin g   a n d   T e c h n o l o g y ,   M u lt im e d ia  Un iv e rsit y   (M e la k a M a la y sia   a n d   is  w it h   th e m   p re se n tl y   a A ss o c iate   P ro f e ss o r.   His  re se a r c h   in tere sts  a re   in   th e   a re a o f   El e c tri c a P o w e S y st e m s,  Hig h   V o lt a g e   En g i n e e rin g   a n d   In stru m e n tatio n , P o w e El e c tro n ics   a n d   it a p p li c a ti o n   t o   g re e n   tec h n o lo g y   so lu ti o n s,E lec ti c   P o w e q u a li ty   i m p ro v e m e n a n d   El e c tri c a e n e rg y   c o n se rv a ti o n ,   P o w e e ff icie n d e v ice s an d   Big   d a ta an a l y ti c s .         D r .   H o   C h in   K u a n   o b tain e d   th e   B.   S c .   (Ho n s)  in   C o m p u ter  S c ien c e   w it h   El e c tro n ics   E n g in e e rin g   f ro m   Un iv e rsit y   Co ll e g e   L o n d o n ,   UK .   S u b se q u e n tl y ,   h e   c o m p let e d   h is  M . S c .   (IT a n d   P h . D.  i n   In f o rm a ti o n   T e c h n o l o g y   f ro m   M u lt im e d ia  Un iv e rsit y ,   M a la y sia .   A p re se n t,   h e   is  a   P ro f e ss o a n d   De a n   a th e   F a c u lt y   o f   Co m p u ti n g   a n d   In f o rm a ti c s,  M u lt im e d ia  Un iv e rsit y ,   M a la y sia .   His  m a in   re se a rc h   in tere sts a re   Na tu ra Co m p u ti n g ,   Co m b in a to rial  O p ti m iza ti o n   a n d   Da ta M in i n g .         Ta n   K i m   G e o k   re c e iv e d   th e   B. E. ,   M . E . ,   a n d   P h D.  d e g re e a ll   i n   e lec -   tri c a e n g in e e rin g   f ro m   Un iv e rsit y   o f   T e c h n o lo g y   M a la y sia ,   in   1 9 9 5 ,   1 9 9 7 ,   a n d   2 0 0 0 ,   re sp e c ti v e l y .   He   h a b e e n   S e n i o r   R& e n g in e e in   E P COS   S in g a p o re   i n   2 0 0 0 .   I n   2 0 0 1 2 0 0 3 ,   h e   jo in e d   Do C o M o   Eu r o -   L a b in   M u n ic h ,   G e rm a n y .   He   is  c u rre n tl y   a c a d e m ic  sta ff   in   M u lt im e d ia  Un iv e rsit y .   His  re se a rc h   in tere sts  in c lu d e   ra d io   p ro p a g a ti o n   f o o u t d o o a n d   in d o o r ,   RF ID,  m u lt i - u se d e tec ti o n   tec h n iq u e   f o m u lt i - c a rrier t e c h -   n o l o g ies ,   a n d   A - G P S .         Az iza   S u lta n a   r e c e i v e d   th e   B. S c .   d e g re e   in   c o m p u ter  sc ie n c e   a n d   e n g in e e rin g   f ro m   Dh a k a   In tern a ti o n a Un iv e rsit y   (DIU )   in   2 0 1 6 Sh e   is  c u rre n t ly   se a rc h in g   a n   o o p e rt u n it y   to   c o n ti n u e   h e r   h ig h e stu d y .   He r   re se a r c h   in tere st  in c lu d e   p e rf o rm a n c e   o p ti m iz a ti o n   o f   b ig   d a ta  s y ste m ,   d a ta  m in in g ,   m a c h in e   lea rn in g   a n d   ima g e   p ro c e ss in g .         J e s m e e n   M . Z . H .   c u rre n tl y   a   p o stg ra d u a te  st u d e n i n   E n g in e e rin g   sp e c ializin g   in   A rti f ic a In telleg e n c e   f ro m   M u lt im e d ia  Un iv e rsit y   (M M U).  S h e   c o m p lete d   a   b a c h e lo r’s d e g re e   in   Co m p u ter   S c ien c e   a n d   E n g in e e rin g   f ro m   In tern a ti o n a Isla m ic Un i v e rsit y   Ch it tag o n g ,   Ba n g lad e sh .           Fer d o u H o ss a i n   r e c e iv e d   B. S c .   d e g re e   in   c o m p u ter  sc ien c e   a n d   e n g in e e rin g   in   2 0 1 2   a n d   M . S c .   d e g re e   in   In f o rm a ti o n   a n d   C o m m u n ica ti o n   T e c h n o l o g y   in   2 0 1 5   f ro m   M a w l a n a   Bh a sh a n S c ien c e   a n d   T e c h n o lo g y   Un iv e rsit y ,   Ba n g lad e s h .   Cu rre n tl y ,   h e   is   p u rsu in g   h i P h . D.  d e g re e   in   F a c u lt y   o f   En g in e e rin g   a n d   T e c h n o lo g y   a M u lt im e d ia Un iv e rsity ,   M a la y sia .     His  re se a rc h   a re a   in c lu d e ra d io   f re q u e n c y   id e n ti f ica ti o n   (RF ID)   s y ste m ,   ra d io   p ro p a g a ti o n   f o r   o u t d o o a n d   in d o o r,   im a g e   p ro c e ss in g ,   a n d   b ig   d a ta  a n a ly sis.   He   is  a lso   a n   a ss o c iate   m e m b e o f   Ba n g lad e sh   Co m p u ter S o c iety ,   Ba n g lad e sh .     Evaluation Warning : The document was created with Spire.PDF for Python.