I nte rna t io na l J o urna l o f   E lect rica l a nd   Co m p ute E ng in ee ring   ( I J E CE )   Vo l.   7 ,   No .   5 Octo b e r   2 0 1 7 ,   p p .   2 7 9 8 ~ 2 805   I SS N:  2088 - 8708 DOI : 1 0 . 1 1 5 9 1 / i j ec e . v 7 i 5 . pp 2 7 9 8 - 2 805           2798       J o ur na l ho m ep a g e h ttp : //ia e s jo u r n a l.c o m/o n lin e/in d ex . p h p /I JE C E   A Nov el Integra t e Fra m ew o rk  t o   Ens ure  Bet ter  Da ta Q ua lity  in Big  Data  Analy tics ov er Cloud  E nv iro n m en t       C.   S.  Sin dh u 1 Na g a ra t na   P .   H eg de 2     1 JN I A S ,   Hy d e ra b a d ,   G lo b a Ac a d e m y   o f   T e c h n o l o g y ,   Ba n g a lo re   2 De p o f   CS E,   V a sa v Co ll e g e   o f   En g in e e rin g ,   Ib ra h im b a g h ,   Hy d e r a b a d ,   In d ia       Art icle  I nfo     AB ST RAC T     A r ticle  his to r y:   R ec eiv ed   Mar   23 ,   2 0 1 7   R ev i s ed   J u n   18 ,   2 0 1 7   A cc ep ted   Sep t   11 ,   2 0 1 7       W it h   a d v e n o f   Big   Da ta  A n a l y ti c s,  th e   h e a lt h c a re   sy ste m   is  in c re a sin g l y   a d o p t in g   th e   a n a ly ti c a se rv ic e t h a is  u lt im a tel y   f o u n d   to   g e n e ra te  m a ss iv e   lo a d   o f   h ig h ly   u n stru c tu re d   d a ta.   W e   re v ie w e d   th e   e x isti n g   s y ste m   to   f in d   th a th e re   a re   les se n u m b e o f   so lu ti o n to w a rd a d d re ss in g   th e   p r o b lem o d a ta  v a riet y ,   d a ta  u n c e rtain ty ,   a n d   d a ta  sp e e d .   I is  im p o rtan t h a t   a n   e rro r - f re e   d a ta  sh o u ld   a rriv e   in   a n a ly ti c s.  Ex isti n g   s y ste m   o ff e rs  sin g le - h a n d   so lu ti o n   to w a rd sin g le  p latf o rm .   T h e re f o re ,   we   in tro d u c e d   a n   in teg ra ted   f ra m e w o rk   th a h a th e   c a p a b il it y   to   a d d re ss   a ll   t h e se   th re e   p r o b l e m in   o n e   e x e c u ti o n   ti m e .   Co n sid e rin g   th e   s y n th e ti c   b ig   d a ta  o f   h e a lt h c a r e ,   w e   c a rried   o u t h e   in v e stig a ti o n   to   f in d   t h a o u p r o p o se d   sy st e m   u sin g   d e e p   lea rn in g   a rc h it e c tu re   o f f e rs  b e tt e o p ti m iza ti o n   o f   c o m p u tatio n a l   re so u rc e s.   T h e   stu d y   o u tco m e   is  f o u n d   t o   o f f e c o m p a ra ti v e l y   b e tt e re sp o n se   ti m e   a n d   h ig h e r   a c c u ra c y   ra te  a c o m p a re d   to   e x i stin g   o p ti m iza ti o n   tec h n q iu e th a is  f o u n d   a n d   p ra c ti c e d   w id e ly   in   li tera tu re .     K ey w o r d s :   B ig   d ata  an al y tics   Data   s p ee d   Data   u n ce r ta in t y   Data   v ar iet y       Co p y rig h ©   2 0 1 7   In stit u te o A d v a n c e d   E n g i n e e rin g   a n d   S c ien c e   Al rig h ts  re se rv e d .   C o r r e s p o nd ing   A uth o r :   Na m o f   C o r r esp o n d in g   Au t h o r   Dep ar t m en t o f   E lectr ical  an d   C o m p u ter   E n g in ee r i n g ,   Natio n al  C h u n g   C h e n g   Un i v er s it y ,   1 6 8   Un iv er s it y   R o ad ,   Min h s i u n g   T o w n s h ip ,   C h ia y C o u n t y   6 2 1 0 2 ,   T aiw a n ,   R O C .   E m ail: l s n t l@ cc u . ed u . t w       1.   I NT RO D UCT I O N     C lo u d   co m p u ti n g   i s   n o n e w   n a m in   th i n d u s tr y   f r o m   th p ast  h al f   d ec ad e.   T h er ar v ar io u s   r ev o lu tio n ar y   e n ter p r is ap p li ca tio n s   t h at   ar h i g h l y   o p ti m iz ed   o v er   clo u d   en v ir o n m e n [ 1 ] .   T h is   o p ti m izatio n   is   m a in l y   i n   ter m s   o f   h i g h   p er f o r m an ce   w h ic h   i s   n o r m all y   s ca led   in   t h f o r m   o f   Ser v ice   L e v el  Ag r ee m e n t   ( SLA )   an d   Q u alit y - of - E x p er i en ce   ( Qo E ) .   T h b ig g es b o o n   o f   clo u d   co m p u t in g   is   i t s   o f f er i n g   o f   t h p er v asiv e n v ir o n m e n t h at  o f f er s   ac ce s s ib ilit y   o f   u s er   d ata  at  an y   p o in o f   ti m [ 2 ] .   Ho w e v er ,   th is   g r ea tes t   co n tr ib u tio n   o f   p er v as iv e n es s   o f   d ata  b y   clo u d   co m p u ti n g   h as  g i v e n   r is to   b i g g e s i m p ed i m en t   in   th ar ea   o f   d ata  m i n i n g .   I is   b ec a u s o f   s u ch   p er v asi v e n ess ,   m u ltip le  t y p es  o f   d ata  b ea r in g   d if f er e n f o r m s   o f   in f o r m atio n ,   m o d alit ies,  an d   f o r m at s   ar n o w   in cr ea s in g l y   p o p u lated   o v er   clo u d   s er v er   alm o s in   ev er y   s ec o n d   [ 3 ] .   C er tain   d ata  a r p h y s icall y   p u s h ed   to   clo u d   b y   u s er   b u m aj o r it y   o f   t h d ata  t h at  ex is t s   in   clo u d   ar g en er ated   b y   a u to n o m o u s   s y s te m   e. g .   s e n s o r s   [ 4 ] .   E v e n th o u g h   th er is   ab u n d a n u s ag o f   s e n s o r s   i n   au to m at io n   a n d   s ec u r it y   s y s te m s ,   th er i s   o n m o r e   ar ea   w h er s en s o r s   p la y   v ital  r o le  i. e.   Hea lth ca r s ec to r   [ 5 ] .   T h m o d er n   s y s te m   ex er cised   in   m aj o r it y   o f   b ig g er   c h ain s   o f   h o s p itals   h av p er f e ctl y   au to m ated   all   ted io u s   a n d   m a n u al  ta s k   u s in g   s en s o r s   an d   h a v s i g n i f ican tl y   t u n ed   t h r esp ec ti v i n f o r m a tio n   o v er   t h clo u d   se r v er s   i n   ex p lici m a n n er .   Ap ar f r o m   t h s e n s o r ,   th h o s p ital  also   ad o p ts   th u s a g o f   E lectr o n ic  Hea lt h   R ec o r d   ( E HR )   an d   E lectr o n ic   Me d ical  R ec o r d   ( E MR),   w h i ch   ca p tu r es  al th r ela ted   in f o r m at io n   ab o u t h p atien e. g .   i)   p r io r   clin ical  h i s to r y   r ec o r d ,   i i)   p er s o n al  co n tact  r ec o r d ,   iii)  m ed icatio n   li s t ,   iv )   atten d i n g   a n d   r ef er r al  d o cto r   in f o r m atio n ,   v )   in s u r an ce   d etail s ,   v i)   s u r g er y - r elate d   in f o r m a tio n ,   etc.   T h am o u n t o f   s u c h   d ata   Evaluation Warning : The document was created with Spire.PDF for Python.
I J E C E     I SS N:  2088 - 8708       A   N o ve l I n teg r a ted   F r a mewo r to   E n s u r B etter  Da ta   Qu a li ty  i n   B ig   Da ta   A n a lytics o ve r   …  ( C . S .   S in d h u )   2799   j u s f o r   o n p atien is   s o   m a s s iv th at  i is   r ea ll y   d i f f ic u lt  to   p er f o r m   a n a l y s is .   T h p r o b le m   o f   d ata  an al y s i s   w o r s e n s   w h e n   co m p lete  h o s p i tal  d ata  i s   co n s id er ed .   B asicall y ,   t h p r i m r ea s o n   o f   t h is   p r o b lem   is   o b v io u s l y   th s ize  o f   t h d ata   w h ich   co u ld   b i n   ter m s   o f   p etab y tes,   h o w ev er ,   s to r ag i s   s till   n o t   a   b ig g er   ch a llen g in   th er o f   clo u d   co m p u ti n g .   T h b ig g er   c h alle n g e s   r elate d   t o   p r o ce s s in g   s u ch   d ata  ar i)   d ata  v ar iet y ,   ii)  d ata  u n ce r tai n t y ,   an d   iii)  d ata  v el o cit y .   Data   v ar iet y   is   r elate d   to   h eter o g en eit y   i n   th f o r m s   o f   th d ata  w h ic h   m ak e s   th d ata  h i g h l y   n o n - ap p licab le  to   b e   s u b j ec ted   t o   an y   f o r m s   o f   d ata  an al y s is .   Data   u n ce r tai n t y   s p ea k s   ab o u th p o s s ib ilit y   o f   m is s in g   d ata  as  w ell  a s   p r esen ce   o f   a m b ig u o u s   d ata  d u e   to   w h ic h   t h co m p lete   v o lu m o f   d ata   b ec o m es   u n r eliab le.   T h is   p r o b le m   i s   q u ite   d if f ic u lt  to   h a n d le  a n d   i s   m a in l y   ca u s ed   d u to   d ef ec tiv e   d ata  s to r ag a n d   r et r iev al  p r o ce s s i n g .   T h f in al   p r o b lem   i.e .   d ata  v e lo cit y   is   s o m e th i n g   w h ic h   i s   q u ite  d if f ic u lt   to   b s o l v ed   as  t h d ata  ar r iv al   r ate  is   u n k n o w n .   A p r ese n t,  t h er is   n o   s u c h   m o d el  o r   p ar am eter   t h at  h as  b ee n   r ep o r ted l y   u s ed   to   g au g t h r ate  o f   d ata  ar r iv al  f r o m   p ar ticu la r   s o u r ce   in   h ig h l y   d is tr ib u ted   n et w o r k   s y s te m .   A lt h o u g h ,   th er ar ex i s ti n g   s o f t w ar f r a m e w o r k s   li k Ha d o o p ,   Ma p R ed u ce ,   C ass a n d r a,   n eo 4 j   an d   m a n y   m o r e,   al o f   th e m   ar m ai n l y   o p en   s o u r ce ,   w h ich   is   n e v er   s aid   to   b s ec u r ed   as   th ad v er s ar ie s   m ain l y   u s es  o p en   s o u r ce   to   i n itiate   attac k s   o v er   clo u d .   A p ar f r o m   t h i s ,   t h er ar m a n y   ca s es   w h er ein   e x i s ti n g   f r a m e w o r k s   h av r ep o r ted   p r o b lem s .   T h er ef o r e,   w r e v ie w   s o m o f   t h ex is t in g   tec h n iq u e s   o f   d ata  an al y tical  ap p licatio n   w h ic h   p o in ts   to w ar d s   m ed ical   d ata  p r o ce s s in g .   Fro m   th i s   we  lear n   th at  th is   is   s till   i n   it s   n a s ce n s ta g an d   h e n ce   th er i s   s co p f o r   ev o l v i n g   u p   w ith   s o lu tio n .   A   s ig n i f ic an t r esear ch   g ap   o f   in te g r ated   f r a m e w o r k   to w ar d s   ad d r ess in g   m aj o r it y   o f   p r o b le m s   i n   d ata  an al y tics   i n   cl o u d   in   f o u n d .   W e,   th er ef o r e,   p r esen n o v el   f r am e w o r k   th at   h a s   t h ca p ab ilit y   to   ad d r ess   m u ltip le   p r o b lem s   i n   o n e   p latf o r m   i n   h ig h l y   co s e f f ec t iv m an n er   u s i n g   b i g   d ata  ap p r o ac h .   Se ctio n   1 . 1   d is cu s s e s   ab o u th e   ex is ti n g   liter atu r e s   w h er d if f er en tech n iq u es  ar d is cu s s ed   f o r   en er g y   h ar v esti n g   f o llo w ed   b y   d i s cu s s io n   o f   p r o b le m   id en ti f icatio n   in   Sectio n   1 . 2 .   Sectio n   1 . 3   b r ief s   ab o u th p r o p o s ed   co n tr ib u tio n   to   ad d r ess   r esear ch   p r o b lem s .   Sectio n   2   elab o r ates  ab o u th alg o r ith m   i m p le m e n tatio n   f o l lo w ed   b y   r esu lt  d is c u s s io n   i n   Sectio n   3 .   Fin all y   s u m m ar y   o f   t h p ap er   is   d is cu s s ed   in   Sec tio n   4 .     1 . 1 .   B a ck g ro un d   T h is   s ec tio n   d is c u s s es  ab o u t h ex i s ti n g   tec h n q iu es  to w ar d s   b ig   d ata  an al y tics .   O u r   p r io r   w o r k   [ 6 - 9 ]   h av e   d is c u s s ed   ab o u t t h e x is t in g   tec h n q i u es   p er tain i n g   to   s i g n i f ica n ce   o f   cla s s i f icat io n   ap p r o ac h ,   to o ls   o f   b i g   d ata  an al y t ics,  an d   ap p licab ili t y   o f   b i g   d ata  an al y tic s   o v er   h ea lth ca r s ec to r .   C h en   et  a l.  [ 1 0 ]   h av p r esen ted   ar ch itect u r f o r   s u p p o r tab il it y   o f   ag i le  m e th o d o lo g ies  o v er   b ig   d ata.   Dab ek   a n d   C ab a n   [ 1 1 ]   h av i n tr o d u ce d   a   tech n iq u w h er v is u aliza ti o n   m ec h a n is m   i s   d esi g n ed   f o r   m o d elin g   t h u s er   in ter ac tio n .   Fiad in o   et  al.   [ 1 2 ]   h av e   p r esen ted   d is c u s s io n   to w ar d s   u s i n g   ce ll u lar   n et w o r k   i n   t h v ie w p o in o f   b ig   d ata  an al y tic s .   Or d o n ez   e t   al.   [ 1 3 ]   h av in tr o d u ce d   tech n iq u th at  m ak e s   u s e   o f   m atr ix   m u ltip licatio n   in   o r d er   to   p er f o r m   s u m m ar izatio n   o f   b ig   d ata  u s i n g   s tatis tical  m o d eli n g .   T h tech n iq u u s es  ar r a y - b ased   o p er ato r s   ex clu s iv el y   f o r   s p ar s as  w ell   as  f o r   d en s e   d ataset  to   s h o w   m e m o r y   co n s u m p tio n   a n d   s ca lab ilit y   ac co m p lis h m en t.  P au et   al.   [ 1 4 ]   h av u s ed   t h b ig   d ata  an al y tic s   in   o r d er   to   s o lv th e   p r o b lem   a s s o ciate d   w ith   h u m an   b eh av io u r .   T h au th o r   d is c u s s es   ab o u i n tr o d u cin g   a   s y s te m   th at   co u ld   ac t   as  co m m u n icatio n   b r id g b e t w ee n   t h in ter n et - of - t h i n g s   ap p licatio n   an d   d ata  m i n in g   tech n q iu e s   o v er   lar g er   d ata  s ca le. S h en g   et   al.   [ 1 5 ]   h av e m p h as ized   o n   th ap p licab ilit y   o f   b ig   d ata   an al y tics   w it h   r esp ec to   i n f o r m atio n   th eo r y   an d   c y b er - p h y s ical   s y s te m .   T h is   p ap er   p r esen ts   s u p er io r   f o r m   o f   m at h e m at ical  m o d eli n g   co n n ec ted   w it h   in f o r m at io n   th eo r y   f o llo w ed   b y   s ig n i f ica n c h an n el  m o d els  t h at  co u ld   b p o ten tiall y   h elp f u f o r   ex tr ac ti n g   k n o w led g f r o m   b ig g er   s ca le  o f   d ata. T aw alb eh   et   al.   [ 1 6 ]   h av d is cu s s ed   th e   g e n er atio n   o f   m as s i v lo ad s   o f   d ata  f r o m   h ea lth ca r s ec to r   a n d   h o w   s u ch   f o r m s   o f   d ata  ca n   b an al y ze d   u s i n g   b ig   d ata  a n al y tics .   T h p r o b lem s   p er tain i n g   to   d ata  u n ce r tai n t y   is   b ein g   r ec en t l y   d is c u s s ed   b y   W an g   an d   He  [ 1 7 ] .   T h au th o r s   p o in o u 6   p o ten tial  p r o b le m s   to   b o v er co m e   f o r   f u t u r ap p licatio n   o f   b ig   d ata  an al y tic s   e. g .   i)   h i g h l y   co m p le x   r ep r esen tatio n   o f   d ata,   ii)  p er v asi v e   u n ce r tai n t y ,   iii)  ex tr e m e l y   w ea k er   r elatio n s h ip   a m o n g   d ata,   iv )   co m p u tat io n - s ca lab ilit y   p r o b le m s ,   v )   ex tr ao r d in ar y   m a s s i v s ize  o f   co m p lex   d ata,   an d   v i)   lar g er   n u m b er   o f   clas s es  in v o l v ed   in   m i n i n g   p r o ce s s .   Si m i lar   d ir ec tio n   o f   s t u d y   co n s id er in g   E lectr o n ic  Hea lth   R e co r d s - b ased   d ata  an d   its   ap p li ca b ilit y   o v er   m i n i n g   ap p r o ac h   is   d is cu s s ed   b y   W u   et  al.   [ 1 8 ] .   T h d is cu s s io n   h ig h li g h t s   th at  d i m en s io n a lit y   r ed u ctio n   i s   o n o f   th e   p r o m i n en p r o b le m s   alo n g   w i th   p r o ce s s i n g   ca p ab ilit y .   C ast ellan o   et   al.   [ 1 9 ]   h a v p r ese n t ed   clas s i f icatio n - b ased   ap p r o ac h   f o r   d is cr i m i n atin g   cr itical  co n d itio n   o f   ar r h y t h m ia.   T h a u th o r s   h a v p r e s en ted   u n iq u tech n iq u f o r   in v o l u n tar y   c lu s ter in g   o f   elec tr o g r a m s   in   p r es en ce   o f   clo u d   en v ir o n m en t.  T h tech n iq u i s   also   clai m ed   to   o f f er   lo w er   co m p u tatio n al  lo ad .   T h s tu d y   o u tco m w it n e s s   ar o u n d   9 0 ac cu r ac y   w it h   2 . 5 o f   er r o r   in   class i f icatio n   p er f o r m an ce .   C a v allar o   et  al.   [ 2 0 ]   h av u s ed   lear n i n g   alg o r it h m   f o r   p er f o r m i n g   a n   ef f ec tiv e   clas s i f icatio n   o f   i m ag es.  L u   e al.   [ 2 1 ]   h a v e   p r esen ted   a   m o d eli n g   o f   c o n ce p th a allo ws   p er f o r m in g   b ig   d ata  an al y tics   o v er   th clo u d   en v ir o n m e n t.   T h n ex s ec tio n   d i s cu s s e s   ab o u th p r o b lem   b ein g   id en ti f ied   f r o m   t h ex i s t in g   l iter atu r e.       Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 8 - 8708   I J E C E    Vo l.  7 ,   No .   5 Octo b er   201 7   :   2 7 9 8     2 8 0 5   2800   1 . 2 .   P r o ble m   I dentif ica t io n   T h ex is tin g   tech n q i u es  to war d s   b ig   d ata  an aly t ics  h a s   ass o ciate d   ad v an ta g es  w itt h   r esp ec to   v ar io u s   i n d iv id u al  ap p licatio n s h o w e v er ,   it  is   also   ass o ci at ed   w it h   li m itatio n s   to o .   T h is   s ec tio n   b r ief s   ab o u t   th o p en   r esear ch   is s u es  i n   th lin o f   v ar io u s   p o ten tia p r o b le m s   o f   d ata  p r o ce s s i n g   p ar t icu lar l y   r elat in g   to   th b ig   d ata  an al y tic s .   T h id en ti f ied   p r o b lem s   in   t h ex is ti n g   s y s te m   ar as f o llo w s :     Ma j o r ity   o f   ex is tin g   liter at u r h av n o co n s id er ed   m a n y   ca s es  f r o m   h ea lt h ca r s ec to r .   T h d ata  ar r iv in g   f r o m   h ea t h ca r s ec to r   is   h i g h l y   co m p le x   i n   co m p ar i s o n   to   o th er   f o r m s   o f   b i g g er   d ata.   S u c h   p r o b le m s   ar e   less   ad d r ess ed   in   e x is ti n g   liter atu r e.     E x is ti n g   s y s te m   i n tr o d u ce s   b i g   d ata  an al y tic s   w it h   m o r f o cu s   o n   ap p l y in g   m i n i n g   o p er atio n   an d   v er y   less   f o cu s   o n   p er f o r m i n g   p r o ce s s i n g   o p er atio n   o n   t h to p   o f   it.  Ma j o r ity   o f   t h p r o ce s s i n g   i s   le f o f   ex is t in g   s o f t w ar f r a m e w o r k s ,   w h ic h   alr ea d y   h as r ep o r ted   p itf all s .     T h er ar e   n o   r esear ch   atte m p ts   w h er th d ata  b ef o r s to r in g   o v er   clo u d   u n d er g o es  p r o ce s s in g   in   o r d er   to   eli m i n ate  p r o b le m s .   Mo r eo v e r ,   th er i s   i n te g r ated   s y s te m   w h ic h   o f f er s   m iti g atio n   p r o ce d u r f o r   d ata   v ar iet y ,   d ata  u n ce r tai n t y ,   a n d   d ata  s p ee d   in   ex is ti n g   liter at u r e.       1 . 3 .   P r o po s ed  So lutio n   T h p r o p o s ed   s y s te m   is   co n ti n u at io n   o f   o u r   p r io r   s tu d y   [ 2 2 - 2 3 ] ,   w h er w h a v p r esen ted   an   in d iv id u al  a lg o r it h m   f o r   s o lv i n g   t h p r o b le m s   r elate d   to   b i g   d ata  an al y tic s   e. g .   d ata  v ar iet y ,   d ata  u n ce r tain t y ,   an d   d ata  s p ee d .   Fig u r 1   h i g h l ig h ts   t h ar ch itect u r o f   p r o p o s ed   s y s te m .       D a t a   V a r i e t y D a t a   V e r a c i t y D a t a   V e l o c i t y A l g o r i t h m d o d a t a   u d a t a f d a t a H e a l t h c a r e   F a c i l i t y d d     Fig u r 1   P r o p o s ed   ar ch itectu r e       I is   alr ea d y   k n o w n   t h at  t h e r ar d if f er en le v els  o f   co m p lex i ties   a s s o ciate d   i n   ad d r ess i n g   th e   p r o b lem   r elate d   to   m ed ical  b i g   d ata  an al y tic s   e. g .   d ata  v ar ie t y ,   d ata  u n ce r tai n t y ,   a n d   d ata  s p ee d .   T h p r o p o s ed   s y s te m   o f f er s   an   in teg r ated   f r a m e w o r k   w h er it  is   f ea s ib l to   ad d r ess   all  th th r ee   s i g n i f ica n p r o b le m s   w it h o u u s i n g   an y   s o p h is t icat ed   to o o r   ex p en s i v p r o ce s s .   W ass u m th at   h ea lth ca r f ac ilit y   a lr ea d y   u s es   clo u d   s er v er   i n   o r d er   to   s tack   o u th g e n er ated   in f o r m atio n   f r o m   t h f ac ilit y .   Ho w ev er ,   we  co n s id er   th at  o u r   alg o r ith m   r u n s   o v er   s u ch   clo u d   s er v er   w h er b ef o r s to r in g   t h d ata,   th s y s te m   i m p l e m en ts   ch ai n   o f   alg o r ith m   i n   o r d er   to   elim in at th p r o b lem s   as s o ciate d   in   p r o ce s s in g   b ig   d ata.   W also   a s s u m t h at  t h d ata   g en er ated   b y   th h ea lt h ca r f ac ilit y   i s   h ig h l y   u n s tr u c tu r ed   an d   it  s h o u ld   n o b s to r ed   in   th is   s tate  t h at  m a y   f u r t h er   in v ite  c h allen g e s   d u r i n g   a n al y ti ca o p er atio n .   T h u n s tr u ct u r ed   d ata  af ter   ar r iv in g   to   clo u d   s er v er   it  h as  to   u n d er g o   p r o ce s s i n g   f r o m   it s   f ir s t   alg o r it h m   t h at  r e m o v es  th u n s tr u ct u r ed n es s   ch ar e cter is tic  o f   t h d ata   an d   m ak it  m o r o r g a n ized   d ata.   T h is   d ata  th an   f u r t h er   u n d er g o   p r o ce s s in g   w it h   n e x ch a in   o f   th al g o r ith m   to   ex p lo r b etter   s u b s tit u tio n   o f   t h m is s i n g   v al u es   o r   eli m i n iate  t h a m b i g u ities .   T h o b t ain ed   d ata  f r o m   t h i s   p ar o f   th alg o r ith m   is   th e n   s u b j ec ted   to   last   p ar o f   th alg o r ith m   t h at  m a k es  t h d ata  m o d elin g   s tr u ctu r i n   s u c h   w a y   th at   t h s to r a g s y s te m   w ill   b ab le  to   s to r t h ar r iv ed   d ata  ir r esp ec tiv o f   it s   ti m e   o f   ar r i v al  i.e .   v elo cit y .   T h n e x t sect io n   f u r t h er   elab o r ated   ab o u t su c h   al g o r ith m s   d escr ip tiv e l y .       2.   AL G O RI T H M   I M P L E M E NT A T I O N   T h f r a m e w o r k   d is cu s s ed   in   t h p r io r   s ec tio n   m a in l y   i n co r p o r ates  th r ee   t y p es  o f   alg o r it h m   tar g eti n g   to   co u n ter m ea s u r es  t h p r o b le m s   as s o ciate d   w it h   th m ed ical  d ata  an aly s is   o f   lar g er   s ize.   T h alg o r ith m   tak e s   th in p u o f   m ed ical  d ata  w h i ch   h a s   th co r r esp o n d in g   in f o r m atio n   ab o u t h p atien e. g .   p atien id ,   h o s tp ital   n a m e,   R e f er r al  d o cto r ,   Date ,   P atien Na m e,   Ge n d er ,   Ag e,   A tte n d in g   Do cto r ,   an d   C l in ical  Hi s to r y   a n d   p er f o r m   s er ies o f   o p er atio n   i n   o r d er   to   o v er co m th p r o b le m s   a s s o ciate d   w it h   b ig   d ata  an al y s i s .   Evaluation Warning : The document was created with Spire.PDF for Python.
I J E C E     I SS N:  2088 - 8708       A   N o ve l I n teg r a ted   F r a mewo r to   E n s u r B etter  Da ta   Qu a li ty  i n   B ig   Da ta   A n a lytics o ve r   …  ( C . S .   S in d h u )   2801     2 . 1 .   Alg o ri t h m   f o A dd re s s i ng   t he  Va riet y   P ro ble m   T h r atio n ale  o f   th i s   alg o r it h m   is   b ased   o n   t h f ac th a d ata  w i th   h i g h   s co r o f   v ar iet y   ar h ig h l y   u n o r g a n ized   a n d   h e n ce   it   is   r e q u ir ed   to   p r o v id r o b u s s tr u ctu r to   t h is   d ata  s o   th a f u r t h er   o p er atio n   ca n   b ca r r ied   o u t.   T h is   al g o r ith m   i s   r esp o n s ib le  f o r   m in i m iz in g   t h p r o b lem   as s o ciate d   w it h   v ar iet y   o f   m ed ical  d ata.   T h alg o r ith m   ta k es  t h in p u o f   u n s tr u ct u r ed   d ata  d   w h ich   h as  d i f f er e n f o r m s   o f   v ar iab les  o f   p atien t   in f o r m atio n   r esid i n g   u n d er   ca t eg o r y   ( L i n e - 1 ) .   T h al g o r ith m   r ea d   th e   te x f ile   an d   e x tr a cts  te x t u al  co n ten t s   o n   t h b asi s   o f   ca r d in al it y   ( c a r d )   o f   d if f er e n e n tr ies   as   well  as   p o s itio n s   a n d   f in a ll y   s t o r es  it  i n   a   m atr ix   ( L in e - 2 ) .   T h alg o r it h m   f ir s f in d s   t h li s o f   ca te g o r ies  i n   t h f o r m   o f   i n d ex   a n d   t h en   tak es  o n b y   o n e n tr y   f o r   cr ea tin g   n e w   ca te g o r ies  ( L i n e - 3 ) .   Fi n all y ,   it  is   ca p ab l o f   f i n d in g   t h f ea s ib le  n u m b er   o f   ar r a y .   T h p o s s ib ilit y   o f   e m p t y   v al u in   th d ata  is   also   ad d r ess ed   in   th is   s y s te m   w h er it  ch ec k s   th s ize  o f   all  th e   m atr i x   ele m e n t s   m a t ele m .   I n   c ase,   m atr i x   ele m e n i s   f o u n d   n u ll  t h an   it  i s   r ep lace d   b y   an   i n te g er   v al u co r r esp o n d in g   w i th   t h s in g le   m atr i x   ( L i n e - 5 - 6 ) .   Fi n all y ,   a l th e   to tal   en tr ie s   ar ac c u m u lated   b y   e x p lo r in g   th s ize  o f   t h m atr i x .   T h is   p r o ce s s   o f   d ata  tr a n s f o r m atio n   f in all y   g en er ate s   o r g an ized   d ata  o data   f r ee   f o r   d ata   v ar iet y   p r o b le m .     Alg o rit h m   f o Addre s s i ng   t he  Va riet y   P ro ble m   I np ut : p id , h n ,   R d ,   D,   p nam e ,   G,   A ,   A doc ,   C his ,   C ,   d ,   E pos     O utput : o data    Sta rt   1 .   init   d ,   r ea d   C   [ C ={p id , h n , R d ,   D,   p nam e ,   G,   A ,   A doc ,   C his ,   C } ]   2 .   R ea d   S to r e ca r d   ( en tr ie s )   &   E pos   3 .   G et   C index   &   co n ten t   4 .   If   m at ele m =0   5 .     Su b s ti tu te m at ele m ( S in g le Mat )   6 .   o data m at ele m =[ m at ele m   ii]   E nd     2 . 2 .   Alg o ri t h m   f o Addre s s i ng   Uncer t a inty   P ro ble m   T h d esig n   p r in cip le  o f   th is   al g o r ith m   is   b ased   o n   th f ac t h at  u n ce r tai n t y   s co r in   t h m ed ical  b ig   d ata  m a y   o cc u r   d u to   in co m p leten ess   o f   d ata  o r   am b ig u iti es  in   d ata  s o u r cin g   m o d el.   T h er ef o r e,   u n ce r tain t y   p r o b lem   i n   m ed ical  b i g   d ata  ca n   b co u n ter m ea s u r ed   i f   in co m p lete  o r   d ata  a m b i g u it y   i s   ad d r ess ed   in   t h e   m icr o - s ca le.   T h in p u to   th s tu d y   is   t h o u tp u f r o m   p r io r   alg o r ith m   i.e .   o r g a n ized   d ata ,   w h ic h   is   i n it iall y   r ea d   ( L in e - 1 ) .   I n   th is   ca s e,   all   th f ield   o f   t h e   d ata  s o u r ce s   ar r ea d   an d   c h ec k ed   if   all   o f   th e m   h a v u n d er g o n e   th p r o ce s s   o f   r e m o v a o f   d ata  v ar iet y   p r o b lem s .   T h is   p r o ce s s   is   t h e n   f u r t h er   f o llo wed   b y   a n   iter ati v e   o p er atio n   f o r   ch ec k in g   th m atch ed   id en ti f icatio n   o f   t h d ata  co r r esp o n d in g   to   all  th ca s s tu d ie s   o f   th e   h o s p ital  d atab ase.   T h m ai n   o b j ec tiv o f   th is   o p er atio n   is   to   ch ek   f o r   s co r es  o f   m a tch ed   el e m en ts   alo n g   w it h   id en tit y   a n d   r esp ec tiv ca te g o r ies.  Hen ce ,   if   an y   o n e   o f   th f ie ld   in f o r m atio n   i s   m i s s in g ,   t h o th er   k e y   attr ib u tes  e. g .   atch ed   ele m en t s   alo n g   w it h   id en tit y   a n d   r esp ec tiv ca teg o r ies  w i ll  as s is to   f in d   t h m is s in g   ele m e n ts   o r   ev e n   a m b i g u o u s   ele m e n ts   i n   t h m atr i x .   Fi n a ll y ,   b ased   o n   th s elec ted   id en tit y   o f   t h n e w l y   ex p lo r ed   d ata,   it  is   th e n   s to r ed .   T h m ec h an is m   also   o b tai n s   th in i tial  w o r d   f r o m   th co l u m n ar   ele m e n a n d   co n v er ts   it  to   c h ar ac ter   f o llo wed   b y   e x tr ac tio n   o f   m ea n   v alu e.   A   n e w   m atr i x   i s   t h en   f o r m u lated   u s i n g   u n iq u e   ele m e n i n   o r d er   to   g en er ate   a   r an d o m   n u m b er   w it h i n   r a n g e   o f   s ize   o f   th e   m atr ix .   T h is   p h e n o m e n o n   w il l   s ig n i f ica n tl y   a v o id   an y   k in d   o f   a m b i g u i t y   i n   th d ata  an d   o n l y   t h m atc h ed   d ata  w ill  b r etr iev ed .   Hen ce ,   if   th ca te g o r y   ele m e n d o   ex i s t s   ( L i n e - 2 )   th a n   it   w ill  u s e   th s a m e   ca teg o r y   id en ti t y   ( L i n e - 3 )   o r   else  it  w i ll   g en er ate  a   n e w   ca te g o r y   id en t it y   t h at  co r r esp o n d s   w ith   t h s ize  o f   ca te g o r y   m atr i x   ( L in e - 5 ) .   T h m a tr ix   w it h   n e w l y   p o s itio n ed   d ata  i s   t h en   u p d ated   f o llo w ed   b y   ca lc u lat io n   o f   d ata  p u r i t y   a s   t h r an k in g   m ec h a n is m   o f   ad d r es s in g   u n ce r tain t y   p r o b lem s   i n   m ed ical  b ig   d ata  ( L in e - 7 ) .   W also   co m p u te  er r o r   th at  co u ld   p o s s ib l y   o cc u r   d u r in g   t h s u b s tit u tio n   p r o ce s s   to   f ill  u p   m is s in g   o r   am b i g u o u s   d ata  ( L i n e - 8 ) h o w e v er ,   it  is   j u s a   p er f o r m a n ce   p ar a m er er .           Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 8 - 8708   I J E C E    Vo l.  7 ,   No .   5 Octo b er   201 7   :   2 7 9 8     2 8 0 5   2802   Alg o rit h m   f o Addre s s i ng   Uncer t a inty   P ro ble m   I np ut : o data  ( Or g a n ized   Data ) ,   C ele m   ( C ate g o r y   E le m e n t)   O utput : u data   ( u p d ated   d ata) ,   d pur   ( d ata  p u r it y ) ,   E   ( E r r o r )   Sta rt   1 .   R ea d   o data   2 .   If   (C elem 0 )   3 .       u s C id   4 .   E ls e   5 .       u s n e w C id [C id ,   s ize( C ) ]   6 .   Up d ate  m at ele m   7 .   d pur s ize( u n iq u e( C ) ,   m at ele m )   / c ar d ( C ele m )   8     E =E +size( n e w E n tr y )   9 .   Up d ate  m at ele m u d ata   E nd     2 . 3 .   Alg o ri t h m   f o Addre s s i ng   Sp ee d P ro ble m   T h p r im e   r atio n ale  o f   t h i s   al g o r ith m   i s   t h at  d ata   s p ee d   ca n n o b co n tr o lled   b y   a n y   m e an s   b u w e   co n s id er   th at  i f   t h s p ee d   o f   d ata  is   k n o w n   to   s o m ex te n t   th an   p r o p er   d ata  m a n ag e m en co u ld   b d o n e.   Hen ce ,   w o f f er   v er y   s i m p le   m o d el  w h er ir r esp ec tiv e   o f   a n y   s p ee d   o f   ar r iv al  o f   th in co m i n g   d ata,   th d ata   co u ld   b ef f icie n tl y   s to r ed   in   o u d atab ase  f r a m e w o r k .   T h alg o r ith m   ta k e s   t h o u tp u o f   p r io r   alg o r ith m   w h er u n ce r tain t y   p r o b le m   is   ad d r ess ed .   T h alg o r ith m   in i ti all y   r ea d   th co lu m n   v al u o f   th in co m i n g   d ata   ( L in e - 1 )   an d   f i n d s   it s   n u m er ic al  v al u e.   A   clas s i f icatio n   o f   d i f f er en m atr i x   ar g e n er ated   d ep en d in g   o n   t h last   co lu m n   o f   t h e   in co m i n g   d ata   ( L i n e - 2 )   f o llo w ed   b y   e x tr ac tio n   o f   d i f f er e n lab el s   to o   ( L i n e - 3 ) .   B asical l y ,   L ab els   co r r esp o n d s   to   ea c h   i n d iv id u al  ce l i n   t h e   m a tr ix .   W f o r m u late   te m p o r ar y   m atr ix   m atc h   t h at   i s   r esp o n s ib le  f o r   id en t if y i n g   s i m ilar   e le m e n t s   i n   in co m i n g   d ata  an d   s to r ag e   ar ea .   I f   th e   i n co m in g   d ata   is   f o u n d   to   h av e   m atch   t h an   th e   d ata  is   d ir ec tl y   d is ca r d ed   an d   o n l y   t h co l u m n   in d e x   is   u p d ate d   ( L in e - 4 ) .   B y   th i s   p r o ce s s ,   th alg o r ith m   e n s u r es  co s ef f ec t iv u s a g o f   d ata  s to r ag m o d el  b y   o n l y   co n s id er in g   u n iq u e   in co m i n g   d ata  to   b s to r ed .   Ho w e v er ,   if   t h in co m i n g   d a ta  is   f o u n d   to   b u n iq u i.e .   it  h as  n o   m atc h ed   ele m e n ts   b et w ee n   its el f   an d   d ata  s to r ag s tr u ct u r ( L i n e - 4 ) ,   th an   it  i n s ta n tl y   u p d ate  its   la b el  w it h   r esp ec to   s ize  o f   t h lab el  ( L i n e - 5 ) .   I w i ll  m ea n   t h at  s i n g le  lab el  is   s u f f icie n t e n o u g h   to   s to r t h d if f er en f r eq u e n cies   o f   th i n co m i n g   d ata,   s o   th at  o th er   p ar o f   th ce lls   o f f er s   en o u g h   b u f f er s   f o r   n e w   ar r i v al  o f   m as s i v d ata.   Fin all y ,   all  th e x p licit  co l u m n ar   in f o r m at io n   co is   ac co m p lis h ed   ( L i n e - 6 )   an d   ce ll s   ar u p d ated   w ith   r e s p ec to   lab els  an d   o u tp u ce lls   ( L in e - 7 ) .   Hen ce ,   ir r esp ec tiv o f   an y   f lo w   o f   t h in co m i n g   d ata,   th p r o p o s ed   s y s te m   ca n   o f f er   s ig n i f ica n r o o m   f o r   d ata  s to r ag s y s te m   i n   o r d er   to   s to r th in co m in g   d ata  ar r iv i n g   f r o m   ce r tai n   h ea lt h ca r f ac ili ties .     Alg o rit h m   f o Addre s s i ng   S peed  P ro ble m   I np ut u data ,   co l v al     O utput : f data   Sta rt   1 .   f in d co l v al   2 .   class if y   b ased   o n   co l   3 .   g et  L ab el   4 .   If   m atc h =0   5 .         u p d ate  L ab el [ 1 :s ize( lab el) ]   6 .   Get  co l   7 .   f data u p d ate  ce lls   ( L ab el,   O u tp u C ells )   E nd                         Evaluation Warning : The document was created with Spire.PDF for Python.
I J E C E     I SS N:  2088 - 8708       A   N o ve l I n teg r a ted   F r a mewo r to   E n s u r B etter  Da ta   Qu a li ty  i n   B ig   Da ta   A n a lytics o ve r   …  ( C . S .   S in d h u )   2803   T ab le  1   No tatio n   u s ed   in   A l g o r ith m   Desi g n   N o t a t i o n   M e a n i n g   p id   p a t i e n t   i d   h n   h o st p i t a l   n a me   R d   R e f e r r a l   D o c t o r   D   D a t e   p n a m e   P a t i e n t   N a me   G   G e n d e r   A   A g e   A d o c   A t t e n d i n g   D o c t o r   C h i s   C l i n i c a l   H i st o r y   C   C a t e g o r y   d   u n s t r u c t u r e d   d a t a   E po s   En t r y   P o si t i o n   o da t a   O r g a n i z e d   D a t a   C e l e m   C a t e g o r y   El e me n t   u da t a   u p d a t e d   d a t a   d pu r   d a t a   p u r i t y   E   Er r o r   c o l v a l   n u me r i c   v a l u e   o f   c o l u m n   f da t a   f i n a l   d a t a       3.   RE SU L T   ANAL YSI S   T h is   p ar o f   th s t u d y   d is c u s s es  ab o u th r es u lt s   b ein g   ac c o m p li s h ed   f r o m   t h p r o p o s ed   s tu d y .   T h e   i m p le m en ta tio n   o f   t h p r o p o s ed   s y s te m   is   ca r r ied   o u i n   M atlab .   T h co n s tr u cted   f r a m e w o r k   o f f er   h i g h l y   co m p r e h en s iv s i n g le  e n v ir o n m en f o r   test i f y i n g   t h t h r ee   s ig n if ican p r o b le m s   a s s o ciate d   w it h   m ed ical  b i g   d ata  i.e .   d ata  v ar iet y ,   d ata  u n ce r tain t y ,   a n d   d ata  s p ee d .   T h r ea s o n   f o r   s elec ti n g   Ma tlab   f o r   d esi g n   a n d   d ev elo p m en i s   its   ea s i n es s ,   co n v e n ien t,  an d   s ca lab le.   T h i m p le m e n tat io n   o f   th s tu d y   was  ca r r ied   o u u s in g   s y t h e n tic  m ed ical  d ata  o f   lar g er   s ize.   A s   t h p r o p o s ed   s y s te m   is   n ea r l y   s i m ilar   to   o p ti m iz th p er f o r m an ce   o f   f r a m e w o r k   f o r   b ig   d ata  an al y tic s ,   h en ce ,   it  is   w i s en o u g h   to   b co m p ar ed   w it h   s i m i lar   f r eq u en tl y   u s ed   tech n iq u eso f   o p ti m izat io n .   W f in d   th a ad o p tio n   o f   S u p p o r Vec to r   Ma ch in h a s   b ee n   ca r r ied   o u b y   C av al lar o   et  al.   [ 2 0 ]   as  w el a s   b y   S in g h   et  al.   [ 2 4 ] .   On o f   th o p ti m izatio n   f ea t u r o f   S VM   is   it s   e x ce lle n t   class i f icatio n   ap p r o ac h   th a h as  ca p ab ilit y   to   b ap p lied   o v er   h i g h - d i m en s io an l   d ata  an d   it  is   in d ep en d e n o f   an y   f o r m   o f   co n v e n tio n al  f ea t u r s elec tio n   p r o ce d u r es  in   o v er   to   r esis t s   t h p r o b lem   a s s o ciate d   w it h   lar g e r   d i m en s io n al it y   o f   b i g   d ata.   Dif f er en t   f o r m s   o f   r eg u lar iza tio n   ele m e n ts   a s   w el as  e x t r ac ted   f ea tu r e s   ar e   co n ca ten ated   d u r in g   t h p r o ce s s   o f   lear n in g .   I n   o r d er   to   m ak t h S VM   w o r k s   e f f icie n tl y   f o r   b ig   d ata,   i i s   r eq u ir ed   f o r   th class   b o u n d ar y   to   b v er y   clo s to   th o u t c o m o f   th a n ticip ated   s a m p le s   o f   tr ain i n g .   A p ar f r o m   SVM,   w also   f in d   t h ad o p tio n   o f   n eu r al  n et w o r k   in   o p ti m izi n g   b i g   d ata  an al y ti cs.  T h m o s r ec en t   w o r k   ca r r ied   o u b y   C h u n g   et  al.   [ 2 5 ]   h as  d is cu s s ed   th e   u s a g o f   n eu r al  n et w o r k   f o r   h ig h   p er f o r m a n c e   co m p u tatio n   o f   b ig   d ata.   On e   o f   t h s i g n i f ica n ad v a n ta g es   o f   ap p l y i n g   n e u r al  n et w o r k   o v er   b ig   d ata  a n al y s i s   is   its   ca p ab ilit y   o f   ap p r o x i m at io n   o f   an y   f o r m s   o f   f u n ctio n .   T h is   o p er atio n   ca n   b s ig n i f ic an tl y   h elp f u w h il e   ex p lo r in g   f o r   th s u b - s p ac clu s ter i n g   i n   h ig h   d i m en s io n al  d ata.   A   s i g n i f ican s i g m o id   f u n ctio n   ca n   b f u r th er   f i n t u n ed   i n   o r d er   to   ar r iv i n to   ellite   o u tco m e   u s i n g   n e u r a n et w o r k   in   b ig   d ata  a n al y s i s .   Fo r   s i m p l icit y ,   w i m p le m en s u p p o r v ec to r   m a ch in a s   th tr ain in g   alg o r it h m   to   ad d r ess   th p r o b lem   d is cu s s ed   in   o u r   p ap er .   W tak t h f ee d - f o r w ar d   al g o r ith m   a s   t h lear n in g   ap p r o ac h   f o r   n e u r al  n et w o r k   to o .   H en ce ,   o u r   e x is ti n g   s y s te m   i s   co m b i n ed   r esu lt  ar r iv ed   f r o m   i m p le m en tin g   s u p p o r v ec to r   m ac h in a n d   n eu r al  n et w o r k .   T h co m p ar ati v as s es s m en o f   t h s t u d y   w as  ca r r ied   o u co n s id er in g   ac c u r ac y   p ar a m eter   an d   co m p u tatio n al   r esp o n s ti m e.           Fig u r 2 .   C o m p ar ativ p er f o r m an ce s   o n   ac c u r ac y   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 8 - 8708   I J E C E    Vo l.  7 ,   No .   5 Octo b er   201 7   :   2 7 9 8     2 8 0 5   2804   T h co m p ar ativ a s s es s m en o f   th ac c u r ac y   i s   ca r r ied   o u u s i n g   T r u P o s itiv e,   Fals P o s iti v e,   an d   Fals Ne g ati v f o r   b o th   p r o p o s ed   s y s te m   as  w el as  e x is t in g   s y s te m .   T h s tu d y   o u tco m s h o w s   t h at  p r o p o s ed   s y s te m   ac co m p l is h es  b etter   tr u p o s itiv f r o m   s tati s tical  s c o r ( p r o b a b ilit y )   v ie w p o in t,  w h er ea s   th e x is t in g   s y s te m   o f f er   s li g h tl y   r ed u ce d   ac cu r ac y   p er f o r m an ce   as  co m p ar ed   to   p r o p o s ed   s y s te m .   T h p r im r ea s o n   b eh in d   t h is   t h at  t h p r o p o s ed   s y s te m   p er f o r m s   a   s eq u e n tia o p er atio n   w h er o u tp u o f   f ir s t   o p er at io n   b ec o m e s   in p u o f   s ec o n d   p r o ce s s .   B y   t h is   p r o ce s s ,   th p r o p o s ed   s y s t e m   o f f er s   b etter   o p ti m izatio n   w it h o u u s in g   an y   r ec u r s iv f u n ctio n   a s   w ell  a s   w it h   e v er y   i n cr ea s i n g   s tep s   th p r o b lem s   g et  r ed u ce d .   T h is   p r o ce d u r o f   f ilter in g   th p r o b lem s   is   m o r iter ativ an d   less   f ilter ed   an d   h e n ce   ei x ts in g   s y s te m   co u ld n t o f f er   b etter   ac cu r ac y .           Fig u r 3 .   C o m p ar ativ p er f o r m an ce s   o n   r esp o n s ti m e       W also   co m p u te  t h a m o u n o f   co m p u tat io n al  co m p lex it ies  as s o ciate d   w it h   b o t h   p r o p o s ed   an d   ex is t in g   s y s te m   w it h   r esp ec to   co m p u atat io n al  r esp o n s ti m e.   Fig u r 3   clea r l y   s h o w s   t h at  p r o p o s ed   s y s te m   o f f er s   b etter   r esp o n s e   ti m i n   co m p ar is o n   to   e x i s ti n g   s y s te m .   Ho w e v er ,   b ec au s o f   to o   m a n y   d ep en d en cie s   o n   iter atio n ,   t h ex is ti n g   s y s te m   e n co u n ter s   t h p r o b le m   o f   f a s ter   co n v er g e n ce .   T h er ef o r e,   s u c h   iter ati v e   o p er atio n s   ca n n o b s u i tab l y   ap p lied   o v er   h ig h - d i m e n s io n al  d ata  th er eb y   ca u s i n g   ti m lag s   to   y ield   t h e   o u tco m e.   On   t h o th er   h a n d ,   th p r o p o s ed   s y s te m   o f f er s   th r esu lt s   o w i n g   to   f aster   co n v er g e n ce   w h ile   m ak in g   tr a n s it io n   f r o m   o n e   a lg o r ith m   to   o t h er .   T h er ef o r e,   th p r o p o s ed   s y s te m   o f f er   b e tter   co m p u tatio n al  r esp o n s ti m as   w ell  a s   lo wer   m e m o r y   co n s u m p tio n   o v er   n o r m al  m ac h i n to   p r o v its   co s ef f ec ti v e n ess .   T h s to r ag co m p le x it y   is   h i g h l y   co n tr o lled   as  t h co m p l ete  f r a m e w o r k   o f f er s   r esu l ts   o n l y   o v er   r u n ti m p r o ce s s in g   o f   th al g o r ith m   a n d   h en ce   en o u g h   r eso u r ce   co n s u m p tio n   is   s av ed .       4.   CO NCLU SI O N     T h is   p ap er   em p h asize s   o n   th e   in h er en p r o b le m s   as s o ciate d   w ith   th e   b ig   d ata  a n al y tic s   o v er   clo u d   i.e .   d ata  v ar iet y ,   d ata  u n ce r tai n t y ,   a n d   d ata  s p ee d .   W h av r ev ie w ed   s o m o f   t h r ec en t l i ter atu r es to   f in d   t h at   th er is   b ig   tr ad eo f f   in   th e x is t in g   ap p r o ac h es  b et w e e n   p r o b lem s   b ein g   ad d r ess ed   a s   cla i m ed   a n d   r ea l - ti m e   p r o b lem s .   T h p r o b lem s   b ein g   ad d r ess ed   as  clai m ed   i n   lit er atu r o n l y   e m p h asize s   o n   p ar o f   o n p r o b le m   w h er i n   r ea l - s e n s e   th er e   c o u ld   b en d les s   n u m b er   o f   o cc u r an ce   o f   al t h r ep o r ted   p r o b lem s   w h ile  pe r f o r m in g   r ea l - ti m a n al y s is   o v er   clo u d   e n v ir o n m e n t.  T h i s   p ap er   d escr ib es  o n n o v el  r es ea r ch   m o d el  w h ic h   is   ex p er i m e n ted   o v er   s y n t h eti b ig d ata  o f   h ea lt h ca r es  s ec to r .   T h tech n iq u i n tr o d u ce s   a   n o v el   f r a m e w o r k   w h er all  th r ep o r ted   p r o b le m s   e. g .   . d ata  v ar i et y ,   d ata  u n c er tain t y ,   an d   d ata  s p ee d   is   ad d r ess ed .   A t   p r esen t,   w f i n d   th a it  o f f er   b etter   ac cu r ac y   a n d   r esp o n s ti m e   in   co m p ar is o n   to   e x is ti n g   o p ti m i za tio n   s y s te m .   O u r   f u tu r w o r k   d ir ec tio n   w il l b to   f u r t h er   o p ti m ize  th o u tco m es.       RE F E R E NC E   [1 ]   M a n d a l,   Jy o tsn a   Ku m a r,   Ha n d b o o k   o f   Re se a rc h   o n   Na tu ra Co m p u ti n g   f o Op ti m iza ti o n   P r o b le m s,  I G G lo b a l - Co m p u ter,  2 0 1 6   [2 ]   Cip rian   D o b re ,   F a to s   Xh a f a ,   P e rv a siv e   Co m p u ti n g Ne x G e n e r a ti o n   P latf o rm f o In telli g e n Da ta  Co ll e c ti o n ,   M o rg a n   Ka u fm a n n - Co m p u ters ,   2 0 1 6   [3 ]   T   S u ti k n o ,   S ti a w a n ,   IM S u b ro t o ,   " F o rt ify in g   b ig   d a ta  in f ra stru c tu re to   f a c e   se c u rit y   a n d   p riv a c y   issu e s ,     T EL KOM NIKA  T e lec o mm u n ic a ti o n   C o mp u ti n g   El e c tro n ics   a n d   Co n tro l .,  v o l.   1 2 ,   n o .   4 ,   p p .   7 5 1 - 7 5 2 ,   2 0 1 4 .   [4 ]   A n is  Ko u b a a ,   El h a d S h a k sh u k i,   Ro b o ts  a n d   S e n so r   Clo u d s,   S p r in g e r,   2 0 1 5   [5 ]   Bh a tt ,   Ch in tan   M . ,   P e d d o j u ,   S .   K,   Clo u d   C o m p u ti n g   S y ste m s an d   A p p li c a ti o n s i n   He a lt h c a re ,   IG Glo b a l,   2 0 1 6   Evaluation Warning : The document was created with Spire.PDF for Python.
I J E C E     I SS N:  2088 - 8708       A   N o ve l I n teg r a ted   F r a mewo r to   E n s u r B etter  Da ta   Qu a li ty  i n   B ig   Da ta   A n a lytics o ve r   …  ( C . S .   S in d h u )   2805   [6 ]   S . P .   M e n o n ,   N . P .   He g d e ,   Re se a rc h   o n   Clas sif ica ti o n   A lg o rit h m   a n d   it Im p a c t   o n   W e b   M i n i n g ,   In tern a ti o n a l   Jo u rn a o f   Co m p u ter E n g in e e rin g   a n d   T e c h n o l o g y ,   v o l. 4 ,   Iss . 4 ,   p p . 4 9 5 - 5 0 4 ,   2 0 1 3 ,     [7 ]   S . P .   M e n o n ,   N. P .   He g d e ,   A   Brief   In sig h in to   Co m p u tatio n a T o o ls  in   Big   Da ta ,”   In tern a ti o n a Jo u rn a o f   In n o v a ti o n   &   A d v a n c e m e n in   Co m p u ter S c ien c e ,   v o l. 4 . ,   2 0 1 5   [8 ]   S . P .   M e n o n ,   N. P .   He g d e ,   S u rv e y   o T o o ls  a n d   A p p li c a ti o n in   Big   Da ta ,”   IEE 9 th   In tern taio n a l   Co n f e re n c e   o n   In telli g e n S y ste m s an d   Co n tr o ls,   2 0 1 5   [9 ]   S . P .   M e n o n ,   N. P .   He g d e ,   T h e   C rit ica Co m b in e d   Ro le  o f   Bi g   D a ta  A n a l y ti c s   in   He a lt h   Ca re ,”   In tern a ti o n a Jo u rn a o f   I m a g in g   S c ien c e   a n d   En g in e e rin g ,   2 0 1 5   [1 0 ]   H.  M .   Ch e n ,   R.   Ka z m a n   a n d   S .   Ha z i y e v ,   " Ag il e   Big   Da ta   A n a l y ti c f o W e b - Ba se d   S y ste m s:  A n   A rc h it e c tu re - Ce n tri c   A p p ro a c h , "   in   IEE T ra n sa c ti o n o n   Bi g   Da t a ,   v o l .   2 ,   n o .   3 ,   p p .   2 3 4 - 2 4 8 ,   S e p t.   1   2 0 1 6 .   [1 1 ]   F .   Da b e k   a n d   J.  J.  Ca b a n ,   " A   G ra m m a r - b a se d   A p p ro a c h   f o M o d e l in g   Us e In tera c ti o n a n d   G e n e ra t in g   S u g g e sti o n Du rin g   t h e   Da ta  Ex p l o ra ti o n   P r o c e ss , "   in   IEE T ra n s a c ti o n o n   V isu a li z a ti o n   a n d   C o mp u ter   Gr a p h ics ,   v o l.   2 3 ,   n o .   1 ,   p p .   4 1 - 5 0 ,   Ja n .   2 0 1 7 .   [1 2 ]   P .   F ia d in o ,   P .   Ca sa s,  A .   D’A l c o n z o ,   M .   S c h iav o n e   a n d   A .   Ba e r,   " G r a sp in g   P o p u lar   A p p li c a ti o n i n   Ce ll u la r   Ne tw o rk W it h   Big   Da ta  A n a l y ti c P latf o rm s,"   in   IEE T ra n s a c ti o n o n   Ne two rk   a n d   S e rv ice   M a n a g e me n t ,   v o l .   1 3 ,   n o .   3 ,   p p .   6 8 1 - 6 9 5 ,   S e p t.   2 0 1 6 .   [1 3 ]   C.   Ord o n e z ,   Y.  Zh a n g   a n d   W .   Ca b re ra ,   " T h e   G a m m a   M a tri x   to   S u m m a rize   D e n se   a n d   S p a rse   Da ta S e ts  f o Big   Da ta   A n a l y ti c s, "   in   I EE T r a n s a c ti o n s o n   K n o w led g e   a n d   Da t a   E n g in e e rin g ,   v o l.   2 8 ,   n o .   7 ,   p p .   1 9 0 5 - 1 9 1 8 ,   Ju ly   1   2 0 1 6 .   [1 4 ]   A .   P a u l,   A .   A h m a d ,   M .   M .   Ra th o re   a n d   S .   Ja b b a r,   " S m a rtb u d d y De f in in g   Hu m a n   Be h a v io rs  Us in g   Big   Da ta   A n a l y ti c in   S o c ial  In tern e o f   T h in g s , "   in   IEE E   W ire les Co mm u n i c a ti o n s ,   v o l.   2 3 ,   n o .   5 ,   p p .   6 8 - 7 4 ,   Oc to b e 2 0 1 6 .   [1 5 ]   G .   S h e n g ,   X .   Z h a o ,   H.  Zh a n g ,   Z.   L v   a n d   H.  S o n g ,   " M a th e m a ti c a M o d e ls  f o S im u latin g   Co d e d   Dig it a Co m m u n ica ti o n A   Co m p re h e n siv e   T u to rial  b y   Big   D a ta  A n a l y ti c in   C y b e r - P h y sic a S y ste m s,"   i n   IEE Acc e ss v o l.   4 ,   n o .   ,   p p .   9 0 1 8 - 9 0 2 6 ,   2 0 1 6 .   [1 6 ]   L .   A .   Ta w a lb e h ,   R.   M e h m o o d ,   E.   Be n k h li f a   a n d   H.  S o n g ,   " M o b il e   Clo u d   Co m p u ti n g   M o d e a n d   Bi g   Da t a   A n a l y si f o He a lt h c a re   A p p li c a ti o n s,"   in   I EE Acc e ss ,   v o l.   4 ,   n o .   ,   p p .   6 1 7 1 - 6 1 8 0 ,   2 0 1 6 .   [1 7 ]   X .   W a n g   a n d   Y.  He ,   " L e a rn in g   fro m   Un c e rtain t y   f o Big   Da ta:  F u tu re   A n a l y ti c a Ch a ll e n g e a n d   S trate g ies " ,   IEE E   S y st e m s,  M a n ,   a n d   Cy b e rn e ti c s M a g a z in e ,   V o l .   2 ,   No .   2 ,   p p .   2 6 - 3 1 ,   2 0 1 6   [1 8 ]   P .   Y.  W u ,   C.   W .   Ch e n g ,   C.   D.   K a d d i,   J .   V e n u g o p a lan ,   R.   Ho f fm a n   a n d   M .   D.  W a n g ,   " Om ic  a n d   El e c tro n ic  He a lt h   Re c o rd   Big   Da ta  A n a ly ti c f o P r e c isio n   M e d icin e , "   i n   IEE T r a n sa c ti o n s   o n   Bi o me d ica l   E n g i n e e rin g ,   v o l.   6 4 ,   n o .   2 ,   p p .   2 6 3 - 2 7 3 ,   F e b .   2 0 1 7 .   [1 9 ]   J.  M .   L il l o - Ca ste ll a n o   e t   a l . ,   " S y m m e tri c a Co m p re ss io n   Dista n c e   f o A rrh y th m ia  Disc ri m in a ti o n   i n   Clo u d - Ba se d   Bi g - Da ta  S e rv ic e s,"   in   IEE J o u rn a l   o Bi o me d ic a a n d   He a lt h   In fo rm a ti c s ,   v o l.   1 9 ,   n o .   4 ,   p p .   1 2 5 3 - 1 2 6 3 ,   Ju ly   2 0 1 5 .   [2 0 ]   G .   C a v a ll a ro ,   M .   Ried e l,   M .   Ric h e rz h a g e n ,   J.  A .   Be n e d ik tsso n   a n d   A .   P laz a ,   " On   Un d e rsta n d in g   Big   Da ta   I m p a c ts   in   Re m o tel y   S e n se d   I m a g e   Clas sif ica ti o n   Us in g   S u p p o rt  V e c to M a c h in e   M e th o d s,"   in   I EE J o u rn a o S e lec ted   T o p ics   in   A p p li e d   Ea rt h   Ob se rv a ti o n a n d   Rem o te  S e n sin g ,   v o l.   8 ,   n o .   1 0 ,   p p .   4 6 3 4 - 4 6 4 6 ,   Oc t.   2 0 1 5 .   [2 1 ]   Q.   L u ,   Z .   L i,   M .   Kih l ,   L .   Z h u   a n d   W .   Z h a n g ,   " CF 4 BDA Co n c e p t u a F ra m e w o rk   f o Big   Da ta  A n a l y ti c s   A p p li c a ti o n s i n   t h e   Clo u d , "   i n   IE EE   Acc e ss ,   v o l.   3 ,   n o .   ,   p p .   1 9 4 4 - 1 9 5 2 ,   2 0 1 5 .   [2 1 ]   S . P .   M e n o n ,   N. P .   He g d e ,   A   F ra m e w o rk   to   h a n d le  Da ta  He tero g e n e it y   Co n tex tu a to   M e d ica B ig   Da ta” ,   IEE E - In tern a ti o n a C o n f e re n c e   o n   Co m p u tati o n a I n telli g e n c e   a n d   C o m p u ti n g   Re se a rc h ,   2 0 1 5   [2 2 ]   S . P .   M e n o n ,   N. P .   He g d e ,   P re d ictiv e - b a se d   Da ta  A n a l y sis  f o A d d re ss in g   Da ta  V e ra c it y   P ro b l e m in   Co m p lex   M e d ica Da ta k ,   UN KN O W N   [2 3 ]   D.  S in g h ,   D .   Ro y   a n d   C.   K.  M o h a n ,   " Di P - S V M   :   Distrib u ti o n   P r e se rv in g   Ke rn e S u p p o r V e c t o M a c h in e   f o Big   Da ta " ,   in   IEE T r a n sa c ti o n s   o n   B ig   Da t a ,   v o l.   3 ,   n o .   1 ,   p p .   7 9 - 9 0 ,   M a rc h   1   2 0 1 7 .   [2 4 ]   I.   H.  Ch u n g T .   N.   S a in a t h B.   Ra m a b h a d ra n M .   P ich e n y J.  Gu n n e ls;   V.  A u ste l;   U.  C h a u h a ri;   B.   Kin g sb u ry ,   " P a ra ll e De e p   Ne u ra Ne t w o rk   T ra in in g   f o Big   Da ta   o n   Blu e   G e n e /Q, "   in   IEE T ra n sa c ti o n o n   P a ra ll e a n d   Distrib u te d   S y ste m s ,   v o l. P P ,   n o . 9 9 ,   p p . 1 - 1   Evaluation Warning : The document was created with Spire.PDF for Python.