I nte rna t io na l J o urna l o f   E lect rica l a nd   Co m p ute r  E ng in ee ring   ( I J E CE )   Vo l.   9 ,   No .   4 ,  A u g u s t   201 9 ,   p p .   2 6 2 0 ~ 2 6 2 6   I SS N:  2088 - 8708 ,  DOI : 1 0 . 1 1 5 9 1 / i j ec e . v 9 i 4 . p p 2 6 2 0 - 2626           2620       J o ur na l ho m ep a g e :  h ttp : //ia e s co r e . co m/ jo u r n a ls /in d ex . p h p / I JE C E   O nline   d a ta  p re p ro cess ing :  a  c a se  s tudy  a ppro a ch       M o ha m m e d  Z u ha ir  Al - T a ie 1 ,  Seif edine K a dry 2 ,  J o el  P inh o   L uca s 3   1 UT M   Big   Da ta Cen tre,  Un iv e rsiti   T e k n o lo g i  M a lay si a ,  M a la y sia   2 De p a rtme n t  o f   M a th e m a ti c s a n d   Co m p u ter S c ien c e ,   F a c u lt y   o f   S c ien c e ,   Be iru t  A ra b   Un iv e rsity ,   L e b a n o n   3 T a il   Targ e t,   Bra z il       Art icle  I nfo     AB ST RAC T   A r ticle  his to r y:   R ec eiv ed   J a n   28 ,   2 0 1 8   R ev i s ed   A u g   11 ,   2 0 1 8   A cc ep ted   Mar   4 ,   2 0 1 9       Be sid e s  th e   In tern e t  se a rc h   f a c il it y   a n d   e - m a il s,  so c ial  n e tw o rk in g   i s  n o w   o n e   o f   th e   th re e   b e st  u se s   o f   th e   In t e rn e t.   A   tr e m e n d o u s  n u m b e r  o f   v o lu n tee rs   e v e r y   d a y   w rit e   a rti c les ,   sh a re   p h o to s,  v id e o s  a n d   l in k s  a t  a   sc o p e   a n d   sc a le  n e v e r  i m a g in e d   b e f o re .   Ho w e v e r ,   b e c a u se   so c ial   n e t w o rk   d a ta   a re   h u g e   a n d   c o m e   f ro m   h e tero g e n e o u s  so u r c e s,  th e   d a ta  a re   h ig h ly   su sc e p ti b le  t o   in c o n siste n c y ,   re d u n d a n c y ,   n o ise ,   a n d   l o ss .   F o r  d a ta  sc ien ti sts,  p re p a rin g   th e   d a ta  a n d   g e tt in g   i t  in to   a   sta n d a rd   f o rm a t  is  c rit ica l  b e c a u se   th e   q u a li ty   o f  d a ta   is  g o in g   to   d irec tl y   a ff e c t   th e   p e rf o r m a n c e   o f   m in in g   a l g o rit h m s  th a t  a r e   g o in g   to   b e   a p p li e d   n e x t.   L o w - q u a li ty   d a ta   w il l  c e rt a in ly   li m it   th e   a n a l y si s   a n d   l o w e r  th e   q u a li ty   o f   m in in g   re su lt s.  T o   th is  e n d ,   t h e   g o a l  o f   th is  stu d y   is  to   p ro v id e   a n   o v e rv iew   o f   th e   d if f e re n t  p h a se s  in v o lv e d   in   d a ta  p re p ro c e ss in g ,   w it h   a   f o c u s  o n   s o c ial  n e tw o rk   d a ta.  As   a   c a s e   stu d y ,   we   w il l   sh o w   h o w   w e   a p p li e d   p re p r o c e ss in g   to   th e   d a ta  th a t  w e   c o ll e c ted   f o r  th e   M a la y sia n   F li g h t  M H3 7 0   th a t  d is a p p e a re d   in   2 0 1 4 .   K ey w o r d s :   D ata  p r ep r o ce s s in g   D ata  s cien ce   Fli g h t M H3 7 0   S o cial  n et w o r k s   Co p y rig h t  ©   2 0 1 9   In stit u te o f  A d v a n c e d   E n g i n e e rin g   a n d   S c ien c e .    Al l  rig h ts re se rv e d .   C o r r e s p o nd ing   A uth o r :   Seif ed i n e  Kad r y ,     Dep ar t m en t o f   Ma th e m at ics a n d   C o m p u ter   Scien ce ,   B eir u t A r ab   Un iv er s it y ,     L eb an o n .   E m ail:  s . k ad r y @ b au . ed u . lb       1.   I NT RO D UCT I O N     On li n e  s o cial  n et w o r k s   o r   s o cial  m ed ia  w eb s i tes  - t h e   r ec en t  f o r m   o f   tr ad itio n al   s o cial   n et w o r k s -   h av e   p r o v id ed   th e  m ec h a n i s m s   th a t  allo w   p eo p le  to   co m p r eh en d ,   i n ter ac t,  e n g a g e  a n d   co llab o r ate  w it h   ea c h   o th er .   P latf o r m s   s u c h   as   Face b o o k ,   Yo u T u b e,   L i n k ed I n ,   an d   T w it ter   ar e  u s ed   t h ese   d a y s   h ea v il y   eit h er   f o r   f u n   o r   b u s i n es s   p r o ce s s es.  T h e y   al lo w   u s er s   to   s h ar e  tex t,   au d io ,   v id eo ,   h y p er li n k s ,   a n d   p h o to g r ap h s   w it h   o th er s   an d   th er ef o r e  lar g e  v o l u m e s   o f   th eir   s o cial  ac ti v ities   ar e  s to r e d .   Face b o o k ,   f o r   in s tan ce ,   s to r es  m o r e   th an   3 0   b illi o n   n e w   p iece s   o f   c o n ten t e v er y   m o n t h ,   p r o d u ce d   b y   m o r e  th a n   o n e  b illi o n   ac ti v e  u s er s .   T h e  an al y s i s   o f   d ata  th at  c o m e  f r o m   d if f er en t  s o cial  m ed ia  s o u r ce s   ( f o r   ex a m p le,   Face b o o k ,   T w itter ,   an d   Yo u T u b e)   is   cr itical  f o r   e f f ec tiv e  d ec is io n   m a k i n g   [ 1 ] .   I t  ca n   b e  u s ed   to   id en tify   tr e n d s ,   d ev elo p   b u s in es s   o p p o r tu n itie s ,   p r ed ict  cu s to m er   b eh av io r   a n d   m ar k et  s h i f t s ,   cr i m e   in v es tig a tio n ,   a n d   n atu r al  d is a s ter   r is k   m an a g e m e n t.   Data   p r ep r o ce s s in g   co n s u m e s   m o s t  o f   t h e  ti m e   an d   i m p le m en tatio n   e f f o r ts   an d   ca n   b e  m o r e  cr itical  th an   t h e  m ac h i n e - lear n i n g   al g o r ith m   its el f .   I f   a n y   o f   t h e  d at a  p r ep r o ce s s in g   p h ases   is   n o t  co r r ec tly   h a n d led ,   m ac h in e - lear n in g   al g o r ith m s   w il l  n o t  r u n   o r   ca n   g i v e  m is le ad in g   r es u lt s   [ 2 ] .   Hav in g   i n   m in d   th e  s ig n i f ica n ce   o f   d ata  p r ep r o ce s s in g   to   d ata  s cien ce   [ 3 ] ,   th i s   s t u d y   d i s cu s s es  d ata  p r ep r o ce s s in g   a n d   h o w   w e  ap p lied   it  to   Fli g h t M H3 7 0   s o cial  d ata.   T h e  r est  o f   t h e  s tu d y   i s   o r g a n i ze d   as  f o llo w s :  Sec tio n   2   d i s c u s s es  w h at   is   m ea n t  b y   s o cial   n et w o r k s   an d   w h at  tech n iq u e s   ar e  u s e d   to   c o llect  o n lin e  s o cial  d ata.   Sectio n   3   g iv es  an   o v er v ie w   o f   t h e  f o u r   tas k s   in v o l v ed   i n   d ata  p r ep r o ce s s i n g .   Sect io n   4   d escr ib es   h o w   we  ap p li ed   d ata  p r ep r o ce s s in g   t o   a  d ataset  t h at   w e  co llected   d escr ib in g   th e  Ma la y s ia n   Fli g h t M H3 7 0   s o cial  s tr u ctu r e.   Sect io n   5   co n clu d es t h e  s tu d y .   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J   E lec  &   C o m p   E n g     I SS N:  2088 - 8708       On lin e  d a ta   p r ep r o ce s s in g :   a   ca s e  s tu d y  a p p r o a ch   ( Mo h a m med   Zu h a ir   A l - Ta ie)   2621   2.   O NL I N E   SO CI AL   DA T A  C O L L E CT I O N   T y p icall y ,   s o cial   n et w o r k s   ar e  th eo r etica l  m o d els   f o r   an al y z in g   a n d   v is u aliz in g   r e latio n s h ip s   b et w ee n   ac to r s   [ 4 ] .   A   tie  b et w ee n   t w o   ac to r s   s h o u ld   r ep r esen t  s o m e  r elatio n s h ip   s u ch   a s   k i n s h ip ,   af f ec tio n ,   en m it y ,   ex c h a n g e   o f   f a v o u r s   o r   lo an s ,   cl u b   m e m b er s h ip   o r   ev en t   atte n d in g .   T ies  ca n   al s o   v ar y   i n   i n te n s i t y   i n   th e  w a y   t h at  s o m e   ties   ar e  s t r o n g er   t h an   o t h er s .   I t  is   al s o   p o s s ib le  to   h a v e  m o r e  th a n   o n e  tie  b et w ee n   t w o   in d iv id u als   i n   o n e   n et w o r k .   F o r   ex a m p le,   a   g r o u p   o f   s tu d e n ts   in   a  co lle g e  m a y   b e  co n n ec ted   to   ea ch   o t h er   th r o u g h   f r ien d s h ip ,   j o in t c o u r s es,  clu b   m e m b er s h ip s ,   etc.   I n   th e  p ast ,   s o cial  d ata  w a s   ch allen g in g   to   co llect  an d   h ar d   to   co m e  b y ,   an d   m a n y   p eo p le  in   th e  f ield   li m ited   t h e m s el v es  to   u s i n g   o n l y   s m all  a m o u n ts   o f   d ata.   H o w e v er ,   th i n g s   h a v e  c h an g ed   w it h   t h e  ad v e n t  o f   o n lin e  s o cial  w eb s ite s   s u c h   a s   T w itter ,   Face b o o k ,   an d   F li ck er   th at   g e n er ate  m u c h   m o r e  d ata  th an   an y o n e   w o u ld   ex p ec t.   B ey o n d   th e   tr ad itio n al  m et h o d s   o f   co llecti n g   s o cial  d at a,   o n lin e   d ata  ca n   b e  co llected   u s i n g   A p p licatio n   P r o g r a m m in g   I n ter f ac es  ( A P I s ) ,   w eb   cr a w le r s ,   o n li n e  s u r v e y s ,   a n d   d ep lo y ed   ap p licatio n s .   Ho w e v er ,   co llectin g   o n lin e   s o cial  d ata  is   n o t  al w a y s   s tr ai g h t f o r w ar d   as  it  f ac e s   s o m e  p r o b lem s   [ 5 ]   s u c h   a s   d ea lin g   w it h   u n s tr u ct u r ed   an d   h eter o g en eo u s   d ata,   d y n a m ic  n et w o r k s ,   p r o ce s s i n g   p o w e r   an d   d ata  s to r ag e.   Ho w e v er ,   an d   in   s o m e  ca s es,   tak i n g   m ea s u r e m en t s   o n   al l  ac to r s   in   t h e  r elev a n t  ac to r   s et  is   n o t  p o s s ib le.   T h er ef o r e;  tak in g   a   s a m p le  s et  o f   ac to r s   f r o m   t h e  co m p le te  s et  b ec o m e s   e n o u g h ,   a n d   i n f er e n ce   ab o u t  th e   p o p u latio n   is   m ad e  later   b as ed   o n   th e  s a m p le  [ 6 ] .   Sa m p led   d ata  in   t h is   ca s e,   w h ich   ca n   b e  v ie w ed   a s   r ep r esen tativ e  o f   th e  b r o ad er   p o p u latio n ,   is   ca lled   t h e  p r o b ab ilit y   s a m p le.       3.   DATA P R E P RO CE SS I NG   I n   co n tr as t  to   o r g a n izatio n s ,   wh er e  b o th   t h e  d ata  a n d   t h e  h ier ar ch y   o f   k n o w led g e  ar e  w el l - o r g an ized ,   o n lin e  s o cial  d ata  ar e  r ich   w it h   u s er - g e n er ated   an n o tat io n s   an d   f r ee - s t y le  h an d w r iti n g .   G iv en   th at  p eo p le  i n   o n lin e  s o cial  p latf o r m s   ar e  en t ir el y   f r ee   to   w r ite  w h at  t h e y   wan t  [ 7 ] ,   d ata  q u alit y   i n   s u c h   en v ir o n m en ts   r an g es   f r o m   v alu ab le  to   co m m er cials  an d   r u b b is h   [ 8 ] .   Fo u r   s tep s   ar e  t y p icall y   i n v o lv ed   in   d ata  p r ep r o ce s s i n g :   d ata  clea n i n g ,   d ata  in te g r a tio n ,   d ata   tr an s f o r m atio n ,   an d   d ata  r ed u ctio n .   W e  w i ll  ad d r ess   ea ch   s tep   in   d etail  a n d   s h o w   h o w   it  ca n   b e  u s ed   f o r   k n o w led g e  d is co v er y .   T h ese  p r o ce s s es  ar e  n o t  is o lated   f r o m   ea ch   o t h er   b u t  i n s tead   ar e  in teg r al  co m p o n e n ts   o f   d ata  p r ep ar atio n .   I f   an y   o f   th ese  s tep s   ar e  n o t  p er f o r m ed   as  p lan n ed ,   d ata  m i n i n g   a l g o r ith m s   w ill  n o t  r u n   an d   w il l  p r o b ab ly   g i v e  u n ex p ec ted   r esu lts .   W e  m a y   s a f el y   s a y   t h at  h a v i n g   g o o d   an d   r o b u s t  d ata  is   m o r e   i m p o r tan t t h an   h a v in g   a n   ef f ic ien t a l g o r ith m   t h at  is   ap p lied   to   a  lar g e  q u an tit y   o f   poor   d ata .     3 . 1 .   Da t a   c lea nin g   Data   clea n i n g   ( also   k n o w n   a s   d ata  clea n s in g   o r   s cr u b b in g )   ai m s   at  r e m o v i n g   n o is e,   f illi n g   o u t   m is s i n g   v al u es,  a n d   f i x i n g   in c o n s is ten cie s   i n   d ata.   Dir t y   d at a  in   t h e  d atab ase  ca n   b e  t h e  r esu lt  o f   w r o n g   d ata   en tr y ,   u p d ate,   o r   tr an s m is s io n   [ 9 ] .   T h is   p h a s e  al s o   i n clu d es  id en ti f icatio n   a n d   r e m o v al  o f   o u tlier s   [ 10 ] .   P er f o r m i n g   d ata  clea n i n g   f o r   s o cial  n et w o r k   d ata  is   n o t   al w a y s   s tr ai g h t f o r w ar d   as  i t  ca n   f ac e  s e v er al   i s s u es  [ 5 ] .   Fo r   ex am p le,   it  r eq u ir es  an   u n d er s ta n d in g   an d   r ea lizatio n   o f   th e  d ata.   I m a g es,  v id eo ,   au d io ,   f ailed   HT T P   r ec o r d s ,   H T ML   tag s ,   a n d   w h ite  s p ac es s h o u ld   b e  r e m o v ed .   Sp a m   d etec tio n   s h o u ld   a ls o   b e  p u r s u ed .   Ma ch i n e  lear n in g   m et h o d s   h a v e  b ee n   co m m o n l y   u s ed   to   p er f o r m   d ata  clea n i n g   i n   s o cial   d ata  [ 11 ] .  Fo r   ex a m p le,   e x p ec tatio n   m a x i m izatio n   w it h   Ga u s s ian   m i x tu r e  m o d els  i s   u s ed   to   m an ag e  m is s in g   d ata,   w h ile  B a y e s ian   m o d els  ar e  u s ed   f o r   clea n in g   d ata.   I n   th e  b l o g o s p h er e  d o m ain ,   [ 12 ]   p er f o r m ed   d ata  clea n in g :   tr i m m i n g   o u t  w h ite  s p ac es,  p u n ctu a tio n s ,   an d   s to p   w o r d s   to   b lo g   p o s ts .   [ 13 ]   p r o p o s ed   th e  r e m o v al  o f   i n ac ti v e   u s er s   f r o m   t h e  s o cial  n et w o r k .   I n   t h e  tr u s t - b ased   i n f o r m a tio n   p r o p ag atio n   m o d el  t h e y   b u ilt,  th e   au t h o r s   is o lated   in ac t iv e   u s er s   f r o m   o th er   u s er s   b ec a u s e  th e y   n ev er   o r   r ar ely   s e n d   m e s s a g es   an d   h ad   litt le   in f l u e n ce   o n   in f o r m atio n   p r o p ag atio n .   T o   d ea l  w it h   n o i s e  in   T w itte r   d ata,   th e  au t h o r s   i n   [ 14 ] ,   a n d   b ef o r e  ap p ly in g   s en ti m e n t  a n al y s i s ,   r e m o v ed   q u esti o n s ,   U R L s ,   s p ec ial   c h ar ac ter s   as   w ell  a s   r et w ee ts .   T ar g etin g   T w i tter   s er v ice  a ls o ,   [ 15 ]   p r o p o s ed   th e  u s e  o f   a  n u m b er   o f   m et h o d s   to   clea n   d ata.   T h e y   u s ed   r eg u lar   ex p r ess io n   to o ls   to   r em o v e  u n n ec es s ar y   ta g s ,   E n g l is h   le x ico n   to   f ilter   o u t  w o r d s   i n   lan g u ag e s   o th er   t h a n   E n g li s h ,   a n d   a n   ex ter n al   s o u r ce   to   eli m in a te  s to p   w o r d s .   T h e y   ai m ed   to   d is co v er   p eo p les’   o p in io n s   b y   u s in g   to p ic  m o d els,   s en ti m e n t  a n al y s is   a s   w ell  a s   g eo lo ca tio n   i n f o r m atio n .   I n   th e  e m a il  co m m u n icat io n s ,   d ata  clea n in g   w as   ap p lied   b y   [ 16 ]   to   r em o v e  n o n - es s en t ial  i n f o r m atio n   f r o m   t h e  co r p u s ,   s u ch   a s   m es s ag e  I D,   m es s ag e   ti m e s ta m p ,   s e n d er   an d   r ec eiv e r   in f o r m a t io n   as  w el l a s   all  m e s s a g es  w it h   i n v al id   e m ail  ad d r ess es.     3 . 2 .   Da t a   i nte g ra t io n   I n co n s i s te n c y   a n d   r ed u n d an c y   in   s o cial  d ata  ar e  v er y   lik el y   b ec au s e  u s er s   h a v e   d if f er e n t   p er s p ec tiv es  a n d   s h o w   a  d i f f er en t  b eh a v io u r   [ 13 ] .   Data   i n teg r at io n   ai m s   at  co m b in i n g   d ata  f r o m   s e v er al  s o u r ce s   i n to   co h er en t  d ata  s to r ag e  [ 10 ] .   T h is   task   i s   n o t  s i m p le  [ 9 ]   as  it  r eq u ir es  ac h iev i n g   a  m atc h   b et w ee n   d if f er e n t  s c h e m a  t y p es.  I n co m p lete  o r   in ef f icie n t  d ata  in te g r atio n   ca n   ca u s e  i n co n s is ten c y   an d   r ed u n d a n c y ,   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 8 - 8708   I n t J   E lec  &   C o m p   E n g ,   Vo l.  9 ,   No .   4 ,  A u g u s t   201 9   :   2 6 2 0   -   2626   2622   w h ile   a  p r o p er   i m p le m en ta tio n   w i ll  u n d o u b ted l y   e n h an ce   a cc u r ac y   an d   s p ee d   u p   later   p r o ce s s es.  T ec h n iq u e s   o f   d ata  in te g r atio n   i n cl u d e  en tit y   id en ti f icatio n ,   t u p le  d ed u p licatio n ,   r ed u n d an c y   a n d   co r r elatio n   an al y s i s ,   as  w ell  a s   d ata  v al u e  co n f lict d et ec tio n   an d   r eso lu t io n .     3 . 3 .   Da t a   t ra ns f o rm a t io n   Data   tr an s f o r m atio n   ai m s   a t  c o n v e r ti n g   d ata  i n to   a  u s ab le  a n d   u n d er s ta n d ab le  f o r m a t.  T h e  g o al  i s   t o   h av e  m o r e  ef f icie n t  d ata  m i n i n g   o p er atio n s   [ 10 ] .   Stra teg ies   f o r   d ata  tr an s f o r m a tio n   i n cl u d e  d ata  s m o o t h in g ,   f ea t u r e  co n s tr u ctio n ,   n o r m aliz atio n ,   d is cr etiza tio n ,   g en er aliz atio n ,   as  w ell  a s   co n ce p t  h ier a r ch y   g en er atio n   o f   n o m i n al  d ata.   T h ese  s u b ta s k s   r eq u ir e  h u m a n   s u p er v i s i o n   an d   ar e  h ig h l y   d ep en d e n t  o n   th e  d ata  b ein g   p r ep r o ce s s ed   [ 17 ] .   Ho w e v er ,   d ata  tr an s f o r m atio n   f o r   s o cial  d ata  f ac es  a  n u m b er   o f   c h alle n g es  [ 5 ]   in cl u d in g :   a.   Data   h a v i n g   d if f er e n t  f o r m at s .   T h is   is   b ec au s e  t h e  s o cial   d at a  ex tr ac ted   f r o m   o n li n e  w eb s i tes  ca n   b e  b o t h   ca teg o r ical  an d   co n ti n u o u s .   A   p r o p er   co n v er s io n   b et w ee n   t h e  t w o   t y p e s ,   in   t h is   ca s e,   i s   r eq u ir ed .   b.   A p p licatio n   d ep en d en c y ,   w h ic h   m ea n s   t h at  ea c h   d ata  m an a g e m en t to o l h a s   it s   u s es a n d   ca n   d ea l  w it h   o n l y   p ar ticu lar   t y p es  o f   d ata.   Fo r   e x a m p le,   s o m e  to o ls   ( e. g . ,   P a j e k   an d   UC I NE T )   ar e  s tan d alo n e  ap p licatio n s ,   w h ile  No d eXL   i s   a  u ti lit y   to o lk it.  So m e  p ac k ag e s   ar e  p r o v i d ed   w it h   p r o g r a m m i n g   u tili t i es  ( e. g . ,   J UNG   an d   SN A P - G A U SS )   w h er ea s   o th er s   p r o v id e  a  g r ap h ical  u s e r   in ter f ac e  th at  r eq u ir e s   n o   s cr ip tin g   u tili ties .   Fin all y ,   s o m e  to o ls   ar e  f r ee   s o f t w ar e  ( e. g . ,   ST R UC T UR E   an d   StO C NE T )   w h ile  o t h er s   h av e   co m m er cial   licen s e s ,   s u ch   a s   I n Flo w   a n d   So cio Me tr ic  L in k A l y ze r .   c.   Data   p r iv ac y   an d   u s er   p er s o n al  in f o r m atio n   t h at  ca n   b e  b r o k en   th r o u g h o u t  d ata  tr an s f o r m a tio n .   On e  o f   th e   r e m ed ies is   to   u s e  d ata  an o n y m izatio n .   Sev er al  s t u d ies  h av e  ad d r ess e d   th is   is s u e.   Fo r   ex a m p le,   an d   r eg ar d in g   d ata  tr an s f o r m atio n   o f   e m ail   co r p u s ,   [ 16 ]   p r o p o s ed   th e  tr an s f o r m atio n   o f   d ata  i n to   a  h i er ar ch ical  s tr u c tu r e,   w h ich   ca n   b e  ac h ie v ed   b y   g r o u p in g   th e  o b j ec t - b ased   r elatio n s h ip s   o f   p eo p le  in to   a  h ier ar ch y .   Ob j ec ts   in   th i s   u n i f ied   s tr u ct u r e  r ep r esen t   e m ail s   o r   th r ea d s ,   w h ile  ea ch   o n e  ca n   p er f o r m   d if f er en t  r o les,  s u ch   a s   a  m ail  s e n d er ,   m ail  r ec eiv er ,   th r ea d   cr ea to r   o r   th r ea d   p ar ticip an t.  T h e  n e x t s tep   o f   s o cial  d ata  p r ep r o ce s s in g   w o u ld   in c lu d e  f latt en in g   t h e  h ier ar ch y   o f   o b j ec ts   in to   o n e  s e lecte d   l ev el,   f o llo w ed   b y   m u lt i - la y er i n g   o f   t h e  s o cial  n et w o r k   ( s ee   th e  s a m e  p r e v io u s   r ef er en ce   f o r   m o r e  d etail s ) .   T h e  a u th o r s   in   [ 12 ]   p er f o r m ed   d ata  s te m m i n g   on   b lo g   p o s t s   to   tr an s f o r m   a ll  t h e   ter m s   i n to   t h eir   m o r p h o lo g ica l  r o o ts   w ith   th e   h elp   o f   t h e  s t e m m er   p o r tal.   I n   a  d if f er en t  s tu d y ,   [ 15 ]   ap p lied   r eg u lar   ex p r es s io n   tech n iq u es   to   n o r m alize   s o m e  w o r d s   to   th eir   s tan d ar d   f o r m .   T h e y   also   ap p lied   P o r te r   s te m m i n g   to   s te m   w o r d s   i n to   a  u n i f ied   f o r m .     3 . 4 .   Da t a   r educt io n   D ata  r ed u ctio n   ai m s   at  r ed u cin g   t h e  s ize  o f   d ata  w h ile  k ee p in g   i n f o r m atio n   lo s s   at  a  m i n i m u m   [ 10 ] .   T ec h n iq u es o f   d ata  r ed u ctio n   i n clu d e:    a.   Di m e n s io n alit y   r ed u ctio n :  r ed u cin g   t h e  n u m b er   o f   a ttrib u tes  o r   r an d o m   v ar iab les  b y   u s in g   tec h n iq u e s   s u c h   as  p r in cip al  co m p o n e n t   an al y s is ,   w a v elet  tr an s f o r m a tio n ,   attr ib u te  s u b s et  s elec tio n   an d   attr ib u t e  cr ea tio n .   T ex t  d ata  ex tr ac te d   f r o m   o n l in e  s o cial  n e t wo r k s   ca n   b e  e x tr e m el y   s p a r s e  an d   h ig h -   d i m en s io n al  [ 18 ] .   Hig h   d i m en s io n alit y   t y p ica ll y   m ea n s   t h at  th er e  ar e  1 6   o r   m o r e  d ata  attr ib u tes.  I n   s u c h   d ata  o r ien tatio n s ,   t h e  n at u r e  o f   g eo m etr ical  o b j ec ts   an d   t h e  co n ce p t  o f   p r o x i m it y   ar e  n o t  t h e  s a m e  as   t w o   o r   th r ee   d i m en s io n s .   Data   cle an in g ,   w h ic h   ai m s   a t  r e m o v i n g   u n d esire d   co n ten t,  ca n   b e   co n s id er ed   o n e   m et h o d   f o r   r ed u cin g   d ata  s ize.   b.   Nu m er o s it y   r ed u c tio n :  ac h ie v in g   s m al ler   d ata  r ep r esen tatio n s   b y   u s i n g   s p ec ial  tech n iq u e s   s u c h   a s   p ar am etr ic  m o d el s   ( s u c h   as  r eg r ess io n   an d   lo g - l in ea r )   an d   n o n p ar a m etr ic  m o d els  ( s u c h   as  s a m p l in g ,   h is to g r a m s ,   clu s ter in g ,   an d   d at a  cu b e  ag g r e g atio n ) .     c.   Data   co m p r es s io n :   co m p r ess i n g   d ata  to   o b tai n   a   r ed u ce d   c o p y   o f   th e   o r ig i n al  d ata.   R e s u ltan t   d ata  ca n   b e   eith er   lo s s le s s   o r   lo s s y ,   d ep en d in g   o n   w h et h er   th er e  w as a   lo s s   o f   i n f o r m atio n   d u r in g   d ata  co m p r es s io n .   B o th   d i m e n s io n alit y   r ed u ctio n   a n d   n u m er o s it y   r ed u ctio n   ca n   b e  ap p lied   to   s o cial  d ata   to   h a v e   a   s m al ler   d ata  v o lu m e  w h ile  at  th e  s a m e  ti m e  p r o d u cin g   th e  s a m e  ( o r   n ea r   th e  s a m e)   m i n i n g   r esu lts .   Fo r   ex a m p le,   to   p r o v id e  s m all er   r ep r esen tatio n s   o f   t h e  o r ig i n al  d ata,   [ 13 ]   p er f o r m ed   d i m e n s io n alit y   r ed u ctio n   o n   a  T w itter   co r p u s   to   r em o v e  u s eles s   k e y w o r d s   f r o m   t h e  o ld   m es s ag e s ,   an d   u s ed   n u m e r o s it y   tech n iq u e s   to   r ep lace   u s er ’ s   m ess a g es   w it h   th e  lea s t  p o s s ib le  k e y w o r d s   th at  r ep r esen t   th e  m ai n   t y p es  an d   s i g n i f ica n t   s ec tio n s   o f   t h e  m es s ag e s .   I n   a   d if f er e n t  s t u d y ,   [ 19 ]   ap p lied   attr ib u te  r ed u ctio n   to   i m p r o v e   th e  p er f o r m an ce   o f   s p a m   d etec to r s   o n   T w itter   d at a  b y   co m p u ti n g   co r r elatio n   co ef f icien ts   b et w ee n   attr ib u tes   [ 2 0 - 22] .       4.   CASE   S T UD Y:   F L I G H T   M H 3 7 0   T h is   s ec tio n   d is cu s s e s   h o w  w e  i m p le m e n ted   p r ep r o ce s s i n g   to   Fli g h t  MH 3 7 0   s o cial  d ata.   Af ter   p r ep r o ce s s in g ,   w e  u s ed   th e  r esu l tan t  d ata  to   ex a m i n e  th e  f li g h t  co m m u n it y   s tr u ct u r e,   d is co v er   t y p es   o f   s o cial  r elatio n s h ip s ,   r ev ea l  th e  tr u t h   b eh i n d   s o m e  o f   t h e  u n u s u a l  ev e n ts ,   a n d   s tu d y   p eo p le  co p in g   b eh av io r   ( ad ap tatio n   p atter n s )   d u r in g   d is aster   ti m e  [ 2 3 ] .   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J   E lec  &   C o m p   E n g     I SS N:  2088 - 8708       On lin e  d a ta   p r ep r o ce s s in g :   a   ca s e  s tu d y  a p p r o a ch   ( Mo h a m med   Zu h a ir   A l - Ta ie)   2623   T h e  B o ein g   7 7 7 - 2 0 0   E R ,   w h ich   ca r r ied   2 3 9   in d iv id u als,  l ef t  Ku ala  L u m p u r   I n ter n atio n al  A ir p o r t  ( KL I A )   at  1 2 . 4 1   am .   I t  w as   s u p p o s ed   to   lan d   at   B ei j in g   C ap i tal  I n ter n a tio n al  A ir p o r t  af ter   s ix   h o u r s .   Ho w e v er ,   th e  B o ein g   d is ap p e ar ed   f r o m   r ad ar   af ter   o n l y   4 0   m i n u tes  f r o m   it s   ta k e - o f f .   T h e  p ass e n g er s   w er e   f r o m   C h i n a,   Ma la y s ia,   I n d o n esia,  Au s tr alia,   Fra n ce ,   I n d ia,   Un i ted   State s ,   Ne w   Z ea la n d ,   C a n ad a,   U k r ain e,   R u s s i a,   T ai w a n ,   I tal y ,   Neth er l an d s ,   an d   Au s tr ia.   A   g r o u p   o f   em p lo y ee s   f r o m   th e  Am er ica n - b a s ed   Fre escale   Se m ico n d u cto r   C o r p o r atio n   w a s   o n   a  v is it   to   C h i n a  to   ta k e  a  tec h n ical  co u r s e  f o r   o n e   m o n th .   A  g r o u p   o f   C h i n e s e  ar tis t s   w a s   o n   th e   wa y   b ac k   f r o m   a  v is i t  to   a  c u lt u r al  ex h ib itio n   i n   t h e  Ma la y s ian   ca p ital,  t h e m ed   C h i n e s e  Dr ea m :  R ed   a n d   Gr ee n   P ain t in g .   So m e  p as s e n g er s   w er e  o n   tr a v el  f r o m   C h i n a  to   Ma la y s ia   to   atte n d   a   B u d d h is t r eli g io u s   ce r e m o n y .   T h e  air p lan e  also   ca r r ied   a  g r o u p   o f   w o r k er s   w h o   w o r k ed   in   Sin g ap o r e,   a  g r o u p   o f   to u r is ts   w h o   w er e  o n   a  tr ip   to   Nep al,   a  n u m b er   o f   f a m ili es,  as  w ell  as  p as s en g er s   j u s t  m ak in g   a  s to p o v er .   T h e  cr ew   o f   th e  air p lan e  h as 1 2   Ma lay s ia n   citize n s   ( 2   p ilo ts   an d   10   atten d an ts ) .     4 . 1 .   M H 3 7 0   s o cia l da t a   c o llect io n   As  w e  s aid   ea r lier   in   “ o n li n e  s o cial  d ata  co llectio n ,”   co llectin g   s o cial  d ata  is   n o t  s tr ai g h tf o r w ar d   an d   r eq u ir es  m u c h   e f f o r t,  in   p ar tic u lar ,   th a t  s u c h   d ata  ar e  u n s tr u ctu r ed   an d   co m e  f r o m   v ar io u s   s o u r ce s ,   ad d ed   to   o th er   is s u es s u c h   as st o r a g e,   p r o ce s s in g ,   an d   d y n a m icit y   o f   t h e  n et w o r k .   T h e  d ataset  th at  w e  co llected   ca m e  f r o m   te n s   o f   d i f f er en t  o n lin e  n e w s   w eb s i tes  ( s u c h   a s   T h e  Ne w  I n d ian   E x p r es s ,   Y A HOO !   Ne w s   Ma la y s ia,   th e  E co n o m ic  T im es,  C NN. co m ,   t h e  Dail y   E x p r ess ,   an d   I n d ia   T o d ay ) .   Data   g a th er i n g   w as  d o n e   o v er   Ma r ch   an d   A p r il  i n   2 0 1 4   c o v er in g   t h e  e v en t s   f r o m   w h en   t h e  air p lan e   d is ap p ea r ed   u n til   late  o f   A p r i l,  w h e n   m o s t   o f   th e   i n ter n at i o n al  e f f o r ts   to   lo ca te  th e   m is s in g   f li g h t  s to p p ed ,   w it h o u t a ch ie v i n g   t h eir   g o als.   On li n e  n e w s   m ed ia  ad d r ess ed   th is   e v en t  i n   th r ee   d i f f er e n t  w a y s :  h o w   th e  air p lan e  d is ap p ea r ed ,   th e   b ac k g r o u n d   o f   t h e  p as s en g er s ,   h o w   r elati v es  w er e  in ter a ctin g   w it h   n e w s   a n d   t h e  e f f o r ts   m ad e  b y   t h e   in ter n a tio n al  s o ciet y   to   lo ca te  th e  m is s in g   air p lan e.     4 . 2 .   M H 3 7 0   s o cia l da t a   prepa ra t io n   As  w e  s aid   ea r lier   in   t h i s   s t u d y ,   i n   o r d er   to   ef f icien tl y   m i n e  an d   an a l y ze   co llected   d ata,   d ata  p r ep r o ce s s in g   m u s t  b e  i m p le m en ted   as  a  s er ies  o f   s eq u en tial  s tep s .   Firs t:  d ata  clea n i n g ,   w h ich   ai m s   at   eli m i n ati n g   ir r elev a n t   a n d   r ed u n d a n t  co n ten t?   Seco n d :   d ata  in te g r atio n ,   w h ic h   a i m s   at   in teg r ati n g   d ata  f r o m   d if f er e n t  s o u r ce s   in to   a  u n i q u e  an d   u n if o r m   d ata  en d p o in t.  T h ir d :  d ata  tr an s f o r m at io n ,   w h ic h   ai m s   at  co n v er ti n g   t h e  r esu lta n t  d ata  in to   a  f o r m at  th at  i s   ea s y   f o r   an al y s is .   Fi n all y :  d ata  r ed u ctio n ,   w h ic h   ai m s   at   h av i n g   a  s m aller   ( b o th   in   v o lu m e  a n d   d i m e n s io n ) ,   co n cis e  an d   clea n ,   r ep r esen tatio n   o f   th e  d ata  t h at  w il l   u n d er g o   a n al y s is   la ter .     4 . 2 . 1 .   M H 3 7 0   s o cia l da t a   cle a nin g   T h e  f ir s t  s tep   o f   Fli g h t  MH 3 7 0   d ata  p r ep r o ce s s in g   w as   to   ch ec k   a n d   ev al u ate  all  th e  attr i b u tes  o f   t h e   o r ig in al   d ata.   A s   w e  d o   i n   o th e r   d ata  clea n i n g   p r o ce s s es,  w e   p r io r itize  d ata  q u ali t y   o v er   d ata  s ca le .   I t  is   p r ef er ab le  to   r e d u ce   d ata  v o lu m e  to   h av e  m o r e  r ep r esen tati v e  in f o r m atio n ,   r ath er   th a n   p o o r   an d   in co n s is te n t d ata.   I n   th e  ca s e  o f   Fli g h t  MH 3 7 0 ,   w h er e  d ata  w er e  co llected   f r o m   v ar io u s   o n li n e  s o u r ce s ,   p ass en g e r   d em o g r ap h ic  i n f o r m atio n   w a s   m o s tl y   i n co n s is te n t,  a m b i g u o u s   o r   m i s s i n g .   A cc o r d in g l y ,   w e  p r ef er r ed   to   r e m o v e  all  d e m o g r ap h ic  attr ib u tes  e x ce p t  “Ag e .”   As  w il l  b e  d escr ib ed   in   s u b s eq u en t  s ec ti o n s ,   w e  u s ed   ag e s   to   d if f er e n tiate  u s er s   h a v i n g   th e  s a m e  n a m e  a n d   to   h elp   ex p l o r e   g r o u p s   an d   co n n ec tio n s .   Usi n g   P aj ek   So f t w ar e,   i t  w a s   p o s s ib le   to   d etec t  v i s u all y   a n d   co r r ec t  s o m e  o u tlier s   a n d   in co n s is te n cie s   r elate d   to   th e  p ass en g er   ag e.   W e  w er e  ab le  to   p r o b e   s o m e  d ata  s o u r ce s   an d   i d en ti f y   in co n s is te n cie s ,   an d   u s i n g   o t h er   d ata  s o u r ce s   an d   r el y i n g   o n   m o s t  co m m o n   d ata  a m o n g   s u c h   s o u r ce s ;   we   co u ld   s m o o th   o u t n o i s y   d at a  lik e  th a t.   I n   th is   p h a s e,   w e  r e m o v ed   u n w a n ted   an d   ir r elev an t  in f o r m atio n   f r o m   d ata.   Fo r   a   s tu d y   o n   s o cia l   n et w o r k s ,   w e  w er e  co n ce r n e d   o n ly   w i th   t h e  in f o r m atio n   t h at  w o u ld   h elp   r ev ea l  r elatio n s   an d   co n n ec tio n s   b et w ee n   p ass en g er s .   I t  w a s   a  ti m e - co n s u m in g   tas k   s i n ce   o n lin e  s o cial  d ata  ten d   to   h av e  n o is e,   o u tlier s ,   m is s i n g   v al u es  a n d   o th er   i n co n s i s te n cies .   Ot h er   m eth o d s   a n d   p a ck ag es  ca n   also   b e  u s ed   b y   d ata  s cie n ti s ts   f o r   th is   p u r p o s e,   s u c h   th e  R   So f t war e;  an d   P y t h o n   p ac k a g es  f o r   d ata  m a n ip u latio n ,   s u c h   as P an d as a n d   N u m P y .     4 . 2 . 2 .   M H 3 7 0   s o cia l da t a   inte g ra t i o n   W e  co llected   o u r   d ata  f r o m   d i f f er en t  s o cial  m ed ia  w eb s ites   o v er   t w o   m o n th s .   B ec au s e  th e   d ata  w er e   m o s tl y   u n s tr u ct u r ed   tex t,  w e  h ad   to   r u n   s o m e  d ata  m a n ip u l atio n   s cr ip ts   to   p r o ce s s   th e  tex t.  T h e  g o al  w a s   to   ex tr ac t a   s i m p le   an d   m o r e  u n i f ied   d ata.   I n   th i s   p h ase,   w e  d etec ted   an d   s o lv ed   d ata  v al u e  co n f lict s   o n   p ass e n g er   d ata  s u ch   as   th e  u s e  o f   d if f er e n t  r ep r esen ta tio n s ,   an d   d if f er e n t  s ca les  ( i.e . ,   m etr ic   v s .   B r itis h   u n its ,   o r   o th er s ) .   Af ter w ar d s ,   w e   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 8 - 8708   I n t J   E lec  &   C o m p   E n g ,   Vo l.  9 ,   No .   4 ,  A u g u s t   201 9   :   2 6 2 0   -   2626   2624   r ef o r m u lated   an d   u n i f ied   t h e  d ata  s u c h   t h at   w e  s to r ed   p ass en g er   in f o r m at io n   i n   m o r e  r e co g n izab le  f o r m at s .   A ll  t h e  i n f o r m atio n   ab o u t  t h e  f li g h t  p ass en g er s   a n d   th eir   f a m ilie s   th at  w e  w er e  ab le  to   in t eg r ate  ar e   s h o w n   i n   Fig u r e  1 .           Fig u r e  1 .   R a w   d ata  o f   Fli g h t  MH 3 7 0       In   Fig u r e   1   ab o v e,   th e  d ata  th at  d escr ib e  n a m es,  n atio n al itie s ,   an d   ag es  w er e  ex p a n d ed   f r o m   MH 3 7 0   P ass en g er   Ma n i f est,  r elea s ed   b y   Ma la y s ia  A ir li n es  t h e  s a m e  d a y   o f   th e  d is as ter .   C o lu m n   “Co n n ec ted - to ”  r ep r esen ts   th e  p eo p le  th at  a  p ar ticu lar   p ass en g er   is   co n n ec t ed   to .  T h is   in clu d es  f a m il y   m e m b er s ,   co - w o r k er s ,   an d   f r ien d s .   T h e  d ata  in   th at   co l u m n   w er e  co llected   b ased   o n   s tate m e n ts   f r o m   f a m il y   m e m b er s ,   j o u r n al   r ep o r ts   o r   o f f icial s .   Ho w e v er ,   o f f icia ls   w er e  ac cu s ed   o f   g i v i n g   litt le  i n f o r m atio n   ab o u t th e  a cc id en t.    C o lu m n   “Alter n at iv e  Na m e”   h as  t h e  n a m es  t h at  w e  u s ed   later   f o r   an al y s is   i n s tead   o f   t h e  lis t  o f   n a m e s   p r o v id ed   b y   t h e  MH 3 7 0   P ass en g er   Ma n if e s t  w h ich ,   i n   tu r n ,   ar e  s h o w n   in   co l u m n   “P ass en g er   Na m e .”   E ac h   n a m e  i n   co l u m n   “Alter n ati v e  Na m e”   b eg i n s   w it h   t h e  p ass en g er ’ s   f ir s t  n a m e  f o ll o w ed   b y   t h e  f a m il y   n a m e  ( n a m es  w i th   t w o   p ar ts   w er e  al s o   co n s id er ed ) .   W e  also   r em o v ed   u n n ec e s s ar y   w o r d   ca p italizatio n s   a n d   s u f f ix ed   t h e  s ec o n d   n a m e  o f   ea ch   p ass en g er   w it h   h is /h er   ag e  to   av o id   n a m e  co n f u s io n s   ( f o r   in s ta n ce ,   th e   n a m e  Zh a n g   Ya n   ( 3 6 )   is   also   t h e  n a m e  o f   an o t h er   p ass e n g er ,   Zh a n g   Ya n   ( 4 5 ) ) .   Fo r   s im p lici t y ,   w e  p r ef er r ed   to   u s e  o n l y   t h e  p ass e n g er ’ s   f ir s t  an d   s ec o n d   n a m e  f o llo w ed   b y   ag e.   C o lu m n   “S y m b o l”  h a s   th e  la b els  th at  w e  g a v e  to   th e  p as s en g er s .   Fo r   ex a m p le,   P 1 ,   P 2 ,   P 3   r ef er ,   r esp ec tiv el y ,   to   t h e  f ir s t   t h r ee   p ass en g er s   A mb r e  W a tt r elo s   ( 1 4 ) ,  A n   W en la n   ( 6 5 )   a n d   A n d r ew  N a r i   ( 4 9 )   in   th e   tab le.   T h ese  s y m b o l s   w er e  u s ed   to   lab el  n o d es  w h e n   w e  b u ilt  t h e  g r ap h ical  r ep r esen tat io n s .   C o lu m n   “ B ac k g r o u n d ”  co n tain s   in f o r m atio n   o v er   t w o   m o n t h s   ab o u t  th e  p ass en g er s .   I t  tells   ab o u t  th e  ca r ee r ,   m ar ita l   s tatu s ,   f a m il y   m e m b er s ,   a n d   f r ien d s h ip s   o f   ea c h   o n e.     4 . 2 . 3 .   M H 3 7 0   So cia l D a t a   T ra ns f o r m a t io n   On e  o f   th e  tas k s   th at  w er e   ac tiv el y   p r ese n t  w h e n   w e  b u ilt  o u r   d atab ase  w a s   d ata  tr an s f o r m atio n   o f   th e  p ass e n g er   n a m e.   W e  u s ed   a  s i m p le  h e u r is tics   f o r   th is   p u r p o s e.   T h e  task   in cl u d ed   r ev ie w i n g   t h e  tab le  r o w   b y   r o w ,   tr a n s f o r m i n g   ea c h   n a m e  in to   m o r e  a  p r o p er   s tr u ctu r e  ( i.e . ,   alter n ativ e  n a m e) ,   an d   g iv i n g   it  a  p r o p er   id en ti f ier   ( i.e . ,   lab el) .   On e  o f   t h e  th i n g s   t h at  w e  d id   f o r   d ata  tr an s f o r m at io n   w as  ad d in g   ex tr a  n o d es  th at  s er v e   p ar ticu lar   p u r p o s es.  Fo r   ex a m p le,   in   ad d itio n   to   t h e  o r i g i n al  2 3 9   n o d es,  p ass e n g er   n o d es   w er e  tied   to   a  ce n tr al  n o d e,   ca lled   “ Fli g h t ,”   to   s h o w   t h at   all  t h e  p ass e n g er s   w er e   p r esen t  at   t h e  s a m e   ev e n t  a n d   w er e  p ar t  o f   t h e  f li g h t   n et w o r k   s tr u c tu r e .   An o th er   n o d e  “ Si n g ap o r e”   w as   ad d ed   to   co n n ec t  th e  C h i n ese  w o r k e r s   w h o   w o r k ed   i n   Sin g ap o r e  alto g et h er .   T h r ee   o f   th o s e  w o r k er s   w er e  co n f ir m ed   to   b e  f r ie n d s   a n d   to   k n o w   ea c h   o th er ,   a n d   th er ef o r e,   t h e y   w er e  d ir ec tl y   c o n n ec ted   to   ea c h   o t h er   an d   th e   ce n tr al   n o d e  o f   th e  g r o u p .   T h e  r esu lt in g   n et w o r k   is   a  s m a ll u n d ir ec ted   n et w o r k   th at  h a s   n o   lo o p s ,   h a v in g   ev er y   t w o   p ass e n g er s   co n n ec ted .   Sin ce   o u r   d ata  p r ep r o ce s s in g   w a s   m o s tl y   i n v o l v ed   in   te x t  m an ip u latio n ,   w e  d id   n o t  n ee d   to   p er f o r m   ( ex ce p t  f o r   f ea tu r e  co n s tr u ct i o n )   o th er   t y p es  o f   d ata  tr an s f o r m atio n .   Nev er t h eles s ,   an d   d ep en d in g   o n   t h e  Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J   E lec  &   C o m p   E n g     I SS N:  2088 - 8708       On lin e  d a ta   p r ep r o ce s s in g :   a   ca s e  s tu d y  a p p r o a ch   ( Mo h a m med   Zu h a ir   A l - Ta ie)   2625   m i n in g   p u r p o s e,   o th er   m et h o d s   ar e  also   u s ed   f o r   d ata  tr an s f o r m atio n .   T h is   in cl u d es  d ata  ag g r eg at io n   ( s u m m ar ize   n u m er ic  attr ib u t es  b ased   o n   t h eir   co n ce p t   h ier ar ch y ) ,   d ata  g e n er aliza tio n   ( an alo g o u s   to   ag g r e g atio n   b u t  f o r   n o m i n al  attr ib u tes),   d ata  n o r m al izatio n   ( s ca li n g   n u m er ic  at tr ib u te  v alu e s   to   f al l  w it h i n   s p ec if ied   r an g es),   an d   o th er s .     4 . 2 . 4 .   M H 3 7 0   s o cia l da t a   r educt io n   As  w e   m e n tio n ed   ea r lier   i n   th e  d ata  c lean i n g   s ec tio n ,   d a ta  p r ep r o ce s s in g   s h o u ld   p r io r itize  d at a   q u alit y   o v er   d ata  s ca le .   I n   th is   w a y ,   d ata  r ed u ctio n   t h at   w e  p er f o r m ed   o n   f lig h t   MH 3 7 0   d ata  h a s   al s o   g iv e n   u p   o f   s o m e   d ata  v o lu m e  in   e x c h an g e  f o r   m o r e  r ep r e s en tati v e  an d   co n s is te n t  in f o r m at io n .   I t  is   im p o r tan t  to   h ig h li g h t  t h at  th e  o p er atio n s   p er f o r m ed   d u r i n g   d ata  clea n i n g   h a v e  a  d if f er en t  p u r p o s e  f r o m   th e s e  p er f o r m ed   in   d ata  r ed u ctio n .   W h ile  th e  ea r lier   aim s   at  eli m i n ati n g   n o is y   a n d   in co n s is te n t  d ata,   th e  la t ter   aim s   at  r ed u cin g   d ata  r ep r esen tatio n   an d   m a k i n g   it si m p ler   an d   m o r e  u s e f u l,  p ar ticu lar l y   f o r   v i s u al  a n al y s i s .   T h e  tab le  d is cu s s ed   ea r lier   co n tai n s   s o m e  r a w   d ata  t h at  w e   d id   n o t  n ee d   d u r i n g   th e   an al y s i s   p h a s e.   T h er ef o r e,   w e  e x tr ac ted   o n l y   th e  d ata  t h at   s h o w   th e   r elatio n s h ip   b et w ee n   t h e  p eo p le  w h o   j o in ed   th e  f lig h t.   W e  co m p iled   th e  r es u lta n t d at a  in to   a  n e w   Mic r o s o f t E x ce l  f ile  as sh o w n   i n   Fi g u r e  2 .           Fig u r e  2 .   Sa m p le  d ata  f r o m   F l ig h t M H3 7 0   d ataset       T h e  d ataset  is   av ailab le  f r o m   t h e  f ir s t  au t h o r ’ s   an d   GitHu b   ( h ttp s :// g it h u b . co m / m o h a m m ed - taie/Fli g h t - M H3 7 0 )   r ep o s ito r y .   T h e  d ataset  h as 2 4 1   v er tices a n d   1 5 6 3   e d g es,  an d   co n tai n s   t h r ee   co lu m n s :   1.   C o n n ec ted - to : i n d iv id u als t h at   a  p ar ticu lar   p ass en g er   is   co n n ec ted   to   2.   Na m es : n a m es t h at  w er e  u s ed   d u r in g   d ata  an al y s i s   3.   L ab els : la b el s   th at  w e  g a v e  to   th e  p ass e n g er s   I t  w as  es s en tial   to   tr an s f o r m   t h e  d ataset  in to   th e  “ . n et”  f o r m at  b ef o r e  em b ar k i n g   o n   d ata  an al y s i s   an d   d ata  v is u aliza tio n .   T h e  r esu lti n g   . n et  f ile  h a s   t w o   p ar ts :   1.   Ver tices to   d en o te   f l ig h t  p as s e n g er s .   Fo r   d ata  v is u aliza tio n ,   all  th e   v er tice s   w er e  g i v e n   t h e  s a m e   s h ap e  an d   th e  s a m e  s ize,   ev e n   th o u g h   th e y   m a y   h a v e  a  d if f er e n t  n u m b er   o f   co n n ec tio n s .   A   f e w   ad d itio n al  v er tice s   w er e  also   ad d ed   to   ac h iev e  p ar ticu lar   b en e f its .   2.   E d g es  to   co n n ec t   th e   m e m b er s   o f   th e   s a m e  g r o u p   a n d   to   c o n n ec t  th e   d if f er en t   g r o u p s .   F o r   a  b etter   d ata  v is u aliza t io n ,   ed g e  lab els  a n d   w ei g h ts   w er e  eli m i n ated .   L a b els  an d   w ei g h t s   ar e  s o m e ti m es  u s ed   to   s h o w   th e  s tr e n g t h   ( a m o n g   o th er   th i n g s )   o f   a  co n n ec tio n   b et w ee n   t w o   n o d es.    Dep en d in g   o n   h o w   b i g   th e  d ata  ar e,   o th er   m et h o d s   ca n   also   b e  ap p lied   f o r   d ata  r ed u ctio n   s u c h   as   clu s ter i n g   ( g r o u p in g   s a m p le   v alu es   in   cl u s ter s   b ased   o n   a  s i m ilar it y   m ea s u r e)   a n d   s a m p li n g   ( tak i n g   a   s a m p le   s et  o f   ac to r s   f r o m   t h e  co m p let e  s et) .   C o n n ec ti n g   t h e  n o d e s   h elp ed   u s   s p o t  t h r ee   lar g e  co m m u n i t y   s tr u ct u r es  [ 20 ] :  th e  “ A r tis t s   Gr o u p ,”   co n s is tin g   o f   2 9   m e m b er s ,   th e   “ Fre esca le  Se m ico n d u c to r ”  g r o u p ,   co m p r is ed   o f   1 5   m e m b e r s   an d   th e  “ A ir cr a f t   C r e w ”   co n s is ti n g   o f   1 2   m e m b er s .   Oth er   s m aller   g r o u p s   in clu d e  s i x   p eo p le   an d   f i v e  p e o p le   f a m i lies   f r o m   C h i n a,   f o u r   p eo p le   f a m il y   f r o m   Ma la y s ia,   a  Fre n c h   f a m il y ,   an   Au s tr alian   f a m il y ,   a n d   o th er s .   T h e  an al y s is   also   s h o w ed   8   no d es  ( t w o   p il o ts ,   f i v e  to d d ler s ,   an d   o n e  p h y s ical l y   c h alle n g ed   eld er l y   wo m a n )   t h at  ar e  n o t   d ir ec tl y   co n n ec ted   to   n o d e  “ Fl ig h t .”     Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 8 - 8708   I n t J   E lec  &   C o m p   E n g ,   Vo l.  9 ,   No .   4 ,  A u g u s t   201 9   :   2 6 2 0   -   2626   2626   5.   CO NCLU SI O N   T h e  g o al  o f   t h i s   s tu d y   is   to   u n d er s tan d   d ata  p r ep r o ce s s in g   in   t h e  li g h t  o f   Fl ig h t  M H3 7 0   s o cial  d ata.   Data   p r ep r o ce s s in g   is   a  cr it ic al  p ar t  o f   d ata  s cie n ce   p r o j ec ts ,   m a in l y   t h at  r ea l - w o r ld   d ata  o f ten   h a v e  n o is e,   o u tlier s ,   m i s s in g   v al u es  a n d   o th er   in co n s is ten cie s .   T h e  s tep s   s h o u ld   b e  in tr o d u ce d   ef f icie n tl y ,   s u p p o r ted   b y   h u m a n   e x p er ien ce ,   a n d   to   b e  a p p lied   m o r e  t h a n   o n ce .   I t  i s   co m m o n   th at   t h e  p r ep r o ce s s in g   s tep s   ar e  r eiter ated   if   t h e  r esu l ts   o f   d ata  m in in g   ar e  s ig n i f ican tl y   d i f f er en t  f r o m   w h at  is   e x p ec ted .     Han d lin g   o n li n e  s o cial  d ata  ( r eg ar d in g   d ata  co llectio n   a n d   d ata  p r ep r o ce s s in g )   is   a   h ar d   ta s k   a n d   ca n   b ec o m e   ev e n   m o r e  co m p l icat ed   if   th e   d ata  t h at   w e  ar e  co n c er n ed   w it h   co m e  f r o m   o n li n e  n e w s   p ag e s   t h at  ar e   co m m o n l y   k n o w n   to   h a v e  p r o b le m s   in   cr ed ib ilit y   a n d   ac cu r ac y   ( e x ce p t  f o r   s o m e   ca s e s ) .   On e  o f   t h e   p r o b lem s   th at  w e  e n co u n ter ed   w h e n   w e   p er f o r m ed   MH 3 7 0   s o cial  d ata  p r ep r o ce s s in g   is   h o w   to   d ea l  w it h   m is s i n g   d ata,   s h o r tag e  i n   u n i f o r m it y ,   an d   lack   o f   s o m e  cr itical  i n f o r m atio n .   O n e  o f   th e  r ea s o n s   th at  th e  av a ilab le  in f o r m atio n   w as  n o t  e n o u g h   i s   th a t  o f f icial s   ab s tai n ed   f r o m   r ev ea li n g   m u c h   i n f o r m atio n   ab o u t  th e  ac cid e n ce   f o r   f ea r   o f   tr ig g er i n g   p o liti ca l  is s u es  b et w ee n   Ma la y s ia  a n d   s o m e  o th er   co u n tr ies.  R eg ar d i n g   ac c u r ac y ,   s o m e   in f o r m atio n   th a t  w as  in cl u d ed   in   t h e  MH 3 7 0   P ass en g er   Ma n i f est  ( r elea s ed   b y   Ma la y s ia n   A ir l in e s )   w as  n o t   ac cu r ate.       RE F E R E NC E S    [1 ]   S.  Ka d ry   a n d   M .   Z .   A l - T a ie,  “ S o c ial  n e tw o rk   a n a ly sis:  A n   in tro d u c ti o n   w it h   a n   e x ten siv e   im p lem e n tatio n   to   a   larg e - sc a le o n li n e   n e tw o rk   u sin g   P a jek , ”   Be n th a m   S c ien c e   P u b l ish e rs ,  2 0 1 4 .   [2 ]   M .   S .   Bro w n ,   “ Da ta m in in g   f o r  d u m m ie s , ”   Jo h n   W il e y   &   S o n s ,  2 0 1 4 .   [3 ]   M .   Z.   Al - Taie ,   e t  a l . ,  “ S u c c e ss f u l  Da ta  S c ien c e   P ro jec ts:  L e ss o n s  L e a rn e d   f ro m   Ka g g le  Co m p e ti ti o n ,”   Ku rd ista n   J o u rn a l  o f  A p p li e d   Res e a rc h ,   v o l / issu e :   2 (3 ) ,  2 0 1 7 .   [4 ]   S.  W a ss e r m a n   a n d   K.  F a u st,  “ S o c ial  n e tw o rk   a n a l y sis:  M e th o d s  a n d   a p p l ica ti o n s ,”   Ca m b rid g e   u n iv e rsity   p re ss ,   v o l.   8 ,   1 9 9 4 .   [5 ]   P.  G u p ta  a n d   V .   B h a tn a g a r,   “ Da ta  p re p ro c e ss in g   f o r  d y n a m i c   so c ial  n e tw o rk   a n a l y sis ,”   Da ta   M in i n g   i n   Dy n a mic   S o c ia l  Ne two rk s a n d   Fu zz y   S y ste ms ,  p p .   2 5 - 39 ,  2 0 1 3 .   [6 ]   M.  Al - T a ie   a n d   S .   Ka d ry ,   “ P y th o n   f o r  G ra p h   a n d   Ne tw o rk   A n a l y si s ,”   S p rin g e r ,   p p .   1 - 1 8 4 ,  20 17 .   [7 ]   M.  Zu b e r,   “ A   su rv e y   o f   d a ta  m in in g   tec h n iq u e s  f o r  so c ial  n e tw o rk   a n a ly sis ,”   In ter n a ti o n a l  J o u rn a l   o f  Res e a rc h   in   Co mp u ter   E n g in e e rin g   &   El e c tro n ics ,   v o l/ issu e :   3 (6 ) ,  2 0 1 4 .   [8 ]   J.  Bian ,   e t  a l . ,   “ F in d i n g   th e   rig h t  f a c ts  in   th e   c ro w d :  f a c to id   q u e stio n   a n sw e rin g   o v e r  so c ial  m e d ia ,”   Pro c e e d in g s  o f   th e   1 7 th   in ter n a ti o n a l  c o n fer e n c e   o n   W o rl d   W id e   W e b ,   2 0 0 8 .   [9 ]   S.  G a rc ía,  e t  a l . ,  “ Da ta p re p ro c e ss in g   in   d a ta m in in g ,”   S p ri n g e r ,  2 0 1 5 .   [1 0 ]   J.  Ha n ,   e t  a l . ,  “ Da ta m in in g :  c o n c e p ts an d   tec h n i q u e s ,”   El se v ier ,  2 0 1 1 .   [1 1 ]   S .   S .   De   a n d   S .   De h u ri,   “ M a c h in e   Lea rn in g   f o r  A u sp icio u s  S o c ial   Ne t w o rk   M in in g , ”   S o c ia l  Ne two rk in g ,   S p rin g e r ,   p p .   4 5 - 83 ,  2 0 1 4 .   [1 2 ]   N.  Ag a r w a l,   e t  a l .,  “ Clu ste rin g   o f   b lo g   sites   u sin g   c o ll e c ti v e   w i sd o m , ”   Co mp u ta ti o n a l  S o c i a l  Ne two rk   An a lys is ,   S p rin g e r ,   p p .   1 0 7 - 1 3 4 ,  2 0 1 0 .   [1 3 ]   L .   Wen x u e   a n d   G .   S u n ,   “ A   tru st - b a se d   in f o rm a ti o n   p ro p a g a ti o n   m o d e l  i n   o n li n e   so c ial  n e tw o rk s , ”   v o l. issu e :   8 ( 8 ) ,   p p .   1 7 6 7 ,  2 0 1 3 .   [1 4 ]   I.   He m a lath a ,   e t  a l . ,  “ P re p ro c e ss in g   th e   in f o rm a l  tex t   f o r  e ff icie n t  se n ti m e n t  a n a l y sis ,”   In ter n a ti o n a l  J o u rn a l  o f   Eme rg in g   T re n d s &   T e c h n o lo g y   i n   Co m p u ter   S c ie n c e   ( IJ ET T CS ) ,   v o l/ issu e :   1 (2 ) ,   p p .   58 - 61 ,  2 0 1 2 .   [1 5 ]   T .   H.  Wen ,   e t  a l . ,  “ A n a l y sis  o f   c o m b in in g   T o p ic  m o d e l,   S e n ti m e n t,   Ge o lo c a ti o n   i n f o rm a ti o n   a p p r o a c h e s  o n   S o c ial   Ne tw o rk . ”   [1 6 ]   P.  Ka z ien k o ,   e t  a l .,  “ A   g e n e ri c   m o d e l  f o r   m u lt id im e n sio n a l  tem p o ra l  so c ial  n e tw o rk ,”   Co m mu n ica t io n s  i n   Co mp u ter   a n d   In fo rm a t io n   S c ien c e ,   CCIS ,   v o l .   1 7 1 ,   p p .   1 - 14 ,  2 0 1 1 .   [1 7 ]   M.  Al - T a i e   a n d   S .   Ka d ry ,   “ A p p ly in g   S o c ial  Ne t w o rk   A n a l y sis   to   A n a l y z e   a   W e b - Ba s e d   Co m m u n it y ,”   a rX iv   p re p rin t  a rXiv :1 2 1 2 . 6 0 5 0 ,   2 0 1 2 .   [1 8 ]   C.   C.   A g g a r w a l  a n d   C.   K.  Re d d y ,   “ Da ta clu ste rin g :  a lg o rit h m s a n d   a p p li c a ti o n s ,”   CRC p re ss ,  2 0 1 3 .   [1 9 ]   M.  Kla ss e n ,   “ Tw it ter  d a ta  p re p ro c e ss in g   f o r  sp a m   d e tec ti o n ,”   FUT URE  COM PUT ING  2 0 1 3 ,   T h e   Fi f t h   In ter n a t io n a l  C o n fer e n c e   o n   F u t u re   Co mp u t a ti o n a l  T e c h n o l o g ies   a n d   A p p li c a ti o n s ,   Cit e se e r ,  2 0 1 3 .   [2 0 ]   B .   N .   Oc tav i a n a   a n d   J .   A b ra h a m ,   “ T o lera n c e   f o r  E m o ti o n a l  In ter n e t  In f id e li t y   a n d   Its  Co rre lat e   w it h   Re latio n sh ip   F lo u r ish i n g ,”   In ter n a ti o n a l  J o u r n a l  o f  El e c trica l  a n d   Co mp u ter   En g i n e e ri n g   ( IJ ECE ) ,   v ol /i ss u e :  8 ( 5 ) ,   p p .   3 1 5 8 - 3 1 6 8 ,  2 0 1 8 .   [2 1 ]   C .  V irm a n i,   e t  a l . ,   “ Clu ste rin g   i n   Ag g re g a ted   Us e r  P ro f il e s a c ro ss   M u lt i p le S o c ial  Ne tw o rk s ,”   In ter n a ti o n a l  J o u rn a l  o f  El e c trica l  a n d   C o mp u ter   En g in e e rin g   ( IJ ECE ) , v ol /i ss u e :  7 ( 6 ) ,   p p .   3 6 9 2 - 3 6 9 9 ,  2 0 1 7 .    [2 2 ]   Y.   L .   S .   Ra n i,   e t  a l . ,   “ Ex ten siv e   A n a l y sis  o n   G e n e ra ti o n   a n d   Co n se n su s  M e c h a n ism s  o f   Clu ste rin g   En se m b le:   A   S u rv e y ,”   In ter n a ti o n a l  J o u rn a l  o f  El e c trica l  a n d   C o mp u ter   En g in e e rin g   ( IJ ECE ) , v ol /i ss u e :  8 ( 4 ) ,   p p .   2 3 5 1 - 2 3 5 7 .   [2 3 ]   M .   Z.   Al - T a ie,  e t  a l . ,  “ F li g h t  M H3 7 0   c o m m u n it y   stru c tu re ,”   In t.   J .   Ad v a n c e .   S o ft   Co mp u t.   A p p l ,   v o l/ issu e :   6 (2 ) ,  2 0 1 4 .   Evaluation Warning : The document was created with Spire.PDF for Python.