I AE I nte rna t io na l J o urna l o f   Ro bo t ics a nd   Aut o m a t io n ( I J RA)   Vo l.  1 0 ,   No .   2 J u n e   2 0 2 1 ,   p p .   1 2 3 ~1 3 2   I SS N:  2722 - 2586 DOI : 1 0 . 1 1 5 9 1 / i j r a . v 1 0 i 2 . p p 1 2 3 - 132     123       J o ur na l ho m ep a g e h ttp : //ij r a . ia esco r e. co m   M iss ing  data  hand ling  f o m a chin e  learning   m o dels       K a ri m   H .   E ria n,  P edro   H .   Reg a la do ,   J a m es M .   Co nra d   ECE   De p a rtm e n t,   Un iv e rsit y   o f   No rth   Ca ro li n a   a C h a rlo t te,  Ch a r lo tt e   NC,  U n it e d   S tate s       Art icle  I nfo     AB ST RAC T     A r ticle  his to r y:   R ec eiv ed   J u n   1 9 ,   2 0 2 0   R ev i s ed   Dec   1 ,   2 0 2 0   A cc ep ted   Feb   1 2 ,   2 0 2 1       T h is  p a p e d isc u ss e a   n o v e a lg o rit h m   f o so lv in g   a   m issin g   d a ta  p ro b lem   in   th e   m a c h in e   lea rn i n g   p re - p r o c e ss in g   sta g e .   A   m o d e b u il t   to   h e lp   len d e rs   e v a lu a te  h o m e   lo a n b a se d   o n   n u m e ro u f a c to rs  b y   lea rn in g   f ro m   a v a il a b le   u se d a ta,   is  a d o p ted   in   t h is  p a p e a a n   e x a m p le.  If   o n e   o f   th e   f a c to rs  is  m is sin g   f o a   p e rso n   in   t h e   d a ta se t,   th e   c u rre n tl y   u se d   m e th o d d e lete   th e   w h o l e   e n try   th e re f o re   re d u c in g   th e   siz e   o f   th e   d a tas e a n d   a f f e c ti n g   th e   m a c h in e   lea rn in g   m o d e a c c u ra c y .   T h e   n o v e a lg o rit h m   a ims   to   a v o id   l o sin g   e n tri e f o m issin g   f a c to rs  b y   b re a k in g   th e   d a tas e in to   m u lt ip l e   su b se ts,  b u il d in g   a   d if f e r e n m a c h in e   lea r n in g   m o d e f o e a c h   su b se t,   th e n   c o m b in in g   th e   m o d e ls  i n to   o n e   m a c h in e   lea rn in g   m o d e l.   In   t h is  m a n n e r,   t h e   m o d e l   m a k e u se   o f   a ll   a v a il a b le  d a ta  a n d   o n ly   n e g le c ts  th e   m issin g   v a lu e s.  Ov e ra ll ,   th e   n e w   a lg o rit h m   im p ro v e d   th e   p re d icti o n   a c c u ra c y   b y   5 %   fro m   9 3 %   acc u ra c y   to   9 8 %   in   th e   h o m e   lo a n   e x a m p le.   K ey w o r d s :   C las s i f icatio n   Data   p r e - p r o ce s s in g   Featu r s elec t io n   L o g i s tic  r eg r e s s io n   Ma ch i n lear n i n g   T ar g et   W eig h t s   Fi f t h   T h is i a n   o p e n   a c c e ss   a rticle   u n d e r th e   CC B Y - SA   li c e n se .     C o r r e s p o nd ing   A uth o r :   Kar i m   H.   E r ian     E C E   Dep ar t m en t   Un i v er s it y   o f   No r th   C ar o lin a t Ch ar lo tte   9 2 0 1   Un iv er s it y   C it y   B lv d ,   C h ar lo tte,   NC   2 8 2 2 3 ,   U n ited   States   E m ail:  k er ian @ u n cc . ed u       1.   I NT RO D UCT I O N   I n   s u p er v is ed   m ac h in lear n i n g   m o d els,  t h ac c u r ac y   o f   t h m o d el  d ep en d s   o n   th q u alit y   o f   th e   av ailab le  d ataset  u s ed   f o r   tr ain in g .   I n   m o s d atasets ,   th er ar m i s s i n g   ite m s .   T h w a y   o f   h a n d lin g   th m is s in g   ite m s   is   cr itical  to   tr ai n   t h m o d el  to w ar d   g et ti n g   t h ex p ec ted   r esu lts .   T h m o s co m m o n   w a y s   to   h an d l e   m is s i n g   ite m s   ar b y   r e m o v a o f   th w h o le  en tr y ,   b y   r ep lacin g   t h m i s s i n g   ite m s   b y   it s   d ef au lt  v al u e,   b y   ch an g i n g   t h m is s i n g   ite m s   to   ze r o ,   o r   b y   w r i tin g   t h av er a g v al u i n s tead .     I n   t h is   p ap er ,   th e   tea m   u s ed   an   e x a m p le  o f   h o m e   lo an s   d ataset  w h ic h   i n cl u d es  2 2 0   f ie ld s   an d   b y   r e m o v i n g   th e   m is s in g   ite m s ,   t h d ataset  s h r u n k   f r o m   3 0 7 , 5 1 1   en tr ies  to   8 , 6 0 3   en tr ies  a n d   9 7 . 2 r ed u ctio n   in   d ata  s ize  af f ec ted   t h p er f o r m an ce   o f   th e s ti m atio n .   T h o th er   s o lu tio n s   m a n ip u late  t h d ata  b y   in tr o d u ci n g   an o t h er   v alu t h a is   n o th r ea v alu f o r   th is   en tr y ,   lead in g   also   to   lo w er   ac cu r ac y   [ 1 ] .   T h is   h u g r ed u ctio n   u r g ed   th team   to   f i n d   an o th er   w a y   to   h an d le  th m i s s i n g   en tr ies.  T h tea m   d ec id ed   to   co m u p   w it h   a   w a y   to   p ay   atte n tio n   to   ev er y   u n iq u ce ll  th at  is   b lan k ,   in s tead   o f   j u s d eletin g   w h o le  r o w   i f   o n ce ll  is   m is s i n g   d ata.   E s p ec ially   w h e n   th tea m   w a s   a w ar t h at  th er w er 2 2 0   u n iq u f ea tu r es  in   t h d ataset,   an d   h o w   h ar d   it  w as to   g a th er   m o r d ata.     T h e   n o v el  alg o r it h m   p r o p o s ed   in   th i s   p ap er   ai m s   to   o n l y   r e m o v t h m is s in g   ce lls .   T h is   c an   b d o n b y   b r ea k i n g   t h d ataset  in to   m u ltip le  s u b s ets,  ea ch   co n s i s ti n g   o f   o n l y   o n f ea t u r e.   E ac h   s u b s et  is   u s ed   to   tr ain   s i m p le  m ac h i n lear n i n g   m o d el.   T h en   u s i n g   w ei g h ti n g   m ec h a n is m ,   all  m o d el s   ar co m b i n ed   in to   o n e   m o d el  t h at  u s es a l l th a v ailab le  f ea t u r es.        Evaluation Warning : The document was created with Spire.PDF for Python.
              I SS N :   2 7 2 2 - 2586   I A E I n J   R o b   &   A u to m ,   Vo l .   10 ,   No .   2 J u n 2 0 2 1     1 2 3     132   124   2.   T H E   P RO P O SE AL G O RI T H M   AND  SURVE O F   E XI ST I N G   M E T H O DS   W h en   r esear c h i n g   w a y s   to   h a n d le  m is s in g   d ata,   t h tea m   f o u n d   t h at  o t h er s   h av tr ied   v ar iet y   o f   d if f er e n m eth o d s ,   b u o n l y   t h to p   f iv e   m et h o d s   f o r   h a n d li n g   m i s s i n g   d ata  w il b d is cu s s ed   [ 2 - 7 ] .   I n   ea ch   m et h o d ,   ad v an tag e s   an d   d is ad v an ta g e s   ar s tated .   T h f iv e   m et h o d s   f o u n d   in   r esear c h   ar e:     d eletin g   r o w s ,     r ep lacin g   w it h   m ea n   o r   m ed ia n   o r   m o d e ,     ass i g n in g   u n iq u ca te g o r y ,     p r ed ictin g   t h m i s s i n g   v al u es ,   an d     u s i n g   alg o r it h m s   t h at  s u p p o r m is s i n g   v al u es .     2 . 1 .     Dele t ing   r o w s   I n   th f ir s m et h o d ,   th ad v a n tag e s   o f   d eleti n g   r o w s   ca n   r esu lt  i n   r o b u s a n d   ac cu r a te  m o d el.   Dis ad v a n ta g es  o f   d eleti n g   r o w s   i s   th lo s s   o f   in f o r m at io n   an d   d ata.   T h b ig g est  ch al len g i s   th at  i f   th e   m is s i n g   v al u es a r b ig   p er ce n tag o f   th d ata,   t h en   t h d ataset  is   b o u n d   to   b s k e w ed .     2 . 2 .     Repla cing   w it m ea n o m e dia n o m o de   I n   th s ec o n d   m e th o d ,   ad v an t ag es  o f   r ep lacin g   w it h   th m ea n ,   m ed ian ,   o r   m o d is   th at  it  ca n   ad d   v ar ian ce   to   th e   d ataset.   T h is   c an   b g o o d   w h en   t h d ataset   i s   s m all,   a n d   it   also   p r ev e n t s   d ata  lo s s   o r   r e m o v al.   Dis ad v a n ta g es  o f   r ep lacin g   w i th   th m ea n ,   m ed ian ,   o r   m o d is   th at  i m p u ti n g   th v ar iatio n s   ad d   v ar ian ce   an d   b ias.  A l s o ,   th er ar m o r co m p lex   i m p u tatio n   m et h o d s   th at  ar b etter ,   y et  m o r co m p le x .     2 . 3 .     Ass ig nin g   a   un iqu ca t eg o ry   I n   t h t h ir d   m et h o d ,   ad v a n tag es  o f   a s s i g n i n g   u n iq u ca te g o r y   ar e   t h at  t h er ar le s s   p o s s ib ilit ie s   w it h   ad d in g   o n e x tr ca te g o r y ,   th is   r es u lt s   i n   lo w   v ar ia n ce .   Dis ad v a n ta g es  o f   ass ig n i n g   a   u n iq u ca te g o r y   i s   th at  it  ad d s   le s s   v ar ian ce   a n d   also   th at  b y   ad d i n g   a n o th er   f ea t u r to   th m o d el  w h ile  e n co d in g   m a y   h av e   n eg at iv r es u lt s   in   t h o r ig i n al   d ata  an d   in   r etu r n   g i v p o o r   ac cu r ac y   a n d   p er f o r m a n ce .     2 . 4 .     P re dict ing   t he  m i s s i ng   v a lues   I n   th f o u r t h   m et h o d ,   ad v an t ag es  o f   p r ed icti n g   t h m i s s i n g   v al u e s   ar e   th at  i m p u ti n g   t h m is s i n g   v ar iab le  ca n   b an   i m p r o v e m en as  lo n g   a s   t h b ias  f r o m   t h s a m is   s m aller   t h an   t h o m itted   v ar iab le  b ias.  Dis ad v a n ta g es  o f   p r ed ictin g   m is s i n g   v al u es  is   t h at  it  is   o n l y   tr u l y   co n s id er ed   s u b s ti tu te   f o r   th tr u m i s s i n g   v alu e s .   A ls o ,   t h b ias ca n   also   in cr ea s w h en   a n   in co m p lete  c o n d itio n i n g   s et  is   u s ed   f o r   ca te g o r ical  v al u es.     2 . 5 .     Usi ng   a lg o rit h m s   t ha t   s up po rt   m is s ing   v a lues   I n   th f i f t h   m et h o d ,   ad v an tag es  o f   u s i n g   alg o r it h m s   th a s u p p o r t   m i s s i n g   v al u es  is   th at  t h e y   d o   n o r eq u ir cr ea tio n   o f   p r e d ictiv m o d el  f o r   ea ch   ce ll  w it h   m i s s i n g   d ata  in   t h d ataset.   Als o ,   it  n eg ates  t h lo s s   o f   d ata  b y   ad d in g   u n iq u ca t eg o r y .   Dis ad v an ta g es  o f   u s in g   alg o r ith m s   t h at  s u p p o r m is s i n g   v al u es  i s   th at  i t   ad d s   less   v ar ian ce   a n d   ad d s   an o th er   f ea tu r to   th m o d el  w h ile  e n co d in g ,   a n d   th er ef o r e   m a y   c h alle n g t h p er f o r m a n ce   a n d   ac cu r ac y .     2 . 6 .     Su rv ey   o f   re la t ed  wo rk   I n   th B ac k g r o u n d   s ec tio n ,   th er w er f i v d if f er en m et h o d s   d is cu s s ed   th at  w er r esear ch ed   f o r   d if f er e n w a y s   to   h an d le  m is s in g   d ata.   Do in g   m o r r esear ch ,   th tea m   f o u n d   ac tu al  s u r v e y s   o f   w h er s o m e   o th er   r esear ch er s   h a v u s ed   o n o f   th f i v m eth o d s   d is c u s s ed   p r ev io u s l y .   T h to p   tw o   s u r v e y s   w ill  b d is cu s s ed   [ 8 - 10 ] .   I n   th f ir s t   s u r v e y ,   t h er ar t w o   m eth o d s   co m p ar ed   w h e n   u s in g   to   h elp   ed u ca tio n al   r esear ch .   T h t w o   m et h o d s   t h at  w er co m p ar ed   w er s tep w is r eg r es s io n   w h ic h   i s   t h s a m as  ig n o r in g   t h e   m is s i n g   d ata  v er s u s   m u ltip le  i m p u ta tio n .   T h r o u g h o u th a r ticle,   it  talk s   ab o u h o w   in   r eg r ess io n   m o d elin g   th s tep w is r eg r e s s io n   ca n   b d an g er o u s   in   m is s i n g   f iles   as  th lo s s   o f   i n f o r m atio n   ca n   b cr itical  an d   th an al y s m a y   n o e v en   n o tice  it .   T h is   is   co m p ar ed   to   o n o f   th f iv m et h o d s   r esear ch ed   in   th s ec tio n s   ab o v e .   I ess en t iall y   r e m o v e s   t h w h o le  en tr y   f o r   an y   b la n k s   f o u n d   in   t h d ata  a n d   th ar ticle  a g r ee s   th at  it  ca n   h av e   p o ten tial  lo s s   o f   s u b s ta n tial  a m o u n ts   o f   i n f o r m atio n   w h i le  also   in cr ea s i n g   t h b ias  f o r   th m o d els  ap p lied .   T h en ,   th ar ticle  d is cu s s es  h o w   m u l tip le  i m p u tatio n   is   n o y et  b ein g   ac ce p ted   b y   ev er y o n e   b ec au s it   in v o l v es   ad d in g   s i m u lated   d ata  to   r a w   d ata  s et  an d   p eo p le  th in k   th at  th er is   m a n ip u la tio n   in   t h d ata  an d   th er ef o r n o g o o d   r e p r esen tatio n   o f   th o r ig in al  d ata.   Yet,   i m p u tatio n   d o es  th o p p o s ite  as  it  tr ies  to   u s th e   in f o r m atio n   a v ailab le  to   s i m u l ate  th m is s in g   d ata  to   m i n i m i ze   th b ias.   T h s ec o n d   s u r v e y   r ev ie w ed   t h c h allen g e s   o f   m i s s i n g   d ata   in   ap p l y in g   it   to   m ed ical   r ese ar ch .   T h e   ar ticle  f u r th er   d is c u s s ed   an   i m p u tat io n   m eth o d   s tat in g   t h at   m an y   p eo p le  w er n o co n s i d er in g   it  a n d   in s tead   w er c o n s id er in g   ca s e - w is e   d eletio n   m et h o d .   T h d ata  w a s   clas s i f icatio n   d ataset  a n d   it   h elp ed   to   v alid ate   Evaluation Warning : The document was created with Spire.PDF for Python.
I n J   R o b   &   A u to m   I SS N:  2722 - 2586       Mis s in g   d a ta   h a n d lin g   fo r   ma ch in lea r n in g   m o d els  ( K a r im  H.   E r ia n )   125   an d   co n f ir m   o n o f   th f i v m et h o d s   d is cu s s ed   ab o v in   s a y i n g   th at  t h i m p u tatio n   m eth o d   is   n o g o o d   en o u g h   f o r   h an d li n g   th m is s in g   d ata.   I d is cu s s es  h a n d li n g   m i s s i n g   d ata  at  r an d o m   v er s u s   n o at  r an d o m   s tati n g   t h p r o b lem s   w it h   alter n ati v to   d ata  m an ip u latio n .     2 . 6 .     P r o po s ed  a pp ro a ch   T h p r o p o s ed   ap p r o ac h   to   s o l v th p r o b le m   o f   m i s s i n g   d at is   to   tak i n to   co n s id er atio n   th u n iq u e   v alu o f   ce ll  d ir e ctly ,   i n s te ad   o f   j u s d eletin g   th w h o le   en tr y .   I n s tead   o f   d eleti n g   t h w h o le  e n tr y   w h en   f i n d in g   b lan k   f ield ,   th tea m   o n l y   d elete d   t h at  o n s p ec if ic  ce ll.  T h tea m   co m b i n ed   m u ltip le  1 - f ea t u r m o d el s   to   cr ea te  n e w   m o d el .   I n   th is   m an n er ,   th m o d el  cr ea t ed   is   f ir s tr ai n ed   b y   ea c h   f ea tu r alo n e,   th e n   w ei g h ts   w er co m b in ed   to g et h er .   I n   th Me th o d s   s ec tio n ,   t h p r o p o s ed   ap p r o ac h   is   f u r th er ed   d is cu s s ed   w it h   th tr ai n in g   o f   th e   2 2 0   d if f er e n m o d el s   an d   f ea t u r es.  Ha v in g   all  d i f f er e n w ei g h ts   f r o m   th d if f er e n m o d els,   th e y   w il b co m b in ed   to g et h er   to   h av o n b ig   m o d el  w it h o u j eo p ar d izin g   th in teg r i t y   o f   th f u ll  m i s s i n g   en tr ies,  y e t sti l l b ein g   ab le  to   g ath er   m o r ac cu r ate  d ata  f o r   th f ea t u r es.       3.   RE S E ARCH   M E T H O DS A ND  I M P L E M E NT AT I O N   3 . 1 .     P re - pro ce s s ing   t he  da t a   I n   th is   p h ase,   t h tea m   h ad   to   u n d er s tan d   t h a v ailab le  d ata ,   h o w   it  is   l in k ed   to g et h er ,   a n d   h o w   to   f i n d   tar g et  f o r   an y   e n tr y   in   th C SV  f ile s .   I r eq u ir ed   l o o f   in ten s iv e   r ea d in g   an d   r e s ea r ch i n g   p r e v io u s   i m p le m en ta tio n s   to   s ee   w h a t ests   o t h er s   h a v i m p le m e n ted   an d   w h y   it  w o r k ed   o r   d id   n o w o r k   at  a   ce r tai n   p r ed ictio n   ac cu r ac y   [ 11 - 13 ] .   T h en ,   it  w as  n o ticed   th at  t h d ata  in clu d ed   lo ts   o f   s tr in g   d a tat y p v ar iab les.  Fo r   ex a m p le,   Do es  th ap p lica n h av a   ca r ?   I w o u ld   eit h er   b y es   s tr i n g   v ar iab le  o r   n o   s tr in g   v ar iab le.   Strin g   d atat y p es  ca n   b v er y   c o m p le x   to   p r o ce s s ,   s o   s er ies  o f   d ata  d ictio n ar ies  w er i m p l e m en ted   to   m ap   all   v alu e s   f r o m   ca te g o r ical  v alu e s   to   n u m er ical   v al u es.  Fo r   th c o n v er ted   ce lls ,   if   th e   ce ll  w a s   e m p t y   a   v al u w a s   ass i g n ed   to   a n   i n te g er   v ar iab le  o f   9 9 9 9 9 9 9 9 .   A l s o ,   th tar g et  v al u w as   m ap p ed   to   an   i n teg er   v ar iab le  o f   1   id en ti f y i n g   t h at  it  w a s   f i n e   to   len d   th ap p lican m o n e y   a n d   an   in te g er   v ar iab le  o f   0   to   i d en tify   h ig h   r is k   ap p lican t.  T h en ,   th lo g i s tic  r eg r ess io n   m o d el  w as  tr ai n ed   o n   8 0 o f   th d ata  an d   test e d   u s in g   2 0 o f   t h e   d ata.   T h r esu lts   g a v an   ac c ep tab le  ac cu r ac y   p er ce n ta g o f   9 1 %.   Fig u r 1   is   s a m p le  o f   th d ictio n ar ies   i m p le m en ted .           Fig u r 1 .   Sa m p le  d ictio n ar ies  cr ea ted       3 . 2 .     Understa nd ing   ea ch  f ea t ure  i m pa ct   o n t a rg et   I n   o r d er   t o   u n d er s tan d   ea ch   f e atu r i m p ac o n   t h tar g et  v a l u e   ( w h ic h   f lo w c h ar is   s h o w n   b y   Fi g u r 2) ,   th tea m   h ad   to   ca lcu la te  t h ac cu r ac y   o f   ea ch   f ea t u r alo n e.   T h is   w a s   d o n as  p ar o f   d ata  u n d er s ta n d in g .   I w a s   also   d o n at   f ir s w h en   tr y in g   to   c h o o s s p ec i f ic  f ea t u r es,  n o to   u s all  o f   t h e m .   I n   th is   ca s e,   t h tea m   i m p le m en ted   2 2 0   m o d els  f o r   all  f ea tu r es,  ca lcu lated   th p er ce n tag an d   s a v ed   th e m .   Ho w e v er ,   th f ir s 1 2 0   f ea t u r es  ac cu r ac ies  ar r ep r es en ted   in   Fig u r 3 i t   w as  n o t iced   th at  s o m o f   th f ea t u r es  ar h av v er y   m i n i m al  i m p ac o f   7 p r ed ictio n   w h ile  o t h er s   h ad   m a x i m u m   i m p ac t s   o f   u p   to   9 0 ac cu r ac y .   T h team   al s o   n o ticed   lo t o f   b lan k s   w er p r esen t i n   s o m f ea t u r es.   Evaluation Warning : The document was created with Spire.PDF for Python.
              I SS N :   2 7 2 2 - 2586   I A E I n J   R o b   &   A u to m ,   Vo l .   10 ,   No .   2 J u n 2 0 2 1     1 2 3     132   126       Fig u r 2 .   Featu r es i m p ac t o n   t ar g et  f lo w c h ar t           Fig u r 3 .   I m a g r ep r esen ti n g   e ac h   f ea t u r i m p ac t o n   tar g et  p r ed ictio n   u s in g   lo g i s tic  r eg r e s s i o n       3 . 3 .     Rem o v ing   bla n ks   a nd   c hec k ing   t he  a cc ura cy   T h team   d ec id ed   to   p r ep ar e   th d ata  m o r to   h av it  in   b etter   s h ap an d   b etter   u s ag e.   T h u s ,   to   r e m o v b lan k s   an d   s tar co m p ar in g   f ea t u r es  f o r   th f ea t u r s elec tio n   p ar t.  T h team   f o u n d   th at  b lan k s   ar h an d led   m ai n l y   i n   o n o f   th e   3   m eth o d s .   E ith er   b y   r e m o v i n g   e n tr ies,  o r   b y   f illi n g   in   th b lan k s   b y   d ef a u l t   v alu e s   o r   ze r o s .   T h tea m   tr ied   r em o v i n g   t h w h o le  e n tr ies,  b u t h at  ca u s t h d ata  s ize  to   s h r i n k   f r o m   3 0 7 , 5 1 1   en tr ies  d o w n   to   8 , 6 0 3   en tr ies.  Als o ,   th p r ed ictio n   ac cu r ac y   b ec a m m u c h   lo w er   an d   t h f ea t u r e   ef f ec o n   th tar g et  p r ed ictio n   d ec r ea s ed   s ig n i f ica n tl y .   T h is   w as  m ain l y   th m ain   m o t iv at io n   to   s w itc h   th e   f o cu s   o n   h o w   to   h an d le  m is s in g   d ata.   Fig u r 4   illu s tr ates  th i m p ac o f   ea ch   f ea t u r o n   tar g et  p r ed ictio n w h ile  Fi g u r es 5 - 6   s h o w s   t h p r o ce s s   f lo w .   Evaluation Warning : The document was created with Spire.PDF for Python.
I n J   R o b   &   A u to m   I SS N:  2722 - 2586       Mis s in g   d a ta   h a n d lin g   fo r   ma ch in lea r n in g   m o d els  ( K a r im  H.   E r ia n )   127       Fig u r e   4 .   Featu r e   i m p ac t   on   ta r g et   p r ed ictio n   u s i n g   lo g is tic   r eg r ess io n   af ter   r e m o v i n g   e n tr i es   w ith   m i s s i n g   d at a               Fig u r 5 .   C o m b in ed   f ea tu r e s   ac cu r ac y   ca lc u latio n   f lo w c h ar t   Fig u r 6 .   B lan k s   s p ec ial  tr ea tm en t f lo w c h ar t       3 . 4 .     H a nd lin g   m is s ing   da t a   T h im p le m e n ted   ap p r o ac h   is   ab o u h an d li n g   m is s i n g   d ata  in   n e w   m ac h in lear n in g   m o d el.   A f ter   r e m o v i n g   all  e n tr ies  w it h   m is s in g   d ata,   t h ac c u r ac y   d ec li n ed   en o r m o u s l y .   Fo r   th i s   r ea s o n ,   t h tea m   d ec id ed   to   h av a n o th er   m o d el  th at  is   co m b i n atio n   o f   m u ltip le  1 - f ea tu r m o d els.  I n   ea ch   m o d el ,   th tea m   h a n d led   th m i s s i n g   d ata  in   o n o f   t h e   alr ea d y   k n o w n   m et h o d s   w h i ch   in cl u d ed   ap p ly i n g   th f ea t u r e’ s   d ef au lt  v al u e,   g etti n g   t h av er a g if   t h f ea tu r is   n u m er ical  d ata,   o r   ju s r e m o v i n g   t h m is s in g   ce l ls .   T h m o d el  w as   ap p lied   to   ea ch   f ea t u r alo n e   i n   o r d er   to   f i n d   th b e s ap p r o ac h   f o r   ea c h   o n e.   T h n e x s tep   th tea m   to o k   w as   to   tr ain   2 2 0   d if f er en m o d els   f o r   th 2 2 0   f ea tu r es.  T h en ,   h av i n g   th d if f er en w ei g h t s   f r o m   th d if f er en t   m o d el s ,   t h tea m   co m b i n ed   t h e m   to g et h er   to   h a v o n m o d el  th at  i s   n o r u i n ed   b y   m is s in g   d ata  an d   at  th e   s a m ti m e,   g e ttin g   ac c u r ate  d ata  f o r   all  f ea t u r es.  Ho w e v er ,   th i s   w a s   n o t   en o u g h   b ec au s e   if   th f ea t u r u s ed   alo n to   tr ain   th d ata  is   h ar d l y   r elate d   to   th t ar g et,   it  m a y   a f f ec t h o v er all  m o d el  [ 8 ]   ( s ee   Fig u r 7 ) .   So   f u r t h er   m a th e m atica s o lu t io n s   w er ap p lied   ( as illu s tr ated   b y   Fi g u r 8 ) :   Evaluation Warning : The document was created with Spire.PDF for Python.
              I SS N :   2 7 2 2 - 2586   I A E I n J   R o b   &   A u to m ,   Vo l .   10 ,   No .   2 J u n 2 0 2 1     1 2 3     132   128     Mu ltip l y   th n e w   w ei g h ts   b y   o ld   w ei g h t s   f r o m   th m o d el  u s e d   to   tr ain   th 2 2 0   f ea tu r es to g e th er .     Mu ltip l y   th n e w   w ei g h ts   b y   t h test i n g   ac cu r ac y   f r o m   ea c h   s ep ar ated   m o d el  b ef o r r e m o v in g   b la n k s .     = 0 . 0 + 0   = 1 . + 1 + 1     = 2 . 2 + 2           = 3 . 3 + 3 = 4 . + 4 + 4 = 5 . 5 + 5           = 6 . 6 + 6 = 7 . + 7 + 7             if : w = [ 0 1 2 3 4 5 6 7 ]   a n d : b   =   [ 0 1 2 3 4 5 6 7 ]   th en   = . +           = 0 . 0 + 0 + 1 . + 1 + 1 + 2 . 2 + 2                   + 3 . 3 + 3 + 4 . + 4 + 4 + 5 . 5 + 5                   + 6 . 6 + 6 + 7 . + 7 + 7     B u t th i s   is   eq u al  to   8 T   n o t T .           Fig u r 7 .   Old   m e th o d   o f   h a n d l in g   m i s s i n g   d ata,   all  w h ite  s q u ar es a r p r esen tin g   m is s in g   d ata           Fig u r 8 .   P r o p o s ed   m eth o d   o f   h an d li n g   m i s s i n g   d ata   ( w h ite  s q u ar es =   m i s s i n g   d ata)   Evaluation Warning : The document was created with Spire.PDF for Python.
I n J   R o b   &   A u to m   I SS N:  2722 - 2586       Mis s in g   d a ta   h a n d lin g   fo r   ma ch in lea r n in g   m o d els  ( K a r im  H.   E r ia n )   129   a.   Me th o d   I :   Div i d it  b y   th n u m b er   o f   f ea t u r es.  I n   t h is   e x a m p le,   it  s h o u ld   b d iv id ed   b y   8   f ea tu r es,  b u i n   th p r o j ec t,  it w as d i v id ed   b y   2 2 0   f ea tu r es.     = . + = ( 0 0 + 0 + 1 1 + 1 + 2 2 + 2   + 3 3 + 3 + 4 4 + 4 + 5 5 + 5   + 6 6 + 6 + 7 7 + 7 ) / 8          = [ 0   1   2   3   4   5   6   7 ] / 8   a n d :   =   [ 0 1 2 3 4 5 6 7 ] / 8     b.   Me th o d   I I W h en   lin ea r   r eg r e s s io n   w a s   f ir s u s ed ,   th w ei g h v ec to r   w as  d er iv ed ,   ( ass u m it  as  v   i n s tead   o f   w   n o t to   co n f l ict  it  w it h   t h w   t h at  h a s   alr ea d y   b ee n   d is cu s s ed ) .   L et  [ v v v v v v v v 7 ] .   Sin ce   it  is   k n o w n   th a th w eig h s u m   i s   al w a y s   eq u al  to   1 ,   th en   an   eq u atio n   ca n   b estab lis h ed   s u ch   t h at  v v v v v v v v 1 .   I n   th i s   ca s e,   ea ch   elem e n o f   w a s   m u l tip lied   b y   t h co r r esp o n d in g   ele m en t   o f   v .   T h h i g h er   i m p ac t   w ei g h in   th v e cto r   is   en h an ce d   b y   t h e   w e i g h t   f r o m   t h e   i n i t i a l   l i n e a r   r e g r e s s i o n   w e i g h t s   v .   T h e r e f o r e ,   =   [ w 0 .v 0 ,w 1 .v 1 ,w 2 .v 2 ,w 3 .v 3 ,w 4 .v 4 ,w 5 .v 5 ,w 6 .v 6 ,w 7 .v 7 ] .     3 . 4 .     Cre a t ing   2 2 0   m o dels   T o   im p le m e n t h is   ap p r o ac h ,   th tea m   n ee d ed   to   b u ild   a   m ac h in lear n i n g   m o d el  f o r   ea ch   f ea t u r e   alo n e.   T h tea m   d ec id ed   to   u s th l in ea r   r e g r ess io n   m o d el  f o r   t w o   m ai n   r ea s o n s .   T h f ir s t   m ai n   r ea s o n   t h at  lin ea r   r eg r e s s io n   m o d el  w as  u s ed   w as  b ec a u s i w a s   clea n e r   to   b u ild   t h w ei g h ti n g   v ec to r   f r o m   t h s ep ar ate  w ei g h ts   [ 14 ] .   T h s ec o n d   r e aso n   th at  lin ea r   r eg r ess io n   m o d el  w a s   u s ed   w a s   b ec au s it  h ad   h ig h er   ac cu r ac y   i n   n o r m al  ca s es  f o r   th is   d ataset  t h a n   th e   lo g i s tic  r eg r ess io n   m o d el  w h ic h   co m p ar ed   9 3 v s   9 1 %,  r esp ec tiv el y .   T o   im p le m en th m o d els,  t h tea m   s et  u p   th X   m atr i x   f ir s t.  T h en ,   2 2 0   X   v ec to r s   w e r b u ilt  in   ea ch   o n e.   T h er ea f ter ,   all  th b lan k   d ata  w er r e m o v ed   f r o m   all  th g at h er ed   C SV  f ile s .   Af ter   th i s   s et u p ,   th e   tea m   co n ti n u ed   to   g ath er   t h co r r esp o n d in g   tar g et  v ec to r   f o r   ea ch   in p u d ata  v ec to r .   T h is   w a s   d o n b ec au s e   w h e n   th b lan k   d ata  is   r e m o v ed   f r o m   o n l y   o n co l u m n   ( n o t   all  co lu m n s   to g e th er ) ,   th T   v ec to r   w as  n ee d ed   to   m a tch   t h d ata  in p u t.  I n   th is   p r o ce s s ,   th ch alle n g w a s   th at  n o t a ll   C S f ile s   h ad   t h tar g et  co lu m n .   A lt h o u g h ,   it  w as  o n l y   t h ap p licatio n tr ain . csv ”  f i le,   th r est  o f   th f iles   h ad   an   attr ib u te  th at  w a s   ca lled   Ke y   I C u r r e n t”  th at  w a s   p r esen in   s o m o f   th C SV  f ile s   in cl u d in g   in   th ap p licatio n   tr ain . cs v ”  f ile.   T h t ea m   u s ed   t h I Ds  i n   th e s C SV  f iles   to   b ab le  to   lin k   t h tar g e to   th i n p u d ata  f r o m   th o t h er   C SV  f iles .   T h en ,   it  w as  n o ti ce d   th at  s o m o f   th C SV  f i les  d id   n o h av th Ke y   I C u r r en t”  attr ib u te   p r esen t,  b u th er w as  an o t h er   I th at  ex is ted   th at  co u ld   b u s ed   w ith   t h r est  o f   th f iles   b ec au s it  lin k ed   u p   ea ch   o f   th o s I Ds   n icel y   f o r   a ll  o f   t h f ile s .   I n   t h is   m a n n er ,   th tea m   u s ed   th e   s ec o n d ar y   I f o u n d   to   g et  th e   T ”  v ec to r   f o r   all  i n p u t d ata  [ 15 ].     3 . 4 .     Cre a t ing   new   m o del   No w ,   h a v in g   th 2 2 0   X’   v ec t o r s   an d   th 2 2 0   T   v ec to r s ,   th tea m   d iv id ed   th e m   i n to   8 0 tr ain in g   d ata  an d   2 0 test in g   d ata.   T h tea m   tr ain ed   all  m o d els  an d   g o 2 2 0   w   an d   2 2 0   b ias  v alu es.  Me th o d   I   an d   Me th o d   I I   w er i m p le m e n ted   to   co m b i n an d   cr ea te  th w   v ec to r   f o r   th n e w   m o d el.   Fi g u r 9   is   f lo w c h ar t   d escr ib in g   th n e w   ap p r o ac h .   C o lo r   lig h o r an g r ep r esen ts   th n o v el  id ea .   T h m a in   f lo w   ch ar co n tai n s   r ec tan g le s   a n d   b o x es.  T h b o x es  ar ex p lai n ed   in   m o r d etai in   o t h er   f o llo w in g   f lo w ch ar t s   w it h   s i m ilar   co lo r   o f   th o r ig i n al  b o x .       4.   RE SU L T S AN D I SCU SS I O N   4 . 1 .     Cre a t ing   t esting   da t a s et   Fo r   test i n g ,   t h tea m   co u ld   n o j u s u s ea c h   f ile  s ep ar atel y   li k it  w as  d o n f o r   t h tr a in i n g   p ar t.   T h er ef o r e,   th team   m ap p ed   all  th d ata  f r o m   all  f ile s   u s i n g   th I Ds  f o u n d   in   t h C SV  f iles .   T h is   s tep   to o k   w a y   m o r ti m t h an   e x p ec ted .   T h tea m   s ea r c h ed   f o r   m e th o d   to   d o   th is   p r o ce s s   o f   m a p p in g   w i th o u f o r   lo o p s   to   r ed u ce   tim co m p lex i t y ,   esp ec iall y   w it h   th lar g d ataset  th at  w as  av ailab le,   b u u n f o r tu n atel y ,   th er e   w a s   n o   ea s y   m et h o d   f o u n d .   T h m eth o d   t h at  w as  u s ed   to   co m b i n t h d ata  is   th f o llo win g Firs t,  th tea m   in itial ized   n e w   X   ar r a y   a s   s et  o f   ze r o s   ar r a y   w i th   t h s i ze   o f   3 0 7 5 1 1   r o w s   a n d   2 2 0   co lu m n s .   T h en ,   u s i n g   th ap p licatio n   tr ai n . cs v ”  f ile   as  th m ai n   f ile,   th tea m   lo o p ed   o v er   all  I Ds  in   t h f ile  an d   s ea r ch ed   f o r   th e   m atc h ed   I i n   t h C r ed it  C a r d   B alan ce . csv ”  f ile.   I n   t h ca s th a m atc h   w a s   f o u n d ,   th tea m   ap p en d ed   th v alu e s   f r o m   t h C r ed it  C ar d   B alan ce . csv ”  f ile   to   th e   X   ar r a y   w h ic h   alr ea d y   h ad   th v alu e s   f r o m   t h e   ap p licatio n   tr ai n . cs v ”  f ile.   T h tea m   r ep ea ted   th is   p r o ce s s   f o r   all  th C SV  f iles   s o   th at  th X   m a tr ix   w a s   av ailab le.   T h d ata  w as  t h en   s ep ar ated   in to   th tr ain i n g   s et   an d   test in g   s e t,  s u c h   t h at  th test i n g   d ataset  w a s   n o t u s ed   b ef o r in   t h tr ai n in g   [ 16 ].     Evaluation Warning : The document was created with Spire.PDF for Python.
              I SS N :   2 7 2 2 - 2586   I A E I n J   R o b   &   A u to m ,   Vo l .   10 ,   No .   2 J u n 2 0 2 1     1 2 3     132   130       Fig u r 9 .   A p p r o ac h   m ai n   f lo w ch ar t       4 . 2 .     Resul t s   f o t esting   t he  n ew   m o de l   Hav in g   th test in g   d atas et  est ab l is h e d   an d   th w   r ea d y   f o r   th tw o   m eth o d s ,   t esti n g   t o o k   p l ac e .   I t   w as  f o u n d   th at  th a cc u r ac y   f o r   b o th   m eth o d s   in c r e ase d   t o   9 8 % .   T h is   is   5 %   in c r e ase  in   p r e d ic ti o n   ac cu r ac y   f r o m   th e   o l d   m eth o d o l o g y   w h ich   h ad   an   o r ig in al   ac cu r ac y   o f   9 3 %.   T h e   t ea m   h a d   t o   r ev i ew   to   f in d   o u t   w h y   b o th   m eth o d s   r esu lt ed   in   9 8 p r e d ic ti o n   a cc u r ac y .   T h t ea m   f o u n d   th at  th d if f e r en c in   th tw o   m eth o d s   d i d   n o af f ec th f in a r esu lt   b y   la r g m ar g in   b e ca u s e   Y   is   n o r m aliz e d   a th en d .   I f   th e   v a lu en d e d   u p   b e in g   g r ea te r   th an   0 . 5 ,   th en   it   w as r o u n d ed   u p   t o   1 ,   an d   if   th e   v alu e   w as less   th an   0 . 5 ,   th en   it w as r o u n d e d   d o w n   to   0 .     4 . 3 .     Dis cus s io n   4 . 3 . 1 .   Appl ica t io n   T h is   r esear ch   h as  b ee n   d o n e   in   p ar allel  to   an o t h er   r esear ch   ab o u a u to n o m o u s   co n tr o l   o f   an   al l - ter r ain   v e h icle   ( A T V)   in   t h w o o d s .   T h r esear ch   w as  d i v id ed   in to   p h ase s .   T h f ir s p h ase  [ 1 7 - 19 ]   w a s   to   co n tr o th A T u s in g   al g o r ith m s .   T h s ec o n d   p h ase  w as  t o   g ath er   d ata  f r o m   t h A T w h ile  m o v i n g   [ 20 an d   u s t h d ata  to   i m p le m en t   r atin g   m ec h an i s m   to   id en tify   d if f er e n d r iv i n g   b eh a v io r s .   T h th ir d   p h ase  i s   to   u s th d ata  g ath er ed   w ith   th m et h o d   in v e n ted   in   t h is   p ap er   in   o r d er   to   co n tr o th A T V   u s in g   m ac h i n e   lear n in g   tec h n iq u es.     4 . 3 . 2 .   L ess o ns   l ea rne d   T h r o u g h   th is   p r o j ec t,   th team   w as  ab le  to   lear n   v ar iet y   o f   tech n ical  a n d   s o f s k ill s .   So m o f   th e   tech n ical  s k i lls   lear n ed   th r o u g h   th is   p r o j ec w er th ex p lo r atio n   o f   th lin ea r   r eg r ess io n   m o d el  in   co m p ar is o n   Evaluation Warning : The document was created with Spire.PDF for Python.
I n J   R o b   &   A u to m   I SS N:  2722 - 2586       Mis s in g   d a ta   h a n d lin g   fo r   ma ch in lea r n in g   m o d els  ( K a r im  H.   E r ia n )   131   to   th lo g is tic  r eg r es s io n   m o d el  to   s ee   w h ic h   w o u ld   b est  f it   th e   d ata  o f   th is   s p ec if ic  class i f icatio n   p r o j ec t.   A t   f ir s t,  o n o f   t h m o s t   ch alle n g in g   th in g s   f o r   t h tea m   w a s   ch o o s in g   a   p r o j ec w h ic h   co n ta i n ed   en o u g h   d ata.   I n   m ac h in lear n i n g ,   th tea m   le ar n ed   th at  i is   v er y   i m p o r tan t   to   h av a s   m u ch   r a w   d ata  a s   p o s s ib le.   T h is   w as  ess e n tial  f o r   tr ain i n g   a n d   b ein g   ab le  to   g en er alize   b etter   f o r   test in g   w h ic h ev er   m o d el  ch o s en .   An o th er   s k ill   lear n ed   th r o u g h   t h is   r esear c h   p r o j ec t   is   th at  it  is   v e r y   i m p o r ta n to   p r e - p r o ce s s   th d ata  ca r ef u ll y   a n d   th o r o u g h l y .   I f   th e   d ata  is   n o t   p r e - p r o ce s s ed   p r o p er ly ,   it  w i ll  b tr ain ed   i n   t h w r o n g   m a n n er   a n d   t h er ef o r e   g iv s k e w ed   r esu lt s .   T h er ef o r e,   p r e - p r o ce s s in g   t h d ata  is   a s   i m p o r tan i f   n o m o r i m p o r tan t h a n   tr ai n i n g   it   an d   test i n g   i t.   Oth er   s k ills   t h at  w er lear n ed   th r o u g h o u t h is   p r o j ec w er th co n tin u o u s   i m p le m en tatio n   o f   p r o g r am m i n g   in   P y th o n   lan g u ag an d   u s i n g   its   lib r ar ies  to   m ak u s o f   all  t h r eso u r ce s   av ailab le  to   an al y ze   th d ata.   T h is   w as  a   lea r n i n g   cu r v e,   b u it   h elp ed   i n   t h lo n g   r u n   i n   b ei n g   ab le  to   h an d le  d ata  f r o m   m u ltip le   C SV  f i les  at  th s a m ti m e.   T h is   alo n g   w i th   h a n d li n g   P y th o n s   clas s es,  m et h o d s ,   an d   v ar iab les  b et w ee n   m u ltip le  J u p y ter   No teb o o k s   a n d   m u lt ip le  m ac h i n es   w er t h in g s   t h at  h a d   to   b lear n ed   in   o r d er   f o r   th tea m   n o to   w a s te  ti m d o in g   th in g s   m a n u a ll y   o r   o n s tep   at  tim e.   Ot h er   m i n o r   less o n s   w er e   lear n ed   s u c h   t h at  it   h elp ed   r ed u ce   th f ile  s ize  an d   co m p u tatio n   ti m e.   E x a m p les  in c lu d ed   th i n g s   s u ch   as  r e m o v i n g   p r in t   co m m a n d s   i f   th e y   w er n o n ee d ed ,   r e d u cin g   lo o p s ,   r ed u ci n g   t h n u m b er   o f   ce lls   i n   n o teb o o k ,   an d   h av in g   s ep ar ate  p r o j ec t c lass es in to   m u ltip le  n o teb o o k s .   A l l o f   t h is   m ad th p r e - p r o ce s s i n g ,   tr ain in g ,   a n d   test i n g   p ar o f   th p r o j ec t m u ch   m o r b ea r ab le  k ee p in g   t i m e   co m p lex i t y   in   m in d .   Ov er all,   it  w as  lear n ed   t h at  b y   u s in g   li n ea r   r eg r ess io n   m o d el  an d   tak i n g   ea c h   b lan k   ce ll  as  u n iq u e   attr ib u te  to   h an d li n g   m is s in g   d ata,   th d ata  ac c u r ac y   w as   ab le  to   b en h an ce d   b y   5 %   f r o m   9 3 to   9 8 %.   Fu t u r i m p r o v e m e n ts   w il in c lu d th u s o f   m o r co m p lex   m o d els  s u c h   as  u s i n g   n e u r al  n et w o r k s   to   s ee   if   th d ata  ac cu r ac y   ca n   i n cr ea s e   to   b ev en   s li g h tl y   b etter   o r   if   th er ar an y   ch a n g es  as  w ell   as  ch alle n g es  t h at   co m w i th   it.  Ot h er   f u t u r i m p r o v e m e n i n clu d ed   h o w   to   i m p le m e n m is s in g   d ata  h an d lin g   tec h n iq u es  i n   o th er   m o r co m p licated   m o d els  s u c h   as  r ein f o r ce m en lea r n in g   u s in g   g r ee d y   alg o r it h m s   to   test   th ag en t   lear n in g   a n d   d if f er e n m et h o d s   in   u n s u p er v is ed   lear n i n g   m e t h o d s   s u c h   as  k - n ea r es n ei g h b o r s   ( KNN)   to   s h o w   p o ten tial d is cr ete   an d   co n ti n u o u s   attr ib u te s   [ 14 ].       5.   CO NCLU SI O N   Usi n g   th co n v e n tio n al  m et h o d s   f o r   h an d lin g   m i s s i n g   d ata,   th d ata  w er r ed u ce d   to   8 , 6 0 3   en tr ies   in s tead   o f   3 0 7 , 5 1 1   en tr ies  o f   th o r i g in a d ataset.   T h n o v el  al g o r ith m   d i s cu s s ed   i n   t h is   p ap er   allo w s   t h e   u s a g o f   all  th av ailab le  d ata.   T h n e w   m et h o d   en h a n ce d   th ac cu r ac y   o f   th m ac h i n lear n in g   m o d el  test ed   f r o m   9 3 u s i n g   t h co n v e n ti o n al  alg o r it h m s   to   9 8 u s in g   o u r   n o v el  al g o r ith m .   T h n o v el  m eth o d   ex ten d s   f u r t h er   t h an   j u s t h i s   r esear ch   as  it  ca n   b ap p lied   in   d i f f er en ar ea s   i n clu d i n g   tr ain in g   n et wo r k s   li k t h A T m en tio n ed   in   t h d is c u s s io n   s e ctio n   ab o v e.         ACK NO WL E D G E M E NT S   T h an k s   to   Dr .   Min w o o   ( J ac k )   L ee   f o r   h is   g u id a n ce   in   t h i s   r esear ch .       RE F E R E NC E S   [1 ]   B.   A n g e lo v ,   W o rk in g   w it h   M issin g   Da ta  in   M a c h in e   L e a rn in g ,   in   T o wa r d Da ta   S c ien c e ,   2 0 1 7 .   [ O n li n e ] .   Av a il a b le:  h tt p s:// to w a rd sd a tas c ie n c e . c o m / w o rk in g - w it h - m is sin g - d a ta - in - m a c h in e - lea rn in g - 9 c 0 a 4 3 0 d f 4 c e .   [2 ]   K.  M a lad k a r,   5   W a y to   Ha n d le  M issi n g   V a lu e in   M a c h in e   L e a rn in g   Da tas e ts,”  2 0 1 8 ,   A v a il a b le:  h tt p s:/ /www . a n a l y ti c sin d ia m a g . c o m /5 - wa y s - h a n d le - m issin g - v a lu e s - m a c h in e - lea rn in g - d a tas e ts/ .   [3 ]   M .   P a m p a k a ,   G .   Hu tch e so n ,   J.  W il li a m s,  H a n d li n g   m issin g   d a ta:  a n a ly sis  o f   a   c h a ll e n g in g   d a ta  se u sin g   m u l ti p le  im p u tatio n ,   I n ter n a ti o n a l   J o u r n a o Res e a rc h   &   M e th o d   in   Ed u c a ti o n ,   v o l.   3 9 ,   n o .   1 ,   p p .   1 9 - 3 7 ,   2 0 1 6 .   [4 ]   K.  L .   M a sc o n i,   T .   E.   M a tsh a ,   J.  B.   Ech o u f f o - T c h e u g u i,   R.   T .   Era s m u s,  A .   P .   Ke n g n e ,   Re p o rti n g   a n d   h a n d li n g   o f   m is sin g   d a ta  in   p re d ictiv e   re se a rc h   f o p re v a len u n d iag n o se d   t y p e   2   d iab e tes   m e ll it u s:  A   s y st e m a ti c   re v ie w ,   EP M J o u rn a l ,   v o l.   6 ,   n o .   7 ,   p p .   1 - 1 1 ,   2 0 1 5 .   [5 ]   A li js,  Ho m e   Cre d it   De f a u lt   Risk   Ka g g le  c o m p e ti ti o n   3 r d   p lac e   so lu ti o n ,   Ka g g le ,   2 0 1 8 .   [ O n l in e ].   A v a il a b le:  h tt p s:/ /www . k a g g l e . c o m / c /h o m e - c re d it - d e f a u lt - risk /d isc u ss io n / 6 4 8 3 0 .   [6 ]   M a x w e ll ,   Ho m e   Cre d it   De fa u lt   Risk   Ka g g le  Co m p e ti ti o n   2 n d   p l a c e   so lu ti o n   ( tea m   ik iri   DS),   in   Ka g g le ,   2 0 1 8 [ On li n e ] .   A v a il a b le:  h tt p s:// w ww . k a g g le.co m /c/h o m e - c re d it - d e f a u lt - risk /d isc u ss io n / 6 4 5 1 0 .   [7 ]   B.   T u n g u z ,   Ho m e   Cr e d it   De f a u lt   Risk   Ka g g le  Co m p e ti ti o n   1 s P lac e   S o lu ti o n ,   in   K a g g le ,   2 0 1 8 .   [ On li n e ] .   Av a il a b le:  h tt p s:// w ww . k a g g le.co m /c/h o m e - c re d it - d e fa u lt - risk /d isc u ss io n / 6 4 8 2 1 .   [8 ]   A .   S w a li n ,   Ho w   to   Ha n d le M issin g   Da ta,” in   T o wa rd s D a ta   S c ien c e ,   p p .   1 - 1 0 ,   2 0 1 8 .   [9 ]   Ka g g l e   Ho m e   Cr e d it   De fa u lt   Risk - Ka g g le,”  2 0 1 8 ,   [ On l in e ]   A v a il a b le:  h tt p s:// w ww . k a g g le.co m /c/h o m e - c re d it - d e f a u lt - risk /d a ta .   Evaluation Warning : The document was created with Spire.PDF for Python.
              I SS N :   2 7 2 2 - 2586   I A E I n J   R o b   &   A u to m ,   Vo l .   10 ,   No .   2 J u n 2 0 2 1     1 2 3     132   132   [1 0 ]   W .   Ko e h rse n ,   S tart  h e re A   g e n tl e   in tro d u c ti o n ,   in   Ka g g le ,   2 0 1 8 .   [ O n li n e ]   A v a il a b le:  h tt p s:/ /www . k a g g l e . c o m / w il lk o e h rse n /start - h e re - a - g e n tl e in tro d u c ti o n / n o te b o o k .   [1 1 ]   K.  H.  Eri a n ,   S .   M h a p a n k a r,   J.  M .   Co n ra d ,   a n d   S .   G a m b il l,   S y ste m   In teg ra ti o n   o v e a   CA Bu f o a   S e lf - Co n tr o ll e d ,   L o w - Co st  A u to n o m o u A ll - terra in   V e h icle ,   2 0 1 9   S o u th e a stCo n ,   Hu n tsv il le,  A L ,   USA ,   p p .   1 - 8 ,   2 0 1 9 ,   d o i:   1 0 . 1 1 0 9 /S o u t h e a stCo n 4 2 3 1 1 . 2 0 1 9 . 9 0 2 0 3 7 9 .   [1 2 ]   K.  H.  Eri a n ,   S y ste m   In teg r a ti o n   Ov e a   Ca n   Bu f o a   S e l f - Co n tr o ll e d ,   L o w - Co st  A u to n o m o u A ll - T e rra in   V e h icle ,   M S c   th e sis ,   T h e   Un iv e r sity   o f   No rth   Ca ro li n a   a Ch a rl o tt e ,   p p .   1 - 1 8 ,   2 0 1 9 .   [1 3 ]   K.  H.  E rian ,   J.  M .   C o n ra d ,   M e a su rin g   d riv i n g   p e rf o rm a n c e   f o a n   A ll - T e rra in   V e h icle   in   a   p a v e d   ro a d   in   th e   w o o d s,”   2 0 2 0   S o u t h e a stCo n ,   Ra l e ig h ,   NC,  USA ,   p p .   1 - 8 ,   2 0 2 0 ,   d o i:   1 0 . 1 1 0 9 /S o u t h e a stCo n 4 4 0 0 9 . 2 0 2 0 . 9 2 4 9 7 0 5 .   [1 4 ]   G .   Hu tch e so n ,   M issi n g   d a ta:  Da ta  re p lac e m e n a n d   im p u tati o n ,   J o u rn a o M o d e ll in g   i n   M a n a g e me n t ,   v o l.   7 ,   n o .   2 ,   p p .   1 - 1 9 ,   2 0 1 2 .   [1 5 ]   J.  R.   v a n   G in k e l,   M .   L in ti n g ,   R .   C.   Rip p e ,   A .   v a n   d e Vo o r t,   R e b u tt i n g   e x isti n g   m is c o n c e p ti o n a b o u m u lt ip le   im p u tatio n   a s a   m e th o d   f o h a n d l i n g   m is sin g   d a ta,”  J o u rn a l   o Per s o n a li ty A ss e ss me n t ,   v o l.   1 0 2 ,   n o .   3 ,   p p .   2 9 7 - 3 0 8 ,   2 0 2 0 .   [1 6 ]   C M .   M u sil ,   C B.   W a rn e r,   P K Yo b a s,  a n d   S L .   Jo n e s,   A   c o m p a riso n   o f   i m p u tatio n   tec h n i q u e f o h a n d li n g   m is sin g   d a ta,”  W e ste rn   J o u rn a l   o f   Nu rs in g   Res e a rc h ,   v o l .   2 4 ,   n o .   7 ,   p p .   8 1 5 - 8 2 9 ,   2 0 0 2 .   [1 7 ]   J.  W .   G ra h a m ,   P .   E.   Cu m sill e ,   A .   E.   S h e v o c k ,   M e th o d f o h a n d li n g   m issin g   d a ta,”  Ha n d b o o k   o Psy c h o lo g y S e c o n d   Ed it io n   2 ,   2 0 1 2 .   [1 8 ]   J.  G a n tz   a n d   D .   Re in se l,   Ex trac ti n g   v a lu e   f ro m   c h a o s,”   IDC  IVI EW   Extra c ti n g   Va l u e   fro m   Ch a o s ,   IDC.  1 1 4 2 ,   p p .   1 - 1 2 ,   2 0 1 1 .   [1 9 ]   J.  R.   Ch e e m a ,   S o m e   g e n e ra g u id e li n e f o c h o o si n g   m issin g   d a ta  h a n d li n g   m e th o d in   e d u c a ti o n a re se a rc h ,   J o u rn a o M o d e rn   Ap p li e d   S t a ti s ti c a M e th o d s ,   v o l .   1 3 ,   n o .   2 ,   p p .   5 3 - 7 5 ,   2 0 1 4 .   [2 0 ]   S.  M h a p a n k a r,   A   Na v i g a ti o n   S y ste m   f o L o w - c o st  A u to n o m o u A ll - terra in - v e h icle s,”   M . S c .   th e sis,  Un iv e rsit y   o No rth   Ca ro li n a   a C h a rlo t te,  p p .   1 - 7 0 .   2 0 1 9 .       B I O G RAP H I E S   O F   AUTH O RS       K a r i m   H .   Er ia n   re c e iv e d   h is  B . S .   d e g re e   in   E lec tro n ics   a n d   C o m m u n ica ti o n En g in e e ri n g   f ro m   Ca iro   Un iv e rsity ,   E g y p t,   in   2 0 0 8   a n d   h is  M . S .   d e g re e   in   El e c tri c a En g in e e rin g   f ro m   th e   Un iv e rsit y   o f   No rth   Ca ro li n a   a Ch a rlo tt e   in   2 0 1 9 .   He   is  c u rre n tl y   p u rsu in g   h is  P h . D.   d e g re e   in   El e c tri c a En g in e e rin g .   F ro m   2 0 0 9   to   2 0 1 3   h e   w a a n   e m b e d d e d   so f twa re   e n g in e e r   a V a leo .   F ro m   2 0 1 3   t o   2 0 1 7   h e   w a a   se n i o p rin c i p a q u o tati o n   e n g in e e r   a t   V a leo .   F ro m   2 0 1 7   to   2 0 1 9   h e   w a s a   F u lb rig h t   sc h o lar  a UN CC.   He   w o rk e d   a tea c h in g   a ss istan f ro m   2 0 1 8   to   p re se n t.                 Ped r o   H .   R e g a la d o   r e c e i v e d   h is  B. S   a n d   M . S .   d e g re e   in   El e c tri c a En g in e e rin g   f ro m   th e   Un iv e rsit y   o f   No rth   Ca r o li n a   a Ch a rlo tt e   i n   2 0 1 8   a n d   2 0 1 9 ,   r e sp e c ti v e l y .   He   is  c u rre n tl y   p u rsu i n g   h is  P h . D.   d e g re e   in   El e c tri c a En g in e e rin g .   His  re se a rc h   to p ics   in c lu d e   th e   In tern e o T h in g s,  we a ra b le  tec h n o lo g y,   a n d   in telli g e n se n so rs  w it h   a   f o c u i n   m ix e d   re a li t y .   F ro m   2 0 1 6   to   2 0 2 0   h e   e x p e rien c e d   a   v a riet y   o f   in tern sh ip   r o les   f ro m   m u lt ip le  re s p e c tab le  c o m p a n ies   in c lu d i n g   Cisc o   S y ste m s,  T h e   Bo e in g   Co m p a n y ,   M o n ste S m a rt  S o lu t io n s,  Ro c k w e ll   A u to m a ti o n ,   a n d   A lst o n   &   Bir d   a a   n e tw o rk   e n g in e e r,   e lec tri c a d e sig n   e n g in e e r,   e m b e d d e d   sy ste m e n g in e e r,   tec h n ica sa les   a n a ly ti c e n g in e e r ,   a n d   a   p a ten sp e c ialist,   re sp e c ti v e l y .   He   w o rk e d   a a   tea c h e a ss istan f ro m   2 0 1 7   to   p re se n a n d   is   c o n ti n u in g   h is   d o c to ra d e g re e   u n d e t h e   G ra d u a te  A ss istan S u p p o rt   P r o g ra m   a n d   NSF   V e n t u re p rise   I - Co rp s s p o n so re d   f u n d i n g .         J a m e M .   Co n r a d   re c e i v e d   h is B . S .   d e g re e   in   Co m p u ter  S c ien c e   f ro m   th e   Un iv e rsity   o f   Ill in o is,   Urb a n a ,   in   1 9 8 4   a n d   h is  M . S .   a n d   P h . D.   d e g re e in   Co m p u ter  E n g in e e rin g   f ro m   No rth   Ca ro li n a   S tate   Un iv e rsit y   in   1 9 8 7   a n d   1 9 9 2 ,   re sp e c ti v e l y .   F ro m   1 9 8 4   t o   1 9 9 0   h e   w a a   so f t wa re   e n g in e e r   w it h   IBM ,   f ro m   1 9 9 2   t o   1 9 9 5   h e   w a a n   a ss istan p ro f e ss o a th e   Un iv e rsit y   o f   A r k a n sa s,  a n d   f ro m   1 9 9 7   t o   2 0 0 3   h e   w a a   s o f t w a r e   e n g in e e a n d   p ro jec m a n a g e w i th   Eri c ss o n   a n d   S o n y   Eri c ss o n .   S in c e   2 0 0 3   h e   h a b e e n   a n   a ss o c iate   p ro f e ss o a n d   p r o f e s so w it h   th e   El e c tri c a a n d   Co m p u ter  En g in e e rin g   De p a rtm e n a t h e   Un iv e rsity   o f   No rth   Ca ro li n a   a C h a rlo t te.  He   is  th e   a u th o r   o f   e ig h t   b o o k a n d   m o re   th a n   1 4 0   a rti c les   in   t h e   a re a o f   e m b e d d e d   sy ste m s,  ro b o t ics ,   p a ra ll e p ro c e ss in g ,   a n d   e n g in e e ri n g   e d u c a ti o n .       Evaluation Warning : The document was created with Spire.PDF for Python.