Int ern at i onal  Journ al of Ele ctrical  an d  Co mput er  En gin eeri ng   (IJ E C E)   Vo l.   15 ,  No.   1 ,  Febr uary   20 25 , pp.  10 38 ~ 1050   IS S N:  20 88 - 8708 , DO I: 10 .11 591/ij ece.v 15 i 1 . pp 1038 - 10 50           1038       Journ al h om e page :  http: // ij ece.i aesc or e.c om   Airport   infrastr uct ure   an d  runway  precisi on aids f or  forecasti ng flight  arri va l  delays       Hajar  A ll a,  Y ou sse f  B alo u k i   Labo ratory o f  Mat h em atics,  Co m p u ter  an d  E n g in eering  Sciences,  Dep art m en t of  Mathe m ati cs an d  Co m p u ter  S cien ce,     Facu lty  of Science s an d  T echn iq u es, Hassan  Fir st  Un iv ersity  of Settat ,  Sett at,  Moro c co       Art ic le  In f o     ABSTR A CT   Art ic le  history:   Re cei ved   M a y 25,  2024   Re vised  Sep 5 ,  2024   Accepte d  Oct  1,   2024       Re cent  resea r ch  ha s  co nc entrated  on  us in g  mac hine   le arn in g  appr oach es   to   forecast   fligh t   delays .  T he   m aj or it y  of  pri or   pre dicti on  al gorithms   w e re  base d  on   simple  an d  sta ndar d  at trib utes  colle ct ed   from   the   data ba se  f rom which  t he  data wer e   pull ed.  T his  a r ti cl e  is  the   first  at te m pt  t o  pr opos e   no vel   feat ur es   li nke d  t o  ai rpo rt  ca pacit y  an d  infr a struct ur e .  The  t otal  r unw ays,  the   total   r unwa y  i ntersec ti on s,   th e   longest  r unwa y  le ngth,  th e   sh ort est   run way   le ng t h,   the  r unwa y  pr eci sio n  rate,   the  t otal  te r minals,  a nd  t he  t otal  gates   we re  al l   examine d.  I n  this  paper,   we  s uggest   a n  op ti mize d  mu lt il ayer  per ce ptr on   t o  pr e dict  fligh t  arr ival  retards   implementi ng  data  for   domesti c  fli ghts  operate d  in   U nited   Stat es   ai r ports.   We   employe d  data n ormal iz a ti on ,   sam plin g  te chn iq ues ,  a nd  hype r - pa ram et er  tu ning   to  stren gth e n  the  reli abili ty  of   t he  su ggest e d  m od el .  The   exp e rime ntal  fin dings  de monstrate d  that  data  nor mali zat ion ,   samplin g  ap proach e s,  a nd  B ayesian   opti mi zat ion   pro duce d  t he  mo st   accurate  mode l  with  92. 49%  accu rac y.   The  ac h ie ve m ents  of  th e   study  we re  c ompa red  to   ot he r  ben c hma r k  researc h  from   li te ratur e .  The  ti me  c omplexit y  f or   t he   pro posed   m od el   was  c ompu te d  a nd   pr ese nted  at th e en d of t he  i nvest igati on.   Ke yw or d s :   Air port in fr ast r uctu re   Ba yesian o ptimi zat ion   Fli gh t  delay  pr edict ion   M ulti la yer  perce ptr on   Runwa y pr eci s ion  ai ds   This   is an  open   acc ess arti cl e   un der  the  CC  BY - SA   l ic ense .     Corres pond in g  Aut h or :   Hajar  Alla   Lab or at or y of   M at he mati cs,  Com pu te r  and  En gin eeri ng Sc ie nces ,  De par t ment  of M at he mati cs an d  Com pu te r  Scie nce, Facult y  of Sciences  and  Tech niques,  H assan Fi rst  Un i ver sit y o f Set ta t   Sett at , 2 60 00, Mor occo   Emai l:   h. al la @ uhp. ac .ma       1.   INTROD U CTION   Fli gh t  dela ys   can  arise  fro m  mu lt iple  s ources ,  co mpris ing   e xtreme  weathe r,   tra ff i c  ja ms,  pilot   exp e riences   an d  qual ific at ions,  mainte nan ce   issues  or   rep a irs  nee ded   on  the  ai rcr a ft,  la te - ar riving  in bo un d  ai rcr aft  or   pas sen ger s ,  an d  c rew   sc he du li ng.  In   s ome   cas es,  dela ys   ma y  al so   be   cau se d  by  st rikes  or  la bor   disputes,  sec uri ty  concer ns   or  ai rpo rt  co ns t ru ct io n,   delay s   du e   to  ov e rbookin g,   or  iss ues  with  co nn ect ing   fligh ts.  Air port   or   r unwa y  cl osures  or  co ns tr uction,  in fr ast r uctu re,  a nd   ca pa ci ty  are  al so   c on si der e d  f or  traf fic   delays .  Air p ort   capa ci ty  ca n  be  c onside re d  as  the   highest  numb e r   of   ai rc raf t  a nd   pas se ng e rs   that   an   a irp or t  can  ha nd le   at   a ny  giv e n  ti me .  Fact or s   that   ca n  a ff ect   ai r port   capaci t y  i nclu de  t he  num ber  and  siz e   of  r unway s ,   ta xiways,   gates ,  a nd  te r minals ,  as   well   a s  t he   ef fici ency  of  a irp or t  operati ons.   T he  i nfrastr uctu re  of  a n  ai r port,  if it  is not d edi cat ed  to  ha ndli ng a lot  of airc raf t at  th e same  ti me, ca n  le ad   to f li ght  delays .   Evaluation Warning : The document was created with Spire.PDF for Python.
In t J  Elec  &  C omp E ng     IS S N:   20 88 - 8708         Airp or t i nfr as t ru ct ur e  an d  r unway  p reci si on a id s for  forec ast ing  fl ig ht a r riv al d el ays   (Haj ar  All a)   1039   To  e nh a nce the  saf et y  a nd ef fici ency   of  ai rcra ft operati ons  on   r unwa ys , pr eci sion  aid s are  instal le d  at   ai rpor ts  in  ord er  to  help  pilots  al ign   their  ai rcr a ft  with  the  runway  a nd  de scen d  to  a  sa fe   la nd in g.   Thes e  ai ds   can  i nclu de  e quipme nt  li ke   t he  i ns tr um e n t  la nd in g  s ys te ms  (I L S)  that   help   pilots   la nd  a n  ai rcr a ft  s afely,   especial ly  in  poor  visibil it y  conditi ons.  F ur t hermo re,  th e  micro wa ve  la ndin g  s ys te ms   ( M LS )  prov i de  pr eci se   gu i dan ce   to  t he   run way  us i ng  ra dio  sig nal s  f or   la nd i ng  in  lo w - visibil it y  c onditi ons ,  and  r unwa y  li gh ti ng   sy ste ms ,  w hich  hel p  pilots  id entify  t he  locat ion   of   the  r unway   a nd  it s  bounda ries.  Ot he r  exa mp le s  of   r unwa y  pr eci sio n  ai ds  include   visu al   glide   slo pe   in di cat or s,   r unwa y  al i gnment   in dicat or  li ghts,   and  run way  th reshold   li gh ts.  T hese   sy ste ms   are  de sign e d  t o  help  pilots  ma ke   safe  a nd  acc ur at e  la nd i ngs,   eve n  i n  c halle ng i ng   weathe r  co ndit ion s .  T he  area   na vig at io n   (R NAV)  proce dure ,  w hich   sta nd s   f or   a rea  na vig at io n,   is  a lso  a   pr eci sio n  to ol  us e d  by  pilots   to  fly   m or e   dir ect   r ou te s .  R N AV  is   al so  known   as   a  glob al   posit ion i ng  sy ste m   (G P S)   na vig at ion,  as  it   com m on l y  use s  G PS   data  to  de fine  the  posit ion   of  the  ai rcr a ft  an d  guide  it   to wa rd   it s   final  point.  It  is  ano t her   t yp e  of   nav i gatio n  mode  avail able   in  the  flig ht  mana geme nt  s ys te m  ( FMS)   i ns ta ll ed   on   mode rn   ai r planes .  All  th is  pr eci sio n  e qu i pm e nt  help s  reduce  fli ght  ti mes  and   f uel  co nsum ption   b y  avo i ding  the  possibil it y  of   goin g  ar ound.  I n  fact,  i f  the  r unwa y  is  eq ui pp e d  with  non - preci sio n  ai ds,  the  ai rcr aft  will   no t  be  a ble  t o  la nd  in   ba d  wea the r  a nd  will   pe rform  a   misse d  a ppr oach  ins te ad  or  di ver t  to  a n  al te rn at e air por t.   Fo ll owin g  the   In te r natio nal  Ci vil  Av ia ti on   O rg a nizat io n  ( ICA O)   [1] ,   a  missed  ap proac h  or  a     go - ar o und  is  a n  op e rati on  pe rformed   by  a n  ai rcr a ft  by  st oppi ng  an d  i nterrup ti ng  t he  a ppr oac h  if  t he  vi su al  ref e ren ce   nece ssary  a nd  the  minimu m  nee ded  f or  la ndin g  has  not  bee n  est a blished  or  reac hed.  Fi gure  1  represe nts  a n  a ircraft  go - a rou nd  pr ocedure .  Poor  ai rpo rt  in fr ast r uctu re,   s uc h  as   ina dequa te   run way  cap aci ty,   ou t dated  or  li mit ed  te rmi na l  facil it ie s,  and  no n - pr eci si on  ai ds,  ca n  con t rib ute  to  traff ic   de ns it y  an d  congesti on,  w hi ch  le ads  to  fligh t  delays .  For   this  end   a nd  a s  far   as  we  kn ow,  we  offer e d  novel  at t rib utes  that  are  relat e d  to  t he  in fr a struct ure  of  t he  ai r por t  and  the  preci sion   of  it s  ai ds,  w hich   ha ve  ne ver  bee n  c ons idere d  in  pr e vious   st ud ie s ,  namel y,  num be r  of  r unwa ys ,   r unw ay  i ntersecti on s,  l ongest   r unway  le ng t h,  s hortest   runway  le ng t h,  run way   pr e ci s ion   rate,  num ber   of   te rmin a ls,  an d  num be r  of  gates .  Ot he r  rele van t  fe a tures,  su c h  as:   ai r por t  name,  da y  of   week,  ai rline ,  ta il   nu m be r  ( re gistrati on),   flig ht  num ber,  ai r port  of  or i gin ,   ai rpor t   of  destinat io n,  ar rival  ti me ,  dep a rtu re  ti me ,  a rr ival   de la y  ( bin a ry),  a nd  dep a rtu re  dela y  ( bin ar y)  ha ve   bee n  ta ken   from  the   B ur ea u of  Tra nsporta ti on Stat ist ic s  database  (B TS)  [2] .           Figure  1. A  mi ssed  a ppr oac h op e rati on ( s our ce:   [3] )       This  researc h  is  inten de d  t o  de li ver   a n  a naly ti cal   pr edict ive   fr a me work  th at   minimi zes  t he  im pact  of   delays  an d  ca nc el la ti on s  on  pa ssen ger s ,  ai rli nes,   a nd  ai r por t  auth or it ie s  by  pr e dicti ng   t he   arr i val  dela y  of  a  par ti cula r  flig ht   based   on   new  delay - c ontrib ut ing   fact or s  tha t  wer e  not  stu di ed  in  previ ous   researc h.   S o  a s  to  boos t  the   r obust ness  a nd  ef fici ency   of  the  model,  data  no rmali zat ion   wa s  ad op te d  to  t r ansfo rm  feature s  to  be   on  a  simi la r  sc al e.  To   bette r   unde rstan d  the   patte r ns ,  c orre la ti on s,  a nd  as so ci at ion s   bet ween  the  featu res  a nd   the  ta r get v aria ble, which   can   le ad  to  b et te r  predict io n  perf orma nce,  a d at a b al ancin g  te ch nique w as   exec uted.  To  bo os t  the  pe rformance ,  r obus t ness,   a nd  gen e rali zat ion   of   the  model,  we  ap plied  a n  op ti miza ti on   of   the   hype rp a ramete rs usin g  B a yesi an op ti miza ti on  in  s uch a  wa y  that t he mo de l perfo rms bet te r  on  unseen  dat a.   Numer ous  stu dies  an d  resea r ch  hav e   bee n  cond ucted  on  f li gh t  dela ys .   T he  a nalysis  a xe s  ad dr es sed   the  ca us es   of  f li gh t  delays ,   th ei r  c onseq ue nc es,  a nd  meas ures  to   a void   the m  from   diff e re nt  perspecti ves .  T he   inv est igati ons   com pr ise d  the   study   of   sta ti sti cs,  n et w ork   of   thi ng s ,  pro ba bi li ty  theo ries,   operati onal   rese arch,  and  machi ne  l earn i ng.  Liu   et   al.   [4]   ap plied   an   ec onome tri c  m odel   in   ord er   t o  pe rform  a n  e m pirical   a na lysis  of   flig ht  act ual  ai rborne time   ( AA T )  i n  the  U S and C hin a.   Borsk y  a nd   U nte rb e rg e r   [5]   s ug gested a  d i ff e r ence - in - diff e ren c e  f rame work  ba s ed  on  an   eco nometri c  a nalysis  to   stu dy  the  impact   of   sudd e n  c ha nges  in   mete orolo gical   co nd it io ns  o n  dep a rtu re d el ays  us in g  Un it e d  Stat es d at a  be tween  Ja nuar y  2012  an d  Se ptembe r   2017.  C he n  et   al .  [6]   ai me d  to  stu dy  ai rc r aft  dela y  distribu ti on  patte r ns  in  on e   area   a nd  de monstrat e  the  Evaluation Warning : The document was created with Spire.PDF for Python.
                          IS S N :   2088 - 8708   In t J  Elec   &  C omp E ng,  V ol.  15 , No .  1 ,  Febr uary   20 25 :   1038 - 1050   1040   impact   of  dela ys   happe ning  a t  sever al   ai r por ts  us in g  a  var ie ty  of  vis ualiz at ion   te c hn i qu es .   In   orde r  to  for ecast  the  li kelihoo d  of   ai rline  delays  durin g  ta ke - off  a nd  la ndi ng  op e rati ons,  t he  kernel  den s i ty  f un ct io n  ha s  bee n  util iz ed  by  the   auth ors  in   [ 7] .  Zen g  et   al .   [ 8]   f ocu se d   on  com plex  netw ork  th eo ry  an d  the  ca us al   in f eren ce   method   to  stu dy  th e  prop a gati on  of  delay s  a nd  their   in flue nce  on  ai r   traf f ic   co ntro l   syst ems.  T o  exa min e  how   extreme   weat he r  c onditi on s   impact   punct ua li ty  in  hi gh - s pe ed  rail   an d  a vi at ion   ser vices,   Che n  a n d  Wa ng   [ 9]   util iz ed  both  da ta   visu al iz at ion   an d  sta ti sti cal   analysis.  for  antic ipati ng   a nd  assessi ng   t he   functi onal   co ndit ion   of  the   ai r port  arr ival   s ys te m,   Ro dr í gu ez - Sa nz   [ 10]   sug ges te d  a   tw o - sta ge   m od el :  t he   predict io n  pa rt  us in g  a   pro bab il ist ic  Bayesian  n et wor k  a nd the  reli abili ty p a rt w it h a  M ar kov  c hai n  a ppr oach.   Stat ist ic al   methods   are   ge ne rall y  base d  on   pr ob a bili ti e s  and  a ppr ox im at e  meas ur e m ents,   w hich   migh t   res ult  in   misl eadi ng  outc om es.   M achi ne  le a rn i ng  ha s  the   ad va ntag e  of  res ulti ng  i n  i ncr ease d  ac cur ac y  and b ei ng ab le   to addre ss e nor mous  qu a ntit ie s of dat a, a utomat ion ,  and  w orkin g bett er  w it h  unstr uctu re d data,  a ccordin g  to   Alla   et   al.   [11] .   Q u   et   al.   [ 12]   us ed   a   dee p  le a rn i ng  te c hn i qu e   for   ass essing  a nd  pro je ct ing   ai rcr aft  delay s .  T he  pr e dicti on  accu rac y  was  8.7  per ce ntage  points  hi gh e r  c ompare d  with  the   tra diti on al   machine  le a rni ng   te ch nique.   So   as  to  pr e dict  delaye d  domesti c  flig hts  op e rated  by  Amer ic a n  Ai rline s ,   Chak rab a rty  [13]   hav e  de ploy ed  a  gradie nt  boos ti ng   cl assifi er   model  with  data  sampli ng   and   hype rp a ra mete r   tun in g.  The   sugg e ste d  met hod  ha s  acc ompli sh e d  an  accu ra cy  of   85. 73 % .  Fo r   ai r port  del ay  pr e dicti on,  a  long   sh ort   te rm  me mory   (LST M)   neural  net wor k  f rame wor k  usi ng   histo rical   fligh t  data  fro m  seve ral  ai rpor ts  in   t he  U. S .  from   2015  t o  2018   has  bee n  pro pose d  by  resear cher s   in   [8] .   A ccordin g  to   the   ex pe rime ntal  resu lt s,   the s uggested  techn i qu e  out pe rforms e xisti ng meth ods r e ga r ding  reli abili ty and  pr eci sio n.   Bi sandu   et   al.   [14]   hav e   re co mmende d  a   de ep  rec urren t   ne ur al   net work   ( DRN N)  m odel   in   o rd e r   to   analyze   an d  sol ve  fli gh t  dela y  predict io n  iss ue s.  T he   sug ges te d  met hod’s  e ff ic ie nc y  a nd  c ompu ti ng   ti me  wer e   com par e d  to   e xisti ng  ben c hma r k  a ppr oac he s.  In  order  to   hel p  i n  decisi on - ma king   an d  pre dicti ng  ai r   traf fic  delays ,  Ni bar e ke  an d  Laassi r i   [1 5]   perform ed  anal ys is  on   a  fligh t  da ta set   us in g  decisi on   tr ee ,  n aï ve  Ba yes,  and   li nea r  re gr ession .  Th e  cal culat ion   an d  c omparis on   of  accurac y,   e rror,  an d  sco re  me tric s  hav e  ge ne rate d  decisi on  trees   as  the  best  m od el   a nd  n aï ve   Ba yes  as   th e  wea kest  on e .  H uo  et   al.   [ 16]   have  c ho s en  fi ve   methods ,  w hic h  are   naï ve  bayes,  lo gisti c  re gressi on,  k - nea r est   neig hbors,  rand om   forest,  and  decisi on   t r ees  to   forecast   ai rcr a f t  delays  at   H ong  K ong  In te r national  Air port.  F or   est imat ing   ai rcr a ft  de pa rtur e  dela ys ,  Kh a n    et   al.   [ 17]   ha ve   propose d  a  new   model  us i ng   var i ous  ne ur al   netw ork  a lgorit hm s  c ombine d  wit h  dif fer e nt   samplin g  te ch ni qu es .  By  e xa minin g  var ia bl es  that  are  in  r el at ion   with  de la ys   su c h  as  w eat her   data,  operati on s   in  ai r ports   gr ound,   ca pacit y  f or  dema nd  a nd  fl ow  c on t ro l   qual it ie s,  Esma e il zadeh  an d  Mokhta rim ousav i   [ 18]   dev el op e d  a  s uppo rt  vecto r  m achine  (SVM)  model  to  in ves ti gate  the  nonlinear  c onnecti on  of  the  ai r  del ays  in   the  thre e  bi ggest   ai rpor ts  i n  Ne w  Y ork  ci ty.  Alla   et   al.   [19 ]   ex pe rim ented  with  gr a dient  boos ti ng,   li near  regressio n,  e xtreme   gradie nt  boos ti ng,   ra nd om  f or e st ,  a nd   decisi on  trees   al gorith ms   in   order  to   foreca st  the   arr ival   ti me  of   a  s pecific  flig ht.  rand om  f orest   was   the  m os t  s uc cess fu l  model,  with  t he   bi gg est   accu racy  of   98.11%  compa red to t he othe r  ones.   The  c onte nt  of  this  pa per   i s  arr a nged   as   outl ined:  s ect ion   2  e xami ne s  the  st ud ie s   an d  ef f or ts  cond ucted  in t he  area  of   flig ht  d el ay  est imat ion. Secti on 3   hi gh li ghts t he  m et hod  p r ov i ded in this r esea rc h,  the   al gorithms   us e d,  as   well   a s  al l  the   featu res   a nalyze d  an d  pr opos e d  so  as   t o  boost   the   me thod’s  perform ance.   Sect ion   4  pro vi des  the   em piri cal   resu lt s  of  the  s uggeste d  t echn i qu e   as  w el l  as  the  ti me  com plexity   co mputed   in this  w o r k.   S ect ion   5 discus ses the c oncl usi on ,  v ie wpoint s,  a nd possi ble  fu t ur e  de velo pme nts.       2.   METHO D   2.1.    Problem  st at e ment   Passen ge rs  ma y  e xp e rience  s ever e  dif ficult y  as  a  res ult  of  fligh t  delays ,  su c h  as  misse d  co nn ect io ns ,   missed  a ppoint ments,  a nd   un plan ned   over ni gh t  sta ys .  Airl ines  can  proac ti vely  al ert  cus tomers  a nd  pr ov i de  al te rn at e  ch oices,  su c h  as  re - bookin g  on  a nothe r  ai rcr a ft,  i f  dela ys   are  predict ed  in  a dva nce.  Fli ght  de la ys   ca n  al so   be   c os tl y  f or  ai rlines,   r esulti ng  in   i nc reased   us e   of  fu el ,   c us to mer   c harges   pai d  for   the   an noye d  an d  dissati sfied  pas sen ger s ,  stuffi ng  overti me ,  an d  ot her   operati on al   c os ts.  Airl ines  can  ta ke  preve ntive  act io ns   t o  minimi ze  thes e  costs,  s uc h  as  adju sti ng   fl igh t  sc hedules   or   opti mizi ng  gro und  operat ion s ,  w hich   ca n   al so  impro ve  c us to mer  sat isfact io n  a nd  lo yalty .   I n  orde r  t o  a vo i d  sa fety   iss ues  e ngen de re d  by  the   stre s s  an d  fati gu e o f   pilot s  an d  the  c rew  in  ge ner al ,  a fte r  ex per ie ncin g  delays ,  ai rlines   may  ta ke  prec autions  to g ua r antee  that  their  c re w   mem ber s   are   well - reste d  a nd  that   al l  safet y  protoc ols  a re   f ollow e d  i f  tra ff ic   delays   are   known  in  ad van c e.  F or  this  reas on,  we  deci ded   i n  our  stu dy  to  de velo p  a  pre dicti ve  model  th at   al lows   pas s eng e rs,  ai rlines,  a nd  a irp or t  ma na gers  to  be  a war e   of  dela ys   s o  as  to  ta ke   pr oa ct ive  act ion s   and  meas ur e s.   The   ob je ct ive  is   to  pro vid e  tra vele rs  with  high  fl exibili ty  a nd   pe ace  of  mi nd  wh il e  al s o  assi sti ng   ai rline s  i n  m ore  su ccess fu ll y  di recti ng   t heir  operati ons  a nd   i mpro ving  c us tome r  sat isfact ion.  F ur t her m or e,  it   will   help  ai rpor t  a uthoriti es  a nd  le ader s   in   the  decisi on - ma ki ng  pr ocess.  W e  sta rted   by  e xt racti ng   histo rical   fligh t  i nfo r mati on   from   the   BTS   data base.   T he   data   un derwen t   meti culo us   prepa rati on ,  se gm e ntati on  an d  nor mali zat ion ,   Evaluation Warning : The document was created with Spire.PDF for Python.
In t J  Elec  &  C omp E ng     IS S N:   20 88 - 8708         Airp or t i nfr as t ru ct ur e  an d  r unway  p reci si on a id s for  forec ast ing  fl ig ht a r riv al d el ays   (Haj ar  All a)   1041   ens ur in g  it s  re adiness  f or   e xa minati on.  F rom  the   dataset   a t  hand,   we  de ri ved   dif fer e nt  a tt ribu te s  that  de scribe  the  perf orman ce  of   e very  fli gh t.  T o  boos t  the  accu rac y  of   our  m od el   a nd  as  fa r  as  we   know ,  we  s ug gested   novel  feat ur es   that,  acco rd i ng   to  ai r  tra nsporta ti on   orga nizat ion s  a nd  ass ociat ion s ,  are   extremel y  im porta nt  and  le a d  t o  ai r  traff ic   dela ys .  A fter   t hat, w e  seg me nted   the  f inal data   as   f ol lows : 7 0%   f or  trai ni ng  a nd 30%   f or  te sti ng .  We   uti li zed  the   m ulti la yer   pe rcep t ron  ( MLP )   to   tra in  our  model.  To  e nsure   ef fe ct ive  trai ni ng  of  the   pro po se d  s ys t e m,  hy perpara m et er  tun i ng   was   adopted  us in g  the  Ba yesian  o ptimi zat ion   a ppr oac h.   We  de ci ded   to  perf or m   a   da ta   sam plin g  usi ng  the   s ynth et ic   min or it y  oversa mp li ng   te chn i qu e   (SM O TE)   co mb i ne d  wit h   Tom e k  li nk s .  We  e xten sivel y  e xami ned  a nd  as sesse d  t he   eval uation   of  the   pro pose d  model' s  perf ormance   against   dif fer e nt  met rics.  We   en de d  t he  st ud y  with   a  c ompl ex   c omp utati on.   Fig ure  2  off ers  a   s um m ar y  of  t he  arch it ect ure  of   the g e ne ral str uctu re  of   our  a ppr oach.           Figure  2. Se quentia l  w or kf l ow  of  t he  pro posed mo del       2.2.    Data  c ollec tio n   Historical   flig ht  rec ords  f or  non - sto p  dome sti c  fligh ts  wit hin   the  U nited   Stat es  for  the   year   2019   wer e  obta ine d  from  t he  BT S  [ 2] .  Data  on   run way  dime ns io ns ,   ju nctio ns ,  a nd  oth er   per ti ne nt  detai ls  from  about   10 6  ai r ports  a cr os s   the  U.S.   wer e   retrieve d  f rom   the   Fe deral   Av ia ti on   A dmi nistrati on   ( F AA )   [ 20]   ai rpor t  databas e.  Mo reover ,  i nformat ion  on  nav i gationa l  ai ds ,  e quipme nt,   an d  facil it ie s  at   these  ai r ports  wa s   acce ssed  from   the  ai r na vig at ion  data base  we bs it e   [ 21] .     2.3.    Data  p rep roce ssing   Var i ou s  data  minin g  an d  m achine  le ar ning  meth odol og i es  can  be  util iz ed  to  un c ove r  intrig uing   insig hts  an d  pa tt ern s  f rom  e xtensi ve  data ba ses   [ 22] .  T he   data  prep r oce ssing   operati ons  pr e par e  t he   input  dataset   f or   the   fo ll owin g  data  minin g  act io ns .  T he y  al so   con t rib ute  to  e nh a ncin g  a nd  boos ti ng  the  a ccur ac y  and  performa nc e  of  mac hin e   le arn in g  syst ems,  pa rtic ularl y  i n  cl assifi cat ion ,   acc ordin g  to   [ 23] .  In  this   pa pe r,   we  a dopted  tw o pr e processi ng tech niques:  da ta  clea ning a nd  data no rmali zat ion .    In  d at a  c le ani ng ,   t he   pr ocess   of  data  cl eani ng  c onsist s  of  t he  el imi nation  of  duplica te   el ements,   the   handlin g  of   mi ssing  i nf ormat ion,   the   co rr ect i on  of  i nconsist ent  values ,   an d  the   pro per  f or matt ing  of   data ,  s o  it  can  be  rea dy   a nd   prepa red   t o  be  anal yze d  a nd   us e d,   acc or ding  to   [11] .  It   is  an  imp ort ant  phase  in  t he   data  analysis p r oces s.  It  gua ran te es   that  the  co ncl us io ns  o btaine d  f rom  the d at a   are  co rr ect   a n d  de pe nd a ble.   In d at a   n ormal iz at ion ,   n ormal iz at ion  adj us ts  the   ra ng e   of  at tribu t e  val ues  t o  fit  withi n  a   ne w   scal e.  T his  ki nd  of  appr oach  is   cr ucial   f or  cl ass ific at ion   meth od s   beca us e   it   en ha nces   the   le ar ning   proc ess  a nd  e nsur es  th a t   at tribu te s  with  higher   val ues d o no t  dominate  those  with lo w er  values, as  hi gh li ghte d i n   [ 23] .                                                                                                                                                                                                                                                                                                                    Evaluation Warning : The document was created with Spire.PDF for Python.
                          IS S N :   2088 - 8708   In t J  Elec   &  C omp E ng,  V ol.  15 , No .  1 ,  Febr uary   20 25 :   1038 - 1050   1042   2.4.   Fe at ure s  sel ection   Database  f eat ur e s  us e d  t o  pr e dict  arr i val  delays  f or  domesti c  flig hts  op e rated  i n  Un it es  Stat e s   A ir ports,  we  use d  data  for  th e  yea r  2019.  We  e xtracted   t he  sta ti sti cal   inf ormat ion  f r om  the   BTS   [2] .  T he   dataset   co mpri sing  al l  the  relevan t  i nfo rmat ion   a bout   the  f li gh t  is  s umma rized  i n  Ta ble  1.   Pro po se d  f e at ur es   are  us e d  by   i nter national  organ iz at io ns   a nd  ass ociat ion s   are  w orkin g  to  en han ce  ai r  travel  sa fety   and  eff ic ie nc y, as  well  as to  imp r ov e  the  passe nger  experie nce  and fi gh t a gain st fli gh t  dela ys .       Table  1.   A naly sis of da ta base  featur e s   Featu re   Categ o ry   Descripti o n   Day  of  m o n th   Nu m eric al   The d ay  of the  m o n th  in wh ich  the fli g h t was execu ted   Day  of wee k   Nu m eric al   The d ay  of the w ee k  du ring  which  the  tr ip  was  ex ecut ed   Carrie r  co d e   Nu m eric al   The airlines   d esig n atio n   Tail  n u m b er   Nu m eric al   The  airlines   regis tr atio n /m atriculatio n   Flig h t nu m b er   Nu m eric al   The n u m b er  o f  the  fligh t   Origin   Categ o rical   The airpo rt  o f  orig in   Destin atio n   Categ o rical   The airpo rt  o f  des t in atio n   CR S_ DEP   Nu m eric al   The p rog rammed d ep arture  ti m e   Actu al_ DEP   Nu m eric al   The true dep artur e  tim e   DEP  d elay   Bin ary   1  if  the fligh t is del ay ed  on  dep arture  0  if  no t   CR S_ ARR   Nu m eric al   The p rog rammed a rr iv al ti m e   ARR  delay   Bin ary   1  if  the fligh t is del ay ed  on  ar rival, 0 i f  n o t   (T h e dep en d en t variab le in o u r  r esear ch )   Distan ce   N u m eric al   The d istan ce in  m i les b etween th e ai r p o rt  o f  o rigin  and  the airpo rt  o f  d estin atio n       The   IC AO  [1]   ha s  est a blish ed  sta ndar ds  a nd  recomme nded   pr act ic es   (S AR Ps)  f or  ai rlines  a nd  ai rpor ts  t o  gua ran te e  sa fe  a nd  ef fici ent  op e rati on s .  Air  tr aff ic   ma na gem ent,  ai r port  operati on s ,  a nd  a irli ne   safety  a re  am ong  the  to pics  c ov e re d  by  t hes e  SA RPs .  T he  ICA O  [ 1]   al so   colla borates  with  mem be r  sta te s  t o  pu t   these   guide li nes  int o  act io n,  imp rove   the   safet y  a nd  e ff i ci ency  of  ai r  tr ans port,  a nd  m anag e   fligh t   de la ys.   The   E urop ea n  Un i on  (E U)  ha s  propose d  a   " passe ng e r   ri gh t s"  po li cy   t hat  e sta blishes   guid el ines  for   ai rlines   to   fo ll ow  in  t he   case  of  ai rc raf t  dela ys ,  c ancell at ion s,  or   refuse d  bo ard i ng.  Passe ng e rs  a re  enti tl ed  to   com pensat ion,   assist ance,  an d  re fun ds   in  par ti cula r  case s.  Air ports  Co un ci l  I nter national  ( ACI )  [ 24]   has   create d  t he  "ai rpor t   ser vice  qual it y"  ( ASQ )  pro gr am   to   ass ess  co nsume r  con te ntme nt  w it h  ai rpo rt  ser vi ces.   The  i niti at ive  s olici ts  passe nger  feedbac k  on  ma ny  areas   of  the  ai rpor t   ex per ie nce,  su c h  as  chec k - in,   se cur it y ,   bo a r ding,  on - ti me  ar rival,   an d  flig ht  dela ys .   Air ports  ma y  e mp lo y  t his  in f ormat ion  to  im p r ove  the   pas s eng e r   exp e rience   by  identif ying  a re as  f or  im pro ve ment.   T hroug h  it s  aw ar ds   f or  the   yea r   20 22  in   the   U S,   the   F AA  [20]   has  e sta blishe d  t he  ai r por t  imp roveme nt p r ogram  ( A IP) , w hic h  fun ds  a   num be r  of  init ia ti ves  an d  pro je ct s  su c h  as  t he  bu il di ng  of   ne w  a nd  upgr a ded  ai r port  in fr ast r uctu re,   r epairs  t o  run way s   a nd  ta xi way s ,   mainte na nce  of airfiel d co mpo nen ts  su c h  a s li gh ti ng  or sig ns, an d  t he  purc ha se of air port e qu i pm e nt.    In  order  t o  me et   the   exc essiv e  grow t h  in   Br azi li an  pa ssen ge r  t raffic   a nd  t he   extra   dema nd  ge ner at ed   by  the  World   Cup   2014,   a  lot  of  project s  wer e  e sta blish ed  no ta bly   t he   co ns tr uction  of  a  new   ai rpo r t  in  the  nearb y  to wn of  Sã o G onçal o d o Amara nte,  w hich was  desi gnat ed  t o  se rv e  the cit y of Nata l  [25] . Acco rd i ng to   Kenne dy   [ 26] ,   intersect ions  betwee n  r unw ays  are  e xpect ed  to  e xp e rien ce  add it io nal  de la ys   in  the  N at ion al   Airs pace  S ys te m  as  a  res ult  of   i ncr ease d  w ai t  per io ds .  T he   need   t o  que ue   wh il e  wait in g  f or   a n  i nte rs ect ing   runway   to  cl ea r  mi gh t  ca us e   consi der a ble  de la ys .  Delays   c an  al s o  be  ca use d  by  wait in g   t o  tra verse  on e   of  the  runways   wh il e   ta xiin g.  T he   I nter national   Air  Tra nsport  As so ci at ion  (IAT A)  [ 27]   has   la un c he d  the   " A irp or t   Coll aborati ve  Decisi on - M a kin g   ( ACD M ) "   i niti at ive  to  opti mize   the  inf ormat ion   e xc hange  bet wee n  ai r ports ,   ai rlines  a nd  ai r   traf fic  c on t ro l,   with   the   obje c ti ve  of  minimi zi ng  f li ght  delays  a nd  e nhanci ng  the   use   of  a irp or t   resou rces  s uc h  as  ai rcr a ft  gates  a nd   pa r king.  Acc ordi ng  to  t he  inte rn at io nal  fe de rati on  of  Air  Traffic  Con tr ollers ’  A sso ci at ions   ( IFATCA )  [ 28] ,  a   mar ked  incre ase  in  the  num ber   of  ap proac h  cat eg or ie s  stud ie d  has   occ urre d  over   the   past   fe w  yea rs.  T his  i s  m os tl y  ca us e d  by   the   a pp li c at ion  of   cutti ng - e dge  te c hnol og ie s   includi ng  t he   GP S   a nd  t he  R NAV.  S uc h  te chn i qu e s  al lo w   pilots  t o  la nd  with   bette r   pr e ci sion  an d  c onfide nce ,   lowe rin g  t he  po s sibil it y  of  missed   ap proa ches   or   go - a r ound  proce dur es  by  giv in g  pr eci se   a nd  re li able   gu i dan ce  and  posit ion i nfo rma ti on , w hich  c an  r e du ce  the  occ urren ce  of  flig ht d el a ys .   The  ICA O   [ 1]   has   produce d  ai rpo rt  desig n  sta ndar ds  that   rec ommen d  minimu m  r unway  le ngths   dep e ndin g  on t he  siz e an d  ty pe  o f  ai rc raf t e xpect ed   to  opera te  in  the airp ort . Th ese sta nd a rd s ca n  c on t rib ute to   gu a ra nteei ng  that  ai r ports  a r e  eq uippe d  to   acce pt  a  wide   range  of  ai rc ra ft,  mi nimizi ng   the  c ha nce  of  dela ys   du e   to  ca pacit y  li mit s.  Simi la r ly,  the   I AT A  [ 27]   has  pro duc ed  the   A DR M ,   w hich  offe rs  r ecomme ndat io ns   on   ai rpor t  plan ning  an d  de velo pme nt,  i nclu ding  r unwa y  le ng th  an d  oth e r  in fr ast r uctu re  re qu i reme nts.  Airpor ts   can  e nsure   that   th ei r  facil it ie s  are  e nh a nce d  f or  safet y  a nd  e ff ic ie nc y  by  fol lowing  t hese  s ta nd a rd s ,  wh ic h  ca n  help   re du ce   fli gh t   dela ys   a nd   pro vid e   a  bet te r  pa ssen ge r  exp e rience .  T hi s  ex plains   w hy  we  opte d  to   sta y  Evaluation Warning : The document was created with Spire.PDF for Python.
In t J  Elec  &  C omp E ng     IS S N:   20 88 - 8708         Airp or t i nfr as t ru ct ur e  an d  r unway  p reci si on a id s for  forec ast ing  fl ig ht a r riv al d el ays   (Haj ar  All a)   1043   fo c us e d  on  a chievin g  the  ob je ct ives  a nd   po li ci es  est ablishe d  by  th e  internati onal   orga nizat ion s   and   associat ions  previ ou sl y  e xpla ined   by   crea ti ng   ne w  feat ur es   that   f ulfi ll   the  nee ds   i n  te rms  of   ai rport   infr a struct ur e  and   buil dings,  th e  mane uveri ng   a rea  of   the  aerodr om e  (ru nw a ys ,  ta xiwa ys ,  i ntersecti ons,  a n d  gates,) ,  a nd  th e  ai ds   us e d  to  op e rate  the  fligh ts  safely   an d  eff ic ie ntly .  Ta ble  2  outl ines  t he  feat ur e s  tha t  were   pro po se d  i n  thi s stu dy.       Table  2.   Desc ription o f pro pos ed feat ur e s   Featu re     Categ o ry   Descripti o n   Ru n way  L en g th     Nu m eric al   The d istan ce of the  m o st u sed  r u n way   Nu m b er  o f  Ru n way s     Nu m eric al   The n u m b er  o f  r u n way s in  a  sp ecific   airpo rt   Ru n way s Intersect io n s     Nu m eric al   The n u m b er  o f  r u n way  intersectio n  s p o ts in  a  sp ecific  a irpo rt   Ru n way s Precisio n  Rate     Bin ary   1  if  the run way  is  p recisio n - aid s eq u ip p ed  ( IL S,  RNAV ,  and  GNSS)   0  if  no n - p recisio n - aid s eq u ip p ed  ( VOR, DM E,  NDB,  an d  L OCAT OR)   Nu m b er  o f  Gates     Nu m eric al   The n u m b er  o f  air p lan e  p arkin g   in  a  sp ecific  ai rpo rt   Nu m b er  o f  T e rm in als     Categ o rical   The n u m b er  o f  pas sen g er  ter m in als in  a  sp ecific  air p o rt       2.4.1.  Runw ay  leng th   The   le ngth   of   a  r unwa y  can   aff ect   flig ht  de la ys   i n  dif fer e nt  ways.   Alth ough   lo ng e r   r unway s   al lo w   for  la r ge r  a nd  heav ie r  ai rc raf t   to  ta ke  off   an d  la nd,  wh ic h  can  i ncr ease   th e  capaci ty   a nd  dema nd  at   a n  a irp or t ,   it   al so   means   a  lo ng e r   ti me  to   vacate   a nd  cl ea r  t he  r unwa y,  wh ic h  causes   dela ys  for  f ollow i ng  fligh ts.   Howe ver,  if  a  runway  is  to o  sh ort   f or   a  par t ic ular  ai rcr a ft,  the  la nd i ng   or  ta ke - off  distan ce  will   al so   be   sh ort ,   and   it   can  le a d  to  a  run way   e xc ur si on.  As  a  preve ntive  act io n,   that  ai rc raf t  may  need   t o  be   div erte d  to  a nothe r  ai rpor t,   ca us in g  a   delay .  A ddit ion al ly ,  i nclement   weat her  ca n  al s o  cau s e  flig ht   dela ys,  par ti cula rly   if  t he   run w ay   is  no t  l ong  e no ugh  for  a n  ai rc raf t   to  safely   ta ke  off   or  la nd  i n  poor  visibil it y  c ondi ti on s,  e sp eci al ly  i f   the ru nw a y  is  wet or sli ppe ry, which  r es ults  in a lon ger b ra king  distance.     2.4.2.  Nu m ber  of  r un w ays   The  numb e r  of  r unwa ys   at   an  ai r port  can   hav e  a n  im pa ct   on   fligh t  delays .  Ha ving  nume r ou s   runways  al l ows  an  ai r port  to  serv e  m or e  ai r   traff ic   a nd  re duce  delays  ca use d  by   c onge sti on ,  ena blin g  a ircraft   to  ta ke - off  a nd  ar rive   simult a neousl y,   t her e by  inc reasin g  the  ai r port ’s  ov erall   capaci ty .  Th ough  a n  i nc reased   numb e r   of  r unway s   ca n  al so  resu lt   i n  a   c ompli cat ed  a rch it ect ur e   f or  the   a irp or t.   I n  ge neral ,  the   m or e   runw a ys   an  ai r port  has   and   t he  m ore  com plex  it s   la yout,  the  gr eat er   the  pote ntial   fo r  del ays  du e  t o  r unwa y  intersect io ns .     2.4.3.  Runw ay s  i nt ersec tions   Fli gh t  dela ys   c an  be   increa se d  with  r unwa y  intersect io ns .  I n  ai r ports,  run way   i ntersecti ons  are  spots  wh e re  tw o  or  more  r unwa ys   cro ss   or  j oin .   The y  ca n  ca use   traf fic  dela ys  if  ai rc raf t  a re  no t  a ble  to   ta ke   off  or  la nd  on   the   int ersecti ng  run w ays   at   the   sa m e  ti me,   due   to   safety.   Let   us  t ake  t he  exa mpl e  in  Fig ur e   3  of  tw o  intersect in g  r unwa ys ,   R1 0  a nd  R0 9.   T o  t ake  off  on  R 10,  ai rc raf t  A   mu st  c ross  R 09,  bu t  ai rc raft   B  is  auth or iz e d  t o  l and  on  R0 9.  F or  that,   ai rc raf t   A   is  force d  t o  wait   an d  hold   po si ti on   to  gi ve   wa y  to   ai rcr a ft  B  for   safety  reas ons.            Figure  3. Tra ffi c o pe rati ons  on tw o  i ntersect ing   r unwa ys   (Source:   [ 29] )   Evaluation Warning : The document was created with Spire.PDF for Python.
                          IS S N :   2088 - 8708   In t J  Elec   &  C omp E ng,  V ol.  15 , No .  1 ,  Febr uary   20 25 :   1038 - 1050   1044   2. 4 . 4.   Runw ay s  p reci sion   r at e    Runwa y  preci sion  ai ds  a re   sy ste ms   a nd  e qu i pm e nt  t hat  assist   pilots   in  na vig at in g  safely   a nd   correct ly  duri ng  ta ke - off   an d  la nd in g.  In acc ur aci es   in   the   i nformat ion  pro vid e d  by  t he  non - pr eci sio n  r unwa y  ai d  can   le ad  t o  er r or s   in  a ppr oac h  a nd   la nd i ng.  T he  di sc rep a ncies  ca us e  go - ar ound s  an d  miss   ap proac h  op e rati ons th at  contrib ute to  fl igh t dela ys .     2. 4. 5 .  Nu m ber  of  g ates     Fli gh t  de la ys   c an  al so   be  a ff e ct ed  by  the  nu mb e r  of  gates  at   an  ai rpo rt.  I t  is  crit ic al   and  man dato ry  for  a n  ai rpo rt  t o  ha ve  a   s uffici ent  num be r  of  pa rk i ng  s pace s  to   ma nage  th e  num be r  of  fli gh ts   that  are   pl ann e d  to  ta ke - off   an d  la nd.  I f  t her e   are   not   e noug h  gates,  fligh ts   may   ha ve  t o  wait   f or   one  t o  become  a vaila ble,   causin g delays .     2. 4. 6 .  Nu m ber  of  t er mi na ls    Air ports  with  more  te rmina ls  te nd   to  welco me  more  flig ht s  and   passe nge rs.   T his  can  le ad  to  m ore   congesti on,   lo nger  secu rity  li ne s,  an d  more  pote ntial   f or   del ays.   Ne ver t heless,  ai r ports  with  fe w  te r minal s  can   so meti mes  ex pe rience  flig ht del ays,  es pecial ly if  one  or m ore are  u ns er vice able.     2.5.   M ultil aye r  p erce p tron    The  M LP  is  a  popula r  a nd   basic  ne ural   netw ork  generall y  use d  f or  cl assifi cat io n  pr ob le m s.   Ba sic al ly,  it   is  a  fee d - forw a r d  ne ur al   netw or k  c ompose d  of   man y  pe rcep t r on   [ 11] .   Wit h  on e   or  more  hi dd e n   la yer s,  t he  MLP  is  ge ner al l y  em ployed  f or   patte r n  rec ogniti on,  cl ass ific at ion ,  pr e di ct ion ,  an d  functi on  appr ox imat io n  [ 30] .   T he  in put  la ye r  nodes   receive  t he  i nput  data,  wh il e  the  ou t pu t  la ye r  nodes   ge ne ra te   the   netw ork’s  pred ic ti on s.   T he  ne uro ns   i n  each   l ayer  us e   act iva ti on  f un ct io ns  t o  c al culat e  a   w ei gh te d  s um  of  their   inputs a nd produ ce  a  non - li ne ar  ou t pu t.     The  M LP   f ollo ws  the   pr ocess   of  m ulti plica tio n,  s um mati on,  an d  act ivati on  us ed   in  ne ural   netw ork s   [11] , as  expre s sed b y  ( 1):       = ( ∑ ∗ + ) = 0   (1)     w he re     ref e rs  t o  the  − ℎ   in pu t  w he re    ranges  fro m  0  t o    inputs .    ind ic at es  t he  weig ht  matri ce s  f or   both   the  hidde n  a nd   outp ut   la ye rs,  with     s panni ng  from   0  to   n  inputs.     de no te s  the   bias  te rm .    re presents   th e  act ivati on   func ti on .    sig nifies  the outp ut  valu e.    M ulti la yer  p er ceptr on   is   wi de ly  use d  f or  a va riet y  o f  a ppli cat ion s.   Alla   et  a l.   [11]   use d  a M LP   ne ural   netw ork  with  s el ect ive  trai ning  f or  the  predi ct ion   of   dela ys  on  ar rival.   To   est imat e  the  co eff ic ie nt  of  sof t  so il   consolidat io n,  Ph am   et  a l.   [31]   c ombine d M LP a nd  bi og e ogra phy - ba sed  opti miza ti on   (B BO).   The   pro pose d  method,   M LP - BB O,   ha d  t he   bi gg e st  pr e di ct ive  performa nce  with   the   l ow est   r oot  mean   squa re  e rror  (R M SE )   of  0.397   co mp a red  with   oth e r  models.  Mu barek  a nd  Ad al i  [ 32]   a dopte d  a   M LP   for  f ra ud  detec ti on .  The   pro pose d  m odel   re vealed  t hat  it   was  t he  m os t  accurate,   with   the  great est   d e gr ee   of  accurac y  of   99. 47%  us i ng   ni ne  sel ect ed  fe at ur es.  For  dr ought  f or eca sti ng,  Z ulifq a r   et   al.   [ 33]   a pp li e d  an d  te ste d  the  ML P  in  seve ral  cl imat ologica l  sta ti on s  sit uate d  in  the  no rthern   area  an d  Pa ki sta n.   T he  m odel   was   able  to   pre dict  dro ught  c onditi on s   with   di ff e ren t  ti me   scal es  an d  highe r  a ccur ac y.  T o  de te rmin e  t he  wa rmin g  and  cal min g  re qu i reme nts  of  energ y - e ff ic ie nt   buil dings,   X u  et   al.   [34 ]   ha ve  util iz ed  a nd  opti mize d  an   M LP   method  us i n g  diff e re nt  opti m iz at ion   al gorith ms.  Ra dh a kri sh na n   et   al.   [35 ]   ha ve  de velo pe d  a n  M LP   m odel   f or  pr e dicti ng  mec han ic al   ve ntil at or  set ti ng s   by  changin g  the   hi dd e n  la yer s   a nd   c ompari ng  the  resu lt s.   T he   be st   model wa s the   on e  w it h t hree  hidden  laye rs.   In  the   prese nt  s tudy,   the M L P w as  im pleme nt ed  for  a ssessin g  a nd f oresee in g  t he  occurr en ce  of f li gh t   delays  us in g  ne w  featu res.   W e  op te d  f or   the   M LP  for  ma ny  reas ons:   i)  Be cause  M LPs  hav e  few   pa ra mete rs,  they  ca n  be  e mp lo ye d  by  in div id uals  with ou t  pr e vious  e xp e rience ,  an d  their  impleme ntati on   te c hn i ques  are   easy   to   un der st and   [36] ;   ii )  MLPs  ha ve  t he  c apab il it y  t o  be   util iz ed  acr os s   div e rse  fiel ds  f or  s olv in g  a  va riet y  of  prob le ms   [ 36] ;   ii i)  M LPs   serv e   as   to ols   for  discri minat ion ,   recog niti on   of  patte r ns ,   empirical   m odel ing ,   and  ma ny  othe r   a pp li cat io ns   [ 36] ;  i v)  W he n  a ppli ed  t o  simi la r  issue s,   MLP s   oft en   ou t perform   sta nd a r d  sta ti sti cal   app r oach e s   [36] ;   v)   W hile  tra di ti on al   li near  models  str uggl e  to  m odel   data  with  nonl inear  pro per ti es,  MLPs  ca n  ef fec ti vely  capt ur e   both  li nea r  a nd  no nlinear  i nteracti ons   [36] ;  a nd  vi)   MLPs  are   eff ect ive  in  e xt racti ng str uctu r al  o r  p at te r n  c ha racteri sti cs fr om   both  sta ti c and dy namic  da ta   [36] .    To  c reate  a  machine   le ar ni ng   s ys te m ,  weig ht  pa ram et ers  are  set   up  an d  a dju st ed  us in g  a n  op ti miza t io n  a ppr oach.  Accord i ng  to  t he  st udy   [ 37] ,   this  act ion   kee ps   oc currin g  ti ll   th e  obje ct ive  functi on   at ta ins  a  mini mu m   or  the   a ccur ac y  reach es  a  ma xim um .  I n  our   in ve sti gation,  we   empl oy e d  Ba yesian   op ti miza ti on to  tun e  the  hype r par a mete rs.      Evaluation Warning : The document was created with Spire.PDF for Python.
In t J  Elec  &  C omp E ng     IS S N:   20 88 - 8708         Airp or t i nfr as t ru ct ur e  an d  r unway  p reci si on a id s for  forec ast ing  fl ig ht a r riv al d el ays   (Haj ar  All a)   1045   2.6.   Baye sia n  op timi z at i on     The   hy perpara mete r  opti miza ti on   pa rad i gm  i nvolv e s  t he  use   of   f our   pe rtin ent  el eme nts:  a n  e sti mator   (which   mi gh t   be  a   regressio n  or   cl assif ic at ion  m odel   with   s om e   sort  of  ob je ct ive   f unct ion),   a  def i ne d  searc h  sp ace,   a  te c hniqu e   f or  e xplor ing  or  opti mizi ng  hy perpara mete r  c ombina ti on s,   a nd  an   e valuati on  metr ic   f or   com par i ng  the   ef fecti ven es s   of  var i ou s   hype r par amet e r   co nf i gurati on s.  Ba ye sia n  op ti miza ti on   m od el s  com pu te   the  ne xt  hype rpara mete r  by  co nsi der in g  the  previo us   outc om es  of   te ste d  hype r par amet e r   values   avo i ding  num erous  unnece s sary  eval uatio ns .   As   a  c ons equ e nce,   the   Ba yesian  ap proach  can   fi nd  the  best  hype rp a ramete r  c ombinati on  in  fe wer  it erati on s   tha n  oth e r   opti miza ti on   t echn i qu e s  s uc h  as   ra ndom  s earch   and  gri d  sea rc h.   Ba yesian  opti miza ti on   e mp lo ys   t wo  m ai n  co mpo nen t s  to  sel ect   the   ne xt  hype r paramet er   config ur at io n:  a surr ogat e m odel  and a n  a cq uisit ion   functi on  [37] .     2.6.1.  Surr ogate m od el :   G aussi an   p roce sse s    The  s urr og at e   model  is  a pp li ed  to   direct  the   searc h  for  t he  ta rg et   m ode l’s  global  opti m um.  T he  most   commo n  s urrogate  m od el   for  obje ct ive  functi on  m od el i ng  is  the  gaus sia n  pr ocess  ( GP ) ,  wh ic h  f ol lows   a   normal   distri buti on  acc ordin g  t o  ( 2).  It  is   an  a dvan ced   pro ba bili sti c  mo del   that   is  wi dely   use d  in   machine   le arn in g for  re gr es si on a nd classi ficat ion   pro blems  [37 ] .     ) , µ   | N ( y     D) x, | ( ^ ^ 2 = y p   (2)     wh e re    co rr es ponds  to   the  hype r - par a mete r  co nfi gurati on  sp ace ,  a nd  = ( )   de note s  the   evaluati o n  ou tc om e  f or  e a ch hype r - par a mete r  value  ,  ²   is t he  c ovarian c e an d  µ   t he  m e an.   Af te r   ma king  pr e dicti on s ,  t he   subse qu e nt  evaluati on  points  ar e  sel ect e d  base d  on  th e  co nf i den ce   intervals   ge ne r at ed  by  the   BO - GP  m od el .   Every   ne w  dat a  point  is   inc orp or at e d  i nto   t he  dataset ,  a nd  t he    BO - GP  m od el   is  update d  ac cordin gly.  T hi s  pr ocess   is  reit erated  s eve ral  ti mes  unti l  th e  set   st opping   crit eria   are  met.  For   a  dataset   with  siz e  ,  the   BO - G P  m odel   has   a   ti me  co mp le xity  of  ( 3 )   a nd  a   s pa ce  co m plexity  of  ( 2 ) .  A   sig nific ant  dr a wb ac k  of  the   BO - GP  model  is  it s  c ubic   ti me  c ompl exity  c oncer ni ng  the   num ber   of   i ns ta nces ,  wh ic h  im pacts  it s  scal abili ty  an d  pa rall el   processi ng   ca pa bili ti es.  Addi ti on al ly,  t he  B O - GP  model i s mai nly   desig ne d  f or  op ti mizi ng c on ti nu ous  v a riabl es  [ 37] .     2.6.2.  Acq uisi t ion  fu nc tion    To  sel ect   the  nex t  ca ndidate   from  t he  sea r ch  s pace,  t he  acqu isi ti on  f un ct ion   ca n  be   de scribe d  to   mean  t he  a ntici pated gai n:     ( ) = [ ( ) |   X,y ]     (3)     w he re      ( ) : =  ( ) − ( ) . : →   (4)     is  the  gain  f or  unknow n  s ol ution s .  I n  ev ery  lo op,  a n  add it io nal  ca ndidate   s olu ti on  ′   is  sel ect ed   via   the   ma ximiza ti on of t he  ac qu i sit ion  fu nctio n   [38] :     ′ =  ∈  ( )   (5)     2.6.3.  B ayesi an al go ri th m    The  ke y  sta ges   of   the  Ba yesi an  opti miza ti on  te ch nique  ar e  dem on st rated  in  Al gorithm   1   [ 38] .  T he   init ia l  ro un d  pro duces  the   ba sic   dataset s    and  .  A  st och a s ti c  su r rogate  model  of  t he  obje ct ive  f unct ion  is  conseq ue ntly  dev el op e d.  F ollow in g  t hat,  a   sam ple  is  c hose n  by  ma ximizi ng   t he  ac qu isi ti on  f unct ion .   T he   sample  is  asse ssed  via  the  obje ct ive  f un ct i on.  The  surr og at e  mo del  is  s ub s eq ue ntly  re v ise d  with  the   novel  data. T his tec hniq ue wil l co ntinu e  unti l t he maxim um   num ber o f  it erati on s is   met.     Algorith m   1 .   B ayesian  opti miza ti on  al gorith m   Re qu ire:   An a cqu isi ti on fu nc ti on   A   1 .   C onstr uct th e prima r y data  set   ,    us in g  t he ob je ct ive  fun ct ion   .   2 .   B uild t he Ga us sia n p r ocess mo del u ti li zi ng the  dataset   ,    3 .   W hile t he  st opping c rite ria  hav e  not  been  met,   do   4 .         M a ximize  the ac qu isi ti on  functi on:               ′   =         ( )     ∈   Evaluation Warning : The document was created with Spire.PDF for Python.
                          IS S N :   2088 - 8708   In t J  Elec   &  C omp E ng,  V ol.  15 , No .  1 ,  Febr uary   20 25 :   1038 - 1050   1046   5 .         E valuati on:  ’ ←   ( ’ )   6 .         Augme nt  the  data set   by addin g  ′ ,  ′   to  ,    7 .         Re bu il d t he Gau ssian  pr ocess mo del  for  f  u si ng the  expan de d  dataset   ,    8 .   En d   wh il e       3.   RESU LT S  AND DI SCUS S ION   3.1.   Ex peri ment al  s et up   The   simulat io ns  we re   co nduc te d  in   P ytho n  3.9.15  us in g  t he  sci kit - le ar n  li br a ry .  The   pro gr a m  was   cod e d  on   a n  H P  c ompu te r  with W in dow s 10.  I n  our  r esearc h,  dela ye d  flig hts  a re   re pr ese nted   as   1  a nd on - ti m e   fligh ts a s  0.     3.2.   Res ults  and  a n alysi s   Choosin g  th e   mo st   ap pro pr ia te   hype r par am et ers  possesses   an   e norm ous  eff ect   on  t he  pe rformance   model.  A  sel e ct ion   of   dif fere nt  hy perpara mete r  values  ha s  bee n  c onsid ered   a s  a  sea r ch  s pace  to   bu il d  an d  op ti mize   the   pr opos e d  MLP   model:   i)   Hi dden  la yer  siz e:   ( 100,),   ( 50) ,   (50,50),   ( 100,1 00) ,  (10 0,50),   ( 50,10 0) ;  ii )  Acti vatio n  functi on:  lo gisti c,  Tan h,   a nd   Re LU ,  ii i)  S olv e r:  SGD ,  Ad a m ;  iv)   Al ph a:   0.0 1,   1e - 6,   1e - 2 ;    v)  Lear ning  rat e:  co nst ant, i nvscal ing ,  ad a ptive ; an d vi)   M a x  it erati on: 1 00 , 500, 1 000, 20 00 .   Acti ons  can  va ry   in  durati on  and   occ ur   c oncurrently ,  poss ibly  overla ppin g  in  ti me  [ 39] .   To  validat e   the  c ho ic e   of   the  hype r par am et er  op ti miza ti o n  met hod,  we   co mp a re d  t he  Ba yesian   opti miza ti on   with   that  o f   gr i d  searc h  [37]   an d  ra ndom  s earch  [37 ]   te ch niques  re ga rd i ng   t he  accu rac y  an d  the  el a pse d  ti me.  Acc or ding   to  the  resu lt s  in  Table  3 ,  w e  de du ce  t hat  the  Ba yesia n  al gorithm  is  t he  best  opti miza ti on   met hod  to  be   pro po se d  in  t his  stu dy.  I n  Table  4,  the  c ombinati on  of   the  best  hy pe rp a rameter s  and   t he  best  ac cur ac y  gen e rated   by  the  Ba yesian   op ti miza ti on  i s  prese nted .  Our  pro posed   m od el   was   e valuated   in   te rms  of   normali zat ion,   data  sam pling,  an d  pa ramete r  tu ning.  Ta bl e  5  s hows  th e   evaluati on  re s ults  befo re  an d  after   normali zi ng  th e  data  reg a r din g  the   recall ,   the  F1  sco re ,  the   accu rac y,  an d  the  pre ci sion .   It  s ho ws  t he  importa nce  of   data  no rmal iz at ion   to  e nhan ce  the  ef fici en cy  a nd   t rainin g  co ns ist e ncy   of   t he  m odel   bein g  pro po se d.   We   performe d  th e  data  bala ncing   us i ng   t he  Smo te - To me k  te chn i qu e ,  w hich  c ombines   unde r   samplin g   a nd   ov e rsam plin g  f or   bette r  sa mpl ing .  Ta ble  6  pr ese nts  the  e valuati on  fi n di ng s   with  a nd  withou t   data  sa mp li ng.   Ba sed   on  the   res ults,  we   de du ce   that   bala ncin g  data  with  t he  Sm ote - T om e k  te c hn i que  wa s   very   su cce ssf ul ,  w hich   i ncr e ased   the   accu r acy  t o  90. 13% .  All  the   oth er   metri cs   wer e   impro ved  c ompare d  with the  pre vious  fin dings.   T able  7  hi gh li gh ts   the   e ff ect   of   opti mizi ng   the   s uggeste d  M LP   m odel   by  m onit or i ng  the   re su lt s  befor e   a nd  afte r  the   Ba ye sia n  op ti miza ti on.  We  noti ce  that   the  Ba yesian   op ti miza ti on  ha s  res ulted   in  a   hi gh e r   accurac y  of  92. 49%.  All  the   oth e r  met rics  wer e   imp rov e d  c ompare d  w it h  the  pre viou s  fin dings .   Fig ur e  4  monit or s   the   r ecei ver  oper at ing  c urve   (RO C)  f or  t he  final   pro pose d  mod el   with   no rmal iz at ion ,  sam pling  a nd  op ti miza ti on. T he  a rea  unde r  the c urve is  0.923 0.       Table  3.  C omp ariso n of  hy per - pa rameter  alg or it hms     Bay esian   Grid  s ear ch   Ran d o m   s earc h   Accuracy  ( %)   9 2 .49   8 8 .08   8 7 .61   Elaps ed   t im e  ( seco n d s)   1 0 6 3 .7 9   3 9 9 4 .0 3   4 3 8 2 .3 7       Table  4.  T he  best  hyp e r - par a mete rs  a nd acc ur ac y of t he   pr opos e d mo del   Mod el   Hy p er - p ara m ete r   ( HP)   The b est HP  v alu e   The b est accura cy   Multilay er  p er cept ron   Activ atio n   ReLU   9 2 .49 %   Alp h a   0 .01   Hid d en  layer sizes   (50 )   Lear n in g  r ate   co n stan t   Max  Ite r   1000   So lv er   Ad am       Table  5.  E val ua ti on  met rics i n  te r ms  of d at a  normal iz at ion     W ith   n o rm alizatio n   W ith o u t no rm alizatio n   Accuracy  ( %)   7 9 .40   7 5 .98   Precisio n   7 8 .96   7 4 .00   Recall   7 7 .73   7 0 .66   F1  sco re   7 8 .13   7 3 .22   Evaluation Warning : The document was created with Spire.PDF for Python.
In t J  Elec  &  C omp E ng     IS S N:   20 88 - 8708         Airp or t i nfr as t ru ct ur e  an d  r unway  p reci si on a id s for  forec ast ing  fl ig ht a r riv al d el ays   (Haj ar  All a)   1047   Table  6.  E val ua ti on  met rics i n  te r ms  of d at a  b al anci ng     W ith  sam p lin g   W ith o u t sam p lin g   Accuracy  ( %)   9 0 .13   7 9 .40   Precisio n   9 1 .10   7 8 .96   Recall   7 9 .93   7 7 .73   F1  sco re   9 0 .48   7 8 .13       Table  7.   valuat ion   metri cs i n  t erms o f hyper pa rameter  tu ning     W ith  op tim izatio n   W ith o u t op tim izatio n   Accuracy  ( %)   9 2 .49   9 0 .13   Precisio n   9 2 .15   9 1 .10   Recall   8 0 .27   7 9 .93   F1  sco re   9 2 .13   9 0 .48           Figure  4 .  ROC  curve  for t he p rop os ed  m od el .   S ource:  own ca lc ulati on       3.3.   Be nchm ar k  f indi ng s     To  dem onstra te   the  eff ic ac y  of   our  s ugges te d  ap proac h,   we  co mp a re d  our  fi nd i ngs  in   Table  8  t o  tho se  from  pre vious  stu dies.  The  c omparis on  wa s  ma de  ba sed  on   t he  rec al l,  the  F1   sco re,  the  acc urac y,   a nd  the preci sio n.  We  remark t ha t our su gg e ste d st rateg y  is   t he most acc ur at e   wh e n  c ompa re d  to  the  othe rs.       Table  8 .   Re la te d works a nd pr opos e d met hod com pa rison   Mod el   Featu res us ed   Ob jectiv e   Metr ic  1:  accuracy   (%)   Metr ic  2:  F1  sco re  (%)   Metr ic  3:  p recisio n   (%)   Metr ic  4:  reca ll    (%)   Hen riqu es  et al .  [40 ]   Flig h t info rm atio n ,   weather  data;  a i rc raf t  d ata;  d elay   p r o p ag atio n  info rm atio n   To p redict fligh t  arr iv al delay s   8 5 .63   7 9 .00   -   -   Stefano v ic  et al.   (ar rival )  [41 ]   Fly in g  perio d ,  trip n u m b er,  ai rline,  d estin atio n ,  o rigin ,  clim a te,  ceilin g   d ata,   v elo city  of the win d ,  win d  directio n ,  v isib ility ,  p lan n ed   tim e,  classes   To p redict th e  fligh t ar rival t im e   d ev iatio n  f o r  Lithu an ian  air p o rts   4 7 .43   5 0 .77   4 7 .43   5 6 .73   Stefano v ic  et al .  (dep arture)   [41 ]   Fly in g  perio d ,  trip n u m b er,  ai rline,  d estin atio n ,  o rigin ,  clim a te,  ceilin g   d ata,   v elo ci ty  of the win d ,  win d   d irection ,  v isib ility ,  p lan n ed  tim e,  cla ss es   To p redict th e  fligh t dep arture  tim e dev iatio n   for   Lithu an ian  air p o rts   8 5 .65   8 7 .86   8 5 .65   9 0 .90   Pam p lo n a  et al.   [42 ]   Flig h t  d ata ,  d elay  j u stificatio n  cod e   To p redict ai r  traf fi c  d elay s   9 1 .30   7 7 .00   8 7 .00   6 9 .00   Vo n itsan o s  et al .   [43 ]   Flig h t data, sam e - o rigin - fligh ts co u n t,  av erage air lin e  del ay ,  av erage orig in   d elay ,  cancelled  ( c lass ification ),  a rr iv al  d elay  ( regressio n )   To forecast  air   fligh t delay s   -   5 4 .35   5 4 .37   5 3 .40   Ou r  m o d el   Flig h t data, dis tan ce,  run way  leng th ,  nu m b er  o f  run way s, r u n way s  in tersection s, r u n w ay s p recisio n  r ate,   n u m b er  o f  g ates,  nu m b er  o f  t er m in als.   To p redict fligh t  arr iv al delay s   9 2 .49   9 2 .13   9 2 .15   8 0 .27     Evaluation Warning : The document was created with Spire.PDF for Python.