I nte rna t io na l J o urna l o f   E lect rica l a nd   Co m p ute E ng in ee ring   ( I J E CE )   Vo l.   11 ,   No .   5 Octo b er   202 1 ,   p p .   4 3 8 1 ~ 4 3 9 1   I SS N:  2088 - 8708 DOI : 1 0 . 1 1 5 9 1 / i j ec e . v 11 i 5 . pp 4 3 8 1 - 4 3 9 1           4381       J o ur na l ho m ep a g e h ttp : //ij ec e. ia esco r e. co m   Foreca sting  nu mber o v ulne ra bili ties using  long  sh o rt - ter m   neura m e m o ry  n etw o rk       M o ha m m a d S ha m s ul H o qu e 1 ,   No rz ia na   J a m il 2 ,   No w s ha d   A m in 3 ,   Azr il Az a m   A bd u l R a hi m 4 ,   R a za li   B .   J idin 5   1, 2, 5 Co ll e g e   o f   Co m p u ti n g   a n d   I n f o rm a ti c s,  Un iv e rsiti   Ten a g a   Na sio n a l,   M a lay si a   3 In stit u te  o f   S u sta in a b le E n e rg y ,   Un iv e rsiti   T e n a g a   N a sio n a l,   M a la y sia   4 T e n a g a   Na sio n a Be rh a d ,   Ku a la  L u m p u r,   M a lay sia       Art icle  I nfo     AB ST RAC T     A r ticle  his to r y:   R ec eiv ed   Au g   9 ,   2 0 20   R ev i s ed   Mar   12 ,   2 0 21   A cc ep ted   Mar   27 ,   2 0 21       C y b e r - a tt a c k a r e   lau n c h e d   th r o u g h   th e   e x p lo it a ti o n   o f   so m e   e x isti n g   v u ln e ra b il it ies   in   th e   so f tw a re ,   h a rd w a re ,   s y ste m   a n d /o n e tw o rk .   M a c h in e   lea rn in g   a lg o rit h m c a n   b e   u se d   to   f o re c a st  th e   n u m b e o f   p o st  re lea se   v u ln e ra b il it ies .   T ra d it io n a n e u ra l   n e tw o r k w o r k   li k e   a   b lac k   b o x   a p p ro a c h ;   h e n c e   it   is  u n c lea h o w   re a so n i n g   is  u se d   in   u ti li z in g   p a st  d a ta  p o i n ts  i n   in f e rrin g   th e   su b se q u e n d a ta  p o i n ts.  Ho w e v e r,   th e   lo n g   sh o rt - term   m e m o r y   n e tw o rk   ( L S T M ),   a   v a rian o f   th e   re c u rre n n e u ra n e tw o rk ,   is  a b le  to   a d d re ss   th is  li m it a ti o n   b y   in tr o d u c in g   a   l o o f   lo o p s in   it s n e tw o rk   to   re tain   a n d   u ti li z e   p a st  d a ta p o i n ts  f o f u tu re   c a lcu la ti o n s.   M o v in g   o n   f ro m   th e   p re v io u f in d i n g ,   w e   f u rth e e n h a n c e   th e   re su lt t o   p re d ict  t h e   n u m b e o f   v u ln e ra b il it ies   b y   d e v e lo p in g   a   ti m e   se ries - b a s e d   se q u e n ti a m o d e u si n g   a   lo n g   sh o rt - term   m e m o r y   n e u ra n e tw o rk .   S p e c ifi c a ll y ,   th is  stu d y   d e v e lo p e d   a   su p e rv ise d   m a c h in e   lea rn in g   b a se d   o n   th e   n o n - li n e a se q u e n ti a ti m e   se rie fo re c a stin g   m o d e w it h   a   lo n g   sh o rt - term   m e m o r y   n e u ra n e tw o rk   to   p re d ict  t h e   n u m b e o f   v u ln e ra b il it ies   f o th re e   v e n d o rs  h a v in g   th e   h ig h e st  n u m b e o v u ln e ra b il it ies   p u b li sh e d   i n   t h e   n a ti o n a v u l n e ra b il i ty   d a tab a se   (NV D),  n a m e l y   m icro so f t,   IBM   a n d   o ra c le.  Ou p ro p o se d   m o d e o u tp e r f o r m th e   e x isti n g   m o d e ls  w it h   a   p re d icti o n   re su lt   ro o m e a n   sq u a re d   e rro r   ( RM S E)  o a s lo w   a s 0 . 0 7 2 .   K ey w o r d s :   I n f o r m a tio n   s ec u r it y   L o n g   s h o r t - ter m   m e m o r y   n et w o r k   R ec u r r en t n e u r al  n et w o r k   Su p er v i s ed   m ac h in lear n i n g   T h r ea t   in tellig e n ce   T im s er ies   Vu l n er ab ilit y   p r ed ictio n   m o d e l     T h is i a n   o p e n   a c c e ss   a rticle   u n d e r th e   CC B Y - SA   li c e n se .     C o r r e s p o nd ing   A uth o r :   Mo h a m m ad   S h a m s u l H o q u e   C o lleg o f   C o m p u ti n g   a n d   I n f o r m at ics   Un i v er s iti T en ag Na s io n al,   Ma la y s ia   E m ail:  s h a m s _ u ttar a@ g m ail. c o m       1.   I NT RO D UCT I O N     Vu l n er ab ilit y   r ef lect s   t h w ea k n e s s   o f   s y s te m   w h ic h   lead s   to   m o s t   s ec u r it y   b r ea ch es.  I n   s o m ca s e s   o f   s u cc es s f u l   c y b er - a ttack s ,   t h h ac k er s   w o u ld   u s u all y   e x p lo it  ze r o - d a y   v u ln er ab ilit ies  b e f o r th eir   ex i s te n ce   is   n o ticed   b y   t h s ec u r it y   ad m in is tr ato r   [ 1 ] ,   [ 2 ] .   T h i m p o r tan ce   o f   s ec u r it y   f o cu s   h as  d r a m atica ll y   in cr ea s ed ,   an d   th er e f o r p ast  v u l n er ab ilit y   tr en d s   an d   r e v ie w s   b ec o m m o r v al u ab le  to   b co n s id er e d   in   t h ac q u i s itio n   o f   n e w   s o f t w ar s y s te m   [ 3 ] .   Ma ch i n lear n i n g   [ 4 ]   is   s u b f ield   o f   co m p u ter   s cie n ce   an d   i s   an   ap p licatio n   o f   ar tif icial  in te llig e n ce   ( A I )   t h a " g iv es  co m p u ter s   t h ab ilit y   to   lear n   w it h o u t   b ein g   e x p li citl y   p r o g r a m m ed [ 5 ] .   Data   m o d ell in g   f o r   p r ed ic tin g   v u l n er ab ilit ie s   w h ich   th er eb y   cr ea tes  d ep lo y ab le  m ac h i n lear n in g   m o d el s   is   to o l t h at   ca n   b u s ed   as a   p r o x y   to   p r ed ict  th e   n u m b er   o f   f u t u r v u l n er ab ilit ies   o r   to   p r ed ict  v u ln er ab ilit ies   m o s l ik el y   lik e lih o o d   to   b e x p lo itab le.   T h au t h o r s   i n   [ 5 ]   an d   [ 6 ]   s h o w ed   t h at  ad d r ess i n g   s ec u r it y   is s u e s   d u r in g   s o f t w ar d ev elo p m e n p h ase  is   a n   ar d u o u s   ta s k   s i n c p r o j ec m a n a g er s   w o u ld   u s u all y   f o c u s   o n   co s t   an d   th t i m e l y   d eli v er y   o f   p r o d u cts,  t h u s   r es u lti n g   in   th h i g h   p r o b ab ilit y   o f   t h ex i s te n c e   o f   v u l n er ab ilit ies.   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 8 - 8708   I n t J   E lec  &   C o m p   E n g ,   Vo l.  11 ,   No .   5 Octo b e r   2 0 2 1 :   4 3 8 1   -   4391   4382   D u r in g   s o f t w ar d ev elo p m e n t   p h ase  is   an   ar d u o u s   ta s k   s in c p r o j ec m an a g er s   w o u ld   u s u all y   f o cu s   o n   co s t   an d   th ti m el y   d eliv er y   o f   p r o d u cts,  th u s   r esu l tin g   i n   th h i g h   p r o b ab ilit y   o f   t h e x is te n ce   o f   v u ln er ab ilit ies.   R esear ch er s   h a v u s ed   v ar i o u s   f o r m s   o f   v u l n er ab ilit y   d atab ases   in   d ev elo p i n g   m o d el s   f o r   v u l n er ab ilit ie s   d is c lo s u r e   tr e n d s .   T h ai m   o f   m o s o f   t h ese  r esear ch er s   i s   i n   f i n d i n g   th e   tec h n iq u es   in   d ev elo p in g   m o d el s   th at  co u ld   p r ed ict   th n u m b er   o f   f u t u r p r o d u ct  v u ln er ab ilit ie s   u s in g   t h eir   h is to r ical   d ata  th r o u g h   r e g r ess io n   a n d   ti m s er ies  an al y s is   [ 7 ] - [ 1 5 ] .   Ho w e v er ,   th e s m o d el s   s u f f er   i n   v a r io u s   ex ten t s   f r o m   th li m ita tio n s   s te m m i n g   f r o m   t h eir   u n d er l y in g   a s s u m p tio n s ,   u s o f   m ac h in lear n i n g   alg o r ith m s   an d   h i g h   ex p ec tatio n   f o r   a cc u r ac y .   T h u tili za t io n   o f   t h li n ea r   alg o r it h m   i s   u n ab le  to   d ed u ce   th u n d er ly i n g   n o n - l in ea r   asp ec o f   t h d ata.   T h n e u r a n et w o r k   m o d el  ap p licatio n   f o r   ex a m p le,   tr ad itio n all y   f o ll o w s   th e   b lack   b o x   ap p r o ac h   th at  ar n o m ath e m atica ll y   tr ac tab le  an d   ca n n o b ea s ily   i n ter p r eted .   B esid e s   th at,   in   n o n - lin ea r   m o d el s   o t h er   th a n   th e   lo n g   s h o r t - ter m   m e m o r y   n et w o r k ,   t h e   n u m b er   o f   i n p u t s   h as   to   b s e lecte d   b ef o r eh an d ,   th u s   m a k in g   lear n i n g   i m p o s s i b le  f o r   f u n ctio n s   t h at  d ep en d   o n   h i s to r ical  i n p u th at   to o k   p l ac lo n g   ti m a g o .   Sin ce   s ec u r it y   ac ti v itie s   f o r   s o f t w ar an d   s y s te m s   ar h i g h l y   r eso u r ce   s av v y ,   th m o d els  ar th er ef o r ex p ec ted   to   h a v e   h i g h   ac c u r ac y   o f   v u l n er ab ilit y   p r ed ictio n   b y   t h v e n d o r s ,   en d   u s er s   as   w ell  a s   b u s i n es s e s   [ 1 6 ] .   I n   th is   r esear ch ,   th p r e d ictio n   o f   th n u m b er   o f   f u t u r v u l n er ab ilit ie s   is   tak e n   as  s u p er v is ed   s eq u en t ial   ti m s er ie s   f o r ec asti n g   p r o b lem ,   an d   m a k e s   th f o llo w in g   c o n tr ib u tio n s :     C r ea tio n   o f   n e w ,   lar g er   d ataset  f o r   ea ch   s elec ted   v e n d o r   ( Mic r o s o f t,  Or ac le  an d   I B M )   u s in g   n o v el   tech n iq u o f   f ea t u r a g g r e g ati o n   o b tain ed   f r o m   o p en - s o u r ce   d atasets   w h ic h   co n tai n s   lo m o r e x a m p les   to   ef f icie n tl y   tr ai n   th L ST n et w o r k .   T h ese  d atasets   c o n tain   lo m o r ex a m p les  co m p ar ed   to   th e   p r ev io u s   w o r k   [ 1 5 ] .   Ou r   d at aset  ( cr ea ted   b y   a g g r eg ati n g   th P u b li s h ed   Da te  f ea t u r e” )   f o r   Mic r o s o f t   v en d o r   f o r   ex a m p le,   h as   1 0 3 0   ex a m p le s   co m p ar ed   to   [ 1 5 ]   w h er th e   d ataset   w as   p r ep ar ed   b ased   o n   a   m o n t h l y   a g g r eg atio n   a n d   h as   ap p r o x im a tel y   2 5 2   ex a m p les   f o r   ea ch .   T o   th b est   o f   o u r   k n o w led g e,   t h e s ar th f ir s d ataset s   w i th   s u c h   f ea t u r cr ea ted   b y   g r o u p i n g   b ased   o n   t h p u b lis h ed   d ate  t o   b u tili ze d   f o r   v u l n er ab ilit y   p r ed ictio n   m o d el .       Utilizatio n   o f   d ee p   lear n i n g   alg o r ith m   ca lled   t h lo n g   s h o r t - ter m   m e m o r y   ( L ST M) ,   v ar ia n o f   t h r ec u r r en n e u r al  n et w o r k   ( R N N) ,   k n o w n   f o r   h a v in g   th e   u n i q u ca p ab ilit y   i n   r etai n i n g   p as in f o r m a tio n   o f   s er ies  in   ca lc u lati n g   th ac ti v a tio n   f u n c tio n s   a n d   w e ig h ts   i n   m ac h in lear n in g   m o d elli n g   t o   f o r ec ast  f u t u r v alu e s   w i th   h i g h er   ac cu r ac y .   T o   th b est  o f   o u r   k n o w led g e,   th is   r esea r ch   is   th f ir s to   u til ize  t h lo n g   s h o r t - ter m   m e m o r y   n e u r al  n et w o r k   w it h   t h n atio n al  v u ln er ab ilit y   d ataset  in   d ev elo p in g   a   m ac h i n e   lear n in g   m o d el  to   f o r ec ast t h n u m b er   o f   f u t u r v u l n er ab ilit i es.     T h p r o p o s ed   m o d el  in   th i s   r esear ch   h as  ac h iev ed   th ac c u r ac y   ( r o o m en   s q u ar ed   er r o r )   v alu o f   as  lo as  0 . 0 7 2   w h ic h   h a s   o u tp er f o r m ed   th ex i s ti n g   m o d els  in   ter m s   o f   p r ed ictio n   ac cu r ac y   a n d   f o llo w i n g   d is tr ib u tio n   tr e n d s .   T h r est  o f   th p ap er   is   o r g an i ze d   is   b ein g   as :   Sectio n   2   d escr ib es  th r elate d   w o r k   w h i le .   Sectio n   3   d escr ib es th e   d ataset   an d   m et h o d   u s ed   i n   t h a n al y s i s .   Sec tio n   4   d escr ib es   th e   ad v a n ta g es   o f   t h L ST m o d el   in   ti m s er ies  p r ed ictio n ,   s ec tio n   5   d escr ib es  th r esu lt s   a n d   an al y s i s ,   an d   f i n all y   s ec ti o n   6   d escr ib es  th co n clu s io n   a n d   f u tu r w o r k s .       2.   RE L AT E R E SE ARCH     L y u   an d   L y u   [ 9 ]   s u r v e y ed   s o f t w ar d ef ec t   d etec tio n   p r o ce s s es   u s i n g   s o f t w ar r eliab ili t y   g r o w t h   m o d el s .   A n d er s o n   p r o p o s ed   t h An d er s o n   T h er m o d y n a m ic  ( A T )   ti m e - b a s ed   v u ln er ab ilit y   d is co v er y   w h ic h   i s   co n s id er ed   as  p io n ee r   in   s u ch   r esear ch   [ 1 6 ] .   A lh az m a n d   Ma lai y p r o p o s ed   a   tim e - b ased   ap p licatio n   o f   s o f t w ar r eliab ili t y   g r o w t h   m o d ellin g   ( S R GM )   i n   p r ed ictin g   th n u m b er   o f   v u l n er ab ilit ie s ,   an d   later   h av e   also   p r o p o s ed   an o th er   lo g i s tic  r e g r ess io n   m o d el  f o r   W in d o ws  9 8   an d   NT   4 . 0   in   p r e d ict in g   th n u m b er   o f   u n d i s co v er ed   v u l n er ab ilit ie s   [ 1 7 ] .   R esco la  p r o p o s ed   tw o   ti m e - b ased   tr en d   m o d els,  n a m e l y   th li n ea r   m o d el   ( R L )   a n d   th e   ex p o n e n tial   m o d el  ( R E )   to   esti m ate   f u t u r e   v u ln er ab ilit ie s   [ 1 8 ] .   Ki m   [ 1 9 ]   p r o p o s ed   n e w   W eib u ll  d is tr ib u tio n - b a s ed   v u ln er ab ilit y   d i s co v er y   m o d el  ( VDM )   w h ic h   w as  co m p ar ed   w it h   [ 2 0 ] ,   an d   f o u n d   th at  th e ir   m o d el  p er f o r m ed   b etter   in   m a n y   ca s e s .   T h er ar also   s ev er al  o th er   s tu d ies  t h at  w o r k ed   f u r t h er   b ased   o n   th e x i s ti n g   VDM s   f o r   v ar io u s   s o f t w ar p ac k a g es  w it h   t h ai m   o f   i m p r o v i n g   t h v u l n er ab ilit y   d is co v er y   r ate  an d   t h p r ed ictio n   o f   f u t u r v u ln er ab ilit y   co u n [ 2 1 ] - [ 2 8 ] .     Mo v ah ed et   a l.   [ 2 9 ]   d ev elo p ed   n in e   co m m o n   v u l n er ab ilit y   d is co v er y   m o d els   ( VDM s )   wh ich   w er co m p ar ed   w ith   n o n li n ea r   n eu r al  n et w o r k   m o d el  ( NN M)   o v er   p r e d ictio n   p er io d   o f   th r ee   y ea r s .   T h co m m o n   VDM s   ar t h NHP P   p o w er - la w   g a m m a - b ased   V DM ,   W eib u ll - b ased   VDM ,   AM L   V DM ,   n o r m al - b ased   VDM ,   r esco r la  ex p o n e n tial  ( R E ) ,   r esco r la  q u ad r atic  ( R Q) ,   y o u n i s   f o ld ed   ( YF)   an d   lin ea r   m o d el  ( L M) .   T h ese  m o d els  u s th NVD  d ataset  w it h   t h f ee d f o r w ar d   N NM   w it h   s in g le  h id d en   la y e r   in   f o r ec asti n g   f o u r   w ell - k n o w n   O Ss   a n d   f o u r   w el l - k n o w n   w eb   b r o w s er s   a n d   as s ess ed   t h m o d els  in   ter m s   o f   p r ed ictio n   ac cu r ac y   an d   p r ed ictio n   b ias.  T h r esu l ts   s h o w ed   t h at  in   ter m s   o f   p r ed ictio n   ac cu r ac y ,   th NNM   h a s   o u tp er f o r m ed   t h e   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J   E lec  &   C o m p   E n g     I SS N:  2088 - 8708       F o r ec a s tin g   n u mb er o f v u ln era b ilit ies u s in g   lo n g   s h o r t - term n eu r a l m emo r y …  ( Mo h a mma d   S h a msu l H o q u e )   4383   VDM s   in   all  ca s es   w h ile  r e g ar d in g   th e   o v er all  m a g n it u d o f   b ia s ,   t h NM p r o v id ed   th e   s m alle s v al u e   ag ain s t se v e n   co m m o n   VDM s   o u t o f   eig h t.    I n   r ec en ti m e s ,   P o k h r el   [ 1 5 ]   p r o p o s ed   a   v u ln er ab ilit y   p r ed ictio n   m o d el  b ased   o n   th n o n - li n ea r   ap p r o ac h   u s in g   th ti m s er i es  an al y s i s .   T h e y   u til ized   th e   NVD  d atab ase  f o r   th au to   r eg r ess i v m o v i n g   av er ag ( A R I M A ) ,   ar tif icia n eu r al  n e t w o r k   ( A N N) ,   an d   s u p p o r v ec to r   m ac h i n ( SVM )   to   d ev elo p   th p r ed ictio n   m o d els  an d   s elec te d   th o p er atin g   s y s te m s   s u c h   w i n d o w s   7 ,   Ma OS  X,   an d   L in u x   Ker n el  f o r   th ex p er i m e n ts .   T h ex a m p les  o f   th r es u lt  s h o w   t h at  t h b est  m o d el  f o r   w i n d o w s   7   w a s   p r o d u ce d   b y   SVM  w it h   s y m m etr ic  m ea n   ab s o lu te  er r o r   ( SMA P E ) ,   m ea n   ab s o lu te  er r o r   ( MA E ) ,   an d   r o o m ea n   s q u ar ed   er r o r   ( R MSE )   v alu e s   o f   0 . 1 2 ,   3 . 1 5   an d   3 . 5 8   r esp ec tiv el y .   Ho w e v er ,   s in ce   n o n li n ea r it y   i s   co m m o n   tr e n d   in   v u l n er ab ilit y   d is clo s u r e,   tr ad itio n al  ti m s er ies - b ased   m o d elli n g   m a y   a l w a y s   h a v li m ited   ca p ab ilit y   in   atta in i n g   h i g h   p r ed ictio n   ac cu r ac y .   I n   o u r   s t u d y ,   t h n u m b er   o f   v u ln er ab i lit y   p r ed ictio n s   is   m o d elled   w it h   n e w l y - cr ea ted   d atasets   u s in g   t h s eq u e n tial  L ST n et w o r k ,   an d   th p r ed ictio n   ac cu r ac y   w a s   f o u n d   to   h av i m p r o v ed   i n   co m p ar is o n   to   o th er   d a tasets   s u ch   a s   th r ec en t o n b y   [ 1 5 ] .       3.   M E T H O D   Vu l n er ab ilit y   d ata  w er e x tr a cted   u s i n g   a   cu s to m - co d ed   w e b   s cr ap p er   to   d u m p   t h e   d ata  f o r   th to p - th r ee   v en d o r s   f r o m   th MI T R E ' s   C VE   w eb s ite  [ 1 6 ]   s p an n i n g   b et w ee n   1 9 9 7   to   2 0 1 9 .   T h n u m b er   o f   v u l n er ab ilit i e s   f o r   Mic r o s o f t ,   Or ac le  an d   I B ar 6 8 1 4 ,   6 1 1 5   an d   4 6 7 9   r esp ec ti v el y   a s   s h o w n   in     Fig u r e s   1   an d   2 A   n e w   d atas et  w a s   th e n   cr ea ted   f o r   ea ch   v en d o r   b y   g r o u p i n g   it  ac co r d in g   to   th P u b lis h ed   Date ”  attr ib u te.   A n o t h er   attr i b u te  ca lled   t h “CVE  I D”   was  ag g r e g a ted   as   th e   s ize   o f   ea ch   g r o u p ,   an d   th e   d ataset  w a s   later   ch r o n o lo g i ca ll y   o r g an ized   ( in   an   asce n d in g   o r d er )   in   p r ep ar in g   f o r   th tim s er ie s .   T h er ef o r e,   th ese  d ataset s   co n t ain   lo t   m o r e x a m p le s   to   tr a in   t h d ee p   lear n i n g   al g o r ith m s   co m p ar ed   to   th e   p r ev io u s   w o r k s .   Fo r   e x a m p le,   o u r   d ataset  f o r   th Mic r o s o f t   v en d o r   co n tai n ed   1 0 9 0   ex a m p les  w h er ea s   i n   [ 1 6 ]   th d ataset  w a s   p r ep ar ed   ac co r d in g   to   th m o n th l y   a g g r e g at io n   an d   co n tai n ed   ap p r o x i m at el y   2 5 2   ex a m p les   f o r   ea ch   d ataset.           Fig u r e   1 .   T o p - th r ee   v en d o r s   b y   v u l n er ab ilit y   co u n t ( s n ip p ed   f r o m   [ 3 0 ] )           Fig u r e   2 A ttrib u tes o f   d atase t ( f o r   ex a m p le  Mic r o s o f t )   ( s n ip p ed   f r o m   [ 3 0 ] )       T h w h o le  r esear c h   m et h o d   co n s is ts   o f   t h r ee   p h ase s .   T h f i r s p h ase  d ea ls   w it h   d ata  v u l n er ab ilit y   f o r   t h to p - th r ee   v e n d o r s   ac co r d in g   to   t h n u m b er   o f   v u l n er a b ilit ies  co llected   f r o m   th e   o p en - s o u r ce   n atio n al  v u l n er ab ilit y   d atab ase  w it h   a   cu s to m - b u ilt  w eb   s cr ap p er   in   cs v   f o r m at.   T h s ec o n d   p h ase  in v o l v es  d ata   p r ep ar atio n ,   clea n in g   a n d   en g i n ee r in g   w h ich   co v e r s   t h b u l k   o f   th ac ti v itie s   co m m o n   to   u s u al  d ata  m o d elli n g   p r o j ec t.  Ma j o r   ac tiv ities   in cl u d th an al y s i s   o f   d is tr ib u tio n   ch ar ac ter is tics   s u c h   as  s tati o n ar it y ,   s ea s o n alit y   an d   lin ea r it y ,   clea n i n g   o f   d ata,   f ea tu r en g i n ee r in g ,   as  w ell  as  d ata  w r an g li n g   a n d   ag g r e g atio n   in   cr ea tin g   t h lar g er   n o v el  tr ain in g   d atasets .   T h th ir d   p h ase  in v o lv e s   th ex p er i m en ta tio n   an d   r es u lt  an al y s is   w h er th e   ex is t in g   b est   p er f o r m i n g   m o d el  [ 1 6 ]   w as  s et  as   th e   b aseli n e   f o r   co m p ar is o n   an d   i m p r o v e m en p u r p o s es.  T h lo n g   s h o r t - ter m   m e m o r y   n et wo r k   w a s   u tili ze d   f o r   th m o d e llin g ,   an d   p ar a m eter   o p ti m izat io n   w as  p er f o r m ed   th r o u g h   g r id   s ea r ch .   T h f o llo w i n g   F i g u r 3   s h o w s   th o v er all  v ie w   o f   t h p r o ce s s es o f   t h i s   r esear ch :     Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 8 - 8708   I n t J   E lec  &   C o m p   E n g ,   Vo l.  11 ,   No .   5 Octo b e r   2 0 2 1 :   4 3 8 1   -   4391   4384       Fig u r 3 .   Me th o d   o f   th r esear ch       4.   ADVA N T A G E S   O F   T H E   L O N G   SH O R T - T E RM   M E M O RY  M O DE L   I T I M E   SE RI E S   F O RE CAS T I N G   A   s p ec ial  ANN  ca lled   th r e cu r r en n e u r al  n et w o r k   ( R NN )   is   d esig n ed   to   u tili ze   lo o p s   to   p er s is t   in f o r m atio n   b a s ed   o n   p r ev io u s l y   lear n k n o w led g e.   T h ese  lo o p ed   n et w o r k s   w o r k   o n   ea ch   n o d in   s eq u e n c e   o f   s er ies  b y   p er f o r m i n g   th s a m p r o ce s s i n g   tec h n iq u e s   an d   ar h en ce   ter m ed   as  r ec u r r en t.  T h R NN s   m ai n tai n   m e m o r y   ce lls   to   ca p tu r in f o r m atio n   f r o m   p ast  d ata  p o in ts   in   th s eq u e n ce   as  s h o w n   in   Fi g u r 4 .   I n   ter m s   o f   m o d elli n g   d ep en d en c ies  b et w ee n   t w o   p o in t s   i n   a   s e q u en ce ,   t h R NN   m o d els   w o u ld   u s u all y   p er f o r m   b etter   th an   NNM s .   W h en   ap p l y i n g   t h NNM s ,   i n   m o s ca s e s ,   it  is   r eq u ir ed   to   ch o o s th len g th   o f   t h i n p u t   ( n u m b er   o f   in p u ts )   b ef o r eh a n d .   T h u s ,   t h al g o r ith m   is   u n a b le  to   lear n   th e   i n f o r m atio n   o f   a   f u n ct io n   t h at  i s   d ep en d en o n   d ata  p o in ts   o f   lo n g   ti m a g o   in   s eq u e n ce .   Ho w e v er ,   th R N ca n   av o id   th i s   d r a w b ac k   s i n ce   it   is   ab le  to   s to r in f o r m a tio n   f r o m   d ata  p o in ts   o f   lo n g   ti m a g o .             Fig u r 4 .   An   u n r o lled   r ec u r r en t n eu r al  n et w o r k   ( So u r ce : [ 3 1 ] )       Ho w e v er ,   o n s ig n i f ica n d r aw b ac k   o f   t h R NN s   is   t h at  wh en   th e   d ata  s eq u e n ce   s tar ts   t o   in cr ea s e ,   th n et w o r k   ten d s   to   lo s i n f o r m atio n   o n   h is to r ical  co n te x o v er   ti m e.   A   v ar ian t   o f   t h R NN,   ca lled   th e   lo n g   s h o r t - ter m   m e m o r y   n et w o r k   ( L ST M)   ca n   s o lv th is   p r o b l em   s in ce   it  m ai n tain s   th ce lls   f o r   k ee p in g   in f o r m atio n   f o r   t h p r ev io u s   n o d es  ir r esp ec tiv o f   t h s eq u e n ce   s ize.   An   L ST n et w o r k   m ai n tai n s   [ 3 2 ]   th r ee   o r   f o u r   g ates  w h er th i n p u t,  o u tp u t a n d   f o r g et  g a tes ar co m m o n   as  s h o w n   in   Fig u r 5 .     T h n o tatio n s   t,   C   a n d   h   in d icate   o n s tep   in   ti m e,   ce l s tat an d   th h id d en   s ta te  r esp ec tiv el y .   T h e   g ates  i   ( in p u t) ,   f   ( f o r g et)   a n d   o   ( o u tp u t)   th at  ar m o s u s u al l y   m o d elled   w i th   a   s i g m o id   la y er   ( v al u es  r a n g in g   b et w ee n   0 - 1 )   h elp   in   p r o tecti n g   a n d   co n tr o llin g   t h ad d itio n   an d   r e m o v al  o f   i n f o r m atio n   in   ce ll  s tate.   T h e   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J   E lec  &   C o m p   E n g     I SS N:  2088 - 8708       F o r ec a s tin g   n u mb er o f v u ln era b ilit ies u s in g   lo n g   s h o r t - term n eu r a l m emo r y …  ( Mo h a mma d   S h a msu l H o q u e )   4385   L ST Ms  th er e f o r tr y   to   o v er c o m t h s h o r tco m i n g s   o f   t h R NN  m o d els  r e g ar d in g   t h h a n d lin g   o f   lo n g - ter m   d ep en d en cies  b y   m iti g ati n g   th is s u w h e n   t h w ei g h m atr i x   o f   th e   n e u r o n s   b ec o m es  to o   s m a ll  ( w h ich   m a y   lead   to   th v an is h in g   o f   th g r ad ien ts )   o r   to o   lar g ( w h ic h   m a y   ca u s t h g r ad ien t s   to   ex p lo d e) .   T h f o llo w i n g   s tep s   s h o w s   t h m at h e m atica l   f u n ctio n s   [ 3 3 ] [ 3 4 ]   o f   lo n g   s h o r t - ter m   m e m o r y   n eu r al  n et w o r k   f o r   t y p ical   u s a g e,   s u ch   as  f o r   th i s   r esear ch   ex p er i m en t :     Stag 1   Fo r   f o r w ar d   p ass   i n   a n   L ST b lo ck ,   if   x is   co n s id er ed   as   an   i n p u v ec to r   at  ti m t,  an d   ar th L ST b lo ck   n u m b er   an d   in p u n u m b er   r esp ec tiv el y ,   an   L ST la y er   ca n   h av f o u r   w e ig h ts     W eig h t s   f o r   in p u t: W z,   W i,  W f ,   W o     R   M   W eig h t s   f o r   p ee p h o le:  p i,  p f ,   p o     R   N   W eig h t s   f o r   r ec u r r en t:  R z,   R i,  R f ,   R o     R   an d     W eig h t s   f o r   b ias:   b z,   b i,  b f ,   b o     R   N   W ith   r ef er en ce   to   t h w ei g h t s   ab o v e,   th f o r m u la  f o r   v ec to r   in   f o r w ar d   p ass   f o r   an   L ST la y er   ar as f o llo w s ,   ( σ ,   g   an d   h   a r ac tiv atio n   f u n ctio n s ) :   z -   t =   W x t +   R y   t−1   b z   zt  g   ( z - t)   [ b lo ck   f o r   in p u t]   i - t =   W i x t +   R y   t−1   p i •   t −1   b i   it =   σ ( ¯ t)   [ g ate  f o r   in p u t]   t - t =   W f   x t+R f   y t - 1   p f     ct - 1   b f   f t =   σ   ( f - t)   [ g ate  f o r   f o r g et]   ct  zt  it +   ct - 1     f t [ L ST ce ll]   o - t =   W o   x t +   R o   y t - 1 +p o     ct  b o   o t =   σ ( o - t)   [ g ate  f o r   o u tp u t]   y t =   h   ( ct)     o t [ o u tp u t f o r   b lo ck ]     T y p icall y ,   lo g is t ic  s i g m o id   is   th ac ti v atio n   f u n ctio n   at   th L ST g ate  w h ile  th h y p er b o lic  tan g e n t   is   th ac ti v atio n   f u n ctio n   at  t h b lo ck   in p u a n d   o u tp u t.     Stag 2   Af ter   t h f o r w ar d   p as s   f u n cti o n s   ar co m p u ted ,   th e   f o llo win g   d elta  f u n ctio n s   ar co m p u ted   i n s id e   th L ST b lo ck   f o r   b ac k p r o p ag atio n   t h r o u g h   t i m s ta m p s :       Δy - t =   ∆t  R T   δzt+1   R t T   δit+1 R f T   δf t+1 R o T   δo t +1   Δo - t =   δ y   h ( ct)     σ /( o - t)   Δ ct  δ y   o t •   h /( ct)   p o     δo - t +   p i •   δi - t+1   p f     δ f - t+1   δct+1     f t+1   Δf - t =   δct    ct - 1     σ /( f - t)   Δ it =   δct    zt    σ /( i - t)   Δz - t =   δc   it    g /( z - t)     Her ∆t  d en o tes  th v ec to r   o f   d eltas  p r o p ag ated   f r o m   th u p p er   lay er s   to   th d o w n w ar d   la y er s .   T h v alu E   co r r esp o n d s   to   ∂E   /∂y w h en   tr ea ted   as  lo s s   f u n ct i o n .   I n p u d eltas  ar o n l y   r eq u i r ed   w h e n   th lo w er   la y er   o f   th i n p u t la y er   r eq u ir e s   tr ain i n g ,   a n d   in   s u c h   s it u atio n   th v al u o f   t h d elta  f o r   th in p u t i s :     Δ x t =   W zT   δz - t +   W iT   δi - t +   W f T   δf - t +   W o T   δo - t       Stag 3   A t   th e   f in al   s ta g e,   t h g r ad ien ts   to   ad j u s t h w ei g h ts   ar co m p u ted   w it h   t h f o llo w i n g   f u n ct io n s ,   w h er ea s   ¤   d en o tes  an y   o f   t h v ec to r s   z,   I ,   f   an d   o ,   an d   ( ¤   1 .   ¤   2 )   ar th o u ter   p r o d u cts  o f   th co r r esp o n d in g   t w o   v ec to r s :     δW *   ∑t =0 T   ( δ¤   t,  x t)   δp i =   ∑t =0 T - 1 ct    δi - t+1   δR *   ∑t =0 T   ( δ¤   t+1 ,   y t)   δp f   ∑t =0 T - 1 ct    δf - t+1   δb *   ∑t =0 T   δ¤   t δp o   ∑t =0 T - 1 ct    δo - t+1     T h R NNs,  u n li k t h AR I M A ,   h a v t h ca p ab ilit y   to   lear n   n o n li n ea r itie s   i n   d ata  s eq u en ce ,   a n d   s p ec ialized   n o d es  s u c h   a s   t h L ST n o d es  co u ld   h a n d le  t h at  ev e n   m o r e f f icie n tl y .   O n r eq u ir e m en o f   th e   L ST n et w o r k   is   t h at  lo n g   s eq u e n ce   is   n ee d ed   in   lear n in g   p ast  d ep en d en cie s   an d   f o r   th is   r ea s o n   th i s   r esear ch   th er e f o r ai m s   to   cr ea te  lo n g   s eq u en ce   as d escr ib e d   in   th p r ev io u s   s ec tio n .     Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 8 - 8708   I n t J   E lec  &   C o m p   E n g ,   Vo l.  11 ,   No .   5 Octo b e r   2 0 2 1 :   4 3 8 1   -   4391   4386       Fig u r 5 An   L ST n o d ( So u r ce : [ 3 1 ] )       5.   RE SU L T S AN AN AL Y SI S   P r io r   to   ap p ly i n g   ti m s er ies   d ataset  in to   th m ac h in lear n in g   al g o r ith m ,   it  is   i m p o r tan t   to   an al y s e   th s tatio n ar it y .   T h in itial  n u ll  h y p o th e s is   is   t h at  th ti m s er ies  at  h an d   is   n o n - s ta tio n ar y .   Fig u r es  6 - 8   s h o w   th r o lli n g   s tat s   p lo ts   ( r ed   lin e s )   w h er it   ca n   b o b s er v ed   t h at  th n u m b er   o f   v u l n er ab ilit ie s   is   lo w   an d   s tab le   at  th b eg i n n in g   o f   ti m b u t s h o w s   s p ik es a n d   lo w s   as ti m g r o w s .   Ge n er all y ,   t h er w ill b an   u p w ar d   tr en d   in   th n u m b er   o f   v u l n er ab ilit ies  o v er   th co u r s o f   ti m e.   Ho w e v er ,   r eliab le  tr en d   o r   s ea s o n alit y   w h ich   d o es  n o d em o n s tr ate  h i k es  a n d   f all s   w it h   a   clea r   tr en d   o r   s ea s o n a lit y   s ig n i f ies  th at  it  is   s tati o n ar y   s eq u e n ce .   T h au g m e n ted   d ick e y   f u ller   test   ( A D F )   w ith   lo g   tr an s f o r m a tio n   s h o w s   t h at  th te s s tat is tical  v alu e s   as  s h o w n   i n   Fig u r es 9 - 1 1   ar g r ea ter   th a n   a n y   o f   th cr itica l v al u es,  t h u s   l ea d in g   to   t h r ej ec tio n   o f   th n u l h y p o th e s is   ( t h e   d ata  d is tr ib u tio n   is   n o s tat io n ar y )   i n   all  ca s es.  Alt h o u g h   u n li k tr ad itio n a al g o r ith m s ,   t h AR I M ' s tatio n ar it y is   le s s   b r ittl w it h   L ST ( R NN) ,   th s tat io n ar it y   o f   th s er ie s   w ill  b s u f f icien f o r   its   p er f o r m a n ce .   Fu r t h er m o r e,   i f   th e   s er ies   is   n o t   s tat io n ar y ,   it  is   t h en   m u c h   s af er   f o r   tr an s f o r m atio n   to   b e   p er f o r m ed   i n   m a k i n g   th d ata  s tatio n ar y   a n d   th e n   tr ai n   th L ST M.           Fig u r 6 .   R o llin g   m ea n   s tan d a r d   d ev iatio n   ( Mic r o s o f t)           Fig u r 7 .   R o llin g   m ea n   s tan d a r d   d ev iatio n   ( Or ac le)   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J   E lec  &   C o m p   E n g     I SS N:  2088 - 8708       F o r ec a s tin g   n u mb er o f v u ln era b ilit ies u s in g   lo n g   s h o r t - term n eu r a l m emo r y …  ( Mo h a mma d   S h a msu l H o q u e )   4387       Fig u r 8 .   R o llin g   m ea n   s tan d a r d   d ev iatio n   ( I B M)             Fig u r e   9 T est s tatis tics   v alu ( Mic r o s o f t)   ( s n ip p ed   f r o m   Sp y d er   I DE )     Fig u r 1 0 T est s tatis tic s   v al u e   ( Or ac le)   ( s n ip p ed   f r o m   Sp y d er   I DE )           Fig u r e   11 T est s tatis tic s   v al u e   ( I B M)   ( s n ip p ed   f r o m   s p y d er   I DE )       C o n tr ar y   to   f ee d f o r w ar d   n e u r al  n et w o r k s ,   t h R NN s   m ai n tai n   m e m o r y   ce lls   to   r e m e m b er   th co n tex t   o f   th e   s eq u e n ce   a n d   t h en   u s th ese  ce lls   to   p r o ce s s   th o u tp u t.  T h ti m d is tr ib u ted   la y er   w r ap p er ,   p r o v id ed   b y   k er as,  is   u til ized   o v er   th d en s la y er   to   m o d el  th d ata  s i m ilar   to   ti m s er ies  s eq u e n c w h ic h   ap p lies   th e   s a m tr a n s f o r m atio n   o r   p r o ce s s in g   to   ea ch   ti m s tep   in   t h s eq u en ce   an d   p r o v id es  th o u t p u af ter   ea ch   s tep .   T h er ef o r e,   it  f u l f ils   t h r eq u ir e m en t   o f   g et tin g   t h p r o c ess ed   o u tp u af ter   ea ch   i n p u i n s te ad   o f   w aiti n g   f o r   th e   w h o le  p r o ce s s   to   b co m p lete d   to   o b tain   th o u tp u at  th e n d   [ 3 4 ] .   I n   th is   w a y ,   t h R NN  a lg o r ith m   is   ap p lied   f o r   th s a m tr an s f o r m atio n   to   ev er y   e le m e n o f   t h ti m s er ies  w h er th e   o u tp u v a lu e s   a r d ep en d en o n   th p r ev io u s   v al u es.   T h L ST m o d el  w as  cr ea ted   w it h   p a r a m eter   o p ti m izat io n   f o r   4   h i d d en   u n its   a n d   1 5 0   ep o ch s .   Fig u r es  1 2 - 1 4   s h o w   t h f o r ec asted   p lo ts   f o r   d if f er e n d ataset s .   T h is   p r o p o s ed   m o d el  h a s   o u tp er f o r m ed   th p r ev io u s   m o d el s   in   ter m s   o f   ac c u r ac y .   T ab le  1   s h o w s   t h r es u l ts   o f   th ac c u r ac y   p er f o r m a n ce   ( R MSE )   o f   th e   m o d el,   to g et h er   w it h   t h c o m p ar is o n   w it h   t h p r ev io u s   b est  p er f o r m in g     m o d el s   [ 1 5 ] .   T h f o r ec asted   p lo ts   i n   Fi g u r e s   1 2 - 1 4   s h o w   p r o m is i n g   p ic tu r e.   T h g r e y ,   g r ee n   an d   b l u e   co lo u r ed   lin es  s h o w   th tr u e,   tr ain i n g   f it  an d   test in g   f o r ec ast  r esp ec tiv el y .   I ca n   b o b s er v ed   th at  th tr ain i n g   f it  is   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 8 - 8708   I n t J   E lec  &   C o m p   E n g ,   Vo l.  11 ,   No .   5 Octo b e r   2 0 2 1 :   4 3 8 1   -   4391   4388   n ea r l y   p er f ec f o r   th e   I B v en d o r   v u ln er ab ilit y   d atase t,  h av in g   ac h ie v ed   t h h i g h e s a cc u r ac y   ( r o o m ea n   s p u r r ed   er r o r   v alu e   o f   0 . 0 7 2 ) .   T h test i n g   p er f o r m a n ce   o r   t h f o r ec ast  al s o   s h o w ed   d e ce n p er f o r m an ce .   A lt h o u g h   o t h er   r es u lts   i n v o l v i n g   v u l n er ab ilit y   d ataset s   f o r   Mic r o s o f t   a n d   o r ac le  ( R M SE:   ac cu r ac y   v alu e s   o f   0 . 1 7   an d   0 . 2 4   r esp ec tiv el y )   ar n o as  g o o d   as  th I B d ataset,   th e y   ar e   m u c h   b etter   co m p ar ed   to   th r ec en t   b est r esear ch   in   [ 1 5 ]   as sh o w n   in   T ab le  1 .     T h p er f o r m a n ce   v ar iatio n   f o r   m icr o s o f a n d   o r ac le  d ataset s   is   d u to   th e   p r esen ce   o f   h i g h   s p ik e s   i n   d ata  p o in ts   i n   r ec e n t i m e   s i n c g r ea ter   n u m b er   o f   v u l n er ab il ities   h a v b ee n   d is co v er ed   i n   r ec en y ea r s   ( 2 0 1 6 - 2 0 1 9 )   in   t h N VD  d atab ase  [ 3 5 ] ,   an d   in   co n tr ar y   to   t h ab s e n ce   o f   s u c h   s u d d en   s p ik e s   i n   t h p ast   d ata  p o in t s ;   th u s ,   t h m o d els   h ad   b ee n   u n ab le  to   lear n   ad eq u atel y .   W h en   m o r d ata  ar ad d ed   in to   t h n at io n al   v u l n er ab ilit y   d atab ase,   t h ese  m o d el s   w ill   ev e n t u all y   h a v th ca p ab ilit y   to   lear n   ad eq u atel y   f o r   i m p r o v ed   p er f o r m a n ce .   E v e n   th o u g h   t h e   f o r ec ast  h as  d ev ia ted   f r o m   th ac tu al  at  ce r tain   p lace s ,   th o v er all  p er f o r m a n ce   o f   b o th   i n   ter m s   o f   R MSE   i s   p r o m i s in g .   T h r o u g h   t h u s e   o f   t h ti m d i s tr ib u ted   la y er   w r ap p er ,   th ese  m o d els   d o   n o o n l y   s h o w   b etter   p er f o r m an ce   b u also   b ec o m s i m p ler   to   r ed u ce   co m p u ta tio n al  c o s ts   in   co m p ar i s o n   w it h   th r e g r ess io n   ap p r o ac h   i n   s o m o f   th e   p r ev io u s   r esear ch .   U n li k t h p r ev io u s   r esear ch ,   t h la r g er   n o v el   d ataset  o f   th i s   r esear ch   h a s   ef f ec ti v el y   ad d r ess ed   th r eq u ir e m en f o r   th u tili za tio n   o f   la r g tr ain i n g   d ata  in   o b tain in g   m ea n i n g f u l r es u lt s   f r o m   t h L ST n et w o r k .           Fig u r e   12 .   Fo r ec asted   p lo ( Mic r o s o f t)           Fig u r e   13 T est  s tatis tic s   v al u e   ( Or ac le)           Fig u r e   14 T est  s tatis tic s   v al u e   ( I B M)   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J   E lec  &   C o m p   E n g     I SS N:  2088 - 8708       F o r ec a s tin g   n u mb er o f v u ln era b ilit ies u s in g   lo n g   s h o r t - term n eu r a l m emo r y …  ( Mo h a mma d   S h a msu l H o q u e )   4389   T ab le  1 .   R esu lts   a n d   c o m p ar is o n   M o d e l s o f   t h i s re se a r c h   ( L S T M )   B e st   p r e v i o u s   mo d e l s p r o p o se d   b y   [ 1 5 ]   V e n d o r   R M S E   V e n d o r   B e st   M o d e l   R M S E   M i c r o so f t   0 . 1 7   M A C   O S   X   A R I M A   1 9 . 6 4   O r a c l e   0 . 2 4   W i n d o w s 7   S V M   3 . 5 8   I B M   0 . 0 7 2   L i n u x   K e r n e l   S V M   3 . 9 9       6.   CO NCLU SI O N   I n   th is   r esear c h ,   t h ab ilit y   o f   th lo n g   s h o r t - ter m   m e m o r y   n et w o r k   ( L ST M)   to   lear n   o n   it s   o w n   a n d   u s t h at  k n o w led g to   d eter m i n th i m p ac o f   th co n tex a n d   th q u a n tit y   o f   p as in f o r m atio n   in   f o r ec asti n g   th n u m b er   o f   p o s r elea s v u ln er ab ili ties   f o r   th to p - t h r ee   v en d o r s   n a m el y   m icr o s o f t,  o r ac le  an d   I B h as  b ee n   u tili ze d   e f f ec tiv e l y .   I n   t h p r o ce s s ,   w h av cr ea ted   a   n o v el  d ataset  f o r   th to p - t h r e v en d o r s   w it h   th e   h ig h e s n u m b er   o f   v u l n er ab il i ties   in   NV th at  co n ta in   lo t   o f   m o r h is to r ical  d ata  p o in ts   th a n   th p r ev io u s   r esear ch   in   tr ai n in g   t h L STM   n et w o r k   w h ich   p r ef er s   lar g er   d ataset  in   lear n i n g   to   d em o n s tr ate  b etter   ac cu r ac y .   T o   th b est  o f   o u r   k n o w led g e,   t h is   w o r k   i s   th e   f ir s to   u tili z s u c h   d ataset   f ea t u r an d   L ST d ee p   lear n in g   n et w o r k   f o r   th is   p r o b le m   in   o r d er   to   d ev elo p   v u ln er ab ili t y   d is co v er y   m o d el  ( VDM ) .   Ou r   m o d el  d em o n s tr ated   b etter   p er f o r m a n ce   i n   ac c u r ac y   ( r o o m ea n   s q u ar ed   er r o r )   th an   o t h er   e x is t in g   s u c h   m o d els.  T h e   d ev elo p er s ,   u s er   co m m u n it y ,   an d   in d iv id u al  o r g an izatio n s   ca n   u tili ze   o u r   m o d el  as  th eir   r esp ec tiv e   r eq u ir e m en i n   m an a g i n g   c y b e r   th r ea ts   i n   a   co s t - ef f ec ti v w a y .   Ho w ev er ,   a n   i n h er en l i m it atio n   o f   th L ST n et w o r k   i s   t h at  i t is   n o t e f f ec ti v to   b u s ed   w it h   s m a ll d atas ets.  Hen ce ,   th er i s   al w a y s   r ac in   cr ea ti n g   ev e n   lar g er   d ataset s   t h an   t h o n e   u t ilized   in   t h is   w o r k   f o r   f u t u r i m p r o v e m e n t s   w h e n   n ec es s ar y .   An o t h er   li m itat io n   is   t h at  s in ce   th e   L ST n et w o r k   u s es  a   lo o f   lo o p s   an d   m e m o r y   n o d es,  it   t h er ef o r r eq u ir es   lo n g er   co m p u tatio n   ti m e.   Ho w ev er ,   th is   d r a w b ac k   ca n   b ad d r ess ed   w it h   t h u s o f   p o w er f u m ac h i n e s   in   th e   p r o d u ctio n   s ce n ar io .   Sin ce   t h e   lo n g   s h o r t - ter m   m e m o r y   ( L S T M)   r ec u r r en n eu r al  n e t w o r k   is   f u ll y   ca p ab le  o f   ad d r ess in g   m u ltip le  i n p u v ar i ab les in   p r ed ictin g   f u t u r v al u es,  w t h er e f o r p lan   to   ex tr ac t a n d   g e n er ate  m o r n o v el  f ea tu r es  f r o m   th NVD  d atab ase  in   d ev elo p in g   m u lt iv ar iate  ti m s er ies  m o d el  f o r   th is   p r o b le m   as  o u r   f u tu r w o r k .   W al s o   p lan   t o   d ev elo p   m o d el   w it h   P u b lis h ed   Da te’   f ea tu r e   as  t h e   tar g et  lab el   an d   to   in te g r ate  it  w it h   th i s   cu r r e n m o d el   to   ad d   n o v el  f o r ec asti n g   s er v ice  o f   v u l n er ab ilit ies.        ACK NO WL E D G E M E NT   Au t h o r s   ac k n o w led g e   Un iv er s iti  T en ag Na s io n al   ( @ UNI T E N)   f o r   its   s u p p o r to   th e   r ese ar ch er f r o m   th r esear ch   g r a n co d o f   R J O1 0 5 1 7 8 4 4 / 0 6 3   u n d er   B OL D   p r o g r am .   A p p r ec iatio n s   ar also   ex ten d ed   to   I C T   Min i s tr y   o f   B an g lad es h   f o r   its   s u p p o r t.       F UNDIN G   T h is   p r o j ec w a s   f u n d ed   b y   t h T NB   Seed   Fu n d   2 0 1 9   P r o j e ct  w it h   p r o j ec co d U - TC - RD - 19 - 0 9   an d   I C T   M in is tr y ,   B an g lad es h .       RE F E R E NC E S   [1 ]   HP   Id e n ti f ies   T o p   En terp rise   S e c u rit y   T h re a ts   2 0 1 4 ,   [ On li n e ] .   A v a il a b le h tt p s:// w ww 8 . h p . c o m /u s/e n /h p - n e w s/p re ss - re l e a se . h t m l?id = 1 5 7 1 3 5 9 .   [2 ]   S .   F re i,   M .   M a y ,   U.  F ied ler,  a n d   B.   P lattn e r,   L a rg e - sc a le  V u ln e ra b il it y   A n a l y sis,”   In   Pro c e e d in g o t h e   2 0 0 6   S IGCO M M   wo rk sh o p   o n   L a rg e - s c a le a tt a c k   d e fen se ,   2 0 0 6 ,   p p .   1 3 1 - 1 3 6 ,   d o i 1 0 . 1 1 4 5 /1 1 6 2 6 6 6 . 1 1 6 2 6 7 1 .   [3 ]   S .   F re i,   D.  S c h a tzm a n n ,   B.   P latt n e r,   a n d   B.   T ra m m e ll ,   M o d e ll in g   th e   S e c u rit y   Eco s y ste m - T h e   D y n a m i c o f   (In )   S e c u rit y ,   in   W EIS ,   p p .   79 - 1 0 6 2 0 0 9 ,   d o i:   1 0 . 1 0 0 7 /9 7 8 - 1 - 4 4 1 9 - 6 9 6 7 - 5 _ 6 .   [4 ]   M a c h in e   L e a rn in g [ On li n e ] .   A v a il a b le h t tp :/ /www . c o n tri b . a n d re w.cm u . e d u /~ m n d a rw is/M L . h tm l.   [5 ]   A .   M o u ra d ,   M .   A .   L a v e rd iere ,   a n d   M .   De b b a b i ,   A n   a sp e c t - o rien te d   a p p r o a c h   f o t h e   sy ste m a ti c   se c u rit y   h a rd e n in g   o f   c o d e ,   Co mp u ter   a n d   S e c u r ity ,   v o l.   2 7 ,   n o .   3 - 4 ,   p p .   1 0 1 - 1 1 4 ,   2 0 0 8 ,   d o i:   1 0 . 1 0 1 6 / j. c o se . 2 0 0 8 . 0 4 . 0 0 3 .   [6 ]   A .   M o u ra d ,   M .   A .   Lav e rd iere ,   a n d   M .   De b b a b i ,   ‘‘ H ig h - lev e a sp e c t - o rien ted - b a se d   f ra m e w o r k   f o s o f twa re   se c u rit y   h a rd e n i n g ,   In f o rm a ti o n   S e c u rit y   J o u rn a l:  A   Glo b a Per sp e c t ive v o l.   1 7 ,   n o .   2 ,   p p .   5 6 - 7 4 ,   2 0 0 8 ,   d o i:   1 0 . 1 0 8 0 / 1 9 3 9 3 5 5 0 8 0 1 9 1 1 2 3 0 .   [7 ]   Z.   Ha n ,   X .   L i,   Z.   X in g ,   H.  L iu ,   a n d   Z.   F e n g ,   " L e a rn in g   to   P re d ict  S e v e rit y   o f   S o f t w a re   V u ln e ra b il it y   Us in g   On l y   V u l n e ra b il i ty   De sc rip ti o n , "   2 0 1 7   IEE In ter n a ti o n a Co n fer e n c e   o n   S o ft wa re   M a in ten a n c e   a n d   Evo lu ti o n   ( ICS M E) ,   S h a n g h a i,   C h in a ,   2 0 1 7 ,   p p .   1 2 5 - 1 3 6 ,   d o i 1 0 . 1 1 0 9 /ICS M E. 2 0 1 7 . 5 2 .   [8 ]   H.  Ok a m u ra ,   M .   T o k u z a n e   a n d   T .   Do h i,   " Op ti m a S e c u rit y   P a tch   Re lea se   T i m in g   u n d e No n - h o m o g e n e o u V u l n e ra b il i ty - Disc o v e r y   P ro c e ss e s,"   2 0 0 9   2 0 t h   In ter n a ti o n a S y mp o siu o n   S o f twa re   Relia b i li t y   En g in e e rin g M y su ru ,   In d ia,   2 0 0 9 ,   p p .   1 2 0 - 1 2 8 ,   d o i:   1 0 . 1 1 0 9 /I S S RE. 2 0 0 9 . 1 9 .   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 8 - 8708   I n t J   E lec  &   C o m p   E n g ,   Vo l.  11 ,   No .   5 Octo b e r   2 0 2 1 :   4 3 8 1   -   4391   4390   [9 ]   M .   R.   Ly u ,   Ha n d b o o k   o f   so f tw a r e   re li a b il it y   e n g in e e rin g ,   IEE Co m p u ter   S o c iety   Pre ss M c Gr a Hill ,   L o A la m it o s,  Ca li f o rn ia :   Ne w   Yo rk .   1 9 9 6 .   [1 0 ]   J.  A .   Oz m e n t ,   Vu ln e ra b i li ty d isc o v e ry   and   s o ft w a re   se c u rity ,   2 0 0 7 .   P h D T h e sis Un iv e rsity   o f   Ca m b rid g e ,   2 0 0 7 .   [1 1 ]   E.  Re sc o rla,  S e c u rit y   h o les . . .   W h o   c a re s? ,”   In   US ENI S e c u rity  S y mp o siu m ,   2 0 0 3 ,   p .   7 5 - 9 0 .   [1 2 ]   O.  H.  A lh a z m a n d   Y.  K.  M a l a i y a ,   " M o d e li n g   th e   v u ln e ra b i li t y   d isc o v e r y   p ro c e ss , "   1 6 th   IEE In ter n a ti o n a l   S y mp o si u o n   S o ft w a re   Rel ia b il it y   E n g i n e e rin g   ( IS S RE ' 0 5 ) ,   C h ica g o ,   IL ,   USA ,   2 0 0 5 ,   p p .   1 - 10   d o i:   1 0 . 1 1 0 9 /IS S RE. 2 0 0 5 . 3 0 .   [1 3 ]   O.  H.  A lh a z m a n d   Y.  K.  M a laiy a ,   " Qu a n ti tativ e   v u ln e ra b il it y   a ss e ss m e n o f   s y ste m so f t wa re , "   An n u a Relia b il i ty   a n d   M a i n ta in a b il it y   S y mp o si u m,  2 0 0 5 .   Pr o c e e d in g s ,   A lex a n d ria,  V A ,   US A ,   2 0 0 5 ,   p p .   6 1 5 - 6 2 0 ,     d o i:   1 0 . 1 1 0 9 /RA M S . 2 0 0 5 . 1 4 0 8 4 3 2 .   [1 4 ]   Y.  Ro u m a n i,   J.  K.  Nw a n k p a ,   a n d   Y.  F .   Ro u m a n i,   T i m e   se rie m o d e li n g   o f   v u ln e ra b il it ies ,   Co mp u ter a n d   S e c u rity v o l.   5 1 ,   p p .   32 - 40 ,   2 0 1 5 ,   d o i 1 0 . 1 0 1 6 /j . c o se . 2 0 1 5 . 0 3 . 0 0 3 .   [1 5 ]   N.  R.   P o k h re l,   H.  R o d rig o ,   a n d   C.   P .   T so k o s,   C y b e rse c u rit y T i m e   S e ries   P re d ictiv e   M o d e li n g   o f   V u ln e ra b il i ti e o f   De s k to p   Op e ra ti n g   S y ste m   U sin g   L in e a a n d   No n   L in e a A p p ro a c h ,   J o u rn a o In f o rm a ti o n   S e c u rity v o l.   8,     n o .   0 4 ,   p p .   3 6 2 - 3 8 2 ,   2 0 1 7 ,   d o i:   1 0 . 4 2 3 6 / ji s.2 0 1 7 . 8 4 0 2 3 .   [1 6 ]   R.   J.  A n d e rso n ,   S e c u rit y   in   Op e n v e rsu Clo se d   S y ste m s - T h e   Da n c e   o Bo lt z m a n n ,   Co a se   a n d   M o o re ,   Op e n   S o u rc e   S o ft w a re Eco n o mic s,  L a a n d   P o li c y ,   T o u l o u se ,   F ra n c e ,   Ju n e   2 0 - 2 1 ,   p p .   1 - 1 5 ,   2 0 0 2 .     [1 7 ]   O.  H.  A lh a z m a n d   Y.  K.   M a laiy a ,   " A p p li c a ti o n   o f   V u ln e ra b il it y   Disc o v e r y   M o d e ls  to   M a jo r   Op e r a ti n g   S y ste m s,   in   IEE E   T ra n sa c ti o n o n   Relia b il i ty ,   v o l.   5 7 ,   n o .   1 ,   p p .   1 4 - 2 2 ,   M a rc h   2 0 0 8 ,   d o i 1 0 . 1 1 0 9 /T R. 2 0 0 8 . 9 1 6 8 7 2 .   [1 8 ]   E.   Re sc o rla,  Is  f in d in g   se c u rit y   h o les   a   g o o d   i d e a ? ,   in   IEE S e c u rity  a n d   Priva c y ,   v o l.   3 ,   n o .   1 ,   p p .   1 4 - 1 9 ,   Ja n . - F e b .   2 0 0 5 ,   d o i:   1 0 . 1 1 0 9 / M S P . 2 0 0 5 . 1 7 .   [1 9 ]   J.  Kim ,   Y.  K.  M a lai y a   a n d   I.   Ra y ,   V u l n e ra b il it y   Disc o v e r y   in   M u lt i - V e rsi o n   S o f twa re   S y st e m s,   1 0 th   IEE Hig h   Assu ra n c e   S y ste ms   En g i n e e rin g   S y mp o siu ( HAS E ' 0 7 ) ,   P la n o ,   T X,  USA ,   2 0 0 7 ,   p p .   1 4 1 - 1 4 8 ,     d o i:   1 0 . 1 1 0 9 /HA S E. 2 0 0 7 . 5 5 .   [2 0 ]   P.  L i,   M.  S h a w ,   a n d   J.  He rb sle b ,   S e lec ti n g   a   d e f e c p re d ictio n   m o d e f o m a in ten a n c e   re so u rc e   p lan n i n g   a n d   so f t w a re   in su ra n c e ,   EDS ER - 5   Af fi li a te d   wit h   ICS E ,   2 0 0 3 p p .   32 - 3 7 .   [2 1 ]   M .   Xie ,   S o f tw a re   R e li a b il it y   M o d e ll i n g ,   W o rld   S c ien ti f ic ,   P u b li sh in g   Co .   P te.  L td ,   S in g a p o re ,   v o l.   1 ,   pp 10 - 11 ,   1 9 9 1 .     [2 2 ]   S .   W o o ,   O.  H.  A lh a z m i ,   a n d   Y.  K.  M a laiy a ,   As se ss in g   V u ln e ra b il it ies   i n   A p a c h e   a n d   II S   HT T P   S e rv e rs,   2 0 0 6   2 n d   IEE I n ter n a t io n a l   S y mp o si u o n   De p e n d a b le,   Au t o n o mic   a n d   S e c u re   C o mp u ti n g ,   In d ian a p o li s,  IN,   USA ,   2 0 0 6 ,   p p .   1 0 3 - 1 1 0 ,   d o i:   1 0 . 1 1 0 9 / DA S C. 2 0 0 6 . 2 1 .   [2 3 ]   F .   M a ss a c c a n d   V.  H.  Ng u y e n ,   A n   E m p iri c a M e th o d o l o g y   to   Ev a lu a te V u ln e ra b il i ty   Disc o v e r y   M o d e ls,   in   IEE E   T ra n sa c ti o n o n   S o ft w a re   En g in e e rin g ,   v o l .   4 0 ,   n o .   1 2 ,   p p .   1 1 4 7 - 1 1 6 2 ,   2 0 1 4 ,   d o i:   1 0 . 1 1 0 9 /T S E. 2 0 1 4 . 2 3 5 4 0 3 7 .   [2 4 ]   A .   K.  S h riv a sta v a ,   R.   S h a r m a   a n d   P .   K.  Ka p u r,   Vu l n e ra b il it y   d isc o v e r y   m o d e f o a   so f t wa r e   s y ste m   u sin g   sto c h a stic  d if f e re n ti a e q u a ti o n ,   2 0 1 5   I n ter n a t io n a C o n fer e n c e   o n   Fu t u ristic  T re n d o n   Co m p u t a t io n a A n a lys is   a n d   Kn o wled g e   M a n a g e m e n ( AB L AZ E) ,   G re a ter  No id a ,   I n d ia,  2 0 1 5 ,   p p .   1 9 9 - 2 0 5 ,     d o i:   1 0 . 1 1 0 9 /A BLA ZE . 2 0 1 5 . 7 1 5 4 9 9 2 .   [2 5 ]   H.  C.   Jo h   a n d   Y .   K.  M a laiy a ,   M o d e li n g   S k e w n e ss   in   Vu ln e ra b il it y   Disc o v e r y M o d e li n g   S k e w n e ss   in   V u l n e ra b il i ty   Disc o v e r y ,   Qu a li ty  a n d   Reli a b il it y   E n g i n e e rin g   I n t e rn a ti o n a l v o l.   3 0 ,   n o .   8 ,   p p .   1 4 4 5 - 1 4 5 9 ,   2 0 1 4 ,   doi h tt p s:// d o i . o rg /1 0 . 1 0 0 2 / q re . 1 5 6 7 .   [2 6 ]   A .   A .   Yo u n is,  H.   Jo h ,   a n d   Y.  M a laiy a M o d e li n g   L e a rn in g les V u l n e ra b il it y   Disc o v e r y   u sin g   a   F o ld e d   Distrib u ti o n ,   In :   Pro c e e d in g o t h e   In ter n a ti o n a C o n fer e n c e   o n   S e c u rity  a n d   M a n a g e me n t   ( S AM ) ,   2 0 1 1   p p .   6 1 7 - 6 2 3 .   [2 7 ]   O.  H.   A lh a z m a n d   Y.  K.  M a laiy a . M e a su rin g   a n d   En h a n c in g   P r e d ictio n   Ca p a b il it ies   o f   V u ln e ra b il it y   Disc o v e r y   M o d e ls  f o A p a c h e   a n d   IIS   HTT P   S e rv e rs,   2 0 0 6   1 7 t h   In t e rn a ti o n a S y mp o si u o n   S o ft wa re   Relia b il it y   En g i n e e rin g ,   Ra leig h ,   NC,  USA ,   2 0 0 6 ,   p p .   3 4 3 - 3 5 2 ,   d o i:   1 0 . 1 1 0 9 /I S S RE. 2 0 0 6 . 2 6 .   [2 8 ]   L .   W a n g ,   Y.  Zen g ,   a n d   T .   Ch e n ,   Ba c k   p ro p a g a ti o n   n e u ra n e tw o rk   w it h   a d a p ti v e   d i ff e re n ti a e v o lu ti o n   a lg o rit h m   f o ti m e   s e ries   f o re c a stin g ,   Exp e rt  S y ste ms   wit h   Ap p li c a ti o n s v o l.   4 2 ,   n o .   2 ,   p p .   8 5 5 - 863 ,   2 0 1 5 ,   d o i:   1 0 . 1 0 1 6 / j. e sw a . 2 0 1 4 . 0 8 . 0 1 8 .     [2 9 ]   Y.  M o v a h e d i,   M .   Cu k ier,  A .   An d o n g a b o ,   a n d   I.   G a sh i,   Clu st e r - Ba se d   V u ln e ra b il it y   A ss e ss m e n A p p li e d   to   Op e ra ti n g   S y ste m s,   2 0 1 7   1 3 th   Eu ro p e a n   De p e n d a b le  C o mp u t in g   C o n fer e n c e   ( EDCC) ,   G e n e v a ,   S w it z e rlan d ,   2 0 1 7 ,   p p .   1 8 - 2 5 ,   d o i:   1 0 . 1 1 0 9 / EDCC. 2 0 1 7 . 2 7 .   [3 0 ]   T o p   5 0   V e n d o rs  b y   To tal  Nu m b e o f ,   " Distin c t , Vu ln e ra b il i ti e s ,   [ On li n e ].   A v a il a b le h tt p s:/ /www . c v e d e tails.co m /t o p - 50 - v e n d o rs. p h p .   [3 1 ]   Un d e rsta n d i n g   L S T M   Ne t w o rk s,  [ On li n e ] .   A v a il a b le h tt p :/ /co la h . g it h u b . i o /p o sts/2 0 1 5 - 08 - Un d e rsta n d in g - L S T M s/ .   [3 2 ]   Ho w   to   w o rk   w it h   T i m e   Distrib u ted   d a ta  in   a   n e u ra l,   n e tw o rk ,   [ On li n e ] .   A v a il a b le   h tt p s:/ /m e d iu m . c o m /s m il e in n o v a ti o n / h o w - to - w o rk - w it h - ti m e - d istri b u ted - d a ta - in - a - n e u ra l - n e tw o rk - b 8 b 3 9 a a 4 c e 0 0 .   [3 3 ]   L S T M   F o rwa rd   a n d   Ba c k wa rd   P a ss ,   In tro d u c ti o n [ O n li n e ] .   A v a il a b le :   h tt p : // a ru n m a ll y a . g it h u b . i o /w rit e u p s/n n /l stm /i n d e x . h tm l# / .   [3 4 ]   A   Brie f   S u m m a r y   o f   th e   M a th   Be h i n d   RNN   (Re c u rre n Ne u ra Ne tw o rk s),  [ On li n e ] .   A v a il a b le :   h tt p s:/ /m e d iu m . c o m /t o wa rd s - a rti ficia l - in telli g e n c e /a - b rief - su m m a r y - of - m a th s - b e h in d - rn n - re c u rre n t - n e u ra l - ne tw o rk s - b 7 1 b b c 1 8 3 f f .   [3 5 ]   NIST ,   Na ti o n a V u l n e ra b il it y   Da tab a se [ On l in e ] .   A v a il a b le:   h tt p s: / /n v d . n ist. g o v /.       Evaluation Warning : The document was created with Spire.PDF for Python.