I AE S In t er na t io na l J o urna l o f   Art if icia l In t ellig ence   ( I J - AI)   Vo l.  13 ,   No .   4 ,  Dec em b er   2 0 2 4 ,   p p .   4 7 6 6 ~ 4 7 7 7   I SS N:  2 2 5 2 - 8 9 3 8 ,   DOI : 1 0 . 1 1 5 9 1 /ijai.v 13 .i 4 . p p 4 7 6 6 - 4 7 7 7        4 7 6 6       J o ur na l ho m ep a g e :   h ttp : //ij a i . ia esco r e. co m   Lev erag ing  multimo da l deep  lea rni ng  f o r natura l  disa ster e v ent   cla ss ificatio n and   its dam a g e sev erit y  ana ly sis  t hro ug h so cia l  media  pos ts       Niv edit a   K a s t uri 1, 2 ,   Sh a s hik um a r  G urup utr a   T o t a d 2 ,   G o ldi na   G ho s h 3   1 D e p a r t me n t   o f   C o m p u t e r   S c i e n c e   a n d   E n g i n e e r i n g ,   P ES U n i v e r s i t y ,   B a n g a l o r e ,   I n d i a   2 S c h o o l   o f   C o m p u t e r   S c i e n c e   a n d   E n g i n e e r i n g ,   K L E  U n i v e r si t y ,   H u b l i ,   I n d i a   3 D e p a r t me n t   o f   C o m p u t e r   A p p l i c a t i o n   a n d   S c i e n c e ,  I n st i t u t e   o f   En g i n e e r i n g   a n d   M a n a g e m e n t   K o l k a t a ,   K o l k a t a ,   I n d i a       Art icle  I nfo     AB S T RAC T   A r ticle  his to r y:   R ec eiv ed   Oct   17 ,  2 0 2 3   R ev is ed   Mar   26 ,  2 0 2 4   Acc ep ted   Ap r   18 ,  2 0 2 4       Ac c u ra te  a n d   ti m e ly   in fo rm a ti o n   is  c rit ica l  to   e ffe c ti v e ly   c o o rd i n a t e   d isa ste r  re sp o n se .   Du e   t o   th e   d iv e rsity   a n d   c o m p lex i ty   o f  d a ta  so u rc e s,  it   i s  d iffi c u lt   fo r  trad i ti o n a l  m e th o d s  t o   c las sify   d isa ste r  e v e n ts  a n d   a ss e ss   d a m a g e   se v e rit y .   P re v io u s  stu d ies   h a v e   m a in ly   fo c u se d   o n   s p e c ifi c   tas k s,  su c h   a s  in fo rm a ti o n   c o ll e c ti o n   o r  h u m a n it a rian   a ss istan c e ,   b u t  h a v e   n o t  a d e q u a tely   a d d re ss e d   th e   a ss e ss m e n t  o f  d isa ste r  l o ss   se v e rit y .   Th is  p a p e r  p ro p o se s  a   h y b ri d   lea rn i n g   m o d e l  to   imp ro v e   d isa ste r  e v e n t  c las sifica ti o n   a n d   d a m a g e   se v e rit y   id e n ti fica ti o n .   T h e   m o d e l  c o m b i n e s  ima g e   a n d   tex t  d a ta,  u sin g   Re sN e t5 0   to   e x trac t  fe a tu re s  fro m   ima g e s,  a n d   u si n g   lo n g   s h o rt - term   m e m o ry   with   a n   a tt e n ti o n   m e c h a n ism   t o   lea rn   se q u e n c e s  fro m   tex t.   T h is  c o m b in a ti o n   a ll o w s   fo r  a   m o re   c o n t e x tu a l  a n d   in fo r m a ti v e   re p re se n tatio n   o f  t h e   in p u t  d a ta.  Th e   e x p e rime n tal  re su lt s  sh o ws   th a t  t h e   p ro p o se d   m u lt imo d a l  a p p r o a c h   a c h iev e s   sig n ifi c a n t ly   b e tt e r  re su lt s  i n   d isa s ter  e v e n t   c las sifica ti o n   a tt a in i n g   a n   a c c u ra c y   o f  9 0 . 3 1 % ,   c o m p a re d   to   e x is ti n g   m e th o d s.   F u rth e rm o re ,   th e   m o d e l   d e m o n stra tes   p r o m isin g   c a p a b i li t ies   in   a ss e ss in g   d a m a g e   se v e rit y ,   o ffe ri n g   sig n ifi c a n t   imp r o v e m e n ts  fo r   d isa ste r  m a n a g e m e n t  a n d   re sp o n se   p r e p a ra ti o n   wh e re   a c c u ra c y   a n d   d e p e n d a b il it y   a re   c ru c ial.     K ey w o r d s :   Dam ag e  s ev er ity   id en tific atio n   Dis aster   ev en t c lass if icat io n   Hy b r id   d ee p   lear n i n g   Mu lti - m o d ality   an aly tics   So cial  m ed ia  p o s ts   T h is i s  a n   o p e n   a c c e ss   a rticle   u n d e r th e   CC B Y - SA   li c e n se .     C o r r e s p o nd ing   A uth o r :   Niv ed ita  Kastu r i   Dep ar tm en t o f   C o m p u ter   Scie n ce   an d   E n g in ee r in g ,   PES U n i v er s ity   B an g alo r e,   I n d ia   E m ail: n iv ed itak @ p es.e d u         1.   I NT RO D UCT I O N   T h e  im p ac ts   o f   clim ate  c h an g e  an d   o t h er   e n v ir o n m en tal   ch a n g es  ar e   in cr ea s in g ,   a n d   n atu r al  d is aster s   ar e  in cr ea s in g   i n   f r e q u en c y   an d   s ev er ity ,   wh ic h   p o s e  a   m ajo r   th r ea t  to   th e   en v ir o n m e n t  an d   h u m an   life   [ 1 ] ,   [ 2 ] .   I n   o r d er   to   co n tr o l  d am ag e   a n d   f ac ilit ate  th e  tim ely   r e co v er y   p r o ce s s   f o r   a n   af f ec ted   i n d iv id u al,   d is aster   p r ep ar e d n ess   an d   r esp o n s e  s t r ateg ies  is   r eq u ir e d   to   b e   m o r e  im p r o v ed   an d   en h an ce d .   I n   to d a y ' s   d ig itally   co n n ec ted   wo r ld ,   s o cial  n etwo r k in g   p latf o r m s   lik e   T witter ,   F ac eb o o k ,   W h atsAp p ,   an d   I n s ta g r am   h a v e  p r o v e n   to   b e  o n e  o f   th e  v alu ab le  s o u r ce s   f o r   co m m u n icatio n ,   co n n ec tio n ,   in f o r m atio n   d is s em in atio n   [ 3 ] .   Du r in g   a   n atu r al  cr is is   o r   in   em er g en cie s ,   s o cial  n etwo r k in g   p latf o r m s   h elp s   to   q u ick ly   d is s em in ate  in f o r m atio n ,   p r o v id e  tim ely   u p d ates  to   f ac ilit ate  s i tu atio n al  awa r en ess ,   an d   co n tr ib u tes  in   o p p o r t u n ities   to   s e ar ch   f o r   s u p p o r t  o r   ass is tan ce   to   af f ec ted   p o p u lati o n s   [ 4 ] .   I n   a d d itio n ,   s o cial  m ed ia  p latf o r m s   also   p r o v id e   r a w  in f o r m atio n   th at   ca n   b e   v e r y   h elp f u l  f o r   em er g e n cy   r esp o n d e r s   as  th e   p e o p le   o n   th e   s ce n e  a r e  t h e  f i r s t  to   s h a r e  wh at  is   g o in g   o n ,   in clu d in g   tex t  u p d ates,   p h o to s ,   an d   ev en   v id e o s .   T h is   u n f ilter ed   in f o r m atio n   ca n   h elp   d is aster   r esp o n d er s   u n d er s tan d   h o w  b ad   th i n g s   ar e  an d   g et   aid   to   a r ea s   th at  n e ed   it  m o s t  [ 5 ] ,   [ 6 ] .   H o w ev e r ,   t h e r e   ar e   i n h er e n t   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J Ar tif  I n tell    I SS N:  2 2 5 2 - 8 9 3 8         Leve r a g in g   mu ltimo d a l  d ee p   l ea r n in g   fo r   n a t u r a l d is a s ter ev en t c la s s ifica tio n   a n d   …  ( N ived ita   K a s tu r i )   4767   ch all en g es   i n   u s i n g   s o c ial   m ed ia  ef f e cti v e ly   t o   r es p o n d   t o   n a t u r al   ca la m iti es.   O n   t h e  o t h e r   h an d ,   it   is   als o   v er y   d i f f ic u lt   t o   k ee p   tr ac k   o f   ev e r y th i n g   th at   is   p o s t ed ,   es p ec ial ly   d u r i n g   t h e   d is as te r   o r   n a tu r al  ca l am i ties .   Fi n d in g   th e   m o s t  i m p o r t a n t  in f o r m a ti o n ,   s u c h   as   t h e   s e v e r it y   o f   a   d is ast er   a n d   t h e  l ik eli h o o d   o f   i m m in e n t   d a n g er ,   i n   s o c ial   m e d ia   p o s ts   is   o f t en   a   ch all en g i n g   t as k .   I n   t h is   r e g a r d ,   e f f e cti v e   s t r at e g y   t o w ar d s   d e v el o p i n g   b e tte r   r esp o n s e   m ec h an is m   b asic all y   d ep e n d s   o n   g e tti n g   t h e  r i g h t  i n f o r m at io n   an d   in   ti m e ly   m a n n er   [ 7 ] .   T h e  c o n v e n ti o n a l   m et h o d s   f o r   r es p o n s e   m ec h a n is m   o f t en   i n v o l v es   p e o p le   m a n u all y   an al y z e,   s o r t,   an d   an n o ta te   m ill io n s   o f   in f o r m at io n ,   w h i ch   is   q u ite  ti m e - co n s u m in g ,   c o s t ly ,   a n d   o f te n   s u b je cte d   t o   h u m a n - er r o r .   H e n ce ,   t h e  co n v e n t io n a l  ap p r o ac h es   a r e   n o t s u i ta b le   f o r   s it u a ti o n s   w h e r e   d is as te r   ev e n ts   o cc u r   s o   r a p i d l y   an d   u n ce r ta in l y   [ 8 ] .   T h er ef o r e ,   d e v elo p m en t  o f   a n   au to m ated   ap p r o ac h   is   r eq u ir ed   th at  ca n   p r ec is ely   class if y   th e  n atu r al  d is aster   f r o m   th e  s o cial  m ed i a  p o s ts   d u r in g   em e r g en cies  a n d   o r   e v en ts   o f   n atu r al  ca lam ities   [ 9 ] .   T h e  r ec en t  ad v an ce m e n ts   in   ar tific ial  in tellig en ce   an d   em er g en ce   o f   d e ep   lear n in g   a p p r o ac h es  s h o ws  a  p r o m is in g   s co p e   to   au to m ate  f ea tu r e  e n g in ee r i n g   task s   an d   in s ig h ts   f r o m   m u ti - v ar iate  an d   co m p le x   d ata   lik e   s o cial  m ed ia  p o s ts   [ 1 0 ] .   Ho wev er ,   d ev el o p in g   s u c h   au to m ate d   s ch em e  is   n o t  an   e asy   task   esp ec ially   wh en   d ea lin g   with   b o th   te x tu al  an d   im ag e  d ata  in   s o cial  m ed ia  p o s ts .   T h is   r eq u ir es  ca r e f u l  an aly s is   o f   d ata,   ad o p tio n   o f   p r ep r o ce s s in g   tech n iq u es  an d   s elec tio n   o f   s u itab le  d ee p   lea r n in g   m o d e ls   to   ex tr ac t  m ea n in g f u l  p atter n s   an d   p er f o r m   class if icatio n   o f   n atu r al  ca lam ities .   I n   th e  ex is tin g   liter atu r e,   m an y   r esear ch   wo r k s   h av e  b ee n   p r esen ted ,   wh er e   f ew  r esear ch ,   wo r k s   ar e  s u b j ec ted   to   u s ag e  o f   o n ly   s o cial  m ed ia  im ag es  an d   f ew  ar e  f o cu s ed   o n   te x tu al   in f o r m atio n   f o r   b u ild in g   d is aster   class if icatio n   m o d els  [ 1 1 ] ,   [ 1 2 ] .   T h er e  ar e  f ewe r   wo r k s   th a t  co n s id er   b o th   te x t  an d   im ag e  f ea tu r es  f o r   n atu r a l  ca lam ity   class if icatio n   an d   d is aster   s ev er ity   an aly s is   b ec au s e   o f   th e  in h er en t  co m p lex ity   o f   th ese  ty p es o f   d ata.   So cial  m ed ia  d ata  in   th e   f o r m   o f   tex tu al  c o m m u n icatio n   o f ten   p r esen ts   a   co m p lex   d ata   f o r   co m p u tatio n al   an aly tics   task s   b ec au s e  u s er s   o f ten   u s e  in f o r m al  way s   o f   wr itin g   p o s ts   th at  in clu d e  s lan g ,   em o tico n s ,   s h o r t  s en ten ce s ,   a n d   with   v ar io u s   la n g u a g e  [ 1 3 ] .   I m ag e  d ata,   o n   th e   o th e r   h an d ,   p r o v id es  a   r ich er   co n tex t,  b u t   d is aster   im ag es  a r e  co m p le x   d u e   to   t h eir   m u ltifa ce ted   n atu r e  a n d   r eq u i r e  ca r e f u l  in ter p r etatio n   an d   u n d er s tan d i n g .   Fo r   ex a m p le,   d u r in g   an   ea r th q u a k e  ev en t,  a   s in g le  im ag e   ca n   d ep ict  d am ag e d   b u ild i n g s ,   in ju r ed   p eo p le,   d eb r is ,   a n d   v ar io u s   o th er   ty p es o f   d am ag e  [ 1 4 ] .   T h e r ef o r e,   p r o ce s s in g   im ag es  to   e s tab lis h   an   ef f ec tiv e   d is aster   r esp o n s e  s y s tem   p r o v es  to   b e  e x tr em ely   ch allen g in g   d u e  t o   th e   wid e   v ar iatio n   in   im ag e   q u ality ,   m u ltifa ce ted   n at u r e   o f   d is as ter   s ce n ar io s ,   an d   d iv e r s ity   o f   c o n ten t.  I n   th e   cu r r e n t  c o n tex t,   d ep lo y in g   lear n i n g   m o d els  ca p ab le  o f   h an d lin g   th e  d y n am ic  n at u r e  o f   d is aster   s itu atio n s   r em ain s   an   o n g o in g   ch allen g e.   Dis aster   r esp o n s e  m ec h an is m s   o p er at e  u n d er   tim e  co n s tr ain ts .   I t   is   cr u cia l  to   en s u r e  th eir   ac cu r ac y   an d   h ig h   r esp o n s iv en ess   in   r ea l - tim e  s it u atio n s ,   b ec au s e  th e  ac cu r ac y   an d   tim elin ess   o f   in f o r m atio n   p r o v i d ed   b y   s u ch   s y s tem s   will  s er io u s ly   af f ec t  d is aster   r esp o n s e  ac cu r ac y   an d   tim elin ess .   Dis tin g u is h   b etwe en   life - s av in g   m ea s u r e s   an d   p o ten tial  lo s s es.  I n   th e  r ec en t  liter atu r e,   m a n y   wo r k s   in   a  s im ilar   d ir ec tio n   h av e  b ee n   p r o p o s ed   b y   d i f f er en t   r esear ch er s ,   m o s t  o f   wh ich   p er f o r m   a  s in g le   task   in   th e  c o n tex t  o f   d is aster   r esp o n s e  [ 1 5 ] .   T h e  wo r k   o f   An b ar asan   et  a l.   [ 1 6 ]   in tr o d u ce d   a  f l o o d   p r e d ictio n   s y s tem   b ased   o n   in ter n et  o f   th in g s   an d   co n v o l u tio n al   n eu r al  n etwo r k   ( C NN)   to   d ete ct  an d   p r e d ict  f lo o d   ev en ts .   T h is   wo r k   p r o p o s es  a  r u le  g e n e r atio n   m eth o d   b ased   o n   p r ep r o ce s s ed   m ater ial  th at   is   u s ed   as  in p u t  to   a  c o n v o lu tio n al  d ee p   n eu r al  n etwo r k   ( C DNN)   class if ier   to   class if y   th e  o cc u r r en ce   a n d   n o n - o cc u r r en ce   o f   f lo o d in g .   Z h a n g   et  a l.   [ 1 7 ]   ad d r ess ed   th e  ch a llen g e  o f   ac cu r ately   p r ed ictin g   la n d s lid e  d is p lace m en ts   in   r esp o n s e  to   r ai n f all  an d   r eser v o ir   wate r   lev el  ch a n g es  in   C h in a.   T h e   au th o r s   p r o p o s ed   a  d y n am ic  p r ed ictio n   m o d el  b ased   o n   th e  g ated   r ec u r r en t  u n it  ( GR U)   lear n in g   alg o r ith m ,   f o llo win g   cu m u lativ e  d is p lace m en t d ec o m p o s itio n   an d   tr en d   p r ed ictio n .     Ge  et  a l.   [ 1 8 ]   u tili ze s   g r a p h   k n o wled g e  c o n ce p t  t h at  co n s id er s   r em o te  s en s in g ,   a n d   g eo g r ap h ic  d ata ,   alo n g   with   in teg r atio n   o f   d o m ain   k n o wled g e   to   b u ild   a   s p atio - tem p o r al  f r a m ewo r k   f o r   d is aster   p r ed ictio n .   Sev er al  r esear ch er s   u s e  m ac h in e  lear n in g   an d   n at u r al  lan g u a g e  p r o ce s s in g   ( NL P)  to   an aly ze   d is aster   s en tim en t  an d   d a m ag e  v ia  s o cial  m ed ia   an aly tics   [ 1 9 ] ,   [ 2 0 ] .  Z o u   et   a l .   [ 2 1 ]   le v e r ag es   t h e   p o te n ti al   o f   c o m b i n i n g   i m a g e  an d   te x t   i n f o r m ati o n   b y   em p l o y i n g   a   d ee p   le ar n i n g   ap p r o a ch   f o r   v is u a l  f e at u r e  ex tr ac t io n   an d   u tili zi n g   t h e   Fas tT ex t  f r a m ew o r k   f o r   t e x t u a l  f e at u r e  e x tr ac ti o n .   A   d ata   f u s io n   m o d el   is   d e v e lo p e d   t o   c o m b i n e   t h es e  f ea t u r es   f o r   cl ass i f y in g   r el ev a n t  d is aste r   im ag es.   Asi f   et   a l .   [ 2 2 ]   in tr o d u ce d   a  d is aster   tax o n o m y   o f   em er g en cy   r esp o n s e   s y s tem s   b ased   o n   d ee p   lear n in g   class if icatio n   m o d els s u ch   a s   VGG - 1 6   an d   YOL O.   T h e  m eth o d   u s ed   d ec is io n   tab les  f o llo wed   b y   d ata  a n aly tics   o p er atio n s   to   m ap   im a g e  o u tp u ts   to   th e  d is aster - r elate d   in f o r m ati o n   to   d eter m in e  s u itab le  em er g en c y   r esp o n s es.  Z h an g   et  a l.   [ 2 3 ]   p r o p o s ed   a  m u ltimo d al  class if icatio n   s y s tem   u s in g   laten t  d ir ich let  allo ca tio n   ( L DA)   f o r   clu s ter in g   an d   a  b i d ir e ctio n al  en co d er   r e p r esen tatio n   with   a  p r e - tr ain ed   C NN  m o d el  to   a n aly ze   tex t   an d   im ag e   d ata  to   d eter m i n e  th e m atic  in f o r m atio n   d u r in g   a   d is aster .   Hen ce ,   it  ca n   b e  an aly ze d   th at  th er e  ar e  cu r r en tly   m an y   s tu d ies  o n   n atu r al  d is a s ter   clas s if icatio n ,   b u t  m o s t  o f   th em   f o cu s   o n   tex t  o r   im ag e  d ata.   No n e  o f   th ese  s tu d ies  d ea lt  with   d eter m in in g   th e  s ev er ity   o f   d is aster   lo s s es,  wh ich   is   also   im p o r tan t  f o r   ef f ec tiv e   d is aster   r esp o n s e  s y s tem s .   Acc o r d i n g   to   liter atu r e  a n aly s is ,   p r e d ictin g   d is aster s   an d   ass es s in g   th eir   s ev er ity   th r o u g h   s o cial  m ed ia  p o s ts   is   a  co m p lex   an d   m u ltifa ce ted   task   th at  r eq u ir es  co m p lex   d ata  p r e p r o ce s s in g   a n d   f ea tu r e  en g in ee r in g ,   an d   f ac es  t h e  ch al len g e  o f   lar g e  a n d   i m b ala n ce d   d ata  s ets.  T h e   id en tifie d   r esear ch   g ap s   ar e  d is cu s s ed   b elo w:   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N:  2 2 5 2 - 8 9 3 8   I n t J Ar tif  I n tell,  Vo l.  13 ,   No .   4 ,  Dec em b er   2 0 2 4 :  4 7 6 6 - 4 7 7 7   4768   –   E x is tin g   d is aster   d etec tio n   m eth o d s   d o   n o t  e f f ec tiv ely   e x tr ac t  th e  im p o r tan t  f ea tu r es  f r o m   d if f er e n t  d ata   ty p es  ( s u ch   as  tex t  a n d   im ag es).   T h is   is   b ec au s e  f ea tu r e  en g in ee r in g   in   m u ltimo d al  d is aster   d etec tio n   r eq u ir es  s p ec if ic  d o m ain   k n o w led g e  f r o m   a  d ata   a n aly s is   p er s p ec tiv e,   wh ich   is   n o t   well  r ef le cted   in   c u r r e n t  r esear ch .   –   Pre v io u s   ap p r o ac h es  to   d is ast er   an aly s is   h av e  f o cu s ed   o n   s p ec if ic  task s ,   s u ch   as  p r o v id in g   in f o r m atio n   o r   h u m an itar ian   ass is tan ce .   T h is   leav es a   g ap   in   a n aly zin g   t h e  s ev er ity   o f   d am ag e   ca u s ed   b y   d is aster s .     –   Dep lo y in g   m u ltip le  m o d els  s p ec if ic  to   d if f er en t  m ater ial  ty p es  an d   task s   ca n   b e  ch allen g in g   as  it  in v o lv es   m o d el  s elec tio n ,   o p tim izatio n ,   an d   in ter p r etatio n .   Ho we v er ,   th e  ex is tin g   liter atu r e  d o es  n o t  ad eq u ately   ad d r ess   th is   ch allen g e.   –   Desig n in g   an d   d e v elo p in g   h ig h ly   in teg r ated   m o d els  is   co m p u tatio n ally   ch allen g in g   task ,   r eq u ir es  u n iq u e  o p tim izatio n   tech n iq u es.  L im ited   atten tio n   h as  b ee n   p aid   to   m an a g in g   m o d el   co m p le x ity ,   ad d r ess in g   o v er f itti n g   is s u es,  an d   o p tim iz in g   p er f o r m a n ce .     –   T h e  liter atu r e  lack s   n o v elty   a n d   d o es  n o t  ex p lo r e  ap p r o ac h es  to   cr o s s - m o d al  lear n i n g ,   w h er e  m o d els  ca n   lear n   f r o m   tex tu al   an d   im ag e  m ater ial  s im u ltan eo u s ly ,   e n ab lin g   th em   t o   u n d er s tan d   th e  r e latio n s h ip s   an d   d ep en d e n cies b etwe en   d if f e r e n t m o d alities .   T h er ef o r e,   th is   p ap er   s u g g ests   a  h ig h ly   s y n ch r o n ized   an d   in t eg r ated   co m p u tatio n al  f r am ew o r k   b ased   o n   NL P  m ec h an is m   an d   h y b r i d   d ee p   lear n in g   ap p r o ac h .   T h e  p r im e  aim   o f   th e  p r o p o s ed   s y s tem   is   to   o f f er   a   r eliab le  au to m ated   s y s tem   u s i n g   s o cial  m ed ia  p o s ts   th at   ca n   h elp   em er g e n cy   r esp o n d e r s   m ak e  b etter   d ec is io n s   ab o u t  p r o v id in g   r elief   to   af f ec ted   co m m u n ities .   T h is   p r o p o s ed   wo r k   is   a  n o v el  m u lti - m o d al  m u lti - task   h y b r id   lear n in g   m eth o d   th at  au to m ati ca lly   co m b in es  tex tu al  an d   v is u al  p o s ts   in   s o cial  n etwo r k in g   to   cl ass if y   d is as ter   ev en ts   an d   au to m atica lly   ass ess   th eir   d am ag e  s ev er ity .   I n   t h e  h y b r id   lear n in g   ar ch itectu r e,   lo n g   s h o r t - te r m   m em o r y   ( L STM )   is   u s ed   to   c ap tu r e  th e  l o n g - ter m   d e p en d e n ce   o f   t h e  tex t  c o n ten t  o f   th e  p o s t  an d   e x tr ac t  k ey   in f o r m atio n   r elate d   to   d is aster   ev en ts .   At  th e  s am e  tim e,   it  ad o p ts   th e  R esNet  ar ch itectu r e  as  an   ad v an ce d   f ea tu r e  lear n er   f o r   C NN  m o d e ls   to   p r o ce s s   v is u al  co n ten t.  Sin ce   th e  d ataset  u s ed   to   tr ain   th e  p r o p o s ed   h y b r id   lear n in g   m o d el  is   a  co m p lex   m u lti - m o d al  task   an d   is   ass o ci ated   wi th   th e  clas s   im b alan ce   p r o b lem .   T h er ef o r e,   th e  p r o p o s ed   lear n in g   m o d el   i n co r p o r ates  an   atten tio n   m ec h an is m   to   m ak e   th e  s y s tem   p a y   m o r e   atten tio n   t o   th e  f ea tu r es o f   a  f ew  ca teg o r ie s .   T h e  s ch em atic  ar ch itectu r e  o f   th e  p r o p o s ed   s y s tem   is   s h o wn   in   Fig u r e  1 .           Fig u r e  1 .   Hig h   lev el  ar c h itectu r e  o f   th e   p r o p o s ed   s y s tem       As  it  ca n   b e  s ee n   f r o m   Fig u r e  1 ,   th e  p r o p o s ed   s y s tem   h as  f o u r   m ain   lay er s :  in p u t  lay e r ,   v i s u al  lay er ,   s eq u en ce   lear n er   o f   tex t  f ea tu r es ,   an d   p r o jectio n   lay er .   T h e  in p u t  lay er   is   r esp o n s ib le  f o r   r ec eiv in g   in itial  tex t  an d   v is u al  in f o r m atio n .   T h e  v is u al  lay er   u s es  C NN  to   p er f o r m   tr an s f er   lear n in g   ac co r d i n g   to   th e  p r e - tr ain e d   d ee p   lear n in g   m o d el.   T h e  s tu d y   em p lo y ed   R esNet,   a  p r e - tr ain ed   C NN  a r ch itectu r e  th at  s er v es  as  a  h ig h - lev el   f ea tu r e  ex tr ac t o r   f o r   im a g e  cla s s if icatio n   task s .   T h e  s eq u en c e  lear n in g   m o d u le  o f   th is   s y s tem   u s es  L STM   an d   atten tio n   m ec h an is m   to   p r o ce s s   tex t  co n ten t,  wh ile  th e  p r o jec tio n   lay er   is   r esp o n s ib le  f o r   f e atu r e  co n ca ten a tio n   an d   class if icatio n   o f   d is aster   ev en ts ,   an d   u s es  th e  f u lly   co n n ec ted   ( FC )   lay er   af ter   So f tMa x   ( SF )   f o r   d a m ag e   s ev er ity   an aly s is   ac tiv atio n   f u n ctio n .   T h e  s y s tem   aim s   to   im p r o v e  th e  ac cu r ac y   an d   c o m p r eh en s iv e n ess   o f   d is aster   ev en t  class if icatio n   an d   d am a g e  s ev er ity   a n aly s is   b y   in teg r atin g   in f o r m atio n   f r o m   m u ltip le  d ata  m o d es.  T h is   n o v el   ap p r o ac h   b ased   o n   d u al   d ata  p atter n s   an d   o p tim ized   d ee p   lear n i n g   m o d els  ca n   b etter   h elp   d is aster   r esp o n d er s ,   r esear ch e r s ,   an d   p o licy m ak er s   d ev elo p   m o r e  ef f ec tiv e  an d   tar g e ted   d is aster   r esp o n s e  s tr ateg ies  f o r   em er g en cies,  s u ch   as  r ep o r ts ,   r eq u ests   f o r   ass is tan ce ,   an d   u p d ates  o n   c h an g i n g   d is aster   co n d itio n s   f r o m   less   r elev an t  o r   n o n - ac tio n a b le  co n ten t.  B y   au to m atin g   th is   p r o c ess ,   th e  r esear ch   aim s   to   s p ee d   u p   t h e  d eliv er y   o f   cr itical  in f o r m atio n   to   em e r g en cy   r esp o n d er s ,   r elief   o r g an izatio n s   an d   af f ec ted   c o m m u n ities ,   th er eb y   im p r o v in g   o v er all  d is aster   r esp o n s e  ef f icien c y .     Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J Ar tif  I n tell    I SS N:  2 2 5 2 - 8 9 3 8         Leve r a g in g   mu ltimo d a l  d ee p   l ea r n in g   fo r   n a t u r a l d is a s ter ev en t c la s s ifica tio n   a n d   …  ( N ived ita   K a s tu r i )   4769   2.   M E T H O D   T h is   s ec tio n   d etails  th e   p r o p o s ed   s y s tem   an d   d etails  th e   im p lem en tatio n   p r o ce d u r es   ad o p ted   f o r   th e   p r o p o s ed   d is aster   r esp o n s e  s y s tem .   First,   th e  d ata  s et   u s ed   i s   b r ief ly   d escr ib ed ,   f o llo wed   b y   d ata  an aly s is   an d   m etad ata  co n s tr u ctio n .   T h e  s u b s eq u en t  s ec tio n s   th en   d e s cr ib e  th e  co m p u tatio n al  o p er atio n s   ad o p ted   in   p r ep ar in g   d ataset  a n d   f ea tu r e  e n g in ee r in g   to   en h a n ce   th e   p r e d ictiv e  ca p ab ilit y   a n d   f ea tu r e  g e n er aliza tio n   ab ilit y   o f   th e  p r o p o s ed   h y b r id   lear n i n g   m o d el.   Fu r th e r m o r e,   an   i m p lem en tatio n   s tr ateg y   is   o u t l in ed   f o r   th e  f ea tu r e  ex tr ac tio n   an d   its   co n ca ten atio n   in   th e  p r o jectio n   la y er   o f   h y b r id   d ee p   lear n in g   m o d el.     2 . 1 .     Da t a s et   T h e  d ataset  ad o p ted   in   th is   r esear ch   wo r k   is   cr is is   v i s io n   b en ch m ar k   ( C VB )   [ 2 4 ]   in tr o d u ce d   f o r   b u ild in g   a   d is aster   r esp o n s e  an d   p r e p ar ed n ess   s y s tem .   T h is   d ataset  was  d ev elo p ed   b y   r esear ch er s   f r o m   Go o g le   AI ,   Stan f o r d   Un i v er s ity ,   an d   t h e  Un iv er s ity   o f   W ash in g to n .   I t  co n s is ts   o f   v ar iety   o f   d is aster   ev en ts   lik e  f lo o d s ,   wild f ir e s ,   ea r th q u a k es,  h u r r ic an es,  an d   m an y   m o r e   in   th e   f o r m   o f   b o th   im a g es  an d   tex t s   f r o m   a   v ar iety   o f   s o u r ce s   s u ch   as  s o cial  m ed ia,   s atellite  im ag er y   an d   d r o n es.  T h e  d is tr ib u tio n   o f   d ata  s am p l e  in   C V B   d ataset  i s   s h o wn   in   Fig u r e  2   f o r   a  v a r iety   o f   d is aster   r esp o n s e  an d   p r e p ar ed n ess   task s   as f o llo ws:   –   Dis aster   d etec tio n   task   f o r   id e n tify in g   th e   p r esen ce   o f   a  d is aster   in   an   im ag e.     –   Dam ag e  ass ess m en t f o r   an aly zin g   th e  s ev er ity   o f   d a m ag e  ca u s ed   b y   a  d is aster   ev en ts .   –   Ob ject  d etec tio n   task   f o cu s es  o n   s p ec if ic  o b jects  id en tific atio n   in   d is aster   im ag es,  s u ch   as  p e o p le,   b u ild i n g s ,   an d   v e h icles.   –   Scen e  class if icat io n   task   is   s u b jecte d   to   p r ed ictin g   o r   class if y in g   th e  d is aster   ev en ts   o r   n atu r al  ca lam ities ,   s u ch   as f lo o d s ,   wild f ir es,  a n d   ea r th q u ak es.           Fig u r e  2 .   T h e  d is tr ib u tio n   o f   d ata  s am p les in   th e  d ataset       As  s h o wn   in   Fig u r e  2 ,   th e  d is aster   ca teg o r y   d am ag ed _ in f r astr u ctu r e  h as  th e  lar g est  n u m b er   o f   s am p les,  f o llo wed   b y   d am a g ed _ n atu r al ,   f ir e,   an d   f lo o d .   T h e  h u m an _ d am ag e  ca teg o r y   h as  th e  f ewe s t  s am p les,  an d   th e  n o n _ d am ag e  ca te g o r y   h as  th e   m o s t  s am p les,  r esu ltin g   in   a   s er io u s   d ata  im b ala n ce .   Un e v en   d is tr ib u tio n   o f   d ata,   esp ec ially   lar g e  d if f er e n ce s   b etwe en   n o n - d am a g e  ca te g o r i es  an d   o th er   d is aster   ca teg o r i es,  m ay   b ias  d ee p   lear n in g   m o d els.  T r ad itio n al  m o d els  m ay   b e  b iased   to war d   m o r e  co m m o n   ca teg o r ies,  wh ich   m ay   l ea d   to   m is class if icatio n   o f   im p o r tan t   d is aster s .   T h ese   m is cla s s if ic atio n s   ca n   h av e  s er io u s   co n s eq u en ce s   in   d is aster   m an ag em en t sit u atio n s ,   wh e r e   tim ely   an d   ac c u r ate  in f o r m ati o n   is   cr u cial.     2 . 2 .     Da t a   prepa ra t i o n    T h e  d ata  s et  ad o p ted   p r esen ts   s o m e  s tr u ctu r al  an d   o r g an izati o n al  ch allen g es  th at  m ak e  it  d if f icu lt  to   d ir ec tly   u s e  it  f o r   d is aster   ev en t  class if icatio n   an d   d am ag e  s ev er ity   an aly s is .   T h ese  is s u es  in clu d e  in co n s is ten cies  in   d ata  f o r m attin g .   T h e  ar r a n g em en t  a n d   s tr u ctu r izatio n   o f   d ata  ar e  m o r e  task - ce n tr ic,   wh ich   s u b jects it to   in h er en t c o m p lex ities   th at  n ee d   to   b e  a d d r ess ed   f o r   ef f ec tiv e  u tili za tio n   in   tr ai n in g   th e  m o d el.     2 . 2 . 1 .   Da t a s et   s t ruct ure   T h e  d ataset  u s ed   f o r   d is aster   ev en t  class if icatio n   an d   d am ag e  s ev er ity   an aly s is   is   o r g an ized   in   a  m an n er   th at  r e f lects  th e  co m p l ex ity   o f   th e  task .   I t  c o m b in es  v is u al  d ata  with   tex tu al  in f o r m a tio n   to   en h a n ce   th e   u n d er s tan d i n g   o f   ea ch   d is aster   s ce n ar io .   T h is   k i n d   o f   d ata   s tr u ctu r izatio n   will e n s u r es th at  t h e  m o d el   ca n   lear n   ef f ec tiv ely   f r o m   th e  d iv er s e  ty p es o f   d ata  it c o n tain s .   T h e  s tr u ctu r e  o f   d ataset  is   s u m m ar ized   as f o llo ws:   –   T h e  p r im ar y   d ata   u n it   is   an   im ag e  r e p r esen tin g   ea ch   o f   th e   s ix   d if f er en t   d is aster   class es.  T h ese  im ag es  ar e  o r g an ized   with in   d is tin ct  s u b - d ir ec to r ies co r r esp o n d in g   to   e ac h   class .   –   W ith in   ea ch   s u b d ir ec to r y ,   tex t   d ata  is   p r o v id ed   f o r   m o s t im ag es,  i.e . ,   twee ts   p o s ted   o n   th e  s p ec if ic  d is aster   ev en t o r   ca te g o r y   to   wh ich   th e   im ag e  b elo n g s .   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N:  2 2 5 2 - 8 9 3 8   I n t J Ar tif  I n tell,  Vo l.  13 ,   No .   4 ,  Dec em b er   2 0 2 4 :  4 7 6 6 - 4 7 7 7   4770   –   A  s ep ar ate  f o ld er   d escr ib es  in f o r m atio n   o n   d am ag e   s ev er ity   a n aly s is .   T h is   f o ld er   is   o r g an ize d   s y s tem atica lly   in to   tr ain in g ,   test in g ,   an d   v alid atio n   s u b s ets.     2 . 2 . 2 .   I s s ues   w it h t he  da t a s et   T h e  d ataset  p r esen ts   s ev er al  c h allen g es  wh ich   r eq u ir ed   to   b e   ad d r ess ed   to   en s u r e  ef f ec tiv e  tr ain in g   o f   m o d el  an d   ac cu r ate  p r ed icti v e  o u tco m es.  T h ese  is s u es  ar e  m o s tly   r elate d   to   th e  d a ta's  im b alan ce   an d   ar r an g em e n t,  wh ich   ca n   h a v e  a  b ig   ef f ec t  o n   h o w  well  m ac h in e  lear n in g   alg o r ith m s   wo r k .   T h er ef o r e,   it  v e r y   im p o r tan t  to   m itig ate  th ese  is s u es  in   o r d er   to   cr ea te  a  r o b u s t  an d   tr u s two r th y   p r ed ictiv e  m o d el  f o r   d is aster   class if icatio n   an d   d am ag e  s ev er ity   an aly s is .   T h e  k e y   is s u es a s s o ciate d   with   d ataset  is   h ig h lig h ted   as f o llo ws:   –   A  k ey   is s u e  is   th e  in h er e n t  im b alan ce   o f   th e  d ataset  in   ter m s   o f   th e  n u m b er   o f   im a g es  an d   ass o ciate d   tex t  an n o tatio n s   o r   twee ts .   –   Data   o n   d am a g e  s ev er ity   is   p r e - p ar titi o n ed   i n to   tr ain in g ,   tes tin g   an d   v alid atio n   s u b s ets,  ad d in g   ad d itio n al  co m p lex ity .     2 . 2 . 3 .   Da t a   prepa ra t io n a pp ro a ch   T h e  s tu d y   ad o p ts   an   ef f ec tiv e  m eth o d o l o g y   t o   ad d r ess   is s u es   with   th e  d ataset.   A  a   s p ec if ic  alg o r ith m   is   d esig n ed   to   h ar m o n ize  an d   i n teg r ate  d ata  f r o m   tex t  an d   im ag e  d atasets .   T h e  f o llo win g   ar e  th e  m ain   h ig h lig h ts   o f   th e  alg o r ith m   f o r   d ata  p r ep a r atio n :   –   Sin ce   d am ag e  s ev er ity   d ata  is   m o s tly   in   tex t  f o r m at,   th e  im a g e  d ata  n ee d s   to   b e  p r ep a r ed   a cc o r d in g   to   th e  tex tu al  d ataset.   T h is   o p er ati o n   is   p er f o r m ed   b y   r eo r g a n izin g   th e  im ag e   d ata  b ased   o n   its   id e n tity   an d   p at h s ,   en s u r in g   co n s is ten t a lig n m en t  with   th e  co r r esp o n d in g   tex tu al   d ata.   –   T h e  n ex t o p er atio n   is   ca r r ied   o u t to war d s   cr ea tin g   a  m etad ata  in   . C SV   f ile  f o r m at.   T h is   d ata  th en   s er v es a s   a  ce n tr al  r ep o s ito r y   o f   in f o r m a tio n ,   in clu d i n g   im ag e   p ath s ,   r e lated   twee ts ,   d is aster   o cc u r r en ce   an d   s ev er ity .   –   Ad d itio n ally ,   twee ts   u s ed   as  tex t  an n o tatio n s   ar e  s u b s eq u en tly   ad d ed   to   th e  m eta d ata.   T w ee ts   ar e  m atch ed   to   im ag es  b ased   o n   th e  im a g e - id   co lu m n ,   s o   th e  v is u al  c o n ten t  o f   ea c h   im ag e  is   alwa y s   p air ed   with   co r r esp o n d in g   te x tu al  m ater ial .   –   T ex t  d ata  f r o m   twee ts   ar e  p r e p r o ce s s ed   to   clea n   a n d   s im p lif y ,   r em o v in g   ir r elev an t  in f o r m atio n   to   im p r o v e   th e  ef f ec tiv en ess   o f   s u b s eq u en t a n aly s is .   T h e  s u cc ess f u l e x ec u tio n   o f   th e  p r o p o s ed   d ata  p r ep ar atio n   p r o ce s s   r etu r n s   a  s tr u ctu r ed   d ata  f r am e,   as   h ig h lig h ted   in   Fig u r e   3 .   T h e  d ata  f r am e  i n clu d es  th e  p ath   o f   ea ch   im ag e,   its   ass o ciate d   twee ts ,   ass o ciate d   d is aster   ev en ts ,   an d   s ev er ity .   Af ter   p r ep r o ce s s in g ,   a  n ew  co l u m n   f o r   clea n ed   tex t  d ata  is   ad d ed ,   wh ich   is   cr u cial  f o r   ex tr ac tin g   tex tu al  f ea tu r es  an d   co n d u ctin g   p r e d ictiv e  an a ly tics .   T h is   r ef in ed   d ata  f r am e  is   th en   u tili ze d   a s   th e  f in al  tr ain in g   d ataset  f o r   th e  s tu d y .           Fig u r e  3 .   A   s am p le  v is u aliza tio n   o f   th e  m etad ata  a f ter   th e  d a ta  p r ep ar atio n   o p e r atio n       T ab le  1   s h o ws  th e   d is tr ib u tio n   s tatis t ics  f o r   th e   d is aster   ev e n t  class if icatio n   task   o b tain ed   af t er   th e   d ata   p r ep ar atio n   task ,   h ig h lig h tin g   s ig n if ican t  d if f er en ce s   b etwe e n   ca teg o r ies.  No n - d a m ag e  ca te g o r ies  d o m in ate  th e  d ataset,   wh ile  ev en ts   s u ch   as  f ir e  an d   h u m an   d am a g e  ar e  u n d er r e p r esen ted .   T ab le  2   f o cu s es  o n   th e  d is aster   s ev er ity   id en tific atio n   task ,   wh er e  th e  n u m b e r   o f   litt le  o r   n o n e  s ev er ity   lev els  is   m u ch   g r ea ter   th an   o th er   lev els.  B o th   tab les h ig h lig h t th e  c h allen g e  o f   class   im b alan ce   an d   th e  n ee d   f o r   a  s tr ateg ic  m o d el  tr ain in g   ap p r o ac h .   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J Ar tif  I n tell    I SS N:  2 2 5 2 - 8 9 3 8         Leve r a g in g   mu ltimo d a l  d ee p   l ea r n in g   fo r   n a t u r a l d is a s ter ev en t c la s s ifica tio n   a n d   …  ( N ived ita   K a s tu r i )   4771   T ab le  1 .   Data   d is tr ib u tio n   co n ce r n in g   d is aster   ev en t c lass if ic atio n   task   S I .   N O   D i sast e r   e v e n t s   Tr a i n   d a t a   Te st   d a t a   1   D a mag e d _ i n f r a s t r u c t u r e   1 0 0 9   2 5 8   2   D a mag e _ n a t u r e   3 4 7   1 1 4   3   F i r e s    2 9 4   56   4   F l o o d   2 6 1   50   5   H u ma n _ d a ma g e   1 8 0   42   6   N o n _ d a ma g e   2 1 7 7   5 1 3       T ab le  2 .   Data   d is tr ib u tio n   co n ce r n in g   d is aster   s ev er ity   id en tific atio n   task   S I .   N O   D i sast e r   e v e n t s   Tr a i n   d a t a   Te st   d a t a   1   l i t t l e _ o r _ n o n e     2 9 0 0   7 0 0   2   sev e r e   8 5 3   2 0 9   3   mi l d   5 1 5   1 2 1       2 . 3 .     Sequ ence   lea rner   T h is   s ec tio n   d is cu s s es th e  ap p r o ac h   tak en   to   d esig n   a  d ee p   s eq u en ce   lear n er   s y s tem   f o r   cla s s if icatio n   o f   d is aster   ev e n ts   an d   id e n tific atio n   o f   th eir   d am a g e  s ev e r ity .   T h is   p h ase  o f   th e   r esear ch   im p lem en ts   th e  L STM   m o d el  as a   s eq u en ce   lear n er   b ec au s e  it is   b est s u ited   to   ca p tu r e  lo n g - ter m   d ep en d en cies o n   th e  tex t ( twee ts )   o f   ea ch   d ata   s am p le.   Fu r th er m o r e,   th e   p r o p o s ed   s eq u en ce   lear n er   co m b in ed   with   t h e  a tten tio n   m ec h an is m   allo ws  th e  p r o p o s ed   s eq u e n ce   lear n e r   m o d el  t o   f o c u s   o n   t h e  m o s t   im p o r tan t  p ar ts   o f   t h e  tex t  s eq u en ce ,   w h ich   ca n   im p r o v e  th e  ac c u r ac y   o f   th e  class if icatio n   task .   Du e  to   d ata  im b alan ce ,   esp ec ially   with   r eg ar d   to   d a m ag e  s ev er ity   task s ,   in te g r atin g   atten tio n   m ec h an is m s   ca n   h elp   r e d u ce   o v er f itti n g   b y   p r e v en tin g   th e  L STM   m o d el  f r o m   m em o r izin g   t h e  tr ain in g   d ata  to o   clo s ely ,   t h er eb y   p r o m o tin g   b etter   g en er aliza tio n   to   u n s ee n   d ata.   Ho wev er ,   b ef o r e  tr ain in g   o u r   s eq u en ce   lear n in g   m o d el,   th e  tex t  d ata   n ee d s   to   b e  p r ep r o ce s s ed   f o r   f ea tu r e   ex tr ac tio n   i n   th e   em b e d d in g   la y er .   T h e  s tu d y   f ir s t  co n v er ts   th e  tex tu al  p h r ases   in to   n u m er ic al  v ec to r s ,   a n d   th en   ap p lies   a  wo r d   em b ed d in g   m o d el  to   th em   to   o b tain   t h e  s em an tic  an d   tem p o r al  r ep r esen tatio n   o f   th e  tex tu al   p h r ases .   T h e   o b tain e d   em b ed d in g   v ec to r s   ar e   th en   u s ed   t o   tr ain   a  s eq u e n ce   lear n er   m o d e l,  wh ich   lear n s   th e   co n tex t - lev el  p r o p e r ties   o f   ea ch   p h r ase.   T h en ,   e x p lo it  th e  p o ten tial  o f   th e  atten tio n   m ec h an is m   to   r etain   th e   m o s t im p o r tan t f ea t u r es f r o m   s eq u en tial  lay er s     2 . 3 . 1 .   T ex t   v ec t o r  co ns t ruct io n    T h e  in itial  s tep   o f   tex t   v ec t o r izatio n   p r ep r o ce s s es  th e  te x tu al  d ata   to   r em o v e  e m o jis ,   s y m b o ls ,   p u n ctu atio n s ,   web   UR L s ,   an d   ex ce s s   s p ac es.  B y   em p lo y in g   Py th o n   lib r ar ies  s u ch   as  B ea u t if u lSo u p   an d   em o ji,   th e  s tu d y   en s u r es a   clea n   an d   s tan d ar d   f o r m at  f o r   all  te x t d ata .   On ce   clea n ed ,   th e  tex t u al  d at a  is   co n v er ted   in to   its   r esp ec tiv e  s tr in g   d ata  ty p e  f o r   co n s is ten cy .   T h e  d is tr ib u ti o n   o f   tex t  le n g th   f o r   ea ch   d ata   s am p le  is   an aly ze d   as d ep icted   in   Fig u r e   4 .           Fig u r e  4 .   Dis tr ib u tio n   o f   te x t le n g th   co n ce r n in g   ea ch   d is tin ct  d is aster   class       B ased   o n   v is u al  in s p ec tio n   o f   Fig u r e  4 ,   it   ca n   b e   f o u n d   th at   m o s t  tex ts   ar e   ar o u n d   1 5 0   wo r d s   in   le n g th .   T h er ef o r e,   a   len g th   o f   1 5 0   is   ch o s en   as  th e   p a d d in g   cr iter i o n   to   en s u r e   th at  all   s eq u en c es  ar e  o f   co n s is ten t  len g th .   T h e  to k en izer   is   im p lem en ted   u s in g   a  d ef i n ed   v o ca b u lar y   o f   5 0 , 0 0 0   wo r d s   to   cr ea te  an   in itial  v ec to r   r ep r esen tatio n   o f   th e  twee t.   T h is   p r o ce d u r e   en s u r es  th at   ce r tain   s y m b o ls ,   p u n ctu atio n   m ar k s ,   an d   o th er   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N:  2 2 5 2 - 8 9 3 8   I n t J Ar tif  I n tell,  Vo l.  13 ,   No .   4 ,  Dec em b er   2 0 2 4 :  4 7 6 6 - 4 7 7 7   4772   ch ar ac ter s   ar e  f ilter ed   o u t  d u r in g   th e  to k e n izatio n   p r o ce s s .   I f   th e  to k e n izer   en co u n ter s   a  wo r d   o u ts id e  o f   its   v o ca b u lar y ,   it  r ep r esen ts   it  u s in g   th e  to k en   "< o o v >" .   T h e  t o k en izer   co n v er ts   ea ch   twee t  in to   a  s eq u en ce   o f   s in g le - wo r d   in d e x es.  Ho wev er ,   s in ce   th ese  s eq u en ce s   m ay   v ar y   in   len g th ,   th e y   ar e  p ad d ed   to   a  f ix ed   len g th   o f   1 5 0 .   Vis u al  in s p ec tio n   o f   th e   e n co d in g   an d   p ad d i n g   s eq u en ce s   r ev ea ls   th e   tr an s f o r m atio n   p r o ce s s .   Fo r   in s tan ce ,   th e  tex t:  "a   Sri  L an k an   m an   r em o v es  b elo n g in g s   f r o m   h is   s u b m er g ed   h o u s e  at   W eh an g alla  Villag e  in   th e  Kalu tar a  Dis tr ict. . . "  is   co n v er t ed   in to   a   s eq u en ce   lik e  [ 5 ,   7 5 0 3 ,   1 2 6 1 2 ,   5 2 8 ,   . . . ]   an d   s u b s e q u en tly ,   it  is   p ad d e d   to   en s u r e  a   f ix ed   len g t h   o f   1 5 0 .   I n   t h e  p r o v id e d   d ataset,   th e   tr ain in g   s et  co m p r is es  4 2 6 8   s eq u en ce s ,   an d   th e  test   s et  in clu d es  1 0 3 3   s eq u en ce s .   An   im p o r tan t  o b s er v atio n   is   t h e  ac tu al  v o ca b u lar y   s ize,   wh ich   tu r n e d   o u t  to   b e   3 6 , 1 9 5 ,   s m aller   th an   th e   in itially   d ef i n ed   5 0 , 0 0 0 ,   wh ich   in d icate s   th at  th e  d ataset  co n tain s   3 6 , 1 9 5   u n iq u e   wo r d s .     2 . 3 . 2 .   T ex t   em bedd ing     W h en   p r o c ess in g   tex t  d ata,   tex t  em b ed d in g   is   th e  b asis   o f   d ee p   lear n i n g   m o d els.  As  t h e  n a m e  s u g g ests ,   th ey   em b ed   wo r d s   in to   a  co n ti n u o u s   m ath em atica l  s p ac e  s o   th at  lear n in g   m o d els  ca n   u n d e r s tan d   an d   p r o ce s s   th em .   T h e   em b e d d in g   p r o ce s s   co n v e r ts   d is cr ete  s y m b o ls   ( s u ch   as  s in g le  wo r d s )   in t o   f i x ed - s ize  d en s e  v ec to r s .   I n   th e  co n tex t  o f   th e  p r o p o s ed   p r ed ictiv e  lear n in g   task ,   th e  e m b ed d in g   lay er   co n v er ts   in teg er   in d ices  ( o b tain ed   f r o m   t o k en izatio n )   in to   d e n s e  v ec to r s   o f   f ix ed   s ize  1 5 0 .   T h i s   lay er   is   cr u cial  b ec au s e  it  p r o jects  wo r d s   in to   a   co n tin u o u s   v ec to r   s p ac e,   wh e r e  s em an tically   s im ilar   wo r d s   ar e  m ap p ed   t o   n ea r b y   p o in t s .   T h e  s ize  o f   th e  em b ed d in g   s p ac e  is   d eter m in ed   b y   th e  n u m b er   o f   wo r d s   in   th e  v o ca b u la r y ,   wh ich   is   3 6 , 1 9 5   in   th is   d ataset.   Go o d   em b e d d in g s   ca n   c ap tu r e  th e  s em an tic  r elatio n s h ip s   b et wee n   wo r d s .   T h e  e m b ed d in g   l ay er   ac ts   as  a  lo o k u p   tab le  to   r etr iev e  a  d en s e  v ec to r   r ep r esen tatio n   o f   ea ch   wo r d   d u r in g   tr ain in g .   T h ese  v ec to r s   ar e  th en   ad ju s ted   d u r in g   tr ain in g   to   r ed u ce   th e   lo s s ,   m ak in g   t h e  em b ed d in g s   m o r e  ac c u r ate  an d   s u itab le  f o r   class if icatio n   task s .   T h er ef o r e,   wo r d   em b ed d in g s   ca p tu r e  a  lar g e  am o u n t  o f   in f o r m atio n   ab o u t  th e  d ataset  an d   s er v e  as  co m p ac t  an d   d en s e  r ep r esen tatio n s   o f   wo r d s ,   ca p tu r in g   t h eir   m ea n in g s   an d   r elatio n s h ip s .     2 . 3 . 3 .   L o ng   s ho rt - t er m m e mo ry   la y er s   T h is   s tu d y   em p lo y s   a  b id ir ec tio n al  lo n g   s h o r t - ter m   m em o r y   ( B i - L STM )   m o d el,   wh ich   is   f u r th er   in teg r ated   with   an   atten ti o n   m ec h an is m   to   g en er ate   co n te x tu al  r ep r esen tatio n s   o f   t h e  in p u t   tex t  f r o m   b o th   th e  f o r war d   an d   b ac k war d   d ir ec tio n s   [ 2 5 ] .   T h e   s eq u en ce   in p u t  g o es  th r o u g h   th e   em b e d d in g   lay e r   an d   th en   in to   t h e  Bi - L STM   lay er .   T h e  m o d el  co n s is ts   o f   two   B i - L STM   lay er s ,   wh er e  th e  f ir s t  lay er   h as  1 2 8   u n its   an d   th e  s ec o n d   lay er   h as  6 4   u n its .   T h e  s ec o n d   lay er   r etu r n s   s eq u en ce s   an d   s t ates.  T h e  f o r war d   an d   b ac k wa r d   h i d d e n   s tates  o f   th e  s ec o n d   lay e r   ar e  co n n ec ted   as  ( 1 ) :     ℋ = ℋ ⃗ ⃗ ⃗ ⃗ ⃗   ;   ℋ ⃖ ⃗ ⃗ ⃗ ⃗ ⃗   ( 1 )     W h er e  ℋ ⃗ ⃗ ⃗ ⃗ ⃗     an d   ℋ ⃖ ⃗ ⃗ ⃗ ⃗ ⃗ ,   ar e  th e  h id d en   s tates  a t  tim e  t  f r o m   th e  f o r war d   an d   b ac k war d   L STM s   r esp ec tiv ely .   B asically ,   th e  ad o p tio n   o f   Bi - L STM   m itig ates  th e  v an is h in g   g r ad ie n t  p r o b lem   ass o ciate d   with   lo n g   s eq u en tial   d ata.   T h is   m o d el  allo ws  th e  le ar n in g   to   ac c ess   b o th   p ast  ( ℋ ⃖ ⃗ ⃗ ⃗ ⃗ ⃗ )   an d   f u t u r e  ( ℋ ⃗ ⃗ ⃗ ⃗ ⃗   )   tem p o r al  i n f o r m atio n ,   wh ich   is   ess en tial  f o r   u n d er s tan d in g   th e  s em an tics   o f   a  g iv en   co n tex t   in   th e  i n p u t  te x t  p h r ases .   Ho wev er ,   n o t  all  wo r d s   in   a  tex t   twee t  co n tr i b u te  e q u ally   to   its   class if icatio n .   T h er ef o r e,   t h e  s tu d y   em p lo y ed   a  weig h ted   atten tio n   m ec h an is m   to   h i g h lig h t  t h e  m o s t  im p o r tan t  wo r d s   d u r i n g   tex t  class if icatio n .   T h e  atten tio n   m ec h an is m   is   ap p lie d   to   th e  co n ca ten ate d   h id d e n   s tates  f r o m   th e  B i - L STM   lay er   in   th e  p r o p o s ed   s eq u e n ce   lear n er   m o d el.   Fo r   ea c h   h id d en   s tate  ℋ ,   an   atten tio n   s co r e  is   co m p u ted ,   in d icatin g   th e   im p o r tan ce   o f   t h e  co r r esp o n d in g   wo r d   in   th e   s eq u en ce .   T h e   co m p u tatio n   o f   th e  atten tio n   s co r e  is   g iv e n   as   ( 2 ) :      ( ℋ )   =    ℎ ( 1 ℋ + 2 ℎ ̅ )   ( 2 )     wh er e  1   an d   2   ar e  lear n ab le  we ig h t  m atr ices,  an d   ℎ ̅   is   th e  co n ca ten ated   f o r war d   an d   b ac k w ar d s   h id d en   s tates.  T h e  atten tio n   m ec h an is m   ass ig n s   a  we ig h t  to   ea ch   wo r d   f ea tu r e  f r o m   th e  s eq u e n tial  lay er ,   f o cu s in g   o n   th e  o u tp u t la b els g iv en   as ( 3 ) :      = (   ( ℋ ) ) ∑ (   ( ℋ ) ) ′ = 1   ( 3 )     wh er e    d en o tes  atten tio n   weig h t  f o r   h id d en   s tate  ℋ   an d   T   is   th e  s eq u en ce   len g th .   A  weig h ted   s u m   o p er atio n   g en er ates  an   atten tiv e   f ea tu r e   v ec to r   ( c o n s is ts   a  s u m m ar ized   r ep r esen tatio n   o f   i n p u t  s eq u e n ce s )   f o r   ea ch   tex t,  n u m er ically   g i v en   as  ( 4 ) :     = ∑ = 1   ( 4 )   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J Ar tif  I n tell    I SS N:  2 2 5 2 - 8 9 3 8         Leve r a g in g   mu ltimo d a l  d ee p   l ea r n in g   fo r   n a t u r a l d is a s ter ev en t c la s s ifica tio n   a n d   …  ( N ived ita   K a s tu r i )   4773   T h e  co n tex t  v ec to r   C   is   th en   c alcu lated   as  th e  weig h ted   s u m   o f   all  h id d e n   s tates  b ased   o n   th e  atten tio n   weig h ts ,   en ab lin g   th e  m o d el  t o   f o cu s   m o r e  o n   th e  r elev an t  p ar ts   o f   th e  in p u t  s eq u en ce .   T h e  co n tex t  v ec to r ,   wh ich   en ca p s u lates  th e   m o s t  e s s en tial  in f o r m a tio n   f r o m   th e   s eq u en ce ,   is   th en   p ass ed   th r o u g h   a  d en s e  lay er   with   r ec tifie d   lin ea r   u n it  ( R eL U)   a ctiv atio n .   T h e  ad v an tag e   o f   t h e  atten tio n   m ec h a n is m   is   its   ab ilit y   to   f o cu s   o n   s p ec if ic  p ar ts   o f   th e   in p u t  s eq u en ce ,   ess en tially   weig h in g   th em   b ased   o n   th eir   r e lev an ce   to   th e   cu r r e n t   p r o ce s s in g   s tep .       2 . 4 .     Vis ua l f ea t ure  e x t ra ct o r   T h e  p r o p o s ed   s tu d y   ad o p ted   a  co n ce p t  o f   tr a n s f er   lear n i n g   b y   im p lem en tin g   t h e  p r e - tr ai n ed   C NN  m o d el  R esNet5 0   [ 2 6 ]   as  a  h i g h er - lev el  f ea t u r e  ex tr ac t o r   th at  lev er ag es  r esid u al  lear n in g   to   tr ain   v er y   d ee p   n etwo r k s .   T h e  k ey   id ea   b eh i n d   R esNet   is   in tr o d u cin g   a  s k ip   co n n ec tio n   th at  b y p ass es o n e  o r   m o r e  lay er s .   T h e   o p er atio n   i n   a  r esid u al  b lo ck   c an   b e  r e p r esen ted   m ath e m atica lly   as   ( 5 ) :      = (  ) +    ( 5 )     W h er e     d en o tes  to   th e  o u tp u t,  ( ∙ )   is   a  m ap p in g   f u n ctio n   t h at  tr a n s f o r m s   th e  in p u t  d ata  (  )   f ea tu r es  to   th e  o u tp u t  class   f o llo win g   th e  co n v o lu tiv e  lay er s   in   ea ch   b lo c k .   T h e  R esNet5 0   m o d el  h as  l ea r n ed   a  v ar iety   o f   f ea tu r es  f r o m   a   d iv e r s e  d ataset  co n tain in g   m illi o n s   o f   im a g e s   f r o m   th o u s an d s   o f   class es.  T h e  m o d el  weig h ts   ar e  in itialized   with   th e  v alu es  o b tain ed   d u r in g   t h e  p r e - tr ai n in g .   T h e  m ath e m atica l  r ep r es en tatio n   o f   tr ain i n g   in v o lv es  m in im izin g   a  lo s s   f u n ctio n   L   u s in g   o p tim izatio n   al g o r ith m s   lik e  s to ch asti c  g r a d i en t  d escen t  ( SGD) ,  wh ich   u p d ates th e  weig h ts   W   o f   th e  tr ain a b le  lay er s   b ased   o n   th e  g r a d ien t o f   th e  lo s s   co n c er n in g   th e   weig h ts :     =  −       ( 6 )     W h er e    is   th e  lear n in g   r ate  an d   L W ⁄   is   th e  g r ad ien t  o f   th e  lo s s   w it h   r esp ec t  to   th e  weig h ts .   Af ter   R esNet5 0   is   im p lem en ted ,   a  g lo b al  av er ag e  p o o lin g   o p er atio n   lay e r   is   ap p lied   to   r ed u ce   th e  s p atial  d im en s io n s   o f   th e  f ea tu r e  m ap s ,   n u m er ically   g iv en   as ( 7 ) :     ℱ ,    = 1 × ℋ ∑ ∑ ℱ , , ℎ ℋ ℎ = 1 = 1   ( 7 )     W h er e    an d   ℋ   ar e  t h e  wid th   an d   h eig h t  o f   th e  f ea tu r e  m a p   ℱ   an d   ℱ , , ℎ   r ef er s   to   th e  v alu e  at   s p atial  p o s itio n   ( , ℎ )   in   th e  f ea tu r e   m ap   ℱ .   T h e  p o o led   o u tp u t   is   th en   f latten ed   a n d   f e d   in t o   a   d en s e  la y er ,   wh i ch   p er f o r m s   a   lin ea r   o p er atio n   f o llo we d   b y   a   n o n - lin ea r   ac tiv atio n   f u n ctio n   g iv en   as ( 8 ) :      =    ( ⋅ ℱ + )   ( 8 )     W h er e    d en o tes  th e  weig h ts ,     r ef er s   to   b ias,  a n d      is   th e  n o n - li n ea r   ac tiv atio n   f u n ctio n .   T h e  ex tr ac ted   f ea tu r es  ar e   th en   r ea d y   to   b e   c o n ca ten ated   with   f ea tu r es  f r o m   o th er   m o d alities   ( e. g . ,   tex t)   f o r   f u r th e r   p r o ce s s in g   an d   f in al  p r ed ictio n s .     2 . 5 .     P r o j ec t io n la y er   I n   th e  p r o p o s ed   m o d el,   th e  p r o jectio n   lay er   is   r esp o n s ib le  f o r   in teg r atin g   t h e  f ea tu r es  ex tr ac ted   f r o m   b o th   v is u al  f ea tu r e  ex tr ac to r     a n d   s eq u en tial le ar n e r   m o d els    to   f o r m   a  c o h esiv e  an d   u n if ie d   r ep r esen tatio n   to   co n s tr u ct   a  f u s ed   r e p r esen t atio n ,   en s u r i n g   b alan ce d   co n tr ib u tio n s   f r o m   v is u al  an d   tex tu al  in f o r m ati o n .   T h e   f u s ed   f ea tu r e   v ec to r ,   ℱ ,   is   n u m er ically   ex p r ess ed   as  ( 9 ) :     ℱ =   ⨁     ( 9 )     W h er e  ⨁   d en o tes th e  co n ca ten at io n   o p er atio n .   T h is   u n if ied   f ea tu r e  v ec to r   th en   p r o g r ess es th r o u g h   an   e n s u in g   h id d en   la y er   e n co m p ass in g   n   n eu r o n s   an d   s u b s eq u en tly   r ea c h es  a  So f tMa x   lay er   to   c o n d u c t  class if icatio n s .   T o   p r ev en t  o v er f itti n g ,   a  d r o p o u t   lay er   is   s tr ateg ically   p lace d   b ef o r e  th e  h id d en   lay er .   T h e  tr an s m u tatio n   o f   th e   f u s ed   f ea tu r e   v ec to r   t h r o u g h   t h e  h id d e n   lay er   ca n   b e  m ath e m atica lly   r ep r esen ted   as   ( 1 0 ) :     ℋ =    ( ⋅ ℱ + )   ( 1 0 )     W h er e  ℋ   s y m b o lizes  th e  o u tp u t   f r o m   th e   h id d e n   lay e r   an d   is   o f   th e   d im en s io n s     an d     ar e  t h e  weig h t   m atr ix   an d   b ias  v ec to r   af f iliated   with   t h is   h id d e n   la y er .   Fin ally ,   th e   o u tp u t  f r o m   th e   h id d en   lay er   n a v ig ates   th r o u g h   th e  So f tMa x   lay er   t o   d eter m in e  th e  p r o b ab ilit y   d is tr ib u tio n   o v er   th e  class es.  T h e  n ex t  s ec tio n   d is cu s s es   th e  p er f o r m a n ce   a n aly s is   o f   t h e  p r o p o s ed   s y s tem   f o r   d is aster   ev en t   class if icatio n   an d   its   d am ag e   s ev er ity   an aly s is .       Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N:  2 2 5 2 - 8 9 3 8   I n t J Ar tif  I n tell,  Vo l.  13 ,   No .   4 ,  Dec em b er   2 0 2 4 :  4 7 6 6 - 4 7 7 7   4774   3.   RE SU L T   AND  DI SCUS SI O N    T h e  s y s tem   was  d e s ig n ed   an d   d ev elo p e d   o n   th e  Py th o n   p r o g r a m m in g   lan g u ag e  r u n n i n g   in   th e   An ac o n d a  d is tr ib u tio n .   Fo r   a  b etter   ex p er ien ce ,   m o d el  ex ec u tio n   n ee d s   to   s u p p o r t  s p ec if ic  co m p u te  s tack s   o f   Nv id ia  an d   C UDA  p ac k a g es.  E x p er im en tal   an aly s is   an d   r es ea r ch   r esu lts   wer e   o b tain ed   r u n n in g   th e   p r o p o s ed   m o d el  o n   W in d o ws  1 0   with   1 6   GB   R AM   an d   GPU  GT X  1 6 6 0   T i.  T h is   s ec tio n   p r esen ts   th e  r esu lts   o b tain ed   b y   th e  p r o p o s ed   s y s tem ,   wh ich   is   ev alu ated   b ased   o n   wid ely   ad o p ted   class if icatio n   m etr ics  s u ch   as  ac cu r ac y ,   p r ec i s io n ,   r ec all,   a n d   f 1 - s co r e.   T h e  r esu lts   o f   t h e  p r o p o s ed   m o d el  a r e  d is cu s s ed   f o r   b o th   u n im o d al  a n d   m u ltimo d al  d ata  in   ter m s   o f   b o th   v is u al  an d   n u m e r ical  o u tc o m e  d is cu s s io n .   Fig u r e  5   s h o ws  a  co n f u s io n   m atr ix   an aly s is   f o r   a  u n im o d al  tex t - b ased   ap p r o ac h   i n   d is aster   ev en t  d etec tio n   an d   d am a g e  s ev er it y   ass ess m en t.  An aly s is   o f   th e  co n f u s io n   m atr ix   in   Fig u r e   5 ( a)   s h o ws  th at  th e   m o d el  p e r f o r m s   well  in   p r ed ic tin g   n o   d am a g e  ( ND)   e v en ts .   Ho wev er ,   th e   m o d el   h as  s o m e   co n f u s io n   b etwe en   d am ag ed _ in f r astru ctu r e  ( DI ) ,   an d   d am a g ed _ n atu r e  ( DN)   cla s s es  a s   th er e  ar e  m o r e  m is class if ied   in s tan ce s .   T h e   class if icatio n   o f   f i r e - r elate d   d i s aster s   an d   f lo o d s   is   g en er ally   ac cu r ate   b u t   th er e   is   a   litt le  c o n f u s io n   with   o th er   d is aster   ty p es.  Als o ,   h u m an   d am ag e  ( HD)   s h o ws  s o m e  r o o m   f o r   im p r o v em en t  in   th e  m o d el  as  th er e  ar e  1 3   m is class if ied   in s tan ce s   o u t  o f   a  to tal  o f   4 2   in s tan ce s .   On   th e  o th er   h an d ,   an aly s is   o f   th e  co n f u s io n   m atr i x   in   Fig u r e  5 ( b )   d em o n s tr ates  th e  e f f ec tiv en ess   o f   th e  m o d el  i n   id en tify in g   co r r ec t   in s tan ce s   with   lo w  d am ag e,   b u t   it  s tr u g g les  m o r e   with   m ild   d am ag e  with   ze r o   co r r ec t  class if icatio n s ,   an d   m is class if ie s   it  as  lo w  an d   s ev er e.   Ov er all,   th e  an aly s is   h ig h lig h ts   b o th   s tr o n g   p er f o r m an ce   a r ea s   an d   o p p o r tu n ities   to   r ef i n e  th e  tex t - b ased   d is aster   class if icatio n .   T h e  n ex t a n aly s is   is   p r esen ted   f o r   th e  u n im o d al  im ag e - b ased   ap p r o ac h .           ( a)   ( b )     Fig u r e  5 .   C o n f u s io n   m atr ices f o r   u n im o d al  tex t c lass if icatio n   p er f o r m an ce : ( a )   d is aster   ev e n t d etec tio n   an d   ( b )   d a m ag e  s ev er ity   ass ess m en t       Fig u r e  6   p r esen ts   th e  co n f u s i o n   m atr ix   an al y s is   f o r   u n im o d al  im ag e  class if icatio n   p er f o r m an ce   in   d is aster   ev en t  d etec tio n   an d   d am ag e  s ev er ity   ass es s m en t.  I n   Fig u r e  6 ( a) ,   th e  im ag e  class if ica tio n   m o d el  ex h ib its   s lig h tly   b etter   r esu lts   th an   th e  tex t - b ased   m o d el  in   m o s t  class e s ,   ex ce p t  f o r   DN  an d   f lo o d ,   wh er e  th e   p er f o r m an ce   s lig h tly   d ec r ea s es .   Fig u r e  6 ( b )   in d icate s   th at  th e   m o d el  p er f o r m e d   well  in   id en t if y in g   lo w  d a m ag e,   b u t  f ac e d   d if f icu lty   in   d is tin g u is h in g   b etwe en   m ild   an d   s ev er e  d a m ag e,   alt h o u g h   it  s ti ll  o u tp er f o r m s   th e     tex t - b ased   u n im o d al   ap p r o ac h .   T h e   n e x t  an aly s is   f o cu s es  o n   th e  m u lti - m o d al  ap p r o ac h   c o m b in in g   im ag e   an d   tex t d ata  u s in g   a  h y b r id   lear n i n g   m o d el.           ( a)   ( b )     Fig u r e  6 .   C o n f u s io n   m atr ices f o r   u n im o d al  im ag e   class if icati o n   p er f o r m a n ce : ( a)   d is aster   ev en t d etec tio n   a n d   ( b )   d a m ag e  s ev er ity   ass ess m en t   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J Ar tif  I n tell    I SS N:  2 2 5 2 - 8 9 3 8         Leve r a g in g   mu ltimo d a l  d ee p   l ea r n in g   fo r   n a t u r a l d is a s ter ev en t c la s s ifica tio n   a n d   …  ( N ived ita   K a s tu r i )   4775   Fig u r e  7   s h o ws  th e  co n f u s io n   m atr ix   an al y s is   o f   th e   m u ltimo d al  im ag e - te x t  class if icatio n   p er f o r m an ce .   T h e  a n aly s is   o f   F ig u r e  7 ( a)   s h o ws  th at  th e  m u ltimo d al  m o d el  co m b in in g   im ag es  an d   tex t  p er f o r m s   r o b u s tly   in   id e n tify in g   n o   d is aster s   ( ND) ,   an d   also   f o r   m o s t  d is aster   ty p es,  its   r esu lt s   ar e  im p r o v e d   o v e r   th e  u n im o d al  ap p r o ac h .   Fig u r e  7 ( b )   s h o ws  th at  th e  m o d el  f u r th er   o u tp er f o r m s   th e  u n im o d al  b ased   ap p r o ac h   in   ter m s   o f   d am ag e   s ev er ity ,   an d   h as  h ig h er   ac cu r ac y   in   d ete ctin g   s m all  d am a g es  as  well  as  m in o r   an d   s ev er e   ca teg o r ies,  co m p a r ed   to   th e  te x t  an d   im ag e  u n im o d al.   T h e  o v er all  an aly s is   s h o ws  th at  th e  m u ltimo d al  ap p r o ac h   h as  a  s ig n if ican t  im p r o v em en t  in   im p r o v in g   th e  class if icatio n   ac cu r ac y .   T h e  n ex t  an aly s is   i s   p r esen ted   in     T ab le  3   with   co n s o lid ated   o u tco m e  s tatis tics   f o r   ea ch   class if icatio n   task   with   th e  d if f e r en t  lear n in g   m o d els.           ( a)   ( b )     Fig u r e  7 .   C o n f u s io n   m atr ices f o r   m u lti - m o d al  im ag e - tex t c la s s if icatio n   p er f o r m a n ce : ( a)   d is aster   ev en t  d etec tio n   an d   ( b )   d am ag e   s ev er ity   ass ess m en t       T ab le  3 .   C o n s o lid ated   o u tco m e  s tatis tic s   f o r   u n im o d al  an d   m u lti - m o d al  class if icatio n   m o d els   M o d e l   Ty p e   C l a s si f i c a t i o n   t a sk   A c c u r a c y   P r e c i s i o n   R e c a l l   F1 - S c o r e   U n i m o d a l   ( t e x t   d a t a )   D i sast e r   e v e n t   8 8 . 0   8 8 . 4   8 8 . 0   8 7 . 8 5   D a mag e   s e v e r i t y   7 7 . 5 4   7 2 . 4 7   7 7 . 5 4   7 4 . 0 8   U n i m o d a l   ( i ma g e   d a t a )   D i sast e r   e v e n t   8 3 . 6 4   8 3 . 5 3   8 3 . 6 4   8 3 . 4 4   D a mag e   s e v e r i t y   7 8 . 6 1   7 5 . 7 4   7 8 . 6 1   7 6 . 0 6   M u l t i - mo d a l   ( t e x t   +   i ma g e )   D i sast e r   e v e n t   9 0 . 3 1   9 0 . 2 0   9 0 . 3 1   9 0 . 1 5   D a mag e   s e v e r i t y   8 0 . 2 5   7 6 . 6 0   8 0 . 2 5   7 8 . 4 1       T h e  tex t - b ased   u n im o d al   d is aster   ev en t   class if icatio n   m eth o d   ex h ib ited   a  h ig h   ac cu r ac y   o f   8 8 . 0 %  an d   p r ec is io n   o f   8 8 . 4 %,  in d icatin g   th at  m o s t  d is aster   ev en ts   class if ied   b y   th e  m o d el  wer e   co r r ec t .   T h e  r ec all  a n d   F1   s co r es  wer e  8 8 . 0 %  an d   8 7 . 8 5 %,  r esp ec tiv ely ,   in d icatin g   th a t  th e  m o d el  was  u n ab le  to   ca p tu r e  m o s t  in s tan ce s   co r r ec tly   ac r o s s   all  ca teg o r i es.  A  s im ilar   an aly s is   ca n   b e  p er f o r m e d   i n   th e   ca s e  o f   d am a g e  s ev er ity   id en tific atio n .   T h e  m o d el  ac h iev ed   an   ac cu r ac y   o f   7 7 . 5 4 %  an d   an   F1   s co r e  o f   7 4 . 0 8 %.  On   th e  o th er   h a n d ,   u n im o d al  im ag e - b ased   m eth o d s   s h o w  s lig h tly   b etter   p er f o r m a n ce   o n   b o th   class if icatio n   p r o b lem s .   I m ag e - b ased   un im o d al   u s in g   a   C NN  m o d el   ac h iev es  8 3 . 6 4 %  ac c u r ac y   an d   8 3 . 4 4 %   F1   s co r e  in   class if y in g   d is aster   ev en ts .   I n   th e  d a m ag e  s ev er ity   r ec o g n itio n   task ,   it  ef f ec tiv ely   o u t p er f o r m s   th e  tex t - b ased   u n i m o d al  m eth o d   with   7 8 . 6 1 %   ac cu r ac y   an d   7 6 . 0 6 % F1   s co r e.     T h e   p r o p o s ed   m u lti m o d al  h y b r i d   lear n in g   m o d el   i n teg r atin g   tex t  a n d   im ag e  d ata  was f o u n d   to   b e  th e  m o s t e f f ec tiv e  am o n g   th e  two   s in g le  m o d alities .   I t a ch iev ed   a  h ig h er   ac cu r ac y   o f   9 0 . 3 1 %  an d   an   F1   s co r e   o f   9 0 . 1 5 %  in   d is aster   ev en t  class if icatio n .   Mo r e o v er ,   i n   th e  p e r f o r m an ce   e v alu atio n   o f   d am ag e  s ev er ity   id e n tific atio n ,   th e  p r o p o s ed   h y b r id   m o d el  o u tp e r f o r m ed   th e  s in g le  m o d al  ap p r o ac h ,   ac h iev in g   an   ac cu r ac y   o f   8 0 . 2 5 %  an d   an   F1   s co r e  o f   7 8 . 4 1 % ,   in d icatin g   th at  th e  p r o p o s ed   m o d el  is   v er y   r o b u s t   in   ass es s in g   d am ag e  s ev er ity ,   wh ich   co m b in es  th e  f ea tu r es  o f   tex t  an d   im ag e  d ata.   T h e  p r o p o s ed   class if icatio n   m o d els we r e  b en c h m ar k e d   an d   co m p a r ed   an d   an aly ze d ,   as sh o wn   in   T a b le  4 .       T ab le  4 .   T h e  co m p ar ativ e  an al y s is   f o r   d is aster   ev en t c lass if icatio n     M o d a l i t y   A c c u r a c y   P r e c i s i o n   R e c a l l   F1 - sc o r e   O f l i   e t   a l .   [ 2 7 ]   Te x t   8 0 . 8   8 1 . 0   8 1 . 0   8 0 . 9   I mag e   8 3 . 3   8 3 . 1   8 3 . 3   8 3 . 2   M u l t i   8 4 . 4   8 4 . 1   8 4 . 0   8 4 . 2   P r o p o se d   Te x t   8 8 . 0   8 8 . 4   8 8 . 0   8 7 . 8 5   I mag e   8 3 . 6 4   8 3 . 5 3   8 3 . 6 4   8 3 . 4 4   M u l t i   9 0 . 3 1   9 0 . 2 0   9 0 . 3 1   9 0 . 1 5       T ab le  4   p r o v id es  a  co m p ar ativ e  an aly s is   wh er e  th e  r esu lts   o f   th e  p r o p o s ed   d is aster   ev en t  cla s s if icatio n   s y s tem   ar e  co m p ar ed   with   s i m ilar   ex is tin g   wo r k   b y   Of li  et   a l .   [ 2 7 ] .   A   co m p ar ativ e  a n al y s is   o f   d if f er en t   test   ca s es c o n s id er in g   s in g le  m o d a lity   ( tex t a n d   im ag e  in d e p en d e n t)   an d   m u ltim o d ality   ( tex t a n d   im ag e  m o d alities   Evaluation Warning : The document was created with Spire.PDF for Python.