I nte rna t io na l J o urna l o f   E lect rica l a nd   Co m pu t er   E ng ineering   ( I J E CE )   Vo l.   1 6 ,   No .   4 A u g u s t   20 2 6 ,   p p .   2 0 8 7 ~ 2 0 9 5   I SS N:  2088 - 8 7 0 8 ,   DOI : 1 0 . 1 1 5 9 1 /ijece. v 1 6 i 4 . pp 20 8 7 - 2 0 9 5           2087       J o ur na l ho m ep a g e h ttp : //ij ec e. ia esco r e. co m   Sema ntic - a lig ned   multimo da l huma n   a ctivity  rec o g ni tion usin g   v isua l and a udio  data       Yee un   P a rk 1 J o o nh o   B y un 2 Siwo o   B y un 3   1 D e p a r t me n t   o f   I n f o r mat i o n ,   E l e c t r i c a l   a n d   E l e c t r o n i c   En g i n e e r i n g ,   F a c u l t y   o f   E n g i n e e r i n g ,   A n y a n g   U n i v e r si t y ,   A n y a n g S o u t h   K o r e a   2 R e s e a r c h   L a b o r a t o r y   o f   AI ,   F a c u l t y   o f   En g i n e e r i n g ,   S e o g a n g   U n i v e r si t y ,   S e o u l S o u t h   K o r e a   3 D e p a r t me n t   o f   S o f t w a r e ,   F a c u l t y   o f   En g i n e e r i n g ,   A n y a n g   U n i v e r si t y ,   A n y a n g S o u t h   K o r e a       Art icle  I nfo     AB S T RAC T   A r ticle  his to r y:   R ec eiv ed   Feb   5 ,   2 0 2 6   R ev is ed   Ap r   1 4 ,   2 0 2 6   Acc ep ted   Ap r   2 6 ,   2 0 2 6       Hu m a n   a c ti v it y   re c o g n it io n   (H AR)  re q u ires   ro b u st  p e rfo rm a n c e   u n d e h e tero g e n e o u se n si n g   c o n d it i o n fo r   p ra c ti c a d e p lo y m e n t.   Ho we v e r,   sin g le - m o d a li ty   a p p r o a c h e a re   li m it e d   i n   c a p tu r in g   th e   ric h   c o n tex t u a in fo rm a ti o n   in h e re n i n   c o m p lex   h u m a n   b e h a v io rs.  T h is  p a p e p re se n ts  a   se m a n ti c - a li g n e d   m u lt imo d a H AR  fra m e wo rk   th a in teg ra tes   v isu a a n d   a u d io   in f o rm a ti o n   wit h o u a ss u m in g   i n sta n c e - lev e sy n c h r o n iz a ti o n .   To   a d d re ss   d a tas e h e tero g e n e it y ,   sa m p les   fro m   th e   HMDB5 1   v id e o   d a tas e a n d   th e   ES C - 5 0   a u d i o   d a tas e a re   a li g n e d   b y   m a p p in g   fi n e - g ra i n e d   c las se in to   a   sh a re d   h ig h - lev e a c ti v it y   lab e s p a c e .   F o e a c h   m o d a li ty ,   Re sN e t - 18 - b a se d   m o d e ls  a re   train e d   i n d e p e n d e n t ly   u sin g   fra m e - b a se d   v is u a i n p u ts  a n d   6 4 - b i n   M e l - sp e c tro g ra m - b a se d   a u d io   re p re se n tatio n s.   Du ri n g   in fe re n c e ,   th e   o u tp u t   lo g it o th e   two   m o d e ls  a re   c o m b in e d   t h ro u g h   sc o re - lev e we ig h ted   li n e a fu sio n .   E x p e rime n tal   re su lt sh o th a t h e   p ro p o se d   m u lt imo d a l   a p p r o a c h   c o n siste n tl y   o u t p e rfo rm u n im o d a b a se li n e s   in   term o f   a c c u ra c y   a n d   M a c ro - F 1   sc o re ,   wi t h   p a rti c u larl y   n o tab le  imp r o v e m e n ts  in   a c ti v it y   g r o u p wh e re   e n v ir o n m e n tal   c o n tex t   p lay a   si g n ifi c a n t   ro le.   T h e se   fin d in g i n d ica te   th a se m a n ti c - a li g n e d   sc o re - lev e l   fu si o n   c a n   imp ro v e   re c o g n it io n   ro b u stn e ss   e v e n   u n d e m ism a tch e d   d a tas e c o n d it io n s.   K ey w o r d s :   Au d io v is u al  an al y s is   Dee p   lear n in g   Hu m an   ac tiv ity   r ec o g n itio n   Mu ltimo d al  lear n in g   Sco r e - lev el  f u s io n   Sem an tic  alig n m en t   T h is i a n   o p e n   a c c e ss   a rticle   u n d e r th e   CC B Y - SA   li c e n se .     C o r r e s p o nd ing   A uth o r :   S iwo o   B y u n     Dep ar tm en t o f   So f twar e,   Facu lty   o f   E n g in ee r in g ,   An y a n g   U n iv er s ity   2 2 ,   Sam d u k - r o ,   3 7 th   s tr ee t,  A n y an g - s h i,  Ky o n g k i,  So u th   Ko r ea     E m ail:  s wb y u n @ an y an g . ac . k r       1.   I NT RO D UCT I O N   Hu m an   ac t iv ity   r ec o g n it io n   ( HA R )   h as   b ec o m co r te c h n o lo g y   in   wid e   r an g o f   a p p li ca tio n s ,   in c lu d in g   s m a r t   h e al th c ar e,   s m ar t   h o m es ,   an d   in t el l ig en s u r v ei ll an c s y s t em s   [ 1 ] ,   [ 2 ] .   B y   au to m at ic al ly   r ec o g n iz in g   h u m an   b e h av io r s ,   H A R   en ab le s   co n tex t - aw a r s e r v i ce s   s u ch   a s   en v ir o n m en t al   co n tr o an d   ab n o r m a l   ac t iv i ty   d et ec tio n .   I n   p r a ct ic al   d ep lo y m en t ,   h o w ev er ,   H A R   s y s te m s   m u s p r o v id e   n o t   o n ly   h ig h   r ec o g n it io n   a cc u r ac y   b u a l s o   r o b u s g en er al iz at io n   an d   s t ab l in f er en ce   u n d er   v ar y in g   r ea l - w o r ld   co n d i tio n s .   E x is tin g   HAR  s tu d ies  h av p r im ar ily   f o cu s ed   o n   u n im o d al  ap p r o ac h es  b ased   o n   in er tial   m ea s u r em en u n its   ( I MU s ) ,   v is u al  d ata,   o r   a u d io   s ig n als  [ 2 ] .   Alth o u g h   th ese  a p p r o a ch es  ca n   b e   ef f ec ti v in   s p ec if ic  en v ir o n m en ts ,   th ey   o f ten   f ail  to   ca p tu r th e   f u l s em an tic  co n tex o f   d aily   h u m a n   ac ti v ities .     I MU - b ased   m eth o d s   ar r elia b le  f o r   b asic  p h y s ical  m o v em en ts   in   wea r ab le  s ettin g s   [ 3 ] ,   b u ar lim ited   f o r   b eh av io r s   in   wh ich   e n v ir o n m en tal  co n tex is   im p o r tan t.   Vis u al - b ased   HAR  ca n   ef f ec tiv ely   lear n   m o tio n   p atter n s ,   b u v is io n - b ased   m et h o d s   m ay   b v u ln er a b le  to   illu m in atio n   ch an g es  an d   o cc lu s i o n s   [ 4 ] ,   [ 5 ] .   Au d io - b ased   HAR  ca n   p r o v i d s itu atio n al  cu es  r elate d   to   s u r r o u n d in g   s o u n d s ,   b u is   ea s ily   af f ec ted   b y   b ac k g r o u n d   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 8 - 8 7 0 8   I n t J E lec  &   C o m p   E n g ,   Vo l.   1 6 ,   No .   4 Au g u s t   20 2 6 :   2 0 8 7 - 2095   2088   n o is an d   r ec o r d in g   co n d itio n s   [ 6 ] [ 8 ] .   T h ese  lim itatio n s   m ak it  d if f icu lt  f o r   u n im o d al   m o d els  to   r o b u s tly   r ec o g n ize  c o m p lex   b eh av i o r s   in   r ea l - wo r ld   en v ir o n m e n ts .   T o   o v e r co m t h ese  lim itatio n s ,   m u ltimo d al   f r am ewo r k s   h av b ee n   in c r ea s in g ly   e x p lo r e d   i n   HAR  b y   co m b in in g   in f o r m atio n   f r o m   m o r th an   o n s en s in g   m o d a lity   [ 9 ] [ 1 1 ] .   Am o n g   th av a ilab le  m u ltimo d al   in teg r atio n   s tr ateg ies,  s ep ar ate  m o d ality - s p ec if ic  r e p r e s en tatio n   lear n in g   f o llo wed   b y   o u tp u t - le v el   co m b in atio n   h as  b ee n   wid el y   ad o p ted   in   m u ltimo d al  lea r n in g   f r am ewo r k s   [ 9 ] ,   [ 1 0 ] ,   [ 1 2 ] .   B ec au s th is   s tr ateg y   k ee p s   th m o d ality   b r an ch es  in d ep e n d en an d   p e r f o r m s   in teg r atio n   o n ly   at  th d ec is io n   lev el,   it   r em ain s   s tr u ctu r ally   s im p le  an d   ad ap tab le  f o r   p r ac tical  d ep lo y m e n s ettin g s   [ 1 0 ] ,   [ 1 3 ] .   Ho wev er ,   m a n y   m u ltimo d al  HAR  s tu d ies  ar s till   d ev elo p ed   u n d er   r elativ ely   co n tr o lled   s ettin g s   a n d   o f ten   ass u m e   s y n ch r o n ize d   o r   jo in tly   co lle cted   in p u ts   [ 1 4 ] ,   [ 1 5 ] .   I n   p r a ctice ,   s u ch   p er f ec alig n m e n is   o f ten   d if f ic u lt  to   g u ar an tee  b ec au s o f   d if f er e n c es in   s am p lin g   r ates,  m is s in g   d ata,   o r   h eter o g en e o u s   d ata  s o u r ce s .   In   th is   p ap er ,   we  p r o p o s s em an tic - alig n ed   m u ltimo d al  HAR  f r am ewo r k   th at  r elax es  th ass u m p tio n   o f   in s tan ce - lev el   s y n ch r o n izatio n .   Hete r o g e n eo u s   v id e o   an d   au d io   d atasets   ar alig n ed   b y   m ap p in g   f in e - g r ain ed   class es  in to   s h ar ed   h ig h - lev el  ac tiv ity   s em an tic  s p ac e,   en ab lin g   s co r e - lev el  f u s io n   ac r o s s   m o d alities .   C o n v en tio n al  m u ltimo d al  HAR  ap p r o a ch es  ty p ically   r ely   o n   s y n c h r o n ized   m u ltimo d al  in p u ts   [ 1 1 ] ,   [ 1 5 ] .   I n   co n tr ast,  o u r   f r am ewo r k   ad d r ess es  m o r ch allen g in g   s ettin g   in   wh i ch   v id e o   an d   au d io   d ata  ar e   in d ep e n d en tly   co n s tr u cted   an d   alig n ed   o n ly   at  t h s em an tic - g r o u p   lev el.   Acc o r d i n g ly ,   th p r o p o s ed   m eth o d   s h o u ld   b i n ter p r eted   as  p r ac tical  late - f u s io n   s tr a teg y   f o r   s em an tically   alig n ed ,   n o n - s y n ch r o n ize d   m u ltimo d al  co n d itio n s   r ath e r   t h an   as a   d ir ec t r e p lace m en t f o r   f u lly   s y n c h r o n ized   m u ltimo d al  HAR s y s tem s .   T h m ain   co n t r ib u tio n s   o f   th is   wo r k   ar s u m m a r ized   as  f o llo ws.  First,  we  d es ig n   m u ltimo d al  HAR  f r am ewo r k   u s in g   v is u al  an d   au d io   d ata   u s in g   HM DB 5 1   an d   E SC - 5 0   d atasets   an d   d e m o n s tr ate  im p r o v ed   p er f o r m an ce   o v er   u n im o d al   b aselin es  th r o u g h   l ate  f u s i o n .   Seco n d ,   we  ex am i n t h ap p lica b ilit y   o f   m u ltimo d al  HAR  u n d er   d ataset  m is m atch   co n d itio n s   b y   em p lo y in g   s em an tic  alig n m en t   a cr o s s   h eter o g en e o u s   d ata  s o u r ce s .   T h ir d ,   we   ad o p f ix ed   f u s io n   s tr ateg y   in   wh ic h   v is u al   in f o r m atio n   p lay s   a   d o m in an t   r o le   wh ile   au d io   in f o r m atio n   p r o v id es c o m p lem en tar y   c o n tex t u al  cu es.       2.   M E T H O   2 . 1 .       Da t a s et s   I n   th is   s tu d y ,   th HM DB 5 1   d ataset  was  u s ed   f o r   v id eo - b ased   HAR ,   an d   th E SC - 5 0   d ataset  was   em p lo y ed   f o r   a u d io - b ased   r ec o g n itio n .   HM DB 5 1   is   wid ely   u s ed   b en c h m ar k   v id eo   d ataset  co n s is tin g   o f   5 1   ac tio n   class es  [ 1 6 ] .   Fro m   th i s   d ataset,   s u b s et  o f   class es  clo s ely   r elate d   to   d aily   h u m an   ac tiv ities   was   s elec ted   an d   r eo r g an ized   in to   f iv e   h ig h - lev el  a ctiv ity   g r o u p s .   Vid eo   s am p les  wer e   p r o c ess ed   b y   s am p lin g   r ep r esen tativ f r am es,  wh ic h   wer tr ea te d   as  s tatic  im ag e s   an d   u s ed   as  i n p u ts   f o r   th e   im ag e - b ased   HAR  m o d el.   All f r am es we r r esized   to   u n if ied   r eso lu tio n   an d   n o r m alize d   p r io r   to   t r ain in g .   E SC - 5 0   is   an   en v ir o n m en tal  s o u n d   d ataset  co m p o s ed   o f   5 0   au d io   class es  [ 1 7 ] .   I n   th is   wo r k ,   o n ly   s o u n d   class es  r elev an to   h u m an   ac tiv ity   co n tex ts   wer s elec ted   an d   r eo r g an ize d   in to   th s am f iv h ig h - lev el   ac tiv ity   g r o u p s .   Au d io   s ig n als  wer co n v er ted   in to   6 4 - b i n   Me l - s p ec tr o g r a m   r ep r esen tatio n s   an d   u s ed   a s   in p u ts   f o r   th c o n v o lu tio n al  n eu r al  n etwo r k   ( C NN) - b ased   au d io   m o d el.   T h u s o f   M el - s p ec tr o g r am s   h as  b ee n   s h o wn   t o   b ef f ec tiv f o r   en v ir o n m en tal  s o u n d   an d   au d io   ev en t r ec o g n itio n   task s   [ 6 ] ,   [ 7 ] .     2 . 2 .     Se m a ntic   a ct i v it y   g r o up   m a pp ing   HM DB 5 1   an d   E SC - 5 0   a r in d ep en d e n tly   co n s tr u cted   d atasets   with   d if f er en class   d ef in itio n s   an d   s em an tic  s tr u ctu r es  [ 1 6 ] ,   [ 1 7 ] .   T o   m itig ate  th is   d ataset  m is m atch   is s u e,   s em an tic  alig n m en s tr ateg y   was   ap p lied   b y   g r o u p in g   f i n e - g r ai n ed   class es b ased   o n   ac tio n   ch ar ac ter is tics   an d   en v ir o n m en tal   co n tex t similar ity .   Sp ec if ically ,   s elec ted   clas s es   f r o m   HM DB 5 1   an d   E SC - 5 0   wer r eo r g a n ized   in to   f iv e   s h ar ed   h ig h - lev e l   ac tiv ity   g r o u p s Activ e,   in ter ac tio n ,   lo co m o tio n ,   o u td o o r ,   an d   r esti n g .   T h is   g r o u p in g   was  i n ten d ed   as  co ar s e   s em an tic  alig n m en t r ath e r   th a n   an   ex ac t c lass - lev el  co r r esp o n d en ce   b etwe en   HM DB 5 1   an d   E SC - 50.   T h is   s em an tic  g r o u p in g   e n ab les  th p r ed ictio n   r esu lts   f r o m   th v id eo   an d   a u d io   m o d a liti es  to   b e   co m b in ed   with in   s h a r ed   ac tiv ity   lab el  s p ac with o u t   ass u m in g   in s tan ce - lev el  s y n ch r o n izatio n .   T a b le  1   p r esen ts   th co m p lete  class - lev el  s em an tic  m ap p in g   u s ed   in   th is   s tu d y ,   in clu d in g   t h r etai n ed   HM DB 5 1   an d   E SC - 5 0   class es a s s ig n ed   to   ea ch   ac tiv ity   g r o u p .   Fo r   th im ag m o d ality ,   1 0   s e lecte d   HM DB 5 1   clas s es  wer g r o u p e d   in to   f iv ac tiv ity   g r o u p s ,   with   2 ,   2 ,   3 ,   1 ,   an d   2   class es  ass ig n ed   to   ac tiv e,   in ter ac tio n ,   lo c o m o tio n ,   o u td o o r ,   a n d   r esti n g ,   r esp ec tiv ely .   Fo r   th au d io   m o d ality ,   1 5   s elec ted   E SC - 5 0   class es  wer m ap p ed   to   th s am g r o u p s ,   with   4 ,   3 ,   2 ,   4 ,   a n d   2   class es   ass ig n ed ,   r esp ec tiv ely .   O v er al l,  1 0   o f   5 1   HM DB 5 1   class es  an d   1 5   o f   5 0   E SC - 5 0   class es  wer r etain ed .   T h e   g r o u p in g   was  d eter m in ed   th r o u g h   m a n u al  s em an tic  in s p ec ti o n   to   e n s u r cr o s s - m o d al  in ter p r etab ilit y ,   an d   th e   s h ar ed   f iv e - g r o u p   lab el  s p ac was u s ed   f o r   m u ltimo d al  p r e d i ctio n   an d   late  f u s io n .     Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J E lec  &   C o m p   E n g     I SS N:   2088 - 8 7 0 8         S ema n tic - a lig n ed   mu ltimo d a l   h u ma n   a ctivity  r ec o g n itio n   u s in g   visu a l     ( Yeeu n   P a r k )   2089   T ab le  1 .   Sem an tic  m a p p in g   o f   r etain ed   HM DB 5 1   an d   E SC - 5 0   class es in to   f iv ac tiv ity   g r o u p s   G r o u p   R e t a i n e d   H M D B 5 1   c l a ss e s   N o .   R e t a i n e d   ESC - 5 0   c l a sses   N o .   D e scri p t i o n   A c t i v e   j u m p ,   si t   up   2   c o u g h i n g ,   sn e e z i n g ,   v a c u u m   c l e a n e r ,   w a sh i n g   m a c h i n e   4   P h y s i c a l   e x e r c i se  o r   i n t e n si v e   b o d y   mo v e me n t   I n t e r a c t i o n   t a l k ,   e a t   2   c l a p p i n g ,   l a u g h i n g ,   s p e e c h   3   H u ma n   i n t e r a c t i o n   o r   o b j e c t - r e l a t e d   a c t i v i t y   Lo c o m o t i o n   w a l k ,   r u n ,   c l i m b   s t a i r s   3   f o o t st e p s ,   k e y b o a r d   t y p i n g   2   M o v e me n t   a n d   d i sp l a c e m e n t   a c t i v i t i e s   O u t d o o r   c l i mb   1   d o o r   w o o d   k n o c k ,   d o o r   w o o d   c r e a k s,  h a mm e r ,   c h a i n s a w   4   A c t i v i t i e a sso c i a t e d   w i t h   o u t d o o r   o r   e n v i r o n m e n t a l   c o n t e x t   R e st i n g   si t ,   st a n d   2   b r e a t h i n g ,   s n o r i n g   2   S t a t i c   p o st u r e   o r   l o w - m o v e m e n t   s t a t e       2 . 3 .     Da t a   prepro ce s s ing   Fo r   th v is u al  m o d ality ,   s am p led   f r am e   im ag es  wer r esi ze d   to   1 2 8 ×1 2 8   an d   n o r m ali ze d   b ef o r b ein g   u s ed   as  m o d el  in p u ts .   T o   im p r o v g en er aliza tio n   p e r f o r m a n ce ,   b asic  im a g au g m en tatio n   tech n i q u es,  in clu d in g   r o tatio n   a n d   h o r izo n tal  f lip p in g ,   wer e   ap p lied .   Fo r   th au d io   m o d ality ,   6 4 - b i n   Me l - s p ec tr o g r a m s   wer n o r m alize d   af ter   tr an s f o r m atio n .   T o   en h a n ce   r o b u s tn ess   ag ain s v ar iatio n s   in   r ec o r d in g   en v ir o n m en ts ,   ti m e -   an d   f r eq u en cy - m ask in g   b ased   au g m en tatio n   was  ap p lied   [ 1 8 ] .   All  p r ep r o ce s s in g   an d   au g m en tatio n   p r o ce d u r es  wer e   co n d u cted   i n d ep en d en tly   f o r   ea ch   m o d ality ,   tak in g   in to   ac c o u n t t h eir   r esp ec tiv ch a r ac ter is tics .     2 . 4 .     I ma g e - ba s ed  H AR  mo del   T h e   im ag e - b ased   HAR  m o d el   was  d esig n ed   u s in g   2 co n v o lu tio n al  n eu r al  n etwo r k   with   R esNet - 1 8   as  th b ac k b o n a r ch itectu r e.   R esNet - 1 8   p r o v id es  ef f i cien p er f o r m an ce   with   r el ativ ely   lig h tweig h t   s tr u ctu r wh ile  m ain tain in g   tr ain in g   s tab ilit y   th r o u g h   r esid u al  co n n ec tio n s   [ 1 9 ] .   I n p u im a g es  s am p led   f r o m   v id eo   f r a m es  wer p r o ce s s ed   b y   p r e - tr ain ed   R esNet - 1 8   n etwo r k   to   ex tr ac s p atial  f ea tu r es.  T h e   e x tr ac ted   f ea tu r es  wer p ass ed   th r o u g h   f u lly   co n n ec ted   la y er s   to   p r o d u ce   class - wis lo g its   co r r esp o n d in g   t o   th p r ed ef in e d   ac tiv ity   g r o u p s .   R ath er   th a n   ex p licitly   m o d elin g   tem p o r al  r elatio n s h ip s ,   th is   s tu d y   ad o p ted   f r am e - b ased   s am p lin g   ap p r o ac h   to   r e d u ce   co m p u tatio n al  co m p lex ity   wh ile   p r eser v in g   r e p r esen tativ v i s u al  p atter n s   [ 2 0 ] .   T h is   d esig n   is   also   co n s is ten w i th   ef f icien v id eo   u n d er s tan d i n g   f r am ewo r k s   in t en d ed   f o r   p r ac tical  d ep lo y m en [ 2 1 ] .     2 . 5 .     Audi o - ba s ed  H AR  m o d el   T h au d io - b ased   HAR  m o d e was  also   co n s tr u cted   u s in g   R esNet - 1 8   ar ch itectu r e.   Au d io   s ig n als  wer co n v e r ted   i n to   6 4 - b in   Me l - s p ec tr o g r am   r ep r esen tati o n s   an d   tr ea ted   as  2 in p u ts   to   th e   C NN.   Me l - s p ec tr o g r am s   ef f ec tiv ely   ca p tu r tim e - f r eq u e n cy   p atter n s   a n d   h a v b ee n   wid ely   u s ed   i n   e n v ir o n m en tal  s o u n d   an d   au d io   e v en r ec o g n itio n   task s   [ 6 ] ,   [ 7 ] .   T h s p ec tr o g r am   in p u ts   wer p r o ce s s ed   th r o u g h   th C NN  to   ex tr ac d is cr im in ativ f ea tu r e s ,   f o llo wed   b y   f u lly   co n n ec t ed   lay er s   to   o u tp u class - wis lo g its .   Usi n g   an   id en tical  n etwo r k   a r ch itectu r f o r   b o th   m o d alities   h elp ed   m ai n tain   co n s is ten cy   b etwe en   t h two   b r an ch es .     2 . 6 .     Sco re - lev el  la t f us io n s t ra t eg y   T h p r e d ictio n   r esu lts   f r o m   t h im ag e - b ased   an d   au d io - b a s ed   m o d els  wer co m b in ed   u s in g   late  f u s io n   s tr ateg y .   I n   th is   ap p r o ac h ,   ea ch   m o d ality   was  tr ain e d   in d e p en d e n tly ,   a n d   th ei r   o u tp u ts   wer f u s ed   at  th in f er en ce   s tag [ 1 2 ] .   L at f u s io n   o f f er s   s im p le  an d   f lex ib le  s tr u ctu r an d   d o e s   n o r eq u ir s tr ict  alig n m en t b etwe en   m o d alities   [ 1 0 ] ,   [ 1 3 ] .   L et    an d     d en o te   th lo g its   g en er ated   b y   t h im ag e - b a s ed   an d   au d io - b ased   m o d els ,   r esp ec tiv ely .   T h f u s ed   lo g its      wer co m p u te d   u s in g   a   weig h t ed   lin ea r   s u m ,   as d e f in ed   i n   ( 1 ) :      =   0 . 6   +   0 . 4     ( 1 )     T h is   f u s io n   s tr ateg y   is   d ef i n ed   as  s co r e - lev el  f u s io n ,   as  it  co m b in es  p r e d ictio n   s co r es  with i n   s h ar e d   ac tiv ity   lab el  s p ac with o u as s u m in g   in s tan ce - lev el  s y n ch r o n izatio n .   So f tMa x   f u n ctio n   was  ap p lied   to   th e   f u s ed   lo g its   to   o b tain   f in al  cl ass   p r o b ab ilit ies,  an d   th clas s   with   th h ig h est  p r o b ab ilit y   was  s elec ted   as  th e   f in al  p r ed ictio n .     2 . 7 .     E x perim ent a l set up   a nd   ev a lua t io n m e t rics   Fig u r 1   illu s tr ates  th e x p e r im en tal  s etu p   o f   th p r o p o s ed   m u ltimo d al  HAR  f r am e wo r k .   All   ex p er im en ts   wer e   co n d u cted   u s in g   th e   Py T o r c h   d ee p   le ar n in g   f r am ewo r k   u n d e r   u n if ied   ex p er im en tal   en v ir o n m en t.   B o th   im a g e - b a s ed   an d   au d io - b ased   m o d els  wer im p lem en ted   u s in g   th s am R esNet - 1 8   ar ch itectu r e,   with   m o d ality - s p ec if ic  p r e p r o ce s s in g   a p p lied   to   th e   in p u d ata.   I m a g eNe p r e - tr ain ed   weig h ts   wer u s ed   f o r   m o d el  i n itializatio n ,   f o llo we d   b y   f in e - tu n in g   [ 1 9 ] .   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 8 - 8 7 0 8   I n t J E lec  &   C o m p   E n g ,   Vo l.   1 6 ,   No .   4 Au g u s t   20 2 6 :   2 0 8 7 - 2095   2090       Fig u r 1 .   E x p er im e n tal  s etu p   o f   th p r o p o s ed   m u ltimo d al  HAR f r am ewo r k       T h im ag e - b ased   m o d el  u s ed   n o r m alize d   in p u ts   with   r es o lu tio n   o f   1 2 8 × 1 2 8   p ix els  an d   s tan d ar d   au g m en tatio n   tech n i q u es.  T h au d io - b ased   m o d el   em p lo y ed   6 4 - b in   Me l - s p ec tr o g r am   i n p u ts   d e r iv ed   f r o m   E SC - 5 0   d ata,   with   tim e -   an d   f r eq u en c y - m ask in g   b ased   au g m en tatio n   ap p lied   to   im p r o v r o b u s tn ess   [ 1 8 ] .   All   m o d els we r d esig n ed   to   s h ar e   an   id en tical  o u tp u t sp ac e,   e n a b lin g   d ir ec f u s io n   d u r in g   in f e r en ce .   Fo r   ea ch   m o d ality ,   s am p les  b elo n g in g   to   th r etain e d   class es  wer r an d o m l y   d iv id e d   in t o   tr ain in g   an d   v alid atio n   s u b s ets  with   r atio   o f   8 :2 .   T h e   m o d els  wer t r ain ed   f o r   8   ep o c h s   with   a   b at ch   s ize  o f   1 6   a n d   a   lear n in g   r ate  o f   8 ×1 0 - 5 .   All  r ep o r ted   r esu lts   wer o b tain ed   u n d er   a   s in g le  f ix ed   ex p er i m en tal  s ettin g   an d   th er ef o r e   r ep r esen o n f in al   r u n   r ath er   t h an   av e r ag es  o v er   r ep ea te d   tr ials .   Acc o r d i n g ly ,   th e   r ep o r ted   p er f o r m an ce   v alu es  s h o u ld   b in ter p r eted   as  ex p lo r ato r y   ev id en ce   o f   th f ea s ib ilit y   o f   s em an tics - alig n ed   m u ltimo d al  f u s io n   u n d er   n o n - in s tan ce - s y n ch r o n ized   d ata  c o n d itio n s ,   r ath er   th a n   as  s tati s tically   ex h au s tiv r esu lts   ac r o s s   m u ltip le  r ep ea te d   r u n s .   B ec au s th c u r r e n ev alu atio n   r elies  o n   r an d o m   s em an tic - lev el  p air in g   u n d er   s in g le - r u n   s ettin g ,   s o m d eg r ee   o f   r esu lt  v ar iab ilit y   m ay   r em ain .   Fu tu r wo r k   will  in v esti g ate  m o r e   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J E lec  &   C o m p   E n g     I SS N:   2088 - 8 7 0 8         S ema n tic - a lig n ed   mu ltimo d a l   h u ma n   a ctivity  r ec o g n itio n   u s in g   visu a l     ( Yeeu n   P a r k )   2091   co n tr o lled   s am p le  s elec tio n   an d   p air in g   s tr ateg ies  af ter   m o d ality - s p ec if ic  f in e - tu n in g ,   wh ich   ar ex p ec ted   to   r ed u ce   v a r iab ilit y   an d   im p r o v ev alu atio n   s tab ilit y .   Mo d el  p er f o r m an ce   was  ev a lu ated   u s in g   ac cu r ac y   an d   Ma cr o - F1   s co r e.   Acc u r ac y   was  u s ed   to   s u m m ar ize  o v er all  p r ed ictio n   co r r ec t n ess ,   wh er ea s   Ma cr o - F1   was  ad d itio n ally   a d o p te d   to   r ef lect   class - b alan ce d   p er f o r m a n ce   u n d e r   lab el  im b alan ce ,   wh ich   is   r elev an to   th p r esen m u ltimo d a HAR   s ettin g   [ 2 2 ] .   Du r in g   ev al u atio n ,   t h two   m o d alities   wer alig n ed   o n ly   at   th s h ar ed   s em an tic - g r o u p   le v el  r ath er   t h an   as   in s tan ce - lev el  s y n ch r o n ized   v i d eo - au d io   p air s .   T h f in al  p r e d ictio n   was o b tain ed   b y   co m b i n in g   th im a g an d   au d io   lo g its   th r o u g h   f ix ed   s co r e - lev el  late  f u s io n .   I n   th f in al  ex p e r im en tal  s ettin g ,   f u s io n   weig h t   co n f ig u r atio n   o f   0 . 6   f o r   im ag e   an d   0 . 4   f o r   au d io   was  ad o p te d ,   an d   th e   im p licatio n s   o f   th is   s ettin g   ar f u r th e r   d is cu s s ed   in   s ec tio n   3 . 3 .       3.   RE SU L T S AN D I SCU SS I O N   3 . 1 .     Unim o da m o del per f o r m a n ce   a na ly s is   T h im ag e - b ased   u n im o d al  H AR   m o d el  ac h ie v ed   an   a cc u r ac y   o f   8 2 . 0 8 an d   a   Ma cr o - F1   s co r o f   8 3 . 4 6 o n   th HM DB 5 1   d ataset.   T h d etailed   p er f o r m a n c m etr ics  o f   th is   im ag e - b ased   m o d el  ar v is u ally   s u m m ar ized   in   Fig u r e   2 .   As  s h o wn   in   Fig u r e   2 ( a ) ,   r elativ el y   h ig h   F1 - s co r es  wer e   o b s er v ed   in   th e   o u t d o o r   an d   in ter ac tio n   ac tiv ity   g r o u p s ,   w h er d is cr im in ativ e   v is u al  cu es  ar p r o m in en t.   I n   co n t r ast,  th R esti n g   g r o u p   ex h ib ited   lim ited   class if icatio n   p er f o r m an ce   d u to   its   s tat ic   ch ar ac ter is tics   an d   th lack   o f   d is tin ctiv m o tio n   p atter n s .   T h ese  r esu lts   in d icate   th at  f r am e - b ased   v is u al  f ea tu r es  alo n ar in s u f f icien to   r eliab ly   d is tin g u is h   ac tiv ities   with   m in im al  v is u al   v ar iatio n .   Fig u r e   2 ( b )   s u m m ar izes  th o v er all  Acc u r ac y   an d   Ma cr o - F1   s co r o f   th im ag e - b ased   u n im o d al  m o d el.           ( a)         ( b )     Fig u r e   2 .   Per f o r m an c o f   t h R esNet - 1 8   im ag e - b ased   u n im o d al  m o d el  o n   t h HM DB 5 1   d ataset   in   ( a)   F1 - s co r b y   f iv e   ac tiv ity   g r o u p s   an d   ( b )   o v er all  ac c u r ac y   an d   Ma cr o - F1   s co r e       T h au d io - b ased   HAR m o d el  ev alu ated   o n   t h E SC - 5 0   d atas et  ac h iev ed   an   Acc u r ac y   o f   8 5 . 0 % a n d   Ma cr o - F1   s co r o f   8 4 . 0 %.  Fi g u r 3   p r o v i d es  co m p r eh e n s iv o v er v iew  o f   th e v alu atio n   r esu lts   f o r   th is   au d io - b ased   u n im o d al  ap p r o a ch .   As  s h o wn   in   Fig u r 3 ( a) ,   r elativ ely   s tab le  F1 - s co r es  we r o b s er v ed   in   th e   o u td o o r   an d   in ter ac tio n   g r o u p s ,   wh er en v ir o n m e n tal  s o u n d   cu es  p r o v id m ea n in g f u co n t ex tu al  in f o r m atio n .   Ho wev er ,   th e   o v er all  r ec o g n itio n   p e r f o r m an ce   r em ain e d   lim ited   b ec au s E SC - 5 0   was  o r ig in ally   d esig n e d   f o r   en v ir o n m en tal  s o u n d   class if icatio n   r ath er   th an   d ir ec HAR  [ 1 7 ] .   T h is   r esu lt  s u g g ests   th at   th au d io   m o d ality   ca n   p r o v id e   u s ef u c o n tex tu a cu es  b u t   h as  lim itatio n s   w h en   u s ed   alo n e   f o r   co m p r eh en s iv HAR  task s .     Fig u r 3 ( b )   p r esen ts   th o v er al l a cc u r ac y   an d   Ma cr o - F1   s co r o f   th a u d io - b ased   u n im o d al   m o d el.   A c t i v i t y   G r o u p s   F1 - sc o r e   P e r f o r ma n c e   M e t r i c s   S c o r e   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 8 - 8 7 0 8   I n t J E lec  &   C o m p   E n g ,   Vo l.   1 6 ,   No .   4 Au g u s t   20 2 6 :   2 0 8 7 - 2095   2092       ( a)         ( b )     Fig u r e   3 .   Per f o r m an c o f   t h R esNet - 1 8   au d io - b ased   u n im o d al  m o d el  o n   th E SC - 5 0   d ata s et   in   ( a)   F1 - s co r e   b y   f iv ac tiv ity   g r o u p s   an d   ( b )   o v er all  ac cu r a cy   an d   Ma c r o - F1   s co r e       3 . 2 .     P er f o r m a nce  co m pa riso n wit h la t f us io n m o del   B y   co m b in i n g   t h o u tp u ts   o f   th im ag e - b ased   a n d   au d io - b as ed   m o d els  u s in g   th e   late  f u s io n   s tr ateg y ,   s ig n if ican p er f o r m an ce   im p r o v em en was  ac h iev ed .   T h ev alu atio n   was  co n d u cted   b y   alig n in g   th im ag an d   au d io   p r ed ictio n s   with in   th s am s h ar ed   ac tiv ity   g r o u p   r ath er   th an   u s in g   in s tan ce - l ev el  s y n ch r o n ized   v id eo - au d io   p air s .   T h late  f u s io n   m o d el  ac h iev ed   an   ac cu r ac y   o f   9 2 . 6 7 an d   Ma cr o - F 1   s co r o f   9 2 . 4 9 %,  o u tp er f o r m in g   b o th   u n im o d al  b aselin es.   T h co m p ar ativ p e r f o r m a n ce   b r ea k d o wn   o f   th p r o p o s ed   late  f u s io n   s tr ateg y   is   illu s tr ated   in   Fig u r e   4 .           ( a)             ( b )       Fig u r e   4 .   Per f o r m an c co m p ar is o n   o f   th v id eo au d io   late  f u s io n   m o d el  in   ( a)   F1 - s co r e   b y   f iv ac tiv ity   g r o u p s   an d   ( b )   o v er all  ac cu r ac y   an d   Ma cr o - F1   s co r e   A c t i v i t y   G r o u p s   F1 - sc o r e   P e r f o r ma n c e   M e t r i c s   S c o r e   F1 - sc o r e   S c o r e   A c t i v i t y   G r o u p s   P e r f o r ma n c e   M e t r i c s   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J E lec  &   C o m p   E n g     I SS N:   2088 - 8 7 0 8         S ema n tic - a lig n ed   mu ltimo d a l   h u ma n   a ctivity  r ec o g n itio n   u s in g   visu a l     ( Yeeu n   P a r k )   2093   As  s h o wn   in   Fig u r 4 ( a) ,   th e   f u s io n   m o d el  ac h iev ed   h ig h e r   F1 - s co r es  ac r o s s   m o s ac tiv ity   g r o u p s   th an   th u n im o d al  m o d els.  T h ese  r esu lts   in d icate   th at  in teg r atin g   v is u al  a n d   au d io   m o d alities   ef f ec tiv ely   co m p lem en ts   th lim itatio n s   o f   s in g le - m o d ality   class if icati o n   [ 1 1 ] ,   [ 1 5 ] ,   [ 2 3 ] ,   [ 2 4 ] .   Fig u r 4 ( b )   s u m m ar izes   th o v e r all  Acc u r ac y   a n d   Ma cr o - F1   s co r e,   s h o win g   t h at  h ete r o g en e o u s   co n tex tu al   in f o r m at io n   f r o m   d if f e r en t   m o d alities   ca n   im p r o v r ec o g n itio n   r o b u s tn ess   ev en   u n d er   d ataset  m is m atch   co n d itio n s .   C o m p ar ed   with   p r io r   s y n ch r o n ized   m u ltimo d al  HAR  s tu d ies  [ 1 1 ] ,   [ 1 5 ] ,   th e   p r esen s tu d y   ev alu ates   f u s io n   u n d e r   s em an tically   alig n ed   h eter o g en eo u s   s ettin g ,   h ig h lig h tin g   its   r o le  as  p r ac tical  late - f u s io n   s tr ateg y   f o r   n o n - s y n ch r o n ized   m u ltimo d al  co n d itio n s .     3 . 3 .     F us io weig ht  a nd   cla s s - wis perf o rm a nce  a na ly s is   f ix ed   f u s io n   weig h t   co n f ig u r atio n   o f   0 . 6   f o r   th im a g b r an ch   an d   0 . 4   f o r   th e   au d i o   b r an ch   was  ad o p ted   in   t h f in al  ex p er im e n tal  s ettin g .   Alth o u g h   an   e x p l o r ato r y   weig h s ea r ch   was  co n d u cted   d u r in g   th e   later   s tag o f   th e   p r o ject,   t h r esu ltin g   tr en d   was  n o t   co n s id er ed   s u f f icien tly   r o b u s to   s er v as  th e   s o le  b asis   f o r   f i n al  weig h s elec tio n   b ec au s th two   m o d alities   wer e   alig n ed   o n ly   at  th s em a n tic - g r o u p   lev el   r ath er   th an   as in s tan ce - lev el  s y n ch r o n ized   p air s .   Acc o r d in g ly ,   th e   f in al  f u s io n   weig h was  d eter m in ed   em p i r ically .   lar g er   weig h was  a s s ig n ed   to   th im ag b r an ch   b ec au s v is u al  in f o r m atio n   p r o v id es  m o r d ir ec cu es  f o r   HAR ,   wh er e as  au d io   in f o r m atio n   m ain ly   co n tr ib u tes  co m p lem en tar y   co n tex tu al  in f o r m atio n .   I n   ad d itio n ,   th ef f ec tiv e   au d io   s am p le  p o o l   av ailab le  af ter   class   f ilter in g   was  m o r lim ited   t h an   t h ex tr ac ted   im ag e - f r am e   p o o l,  an d   f u s io n   p air s   wer e   co n s tr u cted   u s in g   th m in im u m   n u m b er   o f   av ailab le   s am p le s   f o r   ea ch   s em an tic  g r o u p .   T h i s   f u r th er   s u p p o r ted   m o r co n s er v ativ weig h tin g   o f   th e   au d io   m o d ality .   T h late  f u s io n   m o d el  a ch iev ed   im p r o v ed   F1 - s co r es  ac r o s s   m o s ac tiv ity   g r o u p s   co m p ar ed   with   th e   u n im o d al   m o d els,  with   p ar ticu lar ly   n o tab le  g ain s   in   th e   I n ter ac tio n   an d   Ou td o o r   g r o u p s .   T h ese   f in d in g s   s u g g est  th at  v is u al  in f o r m ati o n   p lay s   d o m in an r o le  in   o v er all  r ec o g n itio n ,   w h ile  au d io   in f o r m atio n   ca n   p r o v id c o m p lem en ta r y   co n t ex tu al  cu es  in   co n tex t - d ep e n d en ac tiv ities   [ 2 4 ] ,   [ 2 5 ] .   C o n s is ten with   p r io r   au d io - v is u al   f u s io n   s tu d ies  [ 1 5 ] ,   t h p r o p o s ed   f u s io n   s h o we d   p r ac tical  b en e f its   u n d er   a   s h ar ed   s em an tic   lab el  s p ac e.   T h er ef o r e,   th 0 . 6 :0 . 4   r atio   s h o u ld   b e   in ter p r ete d   as  a n   em p ir ically   ch o s en   p r ac tical   s ettin g   r ath er   th an   r ig o r o u s ly   o p tim ized   f u s io n   r atio .       4.   CO NCLU SI O N   T h is   p ap er   p r esen ted   a   m u lti m o d al  HAR  f r am ewo r k   th at  in teg r ates  v is u al  an d   au d io   i n f o r m atio n   u s in g   late  f u s io n   s tr ateg y .   Fo r   th v is u al  m o d ality ,   R esNet - 1 8   m o d el  was tr ain ed   u s in g   f r am e - b ased   in p u ts   s am p led   f r o m   th HM DB 5 1   d ataset.   Fo r   th au d io   m o d ality ,   en v ir o n m en tal  s o u n d   s am p le s   f r o m   th E SC - 50  d ataset  wer co n v er ted   in to   6 4 - b in   Me l - s p ec tr o g r am   r ep r esen tatio n s   an d   p r o ce s s ed   u s in g   th s am n etwo r k   ar ch itectu r e.   Du r in g   in f er en ce ,   th lo g its   o f   th two   u n im o d a l m o d els we r co m b in ed   th r o u g h   weig h ted   lin ea r   f u s io n   to   p r o d u ce   th f in al  ac tiv ity   p r ed ictio n .   E x p er im en tal  r esu lts   s h o wed   th at  th p r o p o s ed   late  f u s io n   m o d el  o u tp er f o r m e d   th e   u n im o d al   b aselin es,  ac h iev in g   an   Acc u r ac y   o f   9 2 . 6 7 an d   Ma cr o - F1   s co r o f   9 2 . 4 9 %.  No tab le  p er f o r m an ce   im p r o v em e n ts   wer o b s er v ed   in   th Ou td o o r ,   I n ter ac tio n ,   an d   Activ ac tiv ity   g r o u p s .   T h ese  f in d in g s   s u g g est   th at  th au d io   m o d ality   ca n   p r o v id co m p le m en tar y   en v ir o n m en tal  co n tex in   v is u ally   am b ig u o u s   o r   c o n tex t - d ep en d e n ac tiv ity   s ce n ar io s .   Fo r   r elativ ely   s tatic  ac tiv ity   g r o u p s   s u ch   as  R esti n g ,   th d ir ec co n tr ib u tio n   o f   au d io   in f o r m atio n   was m o r li m ited .   T h is   s tu d y   ad d r ess ed   d ataset  h eter o g en eity   b y   r eo r g a n izin g   c lass es   f r o m   HM DB 5 1   an d   E SC - 5 0   in to   s h ar ed   s em an tic  ac tiv ity   g r o u p s ,   th er eb y   en a b lin g   s co r e - le v el  m u ltimo d al  f u s io n   u n d er   m is m atch ed   d ataset  co n d itio n s .   T h r esu lts   s u g g es th at  late  f u s io n - b ased   ap p r o ac h   ca n   s er v as  p r ac tical  ex p lo r ato r y   b aselin e   f o r   m u ltim o d al  HAR in   s ettin g s   wh er h eter o g en eo u s   d ata  s o u r ce s   m u s t b jo i n tly   u tili ze d .   Desp ite  th ese  ad v an tag es,  th e   p r o p o s ed   ap p r o ac h   h as  s ev er al  lim itatio n s .   B ec au s th m o d el  r elies   o n   s co r e - le v el  late  f u s io n ,   it  d o es  n o e x p licitly   ca p tu r f i n e - g r ain e d   cr o s s - m o d al  in ter a ctio n s   at  th f ea tu r e   lev el.   I n   ad d itio n ,   th v is u al  an d   au d io   d ata  wer n o s y n ch r o n ized   at  th in s tan ce   lev el  b u t   wer alig n ed   th r o u g h   s h ar ed   s em an tic  ac tiv ity   g r o u p s .   T h e r ef o r e ,   th cu r r en ev alu atio n   s h o u ld   b in te r p r eted   as  s em an tic - lev el  m u ltimo d al  f u s io n   u n d er   d ataset  m is m atch   co n d itio n s   r ath er   th an   f u lly   s y n ch r o n ized   m u ltimo d a l   r ec o g n itio n .   Mo r eo v er ,   b ec a u s th p r esen ev alu atio n   was  co n d u cted   u n d er   s in g le   f ix ed   s ettin g   with   r an d o m   s em an tic - lev el   p air in g ,   s o m e   v ar ia b ilit y   m ay   r em a in .   Fu tu r e   wo r k   will  f o cu s   o n   ev alu ati o n s   u s in g   s y n ch r o n ize d   m u ltimo d al  d a tasets ,   m o r co n tr o lled   s am p le  s elec tio n   an d   p air in g   s t r ateg ies,  an d   m o r ad v an ce d   f u s io n   o r   s p atio tem p o r al  m o d elin g   ap p r o ac h es.  T h p r o p o s ed   f r am ewo r k   m ay   also   p r o v id u s ef u l   b asis   f o r   f u tu r e   ex ten s io n s   to   wea r ab le  HAR en v ir o n m e n ts ,   in clu d in g   s m ar g lass es.         Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 8 - 8 7 0 8   I n t J E lec  &   C o m p   E n g ,   Vo l.   1 6 ,   No .   4 Au g u s t   20 2 6 :   2 0 8 7 - 2095   2094   ACK NO WL E DG M E N T   T h is   wo r k   was  s u p p o r te d   b y   t h Natio n al  R esear ch   Fo u n d at io n   o f   Ko r ea   ( NR F)  g r a n f u n d ed   b y   th e   Ko r ea   g o v er n m e n t   ( MSI T )   ( N o .   R S - 2025 - 1 9 9 2 2 9 6 8 ) .       AUTHO CO NT RI B UT I O NS ST A T E M E N T   T h is   jo u r n al  u s es  th C o n tr ib u to r   R o les  T ax o n o m y   ( C R ed iT)   to   r ec o g n ize  in d iv id u al  au th o r   co n tr ib u tio n s ,   r ed u ce   au th o r s h ip   d is p u tes,  an d   f ac ilit ate  co llab o r atio n .     Na m o f   Aut ho r   C   M   So   Va   Fo   I   R   D   O   E   Vi   Su   P   Fu   Yee u n   Par k                               J o o n h o   B y u n                                 Siwo o   B y u n                                 C     C o n c e p t u a l i z a t i o n   M     M e t h o d o l o g y   So     So f t w a r e   Va     Va l i d a t i o n   Fo     Fo r mal   a n a l y s i s   I     I n v e s t i g a t i o n   R     R e so u r c e s   D   :   D a t a   C u r a t i o n   O   :   W r i t i n g   -   O r i g i n a l   D r a f t   E   :   W r i t i n g   -   R e v i e w   &   E d i t i n g   Vi     Vi su a l i z a t i o n   Su     Su p e r v i s i o n   P     P r o j e c t   a d mi n i st r a t i o n   Fu     Fu n d i n g   a c q u i si t i o n         CO NF L I C T   O F   I N T E R E S T   ST A T E M E NT   T h au th o r s   d ec lar n o   co n f lict o f   in ter est.       DATA AV AI L AB I L I T Y     T h is   s tu d y   u s ed   p u b licly   av ail ab le  d atasets ,   HM D B 5 1   an d   E SC - 5 0 ,   wh ich   ca n   b ac ce s s ed   th r o u g h   th eir   o f f icial  r ep o s ito r ies.  No   n ew  d ataset  was  cr ea ted   in   t h is   s tu d y .   T h im p lem en tatio n   co d r elate d   to   th e   m u ltimo d al  HAR f r am ewo r k   ca n   b m a d av ailab le  f r o m   th co r r esp o n d in g   au th o r   u p o n   r ea s o n ab le  r eq u est.       RE F E R E NC E S   [ 1 ]   F .   G u ,   M .   H .   C h u n g ,   M .   C h i g n e l l ,   S .   V a l a e e ,   B .   Z h o u ,   a n d   X .   Li u ,   A   s u r v e y   o n   d e e p   l e a r n i n g   f o r   h u ma n   a c t i v i t y   r e c o g n i t i o n ,   AC M   C o m p u t i n g   S u rv e y s ,   v o l .   5 4 ,   n o .   8 ,   p p .   1 3 4 ,   2 0 2 2 ,   d o i :   1 0 . 1 1 4 5 / 3 4 7 2 2 9 0 .   [ 2 ]   J.  S h i n ,   N .   H a ssa n ,   A .   S .   M .   M i a h ,   a n d   S .   N i s h i m u r a ,   A   c o m p r e h e n s i v e   met h o d o l o g i c a l   s u r v e y   o f   h u m a n   a c t i v i t y   r e c o g n i t i o n   a c r o ss   d i v e r se   d a t a   m o d a l i t i e s,   S e n s o rs ,   v o l .   2 5 ,   n o .   1 3 ,   p .   4 0 2 8 ,   2 0 2 5 ,   d o i :   1 0 . 3 3 9 0 / s 2 5 1 3 4 0 2 8 .   [ 3 ]   A .   B u l l i n g ,   U .   B l a n k e ,   a n d   B .   S c h i e l e ,   A   t u t o r i a l   o n   h u m a n   a c t i v i t y   r e c o g n i t i o n   u s i n g   b o d y - w o r n   i n e r t i a l   se n s o r s,”   A C M   C o m p u t i n g   S u r v e y s ,   v o l .   4 6 ,   n o .   3 ,   p .   3 3 ,   2 0 1 4 ,   d o i :   1 0 . 1 1 4 5 / 2 4 9 9 6 2 1 .   [ 4 ]   K .   S i mo n y a n   a n d   A .   Z i sserm a n ,   T w o - st r e a c o n v o l u t i o n a l   n e t w o r k f o r   a c t i o n   r e c o g n i t i o n   i n   v i d e o s,   i n   A d v a n c e i n   N e u ra l   I n f o rm a t i o n   Pr o c e ssi n g   S y st e m s ,   2 0 1 4 ,   v o l .   1 ,   n o .   J a n u a r y ,   p p .   5 6 8 5 7 6 .   [ 5 ]   J.  C a r r e i r a   a n d   A .   Zi ss e r ma n ,   Q u o   V a d i s,  a c t i o n   r e c o g n i t i o n ?   A   n e w   m o d e l   a n d   t h e   k i n e t i c d a t a se t ,   i n   Pro c e e d i n g -   3 0 t h   I EEE   C o n f e re n c e   o n   C o m p u t e Vi s i o n   a n d   Pa t t e r n   Re c o g n i t i o n ,   2 0 1 7 ,   v o l .   2 0 1 7 ,   p p .   4 7 2 4 4 7 3 3 ,   d o i :   1 0 . 1 1 0 9 / C V P R . 2 0 1 7 . 5 0 2 .   [ 6 ]   S .   H e r s h e y   e t   a l . ,   C N N   a r c h i t e c t u r e f o r   l a r g e - sc a l e   a u d i o   c l a ss i f i c a t i o n ,   i n   I C A S S P,   I EE E   I n t e r n a t i o n a l   C o n f e re n c e   o n   Ac o u s t i c s ,   S p e e c h   a n d   S i g n a l   Pr o c e ss i n g   -   Pro c e e d i n g s ,   2 0 1 7 ,   p p .   1 3 1 1 3 5 ,   d o i :   1 0 . 1 1 0 9 / I C A S S P . 2 0 1 7 . 7 9 5 2 1 3 2 .   [ 7 ]   J.  S a l a m o n   a n d   J.  P .   B e l l o ,   D e e p   c o n v o l u t i o n a l   n e u r a l   n e t w o r k a n d   d a t a   a u g me n t a t i o n   f o r   e n v i r o n m e n t a l   s o u n d   c l a ss i f i c a t i o n , ”  I EEE  S i g n a l   Pr o c e ssi n g   L e t t e rs ,   v o l .   2 4 ,   n o .   3 ,   p p .   2 7 9 2 8 3 ,   2 0 1 7 ,   d o i :   1 0 . 1 1 0 9 / LSP . 2 0 1 7 . 2 6 5 7 3 8 1 .   [ 8 ]   T.   H e i t t o l a ,   A .   M e s a r o s,  A .   Er o n e n ,   a n d   T.   V i r t a n e n ,   C o n t e x t - d e p e n d e n t   s o u n d   e v e n t   d e t e c t i o n ,   Eu r a si p   J o u r n a l   o n   Au d i o ,   S p e e c h ,   a n d   Mu s i c   Pr o c e s si n g ,   v o l .   2 0 1 3 ,   n o .   1 ,   p .   1 ,   2 0 1 3 ,   d o i :   1 0 . 1 1 8 6 / 1 6 8 7 - 4 7 2 2 - 2 0 1 3 - 1.   [ 9 ]   S .   K .   Y a d a v ,   K .   Ti w a r i ,   H .   M .   P a n d e y ,   a n d   S .   A .   A k b a r ,   A   r e v i e w   o f   mu l t i mo d a l   h u ma n   a c t i v i t y   r e c o g n i t i o n   w i t h   s p e c i a l   e mp h a s i o n   c l a ss i f i c a t i o n ,   a p p l i c a t i o n s,  c h a l l e n g e a n d   f u t u r e   d i r e c t i o n s,”   K n o w l e d g e - B a se d   S y st e m s ,   v o l .   2 2 3 ,   p .   1 0 6 9 7 0 ,   2 0 2 1 ,   d o i :   1 0 . 1 0 1 6 / j . k n o s y s. 2 0 2 1 . 1 0 6 9 7 0 .   [ 1 0 ]   T.   B a l t r u sai t i s ,   C .   A h u j a ,   a n d   L.   P .   M o r e n c y ,   M u l t i mo d a l   m a c h i n e   l e a r n i n g :   A   s u r v e y   a n d   t a x o n o m y ,   I E E T ra n s a c t i o n o n   Pa t t e r n   An a l y si s   a n d   Ma c h i n e   I n t e l l i g e n c e ,   v o l .   4 1 ,   n o .   2 ,   p p .   4 2 3 4 4 3 ,   2 0 1 9 ,   d o i :   1 0 . 1 1 0 9 / TPA M I . 2 0 1 8 . 2 7 9 8 6 0 7 .   [ 1 1 ]   Q .   W u ,   Z .   W a n g ,   F .   D e n g ,   a n d   D .   D .   F e n g ,   R e a l i st i c   h u m a n   a c t i o n   r e c o g n i t i o n   w i t h   a u d i o   c o n t e x t ,   i n   Pr o c e e d i n g s   I n t e rn a t i o n a l   C o n f e re n c e   o n   D i g i t a l   I m a g e   C o m p u t i n g :   T e c h n i q u e a n d   A p p l i c a t i o n s   ( D I C T A) ,   2 0 1 0 ,   p p .   2 8 8 2 9 3 ,   d o i :   1 0 . 1 1 0 9 / D I C TA . 2 0 1 0 . 5 7 .   [ 1 2 ]   A .   S h a b a n   a n d   S .   Y o u sef i ,   M u l t i mo d a l   d e e p   l e a r n i n g ,   i n   S p r i n g e r   O p t i m i z a t i o n   a n d   I t A p p l i c a t i o n s ,   2 0 2 4 ,   v o l .   2 1 1 ,     p p .   2 0 9 2 1 9 ,   d o i :   1 0 . 1 0 0 7 / 9 7 8 - 3 - 0 3 1 - 5 3 0 9 2 - 0 _ 1 0 .   [ 1 3 ]   T.   Ji a o ,   C .   G u o ,   X .   F e n g ,   Y .   C h e n ,   a n d   J .   S o n g ,   A   c o m p r e h e n si v e   su r v e y   o n   d e e p   l e a r n i n g   mu l t i - mo d a l   f u si o n :   M e t h o d s ,   t e c h n o l o g i e s   a n d   a p p l i c a t i o n s,   C o m p u t e rs ,   Ma t e r i a l s   a n d   C o n t i n u a ,   v o l .   8 0 ,   n o .   1 ,   p p .   1 3 5 ,   2 0 2 4 ,   d o i :   1 0 . 3 2 6 0 4 / c mc . 2 0 2 4 . 0 5 3 2 0 4 .   [ 1 4 ]   N .   N e v e r o v a ,   C .   W o l f ,   G .   Ta y l o r ,   a n d   F .   N e b o u t ,   M o d D r o p :   A d a p t i v e   m u l t i - m o d a l   g e s t u r e   r e c o g n i t i o n ,   I EE T ra n sa c t i o n o n   Pa t t e r n   An a l y si s   a n d   Ma c h i n e   I n t e l l i g e n c e ,   v o l .   3 8 ,   n o .   8 ,   p p .   1 6 9 2 1 7 0 6 ,   2 0 1 6 ,   d o i :   1 0 . 1 1 0 9 / TPA M I . 2 0 1 5 . 2 4 6 1 5 4 4 .   [ 1 5 ]   E.   K a z a k o s ,   A .   N a g r a n i ,   A .   Z i sser man ,   a n d   D i .   D a me n ,   EPI C - f u si o n :   A u d i o - v i s u a l   t e m p o r a l   b i n d i n g   f o r   e g o c e n t r i c   a c t i o n   r e c o g n i t i o n ,   Pr o c e e d i n g o f   t h e   I EEE  I n t e rn a t i o n a l   C o n f e r e n c e   o n   C o m p u t e Vi s i o n ,   p p .   5 4 9 1 5 5 0 0 ,   2 0 1 9 ,   d o i :   1 0 . 1 1 0 9 / I C C V . 2 0 1 9 . 0 0 5 5 9 .   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J E lec  &   C o m p   E n g     I SS N:   2088 - 8 7 0 8         S ema n tic - a lig n ed   mu ltimo d a l   h u ma n   a ctivity  r ec o g n itio n   u s in g   visu a l     ( Yeeu n   P a r k )   2095   [ 1 6 ]   H .   K u e h n e ,   H .   J h u a n g ,   E.   G a r r o t e ,   T .   P o g g i o ,   a n d   T.   S e r r e ,   H M D B :   A   l a r g e   v i d e o   d a t a b a s e   f o r   h u ma n   m o t i o n   r e c o g n i t i o n ,   i n   Pro c e e d i n g o f   t h e   I E EE  I n t e rn a t i o n a l   C o n f e re n c e   o n   C o m p u t e r V i si o n ,   2 0 1 1 ,   p p .   2 5 5 6 2 5 6 3 ,   d o i :   1 0 . 1 1 0 9 / I C C V . 2 0 1 1 . 6 1 2 6 5 4 3 .   [ 1 7 ]   K .   J.  P i c z a k ,   ESC :   D a t a s e t   f o r   e n v i r o n m e n t a l   s o u n d   c l a s si f i c a t i o n ,   i n   MM   2 0 1 5   -   Pro c e e d i n g s   o f   t h e   2 0 1 5   AC M u l t i m e d i a   C o n f e re n c e ,   2 0 1 5 ,   p p .   1 0 1 5 1 0 1 8 ,   d o i :   1 0 . 1 1 4 5 / 2 7 3 3 3 7 3 . 2 8 0 6 3 9 0 .   [ 1 8 ]   D .   S .   P .   e t   a l . ,   S p e c A u g me n t :   A   si m p l e   d a t a   a u g m e n t a t i o n   m e t h o d   f o r   a u t o ma t i c   sp e e c h   r e c o g n i t i o n ,   i n   Pr o c .   I n t e rs p e e c h   2 0 1 9 2 0 1 9 ,   p p .   2 6 1 3 2 6 1 7 ,   d o i :   1 0 . 2 1 4 3 7 / I n t e r sp e e c h . 2 0 1 9 - 2 6 8 0 .   [ 1 9 ]   K .   H e ,   X .   Z h a n g ,   S .   R e n ,   a n d   J .   S u n ,   D e e p   r e s i d u a l   l e a r n i n g   f o r   i ma g e   r e c o g n i t i o n ,   Pr o c e e d i n g s   o f   t h e   I EEE   C o m p u t e S o c i e t y   C o n f e re n c e   o n   C o m p u t e Vi s i o n   a n d   Pa t t e r n   Re c o g n i t i o n ,   v o l .   2 0 1 6 - D e c e mb e r ,   p p .   7 7 0 7 7 8 ,   2 0 1 6 ,   d o i :   1 0 . 1 1 0 9 / C V P R . 2 0 1 6 . 9 0 .   [ 2 0 ]   L.   W a n g   e t   a l . ,   Te m p o r a l   se g m e n t   n e t w o r k s:   T o w a r d s g o o d   p r a c t i c e s   f o r   d e e p   a c t i o n   r e c o g n i t i o n ,   i n   L e c t u r e   N o t e s   i n   C o m p u t e r   S c i e n c e   ( i n c l u d i n g   s u b ser i e s   L e c t u r e   N o t e s   i n   Ar t i f i c i a l   I n t e l l i g e n c e   a n d   L e c t u re  N o t e s i n   Bi o i n f o rm a t i c s) ,   2 0 1 6 ,   v o l .   9 9 1 2   LN C S ,   p p .   2 0 3 6 ,   d o i :   1 0 . 1 0 0 7 / 9 7 8 - 3 - 319 - 4 6 4 8 4 - 8 _ 2 .   [ 2 1 ]   M .   Z o l f a g h a r i ,   K .   S i n g h ,   a n d   T.   B r o x ,   EC O :   Ef f i c i e n t   c o n v o l u t i o n a l   n e t w o r k   f o r   o n l i n e   v i d e o   u n d e r st a n d i n g ,   i n   L e c t u re   N o t e s   i n   C o m p u t e S c i e n c e   ( i n c l u d i n g   s u b s e ri e s   L e c t u re  N o t e i n   Art i f i c i a l   I n t e l l i g e n c e   a n d   L e c t u re  N o t e i n   Bi o i n f o rm a t i c s) ,   2 0 1 8 ,     v o l .   1 1 2 0 6   LN C S ,   p p .   7 1 3 7 3 0 ,   d o i :   1 0 . 1 0 0 7 / 9 7 8 - 3 - 0 3 0 - 0 1 2 1 6 - 8 _ 4 3 .   [ 2 2 ]   M .   S o k o l o v a   a n d   G .   L a p a l me,   A   sy st e ma t i c   a n a l y s i o f   p e r f o r m a n c e   me a su r e f o r   c l a ssi f i c a t i o n   t a s k s,”   I n f o rm a t i o n   Pro c e ss i n g   a n d   Ma n a g e m e n t ,   v o l .   4 5 ,   n o .   4 ,   p p .   4 2 7 4 3 7 ,   2 0 0 9 ,   d o i :   1 0 . 1 0 1 6 / j . i p m . 2 0 0 9 . 0 3 . 0 0 2 .   [ 2 3 ]   Y .   Zh a n g ,   H .   D o u g h t y ,   L.   S h a o ,   a n d   C .   G .   M .   S n o e k ,   A u d i o - a d a p t i v e   a c t i v i t y   r e c o g n i t i o n   a c r o ss v i d e o   d o ma i n s ,   Pr o c e e d i n g o f   t h e   I EE C o m p u t e S o c i e t y   C o n f e re n c e   o n   C o m p u t e V i si o n   a n d   P a t t e r n   Re c o g n i t i o n ,   v o l .   2 0 2 2 - J u n e ,   p p .   1 3 7 8 1 1 3 7 9 0 ,   2 0 2 2 ,   d o i :   1 0 . 1 1 0 9 / C V P R 5 2 6 8 8 . 2 0 2 2 . 0 1 3 4 2 .   [ 2 4 ]   R .   G a o ,   T.   H .   O h ,   K .   G r a u ma n ,   a n d   L .   T o r r e sa n i ,   Li s t e n   t o   l o o k :   A c t i o n   r e c o g n i t i o n   b y   p r e v i e w i n g   a u d i o ,   i n   P r o c e e d i n g s   o f   t h e   I EEE  C o m p u t e r   S o c i e t y   C o n f e r e n c e   o n   C o m p u t e Vi s i o n   a n d   P a t t e r n   Re c o g n i t i o n ,   2 0 2 0 ,   p p .   1 0 4 5 4 1 0 4 6 4 ,   d o i :   1 0 . 1 1 0 9 / C V P R 4 2 6 0 0 . 2 0 2 0 . 0 1 0 4 7 .   [ 2 5 ]   M .   B .   S h a i k h ,   D .   C h a i ,   S .   M .   S .   I sl a m ,   a n d   N .   A k h t a r ,   M u l t i m o d a l   f u si o n   f o r   a u d i o - i ma g e   a n d   v i d e o   a c t i o n   r e c o g n i t i o n ,   N e u r a l   C o m p u t i n g   a n d   Ap p l i c a t i o n s ,   v o l .   3 6 ,   n o .   1 0 ,   p p .   5 4 9 9 5 5 1 3 ,   2 0 2 4 ,   d o i :   1 0 . 1 0 0 7 / s 0 0 5 2 1 - 0 2 3 - 0 9 1 8 6 - 5.       B I O G RAP H I E S O F   AUTH O RS       Ye e u n   P a r k           r e c e iv e d   h e B. S .   d e g re e   in   in f o rm a ti o n ,   e lec tri c a l,   a n d   e lec tro n ic   e n g in e e rin g   fr o m   An y a n g   U n iv e r sity ,   An y a n g ,   S o u th   K o re a .   S h e   wa a   re c ip ien o t h e   ARI   Aw a rd   a th e   An y a n g   Un iv e rsit y   Ca p sto n e   De sig n   Co m p e ti ti o n   fo th e   AI - b a se d   e m o ti o n - a wa re   p e rso n a li z e d   se rv ice   p ro je c t.   He re se a rc h   in tere sts  in c lu d e   in telli g e n we b   a n d   m o b il e   a p p li c a ti o n s,  m a c h in e   lea rn i n g ,   d e e p   lea rn in g ,   m u lt imo d a le a rn in g ,   a n d   c o n tex t - a wa re   p e rso n a li z e d   se rv ice s.  S h e   is  p a rti c u larly   f o c u se d   o n   th e   p ra c ti c a imp lem e n tatio n   o u se r - c e n tere d   in tell ig e n sy ste m i n   m o b il e   a n d   Io e n v ir o n m e n ts.   In   t h is  st u d y ,   s h e   c o n tri b u ted   t o   e x p e rime n tal   d e sig n ,   fra m e wo rk   imp lem e n tatio n ,   re su lt   a n a ly sis,  a n d   m a n u sc rip writi n g .   S h e   c a n   b e   c o n tac ted   a e m a il stu d y e 2 0 @g m a il . c o m .         J o o n h o   By u n           re c e iv e d   h is  B. S .   d e g re e   in   e lec tro n ic  e n g in e e ri n g   fr o m   Ko o k m in   Un iv e rsity ,   S e o u l,   S o u t h   K o re a ,   in   2 0 2 2 .   F r o m   M a rc h   2 0 2 3   to   Ja n u a ry   2 0 2 4 ,   h e   wa a n   AI   re se a rc h e with   th e   In d u strial  A Io re se a rc h   c e n ter  a t   An y a n g   Un iv e rsity ,   An y a n g ,   S o u th   Ko re a .   He   is  in   a n   M . S .   a th e   G ra d u a te  S c h o o o Artifi c ial  In tell i g e n c e   a S o g a n g   Un iv e rsity ,   S e o u l,   S o u th   Ko re a .   He   is a rec ip ien o b e st p a p e a wa rd   in   2 0 2 3   a n d   2 0 2 5 .   His m a in   re se a rc h   in tere sts  in c lu d e   c o m p u ter  v isi o n ,   Io T,   m a c h in e   lea rn i n g ,   d e e p   l e a rn in g ,   sm a rt  g las s,  v i d e o   c a p ti o n i n g ,   li g h twe ig h YO LO,   m u lt imo d a c o n tex t ,   a n d   e n h a n c e d   v isi o n   c o rre c ti o n .   H e   c a n   b e   c o n tac ted   a e m a il c d 1 1 1 5 @ s e o g a n g . a c . k r .         S iwo o   B y u n           re c e iv e d   h is  M . S .   a n d   P h . D.  d e g re e in   c o m p u ter  sc ien c e   fro m   KA IS T,   S o u t h   Ko re a ,   in   1 9 9 1 ,   a n d   1 9 9 9 ,   re sp e c ti v e ly .   S in c e   M a rc h   2 0 0 0 ,   h e   h a b e e n   a   p ro fe ss o i n   t h e   De p a rtme n o S o ftwa re ,   An y a n g   Un iv e rsity ,   S o u th   Ko re a .   He   h o ld a   P h . D.   d e g re e   with   a   sp e c ializa ti o n   i n   d a tab a se   tran sa c ti o n   a n a l y sis.  His   re se a rc h   a re a a re   Io d a ta  p ro c e ss in g ,   I o m a c h in e   lea rn in g ,   e m b e d d e d   sy ste m ,   b ig   d a tab a se ,   flas h   m e m o ry   d a tab a se ,   m e d ica h e a lt h c a re   a n d   se n so p a tt e rn   re c o g n it io n .   He   is  a   re c ip ien o b e st  re se a rc h   sc h o lar  a wa rd   a n d   b e st  p a p e a wa rd .   His  n e re se a r c h   in tere sts  in c lu d e   e n h a n c e d   ima g e /sig n a l   p ro c e ss in g ,   d e e p   lea rn in g ,   m u lt i m o d a l,   fe d e ra ted   lea rn i n g ,   o n   d e v ice   AI,  sm a rt  g las s,  a n d   ro a d   fa c il it y   re c o g n it i o n ,   I o st o ra g e   s y ste m ,   a n d   c o m p o u n d   se n s o o ff l o a d in g .   He   c a n   b e   c o n tac ted   a e m a il sw b y u n @ a n y a n g . a c . k r .     Evaluation Warning : The document was created with Spire.PDF for Python.