I nd o ne s ia n J o urna l o f   E lect rica l En g ineering   a nd   Co m pu t er   Science   Vo l.   36 ,   No .   1 ,  Octo b er   20 24 ,   p p .   3 0 2 ~ 3 1 7   I SS N:  2 502 - 4 7 52 ,   DOI : 1 0 . 1 1 5 9 1 /ijee cs .v 36. i 1 . p p 302 - 3 1 7          302     J o ur na l ho m ep a g e :  h ttp : //ij ee cs . ia esco r e. co m   The po ten tial o f  t he int e rnet  of  thi ng s for huma n ac tivity   recog nition in sm a rt  ho me: ov ervi e w,  cha lleng es ,  a p pro a ches       K ha dija   E s s a f i,  L a ila   M o us s a id     En g i n e e r i n g ,   I n n o v a t i o n   a n d   Emer g i n g   T e c h n o l o g i e s (E 2 I T) ,   En g i n e e r i n g   R e se a r c h   L a b o r a t o r y   ( L R I ) ,   EN S EM ,   H a ssan   I I   U n i v e r si t y ,   C a sa b l a n c a ,   M o r o c c o       Art icle  I nfo     AB S T RAC T   A r ticle  his to r y:   R ec eiv ed   Feb   15 ,   2 0 2 4   R ev is ed   Ma y   27 ,   2 0 2 4   Acc ep ted   J u n   5 ,   2 0 2 4       Hu m a n   a c ti v it y   re c o g n it io n   (HA R)  is  a   tec h n o lo g y   t h a t  i n fe rs  c u rre n t  u se r   a c ti v it ies   b y   u si n g   t h e   a v a il a b le  se n so ry   d a ta  n e two r k .   Re se a rc h   o n   a c ti v it y   re c o g n it i o n   is  c o n sid e re d   e x trem e ly   imp o r tan t,   p a rti c u larly   w h e n   it   c o m e s  to   d e li v e rin g   se n si ti v e   se rv ice s  su c h   a s  h e a lt h c a re   se rv ice s  a n d   li v e   trac k in g   a ss istan c e   a n d   a u to n o m y .   F o r  t h i s  p u rp o se ,   m a n y   re se a rc h e rs  h a v e   p ro p o se d   a   k n o wle d g e - d ri v e n   a p p ro a c h   o r  d a ta - d riv e n   re a so n i n g   f o r  id e n ti fica ti o n   tec h n iq u e s.  Ho we v e r,   t h e re   a re   m u lt ip le   li m it a ti o n s  a ss o c iate d   with   t h e se   a p p ro a c h e s  a n d   t h e   re su lt i n g   m o d e ls  a re   ty p ica ll y   n o t   c o m p lete   e n o u g h   t o   c a p tu re   a ll   ty p e s  o f   h u m a n   a c ti v it ies .   Th u s,  re c e n t   wo r k s  h a v e   su g g e ste d   c o m b in i n g   th e se   tec h n i q u e s  t h ro u g h   a   h y b ri d   m o d e l.   T h is  p a p e r' s  g o a l  is  to   g iv e   a   b rief  o v e rv iew   o f   a c ti v it y   re c o g n it i o n   imp lem e n tati o n   a p p r o a c h e s  b y   lo o k in g   a t  v a ri o u s  se n si n g   tec h n o lo g ies   u se d   t o   g a t h e r  d a ta  fro m   in tern e t  o f   th in g s  (I o T)   g a d g e ts,  lo o k i n g   a t  p re p ro c e ss in g   a n d   fe a tu re   e x trac ti o n   a p p ro a c h e s,  a n d   th e n   c o m p a rin g   m e th o d s  u se d   t o   id e n ti fy   h u m a n   a c ti v it ies   in   sm a rt  h o m e s,  a n d   h i g h li g h ti n g   t h e ir  stre n g t h s  a n d   we a k n e s se s  a c ro ss   v a rio u s  fiel d s.  Nu m e ro u s  p e r ti n e n t  wo r k s  we re   lo c a ted ,   a n d   th e i r   a c c o m p li sh m e n ts we re   a ss e ss e d .   K ey w o r d s :   Activ ity   r ec o g n itio n     Data - d r iv en   I n ter n et  o f   th in g s   Kn o wled g e - d r iv en   Sm ar t h o m e    T h is i s  a n   o p e n   a c c e ss   a rticle   u n d e r th e   CC B Y - SA   li c e n se .     C o r r e s p o nd ing   A uth o r :   Kh ad ija  E s s af i    E n g in ee r in g ,   I n n o v atio n   an d   E m er g in g   T ec h n o lo g ies ( E 2 I T ) ,   E n g in ee r i n g   R esear ch   L ab o r a to r y   ( L R I )   E NSEM ,   Hass an   I I   Un iv er s ity   C asab lan ca ,   Mo r o cc o   E m ail: k h ad ija. ess af i.d o c2 1 @ en s em . ac . m a       1.   I NT RO D UCT I O N   No wad ay s ,   a  s m ar t   h o m e  c o m es  with   a   wid e  r a n g e   o f   s en s o r s   an d   ac tu ato r s ,   wh ic h   r ef e r s   to   au to m atio n   t o o ls   th at  ca n   h el p   to   d etec t  an d   m ea s u r e   th e  p h y s ical  ch ar ac ter is tics   o f   th e   en v ir o n m en t  ar o u n d   u s .   T h ey   ar e  ca p ab le  o f   m ea s u r in g   lig h t  in ten s ity ,   co n v er ti n g   h ea t  in to   tem p er atu r e,   d ete ctin g   d o o r   o p en in g s ,   d etec tin g   tem p er at u r e  an d   h u m id ity   ch an g es  in   th e  r o o m s ,   as  well  as  o p er atin g   o u r   h o m e  ap p lian ce s   an d   h ea tin g   s y s tem s .   T h ese  d ev ic es  ca n   n o w  b e   r em o tely   co n tr o lled   an d   co n n ec ted   to   a n   in c r ea s in g   n u m b er   o f   d ev ices.   T h er ef o r e,   a  s m ar t  h o m e  m u s t  co m p r eh en d   a n d   r ec o g n ize   h u m an   b e h av io u r   to   o f f er   al l  o f   th ese  f u n ctio n s .   T o   ac h iev e   th is ,   r e s ea r ch er s   ar e  wo r k i n g   o n   h u m an   ac tiv ity   r ec o g n itio n   ( HAR)  m eth o d o lo g ies,  in v o lv in g   th e  o b s er v atio n   an d   ass ess m en t  o f   th e  ac tio n s   p er f o r m ed   b y   o n e  o r   m o r e  in d iv i d u als,  with   th e  aim   o f   id en tify i n g   th e  s p ec if ic  ac t iv ities   b ein g   ca r r ied   o u t.  T wo   ca teg o r ies  [ 1 ]   s en s o r - b ased   s y s tem s   an d   v id eo - b ased   s y s tem s — ca n   b e  u s ed   to   ca teg o r ize  th e   n u m er o u s   HA R   s y s tem s   [ 2 ]   as sh o wn   in   Fig u r e  1 .     T h e  HAR   s y s tem   m ay   r ec o g n ize  a  p er s o n ' s   in ten tio n s   an d   ac tio n s   b y   tr ac k in g   h is   o r   h er   ac tiv ities .   Sin ce   s en s o r s   an d   ca m e r as  ar e  n o w   r ea d ily   av ailab le   an d   f air ly   p r iced ,   it  is   o n e  o f   th e   m o s t  p o p u lar   a n d   d if f icu lt st u d y   to p ics r ig h t n o w.   I n   HAR,  th e  ter m   "d ata  co l lectio n "  r ef er s   to   th e  g ath er in g   o f   s en s o r   s ig n als o r   Evaluation Warning : The document was created with Spire.PDF for Python.
I n d o n esian   J   E lec  E n g   &   C o m p   Sci     I SS N:   2 5 0 2 - 4 7 52         Th e  p o ten tia l  o f th e  in tern et  o f th in g s   fo r   h u ma n   a ctivity  r ec o g n itio n   i n   s ma r t h o me … ( K h a d ija   E s s a fi )   303   v id eo s .   Data s ets  ar e  o f ten   o b tain ed   f r o m   s en s o r s   s u ch   th e  elec tr o m y o g r ap h y ,   ac ce ler o m eter ,   g y r o s co p e,   m ag n eto m eter ,   an d   v id eo   o r   s till   p ictu r es,  m ak in g   th em   a  f u n d am e n tal  p ar t  an d   t h e  f o u n d atio n   o f   a n y   HAR  s y s tem .   Activ ity   r ec o g n itio n   c an   b e  d i v id ed   in t o   two   g r o u p s :   s en s o r - b ased   an d   v is io n - b ased .             Fig u r e  1 .   HAR   ca teg o r ies       Vis io n - b ased   HAR   is   th e  u s e  o f   co m p u ter   v is io n   to o ls ,   s u ch   as  ca m er as,  to   m o n ito r   ch a n g es  in   th e   en v ir o n m en t  a n d   h u m a n   ac tiv i ty .   I t h as  lately   b ec o m e  m o r e   p r o m in e n t  as  a  r esu lt  o f   its   u s ag e  ac r o s s   a   d iv er s e   r an g e  o f   p r ac tical  ap p licatio n s ,   lik e  en s u r in g   s ec u r ity   an d   co n d u ctin g   s u r v eillan ce .   To   g u ar an tee  s ec u r ity   in   p u b lic  lo ca tio n s ,   it  is   cr u cia l  to   im p lem e n t  HAR  f o r   cl o s ed - cir cu it  telev is io n   ( C C T V)   s y s tem s ,   wh ich   co m p r is e  a  n etwo r k   o f   ca m er a s   with   a  ce n tr al  r ec o r d in g   h u b .   Vis io n - b ased   HAR  r esear ch   ca n   b e  d iv i d ed   in to   r ed   g r ee n   b lu e  ( R GB )   d ata  [ 3 ]  a n d   r e d   g r ee n   b l u e -   d ep th   ( R GB - D )   d ata  [ 4 ]   d ep e n d in g   o n   th e  ty p e  o f   d ata  e m p lo y ed .   Vis io n - b ased   HAR  f r am ewo r k s   u tili zin g   R GB   d ata  o f ten   ex h ib it  a  lo wer   lev el  o f   ac cu r ac y   c o m p a r ed   to   th o s e  u tili zin g   R GB - D   d ata,   o win g   to   th e   au g m en ted   in f o r m atio n   a n d   d ep th   ch an n els  p r o v i d ed   b y   m u lti - m o d al  d ata  [ 3 ] .   Nev e r th ele s s ,   th e  u tili za tio n   o f   R GB   d ata  r em ain s   p r ev alen t  in   cu r r en t  HAR  f r am ewo r k s   d u e  to   ch allen g es  s u ch   as  th e  co m p lex ities   o f   s etu p   ( in v o lv in g   in tr icate   co n f ig u r a tio n s   f o r   v ar io u s   HAR  s ce n ar io s ) ,   co m p u tatio n al  d em an d s   ar is in g   f r o m   v ast  d atasets ,   an d   elev ated   ex p en s es.   On   th e  o th er   h an d ,   s en s o r - b ased   HAR  ca p tu r es  d aily   liv in g   ac tiv ities   f r o m   s en s o r s   [ 5 ] ,   a n d   in v o lv es  f o llo win g   a   p er s o n ' s   ac tiv ities   u s in g   a   n etwo r k   o f   co n n ec te d   d ev ices.D a ta  f r o m   th e  s en s o r s   is   g en er ated   as  a  tim e  s er ies  o f   s tate  ch an g es  o r   p ar am eter   v alu es.  Nu m er o u s   s en s o r s ,   in clu d in g   ac ce ler o m eter s ,   m ag n eto m eter s ,   n o is e  s en s o r s ,   elec t r o m y o g r a p h y ,   g y r o s co p es,  an d   r a d ar ,   ca n   b e  p o s itio n ed   o n   p e o p le,   o n   th in g s ,   o r   i n   th e  e n v ir o n m en t .   As  a  r esu lt,  th er e  a r e  th r ee   d is tin ct  ca teg o r ies  in to   wh ic h   th e  s en s o r - b ased   s o lu tio n s   ca n   b e  s u b d iv id ed :  wea r ab le  [ 6 ] ,   s en s o r   o n   o b ject s   [ 7 ] ,   an d   am b ien t sen s o r   [ 8 ].   −   W ea r ab le  s en s o r :  wh ich   is   f r eq u en tly   u s ed   f o r   HAR  s y s tem s ,   ca n   d ir ec tly   r ec o r d   b o d y   m o v em en t.   Acc eler o m eter ,   m a g n eto m eter ,   an d   g y r o s co p e  a r e  th r ee   co m m o n   wea r a b le  s en s o r s   th at  ca n   b e  ea s ily   wo r n   b y   p eo p le  o r   in teg r ated   in t o   p o r tab le  d ev ices lik e  s m ar tp h o n es [ 9 ] ,   s m ar t b an d s ,   s m ar t w atch es,  o r   g lass es.   T h en ,   b y   co m p ar in g   th e  s ig n al   d if f er en ce s   b ef o r e   an d   a f ter   a n   ac tiv ity ,   h u m an   ac tiv ity   ca n   b e  id en tifie d .   −   Sen s o r   o n   o b jects:  th e   s en s o r s   th at  ar e   af f ix e d   to   a  s p ec if ic   o b ject  to   tr ac k   ac tiv ity   ar o u n d   it  [ 10 ] .   W h ile  o b ject  s en s o r s   d etec t  th e  m o v em en t  o f   a  s p ec if ic  o b ject  to   i n f er   h u m an   ac tiv ity ,   wea r ab le   s en s o r s   ass es s   h u m an   b e h av io u r s   d ir ec tly .   A   s m ar t  d r in k in g   c u p ,   f o r   in s tan ce ,   m ay   h a v e  an   ac ce ler o m eter   lin k ed   to   it  to   m o r e  ef f ec tiv ely   m o n ito r   th e  u s er ' s   d r in k in g   p atter n s   an d   al er t  th em   wh en   th eir   d aily   wate r   co n s u m p tio n   is   in s u f f icien t  [ 1 1 ] .   A n o th er   in s tan ce   o f   HAR  u tili zin g   s m ar t  o b ject  s en s o r s   is   th e  u s ag e  o f   s m ar t   d o o r b ells ,   wh ich   ty p ically   f ea t u r e  a  ca m e r a  an d   a  m icr o p h o n e  an d   h elp   to   d etec t  th e  p r esen ce   o f   a   p er s o n   at  a  d o o r   an d   t o   c o llect  d ata   ab o u t  t h is   p er s o n .   T h e  p er s o n ' s   b eh av io u r ,   s u ch   as  k n o c k in g ,   r in g in g   t h e  d o o r b ell,   o r   s tan d in g   o n   th e  d o o r way ,   ca n   th e n   b e   class if ied   u s in g   th is   d ata   b y   tr ain in g   a  m ac h in e  lear n i n g   m o d el  [ 1 2 ] .   −   Am b ien t  s en s o r :  r ad a r ,   p r ess u r e  s en s o r s ,   an d   tem p er atu r e   s en s o r s   ar e  s o m e  o f   th e  am b ien t   s en s o r s   th at  ar e  g en er ally   in co r p o r ate d   in to   a  u s er ' s   s m ar t  en v ir o n m en t  an d   ar e  u s ed   to   co llect  in f o r m atio n   o n   h o w  p eo p le  in ter ac t  with   th eir   s u r r o u n d in g s .   W h ile  o b ject  s en s o r s   tr ac k   o b ject  m o v em e n ts ,   am b ie n t  s en s o r s   r ec o r d   th e  ch an g e  in   th e  en v ir o n m en t.  G u er r er o - Ullo a   et  a l.  [ 1 3 ]   Au t h o r s   p r o p o s e  a  s y s tem   th at  u s e s   am b ien t sen s o r s   to   co llect  d ata  o n   th e  en v ir o n m en tal  co n d itio n s   o f   p lan ts ,   s u ch   as  tem p er atu r e,   h u m i d ity ,   an d   lig h t.  T h is   d ata  is   th en   u s ed   to   co n tr o l  th e  elem en ts   o f   th e  p la n t  ca r e   s y s tem ,   s u ch   as  wate r in g ,   f er tili za tio n ,   an d   lig h tin g .   Am b ien t  s en s o r s   h av e  b ee n   u tili ze d   in   s ev er al  wo r k s   o f   liter atu r e  to   id en tify   h a n d   g estu r es  an d   d aily   ac tiv ities   [ 1 4 ] ,   [ 1 5 ] .   T h e   m ajo r ity   o f   th e  w o r k   was  ev a lu ated   in   a  s m ar t  h o m e  s ettin g .   Ad d itio n ally ,   th e  ad o p tio n   o f   ap p r o p r iate  e n v ir o n m en tal  s en s o r s   m u s t  b e  ca r ef u lly   p lan n e d   d ep en d in g   o n   th e  ac tiv ities   b ec au s e  th ey   ar e   h ig h l y   s en s itiv e  to   ch a n g es in   th e  e n v ir o n m en t .   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 5 0 2 - 4 7 52   I n d o n esian   J   E lec  E n g   &   C o m p   Sci ,   Vo l.  36 ,   No .   1 ,  Octo b er   20 24 :  302 - 3 1 7   304   −   Hy b r id   s en s o r :  f o r   th e  p u r p o s e  o f   im p r o v in g   HAR  m o d el  r o b u s tn ess   an d   ac cu r ac y   [ 1 6 ] ,   r esear ch er s   h av e   in cr ea s in g ly   u tili ze d   h y b r i d   s en s o r s   [ 1 7 ] ,   wh ich   s ig n if ies  H AR   ap p licatio n s   th at  co m b in e  v ar io u s   ty p es  o f   s en s o r s ,   lik e  co m b in in g   am b ien t  an d   o b ject  s en s o r s   th at  ca n   r ec o r d   b o th   th e  o b ject  m o v em en ts   an d   en v ir o n m en t  s tate.   T h ese  r ec e n t  wo r k s   s u g g est  th at  th e  ad o p tio n   o f   h y b r id   s en s o r s ,   wh ic h   cr ea te  d iv er s e  d atasets   f r o m   n u m er o u s   s o u r ce s ,   ca n   s ig n i f ican tly   ad v an ce   HAR  r esear ch   ef f o r ts   an d   e n co u r ag e   ap p licatio n s   in   s y s tem s   lik e  co m m er cial  s m ar t h o m es [ 1 8 ] .   I t  is   ev id en t   to   r ec o r d   th at  v is io n   s en s o r s   h av e  b ee n   wid el y   u s ed   im m ed iately   [ 19 ] .   Alth o u g h   p r iv ac y   co n ce r n s   h av e   b ee n   ad d r ess ed   p r o g r ess iv ely ,   r esid en ts   ar e   m o r e   lik ely   to   e m b r ac e   am b ien t  s en s o r s .   As  a   r esu lt,  th e  n o n - v is io n   en v ir o n m en tal  s en s o r s   h av e  em er g ed   as  a  r esear ch   f o cu s   [ 2 0 ]   an d   th ey   ar e  m o r e   co m m o n l y   ac ce p ted   s in ce   th ey   ar e  r eg ar d e d   as  less   o b tr u s iv e.   Sen s o r s   ar e  th e  b ac k b o n e  o f   s m ar t  h o m e   tech n o lo g y ,   p r o v i d in g   v ital  in f o r m atio n   an d   ac tin g   as  th e   e y es  an d   ea r s   o f   in tellig e n t  s y s tem s   d esig n ed   to   id en tify   h u m an   b eh a v io r .   T h e  two   m ain   ap p r o ac h es  to   ac tiv ity   r ec o g n itio n   ar e  p o wer e d   b y   th is   g ath er ed   d ata:   th e  k n o wled g e - d r iv en   a p p r o a ch ,   wh ich   u s es  h u m an   e x p er t is e  an d   p r e - estab lis h ed   r u les  to   in ter p r et  s en s o r   d ata,   an d   t h e  d ata - d r iv en   a p p r o ac h ,   wh ich   u s es a lg o r ith m s   t o   d etec t p atter n s   am o n g   m ass iv e  am o u n ts   o f   d ata.   Alth o u g h   s ev er al  s u r v ey s   h av e  b ee n   co n d u cted   u tili z in g   d ata - d r iv en   o r   k n o wled g e - d r i v en   m eth o d o l o g y ,   n o   s p ec if ic  s u r v ey   h as  b ee n   c o n d u cted   th at  o f f er s   a  clea r   co m p ar is o n   o f   th e s e  two   ap p r o ac h es.  W e  b eliev e  th is   to   b e  th e  f ir s t   ar ticle  d is cu s s in g   th e  m o s t  r ec en t  co m p ar is o n   b etwe en   k n o wled g e -   an d   d ata - d r iv en   m eth o d s   f o r   id e n tify in g   h u m a n   ac tiv ity   in   s m ar t  h o m es.  W e  h o p e  th at  th is   wo r k   will  h elp   p r o v id e  an   o v er v iew  o f   th e  last   s tu d ies an d   will su g g est p o ten tial d ir ec ti o n s   f o r   f u tu r e   r esear ch .   T h i s   is   h o w   t h e   r e s t   o f   t h e   p ap e r   i s   s t r u ct u r e d .   I n   s e c t i o n   2 ,   w e   d e s c r i b e   t h e   p o t e n t ia l   o f   th e   I o T   f o r   H A R .   W e   d i s c u s s   t h e   a d o p t e d   m e t h o d o l o g y   f o r   t h i s   r e v i e w   a n d   t h e n   w e   f o c u s   o n   t h e   c o m p a r i s o n   b e t w e e n   t h e   s t r e n g t h s   a n d   we a k n e s s e s   o f   d a t a - d r i v e n   a n d   k n o w l e d g e - d r i v e n   H A R   m et h o d s   i n   s ec t i o n s   3   a n d   4   r e s p e c t i v e l y .  A d d i t i o n a l l y ,   w e  p r e s e n t  m a n y   c h a l l e n g es   t o   i d e n t i f y i n g   h u m a n   a c t i v it y   i n   s m a r t  h o m es .   A  d is c u s s i o n   a n d   i n s i g h ts   o n   t h e   r e v i e w' s   f i n d i n g s   a r e   p r e s e n t e d   i n   s e c t i o n   5 .   Fin a l l y ,   s e ct i o n   6   b r i n g s   t h is   p a p e r   t o   a   c l o s e .       2.   T H E   I N T E RN E T   O F   T H I N G S F O R  H AR   T h e  I o T ,   o f ten   allu d ed   to   as  I o T ,   en c o m p ass es  a  n etwo r k   o f   tan g ib le,   r ea l - wo r ld   o b jects  in ter co n n ec ted   th r o u g h   th e  I n ter n et.   T h ese  o b jects  co m m u n icate   with   ea ch   o th er   b y   ex c h an g i n g   d ata   co llected   f r o m   s en s o r s   an d   u s in g   s u itab le   co m m u n icatio n   p r o to co ls .   T h is   em er g i n g   tech n o lo g y   is   g r a d u ally   b ec o m in g   a   p ar t   o f   o u r   d aily   life   [ 21 ].   T h e   tech n o lo g y   u n d e r ly in g   I o T   n etwo r k in g   is   elu ci d ated   in   [ 22 ]   as  an   im p r o v em e n t  o f   co m m u n icati o n   p r o to co ls   f o r   in te r co n n ec ted   in tellig en t  o b jects.  T h is   en h an ce m en t  in v o lv es   th e  in teg r atio n   o f   d iv er s e  s en s o r s   an d   ac t o r   n etwo r k s   to   ac h iev e  id e n tific atio n   a n d   tr ac k in g   f u n ctio n alities .   Fu r th er m o r e ,   Su ltan   an d   Ah m ed   [ 23 ]   d ef in es  it  as  a  co n f ig u r atio n   o f   s en s o r s   an d   ac tu ato r s   em b ed d ed   with in   p h y s ical  o b jects.  T h ese  co m p o n en ts   h av e  th e  a b ilit y   to   s en d   d ata  ac r o s s   wir ed   n etwo r k s   as we ll a s   wir eles s ly .   R eg ar d in g   th e   ac q u is itio n   o f   d ata  f o r   r em o te  m o n ito r in g   an d   ac tiv ity   r ec o g n itio n ,   th e  p iv o tal  co m p o n en ts   in   cr ea tin g   a  s m ar t  h o m e  ar e  I o T   s en s o r s   an d   th e  co r r esp o n d i n g   s en s in g   tech n o lo g ies.  T h e   in teg r atio n   o f   th ese  s en s o r s   th r o u g h   clo u d - b ased   d atab ases   an d   n etwo r k in g   tec h n o l o g ies  p lay s   a  cr u cial  r o le,   b u t  also   it  is   a  d if f icu lt  tech n ical  ch allen g e  b ec au s e  it  aim s   f o r   h ig h   p r ec is io n ,   r o b u s tn e s s ,   an d   lo w  en er g y   co n s u m p tio n .   Ho wev er ,   th er e   ar e  m an y   p r o m is in g   tech n iq u es  to   m ee t  th is   ch allen g e   lik e  th e  ad ap tatio n   o f   m ac h in e  lear n in g   alg o r ith m s ,   t h e  u s e  o f   a r tific ial  n eu r al  n etwo r k s ,  an d   th e  s p ec ialized   eq u ip m en t   [ 2 4 ] .       2 . 1 .     I o T   la y er - ba s ed  persp ec t iv e  f o r  hu ma n a ct iv it y   re co g nitio n    Fo r   th e  p u r p o s es  o f   d ata  co llectio n ,   s h ar in g ,   an d   an a ly s is ,   I o T   ap p licatio n s   en a b le  d ev ice   co n n ec tiv ity   an d   in ter ac tio n   th r o u g h   th e  I n te r n et.   T h e  g e n er ated   I o T   d ata  ca n   g o   th r o u g h   a  n u m b e r   o f   lear n in g   p h ases   f o r   ac tiv ity   r ec o g n itio n   [ 1 ]   u s in g   th e  in f o r m atio n   o b tain ed   f r o m   d if f er en t  I o T   s en s o r s ,   as  illu s tr ated   in   Fig u r e  2 .             Fig u r e  2 .   I o T   lay e r - b ased   p er s p ec tiv e  f o r   HAR   Evaluation Warning : The document was created with Spire.PDF for Python.
I n d o n esian   J   E lec  E n g   &   C o m p   Sci     I SS N:   2 5 0 2 - 4 7 52         Th e  p o ten tia l  o f th e  in tern et  o f th in g s   fo r   h u ma n   a ctivity  r ec o g n itio n   i n   s ma r t h o me … ( K h a d ija   E s s a fi )   305   T h e  r ec en t  liter atu r e  o n   in tellig en t  s y s tem s   b ased   o n   th e  r ec o g n itio n   o f   h u m an   ac tiv ity   test if ies  to   th e  r ap id ity   with   wh ich   th is   tech n o lo g y   e v o lv es  an d   its   tr an s f o r m ativ e  im p ac t  in   v ar io u s   ap p licatio n s   [ 2 5 ] .   I t  o p e n s   u p   ex citin g   p r o s p ec ts   f o r   im p r o v i n g   o u r   q u ality   o f   life   a n d   o u r   s af ety   th r o u g h   a   d ee p er   u n d er s tan d in g   o f   h u m an   ac tiv ities .   T h e  s tr u ctu r e  o f   t h e  HAR   s y s tem   co n s is ts   o f   f o u r   I o T - b ased   lay e r s :     2 . 1 . 1 .   Sens ing   la y er   T h e  s en s in g   lay er   en a b les  th e  p r in cip al  s en s in g   an d   co llectin g   g o als;   it  is   u s ed   to   id en tify   t h in g s   an d   co llect  d ata  o n   th e  en v ir o n m en t  an d   its   o cc u p an ts   b y   d ep lo y in g   v a r io u s   s en s in g   d ev ic es  u s in g   a  r an g e  o f   ap p r o ac h es,  in clu d in g   im p lan t ed ,   wea r ab le ,   o n - ap p lian ce ,   o r   en v i r o n m e n tal  s en s o r s ,   a n d ,   tag s .   Fo r   in s tan ce ,   in   th e  c o n tex t  o f   h ea lth   ca r e,   t h e  s en s in g   lay e r   is   task ed   with   k ee p i n g   t r ac k   o f   t h e  u s er s '   p h y s ical,   m en tal,   a n d   em o tio n al  well - b ein g .   T h e  p r o ce s s   o f   m ea s u r in g   ch ar a cter is tics   r elate d   to   p eo p le  an d   th eir   s o u n d s   h as  b ee n   m ad e  ea s ier   in   r ec en t  y ea r s   t h an k s   to   th e  p r o g r ess   in   s m all  an d   lo w - co s t  wea r ab le  s en s o r s .   T h ese  in clu d e   in er tial  s en s o r s   ( s u ch   as   g y r o s co p es,  ac ce ler o m eter s ,   an d   b ar o m et r ic  p r ess u r e  s en s o r s )   as  well   a s   p h y s io lo g ical  s en s o r s   ( lik e  s k i n   tem p er atu r e  s en s o r s ,   s p ir o m eter s ,   an d   b lo o d   p r ess u r e  cu f f s )   [ 2 6 ].     2 . 1 . 2 .  Net wo r k   la y er   T h e  n etwo r k   lay er   tak es  o n   th e  r esp o n s ib ilit y   o f   in ter co n n ec tin g   all  d ev ices  with in   th e  s en s o r y   lay er   an d   e n ab lin g   I o T   in f r astru ctu r es  to   c o llect,   s to r e,   tr an s m it ,   d is tr ib u te,   an d   ag g r eg ate   c u s to m ized   d ata   f o r   ac tiv ity   d etec tio n .   T h is   lay er   ty p ically   in clu d es  a  wid e  v ar iety   o f   id ea s   an d   m eth o d s ,   in c lu d in g   to p o lo g ies,  ar ch itectu r e,   s ec u r ity ,   p r iv ac y ,   an d   tech n o lo g ies  f o r   c o m m u n icatio n   an d   lo ca tio n .   As  a  r e s u lt,  it  p er m its   th e  ef f icien t  an d   s ec u r e  co n v ey a n ce   o f   d ata  to   th e   ap p r o p r ia te  d ata  p r o ce s s in g   u n its .   Nu m er o u s   s h o r t - r an g e   co m m u n icatio n   p r o to co ls   h av e  s ee n   wid esp r ea d   ad o p tio n ,   Z ig B ee   is   an   ex am p le.     2 . 1 . 3 .  Ana ly s is   la y er   T h e  p r o ce s s in g   lay e r   m a n ag e s   v alu ab le  k n o wled g e  e x tr ac t ed   f r o m   th e  s en s o r   d ata   o b tai n ed   in   th e   in itial  lay er .   I t  s to r es  an d   s u b s eq u en tly   an aly s es  th e  s ig n al  d ata  r ec eiv ed   f r o m   th e  n etwo r k   lay er .   I t  is   r esp o n s ib le  f o r   th e   ag g r e g ati o n ,   p r o ce s s in g ,   a n d   a n aly s is   o f   s en s ed   in f o r m atio n ,   as  wel l  as  th e  s u b s eq u e n t  tr an s f o r m atio n   o f   th at  i n f o r m a tio n   in to   m ea n in g f u l k n o wled g e.     Fo u r   k e y   d ata  p r o ce s s in g   s t ag es  ar e  in v o lv e d   in   ac tiv ity   r ec o g n itio n :  d ata  p r e - p r o ce s s in g ,   d ata   s eg m en tatio n ,   f ea tu r e  ex tr ac ti o n ,   an d   class if icatio n /clu s ter in g :   −   Data   p r ep r o ce s s in g :  a n y   k i n d   o f   i n f o r m atio n   g at h er ed   f r o m   I o T   s en s in g   d e v ices  m u s t  g o   th r o u g h   p r ep r o ce s s in g   to   f ac ilit ate  th e  lear n in g   o f   p r o ce s s in g   alg o r ith m s   f r o m   r elev an t  d at a,   en ab lin g   th e   r ef in em en t  o f   a  u n iv er s al  m o d el,   esp ec ially   in   th e  co n tex t  o f   r ec o g n izin g   ac tiv ities   with in   a  s m ar t  h o m e.   T h e  v ar io u s   I o T   s en s in g   d a tasets   th at  h av e  b ee n   g ath e r ed   co n tain   n o is y   d ata  [ 2 7 ]   an d   th ey   ar e  u n s tr u ctu r ed   as  a  r esu lt  o f   d is r u p tio n s   a n d   v ar y in g   h u m an   a ctio n s   [ 2 8 ] .   T h er ef o r e,   th e  m a jo r   task s   o f   th e  p r ep r o ce s s in g   s tep   p r io r   to   t h e   s tar t  o f   f ea tu r e  e x tr ac tio n   ar e  th e  elim in atio n   o f   n o is e  [ 2 8 ] ,   co n v er s io n   a n d   n o r m aliza tio n   o f   d ata  [ 2 9 ] ,   la b ellin g   [ 3 0 ] ,   a n d   [ 3 1 ]   f o r   tr an s f o r m in g   t h e  d ataset  in to   a n   a p p r o p r iate  f o r m .   So   b r ief ly   d ata  p r ep r o ce s s in g   is   th e  p r o ce s s   o f   o r g an izin g   a n d   clea n in g   r aw  d ata  s o   th at  it  is   f it  f o r   u s e  in   s u b s eq u en t p r o ce s s es in   im p r o v in g   ca teg o r izatio n   ac c u r ac y .     −   Data   s eg m en tatio n :  is   a  co m m o n   a p p r o ac h   th at   r ef er s   to   o n e  o f   th e  cr u cial  asp ec ts   o f   d a ta  p r o ce s s in g .   I n   ac tu ality ,   n o   p r o ce d u r e  ca n   d ea l  with   th e  o b tain ed   d ata   in   a  s in g le  s tep .   Data   m u s t  th er e f o r e  b e  d iv id e d   in to   a  co llectio n   o f   s eg m en ts ,   k n o wn   as  win d o ws,  d u r in g   th e  s eg m en tatio n   p r o ce s s .   Fo llo win g   th at,   ea ch   s eg m en t  ca n   b e  e x am in ed   in d ep en d en tly .   T h er e   ar e  two   s eg m en tatio n   m eth o d s   d escr ib ed   in   th e  liter atu r e:   s tatic  an d   d y n am ic  [ 3 2 ] ,   [ 3 3 ] .   Static seg m en tatio n ,   o n   th e  o n e  h an d ,   d en o tes a  p r ed eter m in ed   s eg m en t size   th at  ca n n o t  b e  alter ed .   Dif f er en t  s eg m en t  s izes  will  b e  em p lo y ed   t o   ev alu ate  t h e  ap p licatio n .   T h e  b est - p er f o r m in g   s ize  is   th en   s elec ted .   I n   co n tr ast,  d y n a m ic  s eg m en tatio n   en ab les  th e  d iv is io n   o f   th e  d ata  in to   a  co llectio n   o f   s eg m e n ts   o f   v a r y in g   s izes.  Du r in g   th e  a p p licatio n   p r o ce s s ,   ea ch   s ize  is   d y n am ically   s elec ted .   −   Featu r e  ex tr ac tio n :  s in ce   s en s o r   d ata  is   d er iv ed   f r o m   s en s o r   ev en ts ,   it  ca n n o t  b e  p r o ce s s ed   d ir ec tly   u n til  it   is   in clu d ed   in   th e  f ea tu r e  v ec t o r   in   s o m e  way .   T h e  f ea t u r es  th at  ca n   b e  u s ed   to   ex p r ess   ac tiv ity   in   s m ar t  h o m es a r e  n u m er o u s ,   an d   t h ese  q u alities   m ay   ap p ea r   in   f ea tu r es th at  p o r tr ay   co n tin u o u s   o r   d is cr ete  v alu es,  f ea tu r es  th at  d ep ict  tem p o r al  s eq u en ce s   o f   o cc u r r e n ce s ,   o r   in   r elatio n   to   th e  co n ten t  o f   ac tiv ities   [ 3 4 ] .   "Fea tu r e  ex tr ac tio n "  is   a  cr u cial  s tep   in   th e  ac tiv ity   r ec o g n iti o n   p r o ce s s   b ec au s e  if   th e  f ea tu r es a r e  r eliab le,   an y   class if icatio n   tech n iq u e  m ay   b e  c h o s en   with   ac c u r ac y .   T h e  al g o r ith m s   m u s t  id en tify   a  r an g e  o f   ac tiv ities   at  th e  m o m en t  th ey   tak e  p lace   as  well  as  th e  u s er 's  s tate  d u r in g   th at  tim e  b y   s elec tin g   all  o f   th e  s en s o r s   th at  m ak e  u p   t h e  cir cu m s tan ce .   −   Activ ity   class if icatio n :  e v en t u ally   class if ies  th ese  f ea tu r e s   in to   v a r io u s   b asic  ac tiv ity   p atter n s .   I t  is   p o s s ib le  to   in f er   h ig h - lev el   ev er y d a y   ac tiv ities   lik e  co o k in g ,   ea tin g ,   o r   d r ess in g   wh en   u tili ze d   in   co m b in atio n   with   u s er   co n tex t  d ata  ( s u ch   as  an   o b ject' s   s tate  o r   th e  u s er ' s   lo ca tio n ) .   T h e  two   p r im ar y   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 5 0 2 - 4 7 52   I n d o n esian   J   E lec  E n g   &   C o m p   Sci ,   Vo l.  36 ,   No .   1 ,  Octo b er   20 24 :  302 - 3 1 7   306   m ac h in e  lear n in g   m eth o d s   o f   class if icatio n   an d   cl u s ter in g   ar e  r elate d   r esp ec tiv ely   to   s u p er v is ed   a n d   u n s u p er v is ed   al g o r ith m s .   A  r ev iew  o f   v ar i o u s   p r ep r o ce s s in g   an d   f ea tu r e  ex tr ac tio n   tec h n iq u es  f o r   I o T   d ata  f r o m   s m ar t  h o m es   ca n   b e  f o u n d   in   [ 35 ] .   A  n u m b er   o f   class if icatio n   alg o r ith m s   th at  ar e  u tili ze d   in   s m ar t  h o m es  to   id en tify   h u m an   ac tiv ity   u s in g   th e   in f o r m atio n   g ath er ed   b y   th e   s en s o r s   h av e   also   b ee n   e x am in ed .   T im e  lim its ,   d at a   im b alan ce s   an d   n o is es,  an d   co m p u tin g   co m p le x ity .   ca n   all  h av e  an   im p ac t o n   t h e  ab ilit y   o f   s en s o r s   to   id e n tify   h u m an   ac tiv ity   f r o m   s en s o r   d ata.   Acc o r d in g   t o   th e  au th o r s ,   tim e - b ased   lab elin g   o f   th e  d a ta  g ath er ed   b y   I o T   s en s o r s   f o r   th e  p u r p o s e  o f   id e n tify in g   h u m an   ac tiv ity   ca n   h elp   to   in cr ea s e  ac cu r ac y   an d   l o wer   co m p u tatio n al   co m p lex ity .     2 . 1 . 4 .  Appl ica t io n la y er   T h is   lay er   g iv es  u s er s   d ir ec t   in tellig en t  ac ce s s   to   a  v ar iety   o f   s o p h is ticated   s er v ices  th a t  im p r o v e  th eir   ev er y d ay   life   a n d   h e alth   m an ag e m en t.  W ith   its   r em o te  d iag n o s is   f ea tu r es,  m ed ic al  p r o f ess io n als  ca n   ev alu ate  p atien ts   f r o m   a   d is tan ce .   Featu r es  f o r   b eh a v io r   r ec o g n itio n   g iv e   th e   s y s tem   th e   ab ilit y   to   t r ac k   a n d   co m p r eh e n d   u s er   r o u tin es  an d   b eh a v io r s .   I t   p r o v id es  s u r v e illan ce   o f   e v er y d a y   ac tiv ities   f o r   s en io r   citizen s ,   g u ar an teein g   th eir   s af ety   an d   well - b ein g .   T o   s u p p o r t  o v er all  h ea lth ,   it  also   in teg r ates  s m ar t  b io lo g ical   s en s in g ,   s m ar t  ass is tan ce ,   an d   s elf - m an a g em en t   to o ls ,   m e asu r es  em er g en c y   alar m s ,   an d   m o n ito r s   c h r o n i c   d is ea s es.       3.   M E T H O D   3 . 1 .     Select io n pro ce s s     T h e  s co p in g   r e v iew  m eth o d ' s   th r ee   b asic  s tep s   wer e   u s ed   t o   p ick   a  lar g e   n u m b er   o f   r elev an t  p ap e r s   f o r   th is   in v esti g atio n .   T h e  f ir s t  s tep   is   to   id en tify   k ey wo r d s   an d   s ea r ch   f o r   r elev an t  to p ics  u s in g   ex is tin g   d atab ases .   W e  wer e  ab le  to   co m p ile  th e  liter atu r e  f o r   t h is   wo r k   u s in g   d atab ases   s u ch   as Go o g le  Sch o lar ,  I E E E   an d   MD PI  b y   em p lo y in g   a  s tr ateg y   b ased   o n   a  s et  o f   k e y wo r d s .   T h e  s ea r ch   s tr in g   we  u s ed   f o r   th is   p u r p o s e   was:  "h u m an   ac tiv ity   r ec o g n itio n "  an d   ( " d ata - d r iv e n "  o r   "d ata - b ased " )   a n d   ( "k n o wled g e - d r iv e n "  o r   "k n o wled g e - b ased " )   an d   "sm ar t  h o m e, "  B ec au s e  o f   th e  cu r r en t  s tu d y   en d ea v o r ,   7 9 3   p a p er s   wer e  s u cc ess f u lly   co llected   d u r in g   th e  f ir s t p h ase  o f   th e  s y s tem atic  r ev iew  ap p r o ac h .     3 . 2 .    Scre ening   pro ce s s   T h er e  ar e  7 9 3   p ap er s   in   th e  in itial  s cr ee n in g   r o u n d .   T h ese  p u b licatio n s   wer e  ev alu ated   in   th e  s ec o n d   s tep   u s in g   in cl u s io n   a n d   e x cl u s io n   cr iter ia   th at  we   h ad   estab lis h ed .   T h e   p r im ar y   in clu s io n   cr iter i o n ,   wh ich   r esu lted   in   th e  ex clu s io n   o f   3 6 7   d ata,   was  th e  s tu d y ' s   f iv e - y ea r   p e r io d   f r o m   2 0 2 0   to   2 0 2 4 .   Sin ce   p ee r - r ev iewe d   jo u r n al  p ap er s   p r o v i d e  th e  m o s t  u s ef u l  in f o r m atio n ,   th ey   s atis f y   th e  s ec o n d   co n d itio n .   T h e  an aly s is   d id   n o t  in clu d e  d is s er tatio n s ,   b o o k   c h ap ter s ,   m ee tin g   a b s tr ac ts ,   co n f er en ce   p r o ce e d in g s ,   o r   b o o k   ch a p ter s .   Mo r eo v er ,   th e   r e v iew  co n tai n ed   o n ly   E n g lis h - lan g u ag e   p ap er s   with   f u ll - tex t  ac ce s s ib i lity .   B ased   o n   th e   s p ec if ic  cr iter ia  in d icate d   in   T ab le  1 ,   a   to tal  o f   2 6 9   p u b lic atio n s   wer e  ex clu d ed .   So ,   f o r   th e  elig ib ilit y   lev el,   th e  th ir d   lev el ,   a   to tal  o f   97   ar t icles  h av e  b ee n   p r e p ar ed .   At  t h is   s tag e,   ev er y   p u b licatio n   w as  ch ec k ed   t o   m ak e   s u r e  it  s ati s f ied   th e  in clu s io n   r eq u ir em e n ts   an d   f it  th e  g o als  o f   th e  cu r r e n t  s tu d y .   As  a  r esu lt,  32   p ap e r s   wer e  d is q u alif ied   b ec au s e  th eir   titl e s ,   ab s tr ac ts ,   o r   o u t - of - f ield   in f o r m atio n   h ad   n o th in g   t o   d o   with   th e  p u r p o s e  o f   th e  s tu d y .   Fin ally ,   65  item s   r e m ain   av ailab le  f o r   r e v iew.       T ab le  1 .   T h e  s elec tio n   cr iter io n   is   s ea r ch in g   C r i t e r i o n   Ex c l u si o n   I n c l u s i o n   Ti me l i n e   Li t e r a t u r e   t y p e   La n g u a g e   P u b l i c a t i o n   st a g e   A c c e ss i b i l i t y   P e e r   r e v i e w i n g   < 2 0 2 0   N o n -   j o u r n a l   a r t i c l e   N o n   –   En g l i s h   I n   p r e ss   N o n   –   o p e n   a c c e ss   No   2 0 2 0 - 2 0 2 4   Jo u r n a l   a r t i c l e   En g l i sh   F i n a l   O p e n   a c c e ss   Y e s       4.   H UM AN  AC T I V I T Y  RE CO G NIT I O N  AP P RO ACH E S   4 . 1 .     T he  cha lleng es in r ec o g nizin g   hu m a n a ct iv it y   in s ma rt   ho m es   I n   s m ar t  en v ir o n m en ts ,   ac c u r ate  ac tiv ity   r ec o g n itio n   is   ess en tial  to   s u p p o r t  an d   a s s is t  u s er s ,   esp ec ially   th e  eld er ly   an d   th o s e  with   co g n itiv e  d is ab ilit ies.  I n   o r d er   to   p er f o r m   th is   m is s io n ,   Sm ar t  h o m es  ar e   o u tf itted   with   m o n ito r in g   to o ls   ca p ab le  o f   i d en tify in g   ev e r y d ay   r o u tin es,  a ctiv ities ,   b eh av io u r al   p atter n s ,   Evaluation Warning : The document was created with Spire.PDF for Python.
I n d o n esian   J   E lec  E n g   &   C o m p   Sci     I SS N:   2 5 0 2 - 4 7 52         Th e  p o ten tia l  o f th e  in tern et  o f th in g s   fo r   h u ma n   a ctivity  r ec o g n itio n   i n   s ma r t h o me … ( K h a d ija   E s s a fi )   307   ab n o r m al  b e h av io u r   [ 36 ]   an d   ev en   g iv in g   in d iv i d u alize d   s er v ice.   T h ey   ca n   also   b e  u s ed   to   k ee p   an   ey e  o n   en v ir o n m en tal  ch an g es b y   d ep lo y in g   s en s o r s   o n   v ar i o u s   item s   an d   p lacin g   t h em   in   v ar io u s   l o ca tio n s .    I n   o r d e r   to   d etec t  th e  Sp atio - tem p o r al  s tates  o f   p h y s ical  o r   en v ir o n m en tal  cir cu m s tan ce s ,   a  s m ar t  h o m e  is   o u tf itted   with   a  n u m b er   o f   in ex p en s iv e,   n o n - in tr u s i v e  am b ien t   s en s o r s .   Fig u r e   3   illu s tr ates  th e  lay o u t   o f   a  s m ar t  h o m e  an d   th e  p o s itio n s   o f   s en s o r s   u s ed   f o r   co l lectin g   d ata.   E ac h   s en s o r ,   f o r   ex am p le,   p ass iv e   in f r ar ed   ( PIR)  s en s o r s ,   h u m id i ty   an d   tem p er at u r e  s en s o r s ,   elec tr icity   u s ag e  s en s o r s ,   an d   en tr y way   s en s o r s   f o r   d o o r s ,   am o n g   o th er s ,   is   u s ed   t o   tr ac k   d i f f er en t  p h y s ical  ch ar ac ter is tics   [ 37 ] .     PIR  s en s o r s   ar e  f r eq u e n tly   u s ed   to   m o n ito r   te n an t  m o v em e n t  as  an   in d icato r   o f   th e  o cc u p an cy   o f   a   p ar ticu lar   s p ac e  in   th e  h o m e .   T h ey   tr ac k   th e  in f r ar ed   lig h t  th at  o b jects  in   th eir   f ield   o f   v ie w  em it  an d   m ea s u r e   it.  As  a  r esu lt,   th ey   ca n   id en ti f y   a   r esid en t' s   m o v em e n t  wh e th er   th e y   e n ter   o r   ex it  th e   s en s o r ' s   f ield   o f   v iew.   W h ile  th e  h u m id ity ,   tem p er at u r e,   a n d   elec tr icity   u s ag e   s en s o r s   ar e  u s ed   to   m o n ito r   th e  r ec o r d ed   v alu es   f o r   th ese  in d icato r s ,   th e  d o o r   e n tr an ce   s en s o r s   ar e  u tili ze d   to   d eter m in e  i f   th e   d o o r   is   o p e n   o r   clo s ed .   T h ese  s en s o r s   ar e  th e  m o s t  f r eq u en t ly   em p lo y ed   f o r   ac tiv ity   d ail y   liv in g   m o n ito r in g   d u e  to   p r iv ac y ,   af f o r d ab ilit y ,   an d   eth ical  is s u es,  as th ey   allo w  p eo p le  to   liv e   r eg u la r   liv es with o u t f ee lin g   c o n s tr ain ed   b y   tech n o lo g y   [ 38 ].   T h e  co m p lex   n atu r e  o f   h u m a n   ac tiv ity   a n d   h o w  it  v ar ies  f r o m   r esid en t   to   r esid en t  m ak es  HAR  in   s m ar t h o m es a   d if f icu lt su b ject  to   s o lv e.   E ac h   in h ab itan t h as a   u n iq u e  way   o f   life ,   r o u tin e,   o r   s et  o f   s k ills .   T h e   en o r m o u s   v ar iety   o f   d aily   ac ti v ities ,   in clu d in g   th e  v ar iety   an d   ad ap tab ilit y   o f   th e  way   u s ed   to   ca r r y   th e m   o u t,   n ec ess itate  a  m eth o d   th at  is   s ca lab le  an d   m u s t  b e  ad a p tiv e.   T h at’ s   wh y   id e n tify in g   h u m a n   ac tio n s   u s in g   d ata   f r o m   s en s o r s   co m p r is es so m e  ch allen g es d escr ib ed :   −   Hete r o g en eo u s   d ata:  t y p ically ,   ea ch   s o r t  o f   s en s o r   is   u ti lized   to   p r o v id e  a  ce r tain   ty p e  o f   d ata   ( i.e   h u m id ity ,   a n d   tem p e r atu r e ) .   I n   a  s m ar t  en v ir o n m en t,   a  v ar i ety   o f   s en s o r s   ar e  o f ten   p r o d u ce d ,   with   ea ch   o n e  s er v in g   a  s p ec if ic  p u r p o s e  ( i.e   g ettin g   an   o b ject' s   s tatu s ,   an d   id en tify i n g   u s er   lo ca tio n ) .   As a  r esu lt,  th e   d ata  p r o v id ed   b y   th is   v ast ar r a y   o f   s en s o r s   is   h eter o g en eo u s .   −   Dy n am ic  en v ir o n m en t:  in   an   o p en   en v ir o n m e n t,  f o r   ex a m p le  as  s h o wn   in   Fig u r e  3   th er e  is   alwa y s   th e   p o s s ib ilit y   o f   ch a n g es,  esp ec ially   with   n ew  s en s o r s   wh ic h   ar r iv e   o r   wh ich   d is ap p ea r .   So ,   it' s   v er y   im p o r tan t  t o   ad a p t  to   t h is   d y n am icity   to   av o i d   h a v in g   a   s o lu tio n   th at   o n ly   ap p lies   to   o n e   ty p e   o f   ar ch itectu r e  o r   en v ir o n m e n t.   −   I m p er f ec t  d ata:  d u e  to   h a r d w ar e  lim itatio n s   o n   s en s o r   eq u i p m en t,  g iv e n   d ata  is   alwa y s   s u b ject  to   s o m e  d eg r ee   o f   er r o r .   A d d itio n ally ,   s en s o r   m alf u n ctio n s   o r   f ailu r es  f r eq u e n tly   r esu lt  in   lo wer - q u ality   s en s o r   d ata.   As  a  r esu lt,  f ix in g   s en s o r   wea k n ess es  m ak es  it  p o s s i b le  to   d ec r ea s e  in f o r m atio n   m is in ter p r etatio n .   On e  o f   th e  p r im ar y   r esear ch   q u esti o n s   in   s ce n ar io   id en tific atio n   is   h o w  to   h an d le  u n ce r tain   s en s o r   d ata.   Un ce r tain ty   m etr ics  f o r   d esc r ib in g   s en s o r   d ata,   s u ch   as  in co m p leten ess ,   co r r ec tn ess ,   tim elin ess ,   an d   d ep en d a b ilit y ,   ar e  in tr o d u ce d   b y   s p ec if icatio n - b ased   tech n iq u es [ 3 9 ] .           Fig u r e  3 .   A  s m ar t  h o m e' s   f lo o r   p lan   an d   s en s o r   in s tallatio n   l o ca tio n s   em p lo y e d   f o r   ac tiv ity   r ec o g n itio n     Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 5 0 2 - 4 7 52   I n d o n esian   J   E lec  E n g   &   C o m p   Sci ,   Vo l.  36 ,   No .   1 ,  Octo b er   20 24 :  302 - 3 1 7   308   −   Simu ltan eo u s   ac tiv ities :  a   s in g le  u s er   ca n   n atu r ally   en g ag e  in   m u ltip le  ac tiv ities   s im u l tan eo u s ly   [ 4 0 ] .   Peo p le  ca n   lis ten   to   m u s ic  wh ile  d o in g   o th e r   th in g s ,   s u c h   as  s h o p p in g   o r   r u n n in g .   I t  is   n o t  r eq u ir ed   t o   id en tify   wh ich   ac tio n   b eg a n   f ir s t  in   th is   in s tan ce   b ec au s e  th er e  ar e  co n c u r r en t  ac tiv ities   wh er e  o n e  ac tiv ity ,   lik e  r u n n in g ,   b e g in s   wh ile  th e  o th er   h as  alr ea d y   b eg u n   ( e. g . ,   lis ten in g   to   m u s ic) .   I t  r e q u ir es  a   s p ec ialized   ap p r o ac h   to   id e n tif y   th ese  n o n - s eq u en tial b e h av i o u r s .   −   I n ter leav ed   ac tiv ities :  i n   th e  r ea l  wo r ld ,   o n e  ac tiv ity   m ay   b e  in ter r u p ted   b y   a n o th er   [ 4 1 ] .   Fo r   in s tan ce ,   an   em p lo y ee   is   wo r k i n g   o n   an   a d m in is tr ativ e  f ile  as  a  cu r r en t  a ctiv ity ,   an d   th e n   h e  r ec eiv ed   a   p h o n e   ca ll.  I n   th is   s ce n ar io ,   th e  f ir s t a ctiv ity   is   in ter r u p ted   f o r   th e  d u r atio n   o f   th e  s ec o n d   ac tiv ity   b e f o r e  t h e  f ir s t a ctio n   is   r estar ted .   −   R ec o g n izin g   m u ltip le  r esid en ts :  e v en   th o u g h   k ee p in g   t r ac k   o f   a   s in g le  r esid en t' s   d aily   ac tiv ities   is   a   ch allen g in g   task ,   m an ag in g   m u ltip le  r esid en ts   is   s ig n if ican tly   m o r e  d if f icu lt.  I n   f ac t,  t h e  s am e  ac tio n s   b ec o m e  m o r e  c o m p licated   to   id en tify   wh en   n u m e r o u s   p e o p le  liv in g   o r   wo r k in g   to g et h er   in   th e  s am e  s p ac e.   On   th e   o n e   h an d ,   a   r es id en t  m ay   in ter ac t  with   o th er s   in   a  g r o u p   t o   ca r r y   o u t  s h ar e d   task s .   I n   th is   in s tan ce ,   ea ch   r esid en t  in   th e  g r o u p   h as  th e  s am e  ac tiv ity   r ef lecte d   b y   th e  s en s o r s '   ac tiv ati o n .   On   th e  o th er   h an d ,   ev er y o n e  ca n   ca r r y   o u t  m u ltip le  task s   s im u ltan eo u s ly .   T h e  s en s o r s   f o r   v a r io u s   ac tiv ities   ar e   s im u ltan eo u s ly   ac tiv ated   as  a  r esu lt.  T h e  ac tiv ity   s eq u e n ce s   ar e  c r ea ted   b y   m er g in g   an d   c o m b in in g   th ese   ac tiv atio n s .   So ,   a  r esid en t' s   ac tiv ity   co u ld   co n s titu te  a  n o is e  f o r   an o th e r ' s   ac tiv ity .   A lth o u g h   v ar io u s   s tatis t ical  m ea s u r em en ts   ar e  o f f er ed   in   th is   f ield   o f   s tu d y ,   it i s   s till   r eg ar d ed   as d if f icu lt [ 4 2 ] .   −   Data   s tr ea m in g :  s en s o r   d ata  i s   p r o v id e d   as  a  tim e  s er ies  o r   s en s o r   d ata  s tr ea m .   Hen ce ,   t h is   d ata  ca n   b e   im m ed iately   ev alu ate d   u s in g   an   o n lin e  tech n iq u e   o r   s to r ed   o n   a   co m p u ter   f o r   f u r th er   o f f l in e  p r o ce s s in g .   C o n s eq u en tly ,   o u tco m es th at  a r r iv e  af ter   s ig n i f ican t d elay s   m ig h t d im in is h   in   th ei r   ef f ec tiv e n ess .     4 . 2 .     H u m a n  a ct i v it y   re c o g nitio n a pp ro a ches in sm a rt   ho m es   Fo r   th e  p u r p o s e  o f   id en tify i n g   h u m an   ac tiv ities   with in   th e  s m ar t  h o m e,   t h er e  ar e   th r ee   m ajo r   ca teg o r ies  in to   w h ich   th e   m eth o d o l o g ies  id en tifie d   in   th e  liter atu r e   ca n   b e  ca te g o r ized :  d ata - d r i v en   ap p r o ac h es  ( DDA) ,   k n o wled g e - d r iv en   ap p r o ac h es  ( KDA) ,   an d   h y b r id   ap p r o ac h es  ( HA) .   KDA  m ak es  u s e  o f   r u le  d esig n   an d   ex p e r t  k n o w led g e.   T h is   m ea n s   it  m ak es   u s e  o f   lo g ical  r ea s o n in g ,   m o d elin g ,   an d   p r io r   k n o wled g e   o f   th e   d o m ain .   D DA  m o d els  a n d   d etec ts   th e   ac tio n   u s in g   u s er - g en er ate d   d ata.   I t  is   b ased   o n   m ac h in e  lear n i n g   a n d   d ata   m i n in g   tech n iq u es.  T h e  f u n d am en tal  p r o b lem   with   s u ch   m eth o d s   is   th at  th ey   ar e   n o t  id ea l  f o r   h an d lin g   u n ce r tain   d ata.   T o   s o lv e  th ese  p r o b lem s ,   h y b r id   tech n iq u es  th at  co m b in e  th e   ad v an tag es o f   d ata - d r iv en   a n d   KDA   ar e  s u itab le  [ 43 ] .       4 . 2 . 1 .   Da t a - ba s ed  a pp ro a ch    Data - d r iv en   m eth o d s   e m p lo y in g   m ac h i n e  lear n i n g   a n d   d a ta  m in in g   ap p r o ac h es  d e v elo p   ac tiv ity   m o d els  f r o m   e x is tin g   d atasets   [ 44 ] .   T h ey   tr ain   th e  ac tiv ity   m o d el,   w h ich   ca p tu r es  th e   im p licit  g en er al   r u les,   u s in g   a  lar g e  am o u n t  o f   la b eled   d ata.   I t  ca n   b e  u s ed   to   d e v elo p   m o r e  ac c u r ate  an d   e f f ici en t  s y s tem s   lik e  th e   ex am p le  o f   clim ate   co n tr o l  s y s tem s   in   s m ar t  g r ee n h o u s es  [ 4 5 ] .   T h is   wo u ld   o p tim iz e  cr o p   p r o d u ctio n ,   im p r o v e  p r o d u ct  q u ality ,   an d   r ed u ce   en er g y   co n s u m p tio n .   Data - d r iv en   m eth o d s ,   wh ich   lar g ely   r ely   o n   p r o b a b ilis tic  an d   s tatis tical  r e aso n in g ,   co n tain   b o t h   s u p er v is ed   an d   u n s u p er v is ed   lear n in g   ap p r o ac h es  b ased   o n   m ac h in e  lea r n in g   a n d   d ee p   lear n in g   tech n iq u es  as  s h o wn   in   Fig u r e  4 .   Actu ally ,   t h e  d at a - d r iv en   a p p r o ac h   was m o s tly   u s ed   in   th e  f ir s t in v esti g atio n s   [ 4 6] :   −   Su p er v is ed   lear n in g   alg o r ith m s   cr ea te  a  m o d el  u s in g   a  l ab elled   tr ain in g   d ataset  in   ac co r d an ce   with   a   p r ed ef in e d   co llectio n   o f   ch ar a cter is tics   in   o r d er   to   u n d e r s tan d   th e  d e p en d e n cies  an d   co r r elatio n s   b etwe en   th e  tar g eted   p r ed ictio n   o u tp u t   an d   th e  in p u t  d ata.   I t  d ev el o p s   r u les  th at  d eter m in e  th e  lik elih o o d   th at  th e  lab el  will  o cc u r   g iv en   th e  in p u t.  Fo llo win g   tr ain in g ,   th e  alg o r ith m   ca n   ca teg o r ize  f r esh   u n k n o wn   d ata  a n d   f o r ec ast  th e  o u tp u t  v alu es   f o r   n o v el  d ata  u s in g   co r r elatio n s   ac q u ir ed   f r o m   p r ev io u s   d atasets ,   ac co r d in g   to   th e  lear n ed   r u les.  T h e  m o r e  ex am p les  th at  ar e  p r o v id ed ,   th e  ea s ier   it  will  b e  f o r   th e  alg o r ith m   to   ad a p t  an d   h an d le  d if f e r en t  in p u ts .   An   ex am p le  o f   a  r ec en t  wo r k   b ased   o n   Su p er v is ed   m ac h i n e  lear n i n g   alg o r ith m s   is   g iv en   in   [ 4 7 ] .     −   Un s u p er v is ed   lear n i n g   tech n iq u es  ex tr ac t  in s ig h ts   d ir ec tly   f r o m   th e   d ata,   with o u t  r eq u ir i n g   lab els.  T h e y   ar e  th e  f am ily   o f   m ac h in e  le ar n in g   tech n iq u es  wh er e   th e  d ata  is   n o t  lab elled .   I n s tead   o f   d ep e n d in g   o n   ex is tin g   in f o r m atio n   f r o m   th e  class ,   th ey   lo o k   f o r   an d   d e d u ce   lo g ical  r elatio n s h ip s   b etwe en   th e  d ata.   T h ese  alg o r ith m s   u s e  m eth o d s   to   an aly s e  th e  in p u t  d ataset  in   s ea r ch   o f   p atter n s ,   r u les,  an d   s u m m ar ies  th at   ass is t  u s er s   in   b etter   u n d er s tan d in g   th e  d ata  an d   d er iv in g   in s ig h tf u l  co n clu s io n s .   T h er e  ar e  n u m er o u s   u n s u p er v is ed   ap p r o ac h es;  s o m e  clu s ter   co m p ar a b le  d ata   u s in g   d is tan ce   cr iter ia,   wh ile  o th er s   tr y   t o   lear n   th ese   p r in cip les  o n   th eir   o wn .   Un s u p er v is ed   lear n in g   h as  th e   m ain   b en ef it o f   allo win g   f o r   t h e  d is co v er y   o f   r u les  an d   c o r r elatio n s   th at  w o u ld   o t h er wis e  g o   u n r ec o g n i ze d   b y   ex p e r ts .   An   ex am p le  o f   u n s u p er v is ed   m ac h in e  lear n in g   alg o r ith m s   i s   p r esen ted   in   [ 4 8 ] .   Evaluation Warning : The document was created with Spire.PDF for Python.
I n d o n esian   J   E lec  E n g   &   C o m p   Sci     I SS N:   2 5 0 2 - 4 7 52         Th e  p o ten tia l  o f th e  in tern et  o f th in g s   fo r   h u ma n   a ctivity  r ec o g n itio n   i n   s ma r t h o me … ( K h a d ija   E s s a fi )   309       Fig u r e  4 .   Su p er v is ed   an d   u n s u p er v is ed   lear n in g   m eth o d s       4 . 2 . 2 .   K no wledg e - driv en  a pp ro a ch   Kn o wled g e - d r iv en   a p p r o ac h   r elies  o n   p r io r   k n o wled g e  ab o u t  th e  r ea l  wo r ld ,   wh ich   s h o ws  th at  th e  lis t  o f   o b jects  an d   f ea tu r es  n ee d ed   to   co m p lete  a  task   is   co n s is ten tly   v er y   s im ilar .   I t  in c o r p o r ates  r ea s o n in g   en g in es,  o n to lo g ies,  a n d   l o g ic   r u les  to   i n f er   a p p r o p r iate  ac ti o n s   f r o m   th e   in p u t   o f   th e  c u r r en t  s en s o r s .   E v e n   if   th e  ac tiv ity   is   ca r r ied   o u t  in   v ar io u s   way s   in   r ea l - wo r ld   s ce n ar io s ,   th e   v a r iety   in   th e   n u m b er   an d   k i n d   o f   o b jects  in v o lv e d   is   lim ited .   Fo r   ex am p le,   th e  ac tiv ity   “to   ir o n   clo th es”  co n tain s   ac tio n s   i n v o lv in g   an   i r o n ,   an   ir o n in g   b o ar d ,   a  wate r   s p r ay e r ,   an d   clo th es .   Ho wev e r ,   as  p e o p le  d if f e r   in   th eir   life s ty les,  ab ilit ies,  an d   h ab its   th ey   h av e   th e  p o ten tial to   ca r r y   o u t a n   ac tiv ity   in   a  v ar iety   o f   way s .   T h e  ac q u is itio n   o f   th e  n ec es s ar y   co n tex tu al  k n o wled g e  i s   th e  in itial  s tep   f o r   k n o wle d g e - d r i v en   s y s tem s .   T y p ically ,   th is   i s   a cc o m p lis h ed   b y   ap p ly in g   co m m o n   k n o wled g e  en g in ee r in g   ap p r o ac h es  [ 49 ] .   Dif f er en t  s tr ateg ies  ca n   b e  d is tin g u is h ed   d ep en d in g   o n   th e  ty p e  o f   k n o wled g e  th at   h as  b ee n   lear n ed .     C h en   et  a l.   [ 50 ]   d em o n s tr ate  ab o u t  ac tiv ity   r ec o g n itio n ,   s e v er al  r esear ch er s   em p lo y   lo g i c - b ased   tech n iq u es,  wh ile  o th er s   ad o p t  o n to lo g y - b ased   tech n iq u es.  T h ese  tec h n iq u es  f ac ilit ate  a  wid ely   a cc ep ted   an d   clea r   r ep r esen tatio n   o f   ac tiv ity   d e f in itio n s ,   wh ich   r em ai n s   in d ep en d en t   o f   alg o r ith m ic  p r e f er en ce s ,   f o s ter in g   p o r tab ilit y ,   r e u s ab ilit y ,   an d   in t er o p er a b ilit y .       4 . 2 . 3 .   Co m pa riso n   T h e  f o llo win g   T a b le  2   r ev ie ws  r ec en t  wo r k s   o n   s m ar t  cities  b ased   o n   a  d ata - d r iv e n   ap p r o ac h   a n d   Kn o wled g e  an d   r esu m es  th ei r   ad v an tag es  an d   d is ad v an tag e s   ac co r d in g   to   th e   p r esen ted   c r iter ia   in   s ec tio n   3 .   T h is   co m p ar is o n   h ig h lig h ts   th e  co n tin u o u s   d eb ate  in   th e  s cien tific   co m m u n ity   o v er   th e  ap p r o p r iate   ap p r o ac h es  f o r   d iv e r s e  ap p licatio n s ,   f r o m   h ea lth ca r e  to   s m ar t  b u ild in g   m a n ag em e n t.  I t  is   esp ec ially   r elev an t   in   s ec to r s   lik e  ac tiv ity   r ec o g n i tio n   in   s m ar t h o m es.   Data - d r iv en   s tr ateg ies,  wh ich   ar e  h ig h ly   r eg ar d ed   f o r   th eir   ac cu r ac y   an d   ad ap ta b ilit y ,   p er f o r m   b est   in   co n te x ts   with   lo ts   o f   d ata.   T h ey   u s e  m ac h in e   lear n in g   al g o r ith m s   to   ex am i n e  an d   f o r e ca s t  d ata  b ased   o n   p atter n s   f o u n d   in s id e.   H o wev er ,   th ey   h av e  s o m e  s ig n if ican t  d is ad v an tag es,  s u ch   as  th eir   r elian ce   o n   lar g e,   h ig h - q u ality   d ata  an d   th e  p o s s ib le  p r iv ac y   is s u es  th ey   b r in g .   Fu r th er m o r e,   it  ca n   b e  ch alle n g in g   to   u n d er s tan d   an d   p u t  y o u r   tr u s t  in   ce r tain   d ata - d r iv en   m o d els,  s u c h   as  th o s e  b ased   o n   d ee p   lear n in g ,   d u e  t o   th ei r   co m p lex ity   a n d   b lac k - b o x   n at u r e  in   cr u cial  ap p licatio n s .   On   th e  o th e r   h a n d ,   k n o wled g e - d r iv e n   s tr ateg ies  u s e  p r e - estab lis h ed   r u les  an d   ex p er t  in s ig h ts   to   p r o v id e  h ig h   in ter p r etab ilit y   a n d   q u ick   e x ec u tio n .   T h is   m ak es th em   ex tr em ely   u s ef u l in   s itu atio n s   wh er e  th er e   is   a  lack   o f   d ata  o r   wh e n   j u d g m e n ts   n ee d   t o   b e   ju s tifie d .   Ho wev er ,   th eir   in f lex ib ilit y   an d   r elian ce   o n   th o r o u g h ,   co r r ec t  d o m ain   k n o wled g e  m ig h t  r estrict  th eir   f l ex ib ilit y   an d   m ak e   m an u al  u p d ates  n ec ess ar y   to   ad ju s t to   n ew  d ata  o r   en v ir o n m en tal  ch an g es.           Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 5 0 2 - 4 7 52   I n d o n esian   J   E lec  E n g   &   C o m p   Sci ,   Vo l.  36 ,   No .   1 ,  Octo b er   20 24 :  302 - 3 1 7   310   T ab le  2 .   Stre n g th s   an d   wea k n ess es o f   th e  d ata - d r iv e n   an d   k n o wled g e - d r iv en   [ 5 1 ] - [ 1 1 5 ]   App r oac h   t yp e   S t r e n g t h s   Re f e r e n c e s   We ak n e s s e s   Re f e r e n c e s   Dat a - d r iven   C ompr e he ns ive  Da ta  Ana lys is :  F a c il it a tes   the  ga ther in g  a nd  e xa mi na ti on  o f   e nor mous   volu mes   of   da ta  to  ga in  a n  unde r s tanding  of   c omf or t,   e ne r gy  e f f icie nc y,   a nd  s pa c e   us e   in  s mar t  buil dings .     Automate d  F e a tu r e   E xt r a c ti on :  T his   tec hnique  r e duc e s   the  ne e d  f or   manua l  e nginee r in g  by  f a c il it a t ing  a utonom ous   lea r n ing  a nd  r e pr e s e ntation.   I t  is   pa r ti c ula r ly  us e f ul  f or   HA R .         Ac c ur a c y  a nd  R obus tnes s :  De e p  AI   models   tr a ined  on  mas s ive  da tas e ts   im pr o ve   the  a c c ur a c y  a nd  r obus tnes s   of   s ys tems   s uc h  a s   wir e les s   s e n s ing.         F lexible  a nd  Ada ptable   S ys tems :  F a c il it a tes   the  c r e a ti on  of   f le xibl e   a nd  a da ptable   s ys tems   that  a r e   s im ple  to  r e tr a in  us ing  f r e s h  da ta.       Va luable   I ns ight s   int o  Hu man  Ac ti vit ies :  they  a r e   obtaine d  by  us ing  s e ns or   da ta,   whic h  c a ptur e s   va r iation  be twe e n  da tas e ts   f or   be tt e r   a c ti vit y  tr a c king  a nd  de c is ion - making.       P r ivac y  in  C oll a bo r a ti ve   L e a r ning :  R e duc e s   pr ivac y  c onc e r ns   by  a ggr e ga ti ng  man y  models   withou t  s ha r ing  da tas e ts .         P r e dicti ve   P e r f o r manc e   B oos t:   E nha nc e s   pr e dictive  pe r f or manc e   f or   a   va r iety  of   us e s .             [ 51] ,   [ 54 ] ,   [ 60] , [ 72 ] ,   [ 83] ,   [ 102 ] ,   [ 111]               [ 52] ,   [ 53 ] ,   [ 63] ,   [ 67] ,   [ 75 ] ,   [ 76]                 [ 53] ,   [ 61 ] ,   [ 86] ,   [ 89] ,   [ 99 ] ,   [ 105] ,   [ 108]         [ 53] ,   [ 55 ] ,   [ 65] ,   [ 66] ,   [ 79 ] ,   [ 81] ,   [ 84] ,   [ 98 ] ,   [ 102] ,   [ 103] ,   [ 105 ] ,   [ 110] ,   [ 113] ,   [ 114 ]       [ 51] ,   [ 54 ] ,   [ 57] ,   [ 65] ,   [ 69 ] ,   [ 70] ,   [ 87] ,   [ 91 ] ,   [ 96] ,   [ 101] ,   [ 106 ]         [ 56] ,   [ 80 ]             [ 58] ,   [ 81 ] ,   [ 91] ,   [ 110] , [ 113]       De pe nde nc e   on  Da ta  Qua li ty:   T he   qua nti ty  a nd  qua li t y  of   da ta  ga ther e d  ha ve   a   s igni f ica nt  im pa c t  on  pe r f o r manc e .     P r ivac y  C onc e r ns :  G a the r ing  a nd  e xa mi ning  pe r s ona l  in f or mation  gi ve s   r is e   to  pr ivac y  c onc e r ns .       T e c hnica l  C ompl e xit y:  S pe c ia li z e d  tool s   a nd  knowle dge   a r e   ne e de d  to  im pleme nt  a nd  maintain  c ompl ica ted  models .     L a c k  of   I nter pr e tabi li ty:   I t  c a n  be   c ha ll e nging  to  int e r pr e t  mo de ls ,   pa r ti c ular ly  thos e   ba s e d  on  de e p  lea r ning.     R e quir e s   L a r ge   Amou nts   of   L a be led  T r a ini ng  Da ta:  Ac quir ing  a   s igni f ica nt  a mount   of   labe led  da ta  c a n  be   e xpe ns ive  a nd  ti me - c ons um ing      C omput a ti o na l  I ntens it y :  T he   tr a ini ng  a nd  inf e r e nc e   of   de e p  AI   models   f r e que nt ly  ne e d  s ubs tantial  c omput a ti o na l  r e s our c e s ,   whic h  may  r e s tr ict  the  models '   a ppl ica bil it y.     C ha ll e nge s   in  M a na ging  He ter oge ne it ies   a mong  Us e r s   a nd  Ac ti vit ies :  M a na ging  he ter oge ne it ies   a mong  us e r s   a nd  a c ti vit ies   may  pr ovi de   dif f icu lt ies ,   pa r ti c ular ly  in  f e de r a ted  lea r ning  e nvir on ments .     E ne r gy  C ons u mpt ion  C onc e r ns :  W hil e   c hoos ing  de vice s   with  f e we r   da tas e ts   may  r e s ult   in  lowe r   lea r ni ng  a c c ur a c y,   s e lec ti ng  I oT   de vice s   with  lar ge r   da tas e ts   f or   tr a i ning  may  lea d  to  higher   e ne r gy  c ons umpt ion     R e gulator y  a nd  E t hica l  C ha ll e nge s :  T he   a ppli c a ti on  of   A I   in  he a lt hc a r e   r a is e s   e thi c a l  que s ti ons   a nd  c a ll s   f or   r e gulato r y  s upe r vis ion  to  gua r a ntee   pa ti e n t  s a f e ty.   [ 51] ,   [ 53 ] ,   [ 54] ,   [ 63] ,   [ 77] ,   [ 84 ] ,   [ 85] ,   [ 89] ,   [ 91] ,   [ 92 ] ,   [ 98] ,   [ 104]       [ 51] ,   [ 56 ] ,   [ 73] - [ 75 ] ,   [ 81] - [ 83 ] ,   [ 91] ,   [ 94 ] ,   [ 95] ,   [ 98 ] ,   [ 102] ,   [ 103 ] ,   [ 111] ,   [ 112 ]     [ 51] ,   [ 61 ] ,   [ 64] ,   [ 73] ,   [ 81] ,   [ 83 ] ,   [ 87] ,   [ 100] ,   [ 109] ,   [ 113 ]       [ 51] ,   [ 52 ] ,   [ 87] ,   [ 106]       [ 52] - [ 56 ] ,   [ 63] ,   [ 65 ] ,   [ 81] - [ 83 ] ,   [ 93] ,   [ 94 ] ,   [ 100] ,   [ 103 ] ,   [ 115]         [ 53] ,   [ 65 ] ,   [ 76] ,   [ 105]             [ 54] ,   [ 64 ] ,   [ 86] ,   [ 89]             [ 56] ,   [ 70 ]               [ 57] ,   [ 102 ]   Kn owle d ge - d r iven   E xpe r ti s e   Us e :  Util ize s   e xpe r ti s e   to  inf or m  de c is ions   a nd  f or e c a s ts   by  f us ing  bus ines s   r ules   with  e xpe r t  knowle dge ;  us e f ul  in  a r e a s   with  li mi ted  da ta.         I nter p r e tabil it y:  M ode ls   a r e   f r e que nt ly  mor e   c omp r e he ns ibl e   a nd  tr a ns pa r e nt,   whic h  pr o mot e s   us e r   a dopti on.     I mm e dia te  I mpl e me ntation :  S olut i ons   ba s e d  on  pr ior   knowle dge   c a n  be   im pleme nted  im med iate ly,   ne ga ti ng  the  ne e d  f or   pr o tr a c ted  lea r ning  s tage s .     R e duc e d  Da ta  De pe nde nc y:  a ble  to  ope r a te  with  li tt le  or   no  labe led  da ta  by  us ing  pr e - e s tablis he d  models   a nd  r ules     S uppo r t  f or   De c is ion - M a king:   Us e s   pr of e s s ional  ins igh ts   to  make   mor e   tr us twor thy  a nd  e duc a ted  de c is ions ;  e s pe c ially  us e f ul  f or   I oT   a nd  he a lt hc a r e   a ppli c a ti ons .     [ 51] - [ 54 ] ,   [ 59] ,   [ 63 ] ,   [ 69] ,   [ 72 ]   -   [ 75] ,   [ 78] ,   [ 80 ] ,   [ 84] ,   [ 87] ,   [ 90 ] -   [ 92 ] ,   [ 95] ,   [ 100 ] - [ 105 ] ,   [ 106] ,   [ 107 ] ,   [ 109] ,   [ 111] ,   [ 115 ]     [ 52] ,   [ 53 ] ,   [ 63] ,   [ 75] ,   [ 78 ] ,   [ 88] ,   [ 103] ,   [ 106 ] ,   [ 108] ,   [ 109]     [ 67] ,   [ 104 ] ,   [ 114]             [ 52] ,   [ 53 ] ,   [ 54] ,   [ 76] ,   [ 78 ] ,   [ 89] ,   [ 104]       [ 51] ,   [ 68 ] ,   [ 69] ,   [ 73] ,   [ 74 ] ,   [ 91] ,   [ 95] ,   [ 101 ]   L im i ted  Ada ptabil it y  &  De pe nde nc y  on  E xpe r t  Know ledge :  Ha s   tr ouble  a djus t ing  to  nove l  s it ua ti ons   or   una nti c i pa ted  e ve nts   that  we r e n' t  c ove r e d  by  the  guidelines   a t  f ir s t.   I t  is   highl y  de pe nde nt  on  the  a va il a bil it y  a nd  c ompr e he ns ivene s s   of   e xpe r ts     Know ledge   R e pr e s e ntation  Di f f icu lt ies :  I t  c a n  be   dif f icult  to  a pp r opr iate ly  c a ptur e   a nd  r e pr e s e nt  dyna mi c ,   c ompl ica ted  know ledge .     T im e - c ons umi n g  R ule  De f ini ti on:  M a nua l  labor   is   ne e de d  f or   both  f e a tur e   e nginee r ing  a nd  r u le  de f ini t ion,   a nd  e s s e nti a l  pa tt e r ns   may  be   ove r looked.                                                                                                                                                                                         Ac c ur a c y  De pe nde nt  on  P r e vi ous   Know ledge   &  on  Know n  P a t ter ns :  P r e vious   know ledge ,   whic h  may  not  a lwa ys   be   c ur r e nt  or   e a s il y  a c c e s s ibl e ,   de ter mi ne s   e f f e c ti ve ne s s .                                                                                                                               Huma n  L a be li n g  R e quir e men ts :  T he   pr a c ti c a l  im ple menta ti o n  of   ne w  s e ns or s   or   de ploym e n t  a djus tm e nts   is   li mi ted  due   to  the  ne e d  f or   human  labe li ng  a nd  r e mapping.   [ 51] - [ 53 ] ,   [ 59] ,   [ 62 ] - [ 64] ,   [ 72 ] - [ 74] ,   [ 76 ] ,   [ 84] ,   [ 87 ] ,   [ 92] ,   [ 93] ,   [ 95] ,   [ 100 ] ,   [ 102] ,   [ 103] ,   [ 105 ] ,   [ 107] ,   [ 109] ,   [ 111 ] ,   [ 114 ]       [ 51] ,   [ 63 ] ,   [ 71] ,   [ 89] ,   [ 91] ,   [ 92 ] ,   [ 95] ,   [ 101] ,   [ 113]       [ 52 ] ,   [ 54 ] ,   [ 59] ,   [ 63] ,   [ 100] ,   [ 102 ] ,   [ 109] ,   [ 115]       [ 51] - [ 53 ] ,   [ 59] ,   [ 62 ] ,   [ 67] ,   [ 72 ] ,   [ 80] ,   [ 84] ,   [ 90] ,   [ 92 ] ,   [ 93] ,   [ 100] ,   [ 108]       [ 52] ,   [ 54 ] ,   [ 63] ,   [ 115]         Evaluation Warning : The document was created with Spire.PDF for Python.
I n d o n esian   J   E lec  E n g   &   C o m p   Sci     I SS N:   2 5 0 2 - 4 7 52         Th e  p o ten tia l  o f th e  in tern et  o f th in g s   fo r   h u ma n   a ctivity  r ec o g n itio n   i n   s ma r t h o me … ( K h a d ija   E s s a fi )   311   4 . 2 . 4 .   H y brid a pp ro a ch   B y   c o m b i n i n g   d i f f e r e n t   m e t h o d o l o g i e s ,   a   h y b r i d   a p p r o a c h   a c h i e v e s   t h e   " b es t   o f   b o t h   w o r l d s " .   T h is   a p p r o a c h   c a n   p r o v i d e   a   f o r m a l ,   s e m a n t i c ,   a n d   e x te n d a b l e   m o d e l   c a p a b l e   o f   d e a l i n g   w it h   t h e  u n c e r t a i n t y   p r e s e n t  i n   s e n s o r   d a ta   a n d   r e a s o n i n g   r u l e s   [ 116 ].   R e c o g n i zi n g   a l l   t y p e s   o f   h u m a n   a c t i v i ti es   i n   h o m e   s e tt i n g s   m i g h t   b e  c h a l l e n g i n g   d u e   t o   t h e   d i f f i c u l t y   i n   d e f i n i n g   c o m p l e t e   a c t i v i t y   m o d e l s .   A   d e s i r a b l e   s i t u at i o n   m o d e l   i s   t h e r e f o r e  b u i l t   o n   a  s o u n d   l o g ic a l  f r a m ew o r k   t h a t   i n c l u d es   r u l es   t o   e n s u r e   t h e   c o n s i s t e n c y   a n d   i n t e g r it y   o f   t h e  k n o w l e d g e  b a s e   a s   w e l l   as   l o g i ca l   p r i m i t i v es   t h a t   p o s s es s   t h e   n e ce s s a r y   r i c h n e s s   t o   e n c o m p a s s   a   d i v e r s e   r a n g e   o f   i n f o r m a t i o n ,   i n c l u d i n g   s e n s o r   d a t a ,   d o m a i n   e x p e r ti s e ,   d i s t i lle d   c o n t e x t ,   a n d   s i t u at i o n a l  k n o w l e d g e .   H e n c e ,   b y   c o m b i n i n g   d a t a - d r i v e n   s t r a t e g ie s   w i t h   k n o w l e d g e - d r i v e n   m o d e l s ,   t h i s   c h a ll e n g e   c a n   b e   e f f e c t i v e l y   a d d r e s s e d .   C o m b i n i n g   t h e   t w o   c a n   r e s u lt   i n   a c t i v i t y   m o d e ls   t h a t   a r e   c o m p r e h e n s i v e   a n d   s u f f i c i e n tl y   e n o u g h   t o   i n c l u d e   a l l   v a r i e t i es   o f   h u m a n   a ct i v i ti es .   A d d i t i o n a l l y ,   t h e s e   m o d e ls   a r e  a l s o   c a p a b l e   o f   o n g o i n g   e v o l u t i o n   a n d   c a n   le a r n   t o   a d j u s t   t o   u s e r s '   d i v e r s e   b e h a v io u r .   T h e r e f o r e ,   r e c e n t   w o r k s   h a v e   b e e n   m o t i v a t e d   t o   p r o p o s e   h y b r i d   m o d e l s .   I n   t h i s   s u r v e y ,   w e   p r o v i d e d   n u m e r o u s   HA   f o r   HAR   w h i c h   c o n t i n u e   t o   b e   g o o d   c h o i c e s   f o r   p r o c e s s i n g   a n d   a s s e s s i n g   s e n s o r   d a t a   wi t h i n   i n te l l i g e n t   e n v i r o n m e n ts ,   i n f l u e n ce d   b y   t h e   m e t h o d   o f   h y b r i d i z a t io n   e m p l o y e d .   I n   t h e   p e r s p e c t i v e   o f   c o m b i n i n g   K n o w l e d g e - b a s e d   a n d   D a t a - d r i v e n   a p p r o a c h e s ,   R i b o n i   e t   al .   p r e s e n t   a  s o l u t i o n   n a m e d   “ C OS AR ”   [ 117 ] ,   a n   a d e p t   c o n t e x t - a w a r e   m o b i l e   a p p   t h a t   i n t e g r a t e s   o n t o lo g i e s   w i t h   m a c h i n e  l e a r n i n g   t e c h n i q u e s .   T h e   m a ch i n e   l e a r n i n g   a l g o r i t h m   i s   f i r s t  a c t i v a t e d   t o   f o r e c as t   t h e   m o s t  e x p e c t e d   a c t i v it i es  u s i n g   t r a i n i n g   d a t a   t h a t   h a s   b e e n   s u p p l i e d .   T h e   r e s u l ts   a r e   t h e n   r e f i n e d   u s i n g   a n   o n t o l o g ic a l   r e a s o n e r ,   w h i c h   c h o o s e s   f r o m   a   s e t   o f   p o t e n t i a l  u s e r   a c t i o n s   b a s e d   o n   t h e   u s e r ' s   l o c a t i o n   a s   d e te r m i n e d   b y   a   l o c a l i z at i o n   s e r v e r .   A n o t h e r   h y b r i d   s o l u t i o n   i s   p r o p o s e d   b y   R i b o n i   e t   a l .   i n   [ 118 ]   c a l l e d   S m a r tF AB E R   s y s t e m   wh i c h   i s   a n   e x t e n s i o n   a n d   a m e l i o r a t i o n   o f   F AB E R   [ 119 ] .   T h e   o b j e c t i v e s   o f   t h e s e   t wo   f r a m e w o r k s   a r e   s i m i la r .   T h e   s y s te m   d e l i v e r s   t h e  i n f e r r e d   e v e n t s   a n d   a c ti o n s   t o   a   m o d u l e   t a s k e d   wi t h   c r e a ti n g   f e a t u r e   v e c t o r s   b as e d   o n   t h e   r ec e i v e d   e v e n t s   r at h e r   t h a n   t h e   M L N   c l a s s i f ie r .   T h e   c l a s s i f ic a t i o n   o f   a c t i v i ti e s   is   d o n e   u s i n g   a   m a c h i n e - l e a r n i n g   m o d u l e   t h a t   r e c e i v e s   t h e s e   f e a t u r es .   T h e   n e x t   s t e p   is   t o   a p p l y   a   s u g g e s t e d   t e c h n i q u e   c a l l e d   S m a r t   A g g r e g a t i o n   to   i n f e r   i n s t a n c e s   o f   c u r r e n t   a c t i v it y .   A d d i t i o n a ll y ,   R i b o n i   e t   a l .   [ 120 ]   c r e a t e   a n   e x t r e m e l y   c o m p r e h e n s i v e   o n t o l o g i c   m o d e l   u s e d   t h e   web   o n t o l o g i c   l a n g u a g e   ( OW L 2 ) ,   w i t h   t h e   e v e n t u a l   a i m   o f   c o n n e c t i n g   t h i s   k n o w l e d g e   t o   M a r k o v   l o g i c  n e t w o r k s   ( M L N ) ,   f a ci l it a t i n g   th e   a p p l i c a t i o n   o f   p r o b a b i l i s t i c   r e a s o n i n g .   T h e   s y s t e m ' s   g e n e r al i t y   is   c o m p r o m i s e d   b y   t h e i r   m e t h o d ' s   r e q u i r e m e n t   f o r   e x t r e m e l y   p r e c i s e   a c ti v i t y   m o d e l s .   G a b r i e l e   p r es e n t   a   n o v e l   h y b r id   s t r a te g y   u s i n g   k n o w l e d g e - b as e d   a n d   p r o b a b i l is t ic   r e as o n i n g ,   h e   u s e d   u n s u p e r v i s e d   f e e d b a c k   t o   c l ass i f y   t h e   r u l es   t h a t   p e r f o r m e d   w e l l   i n   t h e   r ea l - w o r l d   d a ta s et   [ 121 ] .   O n   t h e   o t h e r   h a n d ,   a n o t h e r   h y b r i d   m o d e l   h a s   b e e n   d e v e l o p e d   i n   [ 122 ]   t h a t   i n c l u d e s   a   m a c h i n e - l e a r n i n g   m e t h o d o l o g y ,   a n   o n t o l o g y ,   a n d   a   l o g - l i n e a r   s y s te m .   T h i s   m o d e l   a i m s   t o   i d e n t if y   a   m u l t i - t i e r e d   a c ti v i t y   s t r u c tu r e   w i t h   f o u r   t i e r s :  c o m p l e x   a c ti v i t y   ( L e v e l  1 ) ,   s im p l e   a c ti v i t y   ( L e v e l   2 ) ,   m a n i p u l a t i v e   g es t u r e   ( L e v el   3 ) ,   a n d   at o m i c   g es t u r e   ( L e v e l  4 ) .   T h r o u g h   t h e   u s e   o f   a   m a c h i n e   l e a r n i n g   a p p r o a c h ,   a t o m i c   g e s t u r e s   a r e   d e t ec t e d .   A d d it i o n a l l y ,   m a n i p u l a ti n g   g e s t u r e s ,   b a s i c   a ct i v it i es ,   a n d   co m p l i c a t e d   ac t i v it i es   a r e  i n f e r r e d   t h r o u g h   a   p r o b a b i l is t i c  o n t o l o g y   e s t a b l i s h e d   b y   t h e   l o g - l i n e a r   a n d   c o n v e n t i o n a l  o n t o l o g i c a l   r e as o n i n g   t a s k s .     A n o t h e r   h y b r i d   p r o p o s a l   i s   p r o p o s e d   i n   [ 123 ] ,   MLN   a r e   u s e d   f o r   a c t i v i t y   r e c o g n i t i o n   c o m b i n i n g   t h e   u s a g e   o f   o n t o l o g i e s   w i t h   s t a t is t i c a l   l ea r n i n g   m e t h o d s   ( M L N ) .   T h e   s u g g e s t e d   s y s t e m   m a k e s   u s e   o f   t h e   m o d e l - t h e o r e t i c   s e m a n ti c   p r o p e r t y   i n h e r e n t   i n   d es c r i p ti o n   l o g i c   t o   t r an s f o r m   t h e   a ct i v it y   m o d e l   b as ed   o n   o n t o l o g y   i n t o   c o r r e s p o n d i n g   f i r s t - o r d e r   r u l e s .   T h i s   p r o c e d u r e   e n t a i l s   c r e a t i n g   MLN ,   w h e r e   l e a r n e r s   g r a s p   w e i g h t e d   f i r s t - o r d e r   r u l e s ,   e n a b l i n g   p r o b a b i li s ti c   r e as o n i n g   w i t h i n   a   f r a m e w o r k   o f   k n o w l e d g e   r e p r e s e n t at i o n .     S u k o r   e t   a l .   [ 124 ]   p r o p o s e   a n   a l t e r n a t e   s t r at e g y   t h a t   c o m b i n es   k n o w l e d g e - d r i v e n   r e as o n i n g   w i t h   d a t a - d r i v e n   r e a s o n i n g   t o   e n a b l e  a c ti v i t y   m o d e ls   t o   a u t o m at i c a ll y   e v o l v e   a n d   a d a p t  i n   r es p o n s e  to   u s e r   s p e c i f i c i ti e s .   F i r s t   o f   a l l ,   a   k n o w l e d g e - d r i v en   r a t i o n a l e   f o r   as s u m i n g   a n   i n i ti a l   a ct i v i t y   m o d e l   i s   d es c r i b e d .   I n   o r d e r   t o   c r e a t e   a  d y n a m i c   a c t i v it y   m o d e l   t h a t  l e a r n s   u s e r s '   v a r ie d   a c t i o n s ,   t h e   m o d e l   i s   t h e n   t r a i n e d   u s i n g   d a t a - d r i v e n   m e t h o d o l o g i e s .   I n   t h e   s a m e   p er s p e c t i v e ,   a n d   i n   o r d e r   t o   o v e r c o m e   t h e   i s s u es   w it h   a c t i v i t y   m o d e l i n g ,   C h e n   e t   a l .   [ 125 ]   p r o p o s e   a n   o n t o l o g y - b a s e d   h y b r i d   s t r at e g y   t h a t  c o m b i n e s   d a ta - d r i v e n   l ea r n i n g   c a p a b i l i ti e s   wi t h   a  k n o w l e d g e - d r i v e n   a p p r o a c h .   T o   g e n e r a t e   i n d i v i d u al   a ct i v i t y   m o d e l s   u s i n g   i n c r e m e n ta l   l e a r n i n g ,   g e n e r i c   a c ti v i t y   m o d e l s   t h a t   a r e   a p p r o p r i a t e   f o r   a l l   u s e r s   a r e   f i r s t   p r o v i d e d .   A s   a   c o n c e p t u a l   f o u n d a t i o n   a n d   t e c h n o l o g i c a l   e n a b l e r s   f o r   A c ti v i t y   D ai l y   L if e   m o d e l i n g ,   c l a s s i f ic a t i o n ,   a n d   l e a r n i n g ,   t h e   a p p r o a c h   m a k e s   u s e   o f   s e m a n t i c  t e c h n o l o g i e s .   O n   t h e   o t h e r   h a n d ,   A z k u n e   e t   a l .   p r o p o s e   i n   [ 49 ]   a   n o v e l   a c t i v i t y   r e c o g n i ti o n   s y s t e m   t h a t   m e r g e s   u n s u p e r v i s e d   l e a r n i n g   a p p r o ac h e s   w it h   a c t i v it y   m o d e l s   b a s e d   o n   k n o w l e d g e .   T h e   m o s t   f r e q u e n t   a c t i o n   s e q u e n c e s   ca r r i e d   o u t   b y   a   p e r s o n   a r e   f i r s t   e x t r ac t e d   u s i n g   a   d o m a i n - s p e c i f i c   d at a   m i n i n g   m e t h o d   p r e v i o u s l y   c r e a t e d   b y   C o o k   e t   a l .   i n   [ 126 ] .   T o   d e t e r m i n e   w h i c h   a c t i v i t i es   a r e   b e i n g   c a r r i e d   o u t   i n   a   p a r t i c u l a r   a c t i o n   s e q u e n c e ,   t h e   w r i t e r s   s e c o n d l y   i n c o r p o r a t e   a   k n o w l e d g e - b a s ed   a c t i v i t y   m o d e l   i n t o   a   u n i q u e  m a t c h i n g   m e t h o d .   T h e   m e t h o d   y i e l d s   a n   e x p a n d ab l e   a c t i v it y   r e c o g n i t i o n   s y s t e m .   M o r e   r e c e n t l y ,   i n   2 0 2 0 ,   A y a r i   e t   a l .   [ 127 ]   s h o w e d   b e t t e r   p e r f o r m a n c e   t h a n   b a s e l i n e   m o d e l s   b y   p u t t i n g   o u t   a   h y b r i d   m o d e l   t h a t   c o m b i n e s   p o s s i b i l is ti c   l o g ic   wi t h   a  M u l t i la y e r   Pe r c e p t r o n   ( M L P )   n e u r a l   n e t w o r k   f o r   e m o t i o n - c o n t e x t u a l   i d e n ti f i c at io n   i n   c o g n i t i v e   a i d   s e r v ic e s .   B e tt i n i   e t   a l .   [ 68 ] ,   b y   c o m b i n i n g   s e m i - s u p e r v is e d   Evaluation Warning : The document was created with Spire.PDF for Python.