I nd o ne s ia n J o urna l o f   E lect rica l En g ineering   a nd   Co m pu t er   Science   Vo l.   41 ,   No .   3 Ma r ch   20 26 ,   p p .   1 1 0 5 ~ 1 1 1 6   I SS N:  2 502 - 4 7 52 ,   DOI : 1 0 . 1 1 5 9 1 /ijee cs .v 41. i 3 . p p 1 1 0 5 - 1 1 1 6          1105       J o ur na l ho m ep a g e h ttp : //ij ee cs . ia esco r e. co m   An inno v a tive dee p learning  bas ed  a ppro a ch f o r ano ma ly   detec tion in in telli g ent  v ideo  surv eil la nce       M eg ha   G .   P a llewa r 1 ,   Vij a y a   R.   P a wa r 2   1 D e p a r t me n t   o f   El e c t r o n i c s a n d   T e l e c o mm u n i c a t i o n   E n g i n e e r i n g ,   C O EP T e c h n o l o g i c a l   U n i v e r s i t y ,   P u n e ,   I n d i a   2 D e p a r t me n t   o f   El e c t r o n i c s a n d   T e l e c o mm u n i c a t i o n   E n g i n e e r i n g ,   B h a r a t i   V i d y a p e e t h C o l l e g e   o f   E n g i n e e r i n g   f o r   W o me n ,   S a v i t r i b a i   P h u l e   P u n e   U n i v e r si t y ,   P u n e ,   I n d i a       Art icle  I nfo     AB S T RAC T   A r ticle  his to r y:   R ec eiv ed   Ap r   2 6 ,   2 0 2 4   R ev is ed   Oct  1 5 ,   2 0 2 5   Acc ep ted   Dec   1 3 ,   2 0 2 5       No wa d a y s ,   a n o m a ly   d e tec ti o n   h a g a in e d   v it a im p o rtan c e   a s   se c u rit y   is  a   m a jo c o n c e rn   e v e ry wh e re .   T h is  wo rk   f o c u se o n   d e v e lo p in g   a n   i n telli g e n t   v id e o   su rv e il lan c e   sy ste m   c a p a b le  o d e tec ti n g   a n o m a lo u a c ti v it i e i n   v id e o s,  u ti l izin g   t h e   UCF  Crime   d a tas e a th e   p rima ry   so u rc e .   Th e   p ro p o se d   m o d e e m p lo y e d   a   m u lt istag e   m e th o d   u n i ti n g   t h e   c o n v o l u ti o n a n e u ra l   n e two rk (CNN a n d   l o n g   sh o rt - term   m e m o ry   (LS TM n e two r k s.  In   t h e   p ro p o se d   a p p ro a c h ,   v id e o   fra m e se rv e   a s   in p u to   t h e   CNN ,   wh ich   p ro c e ss e th e m   to   e x trac k e y   fe a tu re s.  Th e se   fe a tu re a re   th e n   p a ss e d   to   a n   LS TM   n e two rk   to   c a p tu re   tem p o ra d e p e n d e n c ies   a n d   id e n ti f y   a n o m a lo u e v e n ts  o v e ti m e .   Th is  CNN - LS TM   a rc h it e c tu re   su c c e ss fu ll y   d e t e c ts  twe lv e   d isti n c t y p e o a n o m a lo u a c ti v it ies a b u se ,   a rre st,  a rso n ,   a ss a u lt ,   b u r g lary ,   e x p lo si o n ,   fig h t,   r o a d   a c c id e n t,   r o b b e ry ,   ste a li n g ,   s h o p li fti n g ,   a n d   v a n d a li sm .   Th e   d a tas e is  d i v id e d   in to   p o rt io n f o train in g ,   tes ti n g ,   a n d   v a li d a ti o n ,   a lo n g   with   c r o ss - v a li d a ti o n   to   e n su re   m o d e g e n e ra li z a ti o n .   T h e   sy ste m   a c h iev e a n   a c c u ra c y   o f   9 8 . 6 % ,   re flec ti n g   a   sig n ifi c a n t   imp r o v e m e n o f   4 - 5 %   o v e e x isti n g   sy ste m s.  Th is  d e m o n stra tes   th e   ro b u st n e ss   o th e   p ro p o se d   m e th o d   i n   d e tec ti n g   a n o m a lo u s b e h a v io in   v id e o   d a ta.   K ey w o r d s :   An o m aly   d etec tio n   C o n v o lu tio n al  n eu r al  n etwo r k s   Dee p   lear n in g     Hu m an   ac tiv ity   d etec tio n   L o n g   s h o r t - ter m   m e m o r y   T h is i a n   o p e n   a c c e ss   a rticle   u n d e r th e   CC B Y - SA   li c e n se .     C o r r e s p o nd ing   A uth o r :   Me g h G.   Pallewar   Dep ar tm en t o f   E lectr o n ics   an d   T elec o m m u n icatio n   E n g in ee r in g ,   C OE P T ec h n o lo g ical  Un iv er s ity   Pu n 4 1 1 0 0 5 ,   Ma h ar ash tr a,   I n d ia   E m ail:  m s y an n awa r @ g m ail. co m       1.   I NT RO D UCT I O N   An o m aly   d ete cti o n   is   t h e   t ec h n i q u co m m o n l y   u s ed   t o   id en t if y   d ata   p at te r n s   o r   i n c id e n c es  t h at   d r asti ca l ly   d iv er g e   f r o m   th e   p r e d ic te d   n o r m s .   T h ese   an o m alies   m a y   r es u l t   f r o m   ch a n g e s   i n   t h e   u n d e r l y i n g   p h e n o m e n o n   o r   f r o m   th e   a p p e ar an ce   o f   p r e v i o u s l y   u n s e en   s c en ar io s   i n   t h e   m o n it o r ed   en v i r o n m en [ 1 ] - [ 3 ] .   T h e   p r o ce s s   o f   i d e n t if y i n g   a n d   lo ca lizi n g   a n o m a lo u s   i n s t an ce s   i n   s ec u r it y   f o o ta g e   ca n   b d o n e   m a n u all y ,   s o m e wh at   m ec h an ica ll y ,   o r   e n t ir el y   a u t o m at ica ll y .   T h m aj o r it y   o f   t r a d iti o n al  s u r v eill a n ce   s y s te m s   a r o p e r ate d   m a n u al ly   an d   o n l y   b y   h u m a n s .   T h is   m e th o d   d e m a n d s   co n s t an att en ti o n   a n d   c o n ce n t r a ti o n   i n   o r d e r   t o   j u d g e v e n ts   o r   b e h a v i o r   to   d e te r m in wh et h e r   t h e y   a r e   u n u s u al   o r   s u s p ic io u s .   B u t   t h is   p r o c e d u r e   is   q u ite   l a b o r - i n t en s iv s in ce   o n m u s m o n it o r   s e v e r al  v i d e o   f e ed s   a t h e   s a m e   ti m e .   T h o p e r at o r s '   m en tal   l o a d   o f te n   r e s u lts   i n   l o w er   f o c u s   an d   o p e r ati o n al   i n a d e q u a cies   [ 4 ] .   I n   o r d er   to   e n s u r e   p u b lic   s af et y   i n   u r b a n   a r e as,   v i d e o   m o n i t o r i n g   is   c r u cia l.   V id e o   s u r v ei lla n c e   p la y s   a   cr u c ial   r o le   i n   en s u r i n g   t h s af et y   o f   i n d i v i d u als .   Vi d e o   d ata   p r o d u ce d   b y   s e cu r i ty   s y s t em s   c o n ta in s   a   v ast   am o u n o f   v al u a b l i n f o r m at i o n .   T h o u t p u ts   f r o m   t h ese  s y s te m s   ar r ic h   i n   c o n te n t ,   o f f er i n g   i m p o r ta n t   in s i g h ts   e m b e d d e d   wi th in   t h e   f o o t a g e .   T h e   n e e d   f o r   p u b li c   s af et y   em p h as iz es  th e   a n a ly s i s   a n d   p r o c ess i n g   o f   v i d e o   d ata .   T h e   p r i m a r y   ai m   is   t o   e n h an ce   s e cu r i ty   i n   p u b l ic  ar ea s ,   wit h   th o b je cti v o f   s t r ea m li n i n g   an d   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 5 0 2 - 4 7 52   I n d o n esian   J   E lec  E n g   &   C o m p   Sci ,   Vo l.  41 ,   No .   3 Ma r ch   20 26 1 1 0 5 - 1 1 1 6   1106   s im p li f y i n g   t h tas k s   o f   s e c u r it y   p er s o n n el .   A n al y z in g   a n d   in te r p r et i n g   th is   d ata   b e c o m es   i n c r e asi n g ly   im p o r t an as   t h e   n ee d   f o r   p u b l ic  s a f et y   i n c r e ases .   T h d e v el o p e d   s y s te m s   g o al   is   t o   r ed u ce   t h w o r k lo a d   f o r   s ec u r it y   s e r v i ce s   a n d   i m p r o v p u b l ic   a r e s ec u r it y .   I n   t y p ic al   s u r v e illa n ce   s ce n ar io s ,   s ec u r it y   p e r s o n n el   o b s e r v a   d is p la y   co n n e cte d   t o   v i d e o   ca m e r as ,   l o o k i n g   f o r   an o m al o u s   e v en ts   s u c h   as   t r a f f ic   ac ci d e n ts ,   f i r es ,   ex p l o s i o n s ,   r o b b er ies ,   a n d   s ta m p e d es .   H o we v e r ,   r el y i n g   o n   h u m an   e v al u a ti o n   al o n e   is   f ar   f r o m   i d e al ,   as   i t   d e m a n d s   s u s t ai n e d   f o c u s   o v e r   e x te n d e d   p er io d s ,   tas k   th at   is   b o t h   m e n t all y   e x h a u s ti n g   an d   p r o n to   e r r o r .   T h u s ,   a n   a u t o m ate d   s y s te m   is   c r u cia f o r   d ete cti n g   an d   r ec o g n izi n g   ab n o r m a h u m an   a ct iv i ties   i n   r e al - ti m e ,   wit h   th e   a d d e d   ca p a b i lit y   o f   n o tif y i n g   r el ev an t   a u t h o r i tie s   i m m ed iat el y .   A u t o m at ic all y   m o n it o r i n g   C C T V   ca m e r as   t o   i d e n ti f y   s u s p i ci o u s   a cti v i ties   a n d   g e n e r a ti n g   t im ely   r es p o n s es   c an   p l a y   a   v ita l   r o le   i n   p r ev en ti n g   ac c id en ts   o r   m iti g ati n g   d a m a g e.   B y   eli m i n ati n g   t h e   n e ed   f o r   c o n s ta n t   h u m a n   m o n it o r in g ,   au t o m at e d   s y s t em s   o f f er   h i g h l y   ef f i ci en s o l u ti o n   f o r   v i d eo   a n o m al y   d e tec ti o n ,   s a v i n g   ti m e   a n d   l a b o r   wh ile  f r e ei n g   o p er at o r s   f r o m   te d i o u s   t ask s .   As  r esu lt,   m a n y   r ese ar c h e r s   h av e   s h if te d   f o cu s   to   s e m i - a u t o m ati c   s u r v ei lla n ce   s y s tem s   t h at  m i n im iz h u m an   i n te r v e n t io n .   T h ese   s y s te m s   c a n   m a k e   d ec is io n s   i n d e p en d e n t ly ,   wit h o u r e q u ir in g   c o n ti n u o u s   h u m an   o v e r s i g h t.   I n   f u ll y   a u t o m at ed   s u r v ei lla n c e,   t h e   k e y   c h alle n g e   g o es   b e y o n d   r ec o g n izi n g   a b n o r m al   ev e n ts   in   v i d e o   s t r ea m s i als o   i n v o l v es   a cc u r at el y   d et ec ti n g   a n d   l o ca liz in g   t h es e   k in d s   o f   s i tu a ti o n s   an d   h u m an   ac ti o n s .   T h e   ex tr ac t io n   o f   r o b u s t   a n d   d is c r i m i n at iv e   f ea t u r es   is   ess e n ti al   t o   s o l v i n g   t h i s   c o m p le x   p r o b l em   ef f e cti v e ly .   D et ec t in g   u n u s u al   an d   a b n o r m al  e v e n ts   p r es en t s   s ev e r al   c h al le n g es ,   l ar g e ly   d u t o   t h v a r y i n g   p at te r n s   i n   d i f f e r e n t   s ce n es.   As  s ce n ar io s   a n d   a p p li ca ti o n s   e v o lv e,   s o   d o   t h e   t y p es  o f   a n o m a lies .   V id e o   an o m al y   d et ec t io n   s y s te m s   a r e   wi d el y   em p l o y e d   a c r o s s   d i v e r s s ec t o r s ,   in cl u d in g   h e alt h c ar s e r v i ce s ,   s e cu r it y   at   ai r p o r ts ,   s h o p p i n g   m al ls ,   o r   r ai lwa y   s t ati o n s ,   a n d   s u r v ei ll an ce   f o r   tr af f i c   m o n it o r i n g   o r   th e f t   d ete cti o n   [ 5 ] - [ 10] A b n o r m al   a cti v it y   r ec o g n iti o n   h as   v ast   p o te n ti al  ac r o s s   m a n y   f i el d s ,   es p e cia ll y   a s   d ata   c o n ti n u es   t o   ex p a n d   i n   c o m p l e x it y   an d   e n co m p ass   v a r i o u s   f o r m s   o f   i n f o r m a ti o n .   T i m el y   d ete cti o n   o f   a b n o r m a liti es  ca n   p r e v e n m a ch in e r y   f ail u r es ,   i m p r o v e   p er f o r m a n ce ,   c o n t r o d is ea s o u t b r e ak s ,   o r   e v e n   s av l i v es .   A n   i n t ell ig e n v i d e o   s u r v ei lla n c s y s t em   is   a l way s   u s e f u f o r   m u lti p l o p e r a tio n s   ass o ci at ed   [ 1 1 ] .   Du b ey   et  a l .   [ 1 2 ]   s u g g ested   3 d ee p   m u ltip le  in s tan ce   lear n in g   with   R esNet  ( MI L R )   tech n iq u u s ed   in   th ex tr ac tio n   o f   tem p o r a an d   s p atial  ch ar ac ter is tics   f r o m   th v id eo s .   T h a n o m a ly   s co r was  th en   o b tain ed   em p lo y in g   th ese  f e atu r es.  Hu an g   et  a l .   [ 1 3 ]   c r ea ted   th tem p o r al  s p atial  c o n v o lu ti o n al  n eu r al   n etwo r k   ( T SC NN) ,   co n v o lu t io n al  n eu r al  n etwo r k   ( C NN)   th at  ac ce p ts   co n tin u o u s   f r am s eq u en ce s   as  in p u t.  T h n etwo r k   was  cr ea ted   to   d etec h u m an   ac tiv ity   in   r ea l   tim u s in g   3 co n v o lu tio n .   T h lo west  d er iv ed   ac cu r ac y   is   8 1 . 8 %,  wh ile  th e   av er ag class if icatio n   ac cu r a cy   is   9 4 . 6 %.  T h e n ,   p r o m in en wo r k   is   d o n b y   T an g   et  a l .   [ 1 4 ]   wh o   estab lis h ed   C NN  f o r   h u m an   ac tiv ity   r ec o g n itio n   ( HAR)  th at  m ak es u s o f   L e g o   f ilter s .   T h is s u es  with   s tan d ar d   C NN,   s u ch   as  th r eq u i r em en f o r   tem p o r al  d im en s io n s   in   p r o c ess in g   u n its   ( f ilter s )   an d   u n it  s h ar in g   ac r o s s   s ev er a s en s o r s ,   ar r eso lv ed   b y   em p lo y in g   L eg o   C NN.   T h u s ,   o n ca n   c r ea te  m o r e   ef f ec tiv HAR  m o d el  b y   s u b s titu tin g   L eg o   f ilter s   f o r   th s tan d ar d   f ilter s .   T h estab lis h ed   m o d el  is   th en   ap p lied   to   f iv p u b licly   av aila b le  d atasets ,   an d   th o u tco m es  ar co n tr asted .   Ku m ar   an d   Sailaja   [ 1 5 ]   p r o p o s ed   d ee p   lear n in g   b ased   ap p r o ac h   b y   u s in g   b i d ir ec tio n al   lo n g   s h o r t - ter m   m em o r y   ( Bi - L STM )   n et wo r k   co m b in ed   with   s k eleto n   ac ti v ity   f o r ec asti n g   ( SAF)  to   r e co g n ize  a n o m alo u s   h u m an   a ctiv ities .   T h p o s e   esti m atio n   p er f o r m ed   u s in g   th h u m an   s u b ject' s   s k eleto n   jo in p o in ts .   Fu r th e r   th d e v elo p m en ts   ar m ajo r ly   f o cu s ed   o n   th v ar iety   o f   d ee p   lear n in g   tec h n iq u es   co m b i n atio n s   alwa y s   p r o g r ess   with   t h s ca lab ilit y   an d   ac cu r ac y   o f   th s y s tem .   Few  c o m m o n l y   u s ed   m eth o d o lo g ies  ar ASR Net,   C o n v 2 D,   co n v o lu tio n al  lo n g   s h o r t - ter m   m em o r y   ( C o n v L STM ) ,   B i - L STM   with   C NN  [ 3 ] ,   [ 1 6 ] - [ 2 1 ] .   T h o u tco m es  co m in g   with   th ese   m eth o d o l o g ies  ar h av in g   lim itatio n s   r elate d   with   lim ited   d ataset,   co n s tr ain ed   s ce n ar io   f o r   d etec tio n ,   lim ited   f o cu s ed   ac tiv ities   an d   g o o d   ac cu r ac y   o n ly   f o r   s im p le  ac tiv it y   b ase.   T h i s   r ev iew  o f   th liter atu r in d icate s   th at   au to m atic  v id eo   s u r v eillan ce   s y s tem s   wi th   d ef in ed   an d   r es tr icted   cr iter ia  h av b ee n   r e p o r ted   to   h av g o o d   ac cu r ac y .   T h er e f o r e,   m ac h i n e   lear n in g - b ased   class if ier s   with   an   u n c o n s tr ain ed   p ar a m eter   ap p r o ac h   ar u s ed   in   th cu r r en t sy s tem .   T h p r im ar y   ch allen g es c an   b e   id en tifie d   as f o llo ws:   -   T h ch allen g es  f ac ed   with   e n v ir o n m e n tal  co n d itio n s   s u ch   a s   lig h tin g   co n d itio n s   wh ich   ch an g es  with   d ay - n ig h t,  in d o o r - o u t d o o r   f o o ta g in   v id eo .   -   B ac k g r o u n d   co m p lex ity   is   also   m ajo r   is s u e .   -   I is   ch allen g in g   to   id en tif y   a ctiv ities   in v o lv in g   m an y   p eo p le  th an   ac tiv ities   in v o lv in g   s in g le  p er s o n   o r   two   p eo p le .   -   S ca lab ilit y   is s u es  ar is wh en   m an ag in g   lar g e - s ca le  s u r v ei llan ce   s y s tem s   with   n u m er o u s   ca m er as  an d   en o r m o u s   v o lu m es o f   d ata .   -   A ctiv ities   th at  lo o k   s im ilar   ( e. g . ,   f ig h tin g   v s .   ab u s in g   o r   r o b b er y   v s .   b u r g l ar y )   ca n   b d if f icu lt  to   d is tin g u is h .   k e y   ch all en g i n   a b n o r m a i n ci d en class i f i ca ti o n   is   t h l ac k   o f   s u f f ici en d a tase ts   co n t ai n i n g   r el e v a n t   v id eo s .   F ew   e x is ti n g   d at ase ts   i n cl u d cr u cia l e v e n t t y p es   s u ch   as   r o b b e r y ,   a b u s e ,   o r   h a r ass m en t.   Hi g h - Evaluation Warning : The document was created with Spire.PDF for Python.
I n d o n esian   J   E lec  E n g   &   C o m p   Sci     I SS N:   2 5 0 2 - 4 7 52       A n   in n o v a tive  d ee p   le a r n in g   b a s ed   a p p r o a ch   fo r   a n o ma ly  d e tectio n   in   in tellig en t   …  ( Meg h a   G.   P a llew a r )   1107   q u ali ty   d a tase ts   ar th e   f o u n d a tio n   o f   s u cc ess f u l   n e u r al   n et w o r k   m o d e ls ,   as   t h e y   e n a b l th e s s y s te m s   t o   lea r n   an d   a cc u r at el y   c lass i f y   i n c id e n ts .   T o   b u il d   an   a r c h it ec t u r th a t d eli v e r s   t r u t h f u l   r esu lts ,   d a t ab ase  m u s b u s e d   wh i ch   c o v er s   al m o s t   al l   a b n o r m al   e v en ts .   S o   t h e   c u r r e n t   m et h o d o lo g y   e m p l o y s   th e   U C C r im e   Da ta b as e,   wh i ch   i n cl u d es   1 3   a b n o r m al  ac ti v i ties ,   s u c h   as :   a b u s e,   a r r e s t,  ar s o n ,   ass a u l t,   b u r g la r y ,   e x p l o s i o n ,   f i g h t ,   r o a d   ac c id en t,   r o b b e r y ,   s h o o ti n g ,   s teal in g ,   s h o p li f ti n g ,   a n d   v a n d a lis m .   T h is   c o m p r e h e n s i v d atas et  s u p p o r ts   t h e   d e v e lo p m e n t   o f   a   p r o f i cie n t   s u r v eil la n c e   s y s te m   c ap ab le   o f   a u t o n o m o u s ly   id e n ti f y in g   s u s p i cio u s   b e h av io r .   B y   f o c u s i n g   o n   ch all en g es  r e lat e d   to   b a ck g r o u n d   c o m p l ex it y ,   ca m e r a   a n g les ,   a n d   e n v i r o n m en t al   c o n d iti o n s ,   t h e   s y s te m   le v e r ag es  v e r s atil d a taset   t o   im p r o v p r o ce s s in g   ac cu r a cy .   An o m al y   d et ec ti o n   h as  b r o a d   ap p l ic ati o n s ,   f r o m   i d en ti f y in g   t r a f f ic   ac ci d e n ts   t o   f la g g i n g   s u s p ic io u s   ac ti v i ties .   C o n v o lu tio n al   n e u r a n e tw o r k s   ( C NNs)   e x ce l   at   d e tect in g   a n o m al o u s   ac ti v it ies   i n   v i d e o   s u r v e ill an ce   b y   ef f i cie n tl y   l ea r n in g   h ie r a r c h i ca f e at u r es  f r o m   r aw   d at a,   al lo wi n g   f o r   p r e cis i d en ti f ic ati o n   o f   c o m p l ex   b e h a v i o r s .   T h e   p r o p o s ed   s y s te m   u s es  co n v o l u ti o n al   n e u r al   n etw o r k l o n g   s h o r t - t er m   m e m o r y   ( C NN - L S T M )   m o d el,   w h e r e   C NNs   h a n d le  f e atu r e x t r ac t io n   a n d   t h e   l o n g   s h o r t - t er m   m em o r y   ( L S T M )   m an ag class if ica ti o n ,   aim in g   m o s t   r ec en c h all en g e s   in   t h es y e a r s .   T h r est  o f   th p ap er   is   s tr u ctu r e d   as  f o l lo ws  to   p r o v id co m p r eh e n s iv o v er v iew  o f   th wo r k .   Sectio n   2   d escr ib es  th p r esen m eth o d o lo g y .   Sectio n   3   elab o r ates  o n   th ex p er i m en tatio n .   Sectio n   4   d is cu s s es  p er f o r m a n ce   a n aly s is   an d   r esu lts .   Sectio n   5   p r e s en ts   th co n clu s io n   an d   f u t u r s co p e.       2.   M E T H O D   T h p r o ce s s   f o r   v id e o - b ased   an o m aly   d etec tio n   with   C NN   an d   L STM   is   s h o wn   in   Fig u r 1 .   T h is   m eth o d o l o g y   c o m p r is es si x   s tag es:   -   Data s et  s elec tio n th f ir s s tag in v o lv es  s elec tin g   d ataset  th at  en c o m p ass es  wid v a r i ety   o f   ac tiv ities .   Fo r   th is   s tu d y ,   th UC F   cr im d atab ase  is   u s ed .   Ma in tain ed   b y   th U n iv er s ity   o f   C en tr a Flo r id ( UC F)  an d   th UC Po lice  Dep ar tm en t,  th is   d ataset  in clu d es  v id e o s   o f   v a r io u s   cr im in al   ac tiv ities   s u ch   as  th ef t,   ass au lt,  an d   v an d alis m ,   ca p tu r ed   o n   ca m p u s .   T h d ataset  is   ex ten s iv e,   with   ap p r o x im ately   7 5   v id e o s   p er   ac tiv ity ,   r esu ltin g   in   d iv er s co llectio n .   -   Vid eo   to   f r am c o n v e r s io n v id eo s   f r o m   th d ataset  ar co n v er ted   in to   in d i v id u al  f r a m es  f o r   f u r th er   p r o ce s s in g .   E ac h   ac tiv ity   v id e o   g en er ates a p p r o x im ately   6 , 0 0 0   to   7 , 0 0 0   f r am es.   -   Pre - p r o ce s s in g th r etr iev ed   f r am es  u n d e r g o   s ev e r al  p r e p r o ce s s in g   tech n iq u es  to   e n h an c e   q u ality .   T h ese  tech n iq u es  in cl u d e d g e   d etec tio n ,   n o is elim in atio n ,   an d   b a ck g r o u n d   r em o v al.   T h e   h is to g r am   o f   o r ien ted   g r a d ien ts   ( Ho G)   is   ap p lied   to   t h p r ep r o ce s s ed   f r am es to   o b t ain   f ilter ed   im ag es.   -   Featu r ex tr ac tio n th p r ep r o ce s s ed   an d   f ilter ed   im ag es  ar th en   f ed   in to   m u lti - s tag C NN - L STM   m o d el.   T h is   m o d el  u s es a   lay e r ed   s tr u ctu r t o   ex tr ac t a n d   an aly ze   d etailed   f ea tu r e   attr ib u te s .   -   Actio n   d etec tio n t h m u lti - la y er ed   C NN - L STM   ar ch itectu r p r o ce s s es  th f ea tu r attr ib u t es  to   d etec an d   class if y   ac t io n s   ef f ec tiv ely .   -   An o m aly   d etec tio n f in ally ,   t h s y s tem   ev alu ates  th p r o ce s s ed   d ata  to   id en tify   an d   f lag   an o m al o u s   ac tiv ities   b ased   o n   th lear n e d   p atter n s .   T h s tu d y   f o cu s es  o n   an o m al y   d etec tio n   in   v id e o   s tr ea m s ,   with   an   e m p h asis   o n   id e n tify i n g   c o m p lex   ac tiv ities .   W h ile  p r ev io u s   m eth o d s   h av ac h iev ed   g o o d   r e s u lts ,   th ey   p r im ar ily   f o cu s ed   o n   s im p ler ,   s in g le - v iewe d   ac tiv ities .   T h is   s tu d y   aim s   to   im p r o v ac cu r ac y   in   m o r ch allen g in g   en v i r o n m en ts   th r o u g h   co m p r eh e n s iv ex p e r im en tati o n .   T h e   em p ir ical  an al y s is   i s   c ar r ied   o u t b y   u s in g   th f o llo wi n g   s tag es :           Fig u r 1 .   T h p r o p o s ed   m o d el   f o r   an o m alo u s   ac tiv ity   d etec tio n   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 5 0 2 - 4 7 52   I n d o n esian   J   E lec  E n g   &   C o m p   Sci ,   Vo l.  41 ,   No .   3 Ma r ch   20 26 1 1 0 5 - 1 1 1 6   1108   2 . 1 .     UCF   cri m da t a ba s e   I n   ter m s   o f   s ca le  an d   c o m p lex ity ,   th e   UC C r im Data b ase,   cr ea ted   b y   Su ltan i   et  a l.   [ 2 2 ] ,   r ep r esen ts   s ig n if ican im p r o v em e n o v er   ea r lier   d ata b ases .   I co n tai n s   r aw  C C T f o o tag s h o wi n g   th ir teen   ty p ical   r ea l - life   cr im s ce n es,   in clu d i n g   r o b b e r y ,   ex p lo s io n ,   f ig h t,  th ef t,  s h o p liftin g ,   a n d   v an d ali s m .   T h c o llectio n   in clu d es  ar o u n d   2 , 000   v id e o s   co m p r is in g   1 2 8   h o u r s   o f   f o o ta g e.   T h ese   v id eo s   h av e   an   av er ag r u n tim o f   f o u r   m in u tes,  wh ich   m ak es  th d at aset  m o r v alu ab le  f o r   class if y in g   an o m alies  b as ed   o n   v id e o s .   T h e   av er ag es  o f   7 , 2 4 7   f r am es  ar g en er ated   f o r   ea ch   v id eo .   T h d ataset  is   d iv id ed   in to   two   s tr ea m s   as  n o r m al  r ec o r d in g s   an d   r aw  r ea l - wo r ld   r ec o r d in g s .   I n itially ,   t h e   r ese a r c h   co n ce n t r at e d   o n   cl ass if y i n g   a n d   p r e d ic ti n g   i n ci d e n ts   o f   ab u s e   an d   f ig h t in g .   As  th e   s t u d y   p r o g r ess ed ,   it   e x p a n d e d   t o   c o v e r   s ix   d is t in ct   a cti o n s   a n d   u l ti m at el y   e x te n d e d   t o   in c lu d a ll  1 2   a cti o n s   r e p r ese n te d   in   t h d a tas et.   T h e   r esu lt s   we r ac h ie v ed   u s in g   th s a m s et  o f   al g o r it h m s   th r o u g h o u t   t h es d i f f e r e n t   r ese ar ch   p h ases .     2 . 2 .   M ultista g a pp ro a ch  wi t h la y er ed  CNN - L ST M   I n   o r d e r   t o   g et   f ea t u r es  f r o m   s p a tia a n d   te m p o r al  d at C NN  a n d   L S T ar c o m b in e d   as  C NN  h a n d les   s p atial   f ea t u r es  wel an d   L ST w o r k s   p e r f ec t ly   wit h   t em p o r al  f e at u r es  [ 2 3 ] .   T h p r o p o s e d   w o r k   ex ec u te d   b y   C NN - L STM   a r c h itec tu r e   w h ic h   i n cl u d es t h r ee   2 c o n v o l u ti o n   l ay er s   a n d   t h e n   L S T l a y e r .   T h e   ty p ic al  C NN  a r ch ite ct u r is   s h o w n   in   F i g u r 2 T h l ay e r s   o f   c o n v o lu ti o n al   n etw o r k   s h a r e q u al  n u m b er   o f   f ilt e r s   an d   k e r n e ls .   T h e   i n p u t   t o   th e   v er y   i n it ial   c o n v o lu ti o n   lay e r   co n s is ts   o f   im ag es  wit h   s ize   o f   2 2 4 ×2 2 4 × 3   ( h ei g h t,   w id th ,   a n d   n u m b er   o f   ch an n els) .   T h e   i n p u t   is   f u r t h e r   h a n d le d   b y   m u l ti p le   c o n v o lu ti o n al   l ay er s   s t ac k e d   to g et h er ,   wi th   r e cti f i ed   li n ea r   u n it   ( R eL U )   s er v i n g   as   t h e   ac tiv ati o n   f u n ct io n   f o r   ea c h   l a y er ,   i n v o l v i n g   4 , 0 9 6   n o d es.  E a ch   la y e r   co n t ai n s   1 6   f il t e r s   a n d   k e r n e o f   3 × 3   s i z is   u s e d .   E v e r y   c o n v o l u t io n   l ay er   is   f o l lo we d   b y   m a x p o o l in g   la y e r .   T h C N in c lu d es  m a x - p o o li n g   o p e r a ti o n s ,   w h ic h   h el p   d e cr ea s t h e   d i m en s i o n s   o f   th o u t p u f e at u r e   v ec t o r s ,   m a k i n g   th e   r ep r ese n ta ti o n   m o r m an ag ea b l a n d   c o m p u tati o n a ll y   e f f i ci en t.   S p at ial   f e at u r es  e x t r a ct ed   b y   C N a r s u b s eq u en tl y   s e n t o   L S T lay e r s .   Af te r   t h e   C NN  l a y e r ,   L S T la y e r   u s e d   wh i ch   h as   3 × 3   k e r n e l   s izes   an d   h as   6 4   f ilt e r s .   T h is   la y e r   c a p t u r es   s p ati o - te m p o r al   i n f o r m ati o n   b y   p r o c ess i n g   s eq u e n t ia l   d at a,   w h i c h   is   ess e n ti al   f o r   v i d eo - b as ed   an o m al y   d et ec t io n .   T h e   n etw o r k   ar ch it ec t u r e   t h e n   c o n s is ts   of   a   d r o p o u la y e r ,   f l atte n   l a y e r ,   a n d   a   d e n s e   la y e r .   An   a d d ed   p ai r   o f   d r o p o u t   a n d   d en s l ay er s   is   u s e d   at   t h co n c lu s io n   o f   t h e   n e tw o r k .   At   th e   en d   o f   t h n e tw o r k ,   a d d iti o n al   p ai r   o f   d r o p o u a n d   d e n s e   la y er s   is   e m p l o y e d   an d   t h s o f tm ax   ac ti v at io n   f u n cti o n   is   em p l o y e d   w it h   e v er y   d e n s e   la y e r .   T h is   la y er   is   r es p o n s ib le  f o r   m a k i n g   th e   f i n al   c lass i f i ca t io n   d ec is i o n s   a n d   c o n t ai n s   ap p r o x im ate ly   1 , 5 0 0   n o d es.           Fig u r 2 .   T h C NN   a r c h i tec tu r e       T a b le s   1   a n d   2   s h o th e   o u t p u t   s h a p e   o f   ea c h   l ay er ,   d et aili n g   th o u t p u t   s h a p es   wi th   t o t a n u m b e r   o f   p a r a m e te r s .   T h L ST a r c h i t ec t u r e ,   s h o w n   in   Fi g u r e   3 ,   is   a   ty p e   o f   r e cu r r e n n eu r a n et w o r k s   ( R NNs ) .   T h es ar e   g en e r all y   u s e d   t o   m a n a g e   th e   v an is h in g   g r a d ie n t   p r o b le m   i n   t r a d it io n a l   R NNs   b y   e n a b li n g   t h e   ca p t u r e   o f   ab i d i n g   d e p e n d e n c ies   i n   s e q u en t ial   d ata .   E ac h   L STM   ce l l   c o n tai n s   t h r e e   g at es:   t h e   in p u t   g at e,   wh ic h   d ec id es   wh a in f o r m a ti o n   t o   a d d ;   t h e   f o r g et   g ate ,   w h ic h   d et er m i n es   wh a to   d is ca r d an d   t h e   o u t p u g at e,   w h i c h   s ele cts   wh a t   i n f o r m ati o n   t o   p ass   f o r w ar d .   T h es e   g ates ,   c o n t r o ll ed   b y   s i g m o i d   an d   t an h   ac t iv ati o n s ,   al lo w   L S T Ms   t o   r et ai n   o r   f o r g et   i n f o r m at io n   o v e r   tim e.   As   r es u l t,   L ST Ms  a r h i g h l y   e f f ec t iv e   f o r   tem p o r al   s e q u e n c e   m o d eli n g   to   d ete ct   a n o m ali es   wh i ch   ar e   u s e d   f o r   v id eo   an al y s is .   T e m p o r al   d e p e n d e n ci es   ar ca p t u r e d   b y   t h L STM   l ay e r s   t h r o u g h   th ei r   s e q u e n ti al  p r o ce s s in g   o f   t h e   s p atia in f o r m a ti o n   [ 1 7 ] ,   [ 2 4 ] ,   [ 2 5 ] .   Un d e r s t a n d in g   lo n g - r a n g d ep e n d e n ci es  i n   t h d ata   is   m a d e   p o s s i b l b y   th e   i n te r n a m em o r y   s t ate   t h a t h L ST l ay e r m ai n t ai n .   R e g r ess io n ,   cl ass i f i ca ti o n ,   a n d   o t h e r   t ask s   ca n   b p er f o r m e d   wi th   th e   f in al   o u t p u t   o f   t h e   L ST lay e r s .     Evaluation Warning : The document was created with Spire.PDF for Python.
I n d o n esian   J   E lec  E n g   &   C o m p   Sci     I SS N:   2 5 0 2 - 4 7 52       A n   in n o v a tive  d ee p   le a r n in g   b a s ed   a p p r o a ch   fo r   a n o ma ly  d e tectio n   in   in tellig en t   …  ( Meg h a   G.   P a llew a r )   1109   T ab le  1 .   L a y er - wis s u m m ar y   o f   C NN  m o d el   La y e r   ( ty p e )   P a r a me t e r s   R e s c a l i n g   1   0   C o n v 2 D   448   M a x p o o l i n g 2 D   0   C o n v 2 D   1   4640   M a x p o o l i n g 2 D   1   0   C o n v 2 D   2   18496   M a x p o o l i n g 2 D   2   0   F l a t t e n   0   D e n se   3965056   D e n se   1   1548   T o t a l   p a r a m e t e r s   3990188       T ab le  2 .   L a y er - wis s u m m ar y   o f   L STM   m o d el   L a y e r   ( t y p e )   N u m b e r   o f   p a r a m e t e r s   I n p u t   l a y e r   0   LSTM   1 , 2 8 7 , 1 6 8   LSTM   1 9 7 , 1 2 0   LSTM   4 9 , 4 0 8   F l a t t e n   0   D e n se   4 9 1 , 7 7 6   D r o p o u t   0   D e n se   3 2 , 8 9 6   D r o p o u t   0   D e n se   2 5 8           Fig u r 3 .   T h L STM   m o d el       L STM   ar ch itectu r es  ty p ically   in co r p o r ate  th r ee   f u n d am en tal   ty p es  o f   lo g ical  g ates  th at  s er v as  th b u ild in g   b lo c k s   o f   th s y s tem .   T h ess en tial   elem en ts   wi th in   an   L STM   ar h t   an d   c t ,   wh ich   p lay   cr u cial  r o le  in   its   f u n ctio n in g .   T h ese  two   u n its ,   h t   an d   c t ,   a r an aly ze d   an d   co m p u ted   u s in g   ( 1 ) - ( 5 ) :     Fo r g et  g ate :   f t ( W f   ˖ [ h t− 1 ,x t ] + b f )   ( 1 )     I n p u g ate :   i t ( W i   ˖   [ h t− 1 ,x t ] + b i )       ( 2 )   t =ta n h ⁡( W C   ˖   [ h t− 1 ,x t ] +b C )       C ell  s tate  u p d ate :   C t =f t   *C t 1 +i t   ( 3 )     Ou tp u ga te :   o t ( W o   ˖   [ h t− 1 ,x t ] +b o )   ( 4 )     Hid d en   State :   h t =o t * tan h ( C t )   ( 5 )     Her e ,   th e   s ig m o id al  f u n ctio n   i s   d en o ted   b y   σ ,   th e   h y p er b o lic  tan g en t   is   n o t h in g   b u t   tan h ,   a n d   ˖   g i v es  th m u ltip licatio n   o f   m atr ix   w eig h ts   W i   an d   r esp ec tiv g ate  v alu es.  T h L STM   m o d el  s u m m ar y   is   p r o v id ed   in   T ab le  2 .   T o   en s u r c o n tin u o u s   p r o ce s s in g ,   th C NN - L ST m u ltis tag ar ch itectu r e,   as  s h o wn   in   Fig u r 4 ,   s tar ts   b y   ex tr ac tin g   f r am es  f r o m   v id eo   cli p s ,   with   th r esh o l d   s et  at  4 0   f r am es.  E ac h   im a g g e n e r ates   f r am es   wit h   s p ec if ic   h eig h t   a n d   wi d t h ,   wh ic h   ar f e d   to   t h e   n e u r al  n et wo r k .   Du r i n g   p r e - p r o c ess i n g ,   t h e   i n p u t   d at w er cr o p p e d   a n d   a d j u s t e d .   T h to ta l d atas et  is   d i v i d e d   w it h   s p lit  o f   7 0 f o r   t r ai n i n g ,   2 0 %   f o r   v ali d at io n ,   a n d   1 0 %   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 5 0 2 - 4 7 52   I n d o n esian   J   E lec  E n g   &   C o m p   Sci ,   Vo l.  41 ,   No .   3 Ma r ch   20 26 1 1 0 5 - 1 1 1 6   1110   f o r   t esti n g .   T h e   C NN  m o d el  ex tr ac ts   f ea tu r es  f r o m   th f r am es,  p r o d u cin g   2 5 , 0 8 8   f ea tu r es p er   f r am e,   r esu ltin g   in   4 0   s ets  o f   f ea tu r v ec to r s .   T h ese  v ec to r s   ar th en   s eq u en tially   p r o ce s s ed   b y   th L STM   n etwo r k .   T h f i n al   o u tp u is   o b tain ed   f r o m   th d e n s lay er   at  th last   s tag o f   th C NN - L STM   m o d el.   On c th e   t r ai n i n g   p r o ce s s   was  c o m p let e d   u s i n g   t h tr ai n i n g   d at a,   t h m o d el  was  e v a lu a te d   o n   t h e   tes ti n g   d at a,   a n d   t h e   a cc u r ac y   a n d   co n f u s io n   m at r i x   w e r e   c o m p u t ed .             Fig u r 4 .   Sy s tem   ar c h it ec tu r o f   C NN - L STM   m o d el       3.   E XP E R I M E N T A T I O N   E x ten s iv ex p er im en tatio n   w as  co n d u cte d   u s in g   a   Py th o n   3 . 7 . 0   en v ir o n m e n with   2 . 7   GHz   I n tel  C o r i7 - 4 6 0 0 C PU,  8 GB   R AM ,   an d   6 4 - b it  o p er atin g   s y s tem .   T h test in g   in v o lv ed   d if f er en f r am co u n ts   o f   2 0 ,   4 0 ,   an d   6 0   f r am es.  E ac h   ac tio n   class   was  tr ain ed   wit h   5 0   f r am es  p r i o r   t o   test in g .   T h ex p er im en tatio n   v ar ied   th n u m b er   o f   ep o ch s   ( 1 0 ,   2 0 ,   an d   3 0 ) ,   alo n g   with   ad ju s tm en ts   to   b atch   s izes,  f il ter   co u n ts ,   an d   th e   n u m b er   o f   d en s lay er s .   Ultim ately ,   r esu lts   wer g ath er ed   u s in g   3 0   ep o c h s .   I n itially ,   th f o cu s   wa s   o n   class if y in g   two   ac tiv ities ,   wh ich   was  later   ex p a n d ed   to   s ix   ac tiv ity   class if icatio n s .   T h e   m o d el  p er f o r m e d   ex ce p tio n ally   well  with   s ix   cla s s es.  B u ild in g   o n   th is   s u cc es s ,   th m o d el  was e x ten d ed   to   class if y   1 2   ac tiv ities ,   in clu d in g :   ab u s e,   ar r est,  ar s o n ,   ass au lt,  b u r g lar y ,   ex p lo s io n ,   f ig h t,  r o ad   ac cid en t,   r o b b er y ,   s h o o tin g ,   s tealin g ,   s h o p liftin g ,   a n d   v an d alis m .   Fi g u r 5   illu s tr ate s   th r esu lts   f o r   ea ch   class   an d   th e   lab elin g   o f   t h 1 2   ac tiv ity   class es,  r esp ec tiv ely .   Ad d itio n ally ,   th m o d el  was te s ted   wit h   in p u ts   o f   6 0 ,   8 0 ,   an d   1 0 0   f r a m es p er   class .             Fig u r 5 .   T h 1 2   class   ac tiv ity   lab ellin g   Evaluation Warning : The document was created with Spire.PDF for Python.
I n d o n esian   J   E lec  E n g   &   C o m p   Sci     I SS N:   2 5 0 2 - 4 7 52       A n   in n o v a tive  d ee p   le a r n in g   b a s ed   a p p r o a ch   fo r   a n o ma ly  d e tectio n   in   in tellig en t   …  ( Meg h a   G.   P a llew a r )   1111   T h m eth o d o lo g y   is   wid ely   r e f er en ce d   f o r   s ce n an aly s is   an d   s u s p icio u s   ac tiv ity   d etec tio n   [ 2 6 ] - [ 3 0 ] T h m o d el’ s   p e r f o r m an ce   wa s   ev alu ated   u s in g   th ar ea   u n d er   th cu r v e   ( AUC)  to   m ea s u r its   o v er all  ab ilit y   to   d is tin g u is h   b etwe en   class es,  an d   ac cu r ac y   to   d eter m in e   th p r o p o r tio n   o f   co r r ec tly   c lass if ied   in s tan ce s .   T ab le  3   c o m p a r es  th e   v i d eo   class if icatio n   r esu lts   with   v ar io u s   m eth o d o lo g ies,  in clu d in g   SVM,   C NN - B L STM ,   Den s eNe t,  an d   R esNet.   T h p r esen s y s tem   ac h iev e d   p er f o r m a n ce   ac cu r ac y   o f   9 8 . 6 an d   an   AUC  o f   9 0 %.  T h c o m p a r is o n   h ig h lig h ts   th at  th cu r r e n m u ltis tag ap p r o ac h   d eliv er s   s u p er i o r   ac cu r ac y   f o r   t h e   UC C r im d ataset  co m p ar ed   to   o th er   m et h o d o lo g ies .       T ab le  3 .   R esu lt o f   v id eo   class if icatio n   M o d e l   u se d   Y e a r   D a t a s e t   A c c u r a c y   AUC   C N N - B i   LS T M   [ 2 8 ]   2023   U C F 1 1   U C F 5 0   U C F   c r i m e   9 8 . 9     9 6 . 0 4   6 1 . 0 4   --   C u b i c   S V M   K N N   [ 2 9 ]   2021   C I F A R 1 0 0   9 9 . 2 4   --   V A E   [ 3 0 ]   2021   U C S D p e d 1   A v e n u e   --   9 2 . 3   8 2 . 1   D e n se N e t 1 2 1   [ 3 1 ]   2023   U C F   c r i m e   --   8 6 . 6 3   R e s N e t   ( M I L R )   [ 1 2 ]   2019   U C F   c r i m e   --     ST - G C N   [ 3 2 ]   2023   U C S D   P e d 1   U C S D   P e d 2   S h a n g h a i T e c h   8 9 . 1   -   -   8 5 . 5   9 7 . 9   8 3 . 8   C N N - L S T M   ( o u r   m o d e l )   2023   U C F   c r i m e   9 8 . 6   90       4.   RE SU L T S AN P E RF O RM ANCE AN AL Y SI S   T h e   s y s t em   ca n   b e   a n a ly ze d   u s in g   d if f e r e n t   p a r am ete r s .   T h es p a r am ete r s   a r e   c o m m o n l y   u s ed   m et r i cs   th a t   elab o r ate   s p e ci f ic all y   a b o u t   t h e   s y s t em   p e r f o r m a n c e   a n d   b e h a v i o r   f o r   a p p lie d   c o n d iti o n s .   T h e   i n cl u d e d   p e r f o r m a n c p a r a m e te r s   a r e   ac c u r a cy ,   s p ec i f i cit y ,   r e ca l l,   an d   p r e cisi o n .   T h is   s ec t io n   h el p s   t o   u n d e r s ta n d   v a r i o u s   m et r i cs ,   f ir s tl y ,   a n d   t h en   t h e   ac c u r ac y ,   l o s s   cu r v es ,   an d   c o n f u s i o n   m at r i x   ar d is c u s s e d .   F u r th e r ,   t h e   p a r a m e tr i p l o ts   a r an al y z ed   t o   u n d e r s ta n d   th o v e r a ll   b eh a v io r   o f   th esta b l is h e d   s y s t em .     4 . 1 .     E v a lua t i o n ind ica t o rs   T h f o llo win g   ar t h ass ess m en t   m et r i cs t o   a n a ly ze   t h e   e f f e cti v e n ess   o f   t h e   i m p le m e n t ed   m o d el:     Acc u r ac y :   I t   is   a   p a r a m e te r   u s e d   t o   m ea s u r t h p r o p o r ti o n   o f   co r r ec tly   id e n tifie d   a n o m alies  an d   n o r m al  in s tan ce s   am o n g   th t o tal  n u m b er   o f   i n s tan ce s .     A c c ura c y = T r ue   Po s i t i v e + T r ue   N eg at i v e T o t al   S am p l es   ( 6)     Pre cisi o n it   is   r e f er r e d   t o   as   t h p r o p o r ti o n   o f   t r u e   a n o m alies   am o n g   t h e   i n s t an ce s   f la g g e d   a s   a n o m al o u s   b y   t h e   m o d el.     Pr e c ision = T r ue   Po s i t i v e T r ue   Po s i t i v e +   T r ue   N eg at i v e   ( 7 )     R ec al l:   th is   in d i ca t o r   m e as u r es   t h e   a b il it y   o f   t h s y s t em   t o   c o r r e ctl y   id e n ti f y   ac t u a an o m al ie s .     R e c a l l = T r ue   Po s i t i v e T r ue   Po s i t i v e +   F al s e   N eg at i v e   ( 8 )     F1 - s c o r e:  T h is   o n e   is   t h e   h ar m o n i m e an   o f   p r ec is io n   a n d   r e ca ll ,   w h ic h   p r o v id es  s t a b l m et r i t o   m ea s u r e   wh e n   cl ass es   a r e   n o b a la n c ed .     F1   s c or e = 2 Pr ec i s i o n   Recal l Pr ec i s i o n +   Recal l   ( 9 )     Fals e   p o s i ti v e   r at e   ( FP R ) th is   is   p r o p o r t io n   o f   n o r m al   a cti o n s   cl ass i f ie d   i n c o r r ec t ly   as   a b n o r m al   a cti o n s .     F PR = F al s e   Po s i t i v e T r ue   N eg at i v e +   F al s e   Po s i t i v e   ( 1 0 )     Fals e   n e g at iv r a te   ( F NR ) it is   th p r o p o r tio n   o f   ac tu al  ab n o r m alities   in co r r ec tly   id en tifie d   as n o r m al  ac tio n s .     Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 5 0 2 - 4 7 52   I n d o n esian   J   E lec  E n g   &   C o m p   Sci ,   Vo l.  41 ,   No .   3 Ma r ch   20 26 1 1 0 5 - 1 1 1 6   1112   F N R = T r ue   N eg at i v e T r ue   N eg at i v e +   F al s e   N eg at i v e         ( 1 1 )     Ar e a   u n d e r   t h e   r ec e i v e r   o p e r ati n g   c h a r a cte r is t ic   cu r v e   ( A UC - R OC ) :   T h e   ch a n g es   o cc u r   wit h   t r u e   p o s iti v e   r at a n d   f a ls p o s it iv r at d u t o   v ar io u s   th r esh o l d   v a lu es  a r e   g r ap h ica ll y   r e p r e s en t e d   b y   t h e   AUC - R OC   c u r v es.   T h e   v alu e   o f   AU C   in d icate s   th p e r f o r m an ce   o f   th e   m o d el.   Hig h er   AUC  is   c o n s id er ed   b etter   as  it d if f er en tiates th n o r m al  an d   ab n o r m al  ac tio n s   s ig n if ican t ly .     C o n f u s io n   Ma tr ix :   I is   a   tab l th at   p r esen ts   th tr u p o s itiv es,  f alse  p o s itiv es,  tr u n e g a tiv es,  an d   f alse n eg ativ es,  o f f e r in g   d eta iled   in s ig h t in to   th m o d el' s   p er f o r m a n ce .     4 . 2 .   T ra ini ng   a nd   v a lid a t io n   a cc ura cy   a nd   lo s s   curv es   T h C NN - L STM   m o d el' s   p er f o r m a n ce   ca n   b ass ess ed   u s in g   v ar io u s   ty p es  o f   cu r v es;  h er e ,   th e   s y s tem   was  v er if ied   with   tw o   o f   th em ,   tr ain in g   an d   v alid atio n   ac cu r ac y   as  well  as  lo s s   cu r v es.  B o th   th e   cu r v es  ar r e f er r ed   h e r t o   ass is in   id en tify in g   an y   p r o b le m s   s u ch   as  o v er f itti n g   o r   u n d er f itti n g   b y   v is u ally   r ep r esen tin g   h o w   th e   m o d el   le ar n s   o v e r   tim e.   At   ev er y   e p o c h s   ( iter atio n )   in   th e   tr ain in g   p r o ce s s ,   th tr ai n in g   ac cu r ac y   c u r v e   illu s tr ates  th m o d el' s   ac cu r ac y   o n   th e   tr ain i n g   d ata.   T h e   m o d el' s   ac cu r ac y   o n   th v alid atio n   d ataset wh ich   it  d o es  n o o b s er v d u r i n g   tr ain in g is   r ep r esen ted   b y   t h Valid atio n   a cc u r ac y   cu r v e .   I is   em p lo y ed   to   o b s er v th e   m o d el's  ca p ac ity   f o r   a d ap tatio n .   I d ea lly ,   b o th   th tr ai n in g   an d   v alid atio n   ac c u r ac y   s h o u ld   in cr ea s o v er   tim e.   T h tr ain in g   d ataset' s   lo s s   ( er r o r )   is   r ep r esen ted   b y   t h tr ain in g   lo s s   cu r v at  ea ch   ep o ch s .   Sy s tem   aim s   to   r ed u ce   th lo s s .   T h lo s s   o n   th v alid atio n   d ataset  is   d is p lay ed   b y   th v alid atio n   lo s s   cu r v e.   B etter   m o d el  p er f o r m a n ce   is   in d icate d   b y   lo wer   lo s s .   T h in f o r m a ti o n   p r o v id e d   b y   t h tr ai n i n g   a n d   v al id ati o n   l o s s   v al u es   is   c r u c ia l b e ca u s e   i t h el p s   u s   i d e n t if y   a n y   lea r n i n g   is s u es   t h at   m a y   r es u lt   i n   a n   u n d er f it   o r   an   o v e r f it   m o d el   b y   al lo wi n g   u s   t o   s ee   h o w   s y s te m s   t y p i ca l   b e h a v i o r   v e r i f i ed   wit h   t h ite r ati o n   o f   s u cc ee d i n g   ep o c h s .   A t t h e   p r ed icti n g   s ta g e ,   t h e y   wil l a ls o   te ll  u s   wh ic h   e p o c h s   t o   u t ili ze   th t r ai n i n g   m o d el   wei g h ts .   Fi g u r e   6   s h o ws  t h e   ac c u r ac y   cu r v es  f o r   t r ai n i n g   a n d   v a li d at io n   af te r   2   a n d   1 0   e p o c h s .   I c an   b e asil y   o b s er v ed   t h at   th e   ac cu r a c y   g o t   i m p r o v e d   as   th e   n u m b er   o f   ep o ch s   i n cr ea s e s .   F ig u r e   7   s h o ws   t h tr ai n i n g   an d   v ali d ati o n   lo s s   cu r v es   f o r   2   a n d   1 0   ep o c h s .   T h l o s s   f u n ct io n   d ec r e ases   wi th   an   i n c r e ase   i n   ep o ch s .               Fig u r 6 .   T r ain in g   ac c u r ac y   a n d   v alid atio n   ac cu r ac y   cu r v es f o r   2   a n d   1 0   ep o ch s           Fig u r 7 .   T r ain in g   l o s s   an d   v al id atio n   lo s s   cu r v es f o r   2   a n d   1 0   ep o c h s   Evaluation Warning : The document was created with Spire.PDF for Python.
I n d o n esian   J   E lec  E n g   &   C o m p   Sci     I SS N:   2 5 0 2 - 4 7 52       A n   in n o v a tive  d ee p   le a r n in g   b a s ed   a p p r o a ch   fo r   a n o ma ly  d e tectio n   in   in tellig en t   …  ( Meg h a   G.   P a llew a r )   1113   4 . 3 .   Co nfusi o m a t rix   co n f u s io n   m atr ix   ass is ts   in   th v is u aliza tio n   o f   th o u tc o m o f   class if icatio n   task   b y   g iv in g   tab le  s tr u ctu r e   o f   th e   v ar i o u s   p r ed ictio n s   a n d   o u tc o m es.  T h is   co n f u s io n   m atr i x   s h o ws  y o u   th e   p r o p o r tio n   o f   tim es  ea ch   ac tiv ity   was  m i s i d en tifie d   ( f al s p o s itiv es  an d   f alse  n eg ativ es)  co m p ar ed   t o   th p r o p o r tio n   o f   tim es  it  wa s   co r r ec tly   d etec ted   ( tr u p o s itiv es).   T h is   h as  th p o ten tial  to   b r in g   em p h asis   o n   p ar ticu lar   ac tio n s   th at  th m o d el  s tr u g g les  to   r ec o g n ize.   Fig u r e   8   s h o ws  th co n f u s io n   m atr ix   with   in d iv id u al  class - wis e   ac cu r ac y .   T h r o u g h   w h ich   th p er ce n tag ac c u r ac y   o f   all   1 2   class es c an   b id en tifie d .   T h m atr ix   r ev ea ls   th at  th h i g h est  m is class if icatio n   o cc u r s   with   th ass au l ac tio n ,   wh ich   is   o f ten   m is tak en   f o r   ab u s o r   f ig h t .   Similar ly ,   ab u s is   f r eq u en tly   m is class if ied   as  ass au lt o r   f ig h t .   T h is   is   lik ely   d u to   th s im ilar ity   in   th ac tio n s   in v o lv ed .   Ho wev er ,   th p er ce n tag o f   ac cu r atel y   m atch in g   th ac tu al  an d   p r ed icted   ac tio n s   r em ain s   r elativ ely   h ig h ,   p r o v id in g   clea r   in d icatio n   o f   th i m p lem en ted   m o d el' s   p er f o r m an ce   ac r o s s   th v ar io u s   ac tiv ities .           Fig u r 8 .   C o n f u s io n   m atr i x   f o r   1 2   ac tiv ity   r ec o g n itio n       4 . 4 .   P er f o r m a nce  pa ra m et e rs a nd   t heir  plo t s   Pre cisi o n ,   r ec all,   F1   s co r e,   an d   ac c u r ac y   ar f r eq u e n t ly   r ep r esen ted   g r a p h ically   i n   o r d er   to   d em o n s tr ate  h o well  th cla s s if icatio n   m o d els  ar p er f o r m in g .   I is   s im p ler   to   u n d er s t an d   an d   ev alu ate  t h p er f o r m an ce   o f   class if icatio n   m o d els  ac r o s s   s ev er al   class es  wh en   p r ec is io n ,   r ec all,   F1   s co r e,   an d   ac c u r ac y   ar s h o wn   g r ap h ically .   T h ey   p r o v id an   illu s tr ativ o v er v iew   o f   m o d el' s   s tr en g th s   an d   p o ten tial  ar ea s   f o r   im p r o v em e n t.   T h e   class - w is e   co m p a r is o n   is   s h o w n   i n   Fi g u r es   9   a n d   1 0 A   co m p ar ativ a n aly s is   with   ex is tin g   s y s tem s   is   p r esen ted ,   as illu s tr ated   in   Fig u r 1 1 .           Fig u r 9 .   C lass - wis p er f o r m a n ce   p ar am eter   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 5 0 2 - 4 7 52   I n d o n esian   J   E lec  E n g   &   C o m p   Sci ,   Vo l.  41 ,   No .   3 Ma r ch   20 26 1 1 0 5 - 1 1 1 6   1114       Fig u r 1 0 .   C lass   wi s lin g r ap h   f o r   p r ec is io n ,   r ec all,   ac cu r a cy   an d   F1   s co r e           Fig u r 1 1 .   C o m p ar is o n   with   o th er   an o m al y   d etec tio n   s y s tem s       T h UC C r im d ataset  i s   m o r co m p lex   s in ce   it  g iv es  v ar iety   o f   ac tio n s   an d   v id eo   k in d s   f o r   ea ch   ac tio n ,   in   co n tr ast  to   o th er   p u b licly   av ailab le  d atasets   th at  o n l y   in cl u d e   v id eo s   with   f ix e d   s tan d p o in ts ,   u n if o r m   b ac k d r o p s ,   an d   u s u al  an g les.  T h is   ch allen g i n g   UC C r im d ataset  is   u s ed   to   ass ess   th C NN - L ST M   m o d el' s   ex p er im en tal  o u tc o m es.  T h UC C r im d ataset  r ec o r d s   cr im ac tiv ity   in   r ea l   tim e,   ca p tu r ed   b y   C C T ca m er as  in   u n s tr u ctu r e d   s u r r o u n d in g s ,   w h ile  o th e r   d atasets   co n ce n tr ate  o n   f r eq u e n ac tio n s .   B ec au s e   o f   its   d iv er s ity ,   it  s er v es  a s   u s ef u b aselin f o r   ev alu atin g   an o m aly   d etec tio n   m eth o d s '   p er f o r m an ce   in   p r ac tical  s ettin g s .   T h p r ese n t   m o d el   w o r k s   e x c ell en tl y   f o r   m ax im u m   class es  f o r   t h t ask   o f   a n o m al y   d et ec ti o n .   T h e   p e r f o r m an ce   is   im p r o v e d   wit h   d if f i cu lt  ac ti v it y   d ata b as e.   Evaluation Warning : The document was created with Spire.PDF for Python.