I nte rna t io na l J o urna l o f   I nfo r m a t ics a nd   Co mm u n ica t io n T ec hn o lo g y   ( I J - I CT )   Vo l. 7 ,   No . 3 Dec em b er   201 8 ,   p p .   1 1 7 ~ 1 2 3   I SS N:  2252 - 8776 ,   DOI : 1 0 . 1 1 5 9 1 /i j ict. v 7 i3 . p p 1 1 7 - 123        117       J o ur na l ho m ep a g e h ttp : //ia e s co r e. co m/jo u r n a ls /in d ex . p h p / I JI C T   Intellig ent   Info r m a tion   Sy ste m   fo r   Susp icio us   H u ma n   Activity   Dete c tion   in   Da y   a nd   Nig ht       J   L   M a zher   I qb a l 1 ,   S.Ar un 2   1 De p a rtme n t   of   El e c tro n ics   a n d   C o m m u n ica ti o n   E n g in e e rin g ,     V e l   T e c h   Dr.RR   &   Dr.S R   T e c h n i c a l   Un iv e rsit y ,   In d ia   2 De p a rtme n t   of   El e c tro n ics   a n d   C o m m u n ica ti o n   E n g in e e rin g ,     M a d a n a p a ll e   In st it u te   of   T e c h n o lo g y   &   S c ien c e ,   A n g a ll u ,   In d ia       Art icle   I nfo     AB ST RAC T     A r ticle   his to r y:   R ec eiv ed   Ma y   3 1 ,   2 0 1 8   R ev i s ed   J u l 2 7 ,   2 0 1 8   A cc ep ted   A u g   1 0 ,   2 0 1 8     T h e   d e tec ti o n   o f   h u m a n   b e in g in   a   c a m e ra   a tt ra c ts  m o re   a tt e n ti o n   b e c a u se   o it w id e   ra n g e   o f   a p p l ica ti o n s   su c h   a a b n o rm a e v e n d e tec ti o n ,   p e rso n   c o u n t in g   i n   a   d e n se   c ro w d ,   p e rs o n   id e n t if ica ti o n ,   f a ll   d e tec ti o n   f o c a re   to   e ld e rly   p e o p le,  e tc.   Ov e th e   t im e ,   v a rio u tec h n i q u e h a v e   e v o lv e d   t o   e n h a n c e   th e   v isu a in f o rm a ti o n .   T h is  a rti c le   p re se n ts  a   n o v e 3 - i n telli g e n in f o r m a ti o n   s y ste m   f o id e n ti fy in g   a b n o rm a h u m a n   a c ti v it y   u sin g   b a c k g ro u n d   s u b trac ti o n ,   re c ti f ic a ti o n ,   m o rp h o l o g y ,   n e u ra n e tw o rk a n d   d e p th   e stim a ti o n   w it h   a   th e rm a c a m e ra   a n d   a   p a ir  o f   h a n d   h e ld   Un iv e rsa S e rial  Bu (USB)  c a m e ra   to   v isu a li z e   u n - c a li b ra ted   im a g e s.  Th e   p ro p o se d   sy ste m   d e tec ts  stro n g e st  p o in ts  u sin g   S p e e d - Up   Ro b u st   F e a tu re (S URF).   T h e   S u m   o f   A b so lu t e   Diff e r e n c e   (S A D)  a l g o rit h m   m a tch   th e   stro n g e st  p o in ts  d e tec ted   b y   S URF.   3 - o b jec m o d e a n d   im a g e   stit c h in g   f ro m   i m a g e   s e q u e n c e a re   c a rried   o u t   in   th e   p ro p o se d   w o rk .   A   se ries   o f   i m a g e c a p tu re d   f ro m   d iff e r e n c a m e ra a re   stit c h e d   i n to   a   g e o m e tri c a ll y   c o n siste n m o sa ic  e it h e h o riz o n tally /v e rti c a ll y   b a se d   o n   t h e   im a g e   a c q u isit io n .   3 - im a g e   a n d   d e p t h   e stim a ti o n   o f   u n - c a li b ra ted   ste re o   im a g e a re   a c q u ired   u si n g   re c ti f ica ti o n   a n d   d is p a rit y .   T h e   b a c k g ro u n d   is  se p a ra ted   f ro m   th e   sc e n e   u sin g   th re sh o l d   a p p ro a c h .   F e a tu re a re   e x trac ted   u sin g   m o rp h o l o g ica o p e ra to rs  in   o rd e t o   g e t h e   sk e leto n .   Ju n c ti o n   p o i n ts  a n d   e n d   p o in ts  o f   t h e   sk e leto n   im a g e   a re   o b tain e d   f ro m   th e   sk e leto n .   Da ta  se o f   a b n o rm a h u m a n   a c ti v it y   is cre a ted   u sin g   su p e rv ise d   lea rn in g   su c h   a n e u r a n e tw o rk   w it h   a   th e rm a l   c a m e ra   a n d   a   p a ir  o f   we b c a m .   Th e   f e a tu re   v e c to o f   a n   a c ti v it y   is  c o m p a re d   w it h   a lrea d y   c re a ted   d a ta  se t,   if   a   m a tch   o c c u rs  th e   c las sif ier  d e tec ts  a b n o rm a h u m a n   a c ti v it y .   A d d it i o n a ll y   th e   p ro p o se d   a lg o rit h m   p e rf o r m d e p th   e stim a t io n   to   m e a su re   re a ti m e   d istan c e   o f   o b jec ts  d y n a m ica ll y .   T h e   s y ste m   u se   th e r m a c a m e r a ,   In tel  c o m p u ti n g   stick ,   c o n v e rter,  v id e o   g ra p h ics   a rra y   (VG A to   h ig h - d e f in it io n   m u lt im e d ia  in terf a c e   (HD M I)  a n d   w e b c a m s.  T h e   p ro p o se d   n o v e in tell ig e n i n f o rm a ti o n   sy s te m   g iv e 9 4 %   m a x i m u m   a c c u ra c y   a n d   8 9 %   m in i m u m   a c c u ra c y   f o d if fe re n a c ti v it ies ,   th u s it   e ff e c ti v e l y   d e tec ts su sp icio u s a c ti v it y   d u rin g   d a y   a n d   n ig h t.     K ey w o r d s :   A b n o r m al   ac ti v it y   E n d   p o in ts   J u n ctio n   p o in ts   Mo r p h o lo g y   Sk eleto n   Co p y rig h t   ©   2018   In stit u te   of   A d v a n c e d   E n g i n e e rin g   a n d   S c ien c e .     All   rig h ts   re se rv e d .   C o r r e s p o nd ing   A uth o r :   J   L   Ma zh er   I q b al   ,   De p a rtme n t   of   El e c tro n ics   a n d   C o m m u n ica ti o n   E n g in e e rin g ,     V e l   T e c h   Dr.RR   &   Dr.S R   T e c h n i c a l   Un iv e rsit y ,   Ch e n n a i,   T . N,   In d ia       1.   I NT RO D UCT I O N   P u b lic   s ec u r it y ,   s a f et y   an d   ter r o r is m   h a v b ee n   t h c h r o n ic  i s s u e,   a   m atter   of   s er io u s   co n c er n   f o r   th e   p u b lic,   g o v er n m en an d   en tr ep r en eu r s .   A   g r o w i n g   n u m b er   of   ca s es   h av e   b ee n   re p o r ted   o n   c h ild   ab u s e,   r o b b e r y   an d   ter r o r is m   etc. ,   th r ea ten in g   th e   g e n er al   pu b lic.   T h o u g h ,   th er is   n u m b er   o f   C lo s   C ir cu i T elev is io n   ( C C T V)   ca m er as   an d   d ataset  ar av ailab le,   n ev er th e less ,   m o n ito r i n g   a n d   s u p er v is io n   o f   u n w a n ted   ac tiv itie s   ar b ec o m i n g   h ec tic  a n d   ted io u s .   I r eq u ir es  m o r m a n p o w er   to   p u u n t ir i n g   ef f o r to   k ee p   ev er y t h in g   u n d er   Evaluation Warning : The document was created with Spire.PDF for Python.
                   I SS N :   2252 - 8 7 7 6   IJ - I C T   Vo l.  7 ,   No .   3 ,   Dec em b er   201 8   :   1 1 7   123   118   s u r v eilla n ce .   T h er ef o r e   th er e   is   a   ch an c o f   m is s i n g   s o m ev en ts   w h ic h   ar r ea ll y   s u s p icio u s   b ec au s o f   h u m a n   ten d en c y .   Dete cti n g   an d   r ec o g n izi n g   s u s p icio u s   ac tiv ities   ar e   co m p le x ,   d iv er s a n d   ch alle n g i n g   ar ea   th at   h a v e   s co p e   f o r   m o d er n   d a y   r esear c h   [ 1 ] .   Ma n y   co u n tr ies   ar n o w   e m p lo y in g   v id eo   s u r v eilla n ce   s y s te m .   Dete cti n g   th e   ab n o r m al   b eh a v io r   in   r ea l   ti m e   w ill   r ed u ce   m aj o r   an d   m in o r   cr i m e   r ate .   Du r i n g   t h e   last   d ec ad e,   law   en f o r ce m en t   a g e n cies   in   Gr ea t   B r itain ,   Fra n ce ,   Mo n ac o ,   Sp ain   an d   o th er   co u n tr ies   h av e   i n cr ea s in g l y   r elied   on   C lo s e   C ir c u it   T elev is io n   ( C C T V)   s u r v eil lan ce   to   en h an ce   p u b lic   s ec u r it y .   Sie m e n s   AG   d ev el o p ed   an d   in s talled   th f ir s v id eo   s u r v e illan ce   f o r   o b s er v in g   la u n c h   of   V - 2   r o ck ets   in   t h e   y ea r   1942   at   T est   Stan d   VI I   in   P ee n e m u n d e,   Ger m a n y .   A cc o r d in g   to   th e   su r v e y   p r esen t ed   in   th is   r ep o r t,  an   i n cr ea s i n g   n u m b er   o f   U. S   m u n icip ali ties   ( m o s tl y   o u ts id e   C alif o r n ia)   h av b eg u n   u s in g   C C T p u b lic  v id eo   s u r v eilla n ce   as  la w   en f o r ce m en t   to o l   to   m o n ito r   p u b lic,   s ch o o ls   an d   r esid en t ial  ar ea .   Ma n y   E u r o p ea n   co u n tr ie s   ar n o w   e m p lo y in g   p u b lic   v id eo   s u r v eil lan ce   as   a   p r im ar y   to o l   to   m o n ito r   p o p u latio n   m o v e m e n t s   an d   to   p r ev en t   ter r o r is m .   T h e   Un ited   Ki n g d o m   ( UK)   in   p ar ticu lar   r elies   ex te n s iv el y   on   v id eo   s u r v e illa n ce   as   a   to o l   to   f ig h t   cr i m e   a n d   p r ev en t   ter r o r is m .   C C T i m ag m ag a zin h ad   esti m ated   th e   n u m b e r   of   ca m er as  i n   th U n ited   Kin g d o m   w h er 1 . 8 5   m illi o n   in   2011.   A v er ag e   o n e   ca m er a   f o r   ev er y   3 2   p eo p le   in   UK,   ar o u n d   1 . 5   m il lio n   C C T V   c am er as  w h er e   in s ta lled   in   cit y   ce n ter s ,   s tatio n s ,   air p o r t   an d   m aj o r   r etail   ar ea s   in   th e   UK.   T y p ical l y   C C T s u r v eilla n ce   s y s te m s   w h er in s talled   by   B r itis h   T elec o m ,   u s i n g   f ib er - o p tic   ca b les   in   s tr ate g icall y   p o s it io n ed   d o w n   to w n   b u s i n es s   d is tr icts   o r   i n   n e w   s h o p p in g   c en ter s .   T h r esear c h   o r g a n izat io n s   I MS   ( n o w   p ar t   of   I HM   I n c.   ( NYSE :HI S)  h as   r elea s ed   its   f o u r t h   a n n u al   v id e o   s u r v e illan ce   tr en d s   f o r   t h ye ar   ah ea d   w h i te  p ap er   [ 2 ] .   T h ese  p r ed ictio n   s er v e to   p r o v id e   in s i g h t   i n to   k e y   tr en d s   an d   o p p o r tu n i ties   in   t h e   v id eo   s u r v eil lan ce   i n d u s tr ies.  V id eo   I m a g R e tr iev a l   an d   An al y s i s   T o o ( VI R A T )   is   in   d ev elo p m e n t   by   th US   m ili tar y ' s   elite   g r o u p   of   s cie n tis ts ,   P en tag o n 's   Def e n s e   A d v an ce d   R esear c h   P r o j ec ts   A g e n c y   ( D AR P A ) .   VI R A T   co n tr ac t   is   an n o u n ce m en in   Ma y   2 0 1 1   [ 3 ] .   It   d escr ib es   s p ec if ic   h u m an   ac ti v itie s ,   m i litar y - i n tell ig e n ce   v i d eo   ar ch iv es  a n d   s y s te m s .   VI R A T   s y s te m   w ill   be   d ep lo y ed   in to   v ar io u s   m i litar y   i n tel lig e n ce   v id eo   ar ch iv es   an d   s y s te m s   in   I r aq .   T h e   to o l   is   n o t   f o r   d o m e s tic   s u r v e illa n ce   p r o g r am s .   VI R AT   f o cu s   on   n ar r o w   tar g et s ,   s u c h   as   a   d o o r w a y   u n d er   v id eo   s u r v eilla n ce .   T h e   p a p er   titl ed   Gai t   R ec o g n itio n   Usi n g   R ad o n   T r an s f o r m   a n d   L in ea r   Dis cr i m i n a n t   A n a l y s is   p r o p o s ed   by   Ni k o lao s . V   B o u lg o u r is ,   IEEE   T r an s ac tio n s   on   i m a g e   p r o ce s s i n g   ( 2 0 0 7 ) ,   p r esen ts   t h e   Gai t   R ec o g n itio n   U s i n g   R ad o n   T r an s f o r m   an d   L i n ea r   Dis cr i m i n an t   An al y s is   [ 4 ] .   T h e   p ap er   titl ed   R ea l   T im e   Hu m a n   A cti v it y   R ec o g n itio n   S y s te m   b ased   on   R ad o n   Tr an s f o r m ”  p r o p o s ed   b y   Z . A .   Kh a n   an d   W .   So h n ,   I J C A   s p ec ial   i s s u e   on   A r ti f icial   I n telli g en ce   T ec h n iq u e s   -   No v el   A p p r o ac h es   &   P r ac tical   A p p licatio n s   A I T   ( 2 0 1 1 )   p r e s en t s   h u m a n   ac ti v it y   r ec o g n itio n   s y s te m   b ased   o n   R ad o n   T r an s f o r m   ( R T ) ,   P r i n cip al   C o m p o n e n t   An al y s i s   ( P C A )   an d   L i n ea r   Dis cr i m in ate  An al y s i s   ( L D A ) ,   A r tific ial   Neu r al   Net w o r k   [ 5 ] .   T h e   lim ita tio n s   of   th e   L D A ,   P C A   ar e   s m all   s a m p le   s ize   p r o b le m   ( s m all   no   of   v er y   h i g h   d i m en s io n a l   s a m p les),   est i m a tio n   u n s tab le ,   h ig h   co m p u tatio n   co m p le x it y ,   s lo w   co n v er g e n ce ,   h ig h   v ar ia n ce   is   o f te n   i n tr o d u ce d   in   t h e   esti m atio n   f o r   th e   ze r o .   T h p ap e r   [ 6 ]   d ea ls   w it h   f all  a n g le  co m p r is i n g   o f   f all   r ec o g n i tio n   tec h n iq u e.   T h e   an g le   of   f all   ca n   be   d ef i n ed   as   t h e   s lan t   a m o n g   t h e   b ase   an d   t h e   p er s o n   f r o m   w h er e   it   is   ce r tai n   t h at   t h e   h u m an   b ei n g   w ill   f all,   or   th e   in cli n e   a m o n g   th e   b ase   an d   th e   p er s o n ' s   ce n tr o id .   T h e   an g le   of   f all   is   in   a m id   of   45 ’  a n d   90 ’  d eg r ee   of   an g l e,   th e   h u m a n   b ein g   is   on   f o o t,   an d   w h ile   it   is   le s s   t h an   45 ’  an g le   of   d eg r ee s ,   a   f a ll   can   be   co n ce r n ed .   T h e   f all   j u d g m en t   as   a   r esu lt   d ep en d s   on   t h e   m ea n i n g   of   f al lin g   an g le   a n d   on   t h e   m a n n er   an d   v elo cit y   of   on   f o o t.   A   li m itatio n   of   u s i n g   th i s   m et h o d   is   o f   le s s   ac c u r ac y ,   if   th e   fa ll  i s   to w ar d s   th v id eo   ca m er it   m a y   n o t   be   r ec o g n i ze d .   T h p ap er   [ 7 ]   s h o w s   d ep th   esti m at io n   o f   in s id Scan n i n g   E lectr o n   Mic r o s co p e   ( SEM ) .   To   im p r o v e   th e   ac cu r ac y   as   w ell   as   th e   r ap id it y   o f   th m e th o d ,   it  co n s id er   b o th   au to f o cu s   an d   d ep th   esti m atio n   as   v is u al   s er v in g   p ar ad ig m s .   Her e   d ep th   esti m a tio n   ap p licatio n   s h o w s   in   SEM   o n l y .   Ou r   ea r lier   ar ticle  [ 8 ] ,   [ 9 ]   d is cu s s   a b n o r m alit y   ac tiv it y   d etec tio n   u s i n g   Scale  I n v ar ia n Featu r T r an s f o r m   ( SIFT )   an d   Hid d en   Ma r k o v   Mo d el   ( HM M) .   T h li m itatio n   o f   th p ap er   [ 8 ] ,   [ 9 ]   is   ab n o r m al   h u m an   ac ti v it y   d etec tio n   is   n o t a cc u r ate  d u r in g   n ig h t .   T h p r o p o s ed   s y s te m   i s   th m o d i f icatio n   o f   th e   s y s te m   p r o p o s ed   in   o u r   ea r lier   ar ti cle   titl ed   A b n o r m al   Hu m a n   A cti v it y   R ec o g n itio n   u s i n g   Scale   I n v ar ia n t   Feat u r e   T r an s f o r m   [ 8 ] .   T h u s   p u b li c,   g o v er n m en t   a n d   p r iv ate   s ec to r   n ee d   ac cu r ate  au to m at ic  s u r v eilla n ce   m o n i to r in g   s y s te m T h e   p r o p o s ed   in t ellig e n t   in f o r m at io n   s y s te m   u s e   s p ee d   up   r o b u s t   f ea t u r es   ( SUR F)   to   o b tain   th e   s tr o n g e s t   p o in t   an d   s u m   of   ab s o lu te   d if f er en ce   ( S A D)   s ter e o   im ag e s   to   m atch   t h e   f ea t u r es .   T h SUR an d   S AD  is   f r o m   o u r   ea r lier   ar ticl titl ed   R ea l   T i m e   3D   Dep th   E s ti m at io n   a n d   Me asu r e m en t   of   Un - ca l ib r ated   Ster eo   an d   T h er m al   I m a g e s ”  [ 1 0 ] .   T h e   w o r k   d o n e   in   t h e   p r o p o s ed   ar ea   of   r esear ch   is   an a l y ze d   w it h   r esp ec t   to   d o cu m e n a n d   y ea r   o f   p u b licatio n ,   also   w it h   r esp ec t   to   d o cu m en t   e x is t   an d   co u n tr y /ter r ito r y   u s i n g   Sco p u s   d ata   b ase.   T h e   an al y s is   ar e   s h o w n   in   F ig u r e   1   an d   Fig u r e   2 .   T h e   an al y s is   of   d o cu m en t   by   co u n tr y /ter r ito r y   ( Fig u r e   2 )   s h o w s   t h at   o u t   of   1 5   co u n tr ies   I n d ia   s ta n d s   in   e lev en th   p lace   in   t h e   p r o p o s ed   ar ea   of   r esear ch .   T h is   s h o w s   th at   t h e   s co p e   at   th e   Natio n al   le v el   is   tr e m en d o u s   in   th e   p r o p o s ed   ar ea   of   r esear ch .       Evaluation Warning : The document was created with Spire.PDF for Python.
IJ - I C T     I SS N:  2252 - 8776       I n tellig en t I n fo r ma tio n   S ystem  fo r   S u s p icio u s   Hu ma n   A ctivity. . .   ( L Ma z h er I q b a l )   119       ( a)   ( b )       Fig u r e   1.   An al y s is   of   Do cu m e n t   an d   Year   of   P u b licatio n   in   t h e   P r o p o s ed   A r ea   of   R esear ch     ( a)   I n ter n atio n al  L e v el  ( b )   Natio n al  L e v el   ( R ef :   www . s co p u s . co m )           Fig u r e   2.   An al y s is   of   Do cu m e n t   by   C o u n tr y /T er r ito r y   in   th e   P r o p o s ed   A r ea   of   R esear ch   ( R ef :   www . s co p u s . co m )       T h e   g ap s   id en tif ied   f o r   th e   d ev elo p m en t   of   in telli g en in f o r m atio n   s y s te m   f o r   ab n o r m al  ac tiv it y   r ec o g n itio n   ar e   less   ac cu r ac y ,   in ab ilit y   o f   th s y s te m   to   d etec ac tio n   d u r in g   n ig h t ,   esti m atio n   u n s tab le,   h ig h   co m p u tatio n   co m p le x it y ,   s lo co n v er g en ce ,   h i g h   v ar ia n ce   f o r   s u s p icio u s   h u m a n   a cti v it y   d ete ctio n   in   d a y   a n d   n ig h t .   T h p r o p o s ed   w o r k   ad d r ess es   th is   g ap   by   p r o v id in g   s o lu tio n   to   o p ti m ize   th e   p er f o r m an ce   of   t h s y s te m   u s i n g   n o v el  m e th o d s   an d   alg o r ith m s   s u c h   as  SUR F ,   S A D,   i m ag s t itch i n g ,   r ec tif i ca tio n ,   b ac k g r o u n d   s u b tr ac tio n ,   m o r p h o lo g y ,   n eu r al   n et w o r k   an d   d is p ar it y .   T h is   p ap er   p r esen ts   an   e f f icie n t   I n te llig e n t   I n f o r m atio n   S y s te m   t h at   e n ab les   r ec o g n i ti o n   of   ab n o r m al   ac ti v it y   au to m atica ll y   d u r i n g   d a y   a n d   n i g h t   u s i n g   t h er m al   ca m er a   an d   p air   o f   w eb ca m E ac h   ab n o r m a l   ac tiv it y   in   t h e   v id eo   is   clas s i f ied   in to   o n o f   th p r ed ef in ed   ac tiv it y   clas s es.       2.   P RO P O SE D   M E T H O D   A   n o v el   in te lli g en t   i n f o r m atio n   s y s te m   f o r   id en ti f y i n g   ab n o r m al   h u m an   ac ti v it y   r ec o g n it io n   is   s h o w n   in   Fig u r 3 ,   Fig u r 4   an d   Fig u r 5   s h o w   th e   d ata   s et   cr ea tio n   u s i n g   th er m al  ca m er an d   v ar io u s   ac tiv itie s   c o n s id er ed   to   b e   ab n o r m al  f o r   th p r o p o s ed   d ataset   cr ea tio n .   Fig u r s h o w s   t h e   f lo w   ch a r t   of   th e   p r o p o s ed   n o v el   i n tell ig e n i n f o r m atio n   s y s te m .   T h e   v id eo   of   d i f f er e n t a ctiv itie s   ar ca p tu r ed   u s in g   th er m a l   ca m er a   a n d   p air   o f   w eb ca m   an d   is   co n v er ted   in to   f r a m es.  T h co lo r   in p u ts   ar co n v er ted   to   b in ar y   f o r   h i g h - s p ee d   p r o ce s s in g .   B ac k   g r o u n d   i m a g e   is   cr ea ted   u s in g   b ac k g r o u n d   m o d el .   T h er e   a r v ar io u s   ch all en g e s   in   d ev elo p in g   a   h ig h - q u alit y   b ac k g r o u n d   s u b tr ac tio n   alg o r ith m   u s ed   in   t h p r o p o s ed   s y s te m .   P r i m ar y ,   it   m u s t   be   r o b u s t   Evaluation Warning : The document was created with Spire.PDF for Python.
                   I SS N :   2252 - 8 7 7 6   IJ - I C T   Vo l.  7 ,   No .   3 ,   Dec em b er   201 8   :   1 1 7   123   120   ag ain s t   ch a n g es   in   li g h ti n g .   Nex t,   it   s h o u ld   av o id   r ec o g n izin g   n o n - s tatio n ar y   b ac k g r o u n d   o b j ec ts   s u ch   as  m o v i n g   leaf s ,   r ain ,   s n o w   an d   s h ad e   ca s t   by   m o v i n g   o b j ec t s .   T h b ac k g r o u n d   i m a g is   cr ea ted   b y   s etti n g   a   b ac k g r o u n d   an d   t h e n   d ed u cti n g   t h e   c u r r en t   f r a m w h ic h   co n t ain s   th e   o b j ec o f   in ter est   in   mo tio n .   T he   in co m in g   f r a m is   s u b tr ac t ed   f r o m   t h b ac k g r o u n d   i m a g u s i n g   th r e s h o ld   tech n iq u i n   o r d er   t o   o b tain   f o r eg r o u n d .   b ac k g r o u n d   s u b tr ac tio n   alg o r i th m   atte m p ts   to   id en ti f y   m o v i n g   r eg io n s   by   s u b tr ac ti n g   th e   cu r r en i m a g e   p ix el - by - p i x el   f r o m   a   r ef er e n ce   b ac k g r o u n d T h e   p ix els   w h er e   t h d is s i m ilar it y   is   m o r th a n   t h r esh o l d ,   t h e   b ac k g r o u n d   m o d el  cla s s i f y   a s   f o r eg r o u n d   o b j ec t.  A   f o r eg r o u n d   o b j ec t   can   be   d escr ib ed   as   an   o b j ec t   of   atte n ti o n ,   w h ic h   h elp s   i n   r ed u ci n g   a m o u n o f   d ata  to   b p r o ce s s ed .   Fo r eg r o u n d   p r o v id i m p o r tan t   in f o r m at io n   o f   t h e   ta s k   und er   co n s id er atio n .   T h p r o p o s ed   b ac k g r o u n d   s u b tr ac tio n   al g o r ith m   e f f ic ien t l y   o b tain   f o r eg r o u n d     f o r   f u r t h er   p r o ce s s in g .               Fig u r 3 .   I n tellig e n t   I n f o r m ati o n   S y s te m   f o r   I d en tify i n g   S u s p icio u s   A c tiv i t y   Fig u r e   4 .   Data s et   C r ea tio n   U s i n g   a   T h er m al   C a m er a   f o r   Nig h t   Vis io               Fig u r 5 .   A cti v itie s   Usi n g   T h er m al   C a m er a       T h e   f o r eg r o u n d   o b j ec t is  o b tai n ed   u s i n g   th eq u atio n     |   F r a m e   I c     F r a m e   I b |   >   T h                                                                                                                                                                      ( 1 )     w h er e,   f r a m e   I c   is   th e   c u r r en t   f r a m e,   f r a m e   I b   is   th e   b ac k g r o u n d   f r a m e   a n d   T h   is   th e   th r es h o ld   v alu e.     Af ter   cr ea ti n g   f o r eg r o u n d   p ix el  m ap ,   m o r p h o lo g ical   p o s t   p r o ce s s in g   o p er atio n s   s u c h   as   er o s io n ,   di latio n   an d   clo s in g   ar ap p lied   in   th p r o p o s ed   s y s te m   to   r ed u ce   th e   ef f ec t s   of   n o is e   a n d   im p r o v e   th e   q u ali t y   o f   th s ce n e .   B ef o r e   f ea t u r es   ex tr ac tio n   it is   v ital  to   f in d   th e   l en g t h   to   w id t h   r atio   o f   ab n o r m al  ac tio n s   to   d etec s u s p icio u s   h u m a n   a ctiv i t y .   T ab le. 1   s h o w s   t h e   len g t h   to   w id t h   r atio   of   d if f er en t   s u s p icio u s   h u m a n   ac tio n   to   b e   d etec ted   d u r in g   d a y   a n d   n i g h t .   I is   id en tif ied   t h at  th le n g t h   to   w id t h   r atio   o f   h u m an   ac ti o n s   ar 0 . 2   to   0 . 9 2 .   T h len g t h   to   w id t h   r atio   w il d if f er en ti a te  th h u m a n   b ein g s   w it h   o th er   o b j ec ts   an d   it  r em o v e   u n w a n ted   o b j ec ts   f r o m   t h s ce n o f   in ter est .   S u b s eq u en tl y   v ar io u s   m o r p h o lo g ic al   p r ep r o ce s s in g   m eth o d s   s u ch   as   f illi n g   h o le s ,   er o s io n   an d   m o r p h o lo g ical   s k eleto n   ar e   ap p lied   t o   r e d u ce   th s p ec ial  ef f ec ts   s u c h   as  clatte r   an d   it  en h a n ce   t h e   Evaluation Warning : The document was created with Spire.PDF for Python.
IJ - I C T     I SS N:  2252 - 8776       I n tellig en t I n fo r ma tio n   S ystem  fo r   S u s p icio u s   Hu ma n   A ctivity. . .   ( L Ma z h er I q b a l )   121   q u alit y   o f   s ce n to   b d etec ted .   T h e   h o les   ( r eg io n   of   b lack   p ix els   b o u n d ed   by   w h ite   p i x els ar e   f illed   u s i n g   i m f ill   o p er ato r   to   r em o v e   th e   u n w an ted   b ac k g r o u n d   s p o ts   in   t h r eg io n   o f   ac t io n .   E r o d o p er atio n   d ec r ea s es   th e   s ize   of   t h i m a g e   an d   r e m o v e   s m all   s p u r io u s   b r ig h t   s p o ts .   C o r r o s io n   in   th p r o p o s ed   s y s te m   s h r in k s   o b j ec ts   by   s cr atc h i n g   a w a y   t h ei r   b o r d er s .   Featu r es  s u c h   as  j u n c tio n   p o in ts   an d   e n d   p o in ar ex tr ac ted   u s in g   m o r p h o lo g ical  s k eleto n   o p er ato r   b w m o r p h .   Mo r p h o lo g y   s k eleto n iza tio n   is   t h e   p r o ce s s   of   d eletin g   u n w a n ted   p ix els   in   or d er   to   o b tain   u n it p ix el  w id t h ,   i t   d elete   th e   p ix els   iter ati v el y   la y er   by   la y er .   T h e   j u n c tio n   p o in t s   an d   en d   p o in ts   ar th f ea tu r e   v ec t o r s   o f   th p r o p o s ed   s y s te m   f o r   s u p er v is ed   lear n in g   class i f ie r .   T h e   g r ee n   cir cles   in   th s k eleto n   i n d icate s   en d   p o in ts   an d   r ed   cir cles   i n d icate s   ju n ct io n   p o in ts .   Neu r al  n et w o r k   is   u s ed   as  class if ier   f o r   class i f ica tio n   o f   i n p u p at ter n s   i n   t h p r o p o s ed   s y s te m .   Neu r al  n et w o r k   i s   s y s te m   of   i n ter co n n ec ted   “n eu r o n s   co n s is o f   e le m e n t s   w h ich   o p er ates  in   p ar allel   a n d   can   co m p u te   v al u e s   f r o m   in p u t s   t h r o u g h   th e   n et w o r k .   I n   t h p r o p o s ed   s y s t e m ,   n e u r al  n et w o r k   is   ad j u s te d   o r   tr ain ed ,   so   th at   an   in p u m atc h es  to   s p ec i f ic   tar g et  b ased   on   s u p er v is ed   lea r n in g .   Data   s et  o f   ab n o r m al   h u m a n   ac t iv i ties   ar cr e ated   u s in g   f ea tu r v ec to r s   o b tain ed   f r o m   t h er m a l   ca m e r an d   p air   o f   w eb ca m   f o r   v ar io u s   ab n o r m al  ac tiv ities   s h o w n   i n   Fi g u r e   5 .   T h class i f ier   r ec o g n ize  n e w   te s p atter n   b ased   o n   f ea tu r v ec to r s   an d   cr ea ted   d ata  s et.   I f   t h i n p u f ea t u r es  m atch e s   w it h   d atase t   th cla s s i f ier   r ec o g n ize  ab n o r m al  h u m a n   ac ti v it y .   T h e   s y s te m   is   test ed   f o r   d if f er e n ab n o r m a ac tiv itie s   s u c h   as,   h a n d s   b en d in g ,   h a n d s   u p ,   s ta n d i n g   etc.   T h e   b eh a v io r   of   th e   p r o p o s ed   s y s te m   is   ev al u ated   u s i n g   cr ea ted   d ataset   w i th   h i g h   ac cu r ac y   o f   ar o u n d   9 0 %.           Fig u r e   6 .   Flo w   C h ar t   of   t h e   P r o p o s ed   Sy s te m   I n telli g e n t I n f o r m at io n   S y s te m     f o r   I d en tify i n g   Su s p icio u s   A c t iv it y           M a tch e s w it h   d a ta  se t?   A c ti o n   n o t   re c o g n ize d   A c ti o n   re c o g n ize d   Ca p tu re   im a g e   u sin g   w e b c a m   a n d   T h e r m a l   Ba c k   g ro u n d   su b trac ti o n   Co n v e rt  c o lo r   im a g e   in   to   b i n a ry   i m a g e   F in d   th e   le n g th   t o   w id th   ra ti o   F il li n g   h o les   i n   b in a ry   i m a g e   Ero d i n g   th e   im a g e   F in d in g   t h e   sk e leto n   f o im a g e   F in d   e n d   a n d   ju n c ti o n   p o i n ts   Cre a te fea tu re   v e c to r   Ye s   No   Evaluation Warning : The document was created with Spire.PDF for Python.
                   I SS N :   2252 - 8 7 7 6   IJ - I C T   Vo l.  7 ,   No .   3 ,   Dec em b er   201 8   :   1 1 7   123   122   T ab le  1 .   L en g t h   to   W id th   R ati o   of   D if f er en t   A cti v it ies   N o . o f   a c t i v i t i e s   L e n g t h   W i d t h   L e n g t h / w i d t h   1   1 1 6   2 7 0   0 . 4 2 9 6   2   63   2 2 8   0 . 2 7 6 3   3   60   2 3 2   0 . 2 5 8 6   4   1 3 4   2 4 2   0 . 5 5 3 7   5   82   2 4 3   0 . 3 3 7 4   6   73   2 4 1   0 . 3 0 2 9   7   2 2 1   2 3 8   0 . 9 2 8 5   8   2 1 8   2 3 8   0 . 9 1 5 9   9   2 1 7   2 3 8   0 . 9 1 1 7   10   86   2 3 7   0 . 3 6 2 8       3.   RE SU L T S   T h e   b eh av io r   o f   t h p r o p o s ed   in telli g e n i n f o r m atio n   s y s t e m   f o r   id en ti f y in g   s u s p icio u s   ac tiv it y   is   ev alu a ted   u s i n g   d ataset   cr ea ted   w it h   d if f er en t   ab n o r m a h u m a n   ac tio n s .   T h e   ex p er im en tal   r es u lts   of   t h e   p r o p o s ed   s y s te m   ar e   s h o w n   in   Fig u r e   7,   Fi g u r e   8   a n d   Fi g u r e   9 .   Fig u r e   s h o w s   t h ac cu r a c y   of   th e   p r o p o s ed   in telli g e n t   i n f o r m atio n   s y s te m   f o r   id en ti f y i n g   v ar io u s   ac ti v i ties .   T he   p r o p o s ed   s y s te m   g i v es   9 2 %,   89%   a n d   94%   ac cu r ac y   f o r   ac ti v it y   1 ,   2   an d   3 .   T h e   p r o p o s ed   s y s te m   g iv e s   94%   m a x i m u m   ac cu r ac y   a n d   89%   m i n i m u m   ac cu r ac y   f o r   v ar io u s   ac tiv it ies   s h o w n   i n   Fi g u r e   5 .   T h u s   th e   p r o p o s ed   n o v el   in tellig e n t   in f o r m a tio n   s y s te m   d etec t s   v ar io u s   s u s p ici o u s   ac ti v ities   d u r in g   d a y   a n d   n ig h t   ef f ec ti v el y .                 Fig u r 7 .   P r o p o s ed   I n tellig en t   I n f o r m a tio n   S y s te m   Fig u r e   8 .   A cc u r ac y   of   t h e   P r o p o s ed   I n tellig e n t   I n f o r m a tio n   S y s te m   f o r   I d en ti f y in g   Di f f er en t   A cti v it y               Fig u r 9 .   Neu r al   Net w o r k   Mo d el   f o r   t h P r o p o s ed   I n tellig e n t   I n f o r m a tio n   S y s te m       Evaluation Warning : The document was created with Spire.PDF for Python.
IJ - I C T     I SS N:  2252 - 8776       I n tellig en t I n fo r ma tio n   S ystem  fo r   S u s p icio u s   Hu ma n   A ctivity. . .   ( L Ma z h er I q b a l )   123   4.   CO NCLU SI O N     I n   th i s   p ap er ,   in telli g e n t   i n f o r m atio n   s y s te m   f o r   id en ti f y in g   d if f er e n t   h u m a n   ac tio n s   u s i n g   b ac k g r o u n d   s u b tr ac tio n ,   r ec tif ica tio n ,   m o r p h o lo g y ,   n e u r al   n et w o r k s   an d   d ep th   esti m atio n   w i th   a   th er m al   ca m er a   an d   a   p air   of   w eb ca m   to   v is u alize   un - ca li b r ated   im a g es   is   p r ese n ted .   T h e   m et h o d s   an d   al g o r ith m s   ar t ested   u s in g   v ar io u s   an o m alo u s   ac t io n s   s u ch   a s   h a n d s   b en d i n g ,   h a n d s   u p ,   s ta n d i n g   etc Fo r   o b j ec t   r ec o g n itio n ,   r eliab le   b ac k g r o u n d   m o d el   s et   up   is   r eq u ir ed   to   id en ti f y   m o v i n g   o b j ec t   an d   u p d at e   th e   b ac k g r o u n d .   Var io u s   co m m o n   m o v i n g   o b j ec t   d etec tio n   tech n iq u es   ar e   av ail ab le   s u ch   as   o p tical   f lo w ,   s eg m en tatio n ,   te m p o r al   d if f er e n ci n g   an d   b ac k g r o u n d   s u b tr ac tio n   m eth o d .   T h e   p r o p o s ed   p r o j ec t   u s es   b ac k g r o u n d   s u b tr ac tio n   m eth o d .   T h e   p r o p o s ed   w o r k   p er f o r m s   b ac k g r o u n d   s u b tr ac tio n   f o r   m o v in g   o b j ec t   r ec o g n itio n   u s in g   t h r es h o ld   m eth o d .   T h alg o r ith m   is   i m p r o v ed   s u c h   th at   i m ag e s   w ith   n o n - u n i f o r m   b ac k g r o u n d   can   also   be   u s ed ,   th is   m a y   e n h a n ce   th e   h u m a n   co m p u ter   in ter ac tio n .   T h e   m o v i n g   o b j ec t   is   tr ac k ed   by   ca lcu lati n g   th e   ar ea   an d   ce n tr o id .   Featu r e s   s u c h   as   j u n ct i o n   p o in ts   an d   e n d   p o in ts   ar e   ex tr ac ted   u s i n g   m o r p h o lo g y   s k ele to n .   S u p er v is ed   lear n in g   s u c h   as  n e u r al  n et w o r k   is   u s ed   to   d etec t   an o m alo u s   h u m a n   ac tio n       ACK NO WL E D G E M E NT   T h is   w o r k   is   f u n d ed   by   UG C ,   Ma j o r   R esear ch   P r o j ec t,   MRP - M A J OR - E L E C - 2013 - 19701       RE F E R E NC E S   [1 ]   L e n a   G o re li c k ,   M o s h e   Blan k ,   El i S h e c h tm a n ,   M ich a l   Ira n i,   M e m b e r,   Ro n e n   Ba sri,   M e m b e r.   A c ti o n s     as     S p a c e - T i m e   S h a p e s”   IEE T ra n s a c ti o n s o n   P a tt e rn   A n a lys is &   M a c h in e   In tel li g e n c e ,   V o l.   2 9 ,   No   1 2 ,   p p . 2 2 4 7 - 2 2 5 3 , 2 0 0 7 .   [2 ]   h tt p : // ww w . i m sre s e a rc h . c o m /res e a rc h a re a /S e c u rit y _ a n d _ F ire/ V i d e o _ S u rv e il lan c e _ a n d _ V CA .   [3 ]   h tt p : // ww w . k it w a re . c o m /a v ss _ 2 0 1 2 . h tm l .   [4 ]   Nik o lao s   V .   B o u lg o u ris,   M e m b e r,   IEE E ,   Zh iw e i   X.   C h i.   G a it   Re c o g n it io n   Us in g   Ra d o n   T ra n sf o rm   a n d   L in e a r   Disc ri m in a n t   A n a l y sis” IEE T ra n sa c ti o n s o n   Ima g e   Pro c e ss in g ,   v o l.   1 6 ,   n o .   3 ,   M a rc h   2 0 0 7 .   [5 ]   A r wa   Da r w ish   A lzu g h a ib re v ie w   o n   h u m a n   m o ti o n   d e tec ti o n   b a se d   o n   b a c k g ro u n d   su b trac ti o n   tec h n i q u e s,  IJ CA . 2 0 1 4 .   [6 ]   V .   V is h w a k a r m a ,   C.   M a n d a l,   S .   S u ra .   Au to ma ti c   d e tec ti o n   o h u ma n   f a ll   i n   v id e o ,   L e c tu re   No tes   in   Co m p u ter   S c ien c e ,   4 8 1 5 : 6 1 6 - 6 2 3 ,   2 0 1 3 .   [7 ]   Na re sh   M a rtu ri,   Bra h im   T a m a d a z te,  Na d in e   P iat. V isu a l   S e r v o in g - Ba se d   De p th - Esti m a ti o n   T e c h n iq u e   f o M a n ip u latio n   i n sid e   S EM   IEE E   tra n sa c ti o n o n   in str u me n ta t io n   a n d   me a s u re me n t ,   v o l.   6 5 ,   n o .   8 ,   A u g u st  2 0 1 6 .   [8 ]   J.L . M a z h e Iq b a l,   J.L a v a n y a ,   S . A ru n ,   A b n o rm a l   Hu m a n   A c ti v it y   R e c o g n it io n   u si n g   S c a le   In v a rian t   F e a tu re   T ra n s f o r m   In ter n a ti o n a l   J o u r n a l   o f   C u rr e n E n g i n e e rin g   a n d   T e c h n o lo g y ,   Vo l. 5 ,   No . 6 ,   P P   3 7 4 8 - 3 7 5 1 ,     De c e m b e 2 0 1 5 .     [9 ]   J.L .   M a z h e Iq b a l,   M .   S u riy a   P a r v e e n   S .   A ru n .   Im a g e   stit c h in g   a n d   2 t o   3 D   Im a g e   Re c o n stru c ti o n   f o A b n o rm a A c ti v it y   De tec ti o n ,   In ter n a t io n a l   J o u rn a o C o mp u ter   Ap p li c a ti o n s ,   Vo lu m e   1 3 3     N o . 1 7 ,   P P   1 - 7   Ja n u a ry   2 0 1 6 .   [1 0 ]   J.L .   M a z h e Iq b a l,   S h a ik   S h a k ir  Ba sh a   Rea T ime   3 De p th   Esti ma ti o n   a n d   M e a su re me n o Un - c a li b r a ted   S ter e o   a n d   T h e rm a Im a g e s ,   In tern a ti o n a Co n f e re n c e   o n   Na sc e n T e c h n o l o g ies   in   th e   En g i n e e rin g   F ield   (ICNT E - 2017) Ju n   2 0 1 7 .   Evaluation Warning : The document was created with Spire.PDF for Python.