I n t e r n at ion al   Jou r n a l   of   I n f o r m at ics   an d   Com m u n icat ion   T e c h n ol ogy  ( I J - I CT )   Vo l .   1 4 ,   N o .   2 A ugus t   20 2 5 ,   pp.   645 ~ 652   I S S N:  2252 - 8776 DO I 10 . 11591/i ji c t . v 1 4 i 2 . pp 64 5 - 652             645       Jou r n al  h o m e page ht tp: // ij ict . iaes c or e . c om   Hu m a n   d e t e c t io n  i n  C C T V   sc r e e n sh ot  u si n g f in e - t u n in   V GG - 19       F i r d au s   Angga  De wangga,   Abb a   S u ga n d Gi r s an g   D e pa r tm e nt   of  C o mput e r B I N U S   G r a dua t e  P r o g r a m, M a s te r   of  I n f o r ma ti c s , B in a   N us a nt a r a  U ni ve r s it y , J a ka r ta , I nd o ne s ia       Ar t ic l e   I n f o     AB S T RA CT   A r ti c le  h is tor y :   R e c e i ve J u n   28,   2024   R e vi s e No v   20,   2024   A c c e pt e De c   15,   2024       Cl o s e d - c i r cu i t   t el e v i s i o n   (CCT V s y s t em s   h a v e   g en e rat e d   v as t   am o u n t   o f   v i s u al   d at c ru c i a l   fo r   s ecu ri t y   an d   s u r v e i l l a n ce   p u rp o s e s .   E ff ec t i v el y   c at eg o r i zi n g   s ec u r i t y   l e v el   t y p e s   i s   v i t al   f o m ai n t ai n i n g   as s e t   s ec u r i t y   e ff ec t i v el y .   T h i s   s t u d y   p ro p o s e s   a   p rac t i c a l   ap p ro a c h   f o cl as s i f y i n g   CCT V   s c reen s h o t   i m a g e s   u s i n g   v i s u al   g eo me t r y   g ro u p   ( V G G - 19 )   t ran s fe l e ar n i n g c o n v o l u t i o n al   n e u ra l   n e t w o rk   (C N N cl as s i fi c at i o n   mo d el   t h at   w o r k s   re a l l y   w el l   i n   i m a g e   c l as s i fi c at i o n .   T h t as k   i n   cl as s i fi c at i o n   c o m p ro mi s e   o f   c at eg o r i zi n g   s c r e en s h o t s   i n t o   t w o   cl as s e s :   h u m a n s   p re s e n t   an d   n o   h u m an s   p re s e n t .   F i n e - t u n i n g   V G G - 19   m o d el   at t ai n ed   9 8 %   t rai n i n g   a cc u ra cy ,   9 8 %   v al i d at i o n   a cc u ra cy ,   a n d   8 5 %   t e s t   accu ra cy   f o t h i s   c l as s i fi c at i o n .   T o   e v a l u at e   i t s   p e rfo r m a n ce ,   w c o m p ar e d   fi n e - t u n i n g   V G G - 19   m o d e l   w i t h   an o t h e r   me t h o d .   T h V G G - 19 - b a s e d   fi n e - t u n i n g   mo d e l   d em o n s t rat e s   e ff ec t i v en e s s   i n   h an d l i n g   i m a g e   s c r een s h o t s ,   p re s en t i n g   v al u ab l e   t o o l   f o r   CCT V   i m a g e   cl as s i fi c at i o n   a n d   c o n t ri b u t i n g   t o   t h e   en h an cemen t   o f   as s e t   s e cu ri t y   s t rat e g i e s .   K e y w o r d s :   F i ne - t uni n g   Hu m a n   de t e c t i o n   I m a ge   c l a s s i f i c a t i o n   T r a n s f e r   l e a r ni ng   VGG - 19   Th i s   i s   a n   o p en   a c ces s   a r t i c l u n d e r   t h CC  B Y - SA   l i cen s e.     C or r e s pon din A u th or :   F i r d a us   An gga   De wa n gga   De pa r t m e n t   o f   C o m put e r   S c i e n c e ,   B I NU S   Gr a dua te  P r o gr a m ,   M a s t e r   o f   C o m put e r   S c i e n c e   B i n a   Nu s a n t a r a   Uni v e r s i t y   J a ka r t a ,   11480 ,   I n do n e s i a   E m a i l f i r da u s . de wa n gga @bi nus . a c . i d       1.   I NT RODU C T I ON   C l o s e d - c i r c u i t   t e l e vi s i o n   ( C C T V)   s e r v e s   a s   a   s i t ua t i o n a l   c r i m e   pr e ve n t i o n   ( S C P )   m e t h o a i m e a t   e nh a nc i n f o r m a l   s ur v e il l a n c e   i n   s pe c if i c   a r e a s .   S C P   e m p h a s i z e s   c r i m e   de t e r r e n c e   by   m ini mi z i ng   o pp o r t un i t i e s   f o r   c r i mi na l   a c t s   a n e l e v a t i n t h e   pe r c e i v e l i ke li h o o o f   b e i ng  c a ug h t   [ 1] .   Vi d e o   s ur v e i ll a n c e ,   f a c il i t a t e by   C C T s y s t e m s ,   ha s   pr o v e n   t o   b e   a n   e f f e c t i v e   m e t h o f o r   m o ni t o r i n s pe c if i c   l o c a t i o ns .   A r e a s   c a n   b e   c o n t i n uo us ly   m o ni t o r e a r o un t h e   c l o c us i n vi de o   s ur v e i ll a nc e   de vi c e s ,   w i t h   f o ot a ge   a c c e s s i b l e   a s   n e e d e d,   c o m p l e m e n t e by   b ur g l a r   a l a r m   s y s t e ms   [ 2] .   B ur gl a r   a l a r m   s y s t e m s   ha v e   b e e n   a   f u n d a m e n t a l   c o m po n e n t   o f   h o m e   s e c ur i t y   s y s t e m s   f o r   m a ny   ye a r s .   H o we v e r ,   i m p l e m e n t i n i n t r ude r   b e h a vi o r   de t e c t i o t e c h ni que s   pr e s e n t s   c h a ll e n ge s   due   to  i nhe r e n t   l im i t a t i o n s   s uc h   a s   r e s o ur c e   c o n s t r a i n t s   a n m o t i o a r t i f a c t s   [ 3] .   T h e s e   c h a ll e n g e s   i n   m o de r n   s ur v e il l a n c e   s y s t e m s   r e s u l t   i n   a   hi g h   n u m be r   o f   f a l s e   a l a r m s   [ 4] .   T a ddr e s s   t hi s   i s s ue ,   we   pr o p o s e   t h e   ut i l i z a t i o n   o f   de e l e a r nin a l go r i t hm s   t o   r e duc e   f a l s e   a l a r m s   i n   C C T s c r e e ns h o t s .   I n   r e c e n t   y e a r s ,   de e l e a r ni ng,   pa r t i c u l a r l y   c o nv o l ut i o n a l   n e ur a l   n e t wo r ks   ( C NN s ) ,   h a s   a c hi e ve s i g nif i c a n t   a dv a nc e m e n t s   i n   o bj e c t   c l a s s i f i c a t i o n   a n r e c o gni t i o n   [ 5] .   C NN   f r a m e wo r i s   ut i li z e i n   n u m e r o us   a s pe c t s   o f   da i ly   l if e ,   s uc h   a s   a n o m a ly   d e t e c t i o n ,   n a t ur a l   l a n gua ge   pr o c e s s i n ( NL P ) ,   c o m put e r   vi s i o n ,   t i m e - s e r i e s   pr e d i c t i o n ,   i m a ge   i de n t i f i c a t i o n ,   dr ug   de v e l o pm e n t ,   vi de o   e v a l ua t i o n ,   h e a l t h   r i s a n a ly s i s ,   a n r e c o m m e n da t i o n   s y s t e m s .   T hi s   a l l o w s   f o r   t h e   e n c o di n o f   i m a ge   f e a t ur e s   i n t t h e   a r c hi t e c t ur e ,   m a k i ng  t h e   s t r uc tur e   e s pe c i a ll y   e f f e c t i v e   f o r   t a s ks   i nv o l vi ng  i m a g e s   whil e   Evaluation Warning : The document was created with Spire.PDF for Python.
                                I S S N :   2252 - 8776   I n t   J   I n f   &   C o m m u n   T e c hn o l Vo l .   1 4 ,   N o.   2 A ugus t   20 2 5 :   645 - 652   646   mi n im i z i ng  t h e   pa r a m e t e r s   r e qui r e to  s e up   t h e   m o de l   [ 6] .   C NN s   a r e   a   t y pe   o f   f e e d f o r wa r ne t w o r ks   i ns p i r e f r o m   t h e   s t r uc t ur e   o f   a nim a l   vi s ua l   c o r t e x   [ 7] .   T h e y   a r e   v a r i a t i o n s   o f   m u l t il a y e r   pe r c e pt r on s ,   w i t n e ur o n s   a r r a n ge i n   t h r e e   d i m e ns i o n s ,   e s t a bl i s h i n a   l o c a l   c o n ne c t i vi t y   pa t t e r n   a m o n n e a r by   n e ur o n s   a n d   s ha r i n t h e   we i g h t s   o f   l e a r n e f il t e r s .   T h e   a r c hi t e c t ur e   o f   vi s ua l   ge o m e t r y   gr o up  ( VGG - 19 )   wa s   i nf l ue n c e b y   Al e x Ne t ,   a   C NN   pr e s e n t e i n   pr e vi o us   y e a r s   I mage Ne t   c o m pe t i t i o ns   [ 8] .   VGG - 19   i s   a   C NN   t h o r o ugh   19  l a y e r s ,   i nc l ud i ng  f u ll y   c o nn e c t e l a y e r s   a n 16  c o n v o l ut i o n   l a y e r s ,   de s i g n e f o r   i m a g e s   c l a s s if i c a t i o n   i n t 1 , 000  o bj e c t   c a t e g or i e s   [ 9] .   An   i n - de pt h   i l l u s t r a t i on   o f   t h e   VGG - 19   a r c hi t e c t ur e   hi g hli g h t s   t h e   s i g nif ica n c e   o f   t h e   i ni t i a l   c o nv o l ut i o n a l   l a y e r s   i n   c a pt ur i n f u nda m e n t a l   a t tr i b ut e s   s uc h   a s   s ha pe s   a n e dge s ,   of f e r i ng  a   c o m pr e h e ns i ve   un de r s t a n d i n o f   t h e   m o de l s   e a r l da t a   pr o gr e s s i o n   f r o m   i nput   to  o u t pu t   [ 10] .   T h e   f i e l o f   de e l e a r ni ng,   pa tt e r n   r e c o gni t i o n ,   a n h u m a n - c o m put e r   i n t e r a c t i o n   h a s   ga r n e r e d   s i g nif i c a n t   i n t e r e s t   f r o m   r e s e a r c h   s c i e n t i s t s ,   wi t h   a   m a j o r   f o c us   o n   i m a ge   c l a s s i f i c a t i o n   [ 11] .   T hi s   r e s e a r c a l s o   de l v e s   i n t i m a ge   c l a s s i f i c a t i o n   us i ng  t r a n s f e r   l e a r ni ng,   whi c h   i nv o l v e s   l e v e r a g i ng  kn o w l e d ge   f r o m   a n o t h e r   t a s t h a t   h a v e   u s e pr e - t r a i n e m o de l .   T r a n s f e r   l e a r ni ng  s i g ni f i c a n t l y   e nha n c e s   l e a r ni ng  pe r f o r m a n c e   by   b o r r o wi n kn o w l e dge   a n l a b e l   da t a   f r o m   r e l a t e d   d o m a i ns   a n ge t   e x t r a c t e to  a s s i s t   a   m a c hi ne   l e a r ni ng   a l go r i t hm   i a c hi e vi ng  b e t t e r   pe r f o r m a n c e   i t h e   t a r ge t   d o m a i n   [ 12] .   B y   t r a n s f e r   l e a r ni ng,   we   e x t r a c i n f o r m a t i o n   pa t t e r n s   f r o m   s c r e e ns h ot   i m a ge s ,   i mpr o vi n o ur   c l a s s i f i c a t i o n   m e t h o a n o f f e r i n v a l ua bl e   i ns i g h t s   to   b oo s t   s e c ur i t y   m a n a ge m e n t   a n a s s e t   pr e s e r v a t i o n .   B y   ut i li z i ng  t r a n s f e r   l e a r ni n g   a n f in e - t uni ng   t e c h ni que s ,   o u r   m o de l   e f f e c t i ve l y   c a t e go r i z e s   i mage s   i n t t w c l a s s e s h u m a n   a n n o n - h u m a n ,   r e a c hi ng  a   r e m a r ka bl e   85%   a c c ur a c y .   T hi s   s ur pa s s e s   a n o t h e r   m e t h o d,   s uc h   a s   VG G - 16,   whi c h   a c hi e v e   60%   a c c ur a c y   [ 13] .   T hi s   de m o n s t r a t e s   VGG - 19 s   pr o f i c i e nc y   i im a ge   c l a s s if i c a t i o n   a n i t s   s i g nif i c a n t   pot e n t i a l   t o   e nh a nc e   s a f e t y   m a n a ge m e n t   s t r a t e gi e s .       2.   RE S E AR CH  M E T HO D   A   s y s t e m a t i c   s i x - s t e pr o c e s s   wa s   us e i n   r e s e a r c h   m e t h o d.   F i r s t ,   a n   e x t e ns i ve   s ur ve y   i s   c o n duc t e d   to  c o l l e c t   a   di v e r s e   s e t   o f   C C T s c r e e n s h o r e po r t s   a n r e l e va n t   i nf o r m a t i o n .   T h e   ga t h e r e d a t a   t h e un de r go e s   de t a i l e pr e pr o c e s s i ng  to   i m pr o v e   i t s   s u i t a bil i t y   a n qua li t y   f o r   a n a ly s i s .   Ne x t ,   t h e   da t a s e i s   c a r e f u ll y   d i v i de i n t o   t r a i ni ng,   v a li da t i o n ,   a n t e s da t a s e t ,   e n s ur i ng  b a l a nc e r e pr e s e n t a t i o n .   T o   s i mp l i f y   t h e   pr o c e s s ,   e a c h   da t a s e t   i s   c a t e go r i z e i n t o   t w o   c l a s s e s h u m a n   a n n o nh u m a n .   M o de l   i s   t he n   t r a i n e o n   t h e   l a b e l e t r a i ni ng  da t a s e t ,   f o l l o w e by   a   t h o r o ugh   v a l i da t i o n   o f   i t s   pe r f o r m a n c e .   Af t e r   tr a i ni ng  t h e   m o de l ,   we   s e t   a n c h a n ge   hy pe r pa r a m e t e r   o f   t h e   m o de l   f o r   f i ne - t uni n a n r e t r a i n   t h e   m o de l   w i t h   v a li da t i o da t a s e t .   L a s t l y ,   a n   e v a l ua t i o n   p h a s e   e x a mi ne s   t h e   m o de l s   pr e c i s i o n   i n   c l a s s i f yi ng  a n pr e d i c t i n h u m a n   de t e c t i o b a s e o n   C C T s c r e e n s h o t s   wi t h   t e s da t a s e t .   T h e   c o n c e pt ua l   f r a m e wo r o f   t hi s   r e s e a r c h   i s   il l u s t r a t e d   i F i gur e   1 .           F i gur e   1.   C o n c e pt ua l   f r a m e wo r h u m a n   de t e c t i o n   i n   C C T s c r e e n s h o t   us i n f i ne - t uni ng  VGG - 19       2. 1.     Dat a   c ol l e c t ion   T h e   da t a s e t   s i z e   i s   c o n s i de r e a   c r i t i c a l   f a c t or   a f f e c t i n t h e   pe r f o r m a n c e   o f   m o de l   i n   m a c hi ne   l e a r ni ng  [ 14] .   Ou r   s t udy   t a ke s   a   pr a c t i c a l   a pp r o a c h   to  b u i l d i ng  a   h u m a n   de t e c t i o n   c l a s s i f i c a t i o m o de l .     W e   s t a r t   by   c o l l e c t i n hi s t o r i c a l   r e a l - li f e   da t a   a nd  da t a   f r o m   t h e   K a gg l e   we bs i t e ,   s pe c if i c a ll y   t he   Hu m a De t e c t i o n   Da t a s e t   by   Ve r n e r   [ 15] ,   f o c us i ng  on   C C T i m a ge   s c r e e n s h o t s   r e l a t e to   h u m a n   de t e c t i o n .     W e   t h e n   r e f i ne   t h e   da t a s e t   to  i n c l ude   o nly   s c r e e ns h o t s   pe r t i ne n t   to  h u m a n   de t e c t i o n .   R e c o gniz i n t h e   im po r t a n c e   o f   da t a s e s i z e ,   o u r   g o a l   i s   to  a s s e s s   i t s   pr a c t i c a l   i n f l ue n c e   o n   t h e   a c c ur a c y   o f   c l a s s if i c a t i o n   by   o ur   m a c hi ne   l e a r ni ng  m o de l   f o r   de t e c t i n h u m a n s   i s c r e e ns h o t s .   T h e   da t a   c o l l e c t i o n   pr o c e s s   b e ga n   by   a c c e s s i ng   t h e   K a gg l e   w e b s i t e ,   s pe c if i c a ll y   t a r ge t i n 413  da t a s e t   c l us t e r s   r e l a t e to   h u m a n   d e t e c t i o n .   T hr o ugh   a   t h o r o u gh   c o l l e c t i o n   e f f o r t,   405   da t a   p o i n t s   we r e   g a t h e r e d,   r e s u l t i n i n   a   c o m pr e h e ns i ve   da t a s e c o n s i s t i n o f   2, 820  i n s t a n c e s .   T o   f ur t h e r   e n h a nc e   t h e   da t a s e t ,   hi s to r i c a l   r e a l - li f e   da t a   wa s   a dde d,   b r i n g i ng  t h e   tot a l   to   3 , 046   im a ge s .   T hi s   e n r i c h e da t a s e t   s e r v e s   a s   a   s t r o n f o un da t i o n   f o r   i n - de pt h   a n a ly s i s   a n e x p l o r a t i o n   o f   v a r i o us   a s pe c t s   o f   h u m a n   de t e c t i o n ,   o f f e r i ng  va l u a bl e   i ns i g h t s   f o r   p r e di c t i ve   de c i s i o n - m a k i ng.   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t   J   I n f   &   C o m m u n   T e c hn o l     I S S N:   2252 - 8776       Hum an  de tec ti on  in  C C T V   s c r e e ns hot  us ing  f ine - tu ning  V GG - 19   ( F ir daus   A ngga  De w angga )   647   2. 2.     Dat a   p r e p r o c e s s in g   A   c r uc i a l   pr e li m i na r y   s t e b e f o r e   e m p l o yi ng   m a c hi ne   l e a r ni ng  t e c hni que s   i s   u s i n d a t a   pr e pr o c e s s i ng  [ 16] .   Du r i n da t a   pr e pa r a t i o n ,   we   un de r t a ke   f u n d a m e n t a l   pr e pr o c e s s i n t a s ks .   T hi s   i nv o l ve s   e l im i na t i n i r r e l e v a n t   C C T s c r e e n s h o t s   to   e n s ur e   i m a ge   c l e a nl i ne s s   a n s t r uc t ur a l   i n t e gr i t y .   W e   a l s o   i nc l ude   C C T i m a ge s   c a pt ur e un de r   v a r i o us   l i g h t i n c o n d i t i o n s ,   r a n g i n f r o m   l o b r i g h t n e s s   a t   ni g ht   to   f u l b r i g h t n e s s   i n   da yli g h t ,   t h e r e by   e nh a nc i n o v e r a l l   da t a   c o n s i s t e n c y .   A dd i t i o n a ll y ,   we   f il t e r   o ut   bl ur r y ,   c r o ppe d,   a n i r r e l e v a n t   i m a ge s ,   e n s ur i ng  t h a t   our   da t a s e t   i s   de v o i o f   e x t r a n e o us   e l e m e n t s   t h a t   c o ul d   pot e n t i a ll y   d i s r upt   o u r   a n a l y s i s .   A   c r uc i a l   p a r t   o f   t h e   da t a   a n a l y s i s   pr o c e dur e   i s   d a t a   pr o c e s s i n g,   whi c h   o f t e n   de m a n d s   s u b s t a n t i a e f f o r a n t i m e   [ 17] .   I n   t h e   pr e pr o c e s s i n ph a s e ,   t h e   da t a s e wa s   pr e pa r e d   us i n t h e   i m a ge   da t a   ge n e r a t o r   li b r a r y   f r o m   T e n s o r F l o w.   E a c h   p i xe l   v a l ue   i t h e   im a ge s   wa s   s c a l e t o   1/255 ,   e n s ur i n u nif o r m i t y   a c r o s s   t h e   da t a s e t.   A dd i t i o n a ll y ,   t h e   i m a ge s   we r e   r e s i z e to  150 × 150 × di m e ns i o n s ,   a   s t e p   a ppl i e c o n s i s t e n t l y   t t h e   t r a i ni ng,   v a l i d a t i o n ,   a n t e s da t a s e t s .     2. 3.     Dat as e t   d ivi s ion   I n   t hi s   pha s e   o f   r e s e a r c h ,   we   pa r t i t i o n   da t a s e t   i n t o   t h r e e   da t a s e t s a   tr a i ni ng  da t a s e t ,   c o m pr i s i ng  77%   da t a ,   a   v a l i da t i o n   da t a s e t ,   c o n s t i t ut i n 19%   da t a   a nd  t e s t   da t a s e t   wi t h   4%   da t a .   T h e   tr a i ni ng  da t a s e t   a i ds   i n   t h e   m o de l s   l e a r ni ng  pr o c e s s   a n i t s   pe r f o r m a n c e   t a c c ur a t e l y   c l a s s if y   im a ge   [ 18] .   T h e   a c c ur a c y   o f   t h e   m o de l   c a n   b e   o bj e c t i v e ly   e va l ua t e us i n t h e   v a li da t i o da t a s e t ,   pr o vi d i ng  i ns i g h t s   i n t o   r e a l - wo r l c l a s s if i c a t i o n   r e s u l t s   [ 19] .   A n t e s t   da t a s e wi ll   be   us e a s   t e s t i ng  t h e   a c c ur a c y   o f   t h e   m o de l   i n   r e a l   wo r l s c e n a r i o .   T hi s   d i vi s i o n   i s   i m po r t a n t   f o r   s t a t i s t i c a l   a n a ly s is   a n m a c hi ne   l e a r ni ng,   a s   t h e   m o de l   u s e t h e   t r a i ni ng  da t a   to  b u i l a n t r a i n   t h e   m o de l s ,   whil e   t h e   m o de l   us e t h e   v a li da t i o n   da t a   to  e n c o ur a ge   m o de l pa r a m e t e r s   i n   f i ne - t uni ng  [ 20] .   T hi s   pa r t i t i o ni ng  e ns ur e s   a c c ur a c y   a n i n t e gr i t y   o f   t h e   f o l l o w i ng  m o de li ng   pr o c e s s e s   a n a n a ly s i s ,   r e s u l t i n i n   r e l i a bl e   o u t c o m e s   a n i n s i g h t s .   E a c h   da t a s e c o n t a i ni ng  t w c l a s s e s ,   t r a i ni ng  h a ve   h u m a n   c l a s s   (1 , 135  i m a ge s )   a n n o nh u m a n   c l a s s   ( 1, 222  i m a ge s ) ,   v a li da t i o n   h a ve   h u m a n   c l a s s   ( 288  i m a ge s )   a n n o nh u m a n   c l a s s   ( 297  i m a ge s ) ,   a n t e s h a ve   h u m a n   c l a s s   ( 52  i m a ge s )   a n n o nh u man   c l a s s   ( 52  i m a ge s ) .   T hi s   da t a   s p l i t   g i v e s   a   b a l a nc e r e pr e s e n t a t i o n   f o r   m o de l   t r a i ni ng,   v a li da t i o n   a n d   t e s t i n g,   e nh a nc i n t h e   m o de l s   pr e d i c t i v e   c a pa bil i t i e s   a n th e   r o b us t n e s s   o f   t h e   r e s e a r c h   f i nd i n g s .     2. 4.     M od e l   t r ain in g   I n   o ur   tr a i ni ng  pr o c e s s ,   we   ut i li z e   VGG - 19 ,   a   C NN   m o de l   t r a i ne o n   o bj e c t   de t e c t i o n   a n im a ge   c l a s s if i c a t i o n   da t a ,   whi c h   pr e s e n t s   n u m e r o us   b e ne f i t s   f o r   pr o c e s s i n i m a ge   da t a s e t s   [ 21] .   W i t h   pr e t r a i ni ng   a n f i ne - t uni ng,   t hi s   m o de l   i s   c a pa bl e   o f   d i s c e r ni ng  i n t r i c a t e   pa tt e r n s   a n f e a t ur e s   w i t hi n   i m a g e s   [ 22] .     T h e   t r a i ni ng  pr o c e s s   s t a r t s   wi t h   tr a n s f e r   l e a r ni ng ,   u t i li z i ng  pr e - t r a i n e I m a ge Ne t   we i g h t s   a n f r e e z i n a l l   l a y e r s   e x c e pt   t h e   f u ll y   c o nne c t e l a y e r .   T h e   m o de l   i s   t h e n   t r a i ne o n   t h e   t r a i ni ng  da t a s e wi t h   a   l e a r ni ng  r a t e   o f   0. 001,   b a t c h   s i z e   64  a n 25  e po c h .   A f t e r   t hi s ,   v a l i da t i o n   i s   pe r f o r m e us i n 20%   s p l i t   o f   t h e   t r a i ni ng  da t a s e t   to  e v a l ua t e   t h e   m o de l s   pe r f o r m a n c e   a n d   to  r e f i ne   i t s   a bi li t y   i n   pr e d i c t i n h u m a n   de t e c t i o n   w i t hin  s c r e e n s h o t s .   T hi s   v a li da t i o n   he l p s   i n   gu i d i ng  t h e   m o de l s   d i r e c t i o n   a n i m pr o vi ng  i t s   pr e d i c t i v e   a c c ur a c y .   T h e   VGG - 19   m o de l ,   pa r o f   t h e   VG f a mi ly ,   c o ns i s t s   o f   19  l a y e r s   i n   tot a l 16  c o n v o l ut i o n a l   l a y e r s ,     M a x P o o l   l a y e r s ,   f u ll y   c o nn e c t e l a y e r ,   a n d   S o f t M a x   l a y e r .   I t   i nv o l v e s   19. bil li o n   f l o a t i n po i n t   o pe r a t i o n s   ( F L OPs ) .   T h e   VGG - 19   m o de l   i s   s i m p li f i e a n m a de   m o r e   e f f e c t i ve   by   s t a c ki ng  3 × c o n v o l ut i o n a l   l a y e r s   t o   i nc r e a s e   i t s   de pt h   [ 23] ,   [ 2 4] .   I n   VGG - 19 ,   M a x P oo l i ng  l a y e r s   a r e   us e t o   r e duc e   t h e   s i z e   o f   v o l u m e ,   a n o nly   o ne   f u ll y   c o nn e c t e ( F C )   l a y e r   i s   e m p l o y e d.   T h e   m o de l   o b t a i n s   a   150 × 15 0 × r e d,   gr e e n ,   a n bl ue   ( R G B )   i m a ge   a s   i nput .   I n   C NN ,   t h e r e   a r e   f o ur   pr i m a r y   l a y e r s c o nv o l ut i o n ,   poo l i ng,   r e c t i f i e d   li ne a r   uni t   ( R e L U ) ,   a n f u ll y   c o nn e c t e to  e x t r a c i nf o r m a t i o n   f r o m   a n   im a ge .   T h e   c o n v o l ut i o n   l a y e r   us e s   s e v e r a l   f e a t ur e   f il t e r s   t o   pe r f o r m   c o nv o l ut i o n ,   c o m pa r i ng  s m a ll   s e c t i o n s   o f   l a r ge r   i m a ge s   t o   c l a s s if y   t h e m .   T hi s   pr o c e s s   i nv o l v e s   a l i g ni ng  t h e   f e a t ur e   f il t e r   w i t h   i m a ge ,   m u l t i p lyi ng  c o r r e s po n d i n p i xe l s ,   s u m mi n t h e s e   v a l ue s ,   a n d i v i d i ng  by   t h e   t ot a l   n u m be r   o f   p i xe l s   to   o b t a i n   f il t e r e im a ge s   f i na l   v a l u e .   T hi s   pr o c e s s   i s   r e c i pr o c a t e d   a c r o s s   i m a ge   to  o b t a i n   c o n v o l ut i o o u t pu f o r   e a c h   f e a t ur e   f i l t e r .   R e L U,   a   r e c t i f i e l i ne a r   a c t i v a t i o n   f u nc t i o n ,   o u t pu t s   t h e   i n put   di r e c t l y   if   i t   i s   po s i t i v e   a n z e r o   ot h e r wi s e .   I t   i s   t h e   de f a u l t   a c t i v a t i o f u n c t i o n   f o r   m a ny   n e ur a l   n e t wo r ks   due   to  i t s   s upe r i o r   s pe e a n pe r f o r m a n c e .   R e L i s   a pp l i e to  a l l   r e c t i f i e d   f e a t ur e   m a ps   ( f e a t ur e   i m a ge s )   t o   c r e a t e   t h e   f i na l   o u t pu t.   Dur i n po o l i ng,   a n   i n i t i a l   w i ndo s i z e   i s   s e l e c t e d,   a n t hi s   w i ndo m o v e s   a c r o s s   i m a ge   t h a t   h a v e   b e e n   f il t e r e d,   g i vi ng  m a xim u m   v a l ue   f r o m   e a c s e c t i o n .   F l a t t e n   l a y e r   t h e n   f l a t t e n e t h e   poo l e f e a t ur e   m a p   a n s e n t   t h e   i nf o r m a t i o n   t de n s e   l a y e r   o r   f u l ly   c o nn e c t e d   l a y e r .   T hi s   l a y e r   pe r f o r m s   t h e   c l a s s i f i c a t i o n   pr o c e s s   a n ge ne r a t e s   t h e   f i na l   o u t pu t   us i n t h e   S o f t M a a c t i v a t i o n   f u n c t i o n .   S o ft M a x ,   a   t y pe   o f   pr o b a bil i s t i c   l o g i s t i c   r e gr e s s i o n ,   pr o duc e s   a   pr o b a bil i t y   d i s t r i b ut i o b a s e o n   a   gi ve n   s e t   o f   va l u e s .   VGG - 19   l a y e r s   m o de l   a r e   i ll us t r a t e i n   T a bl e   1.   On c e   t h e   m o de l   ge n e r a t e s   pr e d i c t i o n s   f o r   h u m a n   de t e c t i o n ,   we   us e   t e s da t a s e to  m e a s ur e   t h e   a c c ur a c y   o f   t h e   t r a n s f e r   l e a r ni ng  a ppr o a c h .   T hi s   e v a l ua t i o n   h e l p s   de t e r m i ne   h o we l l   t he   m o de l   p e r f o r m s   in  r e a l - wo r l s c e n a r i o s ,   pr o v i d i ng  i ns i g h t   i n t o   i t s   pr a c t i c a l   e f f e c t i ve n e s s .   A dd i t i o n a ll y ,   t hi s   pr o c e s s   e s t a bli s h e s   a   Evaluation Warning : The document was created with Spire.PDF for Python.
                                I S S N :   2252 - 8776   I n t   J   I n f   &   C o m m u n   T e c hn o l Vo l .   1 4 ,   N o.   2 A ugus t   20 2 5 :   645 - 652   648   b a s e li ne   a c c ur a c y ,   w hi c h   s e r v e s   a s   a   r e f e r e n c e   f o r   f ur t h e r   f i ne - t uni ng  t h e   m o de l .   B y   a s s e s s i ng  t h e   m o de l   i n   t hi s   wa y ,   we   c a n   i de n t i f y   a r e a s   f o r   i m pr o v e m e n t   a n o p t i mi z e   i t s   o v e r a ll   pe r f o r m a n c e .       T a bl e   1.   A r c hi t e c t ur e   l a y e r s   VGG - 19   m o de l   L a y e r   O ut put   s ha pe   I nput _1 ( I nput L a y e r )   ( [ N o ne , 150, 150, 3 ) ]   B l oc k1_c o n v ( C o n v 2D )   ( N o n e , 150, 150, 64)   B l oc k1_c o n v ( C o n v 2D )   ( N o n e , 150, 150, 64)   B l oc k1_p oo ( M a xP oo li ng2D)   ( N o n e , 75, 75, 64)   B l oc k2_c o n v ( C o n v 2D )   ( N o n e , 75, 75, 128)   B l oc k2_c o n v ( C o n v 2D )   ( N o n e , 75, 75, 128)   B l oc k2_p oo ( M a xP oo li ng2D)   ( N o n e , 37, 37, 128)   B l oc k3_c o n v ( C o n v 2D )   ( N o n e , 37, 37, 256)   B l oc k3_c o n v ( C o n v 2D )   ( N o n e , 37, 37, 256)   B l oc k3_c o n v ( C o n v 2D )   ( N o n e , 37, 37, 256)   B l oc k3_c o n v ( C o n v 2D )   ( N o n e , 37, 37, 256)   B l oc k3_p oo ( M a xP oo li ng2D)   ( N o n e , 18, 18, 256)   B l oc k4_c o n v ( C o n v 2D )   ( N o n e , 18, 18, 512)   B l oc k4_c o n v ( C o n v 2D )   ( N o n e , 18, 18, 512)   B l oc k4_c o n v ( C o n v 2D )   ( N o n e , 18, 18, 512)   B l oc k4_c o n v ( C o n v 2D )   ( N o n e , 18, 18, 512)   B l oc k4_p oo ( M a xP oo li ng2D)   ( N o n e , 9, 9, 512)   B l oc k5_c o n v ( C o n v 2D )   ( N o n e , 9, 9,  512)   B l oc k5_c o n v ( C o n v 2D )   ( N o n e , 9, 9, 512)   B l oc k5_c o n v ( C o n v 2D )   ( N o n e , 9, 9, 512)   B l oc k5_c o n v ( C o n v 2D )   ( N o n e , 9, 9, 512)   B l oc k5_p oo ( M a xP oo li ng2D)   ( N o n e , 4, 4, 512)   F la tt e n ( F la tt e n)   ( N o n e , 25088)   D e ns e  ( D e ns e )   ( N o n e , 256)   D e ns e  ( D e ns e )   ( N o n e 2)       2. 5.     F in e - t u n in VG G - 19   Af t e r   t h e   i ni t i a l   t r a i ni ng  pr o c e s s ,   s e v e r a l   pa r a m e t e r s   a r e   a dj us t e to  f i ne - t un e   t h e   m o de l .   T h e   f i ne - t uni n pr o c e s s   s t a r t s   by   u nf r e e z i ng  t h e   l a s t   t w o   l a ye r s ,   i nc l ud i ng  t h e   f u ll y   c o nn e c t e l a y e r .   Ne x t ,   t h e   l e a r ni ng   r a t e   i s   r e duc e to  10%   o f   i t s   or i g i na l   v a l ue ,   a n d   da t a   a ugm e n t a t i o n   i s   a pp l i e t t h e   v a li da t i o n   da t a s e to  e nh a nc e   i t s   d i v e r s i t y   s u c h   a s   h o r i z o n t a l   f l i p,   r e s c a l i ng,   30%   r ot a t i o n   r a n ge ,   20%   wi dt h   s hif t   r a nge ,   20%   h e i g h t   s hi f t   r a n ge ,   20%   z oo m i ng ,   a n 20%   s h e a r in [ 25] .   T h e   m o de l   i s   t h e n   r e t r a i n e us i ng  t h e   a ug m e n t e v a li da t i o n   da t a s e t   wi t h   128  ba t c h   s i z e   a n 100  e po c hs .   Dur i n t hi s   r e t r a i ni n p h a s e ,   t h e   m o de l   a l s o   un de r go e s   v a li da t i o n   t h r o ugh   20%   s pl i t   v a li da t i o n   da t a s e t   to  f ur t h e r   a s s e s s   i t s   pe r f o r m a n c e .   Af t e r   f i ne - t uni n t h e   m o de l   a n o b t a i ni ng  t h e   pr e di c t i o n   r e s u l t s ,   we   pr o c e e to   e v a l ua t e   i t s   a c c ur a c y   us i n a   de s i g n a t e t e s t   da t a s e t .   T hi s   s t e i s   c r uc i a l   b e c a u s e   i t   a l l o ws   us   to   a s s e s s   h o we l l   t h e   f in e - t un e d   m o de l   pe r f o r m s   w h e n   a pp li e t o   un s e e n   da t a ,   e f f e c t i v e ly   s im u l a t i n r e a l - wo r l c o n d i t i o n s ,   a n s c e na r i o s .     B y   e v a l ua t i n i t s   pe r f o r m a n c e   o n   t hi s   i n de p e n de n t   da t a s e t ,   we   c a n   i de n t i f y   a ny   d i s c r e pa n c i e s   b e t we e n   t h e   m o de l s   t r a i ni ng  a n t e s t i n c a p a bi li t i e s .   T h e   pr i mar y   go a l   o f   t hi s   e v a l ua t i o n   i s   t o   e n s ur e   t h a t h e   m o de l   i s   n o o nl y   e f f e c t i ve   o n   t h e   t r a i ni ng  da t a   b ut   a l s o   ge n e r a l i z e s   we ll   t o   pr a c t i c a l   a pp li c a t i o ns .   T hi s   pr o c e s s   pr o vi de s   i ns i g h t s   i n t o   t h e   m o de l s   r o b us t n e s s   a n r e l i a bil i t y ,   w hi c h   a r e   e s s e n t i a l   f o r   i t s   de p l o ym e n t   i n   r e a l - wo r l d   s e tt i n g s .   Ul t i m a t e l y ,   a c c ur a t e   e v a l ua t i o n   h e l ps   i n   b u il d i ng  c o nf i d e n c e   i n   t h e   m o de l s   pr e d i c t i v e   a bil i t i e s   a n d   i t s   po t e n t i a l   im pa c t   i n   r e l e v a n t   f i e l d s .     2. 6.     Re s u l t   an d   e val u at ion   I n   t hi s   s e c t i o n ,   t h e   pe r f o r m a n c e   o f   t h e   VGG - 19   m o de l ,   w hi c h   ha s   b e e n   t e s t e d ,   i s   c o m pa r e w i t ot h e r   m o de l s   to  ga i n   de e pe r   i n s i g h t s   i n to   i t s   a bi li t y   to  c l a s s if y   im a ge s   f o r   h u m a n   de t e c t i o n .   T h e   e v a l ua t i o f o c us e s   o n   c o m pa r i ng  pe r f o r m a nc e   m e t r i c s ,   pa r t i c u l a r ly   a c c ur a c y .   A dd i t i o n a ll y ,   t h e   f i na l   m o de l   p r e s e n t s   a   c o nf us i o n   m a t r i x   ba s e o n   t h e   t e s t   da t a s e t ,   i l l u s t r a ti ng  t h e   t r ue   p o s i t i ve ,   t r ue   n e ga t i v e ,   f a l s e   po s i t i v e ,   a n f a l s e   n e ga t i v e   pr e d i c t i o n s .   T h e   a c c ur a c y   o f   t h e   pe r f o r m a n c e   m e t r i c s   i s   c o m put e us i n t h e   ( 1) .       =         +           ( 1)       3.   RE S UL T S   AN DI S CU S S I ON   3. 1.     T r ain in m od e l   r e s u l t   T hi s   ph a s e ,   we   w i l l   d i s c u s s   t h e   r e s u l t s   o f   tr a i ni ng  VGG - 19   tr a n s f e r   l e a r ni ng  m o de l .   R e s e a r c h e r s   ut i li z e t h e   P y t h o n   pr o gr a m mi ng  l a n gua g e   to  c r e a t e   t h e   m o de l s ,   l e v e r a g i ng  t h e   T e n s o r F l o l i b r a r y ,   whi c h   i s   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t   J   I n f   &   C o m m u n   T e c hn o l     I S S N:   2252 - 8776       Hum an  de tec ti on  in  C C T V   s c r e e ns hot  us ing  f ine - tu ning  V GG - 19   ( F ir daus   A ngga  De w angga )   649   r e n o wn e f o r   b u i l d i ng  de e l e a r ni ng  m o de l s .   M o d e l   de v e l o p m e n t   wa s   c o n duc t e us i n t h e   J up y t e r   Not e b oo k   I DE   i n   G o o gl e   C o l l a b o r a tor y .   De s p i t e   s o m e   l im i t a t i o n s ,   Go o gl e   C o l l a b o r a to r y s   GPU  r e s o ur c e s   we r e   a de qua t e   f o r   t hi s   r e s e a r c h .   C r e a t i n t h e   m o de l   i T e n s o r F l o i nv o l v e s   s e ve r a l   pa r a m e t e r s .   VGG - 19   m o de l   we r e   tr a i ne w i t h   2 , 097 , 922  t r a i n a bl e   pa r a m e t e r s   a n 20 , 024 , 384  n o n - tr a i n a bl e   pa r a m e t e r s .   L a s t   e po c h   or   e po c h   25  i n   t hi s   t r a i ni ng  r e s u l t i ng  i n   1. 0000  i n   tr a i ni ng  a c c ur a c y   a n 1. 0000  i n   v a li da t i o n   a c c ur a c y .   L a s t   e po c h   a l s o   r e s u l t i n i n   0. 0029  l o s s   a n 0. 0045  v a li da t i o n   l o s s .   T r a i ni ng  a n v a li da t i o n   r e s u l t   o f   t h e   tr a i ni n m o de l   a r e   i ll us t r a t e d   i n   F i gur e   2.             F i gur e   2.   A c c ur a c y   a n l o s s   t r a i ni ng  VGG - 19   m o de l       Af t e r   t h e   m o de l   h a v e   pr e d i c t i o n   i n   h u m a n   de t e c t i o n   s c r e e ns h o t,   t h e n   we   t e s t   t h e   pr e d i c t i o n   us i ng  t e s da t a s e wi t h   tot a l   o f   52  h u m a n   i m a ge s   a n 52  n o nh u m a n   i m a ge s   w i t h   64  b a t c h   s i z e   a n f a l s e   s h u f f l e .     F o r   a c hi e vi ng  a n   o p t i m a l   c l a s s i f i e r   dur i n t r a i nin g,   e v a l ua t i o n   m e t r i c s   a r e   e s s e n t i a l   [ 26] .   T h e   m e t r i c s   f o r   e v a l ua t i o n   we r e   a c c ur a c y ,   w hi c h   we r e   c a l c u l a t e by   e x a mi ni ng  t r ue   p o s i t i v e s ,   t r ue   n e ga t i v e s ,   f a l s e   po s i t i v e s ,   a n f a l s e   n e ga t i v e s   b e t we e n   t h e   c l a s s e s   a n pr e d i c t i o n   r e s u l t s   o f   m o de l .   T hi s   t e s t i n r e s u l t i n i n   0. 7596  o r   75%   a c c ur a c y   w i t h   45  t r ue   p o s i t i v e s ,   f a l s e   po s i t i v e s ,   18  f a l s e   n e ga t i v e s   a n 34  t r ue   n e ga t i v e s .     3. 2.     F in e - t u n in VG G - 19   r e s u l t   Af t e r   t r a i ni ng  t h e   m o de l ,   we   w il l   d i s c u s s   t h e   r e s u l t s   o f   f i ne - t uni ng  VGG - 19   m o de l .   U nf r e e z i ng  l a s t   l a y e r   i VGG - 19   m o de l   o r   i n   bl o c l a y e r   c r e a t i n 19, 796, 738  t r a i n a bl e   pa r a m e t e r s   a n 2, 325, 5 68  n o n - t r a i n a bl e   pa r a m e t e r s .   T h e   o p t i mi z e r   us e wa s   A d a m   w i t h   a   l e a r ni ng  r a t e   o f   0. 0001,   b a t c h   s i z e   128,   a n t h e   l o s s   f u n c t i o n   wa s   c a t e gor i c a l   c r o s s - e n t r o py .   T h e   f i ne - t uni n t r a i ni ng  pha s e   c o n s i s t e o f   100  e po c h s   us i ng   v a li da t i o n   da t a s e t   to   e v a l ua t e   m o de l   pe r f o r m a n c e .   L a s t   e po c h   o r   e p o c h   100  i n   t hi s   t r a i ni ng  r e s u l t i ng  i n   0. 9829   i n   t r a i ni ng  a c c ur a c y   a n 0. 9828  i n   v a li da t i o n   a c c ur a c y .   L a s t   e p o c h   a l s o   r e s ul t i n i n   0. 0440  l o s s   a nd  0. 0313   v a li da t i o n   l o s s .   T r a i ni n a n v a li da t i o n   r e s u l t   o f   t h e   f i ne - t uni ng  m o de l   a r e   i ll u s t r a t e i n   F i gur e   3.   Af t e r   t h e   m o de l   m a d e   pr e d i c t i o n s   f o r   h u m a n   de t e c t i o n   i n   t h e   s c r e e ns h o t s ,   we   t e s t e d   i t s   pe r f o r m a n c e   us i n a   t e s t   da t a s e c o n s i s t i n o f   52  h u m a n   i m a ge s   a n 52  n o n - h u m a n   im a ge s .   T h e   b a t c h   s i z e   us e wa s   64,   a n t h e   da t a   wa s   pr o c e s s e w i t h o ut  s h u f f li ng.   F o r   e v a l ua t i o n ,   a c c ur a c y   w a s   m e a s ur e by   c o m pa r i n g   t h e   t r ue   po s i t i v e s ,   t r ue   n e ga t i v e s ,   f a l s e   po s i t i v e s ,   a n f a l s e   n e ga t i v e s   b e t we e n   t h e   pr e d i c t e r e s u l t s   a n t he   a c t ua l   c l a s s e s .   T h e   t e s y i e l de a n   a c c ur a c y   o f   85%   ( 0. 8557) ,   wi t h   50  tr ue   p o s i t i v e s ,   f a l s e   po s i t i v e s ,   13  f a l s e   n e ga t i v e s ,   a n 39  t r ue   n e ga t i ve s .             F i gur e   3.   A c c ur a c y   a n l o s s   f i ne - t un e VGG - 19   m o de l   Evaluation Warning : The document was created with Spire.PDF for Python.
                                I S S N :   2252 - 8776   I n t   J   I n f   &   C o m m u n   T e c hn o l Vo l .   1 4 ,   N o.   2 A ugus t   20 2 5 :   645 - 652   650   3. 3.     E val u at ion   I n   o u r   s t udy ,   we   m e a s ur e   pe r f o r m a n c e   f i ne t uni n VGG - 19   m o de l   w i t h   a n o t h e r   m o de l   f o r   h u m a n   im a ge   c l a s s if i c a t i o n .   T h e   r e s u l t s   s h o t h a t   V GG - 19   a c hi e v e b e t t e r   a c c ur a c y   r a t e   85%   i t e s t i n g,   o u t pe r f o r m i ng  a n o t h e r   m e t h o a s   s h o wn   i n   T a bl e   2.   T hi s   hi g hl i g h t s   t h e   e f f e c t i v e n e s s   o f   VG G - 19  i c l a s s if yi ng  i m a ge   c a t e g o r i e s ,   pa r t i c u l a r ly   w i t hi n   th e   c o n t e x t   o f   C C T s c r e e n s h o t s .   Al t h o ugh   ot h e r   m e t h o d   h a s   i t s   a d v a n t a ge s   i n   c e r t a i n   s c e n a r i o s ,   VG G - 19  out pe r f o r m s   i t   i n   m a na g i ng  t h e   c o m p l e xi t i e s   a n c o n d i t i o n s   o f   C C T im a ge s ,   m a k i ng  VG G - 19  i de a l   o pt i o n   f o r   h u m a n   de t e c t i o n   i i m a g e   c l a s s i f i c a t i o n   pr o c e s s .   I t s   de e p   l e a r ni ng  c a pa bil i t i e s   a l l o i t   to  c a t c h   s pe c i f i c   de t a i l s   a n n ua n c e s   i n   C C T i m a ge s ,   r e s u l t i n i n   i m pr o v e d   a c c ur a c y   a n pe r f o r m a n c e .       T a bl e   2.   C o m pa r i s o n   w i t h   a n o t h e r   m e t h o d   M e th o d   A c c u r a c y   F in e - tu ni ng  VGG - 19   85%   T r a ns f e r   l e a r n in VGG - 19   75%   V G G 16 [ 13]   60%       4.   CONC L USI ON   T hi s   r e s e a r c h   pr o po s e a   di f f e r e n t   a ppr o a c h   f o r   h u m a n   de t e c t i o n   i s c r e e ns h o t s ,   u t i l i z i ng  VGG - 19   a   c us to m i z e o bj e c t   de t e c t i o n   m o de l   f o r   i m a ge   c l a s s i f i c a t i o n .   A c hi e vi ng  a   r e m a r ka bl e   85%   a c c ur a c y   r a t e ,   t hi s   m e t h o s ur pa s s e s   ot h e r   m e t h o i n   c a t e gor i z i n s c r e e ns h o t s   i n t o   t w di s t i nc t   c l a s s e s ,   s h o wc a s i ng  i t s   pr o f i c i e nc y   i n   c a pt ur i n im a ge   i n t r i c a c i e s .   T his   b r e a kt h r o ugh   r e pr e s e n t s   a   s i g nif i c a n t   a dv a n c e m e n t   i b ur g l a r y   pr e v e n t i o n   a n s e c ur i t y   m a n a ge m e n t ,   w i t h   pot e n t i a l   t l e s s e n   f a t a l i t i e s ,   i nj ur i e s ,   a n e c o n o m i c   l o s s e s   a s s o c i a t e w i t h   b ur g l a r y   i nc i de n t s .   F ut ur e   r e s e a r c h   s h o u l f o c us   o n   e nha n c i ng  t h e   m o de l s   c a pa bil i t y   to   h a n d l e   d i ve r s e   i m a g e   f e a t ur e s .   F ur t h e r m o r e ,   ke y   go a l s   i nc l ude   e nh a n c i ng  t h e   c l a s s i f i c a t i o n   s y s t e m   f o r   m o r e   c o m pr e h e ns i ve   o bj e c t   c a t e g o r i z a t i o n   a n e x p l o r i n r e a l - t i m e   i m p l e m e n t a t i o n   f o r   i mm e d i a t e   h u m a de t e c t i o n .   E nh a n c i ng  t h e   da t a s e t,   c o l l a b o r a t i n w i t h   j ur i s d i c t i o n ,   a n i nc o r por a t i n t h e   m o de l   i n t o   de c i s i o s uppo r s y s t e m s   a n de t e c t i o n   r e po r t i n p l a t f o r m s   a r e   i m po r t a n t   a c t i o n s   to  m a xi mi z e   i t s   r e a l - wo r l e f f e c t   a n d   e nh a nc e   s a f e t y   i n   h o m e   s ur r o un d i n gs .       AC K NOWL E DGE M E NT S   W e   s i nc e r e ly   t h a n M r .   K o ns t a n t i n   Ve r n e r   f o r   ge n e r o us l y   pr o vi d i n im po r t a n t   Hum a n   De t e c t i o Da t a s e vi a   K a gg l e .   H i s   da t a s e wa s   c r uc i a l   t o u r   s t udy ,   a l l o w i n us   to  c o n duc o ur   r e s e a r c h   a n a c hi e ve   s i g nif i c a n t   r e s u l t s   i n   h u m a n   de t e c t i o n   c l a s s i f i c a t i o n .   W e   de e p ly   h o n o r   hi s   w il li ng n e s s   a n s uppo r to  s h a r e   t hi s   i m po r t a n d a t a   c o l l e c t i o n ,   whi c h   h a s   gr e a t l y   a dv a n c e o ur   c o m pr e h e ns i o n   o f   h u m a n   de t e c t i o n   i n   C C T V   s c r e e n s h o t s .   W e   a l s o   w i de n   o ur   gr a t i t ude   to   t h e   or ga ni z a t i o n s   a n a ut h o r s   wh o s e   publi c a t i o ns   a n r e s e a r c h a v e   b e e n   e s s e n t i a l   t o ur   r e s e a r c h .   T h e i r   e n do w m e n t   h a s   b r o a d e ne o ur   un de r s t a n d i n a n s ha pe t h e   m e t h o do l o g i e s   we   ut i l i z e d.   A dd i t i o n a ll y ,   we   v a l u e   t h e   v a r i e t y   o f   s o ur c e s   t h a pr o vi de e s s e n t i a l   i n s i g h t   a n d   c o n t e x t   f o r   o ur   r e s e a r c h .       F UN DI NG  I N F ORM AT I ON   A ut h o r s   s t a t e   n f u n d i ng  i nv o l v e d.       AU T HO CONT RI B UT I ONS   S T AT E M E NT     Nam e   of   Aut h or   C   M   So   Va   Fo   I   R   D   O   E   Vi   Su   P   Fu   F i r d a us   An gga   De wa n gga                               Abb a   S uga n da   G i r s a n g                                 C     C o n c e pt ua li z a ti o n   M     M e th o d o l o g y   So     So f twa r e   Va     Va li da ti o n   Fo     Fo r ma a na l y s is   I     I nve s ti ga ti o n   R     R e s o u r c e s   D   :   D a ta  C ur a ti o n   O   :   W r it in -   O r ig in a D r a f t   E   :   W r it in -   R e v i e w  &   E di ti ng   Vi     Vi s ua li z a ti o n   Su     Su pe r v is io n   P     P r o j e c a dmi ni s tr a ti o n   Fu     Fu ndi ng a c qui s it i o n     Evaluation Warning : The document was created with Spire.PDF for Python.
I n t   J   I n f   &   C o m m u n   T e c hn o l     I S S N:   2252 - 8776       Hum an  de tec ti on  in  C C T V   s c r e e ns hot  us ing  f ine - tu ning  V GG - 19   ( F ir daus   A ngga  De w angga )   651   CONF L I CT   OF   I NT E RE S T   S T AT E M E NT   A ut h o r s   s t a t e   n c o nf li c t   o f   i n t e r e s t .       E T HI CA L   AP P ROV AL   T h e   r e s e a r c h   r e l a t e to   h u m a n   us e   h a s   b e e n   c o m p li e w i t h   a ll   t h e   r e l e va n t   n a t i o n a l   r e gu l a t i o ns   a n d   i ns t i t ut i o n a l   po l i c i e s   i a c c o r da n c e   w i t h   t h e   t e n e t s   o f   t h e   He l s i nk i   D e c l a r a t i o n   a n h a s   b e e n   a ppr o v e by   t h e   a ut h o r s '   i n s t i t ut i o n a l   r e vi e b o a r o r   e qui v a l e n t   c omm i t t e e .       DA T AV AI L AB I L I T Y   T h e   da t a   t h a t   s upp o r t   t h e   f i nd i ng s   o f   t hi s   s t udy   a r e   o pe nly   a va i l a bl e   i n   Ka gg l e   a t   h t t ps :/ /www . ka ggl e . c o m /dat a s e t s /co n s t a n t i n we r n e r /h u m a n - de t e c t i o n - da t a s e t .       RE F E R E NC E S   [ 1]   E L P i z a B C W e ls h,  D P F a r r in gt o n,  a nd  A L T h o ma s C C T V   s ur v e il la nc e   f o r   c r im e   pr e ve nt i o n:   a   40 - y e a r   s y s t e m a ti c   r e v i e w   w it m e ta - a na l y s is ,”   C r imi nol ogy   and  P ubl ic   P ol ic y vo l.   18,  n o 1,   pp.  135 1 59,  F e b.  20 19,    do i:  10.1111/1745 - 9133.12419.   [ 2]   P L .   C ho ng,   S G a n e s a n,  Y Y T ha n,  a nd  P .   R a v i,   D e s ig ni ng   a a ut o n om o us   tr ig g e r in g   c o nt r o s y s te v ia   m ot i o d e t e c ti o n   f o r   I oT   ba s e s ma r h o m e   s ur ve il la nc e   C C T V   c a m e r a ,”   M al ay s ia J our nal   o f   Sc ie nc e   and   A dv anc e T e c hnol ogy pp.  80 88,     M a r . 2023, do i:  10.56532/m js a t. v 2i s 1.120.   [ 3]   P N e ti na nt A A ma t y a kul a nd  M R ukhi r a n,  A le r in tr ud e r   de t e c t i o s y s te us in pa s s iv e   in f r a r e mot i o de t e c t o r   ba s e d   o in te r n e of   th in gs ,”  i A C M  I nt e r nat io nal  C onf e r e n c e  P r oc e e di ng Se r ie s J a n. 2022, pp. 171 175, do i:  10.1145/3520084.3 520112.   [ 4]   C . M ur o i   e al . , “ A ut o ma t e f a ls e  a la r m  r e du c ti o n i n  a  r e a l - li f e   in te ns i v e   c a r e  s e tt in g us in g m o ti o n  d e te c ti o n,”   N e ur oc r it ic al  C ar e vo l.  32, n o . 2, pp. 419 426, Apr . 2020, d o i :   10.1007/s 12028 - 01 9 - 00711 - w.   [ 5]   M T .   B ha tt i,   M G K ha n,  M A s la m,  a nd   M J F ia z ,   W e a po d e t e c ti o in   r e a l - ti m e   C C T V   v id e o s   us in de e p   le a r ni ng,”     I E E E  A c c e s s , v ol . 9, pp. 34366 34382, 2021, d o i:  10.1109/AC C E S S .2021.3059170.   [ 6]   A A E ln ga r   e al . I ma ge   c la s s if i c a ti o ba s e o C N N a   s ur ve y ,”   J our nal   of   C y be r s e c ur it y   and   I nf o r m at io M anage m e nt   p. P P . 18 - 50, 2021, d o i:  10.54216/j c im .060102.   [ 7]   M L a guna s   a nd  E G a r c e s T r a ns f e r   l e a r ni ng  f o r   il lu s tr a ti o c l a s s if ic a ti o n,”   27t Spanis C om put e r   G r aph i c s  C on f e r e nc e ,   C E I G   2017 , pp. 77 85, 2017, do i:  10.2312/ c e ig .20171213.   [ 8]   O R us s a ko v s k y   e al . I ma g e N e la r g e   s c a l e   v is ua r e c o gni ti on  c ha ll e ng e ,”   I nt e r nat io nal   J our nal   of   C om put e r   V is io n vo l.   1 15,  no . 3, pp. 211 252, 2015, d o i:   10.1007/s 11263 - 015 - 0816 - y.   [ 9]   M . B a ns a l,  M . K uma r , M S a c hd e v a , a nd A . M it ta l,  “ T r a ns f e r  l e a r ni ng  f or  i ma g e   c la s s if ic a ti o n  us in VGG - 19 C a lt e c h - 101 im a ge   da ta   s e t,   J our nal   o f   A m bi e nt   I nt e ll ig e nc e   and   H um a ni z e C om put in g v o l.   14,  n o 4,  pp.  3609 3620,  2 023,    do i:  10.1007/s 12652 - 021 - 03488 - z.   [ 10]   D H in da r t o N A f a r in i,   a nd  E T E s th H C o mpa r is o e f f ic a c y   of   V G G 16  a nd  VGG - 19   in s e c c la s s if i c a ti o m o d e ls ,”     J I K O  ( J ur nal  I nf o r m at ik a dan K om put e r ) , vo l.  6, n o . 3, pp. 189 195, 2023, do i:  10.33387/j ik o . v 6 i3 .7008.   [ 11]   D J a s w a l,   S V a nd  K P S oma n,  I ma ge   c la s s if ic a ti o us in c o n vo lu ti o na n e ur a n e tw o r ks ,”   I nt e r nat io nal   J our nal   of   Sc ie n ti f ic   and E ngi ne e r in g R e s e ar c h , v o l.  5, n o . 6, pp. 1661 1668, 2014,  do i:  10.14299/i js e r .2014.06.002.   [ 12]   S T a mm in a T r a ns f e r   l e a r ni ng  us in V G G - 16  w it h   d e e p   c onvo lu ti o na l   ne u r a n e tw o r f or   c la s s if y in g   im a ge s ,”   I n te r nat io nal   J our nal  of  S c ie nt if i c  and R e s e a r c h P ubl ic at io ns  ( I J SR P ) vo l.  9,  no . 10, p. p9420, 2019, d o i:  10.29322/i js r p.9.10.2019.p9420.   [ 13]   S r il a x mi S K a ma th a nd  V M a y y a A ut o ma t e huma d e t e c t i o in   im a g e s   us in de e l e a r ni ng,”   J our nal   of   P r opul s io n   T e c hnol ogy , vo l.  44, n o . 5, pp. 1897 1902, 2023.   [ 14]   A A lt hni a e al . I mpa c of   da ta s e s iz e   o c la s s if i c a ti o n   pe r f or ma nc e a e mpi r i c a e v a lu a ti o in   th e   m e di c a d o ma in ,”     A ppl ie d Sc ie nc e s  ( Sw it z e r la nd) , vo l.  11, n o . 2, pp. 1 18, J a n. 2021, do i:  10.3390/app110207 96.   [ 15]   K V e r n e r H uma d e t e c t i o da ta s e t,   K aggl e 2022.  ht t ps :/ /ww w .ka ggl e .c o m/ da ta s e ts / c o ns ta nt in w e r n e r /h u ma n - de te c ti o n - da ta s e t.   [ 16]   Z.   X ia o   e al . I mpa c ts   of   da ta   pr e pr oc e s s in a nd  s e le c ti o o e n e r g y   c o ns umpt i o pr e di c ti o m o d e of   H V A C   s y s t e ms   ba s e o n   de e p l e a r n in g,”   E ne r gy  and B ui ld in gs , vo l.  258, p. 111832, M a r . 2022, do i:  10.1016/j . e nbui ld .2022.111832.   [ 17]   S R a r e z - G a ll e g o B .   K r a w c z y k,  S G a r c ía M W ni a k,  a nd  F H e r r e r a A   s ur ve y   o da ta   pr e p r oc e s s in f o r   da ta   s tr e a mi ni ng:   C ur r e nt   s ta tu s   a nd  f ut ur e   di r e c ti o ns ,”   N e ur oc om put in g v o l.   239,  pp.  39 57,  M a y   2 017,     do i:  10.1016/j .n e u c o m.2017.01.078.   [ 18]   B G e  a nd  H T unç , “ O pt im a tr a in in g a nd t e s s e ts  d e s ig f or  ma c hi n e  l e a r ni ng,”   T ur k is h J our nal  of  E le c tr ic al  E ngi ne e r in g and   C om put e r  Sc ie n c e s , v o l.  27, n o . 2, pp. 1534 1545, M a r . 2019, do i:  10.3906/ e lk - 1807 - 212.   [ 19]   M R a f a ło ,   C r o s s   v a li da ti o m e th o ds a na l y s is   ba s e o d ia g no s ti c s   of   th y r oi c a nc e r   me ta s ta s is ,”   I C T   E x pr e s s vo l.   8,  n o.  2,    pp. 183 188, J un. 2022, do i:  10.1016/j .i c t e .2021.05.001.   [ 20]   V P r a de e p,  A B J a y a c ha ndr a S S A s ka r a nd   M .   A bo uha w w a s h,  H y p e r pa r a m e t e r   tu ni ng  us in L é vy   f li ght   a nd  in te r a c ti ve   c r o s s ove r - ba s e r e pt i le   s e a r c a lg or it hm  f or   e y e   m ov e me nt   e ve nt   c la s s i f ic a ti o n,”   F r ont ie r s   in   P hy s io lo gy vo l.   15,  M a y   2 024,     do i:  10.3 389/ f ph y s .2024.1366910.   [ 21]   M A N a uf a a nd  A S G ir s a ng,  T r a f f ic   a c c id e nt   c la s s if i c a ti o us in I nd oB E R T ,”   I nt e r nat io nal   J our nal   of   I nf o r m at ic s   and   C om m uni c at io n T e c hnol ogy , v o l.  13, n o . 1, pp. 42 49, Apr . 20 24, do i:  10.11591/i ji c t. v 13i 1.pp42 - 49.   [ 22]   A S ta te c z n y G U .   K ir a n,  G B in du,  K R .   C h y th a n y a a nd  K A .   S w a m y S pi r a s e a r c gr a s s ho pp e r   f e a tu r e s   s e l e c ti o w it VGG - 19 - R e s N e t5 f or   r e m o t e   s e ns in o b je c t   de t e c ti o n,”   R e m ot e   Se ns in g vo l.   14,   n o 21,  p.   5398,  O c t.   20 22,     do i:  10.3390/ r s 14215398.   [ 23]   Y Z he ng,   C Y a ng,  a nd  A M e r ku l ov B r e a s c a nc e r   s c r e e ni ng  us in c o n vo lu ti o na n e ur a l   ne twor a nd  f ol l o w - up  di gi ta ma mm o gr a ph y ,”  i C om put at io nal  I m agi ng  I I I , M a y  2018, p. 4 , do i:  10.1117/12.230456 4.   [ 24]   L S in gh,  R R J a nghe l,   a nd   S P S a hu,   A n   e mpi r ic a r e v i e w   o e v a lu a ti ng  th e   im pa c of   im a ge   s e gm e nt a ti o o n   th e   c la s s if i c a ti o p e r f or ma nc e   f or   s ki l e s io d e t e c ti o n,”   I E T E   T e c hni c al   R e v ie w   ( I ns ti tu ti on  of   E le c tr oni c s   and  T e le c om m uni c a ti on  E ngi ne e r s , I ndi a) , vo l.  40, n o . 2, pp. 190 201, M a r . 2023 , d o i:   10.1080/02564602.2 022.2068681.   Evaluation Warning : The document was created with Spire.PDF for Python.
                                I S S N :   2252 - 8776   I n t   J   I n f   &   C o m m u n   T e c hn o l Vo l .   1 4 ,   N o.   2 A ugus t   20 2 5 :   645 - 652   652   [ 25]   F C ho ll e t,   D e e l e a r ni ng  w it P y th o n,”   M anni ng  P ubl ic at io C o 2017.   ht tp s :/ /ww w .ma nni ng.c o m/ b oo ks /d e e p - le a r n in g - w it h - p y th o n.   [ 26]   S S he d r ik o   a nd  M F i r da us C o mpa r is o n   of   a da gr a d,  a da de lt a a nd  a da o pt im i z e r s   in   im a g e   c la s s if i c a ti o us in d e e l e a r ni ng  ( in   I ndo n e s ia n) ,”   ST R I N G   ( Sat uan  T ul is an  R is e dan   I nov as T e k nol ogi ) v o l.   8,  no 1,  p.  103,  A ug.   2023,    do i:  10.30998/s tr in g. v 8 i1 .16564.       B I OG RA P HI E S   OF   AU T HO RS       F i rda u s   A n g g a   D ew a n g g a           rece i v e d   h i s   fi rs t   d e g r ee   fro m   Ba k ri e   U n i v e rs i t y ,   Co m p u t e E n g i n ee ri n g ,   J ak art a,   i n   2 0 1 7 .   H e   i s   cu rren t l y   s e n i o r   I T   s t aff  i n   Cro w I n d o n e s i a .   H i s   re s p o n s i b i l i t i e s   i n   t h i s   ro l e   en c o m p as s   w i d e   ran g o t as k s   re l at ed   t o   I T   an d   ap p l i c at i o n   d ev e l o p men t .   H e   c o n t i n u e s   t o   e x ce l   i n   t h i s   p o s i t i o n ,   b ri n g i n g   h i s   s k i l l s   an d   e x p e rt i s t o   c o n t ri b u t t o   t h e   i n d u s t r y .   H e   c an   b e   co n t a c t ed   at   em ai l :   Fi rd au s . d ew a n g g a@ b i n u s . a c . i d .       A bba   S u g a n da   Gi rs a n g           i s   c u rr en t l y   l ec t u r e r   at   m as t er  i n f o r m at i o n   t ec h n o l o g y   a t   Bi n N u s an t ara  U n i v e rs i t y ,   J ak art a.   H e   o b t ai n e d   P h . D .   d eg r ee   i n   t h e   I n s t i t u t e   o Co m p u t e r   an d   C o mm u n i c at i o n   E n g i n ee r i n g ,   D e p art me n t   o E l ec t r i c a l   E n g i n ee ri n g   an d   N at i o n al   C h e n g   K u n g   U n i v e rs i t y ,   T ai n an ,   T ai w a n ,   i n   2 0 1 4 .   H e   g rad u at e d   b ach e l o fr o m   t h D e p art men t   o f   E l ec t ri c al   E n g i n ee ri n g ,   G ad j ah   Ma d U n i v e rs i t y   ( U G M),   Y o g y a k art I n d o n e s i a,   i n   2 0 0 0 .   H t h e n   c o n t i n u e d   h i s   m as t e r   d eg ree  i n   t h e   D e p art m en t   o f   Co m p u t e S ci e n ce  i n   t h s am u n i v e rs i t y   i n   2 0 0 6 2 0 0 8 .   H e   w as   s t aff  c o n s u l t an t   p ro g ramme i n   B e t h e s d H o s p i t al ,   Y o g y ak art a,   i n   2 0 0 1   an d   a l s o   w o r k e d   as   a   w e b   d ev e l o p e i n   2 0 0 2 2 0 0 3 .   H t h e n   j o i n e d   t h fac u l t y   o D e p art me n t   o In fo r m at i c s   E n g i n ee r i n g   i n   J an ab ad ra  U n i v e rs i t y   as   a   l ec t u r e i n   2 0 0 3 - 2 0 1 5 .   H e   al s o   t au g h t   s o me   s u b j ec t s   at   s o m e   u n i v e rs i t i e s   i n   2 0 0 6 2 0 0 8 .   H i s   re s e ar ch   i n t e r e s t s   i n cl u d e   s w ar m   i n t el l i g en ce ,   co m b i n at o r i al   o p t i mi zat i o n ,   an d   d e ci s i o n   s u p p o rt   s y s t em .   H e   c a n   b c o n t ac t e d   at   em ai l :   ag i rs an g @ b i n u s . ed u .     Evaluation Warning : The document was created with Spire.PDF for Python.