I n t ern a t i o n a l  J o u rn a l  o f  E l ect ri ca l  a n d  C o m p u t er E n g i n eeri n g  ( I J E C E )   V o l.   8 ,  No .   5 O c t obe r   20 1 8,  p p.  28 39~ 2 846   I S S N :  2088 - 8708 D O I :  10. 11 591/ i j ece . v8 i 5 . pp 283 9 - 2846          2839       Jou r n al  h om e p age h ttp : //ia e s c o r e . c o m/ j our nal s / i nde x . php/ I J E C E   K e y f ra m e Selec t i o n   o f  F ra m Si m i la rit y   t o  G enera t e  Scene   Seg m en t a t io n B a s ed o n P o in t   O per a t io n       W is n u  W id ia r t o 1 M oc h am a d  H ar i ad i 2 E k o  M ul y a nt o  Y uni a r no 3   1 ,2 ,3 D ep ar t m en t   of  E l e c t r i c a l  E ng i ne e r i ng ,  S e p ul u h N o pe m be r  I ns t i t ut e  of  T e c hnol og y ,  I ndo ne s i a   1 I n f o r m at i cs  D ep ar t m en t ,  S eb el as  M ar et  U n i v er s i t y ,  I n d o n es i a       A rt i cl e I n f o     AB S T RAC T   A r tic le  h is to r y :   R ecei v ed   J u l   21 ,  201 7   Re v i se d   M ar   19 ,  20 1 8   A ccep t ed   M a y   17 ,  201 8       V i de o s e gm e nt a t i on ha s   be e n d o ne  by  g r oupi ng  s i m i l a r   f r a m e s  a c c or di ng  t t he  t hr e s ho l d.  T w o - f r a m e s i m i l ar i t y   cal cu l at i o n s  h av e b een  p er f o r m ed  b as ed   on s e v e r a l  ope r a t i ons  o n t he  f r a m e :  poi nt  o pe r a t i on ,  s pa t i a l   ope r a t i o n,   g eo m et r i c o p er at i o n  an d  ar i t h m at i c o p er at i o n .  I n  t h i s  r es ear ch ,  s i m i l ar i t y   cal cu l at i o n s  h av e b een  ap p l i ed  u s i n g  p o i n t  o p er at i o n :  f r a m d i f f er en ce,   g a m m a co r r ect i o n  an d  p eak   s ig n a l to  n o is e  r a ti o.   Th r e e - poi nt  ope r a t i on ha s   b een  p er f o r m ed  i n  acco r d an ce  w i t h  t h e i n t en s i t y  an d   p i x el  f r a m e v al u es F r am e d i f f er en ces  h av e  b een  o p er at ed  b as ed  o n  t h e p i x el  v al u e l ev e l .  G a m m a   co r r ect i o n   h as  an al y zed  p i x el  v al u es   a nd l i g ht i ng  v a l ue s .  T he  pe a k  s i g na l  t n o i s e r at i o  ( P S N R )  h as  b een  r el at ed  t o  t h e d i f f er en ce  v al u e ( n o i s e)  b et w e en   t he  or i g i na l  f r a m e  a nd t h e n ex t  f r a m e.   I f  t h e d i s t an ce d i f f er en ce b e t w e en  t h t wo  f r a m e s   wa s  s m al l er  t h en  t h e t w o   f r a m es   we r e   m o r e s i m i l ar .  I f  t w o   f r a m es   h ad   a h i g h er  g am m a co r r ect i o n  f act o r ,   t he t he  c or r e c t i o n f a c t or  w oul d   h av an  i n cr eas i n g l y  s i m i l ar  e f f e ct  o n  t h e t w o   f r a m es .   I f  t h v al u e o f  P S N R  w a g r e a t e r  t he n t he  c om pa r i s on of  t w o f r a m e s   w oul d   b e m o r e s i m i l ar .   T h e   c om bi na t i on  of  t he  t hr e e  poi nt  o p e r a t i on m e t hods  w oul d   b e ab l e t o  d et er m i n e   s ev er al  s i m i l ar  f r a m es  i n co r p o r at ed  i n  t h e s am e s e g m en t .   Ke y wo rd :   F r a me   d i f f er en ce   G a mma   co r r ect i o n   P eak   s i g na l   to   no i s e   r a tio   P o i nt   ope r a t i on   S im il a r i ty   C opy r i g ht   ©  201 8   I ns t i t ut e  o f  A d v anc e d E ngi ne e r i ng  an Sc i e nc e   A l l  ri g h t s re se rv e d .   Co rre sp o n d i n g  Au t h o r :   W is n u  W id ia r to ,     D ep ar t m en t  o f  E l ect r i cal  E n g i n eer i n g ,     S e pu l u h  N ope m be r   I ns t i t ut e  o f  T e c hno l o g y  ( I T S )  S ur a b a y a ,   K a m pus  I T S  S u k ol i l o,  S u r a ba y a ,   60111,   I nd o ne s i a .   E m a il: w i s n u 1 3 @ m h s . e e . it s . a c . id       1.   I NT RO D UCT I O N   A t  t h i s  t i m e ,   t he   m a na ge m e nt  o f  d a t a  a nd  d o c u m e nt s  i s  ve r y i m p o r t a nt ,  i nc l ud i n g t he   m a na ge m e nt   of  v i de o doc um e nt .  T h e   v i de o doc um e n t  i s  di v i de d i nt o t w m a i n  l a y e r s :   s h ot  a n d s c e n e  [ 1] , [ 2] .  V i de o i s  a   co l l ect i o n  o f  f r a m es  ar r an g ed  i n   s eq u e n ce.  T h e f r a m es  ar s eq u en ce s  o f  ev e n t s  ar r an g ed   b y  s h o t  an d   s ce n e.   T h e  v i de o doc um e n t  i s   u s u a l l y   m a n a g e d a n d a n a l y z e d ba s e d on  f ou r  ba s i c p o i n t s   w h i ch  ar e t h e b as i c   s t r u ct u r e o f  t h v i d eo  h i er ar ch y :  f r a m e,  s h o t ,  s cen e,  a n d  v i d e o  s eq u en ce [ 3 ] , [ 4 ] .   V i d eo   m an a g e m en t  an d   v i d eo  an al y s i s  cr eat es   s ev er al   m a n ag e m e n t   t ech n i q u e s  t h at  ar e c at eg o r i zed   i nt o  t w o  t yp e s :   s t a t i c  ( ke yf r a m e )  a nd  d yna m i c  ( s k i m m i n g)   [ 5 ] , [ 6 ] .  S t a t i c   m a na ge m e nt  t e c hni q ue s  a r e  d o ne  b s el ect i n g  p r o m i n e n t   f r a m e s  a n d  i m p o r t an t  t o  b e u s ed  as   k e y   f r a m e s  [ 7 ] .  T h en ,  s ev er al   k e y   f r a m e s  ar e s el ect ed   f r o m  eac h  s e g m e n t  t o  b e co l l ect ed  an d  r ear r an g ed .  T h e k e y  f r a m e ( s t at i c)  r ep r es en t s  c er t a i n f r a m e s ,  t he   k e y f r a m e co l l ect i o n  i s  a co l l ect i o n  o f  s el ect ed  f r a m es  a n d  p r o m i n en t   f r o m  t h v i d eo  s cen e.  D y n a m i c   m an a g e m e n t  t ec h n i q u es  ar e d o n e b y  s el ect i n g  s o m e o f  t h v i d eo  s eq u e n ces  t h at  ar e co n s i d er ed  i m p o r t an t ,  s o   t h v i d eo  b eco m es   s h o r t er .  S k i m m i n g   ( d yna m i c )  i s  a n  a b s t r a c t i o n o f   m o vi n f r a m e s  a nd  c o nt a i ns  vi d e o   s eg m e n t s  o f  t h v i d eo  s cen e.   I n  t h i s  r es ear c h ,  a  s i m i l ar   f r am g en er at i o n   w i l l  b e d o n e.  T h m et h o d  u s ed  i s  a  m et h o d  b as ed  o n  t h e   o p e r a tio n  o f  th e  p o in t,  th e   u s u a l o p e r a tio n  a p p lie d  to  th e  f r a m e .  T h e  poi n t  ope r a t i on  m e t h od u s e d i s :   f r a m e   d i f f er e n ce,  g a m m a co r r ect i o n   an d  p eak  s i g n al  t o   n o i s e r at i o .  T h e f r a m s i m i l ar i t y  cal c u l at i o n  i s  d o n e o n  t h Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SSN :   20 88 - 8708   In t  J  E l e c  &  C o m p  E n g ,   V o l.   8 , N o 5 O c t obe r  20 18   :   283 9   -   2846   2840   p i x el  v al u e b et w ee n  t h e i n i t i al  f r a m e an d  t h e n e x t  f r a m e,  f o r  al l  p i x el  v al u e s .  T h e cal cu l at ed  v al u i s  ba s e d on   R G B  co l o r  v al u es  ( R ed ,  G r ee n ,  an d  B l u e) .   T h e s i m i l ar i t y   m eas u r es  ar e a p p l i ed  t o  m a n y  ap p l i cat i o n s ,   s u ch  a s   v i d eo   m a n ag e m e n t  t o  a n al y ze  an d   d et ect  s h o t s  o r  s cen e s .  S o m e  o f  r es ear ch er  p r o p o s ed  a  m e t h o d  f o r  u n d er s t a n d i n g   s cen e  u s i n g  t h r ee s t ep s :   s e g m e n ta tio n ,  o b j e c t d e te c tio n  a n d   m o tio n  f e a tu r e s  o r  c o m b i n in g  c la s s i f ic a t io n ,  a n n o ta tio n  a n d  s e g m e n ta tio n   [ 8 ] .  O n e o f  t h e p u r p o s es  o f  v i d eo  an al y s i s  i s  t o  d et ect  a s h o t  o r  s cen e.  S cen e i s  a co l l ect i o n  o f  s h o t s  t h at  h a v e   r el at i o n s h i p s  an d  cr eat e a s t o r y b o a r d  f r o m  t h v i d eo  [ 9 ] .  S cen e can  b e d et ect ed  u s i n g  s ev er al  p r o ces s es :  u s i n g   c r os s e n t r op y   f or  t w h i s t og r a m s  [ 10] ,  u s i ng  t h e   m a x i m um   e n t r op y   m e t h od ( M E M )  ba s e d on  l i n e a r  pr e di c t i on  [ 11] ,  u s i ng  t h e  hi dde n   m a r k o v   m ode l  [ 12] ,  u s i ng   m a r k ov  c h a i n   m on t e  c a r l o [ 13 ] ,  s i m i l a r i t y  ba s e d on  c ol or   a nd   m o t i o n i n f o r m a t i o n u s i n g s ho t  s i m i l a r i t y gr a p h ( S S G )  [ 1 ] ,  us i ng t he  no r m a l i z e d   gr a p h c ut  a p p r o a c ( N C u t )  [ 14] ,  e dg e  de t e c t i on   ba s e d on   m a t h e m a t i c a l   m or ph ol ogy  [ 15] ,  u s i ng   s e c on ge n e r a t i on  c u r v e l e t   t r a n s f or m s   [ 16] .   S h ot   i s   t h b as i el e m e n t   t h at   f o r m s   v i d eo .   S h o t   i s   s eq u en t i al   f r a m e,   r eco r d ed   f r o m   ca m er a [ 2 ] , [ 1 1 ] , [ 1 7 ] .  S h o t  can  b e d et ect ed  u s i n g  t r an s i t i o n s  b et w ee n  s u cce s s i v f r a m e s  i n  a v i d eo .  S h o t   de t e c t i on  t e c hn i qu e s   h a v e  be e n  don e  ba s e d on  t h e  c ol or  h i s t og r a m  [ 18] ,   b as ed  o n  p i x el  d i f f er en ces  [ 1 9 ] ,  an d   m o t i on  i nf or m a t i on  [ 20] .   K e y  f r a m es  ar e s u b - s ect i o n s  o f  a v i d eo  t h at  can  r ep r es en t  t h e co n t en t  o f  t h e v i d eo  an d  can  p r o v i d i nf or m a t i on a bou t  t h e   v i de u s i ng   f e w e r   f r a m e s .  T h e   m a i n  pu r pos e  of  t h e  k e y   f r a m e  i s  t m a k e  t he  vi d e o   s ho r t e r  t ha n t he  o r i gi na l  vi d e o   w i t ho ut  r e d uc i ng t he  c o r e  i nf o r m a t i o n,  b y   m i n i m i z i n g t h e  nu m b e r  o f   f r a m e s   an d   el i m i n a t i n g   t h f r a m r ed u n d an c y   [ 2 1 ] .   T h s el ect i o n   o f   k e y   f r a m es   ca n   b d o n w i t h   t h r ee  m et h o d s :   c l us t e r  b a s e d  ( gr o up i ng s i m i l a r  f r a m e s   i nt o  o ne  gr o up ,  t he t a ki ng  m u l t i p l e  f r a m e s   f r o m  e a c h gr o up ) ,  e ne r g y   m i ni m a l i z a t i o n b a s e d  ( m i ni m i z e d  us i ng  l o o p i ng t e c h ni q ue s ) ,  a nd  s e q ue nt i a l  b a s e d  ( c r e a t i ng  ne w   ke f r a m e s   i n  t h s cen e  d i f f er e n t )  [ 2 2 ] .  T h C l u s t er - b as ed  f r a m s el ect i o n   m et h o d   h as  b een  d o n e  b y   s el ect i n g  f r a m es  t o   r ep r es en t  each  cl u s t er  [ 2 3 ] , [ 2 4 ] .   T h e s el ect ed  f r a m e i s  cal l ed  a k e y   f r a m e.       2.   R ES EA R C H  M ETH O D     T h e k e y  f r a m e i s  t h s el ect ed   f r a m e  o f  a  v i d eo  t h at  ca n  r ep r es en t  i m p o r t an t   v i d eo  co n t e n t .  U s er s  ca n   w a tc h  v id e o  c o n te n t b y  d is p la y i n g   h i g h l i g h t s   f r o m  k e y   f r a m e.  K e y  f r a m e ex t r act i o n   t ech n i q u es  ca n  b cl as s i f i ed  i n  t h r ee  w a y s :   s e q u en t i al  co m p ar i s o n  o f  co l o r ,  co l o r  cl u s t er i n g ,  a n d  s u m  o f   f r a m e - to - f r am d i f f er e n ces  [ 2 5 ] .  I n  t h i s  r es ear ch ,  k e y   f r a m g en er at i o n   w i l l  b e ap p l i ed  u s i n g  f r a m e s i m i l ar i t y  p r o ces s  b as ed   on  poi n t  ope r a t i on .  P oi n t  ope r a t i on  i s  c l os e l y  r e l a t e d t o v a r i ou s  i m a g e  pr oc e s s i ng  t e c hn i q u e s ,  i n c l u di ng  f r a m e   d i f f er e n ces ,  g a m m a co r r ect i o n  an d  p eak  s i g n al  t o  n o i s e r at i o .   A   f r a m e co n s i s t s  o f  s e v er al  p i x el s  t h at  h a v e co l o r  i n f o r m at i o n  v al u es  i n  n u m er i cal  f o r m .  T h es e   n u m er i cal  v al u e s  ca n  b e p r es e n t ed  i n  8 b i t   x  3  i n t eg er s .  E ach  f r a m h as  a d i f f er en t  co l o r  v a l u e.  T h e d i f f er e n ce   o f  t h f r a m v al u w i l l  cau s e t h e d i f f er en ce o f  d i s t an ce a n d  t h e d i f f er en ce o f  p i x el  v al u e b e t w ee n  t w o  f r a m es .   T h e g en er al  f o r m  o f  d i s t a n ce d i f f er e n ce b et w een  t w o   f r a m e s  u s i n g  E u cl i d ean  d i s t a n ce i s  ( 1 ) .     ( ) = = M xN i C i C i C PF PF D 1 2 '                                                           (1 )     w h er e:   C= c o l o r  ( R ,G ,B )   i= p ix e l,   M xN = s i ze o f   f r a me   P F= p i xe l  va l ue  o f  t he   s el ect ed  f r a m e   P F ’= p i xe l   va l ue  o f  t he   ne x t   f r a me   T h e   n u m e r ic a v a lu e s   o f   f r a m e   p ix e ls   c a n   b e   r e la te d   t o   a c tu a lig h ti n g .   T h a r e la tio n s h ip   is   c a lle d   g a m m a.  T h e d i f f er en ce  v al u e  b et w ee n  t w o  f r a m es  ( s e l ect ed  f r a m es  a n d  act u a l  l i g h t i n g )  i s  cal l ed   g a m m a   c o r r e c tio n .  I n  th is  r es ear ch ,  t h e s el ect ed  f r a m e i s  co n s i d er ed  t o  b e  a f r am e t h at   h as   n o t  b een  af f ec t ed  b y   g a m m a co r r ect i o n  ( F )  an d  t h e  n ex t   f r a m e i s  as s u m ed  as  a f r a m e t h a t  h as  b een  a f f ect ed  b y  g a m m a co r r ect i o n   ( F ' ) .  I n ge ne r a l ,  t he  f o r m  o f  ga m m a  t r a ns f o r m a t i o n c a n b e   w r i t t e n   i n  (2 ).     = 255 255 1 log log 10 10 1 F F m m C i C i C i m m                 (2 )     Evaluation Warning : The document was created with Spire.PDF for Python.
In t  J  E l e c  &  C o m p  E n g     I S S N :  2088 - 8708       K eyf r a m e S el ect i o n  o f  F r a m e S i m i l a r i t y t o  G en er a t e S cen e ... .   ( W is n u  W id ia r to )   2841   w h er e:   m = f r a m e n u m b er   i= p ix e l   C= c o l o r  ( R ,G ,B )   F = t he   f r a me   s e le c tio n  ( w it h o u g a m m a co r r ect i o n ) ,   F = t he  ne xt   f r a m e  ( w i t g a m m a co r r ect i o n ) = g a m m a co r r ect i o n   ( 0  <  ∂  < 1 )   T h er e ar e  t w o  cr i t er i a f o r  d et er m i n i n g  t h e s i m i l ar i t y  as s es s m en t  o f  t w o  f r a m es :   o b j ect i v e f i d el i t y   cr i t er i a an d  s u b j ect i v f i d el i t y  cr i t er i a.  O b j ect i v e f i d el i t y   cr i t er i a can  b e d o n e b y  cr eat i n g  a  m at h e m at i ca l   f u n ct i o n  t o  cal cu l at e t h e d i f f e r en ce an d  s i m i l a r i t y  o f  t h e t w o  f r a m es .   F o r  t h e cas e o f   f r am es   w i t h   M x N   s i ze,   t h m ea n  s q u ar e er r o r  v al u e ( b et w ee n  t h e i n i t i al  f r a m e a n d  t h e n ex t   f r a m e)   w i l l  b e r ep r es en t ed  b y  ( 3 ) .     = = = 1 0 1 0 2 ^ ) , ( ) , ( 1 M x N y y x P y x P M xN MSE                            (3 )     M = t he  l e ngt h o f  t he   f r a m e  ( r o w ) N= t h e  wi d t h o f  t he   f r a m e   ( c o l u m n)   ) , ( y x P = th e  p ix e v a l u e  o f  t h e  in it ia l f r a m e ) , ( ^ y x P = t he  p i xe l  va l ue  o f  t he  n e xt  f r a m e   I f  t h n ex t  f r a m e i s  co m p ar ed   w i t h  t h e i n i t i al   f r a m e t h e n  t h er e i s  an  er r o r  o r  n o i s e s i g n al ,  p eak  s i g n a l   t o  n o i s e r at i o  d en o t ed  b y  P S N R  u s i n g  ( 4 ) .  I f  t h e M S E  v al u e  i s  l o w er  t h e n  t h t w o   f r a m es   ar m o r e s i m i l ar .  I f   t he  P S N R   va l ue   ge t s  b i g ge r  t h e n t he  t w o   f r a m e s  ar e g et t i n g  m o r s i m i l ar .     = MSE PSNR m m m m C i C i 1 10 1 255 log 2 10                                                     (4 )     w h er e:   m = f r a m e n u m b er   i= p ix e l   C= c o l o r  ( R ,G ,B )   M SE = th m ean   s q u ar e er r o r  v al u e   P S N R= th e  p e a k   s i g n a l to   n o is e  r a tio   T h e p u r p o s e o f  t h i s  r es ear c h  i s  t o   g e n er at k e y  f r a m e o f  a   v i d eo  u s i n g  f r a m s i m i l ar  p r o ces s .  T h i s   r es ear ch  i s  d o n e i n  t h r ee s t a g es  as   s h o w n  i n   F i g ur e  1 :   s t r e a m i ng,  p r o c e s s i n g,  a nd  ge ne r a t i ng.  T he  s t r e a m i n g   s t ag e i s  t h e s t a g e t o  s ep ar at e s t r ea m i n g  b et w een   s t r e a m i ng  vi d e o  a nd  s t r e a m i n g a ud i o .   T he n,  t he   vi d e o   s t r ea m i n g  r es u l t s  ar e d i v i d ed   i n t o  f r a m es  an d  t h e au d i o  s t r e a m  r es u l t s  ar e n o t  u s ed  i n  t h e  o p er at i o n   p r o ces s   ( r em o v ed ) .  T h s eco n d   s t a g e i s   t h e p r o ces s i n g  s t ag w h i c h  i s   d i v i d ed   i n t o   f o u r  l ev el s :   o p er at i o n,   s eg m e n t at i o n ,  s el ect i o n ,  an d  d el et i o n .  P r o ces s i n g  s t a g e i s  t h e s t ag e t o   m eas u r e f r a m e s i m i l ar ,  cl as s i f y   f r a m e   s i m i l ar ,  s el ect  k e y   f r a m e a n d   r e m o v f r a m e r ed u n d an c y .  T h g en er at i n g   s t ag e  i s  t h e l a s t  s t ep  t o  co l l ect  t h k e y  f r a m es   t h at  h a v e b een   o b t ai n ed   f r o m  t h s el ect i o n   o f  k e y   f r a m e s  i n  t h e s e l ect i o n  p r o ces s  f o r  t h p r o c e s s i ng  s t a ge ,  a s  f o l l o w  i F i gu r e  1.       Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SSN :   20 88 - 8708   In t  J  E l e c  &  C o m p  E n g ,   V o l.   8 , N o 5 O c t obe r  20 18   :   283 9   -   2846   2842       F i gu r e  1.   F r a m w o r k  o f  r es ea r ch   m et h o d       A  co m p ar i s o n  b et w ee n  t w o  s u cces s i v f r a m es   w i l l  d et er m i n e t h e s i m i l ar i t y  v al u e o f  t h e  t w o   f r a m e s .   T h e  s im ila r it y  s c o r e s   f o r  a ll f r a m e s   w ill b e  c a lc u la te d  a n d  u s e d  to  d e te r m i n e  th e  p o s itio n  o f  th e  s e g m e n ts  o f   s i m i l ar   f r a m e s .  T h e co m b i n at i o n  o f   t h r ee  m et h o d s   ( f r a m e  d i f f e r e nc e ,   ga m m a  c o r r e c t i o n,  a nd  p s nr )   w i l l   gi ve   th e  c o n c l u s io n  t h a t w o  f r a m e s  h a v e   s i m ila r  s ta te s ,  d is s i m il a r ,  h e s ita t i o ns  a nd  d i s s o l ve ,  a s  s ho w i T ab l e 1 .   T h e f r a m e s  l o cat ed  o n  each  s e g m e n t  ar e cl as s i f i ed  i n t o  t w o  t y p e s :  ca n d i d at es  a n d  r ed u n d a n c y .  T h e can d i d at e   i s  t h s el ect ed  f r a m e as  t h k e y  f r a m e can d i d at e.  R ed u n d a n c y  i s  a  f r a m e t h at  i s  cl as s ed  as   a f r a m s i m i l ar  an d   s el ect ed  t o  b e r em o v ed .       T ab l e 1 .  T h C o m b i na t i o Re su l t   o P o in t O p e r a tio n   Fr a m e   FD   GC   PSN R   C o m b i n e   C on c l u s i o n   K e fra m e   Ke y  fra m e   S e le c ti o n   1 - 2   S   S   S   S   S eg m en   F1 - F5   C a n di d a t e   K e Fr a m e   K e y  fra m e   S e le c ti o n   2 - 3   S   S   S   S   3 - 4   S   S   S   S   4 - 5   S   S   S   S   5 - 6   D   D   D   D   S eg m en   F6 - F9   C a n di d a t e   K e Fr a m e   K e y  fra m e   S e le c ti o n   6 - 7   S   S   S   S   7 - 8   S   S   S   S   8 - 9   S   S   S   S   9 - 1 0   S   S   D   SS   S im il a r   H e s ita t io n   S eg m en   F1 0 - F1 2   K e y  fra m e   S e le c ti o n   1 0 - 1 1   S   D   S   SS   1 1 - 1 2   D   S   S   SS   1 2 - 1 3   S   D   D   DD   D is s im il a r   H e s ita t io n   D el et e   D el et e   1 3 - 1 4   D   S   D   DD   1 4 - 1 5   D   D   S   DD   1 5 - 1 6   D   D   D   D   D i s s ol ve   R e m ov e   R e m ov e   1 6 - 1 7   D   D   D   D   1 7 - 1 8   D   D   D   D   FD = f r a m e d i f f er en c e,  G C = g am m a co r r e ct i o n P S N R = p e a k  s ig n a l   to  n o is e   r a tio   S = s im il a r ,  D = d i s s i m i l a r ,  S S = s im il a r  h e s it a t io n ,   D D = d i s s i m i l a r  h e s it a t io n       3.   R ES U LT S   A ND  D I SC U SS I O N   I n  t h i s  cas e,  t h e e x p er i m e n t al   v i d eo  i s  a  v i d eo  t h at   h as  a  s i z e o f  1 0 2 , 7 1 5  K B  an d  t h e t i m e  l en g t h  o f   00: 08: 3 8.  V i de o i s  di v i de d i n t o 622 0 f r a m e s  a n d e a c h   f r a m e  h a s  a  s i z e  o f  2292 x  1667  pi x e l s .   A l l   f r a m e s  us e   Evaluation Warning : The document was created with Spire.PDF for Python.
In t  J  E l e c  &  C o m p  E n g     I S S N :  2088 - 8708       K eyf r a m e S el ect i o n  o f  F r a m e S i m i l a r i t y t o  G en er a t e S cen e ... .   ( W is n u  W id ia r to )   2843   t h r ee R G B  co l o r  p ar a m et er s  ( R ed ,  G r een ,  an d  B l u e) .  E ach   f r a m e ( F m )  i s   co m p ar ed  w i t h  t h p r ev i o u s  f r a m e   (F m - 1 )  a nd   t he  ne xt  f r a m e  ( F m+ 1 ) ,  ex cep t  t h i n i t i al   f r a m e ( F 1 )  an d  t h l as t  f r a m e ( F n ) .  T h f r a m e  co m p ar i s o n   c or r e s pon ds  t o t h e  c ol or   p ar a m et er  ( R G B ) .  T h e co m p a r i s o n  b et w ee n  t w o  f r a m es   u s e s  t h r ee - m e t h od  o p er at i o n s :  f r a m e d i f f er en ce,   g a m m a co r r ect i o n ,  an d  p s n r .   T h e co m b i n at i o n  r es u l t  o f  t h r ee  m et h o d s  i s  u s ed  t o  d et er m i n e t h e v a l u e o f   s i m i l ar i t y .  I f  t h c a lc u la tio n  r e s u lts  g iv e  a  s i m i l a r   va l ue  i n s e q ue nc e ,   t he n t he   ne w   s e g m e nt   w i l l  b e  i d e nt i f i e d  unt i l  t he   va l ue  o f   d i s s i m i l ar  i s  o b t ai n ed .  I n  t h e  s eg m en t ,  t h f r a m e i s  s el ect ed  as  t h e k e y  f r a m e ca n d i d at e.  T h e k e y  f r a m e   can d i d at w i l l  b e t h e k e y   f r a m e.  T h e s ep ar at o r   b et w een  a  s eg m en t  a n d  t h e n e xt  s e g m e nt  i s  t he  o ne - t i me   d is s i m ila r  s ta te .   I f  t h r e e  c o m bi n a t i ons  of  poi n t  ope r a t i on  pr o du c e  t w o s i m i l a r  v a l u e s  a n d on e  di s s i m i l a r  v a l u e  t h e n  i t   is  c a lle d  a  s i m ila r  h e s ita tio n .  I f  th e  c o m b in e d  r e s u l t is  a  s i m ila r  h e s ita tio n  t h e n  t h e  f r a m e  r e m a i n s  i n  th e   s eg m e n t ,  an d  t h f r a m e i s  co n s i d er ed  as  a r ed u n d an c y  f r a m e an d  t h e n  d el et ed  t h f r a m e.  I f  a co m b i n a t i o n   p r o d u c e s  o n l y  o n e  s i m ila r  v a l u e  ( t w o   m e th o d s  p r o d u c e  a  d is s i m ila r  v a l u e )  it is  c a lle d  d is s i m ila r  h e s ita tio n .   T he  c o m b i na t i o n o f  t hr e e   m e t ho d s  t ha t  ge ne r a te d  d is s i m ila r  h e s ita tio n   w ill p r o v id e  a  r e c o m m e n d a tio n  t h a t   t h e f r a m e i s   w o r t h  t o  b e r em o v ed .   I f  t h er i s   a d i s s i m i l ar   s t at o n  al l   m et h o d s  ( t h co n cl u s i o n  o f   t h r ee  m et h o d s :   d i s s i m i l ar )  an d   t h co n d i t i o n  i s  e x p er i en ced  i n  s e q u en ce at  l ea s t  t h r ee t i m e s ,  c al l ed  d i s s o l v e.  D i s s o l v w i l l  c au s e t h e ev e n t  t h at   t h e f r a m w as  r e m o v ed  f r o m   t h e can d i d at e k e y   f r a m e.  T h e s el ect ed  k e y   f r a m e ca n d i d at es   w i l l  b e u s ed  as  k e y   f r a m e s  ( each  s e g m en t ) .   A l l   k e y  f r a m es   w i l l  b e co l l ect ed  a n d  u s ed  t o  r ep r es en t  t h f r am e o f  a v i d eo .   A ll   f r a m e s  ar e cal c u l at ed  as   s i m i l ar i t y   v al u e s .  E ach  s i m i l ar i t y  c al cu l at i o n  u s es  t h e  s a m e t h r ee   m et h o d  o p er at i o n .   T h e co m p ar i s o n  r es u l t  b et w e en  t h e t w o   f r a m e s  ( e x a m pl e s :  f r a m e  #0370 - f r a m e  #0377)  i s  s h o w n i n   T ab l e 2   ( f r a m e d i f f er en ce) T ab l e 3  ( g a m m a co r r e c t i o n)  a nd   T a b l e  4  ( p ns r ) .   T he  t hr e e - m et h o d  ap p l i cat i o n  cr eat es   d if f e r e n t c o m b i n a tio n   v a lu e s   f o r  d if f e r e n f r a m e  c o m p a r is o n s ,  e x a m p le s  a s   f o llo w  i n  T ab l 1 .   I f   t h t h r ee   c o m p a r a ti v e   m e th o d s  p r o d u c e  s i m ila r  c o n d itio n s  th e n  t h e  c o m b i n a tio n  is  c a lle d  s i m ila r .   I f  t he  t hr e e - m e t h od  o p e r a tio n  c a u s e  t w o   f r a m e s  i n   a  d is s i m ila r  c o n d itio n  t h e n  it i s  s a id  d is s i m ila r .       T ab l 2 F r am S i m ila r it y  V a l u e   o F r a m e D i f f er e n ce  ( f r a m e  #037   f r a m e  #0377)   f ra m e   fd _ re d   f d _ g r een   f d _ b l u e   a v g _ f d   s u mma r y   . .   . .   . .   . .   . .   . .   # 0 3 7 2 - # 0 3 7 3   0 . 8 4 1 9 8   0 . 7 2 6 8 8   0 . 8 6 4 5 1   0 . 8 1 1 1 3   S im il a r   # 0 3 7 3 - # 0 3 7 4   1 . 8 8 6 5 5   2 . 0 0 9 8 8   2 . 0 0 5 7 5   1 . 9 6 7 3 9   S im il a r   # 0 3 7 4 - # 0 3 7 5   2 6 . 63 2 9 3   2 2 . 55 1 4 5   1 8 . 37 6 4 6   2 2 . 52 0 2 8   D is s im il a r   # 0 3 7 5 - # 0 3 7 6   0 . 5 4 0 7 2   0 . 7 0 6 1 3   0 . 5 3 2 6 3   0 . 5 9 3 1 6   S im il a r   # 0 3 7 6 - # 0 3 7 7   2 . 9 2 4 0 1   2 . 8 6 4 1 7   2 . 9 6 4 9 8   2 . 9 1 7 7 2   S im il a r   . .   . .   . .   . .   . .   . .       T ab l 3 T he   V al u o G a mma  C o r r e c t i o n   ( f r a m e  #0372    f r a m e  #0377)   f ra m e   g c _ r ed   g c _ g r een   g c _ b l u e   a v g _ gc   s u mma r y   . .   . .   . .   . .   . .   . .   # 0 3 7 2 - # 0 3 7 3   0 . 9 75 1 8 99 1   0 . 9 81 0 3 87 6   0 . 9 76 5 8 47 5   0 . 9 77 6 0 44 7   S im il a r   # 0 3 7 3 - # 0 3 7 4   0 . 9 50 9 8 92 2   0 . 9 59 9 6 57 5   0 . 9 57 9 2 67 4   0 . 9 56 2 9 39 0   S im il a r   # 0 3 7 4 - # 0 3 7 5   0 . 6 00 0 8 05 5   0 . 6 45 8 9 05 0   0 . 6 82 1 0 54 5   0 . 6 42 6 9 21 7   D is s im il a r   # 0 3 7 5 - # 0 3 7 6   0 . 9 78 4 5 36 9   0 . 9 84 3 5 61 4   0 . 9 80 2 8 19 8   0 . 9 81 0 3 06 0   S im il a r   # 0 3 7 6 - # 0 3 7 7   0 . 9 25 1 4 10 7   0 . 9 39 6 9 74 7   0 . 9 35 1 0 15 9   0 . 9 33 3 1 33 8   S im il a r   . .   . .   . .   . .   . .   . .       T ab l 4 P s nr   V al u o E x a mp l e s   o f t h e   F r a me  C o mp a r i s o n   ( f r a m e  #0372    f r a m e  #0377)   f ra m e   p s n r _ r e d   p s n r _ g r e e n   p s n r _ b l u e   a v g _ p s n r   s u mma r y   . .   . .   . .   . .   . .   . .   # 0 3 7 2 - # 0 3 7 3   4 1 . 25 4 0 2   4 2 . 78 7 2 9   4 1 . 26 2 6 1   4 1 . 76 7 9 7   S im il a r   # 0 3 7 3 - # 0 3 7 4   3 0 . 59 1 8 9   3 0 . 24 7 3 8   3 0 . 06 7 7 2   3 0 . 30 2 3 3   S im il a r   # 0 3 7 4 - # 0 3 7 5   1 4 . 25 6 0 4   1 5 . 28 2 8 5   1 6 . 36 9 7 6   1 5 . 30 2 8 8   D is s im il a r   # 0 3 7 5 - # 0 3 7 6   3 9 . 53 1 3 6   3 7 . 98 1 4 8   3 9 . 40 0 3 8   3 8 . 97 1 0 7   S im il a r   # 0 3 7 6 - # 0 3 7 7   2 7 . 42 1 4 5   2 7 . 64 0 1 2   2 7 . 96 5 4 7   2 7 . 67 5 6 8   S im il a r   . .   . .   . .   . .   . .   . .       T h e  c o m p a r is o n   is  d o n e ,  t h e  in itia f r a m e  ( e x a m p le f r am e  #0373 )  a nd  t he  ne xt   f r a m e  ( f r a me   #037 4 ) ,  s ta r tin g  f r o m  t h e   f ir s t  p o in t ( c e ll ( 1 ,  1 ) )  u n til  t h e  la s t p o in t  ( c e ll ( M ,  N ) ) .   F r a m e d i f f er e n ce v al u o f   fr a m e  #0373 a n d f r a m e   #037 4:  R e d= 1. 886 55;  G r e e n = 2. 00988;   B l u e = 2. 0 057 5;   A v e r a g e = 1. 96739 ;   R e s u lt= S i m i l ar 1 .  G a m m a c o r r ect i o n  v al u e o f   f r a m #037 3 a n d f r a m e  #0374:  R e d= 0. 9509 892 2;   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SSN :   20 88 - 8708   In t  J  E l e c  &  C o m p  E n g ,   V o l.   8 , N o 5 O c t obe r  20 18   :   283 9   -   2846   2844   G r e e n = 0. 9599 657 5;  B l u e = 0. 9 5792 674;  A v e r a g e = 0. 956293 9 0;   Re s u l t = S i m i l ar 2 .  P S N R   v al u e o f   f r a m e  #0373  a n d f r a m e  #0374:  R e d= 30. 59 189;  G r e e n = 30. 24 738;  B l u e = 30. 06 772;  A v e r a g e = 30. 30233 ;  R e s u l t = S i m ila r 3 .   P r od uc e   of  f r a m e  #0373 a n d f r a m e  #0374 = S im ila r 1 x S i m ila r 2 x S i m ila r 3 = S im il a r   T he  ne xt  c o m p a r i s o n i s  d o ne   o n a l l   f r a m e s  f o r  a ll  p o in ts  ( c e lls )  e v e r y   f r a m e ,  s ta r ti n g   f r o m  t h e   f ir s t   p o in t u n til  th e  la s t p o i n t.  F o r  th e   s e c o n d  e x a m p le  ( d is s i m i la r  c o n d itio n ) : t h e  i n itia l  f r a m e  ( e x a m p le f r a me   #037 4 )   an d   t h e n ex t  f r a m e ( f r a m e  #0375 ) .  F r am e d i f f er en ce  v al u e  o f   f r a m e  #0374 a n d f r a m e  #0375:   R e d= 26. 63 293;  G r e e n = 22. 5 5145;   B l u e = 18. 37 646;  A ve r a g e = 22. 520 28;  R e s u l t = D i s s i m i l a r 1.   G a mma   co r r ect i o n  v al u e  o f   f r a m e  #0374 a n d f r a m e  #0375:  R e d= 0. 6 0008 055;  G r e e n = 0. 6 4589 050;  B l u e = 0. 6821 054 5;   A v e r a g e = 0. 642692 17;   R e s u l t = D i ss i m i l a r 2 .   P S N v a l u e   o f   f r a m e  #0374  a n d f r a m e   #0375:   R e d= 14. 2 560 4;   G r e e n = 15. 282 85;  B l u e = 16. 36 976;  A v e r a g e = 15. 30288;  R e s u l t = D i s s i m i l ar 3 .  P r o d u ce o f  f r a m e  #0374 a n f r a m e  #0375= D i ss i m i l a r 1 x D is s i m ila r 2 x D i s s i m ila r 3 = D is s i m i la r .  T h e s a m e co m p ar i s o n  i s   d o n e o n  al l  f r a m es   f o r  th e  a ll p o in t o p e r a tio n  ( c e ll ) .   I n  t h i s  r es ear ch ,  t h e cal c u l at e d  f r a m e i s  t h e f i r s t  6 0 0  f r a m es  t ak e n  f r o m  t h v i d eo .  T h e  f i r s t  6 0 0   f r a m e s  ar e p r o ces s ed  t o  d et er m i n e t h s cen e,  al l  t h f r a m es   l o cat ed  i n  eac h   s cen e  an d   t h e   n u m b er  o f   f r a m e s  i n   each  s ce n e.  T h e d et er m i n at i o n  p r o ces s   u s es  t h r e e p o i n t  o p er at i o n s :   f r a m e  d i f f er en ce,   g a m m a co r r ect i o n  an d   t h e p eak  s i g n al  t o   n o i s e r at i o .   T h e f r a m e a s s i g n m en t  i n  each  s cen e  r ai s es  t h e  n u m b er  o f   f r a m es   i n  each   s cen e.   D i f f er en t  o p er at i n g   m e t h o d s   can  ca u s e d i f f er en t   s cen e s  a n d  n u m b er  o f   f r a m es   i n  eac h   s ce n e.  T o  o v er co m e   t h es e  d i f f er en ce s ,  t h en  t h e r u l es  ar e d et er m i n ed  t o  o b t ai n  t h e ap p r o x i m at n u m b er  o f  s ce n es  a n d  t h n u m b er   o f  f r a m es  p er  s cen e.  T h e r u l es  i n cl u d e:  i f  t h e n u m b er  o f  f r a m es  i n  a s ce n e i s  l e s s  t h a n  5  f r a m es ,  t h en  t h e s ce n e   w il l b e  d e le te d  ( r e m o v e d ) ; c a l c u la tio n  o f   m in - m a x  d i f f er e n c e b et w ee n  t h r ee  p o i n t  o p er at i o n  an d  d et er m i n ed   t h e l eas t  d i f f er en ce v a l u e;  a s  s h o w n  i n   T ab l e 5 .   T h e  c ol or  h i s t og r a m ,  b y  W i di a r t o,  h a s  be e n   u s e d a s  a  t ool   f or  s h ot  de t e c t i ons ,   s e v e r a l  ke y   f r a m e s   h av e b een  s el ec t ed   as  r ep r es e n t at i v e o f  each  s h o t  o n  a v i d eo  [ 2 0 ] .   W i d i ar t o  h as  u s ed  p i x el  d i f f er en ce s   t o   d et er m i n e   k e y   f r a m e,  s el ect e d   k e y   f r a m es   h a v b ee n   u s ed   t o   f o r m  co m i c   s t r i p s   [ 2 1 ] .   I n   t h i s   r es ear ch ,   t h e   d et er m i n at i o n  o f  t h e s ce n e i s   p r o ces s ed  b as ed  o n  t h e d i f f er en ce o f   f r a m e b et w ee n  t h e t w o  cl o s es t  f r a m es  b y   d et ect i n g  eac h   f r a m u s i n g   a co m b i n at i o n  o f  t h r ee p o i n t  o p er at i o n s  i n  o r d er  t o  o b t ai n   m o r e accu r at e   s eg m e n t at i o n  o f  t h s cen e.       T ab l 5 S cen N u m b e r  C o m b in a tio n   o T h r ee M et h o d s  P o i n t  O p er at i o n   f ra m e   n u m b e r  t h r e s h o l d  o f  e v e r y  s c e n e   n u m b e r  o f  s c e n e   in  t h e   o p e r a tio n   F D/ G C / P S NR   d i s t an c e o f   mi n - ma x   FD   GC   PSN R   mi n   mi n   A l l  o f  f r a m e i n   t h e s c en e i s   a v a i l ab l e   4 6   6 1   1 2 4   4 6   1 2 4   7 8   i f  t h e n u m b er  o f  f r a m e i n   t h e s c en e <   2  t h en  s c en e i s  r em o v ed   2 3   2 4   3 3   2 3   3 3   1 0   i f  t h e n u m b er  o f  f r a m e i n   t h e s c en e <   3  t h en  s c en e i s  r em o v ed   2 1   2 1   2 9   2 1   2 9   8   i f  t h e n u m b er  o f  f r a m e i n   t h e s c en e <   4  t h en  s c en e i s  r em o v ed   1 8   2 0   2 3   1 8   2 3   5   i f  t h e n u m b er  o f  f r a m e i n   t h e s c en e <   5  t h en  s c en e i s  r em o v ed   1 8   1 9   2 2   1 8   2 2   4   i f  t h n u m b er  o f  f r a m e i n   t h e s c en e <   6  t h en  s c en e i s  r em o v ed   1 6   1 8   2 2   1 6   2 2   6       T h e co m p ar i s o n  r es u l t s  o f   f r a m e s i m i l ar i t y  cal c u l at i o n s   f o r  t h e t h r ee  m et h o d s  o f  o p er at i o n   ar e s h o w n   us i n g t a b l e  a s  s ho w n i T ab l e 6 .   T h e t ab l e s h o w s  t h at  t h e  d i f f er e n ce i n   m ea n  p o i n t  ( cel l )  v al u e s ,  o b t ai n ed   f r o m  eac h   f r a m e ( f o r  eac h  r ed ,  g r een ,  b l u e) ,  d et er m i n es  t h e p o s i t i o n  o f  s i m i l ar i t y  l o cat ed ,  i n  a  s i m i l ar  p o s i t i o n   o r  d i s s i m i l ar .  I f  t h e t ab l e s h o w s  a  s u d d en  c h an g e o f  v a l u e,   t h en  i t  i s  s ai d  t h at  t h e s ce n e ch an g e i s  d et ect ed   s u d d en l y .  I f  t h e t ab l s h o w s  s l o w  c h an g e s ,  t h e s ce n e c h a n g e s   w i l l  b e d et ect ed  b y  d i s s o l v e.  T h e t ab l e i s   m ad e   t o  s h o w  t h at  t w o   f r a m e s  ar e i n   a s i m i l ar  o r  d i s s i m i l ar  ar ea,  f o r  cal cu l at i o n s   u s i n g   f r a m d i f f er e n ce ( F D ) ,   g a m m a co r r ect i o n  cal c u l at i o n   ( G C ) ,  an d  p s n r  cal cu l a t i o n  ( P S N R ) .                           Evaluation Warning : The document was created with Spire.PDF for Python.
In t  J  E l e c  &  C o m p  E n g     I S S N :  2088 - 8708       K eyf r a m e S el ect i o n  o f  F r a m e S i m i l a r i t y t o  G en er a t e S cen e ... .   ( W is n u  W id ia r to )   2845   T ab l 6 F r am N um be r   a nd   N um be r   o F r a me s   fo r   E v er y  S c en e U s i n g  T h r ee Met h o d s  P o i n t  O p er at i o n   No   FD   GC   PSN R   C o m b i n a t io n  r e s u l t ( F D /G C / P S N R )   n u m b e r   o f   fra m e s   fra m e   n u m b e r s   n u m b e r   o f   fra m e s   fra m e   n u m b e r s   n u m b e r   o f   fra m e s   fra m e   n u m b e r s   s c en n u m b e r   ( n u m b e r   o f   fra m e )   fra m e   n u m b e r s   d el et e ( D )   r em o v e ( R )   1   1 3 2   # 0 0 1 # 1 3 2   1 3 2   # 0 0 1 # 1 3 2   1 3 2   # 0 0 1 # 1 3 2   1  ( 1 32 )   # 0 0 1 # 1 3 2   -   2   2 1   # 1 3 3 # 1 5 3   1 7   # 1 3 7 # 1 5 3   8   # 1 3 3 # 1 4 0   2  ( 1 7 )   # 1 3 7 # 1 5 3   # 1 3 3 # 1 3 6  ( D )   3           1 3   # 1 4 1 # 1 5 3         4   1 6   # 1 5 7 # 1 7 2   1 9   # 1 5 4 # 1 7 2   1 6   # 1 5 7 # 1 7 2   3  ( 1 6 )   # 1 5 7 # 1 7 2   # 1 5 4 # 1 5 6  ( D )   5   3 3   # 1 7 3 # 2 0 5   3 3   # 1 7 3 # 2 0 5   3 3   # 1 7 3 # 2 0 5   4  ( 3 3 )   # 1 7 3 # 2 0 5   -   6   3 3   # 2 0 6 # 2 3 8   3 3   # 2 0 6 # 2 3 8   3 3   # 2 0 6 # 2 3 8   5  ( 3 3 )   # 2 0 6 # 2 3 8   -   7   3 2   # 2 3 9 # 2 7 0   3 2   # 2 3 9 # 2 7 0   3 2   # 2 3 9 # 2 7 0   6  ( 3 2 )   # 2 3 9 # 2 7 0   -   8   3 7   # 2 7 1 # 3 0 7   9   # 2 7 6 # 2 8 4   1 4   # 2 7 1 # 2 8 4   7  ( 3 2 )   # 2 7 6 # 3 0 7   # 2 7 1 # 2 7 5  ( D )   9       2 3   # 2 8 5 # 3 0 7   1 5   # 2 8 5 # 2 9 9         1 0           8   # 3 0 0 # 3 0 7         1 1   3 3   # 3 0 8 # 3 4 0   2 6   # 3 0 8 # 3 3 3   1 2   # 3 1 1 # 3 2 2   8  ( 1 2 )   # 3 1 1 # 3 2 2   # 3 0 8 # 3 1 0  ( D )   # 3 2 3 # 3 4 0   ( D)   1 2   3 4   # 3 4 1 # 3 7 4   3 4   # 3 4 1 # 3 7 4   3 4   # 3 4 1 # 3 7 4   9  ( 3 4 )   # 3 4 1 # 3 7 4   -   1 3   2 2   # 3 7 5 # 3 9 6   3 0   # 3 7 5 # 4 0 4   6   # 3 7 5 # 3 8 0   1 0  ( 30 )   # 3 7 5 # 4 0 4   -   1 4   8   # 3 9 7 # 4 0 4       1 2   # 3 8 1 # 3 9 2         1 5           1 2   # 3 9 3 # 4 0 4         1 6   3 1   # 4 0 5 # 4 3 5   3 1   # 4 0 5 # 4 3 5   6   # 4 0 5 # 4 1 0   1 1  ( 28 )   # 4 0 5 # 4 3 2   # 4 3 3 # 4 3 5   ( D)   1 7           2 2   # 4 1 1 # 4 3 2         1 8                   # 4 3 6 # 4 4 1  ( R )   1 9   5   # 4 4 2 # 4 4 6   2 4   # 4 4 6 # 4 6 9   2 1   # 4 4 9 # 4 6 9   1 2  ( 21 )   # 4 4 9 # 4 6 9   # 4 4 2 # 4 4 8  ( D )   2 0   2 3   # 4 4 7 # 4 6 9                 2 1   5   # 4 7 0 # 4 7 4   8   # 4 7 0 # 4 7 7   2 5   # 4 7 0 # 4 9 4   1 3  ( 25 )   # 4 7 0 # 4 9 4   -   2 2   2 0   # 4 7 5 # 4 9 4   1 7   # 4 7 8 # 4 9 4             2 3                   # 4 9 5 # 5 0 6  ( R )   2 4   5   # 5 0 7 # 5 1 1   5   # 5 0 7 # 5 1 1           # 5 0 7 # 5 1 1  ( D )   2 5   3 0   # 5 1 2 # 5 4 1   3 0   # 5 1 2 # 5 4 1   1 0   # 5 1 2 # 5 2 1   1 4  ( 30 )   # 5 1 2 # 5 4 1   -   2 6           2 0   # 5 2 2 # 5 4 1         2 7   3 3   # 5 4 2 # 5 7 4   3 3   # 5 4 2 # 5 7 4   3 1   # 5 4 2 # 5 7 2   1 5  ( 31 )   # 5 4 2 # 5 7 2   # 5 7 3 # 5 7 4  ( D )   2 8                   # 5 7 5 # 5 7 7  ( R )   2 9   2 3   # 5 7 8 # 6 0 0   2 3   # 5 7 8 # 6 0 0   2 1   # 5 8 0 # 6 0 0   1 6  ( 21 )   # 5 8 0 # 6 0 0   # 5 7 8 # 5 7 9  ( D )       C al cu l at i o n  o f  each   f r a m e a n d  co m p ar i s o n  o f  t w o  s u cces s i v e f r a m es   h as  b een  d o n e t h e n  d et er m i n ed   t h e s ce n e an d  t h e n u m b er  o f   f r a m es  i n  each   s cen e.  T o  d ef i n e  t h e s ce n e i n  t h i s  r es ear ch   u s i n g  t h r ee p ar a m et er s   ( t h r e e   poi n t   ope r a t i o n)   t he a p p l y   t he   r ul e s   i T ab l 5 .   T h f i n al  d eci s i o n   o f   t h s ce n an d   t h n u m b er   o f   f r a m e s  pe r  s c e n e   f or   a   c o m bi n a t i on  of   t h e  t h r e e   poi n t   ope r a t i on s  c a n   be   s h o w a s   T ab l 6 .   T h f i r s t   600  f ra m es   o f  t h e  vi de o pr odu c e   1 6  s cen es   w i t h   n u m b er  o f   f r a m es  r e s p ect i v el y  ( 527 f r a m e s ) :  132,  1 7,  16 ,  33 ,   33,  3 2,  3 2,  1 2,  3 4,  3 0,  2 8,  2 1,  25,  3 0,  3 1,  a n d 2 1.   R e m ove d   f r a m e s  ar e ( 21 f r am e s ) :  #436 - #441 ( f r a m e s ) ,   #495 - #5 06 ( 1 2 f r a m e s ) ,  a n d # 575 - #57 7 ( 3 f r a m e s ) .   De l et ed   f r a m e s  ar e ( 52 f r am e s ) :  #133 - #136 ( 4 f r a m e s ) ,   #154 - #1 56 ( f r a m e s ) , #271 - #275 ( 5   f r a m e s ) ,   #308 - #31 ( 3   f r a m e s ) ,   #323 - #34 ( 18  f r a m e s ) ,   #433 - #43 5 ( f r a m e s ) ,  #442 - #44 8 ( 7  f r a m e s ) ,  #50 7 - #511  ( 5 f r a m e s ) ,  #573 - #574  ( 2 f r a m e s ) ,  a n d #578 - # 5 7 9  (2  f ra m e s ).       4.   C O N C LU S IO N     T h e g en er at i o n  o f   k e y  f r a m e s   w i t h  s i m i l ar  p r o ces s es  i s  b as ed  o n  t h r ee p o i n t  o p er at i n g   m et h o d s :   f r a m e d i f f er e n ce,  g a m m a co r r ect i o n ,  an d  p eak  s i g n al  t o  n o i s e r at i o .  T h e c o m b i na t i o n o f   t he  t hr e e   m e t ho d s   ma k e s   t h e s el ect ed  k e y   f r am m o r e ap p r o p r i at e .   T h r e m o v ed  f r a m e i s   m o r e p r eci s el y  b eca u s e t h e   r ed u n d an c y   f r a m s el ect i o n  p r o ces s  u s es   t h r ee  p ar a m et er s .   I f   a l l   t h r e e   pr oc e s s   m e t h ods  of   poi n t   ope r a t i on   p r o d u ce s i m i l ar  co n d i t i o n s ,  t h en  t h e t w o   f r a m e s  ar e cal l ed  f r a m s i m i l ar  an d  h a v e t h e s a m e s ce n e p o s itio n .     I f  t h r ee p r o ces s es   s h o w  d i s s i m i l ar  co n d i t i o n s ,   t h e n  t h t w o  f r a m e s  i s  cal l ed  d i f f er e n t  p i x el   v al u es  a n d  t w o   f r a m e s  a r e  in  d if f e r e n t s c e n e  p o s itio n s .     I n  t h e  cas e o f  co n d i t i o n s  t h at   m ak e  d i s s i m i l ar  o ccu r  s eq u en t i al l y ,  t h f r a m e s  ar e as s u m ed  t o  b e i n   t he   d i s o l v e ar ea,  s o  t h e au t o m at i f r a m e r e m o v al  i s  d o n e an d  t h e  f r a m e i s  n o t  u s ed  as  a can d i d at e k e y  f r a m e.   T hi s   r es ear ch  u s es  a v i d eo  t h a t  i s  d i v i d ed  i n t o  6 2 2 0  f r am e s  an d  c ap t u r ed  t h e f i r s t  6 0 0  f r a m es  a s  r es ear ch   m at er i al .   T he  c o m b i na t i o n o f  t hr e e  p o i nt   ope r a t i on   m e t h ods  ( f r a m e   di f f e r e n c e ,   g a m m a  c or r e c t i on a n d pns r )  pr odu c e s   1 6   s cen es  an d  eac h  s ce n e h a s  a n u m b er  o f  d i f f er e n t  f r a m es   ( 1 6  s cen es = 527 f r a m e s ) .   F r a m es  cat e g o r i zed  i n   t he  r e m o ve /d e le te   c la s s i f i cat i o n  ar e r ed u n d an t  an d / or  du bi ou s  f r a m e s  t o s e r v e   as  a s ce n e,  s o  t h at  t h f r a m e s   ar e r em o v ed / d el et ed  ( r e m o v ed  f r a m e s =2 1  an d  d el et ed  f r a m e s = 52) .       Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SSN :   20 88 - 8708   In t  J  E l e c  &  C o m p  E n g ,   V o l.   8 , N o 5 O c t obe r  20 18   :   283 9   -   2846   2846   R EF ER EN C ES   [ 1]   Z .  R as h eed  an d  M .   S h ah ,   D et ect i o n  an d  r e p r es en t at i o n  o f  s cen es  i n  v i d eo s ,   I E E E  T r ans ac t i o ns   on M ul t i m e di a vo l / i ssu e :   11 ( 6 ) ,   p p.  10 97 - 11 05,  2 005 .   [ 2]   Y . Z h u  a n d  Z M i n g , “ SV M - b a s ed  v i d eo  s cen e c la s s if ic a tio n  a n d  s e g m e n ta tio n ,   I nt e r n at i o na l  C onf e r e nc e  o M ul t i m e di an d U bi q ui t o us  E ngi ne e r i ng  20 08 ( M U E  20 08) pp .  4 07 - 41 2 20 0 8.   [ 3]   Y .  Z ha i  a n d M .  S ha h,  “ V i de o   s c e ne  s e gm e nt a t i on us i ng  M a r k ov  c ha i n M ont e  C a r l o,   I E E E  T r ans ac t i ons  on   M u ltim e d ia , v o l / i ssu e :   8 ( 4 ) ,   pp .  68 6 - 69 7,  200 6.   [ 4]   A .  Ch e rg u i ,   e t a l. V i d eo  s cen e s eg m en t at i o n  u s i n g  t h e s h o t   t r an s i t i o n   d et ect i o n  b y  l o cal  ch ar act er i zat i o n  o f  t h e   poi nt s  of  i nt e r e s t ,   201 2 6t h I nt e r nat i on al  C o nf e r e nc e  on Sc i e nc e s  of   E l e c t r oni c s ,  T e c h nol ogi e s  of  I nf or m at i o n an d   T e l e c om m uni c at i ons  ( SE T I T ) ,  p p.   4 04 - 41 20 12.   [ 5]   B.   T .   T r uong  a nd S .   V e nk a t e s h,   V id e o  a b s tr a c tio n : A  s y s te m a tic  r e v ie w   a n d  c la s s if i c a tio n ,”   A C M  T r ans ac t i ons  o n   M ul t i m e di a C om p ut i ng C om m un i c at i o ns  a nd  A pp l i c at i ons   ( T O M CCA P ) ,  vo l / i ssu e :   3 ( 1 ) ,  pp.   1 - 37,  2 007 .   [ 6]   Y .  X ue  a n d W .  Z hi c he ng ,   V i d eo  S eg m en t at i o n  an d   S u m m ar i zat i o n  B as ed  o n  G en et i c A l g o r i t h m ,   I E E E  2 0 1 1 4t I nt e r nat i o nal  C on gr e s s  on  I m age   and  Si gn al  P r oc e s s i ng p p.  46 0 - 46 4 2 01 1.   [ 7]   M.   A .  M i zh er ,   e t a l. , “ m e a ni ng f ul  C om pa c t  K e y  F r a m e s  E x t r a c t i on i n C om pl e x  V i de o S hot s ,   I n d on e s i an  J our n al  o f  E l e c t r i c al   E n gi ne e r i n g  an d C om put e r   Sc i e nc e ,  vo l / i ssu e :   7 ( 3 ) ,   pp .  8 18 - 82 9,  20 17 .   [ 8]   L.   J .  Li ,   e t a l. T ow a r ds  t ot a l  s c e ne  unde r s t a n di ng :  c l a s s i f i c a t i on,  a n not a t i on  a nd   s eg m en t at i o n  i n  an  au t o m at i f r a m e w o r k ,   I E E E  C onf e r e nc e  o n c om p ut e r  v i s i o n a nd  p at t e r n r e c ogn i t i o n ( C V P R 2 00 9) p p.   20 36 - 2 043 20 09 .   [ 9]   Z . X i o n g ,   e t a l. S em an t i c r et r i ev al  o f   v i d eo   -   r e v i e w  o f  r es ear ch  o n  v i d eo  r et r i ev al  i n   m eet i n g s ,   m o v i es  an d   b r o ad cas t  n e w s,  a n d  sp o r t s,   I E E E  Si gn al  P r oc e s s i n g M ag az i ne , v o l / i ssu e :   23 ( 2 ) ,  pp.   1 8 - 2 7,  20 06.   [ 1 0]   S.   H .  K i m  an d  R .   H . P a r k A  nov e l  a ppr oa c h t o s c e ne  c ha ng e  de t e c t i on us i ng  a  c r os s  e nt r opy ,   P r oc e e di ng 2 00 0   I nt e r nat i o nal  c onf e r e nc e  o n i m a g e  pr oc e s s i ng p p.   93 7 - 9 40 2 00 0.   [ 1 1]   P.   Y .  Y e oh a nd S .   A.   R .  Ab u - B ak ar ,   M a x i m u m  e nt r opy   m e t hod ( M E M )  f or  a c c ur a t e   m ot i on t r a c ki ng ,   T E NCO 200 3 C onf e r e nc e  o n c o nv e r ge nt  t e c hnol ogi e s  f or  A s i a - Pa s ific  r e g i o n p p.   34 5 - 3 49 20 03 .   [ 1 2]   J.  Hu a n g ,   e t a l. J o i n t  s cen e cl as s i f i cat i o n  an d  s eg m en t at i on ba s e d on  hi dde n m a r k ov   m ode l ,   I E E E  T r ans ac t i o ns   on M ul t i m e di a ,  vo l /is s u e :   7 ( 3 ) ,  p p.   5 38 - 55 0,  2 00 5.   [ 1 3]   Y .  S on g ,   e t a l. MC MC - ba s e d s c e ne  s e gm e nt a t i on  m e t hod us i ng   s t r uc t ur e   of  v i de o,   I nt e r n at i on al   Sy m pos i um  on   C om m uni c a t i o ns  a nd  I nf or m at i on  T e c hno l o gi e s   ( IS CIT ) pp .  8 62 - 86 6 2 01 0.   [ 1 4]   Y . Z h a o ,   e t a l. S c e ne   S e gm e nt a t i on a nd C a t e g or i z a t i o n U s i ng  N C ut s ,   2 00 7 I E E E  C o nf e r e nc e  on C om p ut e r   V i s i on  a nd P at t e r n  R e c og ni t i on , p p .  1 7 20 07 .   [ 1 5]   D .  A g h l m an d i  an d  K .  F aez,   A ut om a t i c  S e gm e nt a t i on of  G l ot t a l  S pa c e   f r om  V i de I m ag es  B a s ed  o n  M at h em at i cal   M or p hol og y  a nd t he  H oug h T r a ns f or m ,   I nt e r nat i on al  J o ur na l  of   E l e c t r i c al  an d C om p ut e r  E n gi ne e r i ng ( I J E C E ) v ol / i ssu e :   2 ( 2 ) ,  pp.   2 23 - 23 0,  20 12 .   [ 1 6]   R.   C .  J oh ns on ,   e t a l. ,  “C u r v el et   T r an s f o r m  b as ed  R et i n al  I m ag A n al y s i s , ”  I nt e r nat i on al  J our n al   of  E l e c t r i c al  a n d   C om put e r  E ng i ne e r i ng  ( I J E C E ) ,  vo l / i ssu e :   3 ( 3 ) ,  pp.   36 6 - 3 71 ,  2 01 3 .   [ 1 7]   H.   B . K a n g A  h i er ar ch i cal  ap p r o u ch   t o  s cen e s eg m en t at i o n ,   I E E E  W or k s hop  o n C o nt e nt - B a s ed   A cces s  o f  I m a g e   and  V i de o L i br ar i e s ,   20 01  ( C B A I V L  2 00 1) , p p . 6 5 - 71 20 01.   [ 1 8]   W .  W id ia r to ,   e t a l. V i d eo  s u m m ar i zat i o n  u s i n g  a k ey   f r a m e  s el ect i o n   b as ed  o n  s h o t  s eg m e n t at i o n ,   2 01 I nt e r nat i o nal  C on f e r e nc e  on  Sc i e nc e  i n I nf or m a t i o n T e c h nol ogy  ( I C SI T e c h) ,  pp.   2 07 - 2 12 20 15.   [ 1 9]   W .  W id ia r to ,   e t a l. S h ot   s e gm e nt a t i o n of   v i d eo  an i m at i o n   t o  g en er at e co m i c s t r i p  b as ed  o n  k ey   f r a m e s el ect i o n ,   201 5 I E E E  I nt e r n at i on al  C o nf e r e nc e  on C ont r ol   Sy s t e m ,  C om pu t i ng a nd E ngi ne e r i ng ( I C C SC E ) ,  pp.  3 03 - 3 08 201 5 .   [ 2 0]   M .  de l  F a br o a nd L .  B os z or m e ny i ,   V i d eo  S cen e D et ect i o n  B as e d  O n  R ecu r r i n g  M o tio n  P a tte r n s ,   2010 Se c o nd   I nt e r nat i o nal  C on f e r e nc e s  on A dv anc e s  i n M u l t i m e di a ,  pp.   1 13 - 1 18 2 01 0.   [ 2 1]   G.  Gu a n ,   e t a l. K e y poi nt - b as ed  k e y   f r a m e s el ect i o n ,   I E E E  T r ans ac t i ons  o n c i r c ui t s   an d s y s t e m s  f or  v i de o   t e c hnol ogy ,  vol / i ssu e :   23 ( 4 ) ,  pp.   7 29 - 73 4,  201 3.   [ 2 2]   C .  P an ag i o t ak i s ,   e t a l. E q u i v al en t  k ey f r a m e s  s el ect i o n  b as ed   o n  I s o - C o nt e nt  P r i nc i pl e s ,   I E E E   T r ans ac t i ons  o n   ci r cu i t s  a n d  s ys t em s  f o r  vi d eo  t ech n o l o g y ,  vo l / i ssu e :   19 ( 3 ) ,   pp .  4 47 - 45 1,  20 09.   [ 2 3]   S.   E .   F .  De  Av i l a ,   et  a l . V S U M M :  A   m ech an i s m  d es i g n ed   t o   p r o d u ce s t at i c v i d eo  s u m m ar i es  an d  a n o v el   e v a l ua t i on m e t hod,   P a tte r n  Re c o g n iti o n   L e tte r s ,  vo l / i ssu e :   32 ( 1 ) ,  pp .  56 - 68,  20 11 .   [ 2 4]   M .  P o u r n azar i ,   e t a l. ,   V i d eo  S u m m ar i zat i o n  B as ed  o n  a  F u zzy  B as ed  I n cr e m en t al  C l u s t er i n g ,”   I nt e r nat i on a l   J o u r n a l o f Ele c tr ic a a n d C om pu t e r  E ngi ne e r i ng ( I J E C E ) ,  vo l / i ssu e :   4 ( 4 ) ,   pp .  5 93 - 60 2 ,  20 14 .   [ 2 5]   T.  Li u ,   e t a l. A  nov e l  v i de o k e y - fr a m e - e x t r a c t i on a l g or i t hm  ba s e d on  pe r c e i v e d m ot i on e ne r g y  m ode l ,   I E E E   T r ans ac t i ons   on  c i r c ui t s  a nd  s y s t e m s  f or  v i de o t e c h nol ogy , v o l / i ssu e :   13 ( 10 ) p p.  10 06 - 10 13,  2 00 3.   Evaluation Warning : The document was created with Spire.PDF for Python.