I nd o ne s ia n J o urna l o f   E lect rica l En g ineering   a nd   Co m p u t er   Science   Vo l.   21 ,   No .   2 Feb r u ar y   202 1 p p .   8 3 9 ~ 8 4 5   I SS N:  2 5 02 - 4 7 5 2 ,   DOI : 1 0 . 1 1 5 9 1 /i j ee cs.v 2 1 .i 2 . p p 8 3 9 - 8 4 5          839       J o ur na l ho m ep a g e h ttp : //ij ee cs.ia esco r e. co m   Co ntent  bas ed vi deo  ret ri ev a l usin g  discrete  cos ine t ra nsfo r m       Su m a y a   H a m a d 1 ,   Ah m ee d S uli m a n F a rha n 2 ,   Do a a   Ya s ee n K hu dh ur 3   1, 3 Co ll e g e   o f   Co m p u ter S c ien c e   a n d   I n f o rm a ti o n   T e c h n o lo g y ,   Un iv e rsit y   o f   A n b a r,   A n b a r,   Ira q   2 Co m p u ter Cen ter,  Un iv e rsity   o f   A n b a r,   A n b a r,   Ira q       Art icle  I nfo     AB ST RAC T   A r ticle  his to r y:   R ec eiv ed   A p r   1 8 ,   2 0 2 0   R ev i s ed   J u n   15 ,   2 0 2 0   A cc ep ted   J u n   21 ,   2 0 2 0       A   c o n ten t   b a se d   v id e o   re tri e v a l   (CBV R)   f ra m e w o rk   is   b u il t   i n   t h is  p a p e r.   On e   o f   th e   e ss e n ti a f e a tu re o f   v id e o   re tri e v a p ro c e ss   a n d   CBV is  a   c o lo r   v a lu e .   T h e   d isc re te  c o sin e   tran sf o rm   (DC T is  u se d   to   e x trac a   q u e ry   v id e o   f e a tu re to   c o m p a re   w it h   th e   v id e o   f e a tu re sto re d   in   o u d a tab a s e .   A v e ra g e   re su lt   o f   0 . 6 4 7 5   w a o b tain e d   b y   u sin g   th e   DCT   a f ter  i m p le m e n ti n g   it   to   t h e   d a tab a se   w e   c r e a ted   a n d   c o ll e c te d ,   a n d   o n   a ll   c a teg o ries .   T h is  tec h n i q u e   w a s   a p p li e d   o n   o u r   d a tab a se   o f   v id e o ,   c h e c k   1 0 0   d a tab a se   v id e o s ,   5   v id e o i n   e a c h   c a teg o r y .     K ey w o r d s :   C o n te n t b ased   v id eo   r etr iev al   Descr ete  co s in tr a n s f o r m     Vid eo   r etr iev al   Vid eo   r etr iev al  p r o ce s s   T h is  is  a n   o p e n   a c c e ss   a rticle   u n d e r th e   CC B Y - SA   li c e n se .     C o r r e s p o nd ing   A uth o r :   Su m a y Ha m ad   Dep ar t m en t o f   C o m p u ter   Scie n ce   C o lleg o f   C o m p u ter   Scie n ce   an d   I n f o r m atio n   T ec h n o lo g y   An b ar   Un i v er s it y ,   A n b ar ,   I r aq   E m ail: s u m a y ah . h a m ad @ u o an b ar . ed u . iq       1.   I NT RO D UCT I O   Dig ital   d ata  s ee m s   to   b an   i m p o r tan p ar o f   o u r   liv es.  Di g it al  d ata  in v o l v es  v id eo s ,   i m ag e s ,   au d io s ,   d o cu m en ts ,   etc.   Vid eo s   co n s ti tu te  a n   a m p le  s o u r ce   o f   in f o r m atio n .   Vid eo   m a y   al s o   i n clu d all  o th er   d i g ital   co n ten t,  s u c h   as  p h o to s ,   v o ic es,  an d   tex ts .   I is   f u r t h er   d is tin g u is h ed   b y   its   te m p o r al  co n s is ten c y .   Dig ital   d ev ices '   f ast   d ev elo p m e n is   c au s i n g   i n f latio n   in   th v id eo   s to r e.   T h r etr iev al  o f   t h n ec ess ar y   in f o r m at io n   f r o m   t h v id eo   d atab ase  n a m ed   v id eo   r etr iev al  p r o ce s s   ac co r d in g   to   u s er   n ee d s .   Vid eo   r et r iev al  is   a   b r an ch ed   f ield   ca lled   in f o r m a tio n   r etr iev al.   Data   r etr iev al  i s   co n s id er ed   s u b - f ield   o f   co m p u ter   s cie n ce   t h at   ar r an g es   an d   r etr ie v es  d ata  f r o m   lar g s ets   o f   d atab ase s .   Vid eo s   r etr iev al   ap p r o ac h es  ar i m p o r tan t   an d   n ec es s ar y   f o r   m u lti m ed ia  a p p l icatio n s   lik v id eo   s ea r ch   en g i n es,  d ig ital  ar c h iv e s ,   v is u al - on - d e m a n d   b r o ad ca s tin g ,   etc.   [1 - 5] .   T o d ay ,   th a m o u n o f   o p en   m u lti m ed ia  d ata  is   g r o w i n g   s i g n i f ican tl y   a s   in f o r m at io n   te c h n o lo g y   a n d   m u lti m ed ia  s tr ate g ie s   d ev elo p   r ap id ly .   I n   m aj o r   ap p licatio n s   li k m o n i to r in g ,   en ter tai n m e n t,  h ea lt h ca r e,   lear n in g ,   a n d   s p o r ts ,   v id eo   is   h ea v i l y   co n s u m ed .   Sear ch i n g   f o r   th e   ele m e n t s   r eq u ir ed   i n   t h ese  lar g d ata  o n   th I n ter n et  ca n   b co n s id er e d   an   i m p o r tan ch al len g e.   T h er ef o r e;  n u m er o u s   v id eo   r etr iev al  s y s te m s   h a v b ee n   in tr o d u ce d   f o r   th i s   i n te n t.  Vid eo   r etr iev al  h as  t w o   ap p r o ac h es:  te x t - b ased   s tr u ctu r e,   an d   co n te n t - b ased   f r a m e w o r k s .   T ex d escr ip to r   i s   u s ed   in   te x t - b ased   s tr u ct u r to   m a n u all y   a n n o tate  v id eo .   T h s ea r ch   in   th i s   m et h o d   r elies  o n   th r ele v an m etad ata  f o r .   f ile,   s u ch   a s   tag s ,   titl es,  d escr ip tio n   a n d   k e y wo r d s .   T h d o w n s id o f   t h is   m et h o d   to   m an u al   an n o tatio n   i n clu d e s   h u m a n itar ia n   j o b .   C o n ten t - b ased   s tr u c tu r i s   s o l v i n g   th e   ab o v e   d r a w b ac k .   T h co n ten t - b ased   ar ch itect u r allo w s   t h ap p licatio n   to   ac ce s s   v id eo   clip   f r o m   lis o f   v is u al   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 5 0 2 - 4752   I n d o n esia n   J   E lec  E n g   &   C o m p   Sci,   Vo l.  21 ,   No .   2 Feb r u ar y   2021   :   8 3 9   -   8 4 5   840   co n ten t - b ased   v id eo s   th at  ar en tire l y   a u to m atica ll y   e x tr ac ted ,   s u ch   a s   co lo r ,   tex tu r e ,   s h ap es,  an d   n o t   attr ib u tes t h at  ar u n r elate d   to   th co n te n t.  Vis u al  f o r m   h o ld s   litt le  to   n o   s e m an tic  v id eo   co n ten [6 - 11] .   First,  t h v id eo   is   s p lit   i n to   f r a m es,  th e n   f r a m es  ar e   b r o k en   u p   i n to   i m ag e s .   B y   i m ag e   s e g m en tatio n   th e   o b j ec is   i s o lated   f r o m   t h i m a g e.   p ar o f   a n   i m a g is   t h s e g m e n ted   o b j ec t.  E x tr ac f ea t u r f r o m   th e   s eg m e n ted   i m a g ( o b j ec t)   [ 1 2 ] .   E x tr ac ted   f ea tu r es  f r o m   v id eo s   co u ld   b in d ex ed   an d   s ea r ch ed .   Vid eo   s ea r ch   b y   id e n ti f y in g   it a s   o n o f   th ev alu a tio n   ta s k s   [ 1 3 ] .   C o n te n B ased   Vid eo   R etr iev al  ( C B VR )   r ec o g n ized   as  m o s o f   th s tr o n g es f u n c tio n al  a p p r o ac h es  f o r   en h a n ce d   q u ali t y   o f   r etr iev al.   B ec au s o f   th u s o f   w e alth y   m a ter ial  in   th v id eo ,   th er is   m a s s i v s co p e   in   t h e   f ield   o f   v id eo   r etr iev al   to   b o o s tr ad itio n al   s ea r c h   e n g i n e   ef f icie n c y .   T h is   lead s   t h C B VR   f ie ld   i n   a   d ir ec ti o n   p r o m is i n g   f u t u r d ev elo p m e n o f   m o r s u cc es s f u v id eo   s ea r ch   en g i n es.  Stro n g   an d   ex p an s i v r an g e   o f   C B VR   an d   C B VR   s y s te m s   is   p r esen ted   in   s i m p le  an d   d etailed   m a n n er .   T h p r o ce s s es  ar r ep r esen ted   in   s y s te m a tic  w a y   a v ar io u s   s tag es  o f   C B V R   s y s te m s .   I al s o   d is p la y s   v ar ieties  o f   f ea tu r es,  th eir   v ar iatio n s ,   an d   ap p r o ac h es,  tech n iq u es,  a n d   alg o r ith m s   f o r   th eir   u s e.   Dif f er en q u er y in g   m et h o d s ,   s o m f ea t u r es  s u ch   a s   GL C M,   Gab o r   Ma g n itu d e,   s i m ilar it y   a lg o r it h m   s u c h   as  K u llb ac k - L eib ler   d is tan ce   m eth o d   an d   R elev an ce   Feed b ac k   m et h o d   ar ad d r ess ed   [ 1 4 ] .   I m p le m e n ti n g   au to m atic  in d ex i n g   o f   v id eo s ,   v id e o   s ea r ch   in   b r o ad   v id eo   d atab ase  t h en   d is p la y i n g   tailo r ed   r es u lts   as   w ell.   T h Su g g e s ted   s y s te m   o p er ates i n   th r ee   s ep ar ate  s tep s ,   w it h   v id eo   s e g m en tatio n   in   t h f ir s p h ase,   k e y   f r a m d et ec tio n   r etr iev e   r elev a n k e y   f r a m es.  Seco n d ,   f o r   ex tr ac ti n g   te x k e y w o r d ,   OC R ,   HOG  an d   A S R   al g o r ith m s   ar u s ed   o v er   th k e y f r a m e.   C o lo r ,   tex tu r an d   ed g f ea t u r es  w ill  al s o   b ex t r ac ted   in   th t h ir d   s tep .   E v en t u all y ,   a n al y s i s   o f   t h s ea r ch   s i m ilar it y   is   ca r r ied   o u o n   th e x tr ac ted   f ea t u r es  t h at  ar s to r ed   in   th SQ L   d at ab ase  a n d   th r esu l is   p r o v id ed   to   th u s er s   w it h   cu s to m ized   r e - r an k e d   r esu lt s   ac co r d in g   to   in ter est   [ 1 5 ] .   Vi d eo   r etr iev al  m ac h i n lear n i n g   s y s te m ,   co m p o s ed   o f   s h o e x tr ac tio n   m o d u le,   k e y   f r a m e x tr ac tio n   m o d u le  an d   v id eo   r etr iev al  m o d u le   ar als o   p r o v id ed .   On o r   m o r e   k e y - f r a m es   ca n   t h en   s u m m ar ize  ea c h   s h o t.  Vid eo   v ie w i n g   a n d   r etr iev al   ca n   also   b e   co n s id er ed   an   is s u e   o f   clas s i f icatio n .   I n   r ea li t y ,   th eir   r etr iev al  m o d u le   is   b a s ed   o n   k er n el - b ased   SVM   ( S u p p o r Vec to r   Ma ch i n e) ,   w h ic h   is   n o w   r ep r ese n ted   in   t h ac tiv lear n i n g   m et h o d ,   u s e s   th ex tr ac ted   k e y   f r a m e s   [ 1 6 ]   Af ter   t w o   y ea r s ,   g r o u n d b r ea k in g   ap p r o ac h   f o r   ac h iev i n g   s ig n if ican t l y   h ig h - q u ali t y   co n tex t - b ased   v id eo   r etr iev al  is   p r o p o s ed   b y   id en tify i n g   te m p o r al   tr en d s   i n   v id eo   co n te n t.  B ased   o n   th te m p o r al  p atter n s   d is co v er ed ,   an   ef f ec t iv i n d e x in g   s tr ateg y   a n d   an   e f f icie n t   tech n iq u f o r   m atc h i n g   s eq u en ce s   ar co m b i n ed   r ed u cin g   co m p u ti n g   ex p en s e s   an d   i m p r o v th p r ec is io n   o f   th r etr iev al  r esp ec tiv el y .   A n   ex p er i m en tal  f i n d in g   s h o w   t h at  th eir   m et h o d   is   p r ett y   g o o d   in   ter m s   o f   ef f icie n c y   an d   e f f ec ti v en e s s   in   t h i m p r o v e m e n t   o f   co n ten t - b ased   v id eo   r etr iev al  [ 1 7 ] .   A   m et h o d   tr an s f er s   t h r o u g h   d atab ase  v id eo   to   s ce n es  u s i n g   s ce n ch a n g e   d etec tio n   alg o r ith m   b ased   o n   co lo r   h is to g r a m   a n d   ex tr ac k e y   f r a m e s   is   s u g g es ted .   Usi n g   s tr aig h f o r w ar d   r u les  m u l tip le  f ea t u r es  ar o b tain ed   f o r   k e y   f r a m es.  T h en   u s th m u ltip le  f ea t u r v ec to r s   to   co m p ar q u er y   an d   d atab ase  v id eo s   b y   m ea s u r i n g   E u clid ea n   d i s tan ce   [ 1 8 ] .   A ls o ,   s y s te m   m o d el  f o r   lar g v id eo   d ata  p r o ce s s in g   i n   C B VR   s y s te m s   is   p r esen ted ,   Usa g o f   d is tr ib u ted   C o m p u ter   in f r astr u ctu r e,   w it h   a   Ma p R ed u ce - b a s ed   Had o o p   s y s te m .   T h e y   h a v also   o p ted   f o r   E Ou ad r h ir et  al.   C B V R   f r a m e w o r k   as  ca s e   in   p o in f o r   th eir   ap p r o ac h .   T h ch al len g i n   th c u r r en s c en ar io   is   t h er ef o r th o p ti m iz atio n   o f   t h B C MH   co m p u tatio n   ti m [ 1 9 ] .   T h en   an   a u to m a ted   v id eo   co n te n an al y s is   a n d   r etr iev al  s y s te m   to   en ab le  t h d is co v er y   o f   GDR   T v id eo s   in   h is to r ical  co llec tio n s   i s   p r o v id ed .   I is   b ased   o n   s er v ice - o r ien ted   d is tr ib u te d   ar ch itect u r an d   i n cl u d es  al g o r ith m s   f o r   s h o b o u n d ar y   d ete ctio n   v id eo   an al y s i s ,   id ea   clas s if ica tio n ,   p er s o n a l   r ec o g n itio n ,   tex t r ec o g n it io n   an d   s i m ilar it y   s ea r ch   [ 2 0 ]   Me an w h ile,   v id eo   r etr iev al  s y s te m   f o r   v is u al  co n te n S in c u s er   s en d s   v id eo   s ea r ch   q u er y   in   a   n atu r al   la n g u a g is   d ev elo p ed .   g e n er al  p ip eli n o f   co n t en t - b ased   v id eo   r ec o v er y   s y s t e m   co m p r i s es  t w o   m ai n   s ec t i o n s   a)   T h o f f li n tr ain i n g   p r o ce s s   in   w h ich   v ec t o r s   ar ex tr ac ted   f r o m   b r o ad   v id eo   d atab ase  to   tr ain   th s y s te m   o f   v id eo   f ea t u r es  an d   th co r r esp o n d in g   v id eo   ca p tio n s   th at  d escr ib th n atu r al  lan g u ag e   v id eo   co n tex t,  an d   b )   On li n c o n ten p r o ce s s i n g   s tep s   in   w h i ch   q u er y   f ea t u r es  ar p ic k ed   u p   an d   th e n   u s ed   to   r etr iev v id eo s   r elate d   to   th d atab ase  [ 2 1 ] .   A   s p ec i f ic  v id eo   s eg m e n tatio n   u s in g   d etec tio n   o f   ch a n g o f   s ce n e   ac co m p a n ied   b y   r an k i n g   is   p r o p o s ed .   T h ap p r o ac h   s u g g e s t ed   w i ll  co n s is o f   th e   f o llo w in g   p h a s es:   p r i m ar il y   Sep ar ate  s ce n es  ar id e n ti f ied   f r o m   v id eo s   to   d ef i n s ce n e   b o u n d ar ies.  Dete cted   b o u n d a r ies  h elp   to   d iv id e   v id eo s   i n to   c h u n k s   o f   v ar io u s   s ce n es   an d   th e n   cla s s i f y   t h e m .   T h v id eo   clas s if ier   clas s if ie s   t h e   t y p o f   a   p ar ticu lar   ch u n k   o f   ea ch   f r a m e.   T h v id eo   clas s if ier   o u t p u f o r   g iv e n   c h u n k   p r ed i cts  cla s s   o f   h i g h e s t   p r o b a b ilit y .   T h en ,   ev e n t u all y ,   u s er   q u er y   is   m atc h ed   w ith   ea ch   ch u n k   lab el  to   o b tain   t h a p p r o p r iate  p iece   o f   n e w s   [ 2 2 ] .   B y   i n teg r at in g   m u lti - m o d al  f ea tu r es   f o r   b i n ar y   h as h   lear n in g   i n   b o th   o f f li n tr ain i n g   a n d   o n l in e   q u er y   p h ases ,   m u l ti - m o d al  h a s h i n g   m et h o d s   m a y   allo w   s u c ce s s f u l   m u lti m ed ia  r etr iev a l.  E v en   s o ,   w h e n   o n l y   o n o r   s o m o f   t h m o d alit ies  ar g iv e n ,   cu r r en m u lti - m o d al  ap p r o ac h es  co u l d   n t   b in ar ize  q u er ies.  T h er ef o r e,   to   r eso lv th i s   i s s u e ,   n e w   f le x ib le  m u lti - m o d al   h as h i n g   ( FMH)   m et h o d   is   s u g g e s ted .   W ith i n   a   s in g le  m o d el,   FMH  lear n s   v ar io u s   m o d alit y - s p ec i f ic  h a s h   co d es  an d   m u lti - m o d al  co o p er ativ h as h   co d es   co n cu r r en tl y .   B ased   o n   th e   n e w l y   ar r iv i n g   q u er ies,  th a t   o f f er i n g   a n y   o n o r   co m b i n atio n   o f   m o d alit y   ch ar ac ter is tic s ,   t h h as h   co d es  ar f lex ib l y   cr ea ted .   I n   ad d itio n ,   t h h as h i n g   lear n i n g   m eth o d   is   e f f ec ti v el y   Evaluation Warning : The document was created with Spire.PDF for Python.
I n d o n esia n   J   E lec  E n g   &   C o m p   Sci     I SS N:  2502 - 4752       C o n ten t b a s ed   vid e o   r etri ev a l u s in g   d is crete  co s in tr a n s fo r m   ( S u ma ya   Ha ma d )   841   m o n ito r ed   b y   t h p air - w is e   s e m an tic  m atr i x   to   b o o s t h ab i lit y   to   d i f f e r e n tiate   [ 2 3 ] .   A   s er ies  o f   e x p er i m e n ts   m ea s u r in g   h o w   w ell  t h b en ch m ar k   o u tco m e s   r ep r esen th r ea p r o g r ess   in   s o lv i n g   t h task   o f   m o m e n t   r etr iev al  is   p r ese n ted .   T h f in d in g s   s h o w   m aj o r   b iases   in   t h co m m o n   d atasets   a n d   u n ex p ec ted   ac tio n s   o f   t h e   s ta te - of - th e - ar m o d el s .   I n   ad d itio n ,   th au th o r s   p r ese n n e w   s tu d ie s   an d   s tr ate g ies  f o r   v i s u aliz in g   t h ef f ec t s   o f   h ea lth   ch ec k s .   A la s t,  t h e y   r ec o m m e n d   p o ten t ial  w a y s   o f   i m p r o v i n g   t h m o m e n o f   r et r iev al  i n   t h f u t u r e.   [ 2 4 ] .   M o r d etailed   r esear ch   r ev ie w   ca n   b f o u n d   in   [ 2 5 ] .   T h m ai n   tar g et  o f   t h is   w o r k   is   to   b u ild   C B VR   s y s te m   th at  s u p p o r ts   q u er y i n g   b y   e x a m p le  to   r etr iev s i m ilar   v id eo   f r o m   d atab ase  ac co r d in g   to   th eir   f e atu r es.  C o lo r   f ea t u r es  h av b e en   u s ed   to   id en tify   an d   d escr ib th e   co n te n ts   o f   t h v id eo .   T h r est  o f   th e   p ap er   is   s tr u ct u r ed   ac co r d in g   to   th f o llo w i n g Sect io n   2   p r esen ts   r elate d   r esear ch   a n d   d atasets .   Sectio n   3   i n tr o d u c es  th C B VR   s tr u ct u r e.   Sectio n   4   d escr ib es  DC T   f ea t u r ex tr ac tio n ,   in c lu d i n g   f r a m ex tr ac tio n   a n d   r esizin g ,   d is cr ete  co s in tr an s f o r m a tio n   ( DC T ) .   Sectio n   5   r ep o r ts   o n   th test   m ater ial.   S ec tio n   6   p r esen ts   r es u lt s   an d   a n al y s i s   o f   t h ex p er i m en tal  s t u d y   o n   t h d ataset.   Sectio n   7   co n clu d e s   th p ap er .       2.   RE S E ARCH   M E T H O D   2 . 1 .     C B VR  s t ruct ure   T h p r o p o s ed   f r a m e w o r k   co m p r is es  f o u r   m ai n   m o d u les,   as   s h o w n   in   t h Fi g u r 1 .   E v er y   m o d u le  h a s   its   o w n   s p ec i f ic  f u n ctio n s .   T h f o u r   m o d u le s   ar e:   a)   Featu r E x tr ac t io n   m o d u le:   T h co lo r   f ea tu r es a r ex tr ac ted   f r o m   ea ch   v id eo   an d   lis ted   i n   th d atab ase.     b)   Qu er y i n g   m o d u le:   T h r o u g h   th GUI   o f   th is   m o d u le  r etr iev th m o s s i m ilar   v id eo   lis ted   in   th e   d atab ase,   th u s er   m a y   i s s u h is / h er   q u er y .   c)   Si m i lar it y   m atc h i n g   m o d u le :   W ith in   th i s   m o d u le,   u s i n g   E u clid ian   d i s tan ce   a n d   m ea n   s q u ar er r o r   s i m ilar it y   m e tr ics,  s i m ilar i t y   b et w ee n   q u er y   v id eo   an d   d atab ase  v id eo   is   a s s e s s ed .   T h b est   s i m ilar   v id eo   w il l b s h o w n   ac co r d in g   to   th eir   s i m ilar i t y   d eg r ee .   d)   R etr iev al   m o d u le:   T h d atab a s v id eo   w ith   h ig h er   s i m ilar it y   r an k   w ill  b r etr ie v ed   an d   d is p la y ed   to   t h u s er .     T h ab o v m e n tio n   m o d u le s   w il l b d is cu s s ed   in   d etails i n   t h n e x t sect io n s .             Fig u r 1 .   C B VR   s y s te m   m o d u les       2 . 2 .     DCT f ea t ure  ex t ra ct i o n   ( DC T )   m ea n s   d is cr ete  co s i n tr an s f o r m .   I h as  f o u n d   ap p licatio n s   f o r   d ig ital  s i g n al  an d   i m a g p r o ce s s in g ,   an d   p a r ticu lar l y   f o r   d ata  c o m p r ess io n / d ec o m p r es s io n   tr an s f o r m a tio n   co d in g   s y s te m s .   I n   th i s   w o r k   DC T   u s ed   as  s h o w n   i n   th is   f lo w c h ar Fi g u r 2 .   T h DC T   p r o ce s s   in v o l v es  r ea d in g   t h v id eo   an d   th e n   ex tr ac t   1 0   f r a m es   f r o m   v id eo   an d   r e s ize  t h e m   to   2 5 6 ×2 5 6   p ix els.  A f ter   th at   t h D C T   eq u atio n   i s   ap p lied   to   t h e   r esized   f r a m e.   ( 1 9 2 )   DC   co ef f icien t s   f o r   ea ch   i m a g ar o b ta in ed   an d   th e n   s to r ed   in   t h s y s te m   d atab ase.     Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 5 0 2 - 4752   I n d o n esia n   J   E lec  E n g   &   C o m p   Sci,   Vo l.  21 ,   No .   2 Feb r u ar y   2021   :   8 3 9   -   8 4 5   842       Fig u r 2 .   DC T   f ea tu r ex tr ac ti o n   p r o ce s s       2 . 2 . 1 .   F ra m e x t ra ct io n a nd   re s izing   E x tr ac tin g   1 0   f r a m e s   f r o m   v i d eo ,   ac co r d in g   to   th n u m b er   o f   f r a m e s   th r eq u ir ed   f r a m es  w ill  b s elec ted ,   r esizi n g   t h i n p u f r a m to   f ix ed   s ize,   s o   all   f r a m w i ll  b e   in   n e w   f i x ed   w id th   a n d   h i g h .   O f   all   fr a m e s ,   th n e w   s ize  i s   2 5 6 ×2 5 6 .   I t is si g n i f ica n t h o w   t h i s   p r o ce s s   g et s   th b est r es u lt.      2 . 2 . 2 .   Dis cr et co s ine t ra ns f o r m a t io ( DC T )   A p p l y in g   D C T   to   th th r ee   f r a m m atr ices  R ,   a n d   B   to   co n v er f r a m d ata  f r o m   s p atial  d o m ai n   to   f r eq u en c y   d o m a in   b y   s p litt in g   ea ch   f r a m i n to   3 2 ×3 2   p ix el  b lo ck s   a n d   ap p ly   DC T   tr an s f o r m   to   ea c h   b lo ck   v alu to   p r o d u ce   1 0 2 4   co ef f icien t s .   T h o u tp u m atr i x   co n s is ts   o f   D C T   co ef f icien t s ,   th v al u ab le  an d   i m p o r tan d ata  r ep r esen ti n g   th f r a m p lace d   i n   th to p   le f h an d   co r n er   o f   t h m atr i x   w h i le  th les s   v alu ab l e   d etails  ab o u t h co ef f ic ien t s   lies   o n   th lo w er   r i g h t - h a n d .   I n   th e   to p   lef t   h a n d   co r n er   o f   th m atr i x   is   DC T   co ef f icie n t   at  p o s itio n   ( 0 , 0 )   w h ich   i n d icate s   t h a v er ag e   o f   t h o th er   1 0 2 4   v al u i n   th m at r ix .   T h p o in ( 0 , 0 )   is   ca lled   DC   co ef f icien an d   th o th er   p o in ca lled   AC   co ef f icie n ts .   So   w u s t h DC   co ef f icien f r o m   ea c h   b lo ck   f o r   ev er y   f r a m i n   d atab ase  an d   u s it a s   D C T   co lo r   f ea tu r e.       2 . 3 .     T est  m a t er ia l   T h d atab ase  o f   v id eo s   u s ed   in   th i s   p ap er   b elo n g s   to   o u r   v id eo s   th at  co llected   f r o m   r ea wo r ld .   v id eo   d atab ase  co n s i s ts   o f   8   cla s s e s   ea ch   co n ta in s   ab o u t   1 0   v id eo s .   So ,   th e   v id eo   te s ted   to tal  n u m b er   is   1 0 0 .   T h ese  Vid eo   ar o f   d if f er en s izes  w it h   co lo r   r eso lu tio n   2 4   b it/p ix el.   E ig h v id eo   ca teg o r ies  o f   d atab a s ar u s ed   ( G a m e P er s o n ,   B uil din g Child re n Ca t s F lo w er s ,   B ea ches,  L a nd s ca pe ) .   Fi g u r 3   s h o w s   Sa m p le  o f   v id eo   f o r   co llected   Data b ase.             Fig u r 3 .   Sa m p le  o f   v id eo   f o r   co llected   d atab ase   Evaluation Warning : The document was created with Spire.PDF for Python.
I n d o n esia n   J   E lec  E n g   &   C o m p   Sci     I SS N:  2502 - 4752       C o n ten t b a s ed   vid e o   r etri ev a l u s in g   d is crete  co s in tr a n s fo r m   ( S u ma ya   Ha ma d )   843   3.   RE SU L T S AN D I SCU SS I O N   T h p er f o r m an ce   o f   r etr iev al  s y s te m   ca n   b ev al u ated   w it h   r esp ec to   its   p r ec is io n   an d   r ec all.   P r ec is io n   m ea s u r es  ca n   b d escr ib ed   as  th s y s te m 's   ab ilit y   to   r etr iev o n l y   r ele v an m o d els;   W h er ea s   r ec all   m ea s u r es  ar r ep r esen ted   th s y s te m 's  ab ilit y   to   r etr iev all   r elev an m o d el s   d ef i n ed   th n u m b er   o f   r elev a n v id eo s   r etr iev ed .   I n   th is   p ap er ,   w e v alu a te  5   v id eo s   in   ea ch   d atab ase  class   an d   f o r   ea ch   ca teg o r y   3   v id eo s   r etr iev ed   w il l b s i m ilar   as s h o w n   in   t h T ab le  1 .       P r ec is io n                                                                                                                          =               R ec all=                                                                                                                                                        W h e r e   A   b e i n g   t h e   n u m b e r   o f   r e l e v a n t   v i d e o s   r e t r i e v e d ,   B   b e i n g   t h e   n u m b e r   o f   i r r e l e v a n t   i t e m s   a n d   C   b e i n g   t h e   n u m b e r   o f   r e l e v a n t   i t e m s   n o t   r e t r i e v e d   i n   t h e   d a t a b a s e .   F i g u r e   4   s h o w s   S a m p l e   o f   v i d e o   r e t r i e v a l   r e s u l t s .         T ab le  1 .   T h p r ec is io n   r esu lt   C l a ss   G a me   P e r so n   B u i l d i n g   C h i l d r e n   Cats   F l o w e r s   B e a c h e s   L a n d sca p e   A v e r a g e   A v e r a g e   P r e c i si o n   0 . 4   0 . 8 6   0 . 6   0 . 5 3   0 . 6 6   0 . 8   0 . 6   0 . 7 3   0 . 6 4 7 5                     Fig u r 4 .   Sa m p le  o f   v id eo   r etr iev al  r es u lts   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 5 0 2 - 4752   I n d o n esia n   J   E lec  E n g   &   C o m p   Sci,   Vo l.  21 ,   No .   2 Feb r u ar y   2021   :   8 3 9   -   8 4 5   844   4.   CO NCLU SI O N   T h co n ten t - b ased   m o d el  allo w s   th s y s te m   to   ac q u ir v i d eo   f r o m   lis o f   v i s u al  co n t en t - b ased   v id eo s   t h at  ar en tire l y   a u to m atica ll y   e x tr ac ted ,   s u ch   as  co lo u r ,   tex t u r e,   s h ap es,  b u n o attr ib u tes  t h at  ar e   u n r elate d   to   th co n ten t.  T h v is u al  co n te n o f   th i s   v id eo   ca r r ies  litt le  to   n o   s em a n tic   co n ten t.  I n   th is   p ap er ,   th co lo r   co n ten t   o f   v id eo   is   u s ed   to   r etr iev v id eo s .   T h ex p er im e n tal  r e s u l ts   s h o w   t h at  t h av er a g r ati n g   o f   0 . 6 4 7 5   w a s   ca lcu la ted   u s i n g   t h DC T   af ter   ap p l y in g   it  to   o u r   d atab ase  f o r   all  c ateg o r ies,   w h en   i t’ s   u s ed   in   co n ten t - b ased   v id eo   r etr iev al  ( C B VR ) .   As  t h i m p le m e n ted   alg o r ith m s   r u n   o n   th v id eo ' s   co lo r   f ea tu r es  an d   v alu e s ,   th d i v is io n   o f   v id eo   in to   b lo ck s   o r   p iece s   th er ef o r g av m o r ab ilit y   to   r etr iev t h r elev a n t v id eo s .       RE F E R E NC E S   [1 ]   S .   T .   M .   T o riah ,   A .   Z.   G h a lw a s h ,   a n d   A .   A .   A .   Yo u ss if ,   S e m a n ti c - Ba se d   V id e o   Re tri e v a S u rv e y ,   J .   Co mp u t .   Co mm u n . ,   v o l.   6 ,   n o .   8 ,   p p .   2 8 - 4 4 ,   2 0 1 8 .     [2 ]   S .   S .   G o rn a le,  A .   K.  Ba b a les h w a r,   a n d   P .   L .   Ya n n a w a r,   A n a l y sis  a n d   De tec ti o n   o f   Co n ten b a se d   V i d e o   Re tri e v a l,   In t.   J .   Ima g e ,   Gr a p h .   S ig n a l   Pro c e ss . ,   v o l.   1 1 ,   n o .   3 ,   p .   4 3 ,   2 0 1 9 .     [3 ]   R.   A sh ra f ,   M .   A h m e d ,   U.  A h m a d ,   M .   A .   Ha b ib ,   S .   Ja b b a r,   a n d   K.  Na se e r,   M DCBIR - M F m u lt im e d ia  d a ta  f o r   c o n ten t - b a se d   im a g e   re t riev a b y   u sin g   m u lt ip le  f e a tu re s,”  M u lt ime d .   T o o ls  A p p l . ,   v o l.   7 9 ,   n o .   1 3 ,   p p .   8 5 5 3 - 8 5 7 9 ,   2 0 2 0 .     [4 ]   L .   T o n g ,   R.   T o n g ,   a n d   L .   Ch e n ,   Eff icie n re tri e v a a lg o rit h m   f o m u lt i m e d ia  i m a g e   in f o r m a ti o n ,   M u lt ime d .   T o o ls   Ap p l . ,   v o l.   7 9 ,   n o .   1 3 ,   p p .   9 4 6 9 - 9 4 8 7 ,   2 0 2 0 .     [5 ]   R.   G a ss e r,   L .   Ro ss e tt o ,   S .   He ll e r,   a n d   H.   S c h u ld t,   Co t to n tail   DB:  A n   Op e n   S o u rc e   Da tab a se   S y ste m   f o M u lt im e d ia  Re tri e v a a n d   A n a ly s is,   in   Pro c e e d in g o t h e   2 8 t h   A CM   In ter n a ti o n a l   Co n fer e n c e   o n   M u lt ime d ia ,   p p .   4 4 6 5 - 4 4 6 8 ,   2 0 2 0 .     [ 6 ]   M .   E .   A b d u l m u n e m   a n d   E .   H a t o ,   S e m a n t i c   B a s e d   V i d e o   R e t r i e v a l   S y s t e m :   S u r v e y ,   I r a q i   J .   S c i . ,   p p .   7 3 9 - 7 5 3 ,   2 0 1 8 .   [7 ]   S .   P u th e ti ,   M .   N.   S .   Ha rsh a ,   a n d   A .   V ish n u v a rd h a n ,   M o ti o n   De t e c ti o n   i n   V i d e o   Re tri e v a Us in g   Co n ten t - Ba se d   V id e o   Re tri e v a l,   in   I n n o v a ti o n s i n   Co m p u ter   S c ie n c e   a n d   E n g i n e e rin g ,   S p ri n g e r ,   p p .   2 3 5 - 2 4 2 ,   2 0 1 9 .     [8 ]   A .   F .   S .   De v a ra e a l. ,   A n   Eff ic ien F ra m e w o rk   f o S e c u re   Im a g e   A r c h iv a a n d   Re tri e v a S y ste m   Us in g   M u lt i p le   S e c re S h a re   Cre a ti o n   S c h e m e ,   I EE Acc e ss ,   v o l.   8 ,   p p .   1 4 4 3 1 0 - 1 4 4 3 2 0 ,   2 0 2 0 .     [9 ]   P .   S a x e n a ,   S .   K .   S i n g h ,   a n d   M .   S riv a sta v a ,   Co n ten t - Ba se d   Re tri e v a o f   M u lt im e d ia  In f o r m a ti o n   Us in g   M u lt i p le   S im il a rit y   In d e x e s,” in   S o ft   Co mp u ti n g T h e o rie s a n d   Ap p li c a t io n s ,   S p ri n g e r ,   p p .   1 2 3 5 - 1 2 4 2 ,   2 0 2 0 .     [1 0 ]   S .   He ll e r,   L .   S a u ter,  H.  S c h u ld t,   a n d   L .   Ro ss e tt o ,   M u lt i - S tag e   Qu e ries   a n d   T e m p o ra S c o rin g   in   V it riv r,   in   2 0 2 0   IEE In ter n a ti o n a C o n fer e n c e   o n   M u lt ime d i a   &   Exp o   W o rk sh o p ( ICM E W ) ,   p p .   1 - 5 ,   2 0 2 0 .     [1 1 ]   H.  W a n g ,   Z.   L i,   Y.  L i,   B.   B.   G u p ta,  a n d   C.   Ch o i,   V isu a sa l ien c y   g u id e d   c o m p lex   i m a g e   r e tri e v a l,   Pa tt e rn   Rec o g n it .   L e tt . ,   v o l.   1 3 0 ,   p p .   6 4 - 7 2 ,   2 0 2 0 .     [1 2 ]   J.  K.  B.   B. Ra m u ,   A   S u rv e y   o f   Ob jec V i d e o   Re tri e v a S y ste m Us in g   S c a le - In v a rian F e a tu re   T ra n sf o r m   (S if t) ,   In t.   J .   Ad v .   E n g .   Res .   De v . ,   v o l .   5 ,   n o .   3 ,   p p .   1 2 1 1 - 1 2 1 6 ,   2 0 1 8 .     [1 3 ]   N.  G a y a th ri  a n d   K.  M a h e sh ,   A   S y ste m a ti c   S tu d y   o n   V id e o   In d e x in g ,   In t.   J .   P u re   Ap p l.   M a t h . ,   v o l.   1 1 8 ,   n o .   8 ,   p p .   425 - 4 2 8 ,   2 0 1 8 .   [1 4 ]   A .   A n s a ri  a n d   M .   H.  M o h a m m e d ,   Co n ten b a se d   v id e o   re tri e v a s y ste m s - m e th o d s,  tec h n iq u e s,  tren d a n d   c h a ll e n g e s,”  In t.   J .   C o mp u t.   A p p l . ,   v o l.   1 1 2 ,   n o .   7 ,   2 0 1 5 .     [1 5 ]   P .   Ch iv a d sh e tt i,   K.   S a d a f a le,  a n d   K.  T h a k a re ,   Co n ten b a se d   v id e o   re tri e v a u sin g   i n teg ra ted   f e a tu re   e x trac ti o n   a n d   p e rso n a li z a ti o n   o f   re su lt s,” in   2 0 1 5   In ter n a ti o n a C o n fer e n c e   o n   In f o rm a ti o n   Pr o c e ss in g   ( ICIP) ,   p p .   1 7 0 - 1 7 5 ,   2 0 1 5 .     [ 1 6 ]   G .   C á m a r a - C h á v e z ,   F .   P r e c i o s o ,   M .   C o r d ,   S .   P h i l l i p - F o l i g u e t ,   a n d   A .   d e   A .   A r a ú j o ,   A n   i n t e r a c t i v e   v i d e o   c o n t e n t - b a s e d   r e t r i e v a l   s y s t e m ,   i n   2 0 0 8   1 5 t h   I n t e r n a t i o n a l   C o n f e r e n c e   o n   S y s t e m s ,   S i g n a l s   a n d   I m a g e   P r o c e s s i n g ,   p p .   1 3 3 - 136 ,   2 0 0 8 .     [1 7 ]   J. - H.  S u ,   Y. - T .   Hu a n g ,   H. - H.  Ye h ,   a n d   V.   S .   T se n g ,   Eff e c ti v e   c o n ten t - b a se d   v id e o   re tri e v a u sin g   p a tt e rn - in d e x in g   a n d   m a tch in g   tec h n iq u e s,”  Exp e rt   S y st.  A p p l . ,   v o l.   3 7 ,   n o .   7 ,   p p .   5 0 6 8 - 5 0 8 5 ,   2 0 1 0 .     [1 8 ]   D.  As h a ,   M .   Lata ,   a n d   V .   S .   K.  Re d d y ,   Co n ten b a se d   v id e o   re tri e v a s y ste m   u sin g   M u lt ip le  F e a tu r e s,”  In t.   J .   p u re   Ap p l .   M a t h . ,   v o l .   1 1 8 ,   p p .   2 8 7 - 2 9 4 ,   2 0 1 8 .     [1 9 ]   E.   M .   S a o u d i ,   A .   A .   El   Ou a d rh i ri,   O.  El   W a rra k ,   S .   J.  A n d a lo u ss i,   a n d   A .   S e k k a k i,   I m p ro v in g   Co n ten Ba se d   V id e o   Re tri e v a P e rf o rm a n c e   b y   Us in g   Ha d o o p - M a p Re d u c e   M o d e l,   in   2 0 1 8   2 3 rd   C o n fer e n c e   o f   Op e n   In n o v a ti o n s   Asso c ia ti o n   ( FR UCT) ,   p p .   1 - 6 ,   2 0 1 8 .     [2 0 ]   M .   M ü h l in g   e a l. ,   Co n ten t - b a se d   v id e o   re tri e v a in   h ist o rica c o ll e c ti o n o f   t h e   g e rm a n   b ro a d c a sti n g   a rc h iv e ,   In t.   J .   Dig it .   L ib r . ,   v o l.   2 0 ,   n o .   2 ,   p p .   167 - 1 8 3 ,   2 0 1 9 .     [2 1 ]   R.   Ba n sa a n d   S .   C h a k ra b o rty ,   V isu a c o n ten b a se d   v id e o   re tri e v a o n   n a t u ra lan g u a g e   q u e ries ,   in   Pr o c e e d in g o t h e   3 4 th   ACM /S IGAPP   S y mp o s iu m o n   A p p li e d   Co m p u t in g ,   p p .   2 1 2 - 2 1 9 ,   2 0 1 9 .     [2 2 ]   M .   A .   Ha s sa n ,   S .   S a lee m ,   M .   Z.   Kh a n ,   a n d   M .   U.  G .   Kh a n ,   S t o ry   b a se d   v id e o   re tri e v a u sin g   d e e p   v i su a a n d   tex tu a in f o r m a ti o n ,   in   2 0 1 9   2 n d   In ter n a ti o n a Co n fer e n c e   o n   Co mm u n ica ti o n ,   Co mp u ti n g   a n d   Di g it a sy ste ms   ( C - COD E) ,   p p .   1 6 6 - 1 7 1 ,   2 0 1 9 .     [2 3 ]   L .   Zh u ,   X .   L u ,   Z.   C h e n g ,   J.  L i,   a n d   H.  Zh a n g ,   F lex ib le  m u lt i - m o d a h a sh i n g   f o sc a l a b le  m u lt ime d ia  re tri e v a l,   ACM   T ra n s.  I n tell.   S y st.  T e c h n o l. ,   v o l.   1 1 ,   n o .   2 ,   p p .   1 - 2 0 ,   2 0 2 0 .     [2 4 ]   M .   Ota n i,   Y.  Na k a sh ima ,   E.   R a h tu ,   a n d   J.  He ik k il ä ,   Un c o v e rin g   Hid d e n   Ch a ll e n g e in   Qu e ry - Ba se d   V id e o   M o m e n Re tri e v a l,   a rXiv P re p r.  a rXiv2 0 0 9 . 0 0 3 2 5 ,   2 0 2 0 .     [2 5 ]   N.  S p o laô r,   H.  D .   L e e ,   W .   S .   R.   T a k a k i,   L .   A .   En sin a ,   C.   S .   R .   Co y ,   a n d   F .   C.   W u ,   A   s y ste m a ti c   re v ie w   o n   c o n ten t - b a se d   v id e o   re tri e v a l,   E n g .   Ap p l.   Arti f.   I n tell. ,   v o l.   9 0 ,   p .   1 0 3 5 5 7 ,   2 0 2 0 .     Evaluation Warning : The document was created with Spire.PDF for Python.
I n d o n esia n   J   E lec  E n g   &   C o m p   Sci     I SS N:  2502 - 4752       C o n ten t b a s ed   vid e o   r etri ev a l u s in g   d is crete  co s in tr a n s fo r m   ( S u ma ya   Ha ma d )   8 45   B I O G RAP H I E S O F   AUTH O RS       S u m a y a   H a m a d   re c e iv e d   th e   B. S c .   (g o o d (f irst  c las s)  d e g re e   in   c o m p u ter  sc ien c e   f ro m   Un iv e rsit y   o f   A n b a r,   A n b a r,   Ira q ,   in   2 0 0 2 ,   a n d   th e   M . S c .   d e g re e   in   c o m p u ter  sc ien c e   f ro m   Un iv e rsit y   o f   A n b a r,   A n b a r,   Ira q ,   in   2 0 1 2 .   S h e   is  c u rre n tl y   P h stu d e n t   in   Co m p u ter  S c ien c e   De p a rtme n a Un iv e rsity   o f   Te c h n o l o g y ,   Ba g h a d a d ,   Ira q ,   a n d   sh e   a n   A ss ist.   tea c h e r.   a t h e   Co ll e g e   o f   Co m p u ter  S c ien c e   a n d   In f o rm a ti o n   T e c h n o lo g y ,   U n iv e rsity   o f   A n b a r.   S h e   h a s   p u b li sh e d   5   re f e re e d   jo u rn a a n d   c o n f e re n c e   p a p e rs.  He c u rre n re se a rc h   in tere sts   in c lu d e   m o b il e   c o m p u ti n g ,   a rti f icia in telli g e n c e , A d   Ho c   n e tw o rk s,  se a r c h   e n g in e s,  a n d   in f o rm a ti o n   tec h n o lo g y .         Ahm e e d   S u li m a n   Fa r h a n   h a r e c e iv e d   B. S c .   i n   Co m p u ter  S c ien c e ,   A l - A n b a Un iv e rsit y ,   Ira q ,   (2 0 0 7 - 2 0 1 1 ).   M . S c   d e g re e   (2 0 1 2 -   2 0 1 4 )   in   Co m p u ter  S c ien c e   De p a rt m e n t,   A - A n a b a Un iv e rsit y .   F ield o f   in tere st:  M u lt im e d ia.  He   tau g h m a n y   s u b jec ts  su c h   a c ry p to g ra p h y ,   o p e ra ti o n   sy ste m ,   Ro b o S y ste m   a n d   n e tw o rk s.             Do a a   Y a se e n   K h u d h u r   re c e i v e d   th e   B. S c .   (g o o d (f i rst  c las s)   d e g re e   in   c o m p u ter  sc ien c e   f ro m   Un iv e rsit y   o f   A n b a r,   A n b a r,   IRA Q,  in   2 0 0 4 ,   a n d   th e   M . S c .   d e g re e   in   c o m p u ter  sc ien c e   f ro m   Un iv e rsit y   o f   A n b a r,   A n b a r,   IRA Q,  in   2 0 1 2 .   S h e   is  c u rre n tl y   a   tea c h e r.   a th e   Co ll e g e   o Co m p u ter,  Un iv e rsity   o f   A n b a r.   S h e   h a p u b l ish e d   3   re f e re e d   jo u r n a ls.   He c u rre n re se a rc h   in tere sts in c lu d e   E - c o m m e rc e ,   c r y p to g ra p h y ,   Da ta se c u rit y ,   a n d   in f o r m a ti o n   tec h n o lo g y .     Evaluation Warning : The document was created with Spire.PDF for Python.