I n t e r n at i on al  Jou r n al  of   E l e c t r i c al  an d  C om p u t e r  E n gi n e e r i n g ( I JE C E )   V ol .   11 , N o.   1 F e br ua r y  2021 , pp.  879~ 891   I S S N :  2088 - 8708 D O I :  10.11591/ i j e c e . v 11 i 1 . pp 879 - 891          879       Jou r n al  h om e page ht t p: / / i j e c e .i ae s c or e .c om   S i m i l ar i t y - p r e se r vi n h a s h   f or  c o n t e n t - b ase d  a u d i o r e t r i e val   u si n u n s u p e r v i se d   d e e p   n e u r a l   n e t w or k s       P e t c h ar at  P an ya p a n u w at , S u w at c h ai   K am on s a n t i r oj , L u e p ol   P i p an m ae k ap or n   De p a r tm e n o f   C o m p u ter   a n d   I n f o r m a ti o n   S c i e n c e ,   K i n g   M o n g k u t’ s   U n iv e r s i ty   o f   T e c h n o l o g y   No r th   B a n g k o k ,   T h a il a n d       A r t i c l e  I n f o     A B S T R A C T   A r t i c l e  h i s t o r y :   R e c e i v e d J a n 1, 2020   R e v i s e d J un 8, 2020   A c c e pt e A u g  18, 2020       Du e   to   i ts   e f f i c i e n c y   i n   s to r a g e   a n d   s e a r c h   s p e e d ,   b i n a r y   h a s h i n g   h a s   b e c o m e   a n   a tt r a c ti v e   a p p r o a c h   f o r   a   l a r g e   a u d i o   d a tab a s e   s e a r c h .   Ho we v e r ,   m o s t   e x i s ti n g   h a s h i n g - b a s e d   m e th o d s   f o c u s   o n   d a ta - i n d e p e n d e n s c h e m e   wh e r e   r a n d o m   li n e a r   p r o jec ti o n s   o r   s o m e   a r i th m e ti c   e x p r e s s i o n   a r e   u s e d   to   c o n s tr u c t   h a s h   f u n c ti o n s .   He n c e ,   th e   b i n a r y   c o d e s   d o   n o p r e s e r v e   th e   s i m il a r i ty   a n d   m a y   d e g r a d e   th e   s e a r c h   p e r f o r m a n c e .   I n   th i s   p a p e r ,   a n   u n s u p e r v i s e d   s i m il a r i ty - p r e s e r v i n g   h a s h i n g   m e th o d   f o r   c o n te n t - b a s e d   a u d i o   r e tr i e v a l   i s   p r o p o s e d .   Di f f e r e n f r o m   d a ta - i n d e p e n d e n h a s h i n g   m e th o d s ,   we   d e v e l o p   a   d e e p   n e two r k   to   l e a r n   c o m p a c b i n a r y   c o d e s   f r o m   m u l ti p l e   h i e r a r c h i c a l   l a y e r s   o f   n o n l i n e a r   a n d   li n e a r   tr a n s f o r m a ti o n s   s u c h   th a t h e   s i m il a r i ty   b e twe e n   s a m p l e s   i s   p r e s e r v e d .   T h e   i n d e p e n d e n c e   a n d   b a l a n c e   p r o p e r ti e s   a r e   i n c l u d e d   an d   o p ti m i z e d   i n   th e   o b jec ti v e   f u n c ti o n   to   i m p r o v e   th e   c o d e s .   E x p e r i m e n tal  r e s u l ts   o n   th e   E x te n d e d   B a ll r o o m   d a tas e wi th   8   g e n r e s   o f   3 , 0 0 0   m u s i c a e x c e r p ts   s h o th a o u r   p r o p o s e d   m e t h o d   s i g n i f i c a n t l y   o u tp e r f o r m s   s tate - of - th e - a r d a ta - i n d e p e n d e n m e th o d   i n   b o t h   e f f e c ti v e n e s s   a n d   e f f i c i e n c y .   K e y w or d s :   C ont e nt - ba s e d a udi o r e t r i e v a l   D e e p l e a r ni n g   D e e p ne ur a l  ne t w or ks   S i m i l a r i t y - pr e s e r v i n g  ha s h   U ns upe r v i s e d l e a r ni n g   T h i s   i s   a n   o p e n   a c c e s s   a r ti c l e   u n d e r   th e   C C   B Y - SA   l i c e n s e .     C or r e s pon di n g A u t h or :   P e t c ha r a t  P a ny a pa nu w a t ,   D e pa r t m e nt  of  C o m put e r  a nd  I n f or m a t i on S c i e nc e ,   K i n g  M ong kut s  U ni v e r s i t y  of   T e c hnol ogy  N or t h B a n g kok,    B a ng kok, T ha i l a nd .   E m a i l :   pa ny a p e t c h@ hot m a i l .c o m       1.   I N T R O D U C T I O N   W i t r a pi dl y   g r o w i n g   da t a ba s e   of   di g i t a l   a udi r e c or di ng s t he   no v e l   r e t r i e v a l   s t r a t e gi e s   ha v e   r e c e i v e g r e a t   a t t e nt i on.  E a r l y   r e t r i e v a l   a ppr oa c us e s   t e xt ua l   m e t a da t a   de s c r i bi ng   t he   c ont e nt   of   m us i c   a udi ( e .g .,  a r t i s t   na m e s ong   t i t l e a l bum   na m e g e nr e ,   or   r e l e a s e   y e a r   of   m us i c ) I c a s e   s uc de s c r i pt i ons   a r e   not   a v a i l a b l e ,   i t   i s   r e qu i r e d  c o nt e n t - ba s e d  r e t r i e v a l  s t r a t e g y   t h a t   t he   pe r c e p t ua l  a s pe c t s   of   t h e  a u d i o  a r e   ut i l i z e d [ 1] .   C ont e nt - ba s e a udi r e t r i e v a l   a ppr o a c i s   g e ne r a l l y   s ol v e w i t t w s t e ps :   f i r s t f e a t ur e s   a r e   e xt r a c t e f r o m   t he   a udi f i l e   a nd  t he us e t bui l i nde xe s   f or   s e a r c hi ng T w o   m a i i s s ue s   of   pe r f or m i n g   a   s e a r c h   ov e r   a   l a r g e   d a t a b a s e   a r e   s e a r c h   s pe e a n e f f i c i e n t   s t o r a g e .   T he   m o s t   i n t e r e s t i ng   a ppr oa c f o r   ha n d l i ng   t h e s e   pr o bl e m s   i s   b i n a r y   ha s hi ng ,  w he r e   t he  h i g h - di m e n s i ona l  f e a t ur e s  a r e   e n c o de i n t o  c om pa c t   b i na r y  c ode s .   T he r e   ha v e   be e s e v e r a l   ha s hi ng   m e t hods   pr opos e i t he   l i t e r a t ur e T he y   c a be   de v i de d   i nt t w c a t e g or i e s da t a - i n de pe n de n t   m e t h od s   a nd   da t a - de pe nd e n t   m e t h o ds .   M e t h o ds   i n   da t a - i nd e p e n de n t   c a t e g or y   [2 - 7 ]   us e  r a ndo m  l i ne a r  pr oj e c t i ons  or  s o m e   a r i t h m e t i c   e xpr e s s i on t o c ons t r uc t  ha s h f unc t i ons . W i t hout  t he  t r a i ni ng   pr oc e s s t he y   a r e   r obus t   t da t a   v a r i a t i on.  H o w e v e r s uc m e t hods   r e qui r e   l ong   ha s c ode s   t a c hi e v e   hi g pr e c i s i on. T hi s  i nc r e a s e s  t he  s t or a ge  c os t  a nd de g r a de s  t he  s e a r c h e f f i c i e nc y  [ 8] .   M e t hods  i n da t a - de pe nde nt  c a t e g or y a l s o c a l l e d l e a r ni ng t o ha s m e t hods , a i m  t o l e a r n a  s e t  of  ha s h   f u nc t i o n s   f r om   a v a i l a b l e   t r a i n i ng   da t a   t ha t   y i e l d   c om pa c t   c o de s   t o   a c h i e v e   s a t i s f a c t or y   s e a r c h   pe r f or m a nc e   [ 9] .   E xi s t i ng   da t a - de pe nde nt   m e t hods   c a b e   c l a s s i f i e i nt uns upe r v i s e d,  s upe r v i s e d,  a n s e m i - s upe r v i s e d   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I S S N :   2088 - 8708   I nt  J  E l e c  &  C om p E n g V ol . 11,   N o. 1, F e br ua r y  2021 :   879  -   891   880   l e a r ni ng   a ppr oa c h.  U ns upe r v i s e ha s hi n g   m e t hods   [ 10 - 12]   us e   unl a be l e da t a   t bui l t he   ha s f unc t i ons   w he r e   t he   ne i g hbor   di s t a nc e   ( e . g .,  L nor m )   a m on g   t he   t r a i ni ng   da t a   i s   pr e s e r v e d.  S upe r v i s e or   s e m i - s upe r v i s e ha s hi ng   m e t hods   [ 13 - 17]   a t t e m t i m pr o v e   t he   qua l i t y   of   ha s hi ng   by   l e v e r a g i ng   t he   s e m a nt i c   l a be l s   i nt o   t he   l e a r ni ng   pr oc e s s C om pa r e w i t da t a - i nde pe nde nt   m e t hods i t   a ppe a r s   t h a t   da t a - de pe nde nt   m e t hods   c a a c hi e v e   be t t e r   a c c ur a c y   w i t s hor t e r   c ode s   [ 12,  14,  17] H ow e v e r da t a - de pe n de nt   m e t hods   m a be  t oo de pe nde nt  on t he  t r a i ni ng  da t a  [ 18] .   T he r e   a r e   bot a d v a nt a g e s   a nd  s hor t c om i n g s   of   us i ng   da t a - i nde pe n de nt   a nd  da t a - d e pe nde nt   m e t hods H o w e v e r t he   pr e v i ous   w or ks   of   t he   t w c a t e g or i e s   do  not   f ul l y   t a ke   i nt c ons i de r a t i on  t he   s i m i l a r i t y   p r e s e r v i n g   a nd  t hi s   m a y   d e gr a de   t he   r e t r i e v a l   pe r f or m a nc e I t hi s   w or k,   a uns upe r v i s e d   s i m i l a r i t y - pr e s e r v i n g   ha s hi n g   m e t hod  f or   c ont e nt - ba s e a udi r e t r i e v a l   i s   pr opos e d.  W e   de v e l op  a   de e p   ne t w or w i t s e v e r a l   hi e r a r c hi c a l   l a y e r s   of   nonl i ne a r   a nd  l i ne a r   t r a ns f or m a t i ons   t l e a r c o m pa c t   bi na r c ode s   w he r e   t he   s i m i l a r i t y   be t w e e s a m pl e s   i s   pr e s e r v e d.  F ur t he r m or e t he   i nde pe n de nc e   a nd  ba l a nc e   pr ope r t i e s   a r e   i nc l ude i t he   obj e c t i v e   f unc t i on  t i m pr o v e   t he   c od e s T he   pr opos e m e t hod  i s   c om p a r e d   w i t t he   S ha z a m   a l g or i t h m   [ 3] t he   da t a - i nde pe nd e nt   ha s hi ng   m e t hod,  i t e r m s   of   a c c ur a c y,  pr e c i s i on,  r e c a l l ,   f a l s e  pos i t i v e   r a t e , a nd  t he  s t or a g e  c os t .       2.   B A C K G R O U N D   2.1.   L e ar n i n g t h as h   L e a r ni ng  t ha s a t t e m pt s   t l e a r n   a   ha s f unc t i on    = ( )   t ha t   m a p s   a   hi g h - di m e ns i ona l   i nput   i t e m       t a   c o m pa c t   c ode     a i m i ng  t i m pr o v e   t he   s e a r c pe r f or m a nc e   [ 1 9 ] T he r e   a r e   t opi c s   t c ons i de r   f or   t he   l e a r ni ng  t ha s h:   ( 1)   h a s f unc t i on,  ( 2)   s i m i l a r i t y - pr e s e r v i ng ,   ( 3)   l os s   f unc t i on ,   a nd  ( 4)   d e e p   l e a r ni ng   to   ha s h.     2.1.1.   H as h  f u n c t i on   T he r e   a r e   s e v e r a l   w a y s   t de s i g ha s f unc t i ons T he   m os t   w i de l y   us e ha s f unc t i ons   a r e   g e ne r a l i z e d b y  l i ne a r  pr oj e c t i on a s  s how n i n ( 1) .     = ( ) = sg n ( ( + ) ) w he r e   { 0 , 1 }   or   { 1 , 1 } = { x } = 1 x   i s   t he   t r a i ni ng   s e t   w hi c c ont a i ns     s a m pl e s   i s     t he   di m e ns i on  of   i nput   v e c t or = { } = 1 x   i s   t he   pr oj e c t i on   v e c t or   i s   n um be r   of   ha s bi t s   i s   t he   bi a s   v a r i a bl e ,   sg n ( ) = 1   or   0   i f   < 0   a nd   sg n ( ) = 1   ot he r w i s e ( )   i s   a   pr e de f i ne d   f unc t i on  w hi c h   c a pos s i bl y   be   ne ur a l   ne t w or ks   or   nonl i ne a r   f unc t i on.  H o w e v e r us i n g   di f f e r e nt   ( )   y i e l ds   di f f e r e nt   ha s h   f unc t i on pr ope r t i e s .     2.1.2. S i m i l ar i t y - p r e s e r vi n g   T he   di s t a nc e      be t w e e t w i t e m s     a nd    c a be   de f i ne by   t he   s t a nda r di z e E uc l i de a di s t a nc e   2   or   ot he r s .   T he   s i m i l a r i t y      be t w e e t hos e   i t e m s   i s   of t e de f i ne a s   a   f unc t i on   of   t he   di s t a nc e      ( e .g .,  G a us s i a f unc t i on,  c os i ne   s i m i l a r i t y a nd  s on) I a ddi t i o n,  t he   s e m a nt i c   s i m i l a r i t y   a ppr oa c i s   g e ne r a l l us e i s i m i l a r i t s e a r c a ppl i c a t i on.   We   c a a ppl y   a n di s t a nc e   t t he   ha s h i ng   a l g or i t h m   f o r   s e m a nt i c   s i m i l a r i t y s uc a s   E uc l i de a di s t a nc e by   de f i ni ng   s e m a nt i c   s i m i l a r i t y    = 1   f or   a dj a c e nt   poi nt s   a nd   = 0   or   1   f or  f a r t he r  poi nt s .   I t he   ha s c odi ng   s pa c e t he   H a m m i n g   di s t a nc e      be t w e e t he   c ode     a nd    c a be   de f i ne a s   1 = ( ) ( ) = 1 I t   i s   t he   num be r   of   bi na r y   di g i t s   w he r e   t he   v a l ue s   a r e   di f f e r e nt .   H a m m i n g   s i m i l a r i t y   i s   de f i ne a s    =    f or   t he   c ode s   v a l ue by   a nd  0.  F or   t he   c ode s   v a l u e by   1   a nd  - 1, t he  i nne r  pr oduc t    =   i s  de f i ne d a s  t he  s i m i l a r i t y .   L e t s   f oc us   on  t he   t e r m   of   s i m i l a r i t y   pr e s e r v i n g I F i g ur e   1( a ) t he r e   i s   a   s e t   of   t hr e e   poi nt s   ( 1 2 ,   a nd  3 )   i a i nput   s pa c e B y   m e a s ur i ng   t he   E uc l i de a di s t a nc e   be t w e e t he   poi nt s ,   w e   c a f i nd  t ha t   1   i s   c l os e r   t 2   t ha t 3 i .e .,  1   i s   m or e   s i m i l a r   t 2   t ha 3 T h e   ( 1 ) ( 2 ) a nd  ( 3 )   a r e     t he   r e pr e s e nt a t i ons   of   1 2 ,   a nd  3   i t he   ha s c odi ng   s pa c e   ( or   H a m m i n g   s pa c e ) r e s pe c t i v e l y .     F r om   t he   F i g ur e   1( b) w e   c a s e e   ( 1 )   i s   c l os e r   t o   ( 3 )   w hi l e   ( 2 )   i s   f a r   a w a y I t hi s   c a s e i t  s how s   t ha t   t he  s i m i l a r i t i e s  a r e  not  pr e s e r v e d. F i g ur e   1( c ) , on t he  ot he r  h a nd, s how s  a e xa m pl e  of  t he  s i m i l a r i t i e s  t ha t  a r e   w e l l  pr e s e r v e d .     Evaluation Warning : The document was created with Spire.PDF for Python.
I nt  J  E l e c  &  C om p E n g     I S S N :  2088 - 8708       Si m i l ar i t y - pr e s e r v i ng has h f o r  c ont e nt - b as e d  au di o r e t r i e v al   us i ng     ( P e t c har at  P any apanuw at )   881   S i m i l a r x 1 x 2 x 3 D i ss i m i l a r H a m m i n g   S p a c e   ( 2 - d i m ) h ( x 2 ) h ( x 3 ) 0 1 1 h ( x 1 ) H a m m i n g   S p a c e   ( 2 - d i m ) h ( x 1 ) h ( x 2 ) h ( x 3 ) 0 1 1 S i m i l a r i t i e a r e   n o t   p r e se r v e d S i m i l a r i t i e a r e   w e l l   p r e se r v e d H a sh i n g H a sh i n g ( a ) ( b ) ( c )     F i g ur e  1. S i m i l a r i t y - pr e s e r v i n g  ha s hi ng       2.1.3.  L os s  f u n c t i o n   T he   l os s   f unc t i on  i s   i n t e nde t pr e s e r v e   t he   s i m i l a r i t y   or de r i .e .,  m i ni m i z e   t he   di f f e r e nc e   be t w e e n   t he   ne a r e s t   ne i g hbor   s e a r c h   r e s ul t   i t he   ha s c odi n g   s pa c e   a nd  t he   s e a r c r e s ul t   i t he   i nput   s pa c e T he   l os s   f unc t i on   ( , )   i s  de f i ne d a s  f ol l ow s:      ( , ) =   2 ,   w he r e     i s  t he   i np ut   da t a ,   a nd    i s  t he  pr oj e c t i on  v e c t or .   S pe c i f i c a l l y = ( )   ne e ds   t be   bi na r y T hi s   bi na r y   c ons t r a i nt   l e a ds   t a   di f f i c ul t   opt i m i z a t i on  pr obl e m T s ol v e   t he   pr obl e m w e   dr op  t he   bi na r y   c ons t r a i nt   a nd  l e t   t he   c ode s   be   c ont i nu ous T he   c ode s   a r e   t he bi na r i z e w i t t hr e s hol di ng F or   bi na r y   c ons t r a i nt   r e l a xa t i on,  v a r i ous   s t a nda r opt i m i z a t i on  t e c hni que s   c a n be  a ppl i e d.     2.1.4.  D e e p  l e ar n i n g t o h a s h   T he   g o a l   of   l e a r ni ng  t ha s i s   t l e a r n   t he   s pe c i f i c   ha s f unc t i ons   t ha t   m a hi g h   di m e ns i o na l   i nput   v e c t or   t a   c om p a c t   bi na r y   v e c t or   t ha t   y i e l ds   a   g ood  qua l i t y   of   r e t r i e v a l   a nd  s e a r c s pe e [ 20] F or   unl a be l e da t a a i l l us t r a t i on  of   uns upe r v i s e de e l e a r ni ng   t h a s m ode l   t ha t   m a t he   i nput   v e c t or     t o   c o m pa c t  bi na r y  c ode s   i s  s how n i n F i g ur e   2 .                       w ( 1 ) w ( - 1) w ( L ) ... ... ... Lay er  1 La y er  2 Lay er  L - 1 Lay er  L Lay er  L +1 (Inp ut  L ayer) (Rec ons truc tion   Lay er) D xR ˆ D xR     F i g ur e  2. U ns upe r v i s e d de e p l e a r ni ng   m ode l   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I S S N :   2088 - 8708   I nt  J  E l e c  &  C om p E n g V ol . 11,   N o. 1, F e br ua r y  2021 :   879  -   891   882   A s s u m e   t ha t   a uns upe r v i s e de e ne t w or c ons i s t s   of   L + l a y e r s A   bi na r y   v e c t o   i s   g e ne r a t e d   by   pa s s i ng   t he   i nput   v e c t or     t hr oug t he   ne t w or t ha t   c ont a i ns   m ul t i pl e   hi e r a r c hi c a l   l a ye r s   of   nonl i ne a r   f unc t i ons . T he  bi na r y   c ode  of     a t   L t l a y e r  c a n be  c a l c ul a t e a s  f ol l ow s :     = ( ) =  ( ( , ) )     w he r ( , )   i s  a  c om pos i t i on of  nonl i ne a r  t r a ns f or m a t i ons  de f i ne d a s   f ol l ow s :     ( , ) = ( 2 ( 1 ( , ( 1 ) ) , ( 2 ) ) ( ) )     w he r e  t he   v e c t or     a nd t he   w e i g ht   v e c t or   ( )   a r e  us e a s  i nput , t he  pr oj e c t i on  + 1   i s  pr oduc e d b y   ( ) T h e   l e a r ni ng   a l g o r i t hm   a i m s   t l e a r a   s e t   of  nonl i ne a r   w e i g ht   v e c t or s   = { ( 1 ) , , ( ) }   w he r e   t he   i nf or m a t i on  f r o m  t he  i nput  s pa c e  i s  pr e s e r v e d.     2 . 2   S e ar c h  w i t h   h as h i n g   T he r e   a r e  t w o   s t r a t e g i e s  t o   p e r f or m   a  s e a r c h   w i t h   ha s h i ng ,   h a s h   c od e   r a n ki ng   a nd  ha s h t a b l e   l ook u p   [ 19] .   F or   t he   ha s c ode   r a nki ng a e xha us t i v e   s e a r c i s   pe r f or m e b y   c o m p a r i ng   t he   di s t a nc e   ( e . g .,  H a m m i n di s t a nc e be t w e e t he   que r y   a nd  t he   r e f e r e nc e   i t e m s T he   i t e m s   w i t t he   s m a l l e s t   di s t a nc e s c a l l e n e a r e s t   ne i g hbor s a r e   r e t r i e v e d.  H o w e v e r ,   t he   c os t   of   c om put i ng   t he   di s t a nc e   r e s ul t s   i n   pe r f or m a nc e   de g r a da t i on.   T he   a l t e r na t i v e   a pp r oa c h,  ha s h   t a bl e   l ookup  a i m s   t a c c e l e r a t e   t he   s e a r c b y   r e du c i ng   t he   di s t a nc e   c o m put a t i ons T he   i n v e r s e   l ookup  da t a ba s e ,   c a l l e h a s t a bl e i s   c o m pos e of   bu c ke t s   w hi c a r e   i nde xe b t he  ha s h c ode s . G i v e n t he  que r y , t he   m a t c hi ng  i t e m s  s t or i ng  i n t he  buc ke t  a r e   r e t r i e v e d.     2 . 3   A u d i o   f i n ge r p r i n t i n g   A udi f i ng e r p r i nt i ng   i s   be s t   know f or   i t s   a bi l i t y   t i de nt i f y   a uknow a udi r e c or di ng   by  us i ng   i t s   c o m pa c t   c ont e nt - ba s e s i g n a t ur e   s o - c a l l e f i nge r pr i nt   [ 21] I t   doe s   t hi s   by  c on v e r t i ng  t he   a udi f e a t ur e s   i nt o   ha s c ode s a i m i n g   t uni que l y   i de nt i f a n   a udi r e c or di ng T h e   a d v a nt a ge   of   f i nge r pr i nt   i s   t ha t i t   r e duc e s   s t or a g e   c os t s   a s   f i nge r pr i nt   i s   r e l a t i v e l y   s m a l l M o r e o v e r t he   pe r c e pt ua l   i r r e l e v a n c i e s   ha v e   be e r e m o v e d   f r o m  f i n g e r pr i nt , r e s ul t i ng  i n e f f i c i e nt  c o m p a r i s on a nd s e a r c hi n g .       3.   M E T H O D   T he   a i m   of   t hi s   pa pe r   i s   t pr o v i de   a e f f i c i e nt   t e c hni que   t ha t   y i e l ds   a   g ood  qu a l i t y   of   r e t r i e v a l   a nd   c o m put a t i ona l   e f f i c i e n c y .   I t hi s   w or k,  c o m pa c t   bi na r y   c ode s   a r e   l e a r ne f or   f i n g e r p r i nt   i nde xi ng   w i t h   uns upe r v i s e de e ne t w or i a   w a y   t ha t   t he   s i m i l a r i t y   be t w e e s a m pl e s   i s   pr e s e r v e d.   O nc e a   s hor t   a udi s a m pl e   i s   t a ke t our   c ont e nt - ba s e a udi r e t r i e v a l   s y s t e m t he   s y s t e m   pe r f or m s   d a t a ba s e   l ookup  f or   m a t c hi ng  t r a c k   a nd  t he r e t ur ns   t he   s on g   I D   t ha t   t he   que r y   i s   t a ke n.  A s   s how n   i F i g ur e   3,  t he   s y s t e m   i s   de s i g ne w i t t hr e e   s t e ps :   ( 1)   F i ng e r pr i nt   f e a t ur e   e xt r a c t i on,  ( 2)   U ns upe r v i s e s i m i l a r i t y - p r e s e r v i ng   h a s hi ng ,   a nd ( 3)  S e que nc e   m a t c hi ng .       R e f e r e nc e   Au dio Un s upe r vis e S im il a r it y - P r e s e r ving  Ha s hing De ep   L ea r n in g   to   Ha s h Ha s h   Fu n ctio n s                                                         16 - bi t  Ha s h X 1 ,X 3 X 2 ... X n I t e m s Da tab as e                                   16 - b it   Ha s h S e quenc e   M a tch ing S o n g   I D R etu r n ed   I tem Qu e r A udi o 0 20 40 60 100 80 120 140 160 180 F r e q u e n c y 500 1000 1500 2500 2000 3000 3500 4000 (t 2 ,f 2 ) (t 1 ,f 1 ) Δ f  =  f -   f 1 Δ t  =  t -   t 1 F e at ur e s   =  [ f 1 Δ f Δ t] T i m e 0 20 40 60 100 80 120 140 160 180 F r e q u e n c y 500 1000 1500 2500 2000 3000 3500 4000 (t 2 ,f 2 ) (t 1 ,f 1 ) Ca ndi da t e   P oi nt Δ f  =  f -   f 1 Δ =  t 2 - t 1 F e atur e s   =  [ f 1 Δ f Δ t] F e a tur e   E xtr a c ti on F e a tur e   E xtr a c ti on h 1 2 h 1 3 h 1 19 h 2 2 h 2 18 h 3 16 x 3 x 4 x 2 x 1 h 1 1 h 2 1 h 3 1         . . . . . . . . .         ... . . . 1 ˆ x 2 ˆ x 3 ˆ x 4 ˆ x 20 ˆ x x 20 Ca ndi da t e   P oi nt L a y e r   1 L a y e r   2 L a y e r   3 L a y e r   4 L a y e r   5 I n p u L a y e r R ec o n s tr u ctio n L a y e r T a r g e t   R e g i o n T a r g e t   R e g i o n     F i g ur e  3. T he   c ons t r uc t i on of  pr opos e d m e t hod f or  our  c ont e nt - ba s e d a udi o r e t r i e v a l  s y s t e m   Evaluation Warning : The document was created with Spire.PDF for Python.
I nt  J  E l e c  &  C om p E n g     I S S N :  2088 - 8708       Si m i l ar i t y - pr e s e r v i ng has h f o r  c ont e nt - b as e d  au di o r e t r i e v al   us i ng     ( P e t c har at  P any apanuw at )   883   3.1.    F i n ge r p r i n t  f e at u r e  e xt r ac t i on   B e f or e   f i nge r pr i nt   f e a t ur e   e xt r a c t i on  i s   pe r f or m e d,  t he   a udi s i g na l   i s   c on v e r t e i nt a   c o m m o n   f or m a t   f or   a na l y s i s N e xt t he   t i m e - s e r i e s   a udi s i g na l   i s   c on v e r t e i nt t i m e - f r e que nc y   d om a i f r o m   w hi c h   m o r e   m e a ni n g f ul  i nf or m a t i on c a n be  e xt r a c t e d. B e l ow   e a c h a s pe c t  i s  de t a i l e d.     3.1.1.  P r e p r oc e s s i n g a n d  t r an s f or m   I t hi s   pa pe r t he   f i ng e r pr i nt   e xt r a c t i on  pr e s e nt e i [ 3]   i s   a pp l i e d.  F i r s t l y w e   c on v e r t   t he   i nput   a udi t m ono  s i g na l   a nd  dow ns a m pl e f r o m   t he   s t a nda r di g i t a l   a udi of   44.1K H z ,   t 8K H z ,   t m a k e     t he   da t a   e a s i e r   t ha ndl e r e duc i ng   da t a ba s e   s i z e a nd  i nc r e a s i ng   s p e e of   t he   a l g or i t h m T he   a udi s i g na l   i s   t he c on v e r t e i nt t he   t i m e - f r e qu e nc y   r e pr e s e nt a t i on.  W e   pe r f or m   a   s hor t - t i m e   f our i e r   t r a ns f or m   ( S T F T )   w i t a   w i ndo w   s i z e   of   64  m s f or   g ood  s pe c t r u m   r e s ol ut i on  [ 22]   a nd  a   hop   s i z e   of   32  m s F i g ur e   s how s   t i m e - fr e qu e nc y  gr a ph s o - c a l l e d a  s pe c t r ogr a m . O n t he  hor i z ont a l  a xi s  i s  t i m e , on t he   v e r t i c a l  i s  f r e que nc y a n o n   t h e   t h i r d   i s   i n t e n s i t y E a c h   p o i n t   o n   t h e  g r a p h   r e p r e s e n t s   t he   i n t e n s i t y   o f   a  g i v e n   f r e q ue n c y  a t   s p e c i f i c   t i m e .           F i g ur e  4. S pe c t r og r a m   w i t h pe a k   i nt e ns i t i e s       3.1.2.   F e at u r e  e xt r ac t i on   A f t e r   c on v e r t i ng   t he   s i g na l   i nt t he   t i m e - f r e qu e nc y   do m a i n,  t he   f e a t ur e s   a r e   t he e xt r a c t e f r o m     t he   s pe c t r um D ue   t t he i r   r obus t ne s s   t o   noi s e   a nd  di s t or t i o ns , t he   a m pl i t ude   pe a ks   i e a c h f r a m e   a r e   s e l e c t e d   a s   c a ndi da t e   poi nt s .   E a c c a ndi da t e   poi n t   i s   pa i r e w i t t he   a dj a c e nt   pe a ks T he   c ons t e l l a t i on  m a of   pa i r e d   poi nt s   w i t c oor di na t e   l i s t   i s   s how i F i g ur e   5.   I t hi s   w or k,  e a c c a ndi da t e   poi nt   i s   pa i r e w i t hi 31  f r e que nc y   bi ns   a nd  63  t i m e   f r a m e s O nl y   t he   c l os e s t   pe a ks   i t i m e   t e a c ot he r   a r e   s e l e c t e d.  F i g ur e   6   s h ow s  t h e   c om bi na t or i a l  a s s oc i a t i o n   o f   a   p a i r  of  t w o p oi n t s   w h i c h   i s   c a l l e a   l a ndm a r k’ . F or   e a c h   pa i r ,  i t   c o n s i s t s   o f  f ou r  c om po ne n t s ,   t he   s t a r t i ng  f r e q ue nc y   1 ,   t he   s t a r t i ng   t i m e   1 t he  e nd   f r e q ue nc y   2 ,  a nd   t h e  e n t i m e   2 .           F i g ur e  5. A   c ons t e l l a t i on m a p of  pa i r e d poi nt s   (t 2 ,f 2 ) T i m e Freq u en cy (t 1 ,f 1 ) C a n d i d a t e   P o i n t 3 1   F r e q u e n c y   B i n 6 3   T i m e   F r a m e Δ =   f -   f 1 Δ t   =   t -   t 1 Feat u re  =   [f 1 Δ f,   Δ t] 3 1   F r e q u e n c y   B in     F i g ur e  6. T he   c o m bi na t or i a l  a s s oc i a t i on of   a  pa i r  of   t w o poi nt s   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I S S N :   2088 - 8708   I nt  J  E l e c  &  C om p E n g V ol . 11,   N o. 1, F e br ua r y  2021 :   879  -   891   884   3.1.3. A u d i o f i n ge r p r i n t   F or  t he  l a ndm a r a s   m e nt i one d a bo v e , t he  a udi o f i ng e r pr i nt  c a n be  de f i ne d a s  f ol l ow s :       =   [ 1 ,   Δ   ,   Δ ]   w he r e   t he   f r e que nc y   di f f e r e nc e   = 2 1 a nd  t he   t i m e   di f f e r e nc e   be t w e e t he   t w poi nt s   = 2 1 T he   f i ng e r pr i n t   i s   a l s o   a s s oc i a t e d  w i t h   t h e   o f f s e t   t i m e   f r om   t h e   be g i n n i ng   of   t h e  a u d i o   f i l e   t o   t h e   s t a r t i n g   t i m e   1 .   T hi s   f i ng e r p r i nt   f e a t ur e   [ 1 ,   Δ   ,   Δ ]   i s   us e t g e ne r a t e   ha s c ode   i [ 3] T h e   ha s m ode l   c a b e   de f i ne d a s   s how n i n ( 6) .     1 × 2 12 + × 2 6 +     w he r e   a   f i n g e r pr i nt   ha s i s   c o m pos e of   8 - bi t   f r e que n c 1 6 - bi t   f r e que nc y   di f f e r e nc e   a nd  6 - bi t   t i m e   di f f e r e nc e   . F i g ur e   7 s how s  a e xa m pl e   of  20 - bi t  ha s a ddr e s s   c a l c ul a t e d f r o m   ( 6) .       [ 2 1 6 , 1 8 ,   3 6 ] H a sh   F u n c t i o n 8 8 5 9 2 4 = H a sh   A d d r e ss 12 6 1 22 f f t 1 1 0 1 1 0 0 0 0 1 0 0 1 0 1 0 0 1 0 0 1 , [ , ] f f t      F i g ur e  7. A e x a m pl e  of  20 - bi t  ha s h a ddr e s s       F or   a   16 - bi t   f i ng e r pr i nt   ha s h,  i t   i s   c om pos e of   6 - bi t   f r e que nc y   1 5 - bi t   f r e que nc y   di f f e r e nc e   a nd 5 - bi t  t i m e  di f f e r e nc e   . T he  ha s m ode l  c a n be  de f i ne d a s   s how n i n ( 7) .     1 × 2 10 + × 2 5 +   ( 7)     A f t e r   t he   ha s c ode   i s   c a l c ul a t e d,  t he   s y s t e m   t he us e s   t hi s   c ode   a s   a i nde f or   s e a r c hi ng   i n     t he  da t a ba s e A n e xa c t   m a t c hi ng  a l g or i t h m  i s  a ppl i e d i n [ 3] .   U nl i ke  t he  S ha z a m  a l g or i t h m w e  de v e l op a  de e p   ne ur a l   ne t w o r w i t m ul t i pl e   hi e r a r c hi c a l   l a y e r s   of   nonl i ne a r   a nd  l i ne a r   t r a ns f or m a t i ons   t l e a r c o m pa c t   c ode s   f r o m   t he s e   f i nge r pr i nt   f e a t ur e s   s uc t ha t   t he   s i m i l a r i t be t w e e n   s a m pl e s   i s   pr e s e r v e d.  T he   de t a i l s   a r e   de s c r i be d f ur t he r  i n t he  ne xt  s e c t i on.     3 . 2 .   U n s u p e r vi s e d  s i m i l ar i t y - p r e s e r vi n h as h i n g ( U S H )   I t hi s   pa pe r t he   ha s t r a ns f or m a t i ons   a r e   c r e a t e b y   a uns upe r v i s e de e n e ur a l   ne t w or k .     A s  s ho w n i n F i g ur e  8, t he r e  a r e  5  l a y e r s  i n our  de e p n e t w o r k:  t he  i nput  l a ye r  c ons i s t s  of  20  node s  of  i nput   t he   t hr e e   hi dde l a y e r s   c ons i s t   of   19,  18,  a nd  1 node s   r e s pe c t i v e l y a nd  t he r e   a r e   2 node s   of     ̂   i   t he   o u t p u t   l a y e r                     . . . . . . . . .               . . . L ay er   1 L ay er   2 L ay er   3 L ay er   4 L ay er   5 . . . 20 20 18 19 16 ( 1 ) , ( 1 ) , ii fx ( 1 ) , ( 1 ) , ii af ( 2 ) , ( 2 ) , 1 1 i i H f e ( 2 ) , ( 2 ) , ii af ( 3 ) , ( 3 ) , 1 1 i i H f e ( 3 ) , ( 3 ) , ii af ( 4 ) , ( 4 ) , ( 4 ) , ( 4 ) , ( 4 ) , ii ii i H HH H ee f ee ( 4 ) , ( 4 ) , ii af ( 5 ) , ( 5 ) , ii fH ( 5 ) , ( 5 ) , ii af     F i g ur e  8. O ur  p r opos e d uns upe r v i s e d s i m i l a r i t y - pr e s e r v i n g  ha s hi ng  ne t w or k ( U S H )   Evaluation Warning : The document was created with Spire.PDF for Python.
I nt  J  E l e c  &  C om p E n g     I S S N :  2088 - 8708       Si m i l ar i t y - pr e s e r v i ng has h f o r  c ont e nt - b as e d  au di o r e t r i e v al   us i ng     ( P e t c har at  P any apanuw at )   885   O u r   de e n e t w or k   i s   l e a r n e s o   t ha t   t h e   o u t p u t   of   t he   f o u r t h   l a y e r   c a b e   u s e a s   t he   b i na r y   ha s h   c od e s .     F o r   t h e   ne t w or k   de s i g n,   e a c h   no de   i s   c om po s e d   of   o ne   i n p ut   s um m a t i o f u nc t i on   a n o ne   o u t p u t   t r a ns f or m a t i on   f unc t i on. T he  f unc t i on f ( ∙)  i s  us e d t o c om bi ne  i nf or m a t i on by  t he  l i nks  f r o m  ot he r  node s , a s  s how n i n ( 8) .       = ( ( ) , 1   , ( ) , 2   , , ( ) ,   ;   ( ) , 1   , ( ) , 2   , , ( ) , )   ( 8)     w he r e   ( ) , 1   , ( ) , 2   , , ( ) ,     a r e   t he   i nput s   t t he   node ( ) , 1   , ( ) , 2   , , ( ) ,   a r e   t he   a s s oc i a t e w e i g ht s ,       i ndi c a t e s   t he   l a y e r   nu m be r a nd    i s   t he   num b e r   of   i nput   node s T he   out put   a c t i v a t i on  f unc t i on  ( ( ) )   i s   s how n i n ( 9) .      = ( ) (   ) = ( ) ( )   ( 9)     L e t     be   t he   s um   of   pr oduc t   of   i nput     a nd  w e i g ht   = t he   f unc t i ons   of   t he   node s   f r o m  l a y e r  1 t o l a y e r   5 of  our  pr opos e d ne t w or k a r e  de f i ne d a s  f ol l ow s :   L a ye r   1:   I n   t hi s   l a y e r t he   node s   onl y   c on v e i nput s   t t he   node s   of   t he   ne xt   c ons e c ut i v e   l a y e r .     T he  f unc t i ons  of  t he   t h node  a r e  s how a s ;     ( 1 ) , = ( 1 ) ,   a nd   ( 1 ) , = ( 1 ) ,   L a ye r   2:   F or   t hi s   l a y e r t he   s i gm oi f unc t i on  i s   us e a s   a c t i v a t i on  f unc t i on.  L e t   ( 2 ) , = ( 1 ) ,   a nd   ( 2 ) , = ( 2 ) , ( 2 ) , . T hus , t he  f unc t i ons  of  t he   t h node  a r e  de f i ne d a s ;     ( 2 ) , =   1 1 + ( 2 ) ,     a nd   ( 2 ) , = ( 2 ) ,   L a ye r   3:   I t hi s   l a y e r t he   s i gm oi f unc t i on  i s   a ppl i e d   f or   a c t i v a t i on  f unc t i on.  L e t   ( 3 ) , = ( 2 ) ,   a nd  ( 3 ) , = ( 3 ) , ( 3 ) , . T he  f unc t i ons  of  t he   t h node  a r e  de f i ne d a s ;     ( 3 ) , =   1 1 + ( 3 ) ,       a nd    ( 3 ) , = ( 3 ) ,     L a ye r   4:   T he   out put   of   e a c node   i t hi s   l a ye r   w i l l   be   us e a s   t he   bi na r y   c ode s D ur i n t r a i ni ng ,   t he s e   c ode s   a r e   us e t r e c ons t r uc t   t he   i nput   da t a   a t   t he   out put   l a y e r T he   h y pe r bol i c   t a ng e nt   f unc t i on  i s   pa r t i c ul a r l y   us e d   a s   a c t i v a t i on  f unc t i on  i t hi s   l a ye r L e t   ( 4 ) , = ( 3 ) ,   a nd  ( 4 ) , = ( 4 ) , ( 4 ) ,   T he  f unc t i ons  of  t he   t h node  a r e  de f i ne d a s ;     ( 4 ) , =   ( 4 ) , ( 4 ) , ( 4 ) , + ( 4 ) ,     a nd   ( 4 ) , = ( 4 ) ,   L a ye r  5:   T hi s  l a y e r  i s  t he  out put  or  r e c ons t r uc t i on l a y e r T o p r e s e r v e  t he  s i m i l a r i t y  b e t w e e n  s a m pl e s ,   t hus t he   t a r g e t   out put s   a r e   g i v e t he   s a m e   a s   t he   i nput s   of   l a y e r   1.  L e t   ( 5 ) , = ( 4 ) ,   a nd  ( 5 ) , = ( 5 ) , ( 5 ) , . T he  f unc t i ons  of  t he   t h out put  no de   a r e  de f i ne d a s ;     ( 5 ) , = ( 5 ) ,     a nd    ( 5 ) , = ( 5 ) ,   T a c hi e v e   t he   e f f i c i e nt   bi na r c ode s w e   i nc l ude   c ons t r a i nt s   i t he   obj e c t i v e   f unc t i o s t ha t     t he   c ode s   ha v e   pr ope r t i e s :   ( 1)   be l ong i ng   t { 1,  - 1} ( 2)   s i m i l a r i t y - pr e s e r v i n g ( 3)   i nde pe nde nt a nd  ( 4)   ba l a nc i ng I n   t hi s   pa pe r t he   m e t hod  pr e s e nt e i t he   U H - B D N N   [ 23]   i s   a pp l i e t opt i m i z e   t he   obj e c t i v e   f unc t i on w hi c h i s  de f i ne d a s  f ol l ow s :     ,      = 1 2 ( ( 1 ) + ( 1 ) × [ 1 ] 1 × ) 2     + 1 2 ( ) 2 1 = 1 + 2 2 ( 1 ) 2     + 3 2 1 ( 1 ) ( 1 ) 2 + 4 2 ( 1 ) [ 1 ] × 1 2   ( 15)     . . { 1 , 1 } ×   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I S S N :   2088 - 8708   I nt  J  E l e c  &  C om p E n g V ol . 11,   N o. 1, F e br ua r y  2021 :   879  -   891   886   w he r e   ×   i s   a   s e t   of     t r a i ni ng   da t a   w i t   di m e ns i on,  { 1 , 1 } ×   i s   out put   bi na r y   c ode   of     i s  num be r  o f  bi t s   i s  num be r  of  l a y e r s ( )   i s  w e i g ht   m a t r i x be t w e e n l a y e r   + 1   a nd l a ye r     i s  bi a s   v e c t or   f or  n o de s   i l a y e r   + 1 ( ) = ( ) ( ( 1 ) ( 1 ) + ( 1 ) [ 1 ] 1 × )   i s   t he   o ut p u t  v a l u e s   of   l a y e r   ( 1 ) =   ( )   i s   a c t i v a t i o n  f un c t i o of   l a y e r   ,  a nd   1   -   4   a r e   t h e   pa r a m e t e r s  f or  o p t i m i z i ng   t he  o b j e c t i v e  f u nc t i on .   T he   f i r s t  t e r m  of   ( 15)   m a ke s  s ur e  t ha t  t he  bi na r y  c ode   a l l ow s  a  g ood r e c ons t r uc t i on of   . T h e  s e c ond  t e r m   i s   a   w e i g ht   r e g ul a r i z a t i on  t ha t   e nc our a g e s   t he   ne t w or t ke e t he   w e i g ht s   s m a l l   i or de r   t r e duc e   o v e r f i t t i ng T he   t hi r t e r m   m e a s ur e s   t he   e qua l i t y   c ons t r a i nt   v i ol a t i on.  T he   f our t t e r m   i s   t he   i nde pe nde nc e ,   a nd  t he   f i f t t e r m   i s   ba l a nc e   of   t he   bi na r y   c ode s A s   s how i ( 16)   i s   t e ns ur e   t ha t   e a c bi t   of   t he   b i na r c ode s   be l ong s   t { 1,  - 1} .   Af t e r   t he   e f f i c i e nt   c ode s   a r e   pr oduc e f r o m   de e p - l e a r ni ng   n e t w or k,  t he s e   c ode s   a r e   us e a s   s e a r c i nde x   i n our   c ont e nt - ba s e a ud i r e t r i e v a l   s y s t e m T h e   s ong   I D 1 1   a nd    a r e   s t or e a t   t he i r  ha s h a ddr e s s  i n t he  da t a ba s e . T a bl e  1 s how s  t he  r e pr e s e nt a t i on of  i nf or m a t i on da t a .       T a bl e  1. R e pr e s e nt a t i on of  i nf or m a t i on da t a   M e t h od   I nde x   I nf or m a t i o n   da t a   U S H   16  bi t s   H a s h   A ddr e s s   S o ng   I D ,   1 ,   1 ,   ,     S h a z a m   [ 3]   16 - bi t   /   20 - bi t   H a s h   A ddr e s s   S o ng   I D ,   1       3 . 3   S e q u e n c e  m at c h i n g   F or   t he   que r y   s t e p,  a   s e qu e nc e   of   qu e r y   f e a t ur e s   i s   ge ne r a t e t a   s e t   of   c o m p a c t   ha s c ode s   a nd   us e f or   s e a r c hi ng   i t he   i nv e r s e   l ookup  da t a ba s e .   L e t     r e pr e s e nt   a   s e t   of   s e que nc e s   of   que r y   f e a t ur e s ,     = { 1 , 2 , , } w he r e     i s   a   que r y   a t   or e de r   = 1 , 2 , , a nd    i s   t he   t ot a l   num be r   of   s e que nc e s T he   l e a r ni ng  ha s f unc t i on  : ( ) i s   us e t m a t he   que r y   f e a t ur e s   t bi na r ha s c ode s . W e  c a n de f i ne   = { } = 1   t o t he  c or r e s pondi ng  bi na r y  c ode s  a s  f ol l ow s :     = ( ) = { ( 1 ) , ( 2 ) , , ( ) }   w he r e     i s   t he   ha s c ode s   of   { 1 , 1 } a nd    i s   t he   num be r   of   bi t s A f t e r   l e a r ni n g   de e ne t w or k ,   w e   obt a i a   s e t   of  i t e m s   t ha t   i nde xe by   t he   ha s a ddr e s s L e t   = { 1 , 2 , , }   be   a   s e t   of   i t e m s   of    5x 1   be   t he   i nf or m a t i on  v e c t or   t ha t   a r e   s t or e i t he   da t a ba s e a nd    is   t he   num be r   of   i t e m s   of   .   G i v e n   = { } = 1   i s   a   s e t   of     w he r e   = 1 , 2 , , ,   t h e   s e q u e n c e  m a t c h i ng   pr o c e s s   i s   s h ow n   i n   F i g ur e   9 .       A   S e q u e n c e   o f   Q u e r i e s Q   =   { q 1 , q 2 , q 3 } q 1 q 2 q 3 L e a r n i n g   H a sh   F u n c t i o n H ( q 1 ) H ( q 2 ) H ( q 3 ) 1 0 0 0 1 0 . . . 1 0 0 0 1 0 0 0 1 0 . . . 1 0 0 1 1 0 0 0 1 0 . . . 1 0 1 0 1 0 0 0 1 0 . . . 1 0 1 1 1 0 0 0 1 0 . . . 1 1 0 0 1 1 1 1 1 1 . . . 1 1 1 1 T h e   R e f e r e n c e I n v e r se   L o o k u p D a t a b a s e [     ] 5x1 [     ] 5x1 x 21 x 22 [     ] 5x1 [     ] 5x1 [     ] 5x1 [     ] 5x1 x 11 x 12 x 13 x 14 [     ] 5x1 [     ] 5x1 [     ] 5x1 x 31 x 32 x 33 S   x 11 x 12 x 14 x 21 x 22 x 31 x 32 x 13 x 33 I n f o r m a t i o n   D a t a [ S o n g   I D ,   t 1 f 1, Δ f Δ t Mo s fre quen tly occu rred  sim ila rel ativ offs ets   t ime Mi n imu Dis ta nce S o n g   I D R e t u r n e d   I t e m D a t a   C o l l e c t i o n     F i g ur e  9. O ur  pr opos e d s e que nc e   m a t c hi ng   Evaluation Warning : The document was created with Spire.PDF for Python.
I nt  J  E l e c  &  C om p E n g     I S S N :  2088 - 8708       Si m i l ar i t y - pr e s e r v i ng has h f o r  c ont e nt - b as e d  au di o r e t r i e v al   us i ng     ( P e t c har at  P any apanuw at )   887   A s  c a n be  s e e n i n F i g ur e  9,  a s s u m e  t ha t   = { 1 , 2 , 3 } , a nd g e t  t he  bi na r y  c ode s   ( ) , w e  obt a i n a   s e t   of   1 = { 11 , 12 , 13 , 14 } 2 = { 21 , 22 } 3 = { 31 , 32 ,   33 } a nd  = { 11 , 12 , 13 , 14   , 21 , 22 ,   31 , 32 , 33 } .   O n e   ne a r e s t   ne i g h b o r   s e a r c h    ( )   f o r  a   q ue r y   i t e m  a t   o r de r     f r om     i s   d e f i ne d   a s  f o l l ow s :      ( ) =   2     w he r e    2   i s   t he   2 - nor m   b e t w e e    a nd  s e que nc e s   G i v e = {  ( ) } = 1   i s     a   c a ndi da t e   i t e m s   s e t   of   W e   a l s a ppl y   a   t i m e   of f s e t   c ons t r a i nt   f or   i m pr o v i n g   t he   a c c ur a c of   t he   s e que nc e   m a t c hi ng .   T he   t i m e   of f s e t   c ons t r a i nt   |   |   i s   t he   a bs ol ut e   d i f f e r e nc e   be t w e e   a nd  I t   c a b e   de f i ne d a s  f ol l ow s :     | 1 1 | = = | |   w he r e     a nd    a r e   t he   of f s e t   t i m e   of   r e f e r e nc e   f i l e     a nd  que r r e s pe c t i v e l y .   T he   c ons t r a i nt   of   of f s e t   t i m e   c a b e   a na l y z e d   t ha t   a   s e que nc e   of   c a ndi da t e   i t e m s   s houl oc c ur   w i t t he   s a m e   a bs ol ut e   di f f e r e nc e  a m on g  t he  t i m e  s e que n c e s .   O ur  pr opos e d ha s  t he  f ol l ow i ng  pr o c e dur e s .   I s u m m a r y t he   pr opos e a udi r e t r i e v a l   a l g or i t h m   i s   ba s e on  t w pa r t s t he   s i m i l a r i t y   ( m i ni m u m   di s t a nc e )   be t w e e t he   a udi o   que r y   a nd  t he   s ong   i t he   r e f e r e nc e   da t a ba s e a nd  t he   a bs ol ut e   di f f e r e nc e   a m on t he  t i m e  s e que n c e s .     Alg o r it h m :   S i m il a r it y - p r e s e r v in g   h a s h   f o r   c o n t e n t - b a s e d   a u d io   r e t r ie v a u s i n g   u n s u p e r v i s e d   d e e p   n e u r a n e t wo r k s   I n p u t :             = { } = 1                   r e f e r e n c e   s e t ;   q u e r y   s e t ;   Ou tp u t :   S I D     S o n g   I i s   r e tu r n e d   b y   p r o p o s e d   a l g o r it h m .   S tep   1 :   E x tr a c t i n g   f i n g e r p r i n f e a tu r e s   = { } = 1 ×   f r o m   th e   r e f e r e n c e   d a tas e t .   S tep   2 :   L e a r n i n g   h a s h   wh e r e     i s   a n   i n p u v e c to r .   T h e   o b jec t iv e   f u n c t i o n   d e f i n e d   a s   e q u a ti o n s   15 - 1 6 .   I n   th i s   s t e p ,   we   a p p l y   th e   l e a r n i n g   f u n c ti o n   ( )   f o r   a u d i o   f i n g e r p r i n t     i n   s tep   3 .   S tep   3 :   S e q u e n c e   m a tch i n g   1 .   T h e   q u e r y   s a m p le  i s   d iv i d e d   i n to     f i n g e r p r i n ts   = { } = 1   2.   = {   } ,   = {   } = {   } ,   = {   }   f o r     1,   2,    ,     do          =   ( )          =   a ll   i tem s   i n   ( )   a r e   c o ll e c ted   i n to            =         e n d   f o r     1,   2,    ,     do      Au x   =   m a x Va l u e      f o r     =   1 ,   2,    ,   s ize Of ( )   do               if   2   <   Au x                     Au x   =   2             a b s T i m e   =   | |             S I =                 e n d      e n d        =     { ,  }   e n d   3 .   F i n d i n g   m a x   f r e q u e n c y   o f   e a c h   S o n g   I o f     wh e r e   th e y   h a v e   s a m e   a b s o l u te  d if f e r e n c e   a m o n g   th e   t i m e   s e q u e n c e s .       4.   E X P E R I M E N T A L  A N D  P E R F O R M A N C E  A N A L Y S I S   4.1.    D at ab as e   T he  pe r f or m a nc e  of  our  pr opos e U S H   m e t hod i s  e v a l ua t e d on t he   E xt e nde d B a l l r oo m  da t a s e t  f r e e l a v a i l a bl e   i [ 24, 25] T he   da t a s e t   c ons i s t s   of   4,18 m us i c a l   e xc e r pt s   of   13  g e nr e s   w i t a   l e ng t of   30  s e c onds   e a c h.  T he   a ud i qua l i t y   of   t hi s   da t a   i s   44.1kH z 192 - kbps s t e r e o,  m p3  f or m a t I t hi s   w or k,  t he   a udi s i g na l   is   dow ns a m pl e t 8K H z t m a k e   t he   da t a   e a s i e r   t ha ndl e   a s   pr e v i ous l y   m e nt i one d.  T he   t r a i ni ng   s e t     ( a l s us e a s   r e f e r e nc e   d a t a ba s e   f or   r e t r i e v a l )   i s   c o m pos e of   3,000  t r a c ks   f r o m   g e nr e s t he   s a m e   r h y t h m   c l a s s   a s   our   pr e v i ous   w or ks   [ 26,  27] A   s e t   of   1,0 00  a udi que r i e s   w i t a   l e n g t of   10  s e c onds   e a c a r e   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I S S N :   2088 - 8708   I nt  J  E l e c  &  C om p E n g V ol . 11,   N o. 1, F e br ua r y  2021 :   879  -   891   888   r a ndo m l y   s e l e c t e f r o m   t hos e   3,000  t r a c ks A not he r   s e t   of   200  a udi o   que r i e s   c om e s   f r om   a udi f i l e s   t ha t   do  not   a ppe a r   i n   t he   da t a ba s e i n or de r   t a na l y z e   t he   f a l s e   pos i t i v e   r a t e E a c a udi s a m pl e   i s   r e pr e s e nt e by    a   20 - di m e ns i ona l   f e a t ur e   v e c t or   e xt r a c t e b f i nge r pr i nt   a l g or i t h m T a bl e   s ho w s   t he   nu m b e r   o f   s a m pl e s   i n     t he  da t a ba s e  a nd t he  que r y  s e t .       T a bl e  2.  A udi o s a m pl e s  i n t he  da t a ba s e  a nd que r y  s e t   S e t   N um be r   of   t r a c ks   L e ngt h   of   s e gm e nt   ( s )   N um be r   of   s a m pl e s   D a t a ba s e   3, 000   30   441, 184   Q ue r y   1, 200   10   67, 785       4.2.    P e r f or m an c e  e val u at i on   4.2.1.  E f f e c t i ve n e s s  of  r e t r i e val   O a   t ot a l   of   1,200   a udi que r i e s t he   r e t r i e v a l   r e s ul t s   obt a i ne f r om   our   pr opos e U S H   m e t hod  a nd   s t a t e - of - t he - a r t   d a t a - i nde pe nde nt   m e t hod,  t he   S ha z a m   a l g or i t h m ,   a r e   s ho w i T a bl e   3.  T he   f a l s e   n e g a t i v e   ( F N )   r e f e r s   t t he   i nc or r e c t   i de nt i f i c a t i on  t ha t   t he   q ue r y   a udi doe s   not   e xi s t   i t he   da t a b a s e   w h e i t   doe s ,   t r ue  pos i t i v e   ( T P )  r e f e r s  t o t he  c or r e c t  i de nt i f i c a t i on of   t he  a udi o r e c or di n g  f r o m  t he  que r y f a l s e  pos i t i v e  ( F P )   r e f e r s   t t he   i nc or r e c t   i de nt i f i c a t i on  of   t he   w r ong   r e c or di n g   w he t he   c or r e c t   r e c or di ng   do e s   not   e xi s t   i n   t he   da t a ba s e , a nd t r ue  ne ga t i v e   ( T N )  r e f e r s  t o t he  c o r r e c t  i de nt i f i c a t i on t ha t  no a udi o r e c o r di ng   m a t c he s   t h e   qu e r y .   A c c or di ng   t o   t he   e x pe r i m e n t a l   r e s u l t s ,   w e   o b t a i n   h i g he r   pe r c e n t a g e   of   a c c ur a c y   ( 8 8. 9 2% )   f or   t h e   pr opos e U S H   t ha s t a t e - of - t he - a r t   d a t a - i nde pe nde nt   m e t hod,  t he   S ha z a m   a l g or i t h m   ( 71.67%   f or   16 - bi t   ha s c ode 8 7 . 4 2%   f o r   2 0 - b i t   h a s h  c o d e ) .   F i g ur e  1 0   s h ow s   t he   r e t r i e v a l   a c c ur a c y   c om pa r i s o n   be t w e e n   t h e   t w o   d i f f e r e n t  m e t h o d s .       T a bl e  3. R e t r i e v a l  r e s ul t s  c o m pa r i s on be t w e e U S H  a nd s t a t e - of - t he - a r t  da t a - i nde pe nde nt   m e t hod   M e t h od   FN   TP   FP   TN   U S H   16 - bi t   114   886   19   181   S h a z a m   16 - bi t   290   710   50   150   S h a z a m   20 - bi t   132   868   19   181           F i g ur e  10. T he  r e t r i e v a l  a c c ur a c y  of  t he  pr opos e U S H   a nd t he  S ha z a m   a l g or i t h m       T he   e f f e c t i v e n e s s   of   t he   U S H   i s   e v a l u a t e t hr oug t he   e xpe r i m e nt s   a nd  c o m pa r e w i t s t a t e - of     t h e - a r t   d a t a - i n de p e n de n t  m e t h o d   i n   t e r m s   o f  p r e c i s i o n ,   r e c a l l ,   F 1   s c or e ,  a n d   f a l s e   p o s i t i v e   r a t e  [ 2 8 ] ,  a s   f o l l ow s :       =     +  × 100 ( 20)   =     +  × 1 0 0   ( 21)     F1     =   2 ×      x        +     ( 22)             =     +  × 1 0 0   ( 23)     A s   c a be   s e e i T a bl e   4,  w e   obt a i h i g he r   pr e c i s i on  a nd  r e c a l l   v a l ue s   f or   t he   pr opos e U S H   t ha n   s t a t e - of - t he - a r t   da t a - i nde pe nd e nt   m e t hod  bot i 16 - b i t   a nd  20 - bi t   ha s c ode T he   F s c or e   ( i t he   f our t c ol um n )   s ho w s   t he   o v e r a l l   e f f e c t i v e ne s s   of   t w o   di f f e r e nt   m e t hods F ur t he r m or e t he   U S H   ha s   a   s i g ni f i c a nt l Evaluation Warning : The document was created with Spire.PDF for Python.