I n d on e s i an   Jo u r n al   o El e c t r i c al   En gi n e e r i n g   an d   C o m p u te r   S c i e n c e   V o l .   40 ,   N o .   2 N o v e m b e r   2025 ,   pp.   9 78 ~ 9 87   IS S N :   2502 - 4752 ,   D O I :   10. 1 1591 / i j e e c s . v 40 .i 2 . pp 9 78 - 9 87             978     Jou r n al   h o m e pa ge ht t p: / / i j e e c s . i a e s c or e . c om   M u l t i - v i su a l   m o d a l i t y   f o r   c o l l a b o r a t i v e   f i l t e r i n g - b a sed  p e r so n a l i z e d   P OI r e c o m m e n d a t i o n s       S u d ar at  A r th an 1 ,   K r e an gs a k   T am e e 1 , 2   1 D e p a rt m e n t   o f   C o m p u t e r   S c i e n c e   a n d   I n fo r m a t i o n   T e c h n o l o g y ,   F a c u l t y   o f   S c i e n c e ,   N a r e s u a n   U n i v e r s i t y ,   P h i t s a n u l o k ,   T h a i l a n d   2 Re s e a r c h   C e n t e fo A c a d e m i c   E x c e l l e n c e   i n   N o n l i n e a A n a l y s i s   a n d   O p t i m i z a t i o n ,   N a r e s u a n   U n i v e r s i t y ,   P h i t s a n u l o k ,   T h a i l a n d       A r ti c l e   I n fo     A B S TR A C T   Ar t i c l e   h i s t or y :   R e c e i v e d   D e c   12 2024   R e v i s e J ul   30 202 5   A c c e pt e O c t   14 2 025       P o i nt - of - i nt e r e s t   ( P O I )   r e c o m m e nda t i o s y s t e m s   he l p   us e r s   d i s c o v e r   l o c a t i o ns   t h a t   m a t c t he i r   i n t e r e s t s .   H o w e v e r ,   t h e s e   s y s t e m s   o f t e s uf f e r   f r o m   da t a   s p a r s i t y   due   t o   l i m i t e d   u s e r   c he c k - i n   hi s t o r y .   T o   a d dr e s s   t h i s   c ha l l e ng e ,   t hi s   s t udy   pr o po s e d   a   no v e l   us e r   pr o f i l i ng   f r a m e w o r t ha t   i nc o r po r a t e s   m u l t i p l e   v i s ua l   m o da l i t i e s   de r i v e d   f r o m   us e r - g e ne r a t e pho t o s .   T hr e e   t y pe s   o f   v i s ua l - ba s e d   us e r   p r o f i l e s   w e r e   c o ns t r uc t e d:   i m a g e   l a be l - ba s e d,   i m a g e   f e a t u r e - ba s e d ,   a nd  a   f u s e pr o f i l e ,   c o m bi ni ng   bo t m o da l i t i e s   t hr o ug s c o r e - l e v e l   f us i o n.   W e   c o nduc t e d   e x t e ns i v e   e xp e r i m e n t s   o t w o   r e a l - w o r l d a t a s e t s .   T he   r e s ul t s   de m o ns t r a t e   t h a t   v i s ua l - ba s e d   pr o f i l e s ,   pa r t i c ul a r l y   t he   i m a g e   f e a t ur e - ba s e p r o f i l e ,   c o ns i s t e nt l y   i m p r o v e   r e c o m m e nda t i o pe r f o r m a nc e   un de r   s pa r s e   d a t a   c o ndi t i o ns .   A l t h o ug t he   f us e pr o f i l e   o f f e r e d   s t a b l e   r e s u l t s ,   i t   d i d   no t   c o ns i s t e n t l y   o ut pe r f o r m   t he   s i ng l e   m o da l i t y .   F ur t he r m o r e ,   p e r f o r m a nc e   w a s   s e ns i t i v e   t o   t he   n um be r   o f   ne a r e s t   ne i g hbo r s   a nd   t he   a m o unt   o f   t r a i n i ng   d a t a .   T h e s e   f i n di ng s   hi g hl i g ht   t he   i m po r t a nc e   o f   m o da l i t y   s e l e c t i o a n d   f us i o n   s t r a t e g y   i v i s ua l - b a s e d   P O I   r e c o m m e nda t i o s y s t e m s .   Ke y w or d s :   Im a ge - b a s e r e c o m m e n d a t i o n   P O r e c o m m e n da t i o n   S pa r s e   da t a   U s e r   p r e f e r e n c e s   V i s ua l   m o da l i t y   T hi s   i s   an   ope n   ac c e s s   ar t i c l e   u nde r   t he   C C   B Y - SA   l i c e ns e .     Cor r e s pon di n g   Au t h or :   K r e a n gs a T a m e e   R e s e a r c Ce n t e r   f o r   A c a de m i c   E xc e l l e n c e   i N o n l i n e a r   A na l y s i s   a nd  O p t i m i z a t i o n   N a r e s ua n   U ni v e r s i t y   T h a i l a n d   65000  P hi t s a n ul o k,   T ha i l a nd   E m a i l :   k r e a n gs a kt @ n u . a c . t h       1.   I N TR O D U C TI O N   P o i n t - of - In t e r e s t   (P O I)   r e c o m m e n d a t i o s y s t e m s   pl a y   a   c r uc i a l   r o l e   i n   h e l pi n g   us e r s   d i s c ov e r   l o c a t i o n s   t h a t   a l i g w i t h   t h e i pe r s o n a l   p r e f e r e n c e s   a n d   i nt e r e s t s ,   pa rt i c ul a r l y   i n   a e ra   w h e r e   i n f o r m a t i o n   a b o ut   pl a c e s   i s   a b u n da nt   a n d   r e a di l y   a c c e s s i b l e   [1].   H ow e ve r ,   a   m a j o r   c ha l l e nge   f a c e by   t h e s e   s y s t e m s   i s   da t a   s pa r s i t y ,   w h i c h   a ri s e s   w h e n   us e p r e f e r e n c e s   a r e   i n f e rr e p r i m a ri l y   f r o m   b e h a v i o r a l   d a t a ,   s uc a s   c h e c k - i n s .   S i n c e   m a n y   us e r s   o nl y   v i s i t   a n d   c h e c i a t   a   l i m i t e d   num b e o f   P O Is ,   t h e   a v a i l a b l e   i nt e ra c t i o da t a   i s   of t e n   i n s uf f i c i e n t   t o   a c c ura t e l y   m o de l   t h e i r   p r e f e r e n c e s   [2].   T hi s   s p a r s i t y   s i g n i f i c a n t l y   i m p a i r s   t h e   s y s t e m ’s   a b i l i t y   t o   p r o v i de   r e l e v a n t   a n d   pe r s o na l i z e d   r e c o m m e n da t i o ns .   T o   a dd r e s s   t h i s   i s s ue ,   r e c e n t   s t ud i e s   ha v e   e xpl o r e v a ri o us   fo r m s   o f   us e r - ge n e r a t e a ddi t i o na l   da t a   a s   a l t e rna t i v e   o r   c o m pl e m e n t a r y   s o ur c e s   o f   i n f o r m a t i o n .   T h e s e   i n c l ude   t a gs   [ 3 ],   [4] ,   P O r e v i e w s   [5],   s o c i a l   c o n n e c t i o n s   [2],   t e m po r a l   p a t t e rn s   [6] ,   a n d   v i s ua l   c o nt e nt   f r o m   us e r - s ha r e p h o t o s   [7].   A m o ng  t h e s e ,   us e r - s h a r e d   p h o t o s   ha v e   r e c e i v e i n c r e a s i n a t t e nt i o n   due   t o   t h e i r   a b i l i t y   t o   pr o v i de   ri c c o n t e xt u a l   i n f o r m a t i o a b o ut   us e p r e f e r e n c e s   a n d   P O I   c ha ra c t e ri s t i c s .   I p a r t i c ul a r,   ge o - t a gge p h o t o s   o ff e r   b o t s pa t i a l   a n d   t e m po ra l   i n f o r m a t i o n,   e na b l i n g   t h e   r e c o n s t ruc t i o o f   us e r   t ra v e l   h i s t o r i e s   a n d   m o v e m e n t   pa t t e rn s   [8] .   T h e   v i s u a l   c o nt e nt   e m b e d de d   i t he s e   p h o t o s   c a b e   a na l y z e d   t o   i n f e us e p r e f e r e nc e s ,   a s   de m o n s t ra t e d   i [ 9 ] - [1 4 ] .   Evaluation Warning : The document was created with Spire.PDF for Python.
In do n e s i a J   E l e c   E ng  &   Co m S c i     IS S N :   2502 - 4752       Mul t i - v i s ual   m oda l i t y   f or   c o l l a bor at i v e   f i l t e r i ng - bas e pe r s o nal i z e   ( Sudar at   A r t h an )   979   V i s ua l   da t a   de r i v e f r o m   p h o t o s   c a n   b e   b r o a dl y   c a t e go r i z e d   i nt o   t w o   m a i m o da l i t i e s :   i m a ge   l a b e l s   (e . g. ,   t a gs   o c a t e go ri e s   e xt ra c t e d   v i a   c o m put e v i s i o A P I s a n d   i m a ge   f e a t u r e s   (e . g. ,   t e xt u r e s ,   s h a pe s ,   o r   hi g h - l e v e l   de s c r i pt o r s   l e a rn e d   f r o m   CN N - b a s e m o de l s ).   T he s e   m o da l i t i e s   s e r v e   c o m pl e m e n t a r y   pur po s e s   i us e r   p r o f i l i ng.   I m a ge   f e a t ur e s   h a v e   b e e n   us e i n   s e v e r a l   s t udi e s   t o   m o de l   l a t e n t   v i s ua l   p r e f e r e n c e s   a n d   i m p r o v e   r e c o m m e n d a t i o n   a c c ura c y .   F o r   e x a m pl e ,   Z h a o   e t   al .   [9 a n W a n e t   a l .   [10]   ut i l i z e de e f e a t ur e s   f r o m   us e p h o t o s   t o   s ugge s t   pe r s o na l i z e d   P O Is   a n d   t o ur s .   L i u   e t   a l .   [ 14]   a nd   Z h a n g   e t   al .   [15]   f u r t h e r   c o m b i n e v i s ua l   f e a t u r e s   w i t h   ge o gra p hi c   i n f l ue n c e   t o   i m pr o v e   r e c o m m e n d a t i o n   pe r f o r m a n c e .   I a   m o r e   d y n a m i c   c o n t e xt ,   S a ng  e t   a l .   [16]  l e v e r a ge v i s ua l   f e a t u r e s   f r o m   ge o - t a gge p h o t o s   t o ge t h e r   w i t s e que n t i a l   us e r   b e ha v i o pa t t e rn s ,   us i n g   a a da pt i v e   a t t e n t i o m e c h a n i s m   t o   b a l a n c e   v i s ua l   c ue s   w i t s h o r t - t e r m   a n l o n g - t e rm   c h e c k - i n   hi s t o r y .   I m a ge   l a b e l s - of t e n   i t h e   f o r m   of   de s c r i pt i v e   t a gs - a l s o   o ff e r   m o r e   i n t e r p r e t a b l e   s e m a n t i c   c ue s .   K i m   e t   al .   [ 11]  p r o po s e a   gra p h - b a s e a pp r o a c h   us i n i m a ge   t a gs   t o   m o de l   b o t h   ge n e ra l   a n i n di v i du a l   us e r   i n t e r e s t s ,   w hi c h   w e r e   t h e n   c o m pa r e w i t h   c a n d i da t e   P O I s   f o r   r e c o m m e n d a t i o n.   T h e s e   s t udi e s   i l l us t r a t e   t h e   g r o w i n g   po t e n t i a l   o f   bo t i m a ge   f e a t u r e s   a n d   l a b e l s   i e nha n c i ng   us e p r o f i l i n g   f o P O r e c o m m e n d a t i o n.   I a ddi t i o n ,   S t e f a n o v i c   a n d   R a m a n a us k a i t e   [ 13 ]   a l s o   ut i l i z e o b j e c t - l e v e l   l a b e l s   i us e ph o t o s   t o   i n f e p r e f e r e n c e s   a n d   c o nn e c t   t h e m   t o   s ui t a b l e   t ra v e l   de s t i n a t i o n s .   H ow e v e r ,   m o s t   e x i s t i ng  w o r t r e a t s   t h e s e   m o da l i t i e s   s e pa ra t e l y ,   a n d   f e w   s t udi e s   h a v e   e xpl o r e t h e i i nt e gra t i o o r   c o m pa ra t i v e l y   e v a l ua t e d   t h e i r   e f f e c t i v e n e s s ,   e s pe c i a l l y   i n   t h e   c o n t e xt   o f   c o l l a b o r a t i v e   f i l t e r i ng.   In  t hi s   s t udy ,   a   n o v e l   a pp r o a c t o   us e p r o f i l e   f r a m e w o r k   w a s   p r o po s e t h a t   i nt e g r a t e s   m u l t i pl e   v i s ua l   da t a   m o da l i t i e s   de ri v e f r o m   us e r - ge n e ra t e d   p h o t o s .   S pe c i f i c a l l y ,   w e   ut i l i z e   t hr e e   t y pe s   of   v i s ua l   r e p r e s e n t a t i o n s :   i m a ge   l a b e l s ,   i m a ge   f e a t ur e s ,   a n a   f us e re pr e s e n t a t i o n   t ha t   c o m b i n e s   bo t h   m o da l i t i e s .   I t h i s   c o n t e xt ,   t h e   t e rm   m ul t i - v i s ua l   m o da l i t y   r e f e r s   n o t   t o   m ul t i pl e   t y pe s   of   i m a ge s ,   b ut   r a t h e r   t o   di v e r s e   f o r m s   of   i n f o r m a t i o n   e xt ra c t e f r o m   t h e   s a m e   i m a ge ,   a i m i ng  t o   e nri c us e r   p r o f i l e s   a n b e t t e r e f l e c t   i n d i v i dua l   pr e f e r e n c e s .   T h e   ke y   c o n t r i b ut i o n s   o f   t h i s   s t udy   a r e   a s   f o l l o w s .     W e   p r o po s e   a   m ul t i - v i s ua l   us e p r o f i l i n g   f r a m e w o r k   t ha t   i n t e g r a t e s   i m a ge   l a b e l s   a n d   i m a ge   f e a t u r e s   e xt ra c t e f r o m   us e r - ge n e r a t e p h o t o s .     W e   c o n duc t e d   a   c o m pa ra t i v e   e v a l ua t i o n   o f   t hr e e   t y pe s :   l a b e l - b a s e d,   f e a t ur e - b a s e d,   a n d   f us e p r o f i l e ,   us i n c o l l a b o r a t i v e   f i l t e r i ng  a pp r o a c h ,   y i e l di n g   ke y   i n s i g h t s   i nt o   t h e   s t r e n g t h s   a n d   l i m i t a t i o n s   o f   e a c h   a pp r o a c f o r   P O r e c o m m e n da t i o n.     A l t h o ug h   t h e   f us e r e p r e s e n t a t i o n   d i n o t   o ut pe r f o r m   s i ngl e - m o da l i t y   pr o f i l e s ,   t h e   r e s ul t s   o ff e r   c r i t i c a l   i n s i g ht s   i nt o   t h e   i nt e ra c t i o a nd  po t e n t i a l   r e du nda n c y   be t w e e n   di f f e r e n t   v i s ua l   m o da l i t i e s   i n   s p a r s e - da t a   e n v i r o n m e n t s .     O ur   f i n d i n gs   hi g h l i g ht   t h e   i m po r t a n c e   o f   m o da l i t y   c o m pa t i b i l i t y   a n p r o v i de   pra c t i c a l   gu i de l i n e s   f o r   f ut ur e   m ul t i - m o da l   f us i o n   s t ra t e g i e s   i P O r e c o m m e n d a t i o s y s t e m s .   T h e   r e m a i n de r   o f   t hi s   pa pe r   i s   o r g a n i z e a s   f o l l o w s .   S e c t i o n   p r e s e nt s   t h e   f ra m e w o r o f   t h e   pr o po s e a pp r o a c h.   S e c t i o de s c ri b e s   t h e   e xpe r i m e nt a l   s e t up.   S e c t i o n   4   p r e s e nt s   t h e   r e s ul t s   a nd  d i s c us s e s   t h e   f i ndi n gs .   F i n a l l y ,   S e c t i o n   5   c o n c l ude s   t h e   pa pe a n d   o ut l i n e s   d i r e c t i o n s   f o r   f ut u r e   w o r k.       2.   M ET H O D   2. 1 .     O v e r v i e w   o th e   p r o p o s e d   fr am e w o r k   In  t hi s   s t udy ,   a   m ul t i - v i s ua l   us e r   p r o f i l i ng  f ra m e w o r w a s   p r o po s e t h a t   i n t e g ra t e s   t w o   di s t i n c t   v i s ua l   m o da l i t i e s - i m a ge   l a b e l s   a n i m a ge   f e a t ur e s - e xt ra c t e f r o m   us e r - ge n e r a t e p h o t o s .   T h e   go a l   w a s   t i n v e s t i ga t e   h o w   di f f e r e n t   r e p r e s e n t a t i o n s   de ri v e f r o m   t h e   s a m e   i m a ge   c a b e   us e t o   m o de l   us e p r e f e r e n c e s   fo r   P O I   r e c o m m e n da t i o n ,   p a r t i c ul a rl y   un de r   s p a r s e   d a t a   c o n d i t i o n s .   T h e   f ra m e w o r c o n s i s t s   o f   t hr e e   m a i c o m po n e n t s :   v i s ua l   d a t a   e xt ra c t i o n ,   us e p r o f i l e   c o n s t r uc t i o n,   a n d   P O r e c o m m e n da t i o n.   A   s u m m a r y   of   t h e   f r a m e w o r i s   i l l us t ra t e d   i F i gu r e   1.     2. 2 .     V i s u a l   d ata   e x tr a c ti o n   U s e r - s ha r e p h o t o s   a r e   t h e   p r i m a r y   da t a   s o u r c e   fo r   c o n s t r uc t i n g   v i s ua l   us e p r o f i l e s .   E a c p h o t o   i s   pr o c e s s e t hr o ug h   t w o   di s t i n c t   p i pe l i n e s   t o   e xt r a c t   s e m a nt i c   a n v i s ua l   r e pr e s e nt a t i o n s .     2. 2 . 1 I m age   l ab e l   e x tr ac t i o n   Im a ge   l a b e l s   a r e   e xt r a c t e us i n G o o gl e   Cl o ud  V i s i o n   [ 17 ] ,   a   p r e - t ra i n e c o m put e r   v i s i o n   s e r v i c e   t h a t   a u t o m a t i c a l l y   de t e c t s   a nd  a s s i g n s   s e m a nt i c   t a gs   t o   e a c h   ph o t o .   G o o gl e   Cl o ud  V i s i o n   w a s   s e l e c t e due   t i t s   p r o v e n   e f fe c t i ve n e s s   i p r o v i di n g   ri c h,   hi g h - c o n f i de n c e   s e m a nt i c   a nn o t a t i o n s   a c r o s s   a   w i de   r a nge   o i m a ge   t y pe s   [ 18 ],   [ 19 ]   w i t h   de m o n s t ra t e r o b us t n e s s   a n d   s c a l a b i l i t y   i n   p r i o s t u di e s   i n v o l v i n g   i m a ge - b a s e d   P O r e c o m m e nda t i o n s .   T h e   e xt ra c t e t a gs   r e p r e s e n t   h i g h - l e ve l   v i s ua l   c o n c e pt s   s uc a s   b e a c h,   t e m pl e ,   o m o unt a i n,   s e r v i n g   a s   i nt e r p r e t a b l e   r e p r e s e n t a t i o n s   o f   i m a ge   c o n t e n t .   F o e a c p h o t o ,   t h e   t o 1 l a b e l s   w i t t h e   h i g h e s t   c o n f i de n c e   s c o r e s   w e r e   s e l e c t e a n d   us e t o   c o n s t r uc t   t h e   us e r ’s   l a b e l - b a s e pr o f i l e .   Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2502 - 4752   In do n e s i a J   E l e c   E ng  &   Co m S c i V o l .   40 ,   N o .   2 ,   N o v e m be r   20 25 :   9 78 - 9 87   980       F i gu r e   1 .   T h e   o v e r a l l   f ra m e w o r o f   o ur   p r o po s e a ppr o a c h       2. 2 . 2 I m age   f e atu r e   e x tr a c ti o n   Im a ge   f e a t u r e s   a r e   e xt r a c t e us i ng  t h e   V G G 16  c o n v o l ut i o na l   n e u ra l   n e t w o r p r e - t ra i n e o n   Im a ge N e t   [2 0 ].   V G G 16   w a s   c h o s e n   a s   t h e   f e a t ur e   e xt ra c t o r   b e c a us e   of   i t s   e s t a b l i s h e pe r f o r m a n c e   i n   e xt ra c t i n g   m e a ni n gf ul   v i s ua l   r e p r e s e nt a t i o n s   f o r   i m a ge   c l a s s i f i c a t i o t a s ks .   It s   r e l a t i v e l y   l i g h t w e i ght   a r c hi t e c t u r e   a n d   w i de   a do pt i o i v i s ua l -   b a s e r e c o m m e nde s y s t e m s   [14 ] [ 1 6]   m a ke   i t   a   s u i t a b l e   c h o i c e   f o r   t h i s   s t udy .   F e a t ur e s   a r e   o b t a i n e f r o m   t h e   l a s t   c o n v o l ut i o n a l   b l oc of   V G G 16  (b l oc k5 _ poo l a n c o m p r e s s e d   us i n g   gl o b a l   a v e r a ge   po o l i n g   t o   r e duc e   d i m e n s i o n a l i t y   a n d   c o m put a t i o t i m e ,   r e s ul t i ng  i a   51 2 - di m e n s i o na l   f e a t ur e   v e c t o r   f o r   e a c i m a ge .     2. 3 .     U s e r   p r o fi l e   c o n s tr u c ti o n   W e   c o n s t ruc t ed   t hr e e   t y pe s   of   us e r   p r o f i l e s   b a s e o n   t h e   e xt ra c t e v i s ua l   d a t a :   l a b e l - b a s e pr o f i l e s ,   f e a t ur e - b a s e p r o f i l e s ,   a n d   f us e pr o f i l e s .     2. 3 . 1 Lab e l - b as e d   p r o fi l e s   L a b e l - b a s e pr o f i l e s   r e p r e s e n t   us e r   i nt e r e s t s   a s   t o pi c   d i s t r i b ut i o n s   de ri v e f r o m   t h e   de t e c t e i m a ge   l a b e l s .   W e   c o n s t r uc t e d   t h e s e   p r o f i l e s   us i ng   a   t o pi c   m o de l i n g   a pp r o a c b a s e o o u p r e v i o us l y   pr o po s e d   m e t h o [ 21 ] .   T h e   p r o c e s s   c o n s i s t s   o f   t hr e e   m a i s t e ps ,   a s   i l l u s t ra t e d   i F i gu r e   2.           F i gu r e   2 .   T h e   p r o c e s s   of   c o n s t r uc t i ng  l a b e l - b a s e us e r   p r o f i l e s       F i r s t ,   us e r - ge n e ra t e p h o t o s   a r e   g r o upe b y   l o c a t i o n   u nde t h e   a s s um pt i o n   t ha t   i m a ge s   t a ke a t   t h e   s a m e   pl a c e   r e f l e c t   s i m i l a v i s ua l   i nt e r e s t s .   F o e a c us e r ,   a l l   l a b e l s   e xt ra c t e d   f r o m   p h o t o s   w i t hi e a c l o c a t i o a r e   m e r ge d   i nt o   a   c o n s o l i d a t e d   s e t ,   a nd   du p l i c a t e s   a r e   r e m o v e d   t o   f o rm   a   u ni q ue   l a b e l   s e t   pe l o c a t i o n .   S e c o n d ,   a l l   l o c a t i o n - l e v e l   l a b e l   s e t s   a r e   a gg re g a t e d   i nt o   a   c o rpus   f or  t o pi c   m o de l i ng.   E a c l o c a t i o n   i s   t r e a t e a s   a   do c um e n t   c o m po s e d   o f   i t s   r e s pe c t i v e   l a b e l s .   W e   a p pl y   t he   l a t e n t   d i ri c h l e t   a l l o c a t i o (L D A )   a l go ri t hm   [2 2 ]   t o   u n c o v e r   l a t e nt   t o p i c s   f r o m   t h e   c o rpus .   T o   r e d uc e   n o i s e ,   l o w - f r e que n c y   l a b e l s   t ha t   o c c u r   i f e w e r   t ha t w do c um e n t s   a r e   f i l t e r e d   o ut .   T he   o pt i m a l   n u m b e o f   t o pi c s   i s   s e l e c t e b a s e d   o a   c o m b i na t i o o f   q ua nt i t a t i v e   Evaluation Warning : The document was created with Spire.PDF for Python.
In do n e s i a J   E l e c   E ng  &   Co m S c i     IS S N :   2502 - 4752       Mul t i - v i s ual   m oda l i t y   f or   c o l l a bor at i v e   f i l t e r i ng - bas e pe r s o nal i z e   ( Sudar at   A r t h an )   981   m e a s u r e s ,   s uc a s   c o h e r e n c e   s c o r e s ,   a n d   qu a l i t a t i v e   e v a l u a t i o n,   b a s e d   o t e s t s   w i t t o pi c   n u m b e r s   ra n k i ng   2   t o   20 .   T hi r d ,   t h e   t o p i c   d i s t ri b u t i o n s   a r e   c o m pu t e f o e a c v i s i t e l o c a t i o us i n g   t h e   t ra i n e L D A   m o de l .   A   us e r’s   t o pi c - b a s e d   p r o f i l e   i s   t h e ge n e ra t e d   by   a v e ra g i ng  t h e   t o p i c   di s t ri b ut i o n s   o f   a l l   l o c a t i o n s   t h e   us e ha s   v i s i t e d.   T hi s   r e s u l t s   i a   t o pi c   d i s t ri b ut i o v e c t o r e p re s e n t i ng  t h e   us e r’s   i nt e r e s t s   a c r o s s   l a t e nt   t o pi c s .   F i na l l y ,   u s e p ro f i l e s   f o a l l   u s e r s   w e r e   c o m p i l e d   i nt o   a   us e r - t o pi c   m a t ri x ,   w h e re   e a c ro w   c o rre s po nds   t o   a   us e r,   e a c c o l u m t o   a   l a t e nt   t o p i c ,   a nd   e a c e nt r y   r e f l e c t s   t h e   us e r’s   i nt e r e s t   l e v e l   i t ha t   t o p i c .     2. 3 . 2 F e atu r e - b as e d   p r o fi l e s   F e a t u r e - b a s e pr o f i l e s   r e p r e s e n t   us e i nt e r e s t s   a s   l a t e nt   v i s ua l   p r e f e r e n c e s   us i ng  CN N - e xt ra c t e f e a t ur e s .   T h e   c o n s t ruc t i o p r o c e s s   c o n s i s t s   o f   t w o   m a i n   s t e ps ,   a s   i l l us t r a t e i F i gu r e   3 .   In  t h e   f i r s t   s t e p,   t h e   v i s ua l   f e a t u r e s   o f   a l l   p h o t o s   a s s o c i a t e w i t e a c v i s i t e d   l o c a t i o n   a r e   a gg r e ga t e us i n g   m a x   po o l i n g,   a s   us e r s   o f t e t a ke   m ul t i p l e   p h o t o s   a t   t h e   s a m e   pl a c e .   T h i s   r e s ul t s   i a   s i n g l e   r e p r e s e n t a t i v e   ve c t o r   pe r   l o c a t i o n.   I t h e   s e c o n s t e p ,   a   us e r - l e ve l   pr o f i l e   i s   c r e a t e b y   a ppl y i n g   m e a po o l i n g   a c r o s s   a l l   l o c a t i o n - l e v e l   v e c t o r s .   T h e   r e s ul t i ng  v e c t o r   i s   a   5 12 - di m e n s i o n a l   r e p r e s e n t a t i o t ha t   c a p t u r e s   t h e   us e r ’s   o v e r a l l   v i s ua l   p r e f e r e n c e s .   F i na l l y ,   us e r   p r o f i l e s   f o r   a l l   us e r s   a r e   c o m pi l e i nt o   a   us e r - f e a t u r e   m a t r i x ,   w h e r e   e a c h   r o w   c o r r e s po n ds   t o   a   us e r,   e a c h   c o l um t o   a   v i s ua l   f e a t u r e   d i m e ns i o n ,   a nd  e a c h   c e l l   c o n t a i n s   t h e   a v e r a ge f e a t u r e   v a l ue .   T h i s   m a t ri x   s e r v e s   a s   i n pu t   f o r   us e s i m i l a r i t y   c o m put a t i o i c o l l a b o r a t i v e   f i l t e r i n g   f o r   do w n s t r e a m   P O r e c o m m e n da t i o n   t a s ks .           F i gu r e   3 .   T h e   p r o c e s s   of   c o n s t r uc t i ng  f e a t u r e - b a s e us e p r o fi l e s   us i n g   i m a ge   f e a t u r e       2. 3 . 2.   F u s e d   p r o fi l e s   T o   c a pt u r e   us e p r e f e r e n c e s   a c r o s s   b o t h   s e m a n t i c   a n d   v i s ua l   di m e n s i o n s ,   a   l a t e   f us i o s t ra t e gy   w a s   a do pt e f o r   c o m b i ni n g   s i m i l a ri t i e s   de r i v e f r o m   l a b e l - b a s e a n d   f e a t u r e - b a s e us e r   p r o f i l e s .   R a t h e t ha n   m e r g i n g   t h e   ra w   p r o f i l e   ve c t o r s   di r e c t l y ,   w e   c a l c ul a t e   s i m i l a r i t y   s c o r e s   s e pa ra t e l y   fo r   e a c m o da l i t y   us i n c os i n e   s i m i l a ri t y   [2 3 ],   w h i c h   i s   w i de l y   r e c o gn i z e f o r   i t s   rob us t n e s s   i h i g h - di m e n s i o na l   s pa c e s   [2 4 ] [ 2 5 ].   S i m i l a ri t y   s c o r e s   a r e   t h e i nt e g r a t e us i n e l e m e nt - w i s e   m ul t i p l i c a t i o n.   T h i s   s t r a t e g y   a v o i ds   t h e   i s s ue   of  c o m b i n i ng  p r o f i l e   v e c t o r s   w i t i nh e r e n t l y   di ff e r e n t   s c a l e s   a nd  di m e n s i o n s .   Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2502 - 4752   In do n e s i a J   E l e c   E ng  &   Co m S c i V o l .   40 ,   N o .   2 ,   N o v e m be r   20 25 :   9 78 - 9 87   982   L e t   , tu U   a nd  , fu U   de n o t e   t h e   t o pi c - b a s e a n d   v i s ua l   f e a t u r e - b a s e p r o f i l e   v e c t o r s   o f   us e r   u r e s pe c t i v e l y .   T h e   c o s i n e   s i m i l a ri t y   be t w e e n   us e r s   u   a n d   v   i n   e a c m o da l i t y   i s   c o m put e us i n g   (1)   a n d   (2 ).     ( , ) = ( , , , ) = , , , ,   (1)     ( , ) = ( , , , ) = , , , ,   (2)     T h e   f us e s i m i l a r i t y   s c o r e   i s   t h e n   c o m put e by   c o m b i n i n t h e s e   m o da l i t y - s pe c i f i c   s i m i l a ri t i e s   us i ng  e l e m e n t - w i s e   m u l t i pl i c a t i o n ,   a s   e xp r e s s e i n   ( 3).      ( , ) = ( , ) ( , )   (3)     w h e r e   f u sed S   de n o t e s   t h e   f us e s i m i l a ri t y   s c o r e   b e t w e e n   us e r s   u   a n d   v ,   w h i c h   i s   us e f o r   i de n t i fy i n t h e   t o p - K   m o s t   s i m i l a us e r s   t o   t h e   t a r ge t   us e i t h e   c o l l a b o r a t i v e   f i l t e ri n p r o c e s s .     2. 4 .     P O I   r e c o mm e n d ati o n   T h e   f i na l   s t a ge   o f   t h e   pr o po s e f r a m e w o r i n v o l v e s   g e n e ra t i n pe r s o n a l i z e P O r e c o m m e n da t i o n s   b a s e o n   t h e   us e r   p r o f i l e s   c o n s t r uc t e f r o m   d i f fe r e nt   v i s ua l   m o da l i t i e s .   W e   a do pt e a   us e r - b a s e c o l l a bo r a t i v e   f i l t e r i ng  a pp r o a c h,   w hi c h   i d e nt i f i e s   us e r s   w i t s i m i l a r   p r e f e r e n c e s   a n d   r e c o m m e n ds   P O Is   t h e y   ha v e   v i s i t e t o   t h e   t a r ge t   us e r.   T h e   r e l e v a n c e   s c o r e   o f   a   P O p   f o r   us e u   i s   e s t i m a t e d   by   a gg r e ga t i ng   t h e   s i m i l a ri t y - w e i gh t e i n t e r a c t i o n s   o f   t h e   n e i g h b o r s ,   a s   e xp r e s s e i (4) .     ̂ , = ( , ) ,  ( ) ( , )  ( )   (4)     w h e r e   , ˆ up r de n o t e s   t h e   p r e d i c t e s c o r e   f o r   P O p , vp r de n o t e s   a   b i n a r y   v a l ue   i n di c a t i ng  w h e t h e us e v ha s   v i s i t e P O p () k Nu de n o t e s   t h e   s e t   o f   t o p - K   s i m i l a r i t y   us e r s   t o   us e u .   T h e   t o p - N   P O Is   w i t h   t h e   hi g h e s t   pr e di c t e d   s c o r e s   a r e   r e c o m m e n de t o   t h e   t a rge t   us e r .       3.   EX P ER I M EN TA S E TU P S   3. 1 .     D atas e ts   W e   c o n duc t e o ur  e xpe r i m e nt s   o t h e   Y F CC100M   F l i c k C r e a t i v e   Co m m o n s   1 00M   (Y F CC100M )   da t a s e t   [2 6 ] .   F r o m   t hi s   da t a s e t ,   w e   s e l e c t e us e r   da t a   c o rr e s po n di n g   t o   v i s i t s   i n   B uda pe s t   a n T o r o n t o .   T h e   ph o t o s   w e r e   f i r s t   c o l l e c t e f r o m   F l i c k w e b s i t e   v i a   t h e   F l i c kr  A P I   [2 7 ] .   T o   e n s u r e   da t a   c o m pl e t e n e s s ,   w e   e xc l ude us e r s   w h o s e   ph o t o s   c o ul n o t   b e   r e t r i e v e d,   a s   w e l l   a s   t h o s e   w h o   ha v i s i t e f e w e r   t ha n   f i v e   di s t i n c t   P O Is .   T h e   r e s ul t i n da t a s e t   i s   s u m m a r i z e i n   T a b l e   1 .       T a b l e   1 .   S u m m a r y   of   t h e   f i l t e r e d   Y F CC100M   da t a s e t   us e i n   t h e   e xpe r i m e nt s   Ci t y   # P h o t o s   # U s e r s   # P O Is   # P O V i s i t s   Bu d a p e s t   1 5 , 3 8 1   235   35   3 , 0 9 3   T o ro n t o   3 0 , 9 9 5   209   30   3 , 3 5 2       3. 2 .     Ev al u ati o n   s c h e m a   T o   e v a l ua t e   t h e   e ff e c t i v e n e s s   of   t h e   p r o po s e m ul t i - v i s ua l   u s e r   p r o f i l i n m e t h o ds ,   w e   s pl i t   t h e   us e da t a   i nt o   t ra i ni n g   a n d   t e s t i n g   s e t s .   T h e   t ra i ni n g   s e t   s i z e s   w e r e   v a ri e d   a t   20% ,   40% ,   a n d   70 %   o f   e a c us e r ’s   v i s i t e P O Is ,   s e l e c t e t hr o ug h   ra n do m   s a m p l i n o f   t h e i r   c h e c k - i h i s t o r y .   T h e   r e m a i ni n P O Is   w e r e   us e a s   t h e   g r o und  t r ut t o   a s s e s s   r e c o m m e n d a t i o pe r f o r m a n c e   a nd  e xa m i n e   t h e   i m p a c t   o f   da t a   s p a r s i t y .   T h e   s y s t e m   r e c o m m e nde t h e   t o p - P O Is   f o r   e a c us e by   a gg r e ga t i n g   p r e f e r e n c e s   f r o m   t h e   m o s t   s i m i l a us e r s .   T o   e xpl o r e   t h e   i m p a c t   o f   n e i g h b o rh o o s i z e ,   w e   t e s t e f i v e   v a l ue s   f o r   t h e   n u m b e r   o f   n e a r e s t   n e i g h b o r s ,   ra n gi ng  f r o m   30   t o   50 .   Evaluation Warning : The document was created with Spire.PDF for Python.
In do n e s i a J   E l e c   E ng  &   Co m S c i     IS S N :   2502 - 4752       Mul t i - v i s ual   m oda l i t y   f or   c o l l a bor at i v e   f i l t e r i ng - bas e pe r s o nal i z e   ( Sudar at   A r t h an )   983   T h e   q ua l i t y   o f   t h e   r e c o m m e n d a t i o n s   w a s   m e a s u r e d   us i ng   t w o   r a n k i n g - b a s e e v a l u a t i o m e t ri c s ,   na m e l y   R e c a l l @ 5,   w hi c qua nt i f i e s   t h e   p r o po r t i o n   o f   r e l e v a nt   P O Is   a ppe a ri n g   i t h e   r e c o m m e n de d   l i s t ,   a n d   N o r m a l i z e D i s c o un t e d   Cu m ul a t i v e   G a i (N D CG @ 5) ,   w hi c c o n s i de r e d   b o t t h e   r e l e v a n c e   a n d   ra n k   po s i t i o o f   t h e   r e c o m m e n de d   P O Is ,   a s s i g ni n g   hi g h e s c o r e s   t o   r e l e v a n t   i t e m s   t ha t   a ppe a e a r l i e r   i t h e   l i s [16].   A l l   m e t r i c s   w e r e   c o m put e i ndi v i du a l l y   f o r   e a c us e a n d   t h e a v e ra ge a c r o s s   a l l   us e r s   i t h e   t e s t   s e t .     3. 3 .     B as e l i n e s   W e   c o m pa r e t h e   r e c o m m e n d a t i o pe r f o r m a n c e   a c r o s s   t hre e   t y pe s   of   v i s ua l - b a s e us e r   p r o f i l e s :   i m a ge   l a b e l - b a s e (IL ),   i m a ge   f e a t u r e - b a s e (IF ),   a nd   a   f us e pr o f i l e   r e f e r r e d   t o   a s   IL V F 2S IM ,   w hi c i n t e g r a t e s   s i m i l a r i t y   s c o r e s   f r o m   b o t m o da l i t i e s   us i n g   e l e m e nt - w i s e   m ul t i p l i c a t i o n.   T o   a s s e s s   t h e   r e l a t i v e   e ffe c t i ve n e s s   of   t h e   p r o po s e m ul t i - v i s u a l   us e p r o f i l i ng  a p p r o a c h,   w e   a l s o   c o n duc t e c o m pa r a t i v e   e xpe r i m e nt s   w i t t w o   b a s e l i n e   m e t h o ds ,   s um m a ri z e d   a s   f o l l ow s :     U CF :   T h e   t r a di t i o na l   U s e r - b a s e Co l l a b o r a t i v e   F i l t e r i ng   m e t h o d,   i n   w hi c h   e a c h   us e r ' s   p r o f i l e   i s   c o n s t r uc t e d   s o l e l y   b a s e o n   t h e i c h e c k - i h i s t o r y .     T CM :   T h e   t e xt u a l   c o n t e n t   m e t h o [4 ],   a   l o c a t i o n   r e c o m m e n d a t i o f r a m e w o r b a s e o n   U s e r - b a s e d   Co l l a b o r a t i v e   F i l t e r i n g   m e t h o d,   w h e r e   us e p r o f i l e s   i n c o r po r a t e   t e xt ua l   i n f o r m a t i o n   s uc a s   P O c a t e go r i e s   a nd  t a gs .       4.   R ES U LT  A N A L Y S I S   A N D   D I S C U S S I O N   4. 1 .     P e r fo r m an c e   c o m p ar i s o n   w i th   b as e l i n e   an d   v i s u al - b as e d   u s e r   p r o fi l e s   In  t hi s   s e c t i o n,   w e   c o m pa r e   t h e   r e c o m m e n d a t i o n   pe r f o r m a n c e   a c r o s s   t hr e e   t y pe s   o f   v i s ua l - b a s e us e pr o f i l e s :   IL ,   IF ,   a n d   IL V F 2S IM ,   a s   w e l l   a s   t w o   b a s e l i n e   m e t h o ds .   F o e a c h   m e t h o a n d   t ra i ni n g   s e t   s i z e ,   w e   r e po rt e t h e   b e s t   r e s ul t   o b t a i n e d   by   s e l e c t i n g   t h e   o pt i m a l   n u m b e r   o f   n e a r e s t   n e i g h b o r s   (N N f r o m   t h e   ra n ge   o 30  t o   50 .   T h e   r e s ul t s   b a s e o t h e   da t a   i B uda pe s t   a n d   T o r o nt o   a r e   s h o w n   i T a b l e   2 .       T a b l e   2 .   P e r f o r m a n c e   c o m pa r i s o a c r o s s   us e p r o f i l e   t y pe s   T ra i n i n g   S i z e   P ro fi l e   T y p e   Bu d a p e s t   T o ro n t o   Be s t   N N   Re c a l l @ 5   Be s t   N N   N D CG @ 5   Be s t   N N   Re c a l l @ 5   Be s t   N N   N D CG @ 5   20%   U C F   45   0 . 2 7 6 6   40   0 . 4 1 0 7   50   0 . 3 1 7 4   50   0 . 4 3 5 2     T CM   50   0 . 2 7 8 4   50   0 . 4 2 6 2   50   0 . 3 6 4 7   50   0 . 4 8 5 9     IL   40   0 . 3 3 9 4   50   0 . 4 9 7 1   50   0 . 3 8 7 3   50   0 . 5 0 8 4     IF   30   0 . 3 4 7 6   30   0 . 4 9 7 2   50   0 . 3 8 7 8   50   0 . 4 9 9 9     IL V 2 S IM   45   0 . 3 3 7 6   45   0 . 4 9 2 1   50   0 . 4 0 0 7   50   0 . 5 2 8 3   40%   U C F   50   0 . 3 4 4 5   50   0 . 3 9 7 8   50   0 . 4 0 3 1   50   0 . 4 3 3 9     T CM   35   0 . 3 3 6 8   50   0 . 3 9 4 8   50   0 . 3 8 9 7   45   0 . 4 2 2 3     IL   50   0 . 3 8 3 2   50   0 . 4 4 5 9   50   0 . 4 2 9 6   50   0 . 4 5 8 9     IF   30   0 . 3 8 2 1   50   0 . 4 3 4 8   45   0 . 4 3 5 0   45   0 . 4 7 7 7     IL V 2 S IM   50   0 . 3 7 0 6   50   0 . 4 3 3 3   50   0 . 4 4 7 2   45   0 . 4 7 2 3   70%   U C F   50   0 . 3 7 8 1   50   0 . 3 5 2 6   45   0 . 5 1 8 4   45   0 . 4 1 9 8     T CM   40   0 . 3 9 9 1   40   0 . 2 9 4 8   50   0 . 5 6 7 0   50   0 . 3 9 4 2     IL   30   0 . 3 8 7 5   35   0 . 3 3 6 5   45   0 . 5 1 3 5   50   0 . 4 0 3 0     IF   50   0 . 3 9 9 3   30   0 . 3 2 9 9   50   0 . 5 1 8 6   40   0 . 4 0 0 3     IL V 2 S IM   30   0 . 3 9 5 1   30   0 . 3 3 7 1   50   0 . 5 2 8 9   50   0 . 4 0 6 4       A s   s h o w n   i T a b l e   2,   t h e   e xpe r i m e nt a l   r e s ul t s   de m o n s t ra t e   t ha t   v i s ua l - b a s e us e p r o f i l i n g   m e t h o ds   ge n e ra l l y   e nh a n c e   P O I   r e c o m m e nda t i o pe r f o r m a n c e ,   p a r t i c ul a r l y   u n de s p a r s e   t r a i n i ng  c o n d i t i o n s   s uc a s   20%   a n d   40%   t ra i ni n g   s i z e s .   A m o n g   t h e   t hr e e   v i s ua l   p rof i l e   t y pe s ,   t h e   IF   p r o f i l e   de m o n s t r a t e s t r o n g   pe r f o r m a n c e   a c r o s s   m o s t   s e t t i ngs ,   a l t h o ug h   i t   w a s   n o t   c o n s i s t e nt l y   s upe r i o t o   t h e   IL V F 2S IM   p r o f i l e   i n   a l l   s c e n a r i o s .   In  t h e   B uda pe s t   d a t a s e t   a t   20%   t ra i ni n g ,   f o r   e xa m p l e ,   t h e   IF   pr o f i l e   a c hi e v e t h e   h i g h e s t   R e c a l l   a n N D CG ,   o ut pe r f o r m i n g   b o t h   IL   a n IL V F 2S IM ,   a s   w e l l   a s   t h e   b a s e l i n e   m e t h o ds   U CF   a n d   T CM .   I n   c o nt r a s t ,   i n   t h e   T o r o nt o   da t a s e t   u nde r   t h e   s a m e   t r a i n i ng  c o n di t i o n,   t h e   IL V F 2S IM   pr o f i l e   a c h i e v e t h e   h i g h e s t   R e c a l l   s c o r e   o f   0. 4472 ,   w hi l e   i t s   N D CG   s c o r e   o f   0. 4723   w a s   s l i ght l y   l ow e r   t ha t ha t   o f   t h e   IF   p r o f i l e ,   w hi c a c hi e v e t h e   h i g h e s t   N D CG   s c o r e   o f   0. 4777 .   T h e s e   f i n d i n gs   hi g hl i g ht   t h e   b e n e f i t   o f   l e v e r a gi n g   v i s ua l   i n f o r m a t i o f r o m   us e r - ge n e r a t e p h o t o s   u n de r   s p a r s e - da t a   s c e n a ri o s .   A t   h i g h e t ra i ni n s i z e s ,   s uc h   a s   7 0%,   h o w e ve r ,   t h e   pe r f o r m a n c e   ga b e t w e e n   v i s ua l - b a s e pr o f i l e s   a n t h e   b a s e l i n e s   n a rr o w e d.   In  s o m e   c a s e s ,   t h e   T CM   b a s e l i n e   s h o w e c o m pe t i t i v e   o r   e v e n   s upe r i o r   r e s ul t s .   F o r   e xa m pl e ,   i t h e   T o r o nt o   da t a s e t   a t   70%   t ra i ni n s i z e ,   T CM   a c hi e v e t h e   hi g h e s t   R e c a l l ,   s u r p a s s i n a l l   v i s ua l - b a s e p r o f i l e s .   T h i s   s u gge s t s   t ha t   w h i l e   v i s ua l   s i g na l s   a r e   pa rt i c ul a r l y   e ffe c t i ve   w h e n   b e h a v i o ra l   da t a   i s   l i m i t e d ,   t h e i r   a dv a n t a ge   d i m i n i s h e s   a s   ri c h e i nt e ra c t i o o s e m a nt i c   d a t a   b e c o m e s   a v a i l a b l e .   Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2502 - 4752   In do n e s i a J   E l e c   E ng  &   Co m S c i V o l .   40 ,   N o .   2 ,   N o v e m be r   20 25 :   9 78 - 9 87   984   T h e s e   r e s ul t s   a r e   c o n s i s t e n t   w i t h   p ri o r e s e a r c h ,   s uc a s   [11] ,   [14] ,   [16 ],   t ha t   e m p h a s i z e s   t h e   v a l ue   of  v i s ua l   f e a t u r e s   i n   m o de l i n g   us e r   i n t e r e s t s .   H ow e v e r ,   u n l i k e   r e s e a r c h   t h a t   r e po r t s   c o n s i s t e nt   i m p r o v e m e n t s   f r o m   m ul t i m o da l   f us i o n,   o ur  f us e pr o f i l e   di n o t   c o n s i s t e nt l y   o ut pe r f o r m   t h e   s i n g l e - m o da l i t y   pr o f i l e s ,   s uc h   a s   IF   o r   IL .   T hi s   o ut c o m e   m a y   be   a t t r i b ut e t o   r e du n d a n c y   be t w e e n   m o da l i t i e s   a n d   t h e   l i m i t a t i o n s   o f   o ur   f us i o n   s t r a t e g y ,   w h i c h   us e s   e l e m e n t - w i s e   m u l t i pl i c a t i o n   t o   c o m b i n e   s i m i l a r i t y   s c o r e s .   A l t h o ug h   t h i s   m e t h o h e l ps   a v o i pr o b l e m s   c a us e by   di ffe r e n c e s   i n   s c a l e   a n s t r uc t u r e   b e t w e e n   t h e   t w o   m o da l i t i e s ,   i t   a l s o   h a s   s e v e r a l   l i m i t a t i o n s ,   a s   di s c us s e i [2 8 ] [ 29 ] .   F i r s t ,   i t   a s s um e s   t ha t   b o t h   m o da l i t i e s   a r e   e qu a l l y   i m po r t a n t   a t   e ve r y   po s i t i o n ,   w h i c h   m a y   n o t   b e   t r ue   w h e o n e   t y pe   of   da t a   i s   n o i s y   o r   l e s s   i n f o r m a t i v e .   S e c o n d,   i t   do e s   n o t   ha n dl e   di f f e r e n c e s   i m e a ni n g   w e l l - fo r   e xa m p l e ,   i m a ge   f e a t ur e s   us u a l l y   c a pt u r e   v i s ua l   p a t t e rn s ,   w hi l e   i m a ge   l a b e l s   de s c r i b e   h i g h - l e v e l   c o n c e pt s .   F i na l l y ,   t hi s   m e t h o c a nn o t   c a p t u r e   m o r e   c o m pl e r e l a t i o n s h i ps   b e t w e e n   t h e   t w o   t y pe s   of   da t a ,   w hi c l i m i t s   i t s   a b i l i t y   t o   f ul l y   c o m b i ne   t h e i r   s t r e ngt h s .     4. 2 .     Eff e c t   o tr ai n i n g   s e t   s i z e   T a b l e   2   a l s o   s h o w s   t h a t ,   R e c a l l   ge n e ra l l y   i m p r o v e w i t l a r ge t ra i ni n g   s i z e s .   F o e xa m pl e ,   t h e   IF   pr o f i l e   i t h e   T o r o nt o   da t a s e t   i n c r e a s e d   f r o m   0 . 3834   a t   20 t o   0 . 5186   a t   70% ,   a nd   t h e   IL V F 2S IM   p r o f i l e   i n c r e a s e d   f r o m   0. 4 007   t o   0 . 52 89.   S i m i l a t r e n ds   w e r e   o b s e r ve i t h e   B uda pe s t   d a t a s e t .   T h e s e   r e s ul t s   s ugge s t   t h a t   v i s ua l - b a s e p r o f i l e s ,   p a rt i c ul a r l y   IF ,   b e n e f i t   f r o m   a d di t i o n a l   b e h a v i o r a l   da t a   a n d   c a b e t t e c a p t u r e   us e pr e f e r e n c e s   w h e m o r e   c h e c k - i n   hi s t o r y   i s   a v a i l a b l e .   N D CG   di n o t ,   h o w e v e r ,   f o l l ow   t h e   s a m e   i n c r e a s i n g   t r e n d .   In  s e v e r a l   c a s e s ,   N D CG   i m p r o v e o n l y   s l i g h t l y   o r   e v e n   de c l i n e d   a s   t h e   t ra i ni n g   da t a   i n c r e a s e d.   F o r   e xa m pl e ,   t h e   IL V F 2S IM   p r o f i l e   i T o r o n t o   a c hi e v e 0. 5283   a t   20 %   t ra i ni n g   b ut   o n l y   0. 56 01   a t   70% .   T hi s   c o n f l i c t i ng   t r e n d   b e t w e e n   R e c a l l   a n d   N D CG   c a n   b e   a t t r i b ut e t o   t h e   de s i g n   o f   t h e   d a t a   s pl i t .   A s   t h e   t ra i ni n g   s i z e   i n c r e a s e s ,   t h e   r e m a i ni n g   g r o und  t r u t h   f o r   e v a l ua t i o b e c o m e s   s m a l l e r .   S i n c e   N D CG   i s   s e n s i t i v e   n o t   o nl y   t o   t h e   p r e s e n c e   o f   r e l e v a n t   i t e m s   b ut   a l s o   t o   t h e i r   po s i t i o n s   i t h e   ra n ke l i s t ,   ha v i n f e w e r   t e s t   i t e m s   c a n   l e a t o   l e s s   i n f o r m a t i v e   o r   m o r e   v o l a t i l e   N D CG   v a l ue s .   T h e r e f o r e ,   t h e   i n t e r p r e t a t i o o f   t h e   m e t r i c   s h o ul d   c o ns i de t h e   i m p a c t   o f   gr o un d   t rut s i z e .   A a dd i t i o n a l   o b s e r v a t i o n   i s   t ha t   t h e   T CM   b a s e l i n e ,   w hi l e   i ni t i a l l y   un de r pe r f o r m i n g ,   s h o w e d   s i g n i f i c a n t   i m p r o v e m e n t   a t   hi g h e r   t r a i n i ng  s i z e s .   I n   T o r o nt o ,   T CM   a c hi e v e t h e   hi g h e s t   R e c a l l   a t   70%   t r a i ni n g ,   s u rpa s s i ng  a l l   v i s ua l - b a s e p r o f i l e s .   H ow e v e r ,   i t s   N D CG   o f   0. 3942   r e m a i n e s l i g ht l y   l ow e r   t h a t ha t   of   a l l   v i s ua l - b a s e p r o f i l e s ,   s ugge s t i n g   t ha t   a l t h o ug h   m o r e   r e l e v a nt   i t e m s   w e r e   r e t ri e v e d,   t h e i r   ra n ki ng  w a s   s ubo pt i m a l .   T h e s e   f i n d i n gs   s uppo rt   t h e   u n de r s t a ndi ng  t h a t   v i s ua l   s i g na l s   a r e   h i g hl y   e ffe c t i ve   u n de s p a r s e - da t a   c o n di t i o n s ,   w hi l e   t e xt ua l   o r   s e m a n t i c   s i g na l s   b e c o m e   m o r e   v a l ua b l e   a s   i nt e ra c t i o n   da t a   i n c r e a s e s .   M o r e o ve r ,   t h e   di v e r ge n c e   b e t w e e n   R e c a l l   a n d   N D CG   t r e n ds   u nde r s c o re s   t h e   i m po r t a n c e   o f   c o n s i de ri n g   t h e   s t r uc t u r e   o t h e   e v a l ua t i o m e t ri c s ,   e s pe c i a l l y   t h e   e f fe c t   of   t ra i ni n g / t e s t   s pl i t s .     4. 3 .     Eff e c t   o th e   n u m b e r   o n e ar e s n e i gh b o r s   T o   f ur t h e i n v e s t i g a t e   t h e   s e n s i t i v i t y   of   pe r f o r m a n c e   t o   t h e   n u m b e o f   n e a r e s t   n e i g h b o r s   (N N ) ,   w e   a n a l y z e Re c a l l   a c r o s s   di f f e r e n t   N N   v a l ue s ,   v a r y i n g   f r o m   3 t o   50  f o r   e a c h   p r o f i l e   t y pe .   T h i s   pu r po s e o f   t h i s   a n a l y s i s   w a s   t o   u n de r s t a n d   h o w   v a r y i n g   N N   a f f e c t s   pe r f o r m a n c e ,   i n de pe nde nt   o f   s e l e c t i n g   t h e   b e s t   r e s ul t   f o r   c o m pa ri s o n .   T h e   e xpe ri m e n t a l   r e s ul t s   f o r   b o t h   t h e   B uda pe s t   a n T o r o n t o   da t a s e t s   a r e   p r e s e n t e i n   F i gu r e   4 .   In  t h e   B ud a pe s t   da t a s e t   (F i g u r e   4 a ) ,   v i s ua l - b a s e p r o f i l e s ,   pa r t i c ul a rl y   t h e   IF   p r o f i l e ,   c o n s i s t e n t l y   pe r f o r m e b e s t   a t   s m a l l e r   N N   v a l ue s ,   e s pe c i a l l y   un de s pa rs e   t r a i ni n g   c o n di t i o n s F o e xa m p l e ,   IF   a c hi e v e d   t h e   h i g h e s t   R e c a l l   a t   N N   30 ,   w hi l e   pe r f o r m a n c e   de c l i n e a s   N N   i n c r e a s e d.   T h i s   t r e n s ugge s t s   t h a t   s m a l l   n e i g h b o rh o o ds   y i e l m o r e   r e l e v a n t   us e s i m i l a ri t y   u n de da t a   s p a r s i t y ,   w h e r e a s   l a r ge N N   v a l ue s   m a y   i n t r o duc e   n o i s e   f r o m   l e s s   s i m i l a us e r s .   I c o nt r a s t ,   t h e   T o r o nt o   d a t a s e t   (F i gu r e   4b s h o w e m o r e   d i v e r s e   b e h a v i o r .   A l t h o ug h   IF   a n t h e   f us e pr o f i l e   IL V 2S IM   pe r f o r m e c o m pe t i t i v e l y   a t   s m a l l e r   N N   v a l ue s ,   t h e   T CM   b a s e l i n e   e x hi b i t e s t r o n g a i n s   a s   N N   i n c r e a s e d - r e a c h i n g   t h e   h i g h e s t   R e c a l l   a t   N N   50   w h e n   t h e   t ra i ni n g   s i z e   w a s   70% T h i s   i m pl i e s   t ha t   t e xt - b a s e p r o f i l e s   b e n e f i t   f r o m   l a r ge us e r   g r o ups ,   p a r t i c ul a rl y   w h e m o r e   b e h a v i o r a l   a nd  c o n t e x t ua l   i n f o r m a t i o n   i s   a v a i l a b l e   t o   s uppo r t   s e m a nt i c   m a t c hi n g .   A c r o s s   bo t h   da t a s e t s ,   t h e   f us e pr o f i l e   IL V 2S IM   de m o n s t ra t e s t a b l e   pe r f o r m a n c e   a c r o s s   N N   v a l ue s   b ut   di n o t   c o n s i s t e n t l y   o ut pe r f o r m   t h e   s i ngl e - m o da l i t y   IF   pr o f i l e .   T hi s   s ugge s t s   t ha t   w h i l e   f us i o n   m a y   a dd  r o b us t n e s s ,   i t   do e s   n o t   gu a r a nt e e   s upe ri o a c c ura c y   un l e s s   t h e   i nt e g r a t i o n   m e t h o e f fe c t i ve l y   c a pt u r e s   c o m pl e m e n t a r y   i n f o r m a t i o n .   T h e s e   f i n di ngs   i n di c a t e   t ha t   t h e   o pt i m a l   n u m b e r   o f   n e a r e s t   n e i g h b o r s   i s   n o t   u n i v e r s a l   b ut   r a t h e r   pr o f i l e -   a n d   c o n t e xt - de pe n de n t ,   a s   n o t e i n   [ 2],   [2 2 ] .   V i s u a l - b a s e p r o f i l e s   r e qui r e   c a r e f ul   t u ni n g   t o   a v o i ov e r - s m o o t h i n g ,   w h e r e a s   s e m a nt i c - r i c b a s e l i n e s   l i ke   T C M   c a l e v e r a ge   b r o a de n e i g h b o s e t s   a s   m o r e   t r a i ni n g   d a t a   b e c o m e s   a v a i l a b l e .     Evaluation Warning : The document was created with Spire.PDF for Python.
In do n e s i a J   E l e c   E ng  &   Co m S c i     IS S N :   2502 - 4752       Mul t i - v i s ual   m oda l i t y   f or   c o l l a bor at i v e   f i l t e r i ng - bas e pe r s o nal i z e   ( Sudar at   A r t h an )   985     (a )       (b )     F i gu r e   4 .   E f fe c t   of   t ra i ni n g   s e t   s i z e   a n num b e o f   n e a r e s t   n e i gh b o r s   o n   r e c o m m e n d a t i o pe r f o r m a n c e   i   (a t h e   B uda pe s t   a n d   (b T o r o nt o   da t a s e t       5.   C O N C LU S I O N   A   m ul t i - v i s ua l   m o da l i t y   f r a m e w o r f o r   P O r e c o m m e n d a t i o n   i s   p r e s e nt e d ,   l e v e r ge   us e r - ge n e ra t e d   ph o t o s   t o   c o n s t r uc t   t hr e e   t y pe s   of   us e r   pr o f i l e s :   i m a ge   l a b e l - b a s e d,   i m a ge   f e a t ur e - b a s e d,   a nd  a   f us e pr o f i l e .   T h e   e xpe r i m e nt a l   r e s u l t s   a c r o s s   di f f e r e n t   da t a s e t s ,   t r a i n i n s e t   s i z e s ,   a n d   n u m b e r s   o f   n e a r e s t   n e i g h b o r s   c o n s i s t e n t l y   de m o n s t ra t e t ha t   v i s ua l - b a s e p r o f i l e s   s i gni f i c a n t l y   e n h a n c e   r e c o m m e n d a t i o n   pe r f o r m a n c e   unde s pa r s e   d a t a   c o n d i t i o n s e s pe c i a l l y   t h e   i m a ge   f e a t u r e - b a s e pr o f i l e .   T h e   f e a t u r e - b a s e p r o f i l e   s h o w e d   t h e   s t r o n ge s t   a nd  m o s t   s t a b l e   pe r f o r m a n c e ,   w hi l e   t h e   f us e pr o f i l e   e xh i b i t e r o b us t n e s s   b ut   di n o t   c o n s i s t e n t l y   o ut pe r fo r m   i t s   s i n g l e - m o da l i t y   c o un t e r pa rt s .   D e s pi t e   t h e   i m p r o v e pe r f o r m a n c e ,   t h e   s t udy   a l s r e v e a l e l i m i t a t i o n s .   T h e   s c o r e - l e v e l   f us i o n   m e t h o d,   w hi c i s   e l e m e n t - w i s e   m u l t i pl i c a t i o n ,   a s s um e s   e qu a l   c o n t ri b ut i o f r o m   e a c h   m o da l i t y   a n do e s   n o t   a c c o un t   f o r   s e m a nt i c   di f f e r e n c e s   o r   i nt e ra c t i o n   b e t w e e n   m o da l i t i e s .   A d di t i o na l l y ,   t h e   f us e p r o f i l e s   m a y   s u ff e r   f r o m   s i g n a l   s upp r e s s i o n   w h e o n e   m o da l i t y   i s   n o i s y   o r   Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2502 - 4752   In do n e s i a J   E l e c   E ng  &   Co m S c i V o l .   40 ,   N o .   2 ,   N o v e m be r   20 25 :   9 78 - 9 87   986   l e s s   i n f o r m a t i v e .   F o r   f ut u r e   w o r k,   w e   pl a t o   e xpl o r e   a d a pt i v e   o r   l e a rna b l e   f us i o n   s t ra t e gi e s   t ha t   dy n a m i c a l l y   b a l a n c e   t h e   i n f l ue n c e   o f   di f fe r e n t   m o da l i t i e s   b a s e o da t a   qua l i t y   o r   us e r   c o nt e xt .   I nt e g r a t i ng   P O de s c r i t p i o n   o r   s e que nt i a l   us e b e h a v i o r   m a y   a l s o   i m pr o v e   pe r s o n a l i z a t i o n.   L a s t l y ,   e nh a n c i ng  t h e   i n t e r p r e t a b i l i t y   of   v i s ua l - b a s e r e c o m m e nda t i o n s   t hr o ug h   e xpl a i n a b l e   A t e c hn i q ue s   c a n   i n c r e a s e   us e r   t r us t   a n s y s t e m   t r a n s p a r e n c y .       A C K N O WL ED G E M EN TS   T h i s   w o r i s   pa rt i a l l y   s uppo r t e d   by   t h e   G ra du a t e   S c h o o l ,   N a r e s ua U ni v e r s i t y ,   P h i t s a n ul o k,   T h a i l a n d ,   t hr o ug t h e   r e s e a r c g ra nt   f o r   t h e s i s   s c h o l a r s h i ps   f o r   hi g hl y   po t e n t i a l   s t ude nt s ,   F i s c a l   Y e a 202 4.   T h e   a u t h o r s   s i n c e r e l y   a pp r e c i a t e   M r.   O l a l e k a n   Is ra e l   A i i ku l o l a ,   L e c t ur e (S pe c i a l   K n o w l e dge   a n A b i l i t i e s a t   t h e   F a c ul t y   of   M e di c a l   S c i e n c e ,   N a r e s ua U n i v e r s i t y ,   T h a i l a n d ,   f o r   h i s   m e t i c ul o us   p r o of r e a di ng  a nd  e di t i n g   o f   t h i s   m a n us c ri p t .   T h e   a u t h o r s   a l s o   t ha n k   M r .   R oy   I.   M o ri e n   o f   t h e   N a r e s ua U n i v e r s i t y   G r a du a t e   S c h o o l   fo r   h i s   a ddi t i o na l   e di t i n g   o f   t h e   g ra m m a r ,   s y n t a x   a nd  ge n e ra l   E n gl i s h   e xp r e s s i o i t hi s   m a nus c ri pt .       F U N D I N G   I N F O R M A TI O N   A ut h o r s   s t a t e   n o   f un d i n g   i n v o l v e d.       C O N F LI C O F   I N T ER ES S TA T EM EN T   A ut h o r s   s t a t e   n o   c o n f l i c t   o f   i nt e r e s t .       D A TA   A V A I LA B I LI T Y   D a t a   a v a i l a b i l i t y   i s   n o t   a ppl i c a b l e   t o   t hi s   pa pe a s   n o   n e w   d a t a   w e r e   c r e a t e d   o a n a l y z e i t hi s   s t udy .       R EF ER EN C ES   [1 ]   F .   Ri c c i ,   R e c o m m e n d e r   s y s t e m s   i n   t o u ri s m ,   i n   H a n d b o o k   o f   e - T o u r i s m ,   C h a m :   S p ri n g e I n t e r n a t i o n a l   P u b l i s h i n g ,   2 0 2 0 ,     p p .   1 1 8 .   d o i :   1 0 . 1 0 0 7 / 9 7 8 - 3 - 030 - 05324 - 6_26 - 1.   [2 ]   K .   K e s o r n ,   W .   J u ra p h a n t h o n g ,   a n d   A .   S a l a i w a ra k u l ,   P e r s o n a l i z e d   a t t ra c t i o n   r e c o m m e n d a t i o n   s y s t e m   fo t o u ri s t s   t h r o u g h   c h e c k - i n   d a t a ,   I E E E   A c c e s s ,   v o l .   5 ,   p p .   2 6 7 0 3 2 6 7 2 1 ,   2 0 1 7 ,   d o i :   1 0 . 1 1 0 9 / A CC E S S . 2 0 1 7 . 2 7 7 8 2 9 3 .   [3 ]   B.   L i u   a n d   H .   X i o n g ,   P o i n t - of - i n t e r e s t   r e c o m m e n d a t i o n   i n   l o c a t i o n   b a s e d   s o c i a l   n e t w o rk s   w i t h   t o p i c   a n d   l o c a t i o n   a w a r e n e s s ,     i n   P r o c e e d i n g s   o f   t h e   2 0 1 3   S IA M   In t e r n a t i o n a l   Co n f e r e n c e   o n   D a t a   M i n i n g ,   S D M   2 0 1 3 ,   P h i l a d e l p h i a ,   P A :   S o c i e t y   fo I n d u s t ri a l   a n d   A p p l i e d   M a t h e m a t i c s ,   M a y   2 0 1 3 ,   p p .   3 9 6 4 0 4 .   d o i :   1 0 . 1 1 3 7 / 1 . 9 7 8 1 6 1 1 9 7 2 8 3 2 . 4 4 .   [4 ]   P .   K h a n t h a a p h a ,   L .   P i p a n m a e k a p o rn ,   a n d   S .   K a m o n s a n t i ro j ,   T o p i c - b a s e d   u s e p ro f i l e   m o d e l   f o P O re c o m m e n d a t i o n s ,   i n   A CM   In t e r n a t i o n a l   C o n f e r e n c e   P r o c e e d i n g   S e r i e s ,   N e w   Y o r k ,   N Y ,   U S A :   A CM ,   M a r.   2 0 1 8 ,   p p .   1 4 3 1 4 7 .   d o i :   1 0 . 1 1 4 5 / 3 2 0 6 1 8 5 . 3 2 0 6 2 0 3 .   [5 ]   P .   M a z u m d a r,   B .   K .   P a t ra ,   a n d   K .   S .   Ba b u ,   C o l d - s t a rt   p o i n t - of - i n t e r e s t   r e c o m m e n d a t i o n   t h ro u g h   c r o w d s o u r c i n g ,     A CM   T r a n s a c t i o n s   o n   t h e   W e b ,   v o l .   1 4 ,   n o .   4 ,   p p .   1 3 6 ,   N o v .   2 0 2 0 ,   d o i :   1 0 . 1 1 4 5 / 3 4 0 7 1 8 2 .   [6 ]   Q .   Y u a n ,   G .   Co n g ,   Z .   M a ,   A .   S u n ,   a n d   N .   M a g n e n a t - T h a l m a n n ,   T i m e - a w a re   p o i n t - of - i n t e r e s t   r e c o m m e n d a t i o n ,   i n   S IG IR   2 0 1 3   -   P r o c e e d i n g s   o f   t h e   3 6 t h   In t e r n a t i o n a l   A CM   S IG IR   Co n f e r e n c e   o n   R e s e a r c h   a n d   D e v e l o p m e n t   i n   In f o r m a t i o n   R e t r i e v a l   N e w   Y o rk ,   N Y ,   U S A :   A CM ,   J u l .   2 0 1 3 ,   p p .   3 6 3 3 7 2 .   d o i :   1 0 . 1 1 4 5 / 2 4 8 4 0 2 8 . 2 4 8 4 0 3 0 .   [7 ]   K .   H .   L i m ,   R e c o m m e n d i n g   t o u r s   a n d   p l a c e s - of - i n t e re s t   b a s e d   o n   u s e r   i n t e re s t s   f r o m   g e o - t a g g e d   p h o t o s ,   i n   P r o c e e d i n g s   o f   t h e   A CM   S IG M O D   In t e r n a t i o n a l   Co n f e r e n c e   o n   M a n a g e m e n t   o f   D a t a ,   N e w   Y o rk ,   N Y ,   U S A :   A CM ,   M a y   2 0 1 5 ,   p p .   3 3 3 8 .     d o i :   1 0 . 1 1 4 5 / 2 7 4 4 6 8 0 . 2 7 4 4 6 9 3 .   [8 ]   K .   H .   L i m ,   J .   Ch a n ,   C.   L e c k i e ,   a n d   S .   K a ru n a s e k e ra ,   P e r s o n a l i z e d   t r i p   re c o m m e n d a t i o n   fo t o u ri s t s   b a s e d   o n   u s e r   i n t e re s t s ,   p o i n t s   o f   i n t e r e s t   v i s i t   d u ra t i o n s   a n d   v i s i t   r e c e n c y ,   K n o w l e d g e   a n d   In f o r m a t i o n   S y s t e m s ,   v o l .   5 4 ,   n o .   2 ,   p p .   375 - 4 0 6 ,   F e b .   2 0 1 8 ,     d o i :   1 0 . 1 0 0 7 / s 1 0 1 1 5 - 017 - 1056 - y.   [9 ]   P .   Z h a o ,   X .   X u ,   Y .   L i u ,   V .   S .   S h e n g ,   K .   Z h e n g ,   a n d   H .   X i o n g ,   P h o t o 2 T ri p :   e x p l o i t i n g   v i s u a l   c o n t e n t s   i n   g e o - t a g g e d   p h o t o s   fo r   p e r s o n a l i z e d   t o u r e c o m m e n d a t i o n ,   i n   M M   2 0 1 7   -   P r o c e e d i n g s   o f   t h e   2 0 1 7   A CM   M u l t i m e d i a   Co n f e r e n c e ,   N e w   Y o rk ,   N Y ,   U S A :   A C M ,   O c t .   2 0 1 7 ,   p p .   9 1 6 9 2 4 .   d o i :   1 0 . 1 1 4 5 / 3 1 2 3 2 6 6 . 3 1 2 3 3 3 6 .   [1 0 ]   S .   W a n g ,   Y .   W a n g ,   J .   T a n g ,   K .   S h u ,   S .   Ra n g a n a t h ,   a n d   H .   L i u ,   W h a t   y o u i m a g e s   r e v e a l :   E x p l o i t i n g   v i s u a l   c o n t e n t s   f o r   p o i n t - of - i n t e r e s t   re c o m m e n d a t i o n ,   i n   2 6 t h   In t e r n a t i o n a l   W o r l d   W i d e   W e b   Co n f e r e n c e ,   W W W   2 0 1 7 ,   R e p u b l i c   a n d   Ca n t o n   o f   G e n e v a ,   S w i t z e rl a n d :   In t e rn a t i o n a l   W o rl d   W i d e   W e b   C o n fe r e n c e s   S t e e ri n g   C o m m i t t e e ,   A p r.   2 0 1 7 ,   p p .   3 9 1 - 4 0 0 .     d o i :   1 0 . 1 1 4 5 / 3 0 3 8 9 1 2 . 3 0 5 2 6 3 8 .   [1 1 ]   K .   K i m ,   J .   K i m ,   M .   K i m ,   a n d   M .   S o h n ,   U s e i n t e r e s t - b a s e d   r e c o m m e n d e s y s t e m   fo i m a g e - s h a ri n g   s o c i a l   m e d i a ,     W o r l d   W i d e   W e b ,   v o l .   2 4 ,   n o .   3 ,   p p .   1 0 0 3 1 0 2 5 ,   M a y   2 0 2 1 ,   d o i :   1 0 . 1 0 0 7 / s 1 1 2 8 0 - 020 - 0 0 8 3 2 - 9.   [1 2 ]   F .   V a l l s   a n d   J .   R o c a ,   V i s u a l i z i n g   d i g i t a l   t ra c e s   fo r   s u s t a i n a b l e   u rb a n   m a n a g e m e n t :   M a p p i n g   t o u ri s m   a c t i v i t y   o n   t h e   v i rt u a l   p u b l i c   s p a c e ,   S u s t a i n a b i l i t y ,   v o l .   1 3 ,   n o .   6 ,   p .   3 1 5 9 ,   M a r .   2 0 2 1 ,   d o i :   1 0 . 3 3 9 0 / s u 1 3 0 6 3 1 5 9 .   [1 3 ]   P .   S t e f a n o v i c   a n d   S .   Ra m a n a u s k a i t e ,   T ra v e l   d i r e c t i o n   r e c o m m e n d a t i o n   m o d e l   b a s e d   o n   p h o t o s   o f   u s e s o c i a l   n e t w o rk   p r o f i l e ,   IE E E   A c c e s s ,   v o l .   1 1 ,   p p .   2 8 2 5 2 - 2 8 2 6 2 ,   2 0 2 3 ,   d o i :   1 0 . 1 1 0 9 / A CCE S S . 2 0 2 3 . 3 2 6 0 1 0 3 .   [1 4 ]   B.   L i u ,   Q .   M e n g ,   H .   Z h a n g ,   K .   X u ,   a n d   J .   Ca o ,   V G M F :   V i s u a l   c o n t e n t s   a n d   g e o g ra p h i c a l   i n f l u e n c e   e n h a n c e d   p o i n t - of - i n t e r e s t   re c o m m e n d a t i o n   i n   l o c a t i o n - b a s e d   s o c i a l   n e t w o rk ,   T r a n s a c t i o n s   o n   E m e r g i n g   T e l e c o m m u n i c a t i o n s   T e c h n o l o g i e s ,   v o l .   3 3 ,   n o .   6 ,   J u n .   2 0 2 2 ,   d o i :   1 0 . 1 0 0 2 / e t t . 3 8 8 9 .   Evaluation Warning : The document was created with Spire.PDF for Python.
In do n e s i a J   E l e c   E ng  &   Co m S c i     IS S N :   2502 - 4752       Mul t i - v i s ual   m oda l i t y   f or   c o l l a bor at i v e   f i l t e r i ng - bas e pe r s o nal i z e   ( Sudar at   A r t h an )   987   [1 5 ]   Z .   Z h a n g ,   C .   Z o u ,   R.   D i n g ,   a n d   Z .   Ch e n ,   V CG :   E x p l o i t i n g   v i s u a l   c o n t e n t s   a n d   g e o g ra p h i c a l   i n f l u e n c e   f o P o i n t - of - I n t e re s t   re c o m m e n d a t i o n ,   Ne u r o c o m p u t i n g ,   v o l .   3 5 7 ,   p p .   5 3 - 6 5 ,   S e p .   2 0 1 9 ,   d o i :   1 0 . 1 0 1 6 / j . n e u c o m . 2 0 1 9 . 0 4 . 0 7 9 .   [1 6 ]   Y .   S a n g ,   H .   S u n ,   C.   L i ,   a n d   L .   Y i n ,   L S V P :   a   v i s u a l   b a s e d   d e e p   n e u ra l   d i re c t i o n   l e a rn i n g   m o d e l   f o r   p o i n t - of - i n t e r e s t   re c o m m e n d a t i o n   o n   s p a r s e   c h e c k - i n   d a t a ,   Ne u r o c o m p u t i n g ,   v o l .   4 4 6 ,   p p .   2 0 4 - 2 1 0 ,   J u l .   2 0 2 1 ,   d o i :   1 0 . 1 0 1 6 / j . n e u c o m . 2 0 2 0 . 0 9 . 0 8 7 .   [1 7 ]   V i s i o n   A I:   i m a g e   &   v i s u a l   A t o o l s ,   G o o g l e   Cl o u d .   A c c e s s e d :   J a n .   2 1 ,   2 0 2 5 .   [O n l i n e ].   A v a i l a b l e :   h t t p s : / / c l o u d . g o o g l e . c o m / v i s i o n     [1 8 ]   A .   J .   N a n n e ,   M .   L .   A n t h e u n i s ,   C .   G .   v a n   d e L e e ,   E .   O .   P o s t m a ,   S .   W u b b e n ,   a n d   G .   v a n   N o o rt ,   T h e   u s e   o c o m p u t e v i s i o n   t o   a n a l y z e   b ra n d - r e l a t e d   u s e r   g e n e ra t e d   i m a g e   c o n t e n t ,   J o u r n a l   o f   In t e r a c t i v e   M a r k e t i n g ,   v o l .   5 0 ,   n o .   1 ,   p p .   1 5 6 - 1 6 7 ,   M a y   2 0 2 0 ,   d o i :   1 0 . 1 0 1 6 / j . i n t m a r . 2 0 1 9 . 0 9 . 0 0 3 .   [ 19 ]   C.   M .   R o s c a ,   A .   S t a n c u ,   a n d   M .   R .   T ă n a s e ,   A   c o m p a ra t i v e   s t u d y   o f   a z u re   c u s t o m   v i s i o n   v e r s u s   g o o g l e   v i s i o n   a p i   i n t e g ra t e d   i n t o   a i   c u s t o m   m o d e l s   u s i n g   o b j e c t   c l a s s i f i c a t i o n   fo r   r e s i d e n t i a l   w a s t e ,   A p p l i e d   S c i e n c e s ,   v o l .   1 5 ,   n o .   7 ,   p .   3 8 6 9 ,   A p r .   2 0 2 5 ,     d o i :   1 0 . 3 3 9 0 / a p p 1 5 0 7 3 8 6 9 .   [ 20 ]   K .   S i m o n y a n   a n d   A .   Z i s s e r m a n ,   V e r y   d e e p   c o n v o l u t i o n a l   n e t w o rk s   fo r   l a rg e - s c a l e   i m a g e   r e c o g n i t i o n ,   3 r d   In t e r n a t i o n a l   Co n f e r e n c e   o n   L e a r n i n g   R e p r e s e n t a t i o n s ,   ICL R   2 0 1 5   -   Co n f e r e n c e   T r a c k   P r o c e e d i n g s .   a rX i v : 1 4 0 9 ,   p .   1 5 5 6 ,   2 0 1 5 .   [O n l i n e ].   A v a i l a b l e :   h t t p s : / / a rx i v . o r g / p d f / 1 4 0 9 . 1 5 5 6   [ 21 ]   S .   A rt h a n   a n d   K .   T a m e e ,   L e v e ra g i n g   u s e r - g e n e ra t e d   v i s u a l   c o n t e n t   fo p o i n t   o f   i n t e r e s t   r e c o m m e n d a t i o n ,   i n   I CIC  E x p r e s s   L e t t e r s ,   P a r t   B :   A p p l i c a t i o n s ,   2 0 2 4 ,   p p .   7 9 5 - 8 0 2 .   d o i :   1 0 . 2 4 5 0 7 / i c i c e l b . 1 5 . 0 8 . 7 9 5 .   [ 22 ]   P .   K h e r w a   a n d   P .   Ba n s a l ,   T o p i c   m o d e l i n g :   a   c o m p r e h e n s i v e   re v i e w ,   E A E n d o r s e d   T r a n s a c t i o n s   o n   S c a l a b l e   In f o r m a t i o n   S y s t e m s ,   v o l .   7 ,   n o .   2 4 ,   p p .   1 - 1 6 ,   J u l .   2 0 2 0 ,   d o i :   1 0 . 4 1 0 8 / e a i . 1 3 - 7 - 2 0 1 8 . 1 5 9 6 2 3 .   [ 23 ]   R.   C h e n ,   Q .   H u a ,   Y .   S .   Ch a n g ,   B .   W a n g ,   L .   Z h a n g ,   a n d   X .   K o n g ,   A   s u rv e y   o f   c o l l a b o ra t i v e   fi l t e ri n g - b a s e d   r e c o m m e n d e r   s y s t e m s :   f r o m   t ra d i t i o n a l   m e t h o d s   t o   h y b ri d   m e t h o d s   b a s e d   o n   s o c i a l   n e t w o r k s ,   I E E E   A c c e s s ,   v o l .   6 ,   p p .   6 4 3 0 1 - 6 4 3 2 0 ,   2 0 1 8 ,   d o i :   1 0 . 1 1 0 9 / A CCE S S . 2 0 1 8 . 2 8 7 7 2 0 8 .   [ 24 ]   J .   Z e n g ,   H .   T a n g ,   Y .   Z h a o ,   M .   G a o ,   a n d   J .   W e n ,   P R - RC U C:   a   P O r e c o m m e n d a t i o n   m o d e l   u s i n g   r e g i o n - b a s e d   c o l l a b o ra t i v e   f i l t e ri n g   a n d   u s e r - b a s e d   m o b i l e   c o n t e x t ,   M o b i l e   Ne t w o r k s   a n d   A p p l i c a t i o n s ,   v o l .   2 6 ,   n o .   6 ,   p p .   2 4 3 4 - 2 4 4 4 ,   D e c .   2 0 2 1 ,     d o i :   1 0 . 1 0 0 7 / s 1 1 0 3 6 - 021 - 01782 - w.   [2 5 ]   J .   Z e n g ,   F .   L i ,   X .   H e ,   a n d   J .   W e n ,   F u s e d   c o l l a b o ra t i v e   f i l t e ri n g   w i t h   u s e r   p re fe r e n c e ,   g e o g ra p h i c a l   a n d   s o c i a l   i n f l u e n c e   f o p o i n t   o f   i n t e r e s t   r e c o m m e n d a t i o n ,   In t e r n a t i o n a l   J o u r n a l   o f   W e b   S e r v i c e s   R e s e a r c h ,   v o l .   1 6 ,   n o .   4 ,   p p .   4 0 5 2 ,   O c t .   2 0 1 9 ,     d o i :   1 0 . 4 0 1 8 / IJ W S R. 2 0 1 9 1 0 0 1 0 3 .   [2 6 ]   K .   H .   L IM ,   D a t a s e t s ,   K w a n   H u i   L IM .   A c c e s s e d :   J a n .   1 3 ,   2 0 2 4 .   [ O n l i n e ] .   A v a i l a b l e :   h t t p s : / / s i t e s . g o o g l e . c o m / s i t e / l i m k w a n h u i / d a t a c o d e     [2 7 ]   F .   S e rv i c e s ,   T h e   a p p   g a rd e n ,   F l i c k S e rv i c e s .   [O n l i n e ].   A v a i l a b l e :   h t t p s : / / w w w . f l i c k r. c o m / s e rv i c e s / a p i /     [2 8 ]   Q .   Z h a n g   e t   a l . ,   M u l t i m o d a l   f u s i o n   o n   l o w - q u a l i t y   d a t a :   a   c o m p r e h e n s i v e   s u rv e y .   2 0 2 4 .   [O n l i n e ].     A v a i l a b l e :   h t t p : / / a rx i v . o r g / a b s / 2 4 0 4 . 1 8 9 4 7   [ 29 ]   F .   Z h a o ,   C.   Z h a n g ,   a n d   B.   G e n g ,   D e e p   m u l t i m o d a l   d a t a   f u s i o n ,   A CM   Co m p u t i n g   S u r v e y s ,   v o l .   5 6 ,   n o .   9 ,   p p .   1 3 6 ,   O c t .   2 0 2 4 ,   d o i :   1 0 . 1 1 4 5 / 3 6 4 9 4 4 7 .       B I O G R A P H I ES   O F   A U T H O R S       S u d ar a t   A r t h an           r e c e i v e h i s   P h . D .   i C o m pu t e r   E ng i ne e r i n g ,   s pe c i a l i z i ng   i g e ne t i c   a l g o r i t hm s ,   f r o m   K i ng   M o ng kut s   I ns t i t ut e   o f   T e c hno l ogy   L a dkr a ba ng ,   B a ng ko k,   T ha i l a n d.   H e   i s   c ur r e nt l y   a A s s i s t a n t   P r o f e s s o r   i n   t he   D e pa r t m e n t   o f   C o m put e r   S c i e nc e   a nd   I n f o r m a t i o T e c hno l o gy ,   F a c ul t y   o f   S c i e nc e ,   N a r e s ua n   U n i v e r s i t y ,   P hi t s a nul o k ,   T ha i l a nd .   H i s   c ur r e n t   i n t e r e s t s   i nc l ude   a r t i f i c i a l   i nt e l l i g e nc e ,   m a c hi ne   l e a r n i ng ,   o pt i m i z a t i o n,   a n h um a n   a c t i v i t y   r e c o g ni t i o n.   H e   ha s   pa r t i c i pa t e i s e v e r a l   r e s e a r c pr o j e c t s   a nd   ha s   s upe r v i s e o r   c o - s upe r v i s e m o r e   t ha n   10   P h . D .   s t ud e nt s .   H e   c a be   c o nt a c t e v i a   e m a i l   a t   e m a i l :   s uda r a t a r 62 @up . a c . t h .         K r e an g s ak   T am e e           r e c e i v e t he   B A .   de g r e e   i n   b us i ne s s   c om put e r   f r o m   t he   N a r e s ua l   U n i v e r s i t y ,   P ha y a o ,   C a m pus ,   T ha i l a nd ,   t he   M . S c .   de g r e e   i T r a ns po r t   a nd  L o g i s t i c s   m a na g e m e nt   f r o m   B ur a p ha   U n i v e r s i t y ,   C ho nbur i ,   T h a i l a nd .   S h e   i s   c ur r e n t l y   a   P h . D .   s t ude n t   i n   i nf o r m a t i o n   a n t e c hno l o gy ,   N a r e s u a n   U ni v e r s i t y ,   T ha i l a nd .   H e r   c ur r e n t   r e s e a r c i n t e r e s t s   i nc l ud e   r e c o m m e nda t i o s y s t e m s ,   m a c hi n e   l e a r n i ng ,   a n bus i n e s s   da t a   a na l y t i c s .   S h e   c a b e   c o nt a c t e a t   e m a i l :   kr e a ng s a k t @nu . a c . t h .     Evaluation Warning : The document was created with Spire.PDF for Python.