I n d on e s ian   Jou r n al   o f   E lec t r ica l   E n gin e e r in a n d   Com p u t e r   S c ience   Vo l .   3 6 ,   N o .   2 N o v e m b e r   20 24 ,   pp.   1 218 ~ 1 225   I S S N:  2 502 - 4 7 52 ,   DO I 10 . 11591/i j e e cs .v 3 6 . i 2 . pp 1 218 - 1 225             1218     Jou r n al  h o m e page ht tp: // ij e e cs . iaes c or e . c om   R e c om m e n d R ift :   a l e ap  f or w ar d  i n  u se r  e xp e r ie n c e   w i t h   t r an sf e r  l e ar n in g on  n e t f li x   r e c om m e n d at io n s       S u r ab h Anu r ad h a 1 ,2 P ot h ab a t h u l Naga   Jyot h i 3 ,   S u r ab h S ivak u m ar 4 ,   M ar t h S h e s h ik al a 5   1 S c h oo of  C o mput e r  S c i e n c e  a nd A r ti f i c ia I nt e ll ig e n c e S R  U ni ve r s it y , W a r a nga l,  I ndi a   2 D e pa r tm e nt   of  C o mpu te r  S c ie n c e  a nd E ngi n e e r in ( A I M L ) K e s ha v  M e m o r ia I ns ti tu t e   of   T e c hn o l o g y H y d e r a ba d, I ndi a   3 D e pa r tm e nt   of  C o mpu te r  S c ie n c e  a nd  E ngi n e e r in g,  G I T A M  S c hoo of   T e c hn o l o g y G I T A M , V is a kha pa tn a m, I ndi a   4 D e pa r tm e nt   of  C he mi s tr y , A ni N e e r uk o nda  I ns ti tu t e   of   T e c hn o l o g y  a nd S c i e nc e s , V is a kha pa tn a m, I ndi a   5 S c h oo of  C o mput e r  S c i e n c e  a nd A r ti f i c ia I nt e ll ig e n c e S R  U ni ve r s it y , W a r a nga l,  I ndi a       Ar t ic l e   I n f o     AB S T RA CT   A r ti c le  h is tor y :   R e c e i ve J a n   7 ,   202 4   R e vi s e A ug   6 202 4   A c c e pt e A ug   11 ,   202 4       I n   t o d a y s   fas t - p ac ed   l i f e s t y l e ,   s t re a m i n g   mo v i e s   an d   s e r i e s   o n   p l at fo r m s   l i k N e t fl i x   i s   v al u ed   rec r e at i o n a l   a c t i v i t y .   H o w ev e r,   u s e rs   o ft e n   s p en d   c o n s i d e rab l t i me   s e ar ch i n g   f o t h e   r i g h t   c o n t en t   an d   r ece i v e   i rr el e v a n t   rec o mmen d at i o n s ,   p art i cu l ar l y   w h e n   fa ci n g   t h c o l d   s t art   p ro b l em   fo r   n ew   u s e rs .   T h i s   c h a l l en g e   ar i s e s   fr o m   e x i s t i n g   r eco mme n d er  s y s t em s   r el y i n g   o n   fac t o rs   l i k c as t i n g ,   t i t l e ,   an d   g e n r e,   u s i n g   t e r m   fr e q u en cy - i n v e rs d o c u men t   fre q u e n cy   ( TF - ID F )   f o v ec t o r i zat i o n ,   w h i ch   p ri o r i t i z e s   w o rd   fr e q u en cy   o v e r   s e m a n t i me an i n g .   T o   a d d r e s s   t h i s ,   an   i n n o v at i v r ec o mmen d e r   s y s t em  c o n s i d e r i n g   n o t   o n l y   c as t i n g ,   t i t l e ,   an d   g en r e   b u t   al s o   t h e   s h o rt   d e s c r i p t i o n   o f   mo v i e s   o s h o w s   i s   p ro p o s e d   i n   t h i s   s t u d y .   L ev e ra g i n g   W o r d 2 V ec  em b ed d i n g   f o s em an t i c   r el at i o n s h i p s ,   t h i s   s y s t em  o ff ers   rec o mmen d at i o n s   al i g n i n g   b e t t e w i t h   u s e p r e f e r e n ce s .   E v al u at i o n   me t ri c s   i n c l u d i n g   p r ec i s i o n ,   me an   a v e rag e   p r ec i s i o n   (M A P),   d i s co u n t ed   c u mu l at i v e   g ai n   (D CG ),   an d   i d e al   c u mu l at i v e   g ai n   ( ID CG d emo n s t rat e   t h s y s t e m s   e ff ec t i v e n e s s ,   ac h i e v i n g   a   n o r m al i z e d   D CG   (N D CG ) @ 1 0   o 0 . 9 5 6 .   A / t e s t i n g   s h o w s   an   i m p ro v e d   c l i c k - t h r o u g h   rat e   (CT R)  o f   r ec o mmen d at i o n s ,   s h o w c as i n g   e n h an ced   s t re a mi n g   e x p e ri en ce .   K e y w o r d s :   A /B   t e s t i n g   C l i c k - t h r o ugh   r a t e   C o l s t a r pr o bl e m   C o n t e n t - b a s e f il t e r i n g   C u m u l a t i v e   g a i n   W o r d2Ve c   Th i s   i s   a n   o p en   a c ces s   a r t i c l u n d e r   t h CC  B Y - SA   l i cen s e.     C or r e s pon din A u th or :   S ur a bhi   An ur a d h a   S c h o o l   o f   C o m put e r   S c i e n c e   a n A r t i f i c i a l   I n t e l li g e n c e ,   S R   Uni v e r s i t y   W a r a n ga l ,   I n d i a   E m a i l a n ur a d h a @ k mi t . i n       1.   I NT RODU C T I ON   No wa da y s ,   e n t e r t a i nm e n t   pl a y s   a   s i g ni f i c a n t   r o l e   i n   t h e   da y - to - da y   l if e   o f   h u m a n s .   M o vi e s   a n s o n g s   a r e   t h e   s o ur c e   o f   e n t e r t a i nm e n t .   T h e   c h a ll e n ge   li e s   i e x t r a c t i n i nf o r m a t i o n   f r o m   v a s t   a m o un t s   o f   da t a ,   gi ve t h a t h e   c o n s u m e r   wa n t s   r e s u l t s   t h a a r e   hi g hly   r e lev a n t ,   a c c ur a t e ,   a n r e s po n s i ve .   I n   or de r   to   o pe r a te  w i t h   a   hi g h   de gr e e   o f   us e r   c h o i c e ,   t h e   m o de l   m u s t   e m p l o y   s e v e r a l   s t r a t e g i e s   f o r   c h o o s i n pe r t i n e n t   a tt r i b ut e s ,   f i l t e r i n da t a ,   a n pr e s e n t i n t h e   to l i s t   a c c o r di ng  to   us e r   pr e f e r e nc e s .   T h e   r e c o m m e n de r   s y s t e m   s o l v e s   t h e   pr o bl e m   o f   a n a ly s i ng  t h e   c o n t e n t   a n o u t c o m e s   o f   t h e   t a i l o r e c o n t e n t   to   t h e   us e r   [ 1] .   T h e r e   i s   a   t r e m e n do us   i nc r e a s e   o f   da t a   o n   v a r i o us   p l a t f o r m s   l i k e   Yo uT ub e ,   S pot i f y ,   Ne t f li x ,   a n a ll   o t h e r   e - c o m m e r c e   s i t e s   [ 2] T h e r e   a r e   m i xe pr o v e n   r e s u l t s   by   t h e   r e c o m m e n d e r   s y s t e m   o f   Am a z o n ,   whi c h   i nc r e a s e i t s   r e v e n ue   by   30 %   a n b e s t   b u y   by   23. 7 % ,   Yo u T ub e   by   70  pe r c e n t   o n   vi de o s   a n 60  pe r c e n t   i n   vi e ws ,   Ne t f l i by   6. 7%   e v e r y   y e a r   w i t h   220. m il li o n   s u bs c r i b e r s   wo r l dw i de   by   t h e   im p l e m e n t a t i o n   o f   r e c o m m e n da t i o n   a l go r i t hm s   [ 3 ] M o r e   t h a n   71%   o f   e - c o m m e r c e   s i t e s   r e c o m m e nd  pr o duc t s   o n   t h e i r   h o m e pa ge ,   w hi c h   h a s   he l p e t h e m   Evaluation Warning : The document was created with Spire.PDF for Python.
I n do n e s i a n   J   E l e c   E n &   C o m S c i     I S S N:   2 5 0 2 - 4 7 52       R e c omm e ndR if t :   a   leap  f or w a r in  us e r   e x pe r i e nc e   w it tr ans f e r     ( Sur abhi  A nur adha )   1219   i nc r e a s e   e n ga ge m e n t ,   c o n v e r s i o n s ,   a n r e ve n ue .   W hil e   r e c o m m e n da t i o n s   c o n t r i b ut e to  o nl y   7%   o f   vi s i t s t h e y   a c c o un t e f o r   26%   o f   i n c o m e   [ 4 ].   Ne t f li x   h a s   a n   e n o r m o us   s e l e c t i o n   o f   s e r i e s   a n m o vi e s ,   s o   i t   m i g h t   b e   di f f i c u l t   to  de c i d e   whi c h   to   wa t c h   n e x t .   B u i l d i ng  a   r e c o m m e n da t i o n   s y s t e m   t ha t   m a ke s   Ne t f li x   pr o gr a m   r e c o m m e n d a t i o ns   b a s e d   o n   us e r   t a s t e   s i m p li f i e s   t hi s   pr o c e dur e .   T h e   m o s t   t y p i c a l   us e s   o f   r e c o m m e n da t i o n   s y s t e m s   a r e   i t h e   do m a i ns   l i k e   pr o duc e v a l ua t i o ns ,   m o vi e s ,   a n do c um e n t s   to  f a c il i t a t e   c o n t e n t   di s c o v e r y .   M o vi e   da t a   f r o m   s it e s   l i ke   Ne t f li x ,   M o vi e L e n s ,   a n P r i m e   i s   a   s i g nif i c a n t   s o ur c e   o f   e - c o n t e n t.   A   tot a l   o f   4 , 500  f il m s   a r e   pr o duc e d   g l o b a ll y ,   pr o duc i n r o ughl y   9 , 000  h o ur s   o f   c o n t e n t,   a c c or di n t i n t e r n e t   m o vi e   da t a b a s e   ( I M Db ) .   T h e r e   i s   de m a n f o r   t h e   r e c o m m e n da t i o n   s y s t e m   to   e a s e   a c c e s s   a n h a n d l e   t hi s   m a s s i ve   a m o u n t   o f   da t a   to   f a c il i t a t e   vi e we r s   i n t e r e s t s   a c c ur a t e l y .   T h e   r e c o m m e nde r   s y s t e m   i s   de v e l o pe b a s e o n   e s s e n t i a f u n da m e n t a l   a s pe c t s ,   whi c h   a r e   c o n t e n t - b a s e a n c o l l a b o r a t i v e   f il t e r i n g.   Us e r s   de t e r m i ne   c o n t e n t - b a s e d   r e c o m m e n da t i o n s   t h r o ugh   t h e i r   pr e f e r e n c e s   f o r   pr o duc t s ,   m o vi e s ,   vi de o s ,   a n a ud i o   c o n t e n t .   I f   us e r   A   li ke s   a   pr o duc X,   t h e   c o n t e n t - b a s e a ppr o a c h   w i ll   f i nd  s im il a r   pr o duc t s   to   X   a n w i l l   b e   r e c o m m e n de t us e r   A .   T h e   c o l l a b o r a t i v e   a ppr o a c h   s ugge s t s   t h a i f   us e r   A s   pr o f i l e   i s   s i mi l a r   to  us e r   B s ,   wh e n   us e r   B   l i ke s   a   m o vi e   X,   t h e n   us e r   A   i s   r e c o m m e n de X,   a n vi c e - ve r s a   f o l l o ws   [ 5 ].   T hi s   s t ud y   i nve s t i ga t e t h e   e f f e c t s   o f   c a pt ur i ng  s e m a n t i c   r e l a t i o ns hi p s   b e t we e n   wo r ds   i n   t h e   de s c r i pt i o ns   o f   m o vi e s   a n s h o ws   f o r   r e c o m m e n d a t i o n   s y s t e m .   W hil e   pr e vi o us   r e s e a r c h   h a s   i nve s t i ga t e d   t h e   e f f e c t s   o f   T F - I DF   v e c t o r i z a t i o n   o n   a tt r i b ut e s   s u c h   a s   t i t l e ,   ge n r e ,   a n c a s t i n i n f o r m a t i o n ,   i t   h a s   l a r ge ly  o v e r l o o ke t h e   de s c r i pt i o n s   o f   m o vi e s   a n s h o ws .   T h e s e   s t udi e s   pr i m a r il y   f o c us e o n   wo r f r e que n c y   w i t hin  t h e s e   a tt r i b ut e s   a n d i d   n o t   a ddr e s s   t h e   s e m a n t i c   r e l a t i o ns hi ps   be t we e n   wo r ds   i n   t h e   de s c r i pt i o n s .     Our   r e s e a r c h   a i m s   t f il l   t hi s   ga by   i nc o r po r a ti ng  t h e   de s c r i pt i o n   a s   a   ke y   i n put   f e a t ur e   a n ut i li z i ng   W o r d2Ve c   e m b e dd i ng  t e c hni que s   f o r   v e c t o r i z a t i o n .   T h e   ke y   o bj e c t i v e s   o f   o ur   r e s e a r c h   a r e :     T i n c o r p o r a t e   de s c r i pt i o n s   a s   a   ke y   i n put   f e a t ur e we   a i m   t o   e n h a n c e   r e c o m m e n d a t i o n   a c c ur a c y   by  i nc l ud i ng  t h e   s e m a n t i c   c o n t e n t   o f   m o vi e   a n s h o de s c r i pt i o ns ,   whi c h   h a s   b e e n   l a r ge l y   i g n o r e i pr e vi o us   s t ud i e s .     T u t i li z e   W o r d2Ve c   e m be dd i ng  t e c hni que s o ur   s t udy   f o c us e s   o n   a pp lyi ng  W o r d2Ve c   e m b e dd i n gs   to  c a pt ur e   t h e   s e m a n t i c   r e l a t i o n s hi ps   b e t we e n   wo r ds   i n   de s c r i pt i o ns ,   a ddr e s s i n t h e   l im i t a t i o ns   o f   T F - I DF ,   whi c h   pr i m a r il y   m e a s ur e s   wo r f r e que n c y   a n f a il s   to  a c c o un f o r   t h e   c o n t e x a n m e a ni ng  o f   wo r ds .   T h e   r e s t   o f   t h e   pa pe r   i s   o r ga ni z e i n t o   t h e   f o l l o w in s e c t i o ns .   S e c t i o n   pr e s e n t s   a   s u m m a r y   o f   pr i o r   i nve s t i g a t i o ns   c o n c e r ni n g   t h e   r e c o m m e n de r   s y s t e m s .   T h e   p i pe li ne   a r c hi t e c t ur e   a n a l go r i t hm   o f   t h e   pr o p o s e a ppr o a c h ,   t h e   da t a   s e u t i li z e f o r   t h e   e x pe r im e n t s ,   a n t h e   pe r f o r m a n c e   e v a l u a t i o n   c r i t e r i a   e m p l o y e a r e   a ll   c o v e r e un de r   s e c t i o n   3 .   I n   s e c t i o n   4,   t h e   e x pe r im e n t a l   r e s u l t s   w e r e   e x a mi ne a n i n t e r pr e t e d a n i t   wa s   f i na ll y   wr a ppe up  w i t h   f ut ur e   e nh a n c e m e n t s   to   t h e   wor k   i n   s e c t i o n   5.       2.   L I T E RA T UR E   RE VI E W   R o y   a n Dut t a   [ 6 ]   r e vi e we r e c o m m e n de r   s y s t e m s   a c r o s s   m o vi e s ,   b o o ks ,   a n pr o duc t s ,   a ddr e s s i n g   li mi t a t i o ns   s uc h   a s   c o l s t a r t ,   s pa r s i t y ,   s c a l a bil i t y ,   a n s e r e n d i p i t y .   T he y   e x a mi ne c o n t e n t - b a s e d,   c o l l a b o r a t i v e ,   a n hy br i m o de l s ,   n ot i n c o n t e n t - b a s e s y s t e m s   qu i c a da pt a t i o n   b ut   l i mi t e f e a t ur e   de p t h ,   a n c o l l a b o r a t i ve   s y s t e m s   pr i v a c y   i s s u e s   b ut   l a c k   o f   i t e m   k n o w l e dge .   T h e i r   r e vi e o f   60  pa pe r s   f r o m   2011  to   2021   hi g hli g h t e t h e   e v o l ut i o n   a n a pp l i c a t i o n   o f   t h e s e   t e c h ni que s .   Z h a n e al.   [7 ]   de v e l o pe a   pe r s o n a l i z e m o vi e   r e c o m m e n da t i o n   s y s t e m   us i n w e i g h t e K M   s l o pe - VU ,   whi c h   a pp l i e s   k - m e a ns   c l u s t e r i n o n   u s e r   pr o f il e s   a n c a l c u l a t e s   vi r t ua l   s c o r e s   f o r   i t e m   e v a l u a t i o n .   T he   s y s t e m ,   im p l e m e n t e i n   a   we b   a pp li c a t i o n ,   us e s   r oot   m e a n   s qua r e   e r r o r   ( R M S E )   f o r   r a t i n pr e d i c t i o n   b ut   s h o we s li g h t l y   l o we r   pe r f o r m a n c e   t h a n   s i ngu l a r   v a l ue   de c o m po s i t i o n   ( S VD ) + +   due   to   o u tdat e d   m o vi e s   a n r e l i a nc e   on   vi r t ua l   r a t h e r   t h a n   r e a l - t i m e   us e r   da t a .   K u m a r   [ 8]   d i s c u s s e c o m pa r a t i v e   s t ud y   o f   m o vi e   r e c o m m e n da t i o n   s y s t e m s   b a s e o n   t h e   r a t i ng   g i v e n   by   t h e   us e r s .   T h e   c o l l a b o r a t i v e   f il t e r i n m e c h a ni s m   i s   us e d,   a n t h e   s i mi l a r i t y   i n de x   i s   c a l c u l a t e o n   t h e   f e a t ur e s   i m po r t a n c e   s c o r e   o n   us e r - us e r   s i mi l a r i t y .   T h e   m o de l   w a s   de v e l o pe o n   13  h a n dc r a f t e pa r t s   a n pr e d i c t i o n   i s   m a de   us i n t h e   e x t r e m e   gr a d i e n t   b o o s t i n ( XG B o o s t )   r e g r e s s o r .   T h e   r e s u l t s   a r e   c o m pa r e d   b e t we e n   S VD + ,   k - n e a r e s t   n e i g hb o r   ( K NN )   wi t h   S VD   a n XG B oo s r e gr e s s o r   m a c hi ne   l e a r nin ( ML )   a l go r i t hm s .   T h e   e r r o r   f un c t i o n   i s   s ugge s t e by   t h e   a ut h or   to  c a l c u l a t e   t h e   e r r o r   b e t w e e n   t h e   r a t i n g i v e n   b y   t h e   us e r   a n t h e   g l o b a l   a ve r a ge   o f   a ll   r a t i n bi a s e s   to   a n ot h e r   us e r .   L r e gu l a r i z a t i o n   i s   m e a n t   to  o b s e r ve   d i f f e r e n t   r a t i n gs   li ke   g l o b a l   a ve r a ge ,   m o vi e   bi a s ,   a n us e r   bi a s   t e r m s   o n   a   l a r ge   da t a s e t .   T h e   pa tt e r n   f o r   s o m e   us e r s   m a y   be   hi g h e r   to  l o we r   t h a n   t h e   gl o ba l   a ve r a ge ,   o r   i t   m a y   b e   vi c e   v e r s a   to  m i n im i z e   t h e   e r r o r   f o r   a c c ur a t e   r e s u l t s .   T h e   r e s u l t s   o b t a i ne o n   a   pa r t i a l   da t a s e t   wi t h   f e we r   d i m e n s i o n a l   r e c o m m e n de r s   a r e   a tt e m pt i n to   c a t c h   t h e   pr e f e r e n c e s   a n i nc li na t i o ns .   Ha v o l li   et   al.   [ 9]   de v e l o pe a   c o n t e n t - b a s e r e c o mm e n da t i o n   s y s t e m   u s i n t e r m   f r e que n c y - i nve r s e   do c um e n t   f r e qu e n c y   ( TF - I D F )   f o r   t e x t   v e c tor i z a t i o n   a n t h e   A da mi c   A d a r   m e a s ur e   to   a s s e s s   m o vi e   s i mi l a r i t i e s   b a s e o n   f e a t ur e s   l i ke   a c t o r s   a n d i r e c to r s .   W hi l e   T F - I DF   c a l c u l a t e s   t e r m   r e l e v a n c e ,   t h e   A da mi c   Evaluation Warning : The document was created with Spire.PDF for Python.
                                I S S N :   2 5 0 2 - 4 7 52   In do n e s i a n   J   E l e c   E n g   &   C o m S c i Vo l .   3 6 ,   N o .   2 N o v e m b e r   20 24 :   1 218 - 1 225   1220   A da r   m e a s ur e s   li mi t a t i o n   i s   i t s   f o c u s   o n   un d i r e c t e gr a ph s .   F ut ur e   wor a i m s   t o   i n t e gr a t e   a r t i f i c i a l   i n t e l li ge n t   ( AI )   a n ML   t o   e n h a nc e   s im il a r i t y   de t e c t i o n   i n   m o vi e   r e c o m m e n da t i o n s .   T a i   e al.   [ 10]   de v e l o pe a n   R S   b a s e o n   t h e   K NN   M L   a l go r i t hm t h e   de s i g n   c r e a t e i nv o l v e s   c a n d i da t e   ge n e r a t i o n ,   c o n t e n t - b a s e f il t r a t i o n ,   a n r a n k i ng  s t a ge s .   T h e   c o l l e c t e vi de o s   f r o m   t h e   Yo uT ub e   c o r pus   un de r go  c o n t e n t - b a s e f il t r a t i o n   b a s e o n   t h e   pr e vi o us ly   w a t c h e vi d e o .   T h e   m o de l   r e c o m m e n d s   t h e   f o l l o w i ng  vi de o .   Da t a   us a ge   i s   f r a m e i n   a   u t i li t y   m a t r i x   w. r . to   s i g nif i c a n t   i t e m s   a n us e r   c h o i c e s .   T h e   de gr e e   o f   pr e f e r e n c e   r e l a t i o ns hi i s   c a l c u l a t e b a s e o n   t h e   us e r   i t e m s ,   t h e   l i ke s   a n d i s li ke s .   T h e   r a n k i n wo r ks   o n   m o du l e   m a t c hi n g.   I t   s e l e c t s   a   f e t hi n gs   f r o m   a   l i s t   o f   c o n s u m e r   a ppe a l s .   T h e   r a n k i n s y s t e m   r e t r i e v e s   r a n k i ng  o bj e c t s   b a s e o n   i t e m   pr o pe r t i e s ,   a n us e r - de v e l o p m e n t   n e e d s   to  b e   r e vi s e to  s c a l e   f o r   e x t e ns i ve   da t a   a s   m e n t i o n e by   S ur e s h   e al.   [ 11 ] .   S i r i s h a   e al.   [ 12]   p r o p o s e a   c o n t e n t - b a s e m o vi e   r e c o m m e n da t i o n   m e t h o us i n W o r dNe a n d   to pi c   m o de li ng  to   c a t e g o r i z e   f il m s   by   p l o t   a s pe c t s ,   wi t h   pr e c i s i o n   e v a l ua t e o n   I M Db s   T e l ugu   m o vi e s   da t a s e a n s ugge s t i o n s   f o r   f ut ur e   r e s e a r c h .   C a ga ta y li   a n C e l e bi   [ 13]   e x p l o r e i n t e gr a t i n us e r s   B I G - f i v e   pe r s o n a l i t y   s c o r e s   i n t m o vi e   r e c o m m e n da t i o ns   b u t   f o un n o   s i g nif i c a n t   c o r r e l a t i o n   be t we e n   t h e s e   s c o r e s   a n ge n r e   pr e f e r e n c e s ,   c h a ll e n g i ng  e xi s t i ng  a s s u m pt i o n s .   R a i   e al.   [ 14 ]   c o m pa r e a l go r i t hm s   s uc h   a s   K NN ,   c o l l a b o r a t i v e   f il t e r i ng,   a n c o n t e n t - b a s e f il t e r i n to  e nh a n c e   r e c o m m e n da t i o n   a c c ur a c y ,   pr o p o s i n a   hy b r i d   a ppr o a c h   f o r   i m pr o v e e f f i c i e nc y   a n s c a l a bi li t y .   R o y   a n S hi r a z i   [ 15]   e x p l o r e m a t r i x   f a c t o r i z a t i o ( M F )   a n de e ne ur a l   n e t wo r k   ( DN N)   m o de l s   f o r   r e c o m m e n de r   s y s t e m s ,   hi g hli g h t i n g   t h e   pot e n ti a l   o f   us i n i n d i r e c t   f e a t ur e s ,   de s i g ni n s y s t e m s   f o r   un r e g i s t e r e us e r s ,   a n o p t i mi z i ng  e x p li c i t   a n i m p li c i t   f e e d b a c i n t e gr a t i o n   a s   f ut ur e   r e s e a r c h   d i r e c t i o n s .   F a l k   [ 16]   pr a c t i c a l   r e c o m m e n de r   s y s t e m s   e m p h a s i z e s   c o n t e n t - b a s e f il t e r i ng  f o r   g e n e r a t i n g   r e c o m m e n da t i o n s   b a s e o n   i t e m   m e t a da t a ,   r a t h e r   th a n   s u bj e c t i v e   o pi ni o ns .   A dd i t i o n a ll y ,   R a z a   a n D i ng   [ 17] Vu  a n L e   [ 18]   c o n duc t e s ur v e y s   o n   c ur r e n t   tr e n ds   a n m e t h o d o l o g i e s   i n   c o n t e x t - a wa r e   r e c omm e n de r   s y s t e m s .       3.   M E T HO D   3. 1.     P r op os e d   m od e l   Gi v e n   a   us e r   t i t l e   pr e f e r e n c e ,   t h e   pr o p o s e d   a l go r i t hm   s e a r c h e s   f o r   ge n r e s   a n de s c r i pt i o n   s im il a r i t i e s   to  di s c o v e r   m a t c hi ng  s h o ws   o r   m o vi e s .   T hi s   pr oc e s s   i nv o l ve s   s e a r c hi ng  f o r   c o n t e n t h a t   a l i g n s   w i t h   us e r   pe r c e pt i o n   o f   s im i l a r i t y   a n t h e n   c r e a t i n a   pe r s o n a l i z e r e c o m m e n da t i o n   a ppr o a c h   b a s e o n   c o n t e n t   a tt r i b ut e s   a s   de s c r i b e i n   F i gur e   1.   I n   o ur   que s to   c o n s t r uc t   a   hi g hly   e f f i c i e n t   Ne t f l i m o vi e   r e c o m men da t i o s y s t e m ,   o ur   m o de l   a do pt e a n   i nn o va t i ve   s t r a t e g y   by   h a r ne s s i n t h e   po w e r   o f   a   pr e - tr a i n e W o r d2Ve c   m o de l .   T h e   go a l   o f   t hi s   t e c hni qu e   i s   to  m a hi g h - d im e n s io n a l   s pa r s e   v e c t or s   to  l o w - di m e ns i o n a l   de ns e   v e c to r s   a n d   c a l c u l a t e   us e r   or   i t e m   s im il a r i t y .   F o r   e x a m p l e ,   Va l c a r e c e   s ugge s t e t h e   pr e f s 2 v e c   m o de l   to  l e a r n   t h e   us e r   a n i t e m   e m be dd i ng,   whi c h   i s   i ns p i r e by   t h e   b a g - of - wo r ds   ( C B OW )   i n   W o r d2Ve c   [1 9 ] ,   [ 20] .   T hi s   m e t h o h a s   b e e n   s h o wn   to   b e   b e n e f i c i a l   i l o we r i ng  c o m put i n c o m p l e xi t y ,   r e s u l t i n i a   m o r e   e f f i c i e n t   a n f a s t e r   r e c o m m e n de r   s y s t e m .   T hi s   c ut t i n g - e dge   a ppr o a c h   t a ke s   i n s p i r a t i o n   f r o m   t h e   pr i n c i p l e s   o f   tr a n s f e r   l e a r ni ng,   e n a bli ng  us   to  de l v e   i n t o   a n e v a l u a t e   t h e   i n t r i c a t e   i n t e r c o n n e c t i o ns   t h a un de r l i e   m o vi e   t i t l e s ,   ge n r e s ,   a n t h e   c o m pr e h e ns i ve   t e x t ua l   de s c r i pt i o n s   a s s o c i a t e w i t h   e a c h   m o vi e .   B y   l e v e r a g i ng  t h e   kn o wl e dge   a n s e m a n t i c   u n de r s t a n d i ng  e m be dde w i t hi n   t he   pr e - t r a i n e d   W o r d2Ve c   m o de l ,   t r a i n e i n i t i a ll y   o n   e x t e n s i ve   t e x t   c o r p or a ,   t h e   pr o p o s e m o de l   i s   e m po we r e to   g r a s t h e   n ua n c e s   o f   m o vi e - r e l a t e l a n gua g e   a n s e m a n t i c s .   T hi s   s o phi s t i c a t e t e c h ni que   s i g nif i c a n t l y   e nha n c e s   t h e   r e c o m m e n da t i o n   pr o c e s s   a n c a p i t a li z e s   o n   t h e   d e pt h   o f   i nf o r m a t i o n   a v a il a bl e ,   pr o vi d i ng  us e r s   w it h   m o r e   pe r s o n a l i z e a n c o n t e x t - a wa r e   m o vi e   s ugg e s t i o n s   [ 21] ,   [ 22] .           F i g ur e   1 .   P r o p o s e r e c o m m e n de r   s y s t e m   p i pe li ne   Evaluation Warning : The document was created with Spire.PDF for Python.
I n do n e s i a n   J   E l e c   E n &   C o m S c i     I S S N:   2 5 0 2 - 4 7 52       R e c omm e ndR if t :   a   leap  f or w a r in  us e r   e x pe r i e nc e   w it tr ans f e r     ( Sur abhi  A nur adha )   1221   3. 2.     Dat as e t   u t il iz e d   A   da t a s e t   o f   n e a r ly   9 , 000  uni que   Ne t f l i t i t l e s   wa s   us e to   ge n e r a t e   c o n t e x t - a wa r e   r e c o m m e n da t i o ns   f o r   us e r s .   T h e   a t tr i b ut e s   t i t l e ,   li s t e d_ i n ,   a n de s c r i pt i o n   we r e   t a ke n   a s   i nput   f e a t ur e s   f o r   b u i ld i n t h e   r e c o m m e n de r   a l go r i t hm .   T h e s e   f e a t ur e s   we r e   tokeni z e u s i ng  a   t r a n s f e r   l e a r ni ng  m e c h a ni s m   du r i n pr e - pr o c e s s i n p h a s e   a n t h e n   c o s i n e   s im il a r i t y   wa s   m e a s ur e to   c a l c u l a t e   t h e   s im i l a r i t y   s c o r e s   f o r   m a k i ng   r e c o m m e n da t i o n s .   C o n s i de r   Al go r i t hm   1.     Al go r i t hm   1.   R e c o m m e ndR i f t   ( t i t l e )   Input: title    Ou tput: list of titles recommended   Functions:    ExtractVec   (title): extracts word vectors for the specified title    CalcSim   (v1, v2): calculates cosine similarity score   FilterThrsh   (scores, threshold): filters similarity based on given threshold   SortRecomm   (filtered_scores): sorts filtered scores to retrieve recommendations   1.   V title    ExtractVec   (title)   2.   scores    [ ]   3.   for each sample in dataset do:   a.   v sample    ExtractVec   (sample. title)   b.   score    CalcSim   (v title , v sample )   c.   scores.append(sample, score)   4.   filtered_scores    FilterThresh   (scores, threshold)   5.   recommends    SortRecomm   (filtered_scores)   6.   return recommends     3. 3.     E val u at ion   m e t r ics   3. 3. 1.   P r e c is ion   P r e c i s i o n@K   i s   a   m e t r i c   us e t o   e v a l ua t e   t h e   qua l i t y   o f   r e c o m m e n da t i o ns   i n   a   c o n t e n t - b a s e d   r e c o m m e n da t i o n   s y s t e m   [ 1 6 ] ,   [ 23 ] ,   [ 2 4 ] .   I m e a s ur e s   t h e   pr o p o r t i o n   o f   r e l e v a n t   i t e m s   i n   t h e   to p   K   r e c o m m e n da t i o n s   a s   de f i ne i n   ( 1 ) .          @ =                         ( 1 )     3. 3. 2.   M e an   ave r age   p r e c i s ion   M e a n   a v e r a ge   pr e c i s i o n   ( M A P )   i s   a   m e t r i c   us e to   a s s e s s   t h e   qua l i t y   o f   a   r a n k i ng.   I i nv o l v e s   c a l c u l a t i n pr e c i s i o n   a v a r i o us   c u to f f   po i n t s ,   s t a r t i n f r o m   a n go i n up  to  t h e   tot a l   n u m be r   o f   r e c o m m e n de i t e m s ,   o f t e n   de n o t e d   a s   k.   T pr o vi de   a   m o r e   c o m pr e h e n s i ve   e v a l ua t i o n ,   t h e   pr o c e s s   c o n t i n ue s   by   a ve r a g i n t h e   pr e c i s i o ns   o v e r   t h e   f ir s t   i t e m ,   t h e n   t h e   n e x t   t w o ,   a n s o   o n   un t i l   i t   c o v e r s   a ll   r e c o m m e n de i t e m s   ( up  to  k ) ,   whi c h   i s   de f i ne in   ( 2 ).      =   1   (    @  @ ) = 1   ( 2 )    ( ) = { 1 ,                   0 ,           ,           T hi s   pr o c e dur e   i s   a pp l i e t o   e a c h   r e c o m m e n da t i o i n d i vi du a l l y .   T o   e v a l ua t e   a   r e c o m m e n de r   s y s t e m ,   y o c a t h e n   c o m put e   t h e   m e a n   o f   t h e s e   i nd i v i dua l   a ve r a ge   pr e c i s i o n s   a c r o s s   a l l   r e c o m m e n da t i o n s   a s   de f i ne i n   ( 3 ) .     =    @       ( 3 )     I e v a l ua t e s   t h e   qua l i t y   o f   a   r a n k i n by   c a l c u l a t i n g   t h e   pr e c i s i o n   a di f f e r e n t   l e v e l s ,   s t a r t i n f r o m   t h e   f i r s t   i t e m   a n pr o gr e s s i ve l y   c o n s i de r i ng  m o r e   i t e m s   up  t o   t h e   tot a l   n u m be r   o f   r e c o m m e n d e i t e m s   ( o f t e de n o t e a s   k ) .   T e x t e n t hi s   e v a l ua t i o n   f ur t h e r ,   M A P   c o m put e s   t h e   a v e r a ge   o f   t h e s e   pr e c i s i o ns   o v e r   t h e   f i r s t   i t e m ,   t h e n   t h e   n e x t   t w i t e m s ,   a n s o n   unt i l   i t   r e a c h e s   t h e   l a s t   i t e m   i n   t h e   r a n k i n g.   T hi s   pr o vi de s   a   c o m pr e h e ns i ve   m e a s ur e   o f   t h e   r a n k i ng s   o v e r a l l   q ua l i t y .       3. 3. 3.   D is c ou n t e d   c u m u l at ive  gain   an d   n or m a l i z e d   c u m u l at ive  gain   T h e   M A P   m e r e l y   c o ns i de r s   r e l e v a n c e ,   b ut   t h e   d i s c o un t e c um u l a t i v e   ga i ( DC G )   c o n s i de r s   l e v e l s   o f   r e l e v a n c e .   T o   c a l c u l a t e   DC G,   a s s i g n   a   r e l e v a n c y   s c o r e   to  e a c h   i t e m   [ 2] .   I n   t h e   c a s e   o f   a   r e c o m m e n de r   s y s t e m ,   i t   m i g h t   b e   t h e   i t e m 's   e x pe c t e r a t i n o r   pr o f i t .   R e l e v a n c e   i s   o f t e n   r e f e r r e to  a s   b e n e f i t   i n   t h i s   c o n t e x t.   I Evaluation Warning : The document was created with Spire.PDF for Python.
                                I S S N :   2 5 0 2 - 4 7 52   In do n e s i a n   J   E l e c   E n g   &   C o m S c i Vo l .   3 6 ,   N o .   2 N o v e m b e r   20 24 :   1 218 - 1 225   1222   c o ul a l s o   b e   r e f e r r e to  a s   t h e   di s c o un t e c um u l a t i v e   r e l e v a n c e .   T h e   r e l e v a n c e   i s   d i s c o un t e by   t h e   po s i t i o i n   t h e   li s t ,   a n t h e   r e l e va n c e   s c o r e s   a r e   c o m bi n e to ge t h e r   to   c a l c u l a t e   t h e   DC [ 16]   a s   s h o wn   i n   ( 4 ).     =   2   ( + 1 )     = 1   ( 4 )     W h e r e ,   ga i ns t h e   tr ue _s c o r e s   a e a c h   r a n k,   whi c h   r e pr e s e n t   t h e   a c t ua l   r e l e v a n c e   o r   qua l i t y   o f   t h e   r e c o m m e n da t i o n s .   l o g2   ( r a n k+ 1) t h e   l o ga r i t hm   b a s e   o f   t h e   r a n ( a d j us t e by   t o   a v o i d i vi s i o n   by  z e r o) .   k   i s   t h e   r a n a t   whi c h   we   a r e   e v a l ua t i n t h e   r e s u l t s .   On c e   t he   r e s u l t   o f   D C i s   o b t a i n e d,   n o r m a l i z e c u m u l a t i v e   ga i n   ( ND C G ) ,   whi c h   i s   t h e   n o r m a li z e DC c a n   be   c o m put e us i n t h e   f o r m u l a   pr e s e n t e i n   t h e   ( 5 ).     =       ( 5 )     W h e r e   I DC i s   t h e   I de a l   DC G,   whi c h   i s   t h e   D C t h a w o ul b e   a c hi e v e i f   a ll   t h e   T r ue _s c o r e s   we r e   pe r f e c t l y   r a n ke i n   de s c e n d i ng  o r de r   [ 16] ,   [ 25] ,   [ 2 6] .       4.   RE S UL T S   AND   DI S CU S S I ON   Dur i n pr e - pr o c e s s i n g,   a   pr e - tr a i n e W o r d2Ve c   m o de l   i s   us e to  t r a n s f o r m   t h e   pr o c e s s e to ke n s   o f   i nput   f e a t ur e s   i n t v e c to r s ,   a n t h e n   a   v e c t o r   s i mi l a r i t y   m e t h o i s   us e to  i de n t i f y   t h e   m o s t   s i m il a r   wo r ds   i t h e   da t a s e t.   A   s a m p l e   o f   t h e   m o s t   s i mi l a r   wo r ds   i de n t i f i e by   t h e   W o r d2Ve c   m o de l   i s   pr e s e n t e i n   T a bl e   1.   T h e n   i n   t h e   n e x t   ph a s e ,   g i v e n   a   t i t l e ,   t h e   pr o p o s e a l go r i t hm   f il t e r s   t h e   i n put   da t a   a n c r e a t e s   a   m a t r i x   o f   r e l e v a n t   to ke n s .   I t h e n   c o m put e s   s im il a r i t y   s c o r e s   us i n t h e   W o r d2Ve c   m o de l   f o r   c a t e g o r y ,   de s c r i pt i o n ,   a n d   t i t l e   a tt r i b ut e s   a ga i ns t   a   m a t r i x   o f   a ll   s h o ws .   R e c o m m e n da t i o n s   w i t h   a   c a t e go r y   s i mi l a r i t y   a b o v e   0. 85  a r e   a ggr e ga t e i n t a   f i na l   s c o r e ,   s o r t e d ,   a n t h e   to p   10   a r e   r e t u r n e d.   T wo  t e s c a s e s   we r e   t a ke n   f o r   i n t e r pr e t i n t h e   r e s u l t s   o f   t h e   pr o p o s e d   a l go r i t hm .   T a bl e   2   pr e s e n t s   a   li s t   o f   to r e c o m m e n da t i o ns   f o r   t h e   t i t l e   B l a c P a n t h e r ,   a l o n w i t h   t h e i r   r e s pe c t i ve   s im i l a r i t y   s c o r e s   in  v a r i o us   c a t e gor i e s s c o r e _t i t l e ,   s c o r e _c a t e g o r y ,   s c o r e _de s c r i pt i o n ,   a n t h e   f i na l   a ggr e ga t e s c o r e .   F r o m   t h e s e   r e s u l t s ,   we   c a n   s a y   t h a t h e   to p   r e c o m m e nda t i o n   C h a pp i e ’  s t a n ds   o u wi t h   a   n o t e w o r t hy   s c o r e _ t i t l e   o f   0. 112706,   i n d i c a t i n a   s i g ni f i c a n t   t i t l e   o v e r l a p   w i t h   B l a c P a n t h e r .   F ur t h e r m o r e ,   i t   a c hi e v e d   a   pe r f e c s c o r e _c a t e gor y   o f   1. 000000,   s i g nif yi ng  t h a b ot h   t i t l e s   f a ll   w i t hi n   t he   s a m e   ge n r e   o r   c a t e g o r y .     T h e   s c o r e _de s c r i pt i o n   o f   0. 621946  a l s o   i m p li e s   s u b s t a n t i a l   t e x t ua l   s i mi l a r i t y   i t h e i r   de s c r i pt i o n s .   A s   a   r e s u l t ,   C ha pp i e   s e c ur e d   t h e   to p o s i t i o n   w i t h   t h e   hi g h e s t   f i na l _ s c o r e   o f   1. 734651.   T h e   t a bl e   pr o vides   a   f u ll   o v e r vi e o f   t h e   r e m a i n i ng  e n t r i e s   i n   t hi s   s e qu e n c e   a n a   v a r i e r a n ge   o f   r e c o m m e n d a t i o ns   b a s e o n   d i f f e r e n t   e l e m e n t s   o f   s im il a r i t y .   P r e c i s i o n   a n M A P   a r e   t h e   e v a l ua t i o n   m e t r i c s   e m p l o y e to  a s s e s s   t h e   e f f e c t i ve n e s s   o f   t h e   r e c o m m e n da t i o n s   pr o duc e d .   M o de l   pe r f o r m a n c e   w i t h   t w o   que r y   gr o ups ,   B l a c P a n t h e r   a n A r t i c l e   15’   a r e   e xhi b i t e i n   T a bl e   3.   M A P   i s   de t e r m i ne by  a v e r a g i n t h e   A P   v a l ue s   c o m put e f o r   b ot h   que r i e s :   M A P = ( A P B l a c P a n t h e r + A P A r t i c l e   15) /2=( 0. 95+ 0. 9) /2=0. 925 .   T h e   M A P   s c o r e   o f   0. 925  s ugge s t s   t h a t,   o a v e r a ge ,   t h e   r e c o m m e n d e r   s y s t e m   i s   qu i t e   e f f e c t i v e   i n   r e t ur ni n r e l e v a n t   r e s ul t s   f o r   t h e   t w o   que r i e s ,   B l a c k   P a n t h e r   a n A r t i c l e   15.   A   M A P   s c o r e   o f   i n d i c a t e s   pe r f e c t   pe r f o r m a n c e ,   s o   a   M A P   s c o r e   o f   0. 925   i s   qu i t e   goo d.   T hi s   m e a ns   t h a t,   f o r   t h e   g i v e n   que r i e s ,   m o s t   o f   t h e   r e l e v a n t   d o c um e n t s   a r e   r a n ke hi g hly ,   a n t h e   pr e c i s i o n   a t   di f f e r e n t   c u to f f s   ( P @ k)   i s   c o n s i s t e n t l y   hi g h .   T h e   c a l c u l a t i o n   o f   DC G,   I DC G,   a n ND C v a l u e s   f o r   t h e   to p   10   r a n ks   wa s   us e to  e v a l ua t e   t h e   e f f e c t i v e n e s s   o f   t h e   s ugge s t i o n s   pr o duc e by   t h e   s ugge s t e r e c o m m e n de r   s y s t e m .   E v a l ua t i o n   r e s u l t s   f o r   r e c o m m e n da t i o n s   a c r o s s   t w que r y   gr o ups   a r e   p r e s e n t e i n   T a bl e   4 .   T h e   t r ue _s c o r e   a n t r ue _ r a n ks   we r e   de r i v e a s   a n   a v e r a ge   o f   s c o r e s   ga t h e r e f r o m   v a r i o u s   o nl i ne   s o ur c e s   s uc h   a s   Go o gl e ,   I M DB ,   Ne t f l i x,   a n R o tt e n T o m a t o e s .       T a bl e   1.   M o s t   s i mi l a r   wo r ds   ge n e r a t e f o r   t h e   to ke n   t h r i ll e r   S l.  N o .   S im il a r _ W o r d   S im il a r it y _ S c o r e   1   T h r il l e r   1.00000   2   T h r il l e r s   0.78241   3   S us pe ns e   0.74405   4   P s y c h o l o gi c a l   0.72550   5   S py   0.71650   6   S upe r na tu r a l   0.65463   7   D r a ma   0.64413   8   P o tb o i le r   0.64344     Evaluation Warning : The document was created with Spire.PDF for Python.
I n do n e s i a n   J   E l e c   E n &   C o m S c i     I S S N:   2 5 0 2 - 4 7 52       R e c omm e ndR if t :   a   leap  f or w a r in  us e r   e x pe r i e nc e   w it tr ans f e r     ( Sur abhi  A nur adha )   1223   T a bl e   2.   S i mi l a r i t y   s c o r e s   f o r   to p   10  r e c o m m e n da t i o n s   r e l a t e to   B l a c P a n t h e r   S l.  N o .   R e c o mm e nda ti o n   S c o r e _ T it l e   S c o r e _C a te g or y   S c o r e _D e s c r ip ti o n   F in a l_ S c or e   1   C ha ppi e   0.11271   1.00000   0.62195   1.73465   2   C la s h o f   th e   T it a ns   0.04708   1.00000   0.67404   1.72112   3   G r e e L a nt e r n   0.11550   1.00000   0.60476   1.72026   4   H a l o T h e  F a ll   of  R e a c h   0.05258   1.00000   0.65536   1.70794   5   S ta r ga te   0.10318   1.00000   0.59298   1.69616   6   I ll a ng:   T h e  W o l f  B r ig a de   0.21976   0.90278   0.56643   1.68897   7   M e n i n B la c k   0.29745   0.88576   0.50308   1.68628   8   DC s  L e ge nds   of   T om o r r o w   0.08603   0.90935   0.68981   1.68519   9   S upe r ma r e tu r ns   0.09047   1.00000   0.59395   1.68442   10   S e a s o of  t h e   W it c h   0.12699   1.00000   0.55690   1.68389       T a bl e   3.   P r e c i s i o n   a n a v e r a ge   pr e c i s i o n   c a l c u l a t e d   f o r   t h e   s a m p l e   que r i e s       P r e c is i o n@ k   A ve r a ge   p r e c is i o n@ k   Q ue r y   P @ 1   P @ 3   P @ 5   P @  10   A P @ 1   A P @ 3   A P @ 5   A P @  10   B la c P a nt he r   1   1   1   0.8   1   1   1   0.95   A r ti c l e  15   1   1   1   0.6   1   1   1   0.9       T a bl e   4.   R e c o m m e n da t i o n   e v a l ua t i o n   w i t h   pr e d i c ted  a n a c t ua l   s c o r e s   a n r a n k s   S l.  N o .   S e a r c h_Q ue r y   R e c o mm e nda ti o n   P r e di c t e d_S c o r e   P r e di c t e d_R a nk   T r u e _S c o r e   T r u e _R a nk   1   B la c P a nt he r   C ha ppi e   1   1   0.95   2   2   B la c P a nt he r   C la s h o f   th e   T it a ns   0.988   2   0.526   7   3   B la c P a nt he r   G r e e L a nt e r n   0.987   3   0.368   9   4   B la c P a nt he r   H a l o T h e  F a ll   of  R e a c h   0.974   4   0.474   8   5   B la c P a nt he r   S ta r ga te   0.962   5   1   1   6   B la c P a nt he r   I ll a ng:   T h e  W o l f  B r ig a de   0.954   6   0.579   6   7   B la c P a nt he r   M e n i n B la c k   0.952   7   0.842   4   8   B la c P a nt he r   DC s  L e ge nds   of   T om o r r o w   0.951   8   0.895   3   9   B la c P a nt he r   S upe r ma n R e tu r ns   0.95   9   0.684   5   10   B la c P a nt he r   S e a s o of  t h e  W it c h   0.945   10   0.316   10   11   A r ti c l e  15   P a r ma nu:   T he   S t o r y   of   P o khr a n   1   1   1   1   12   A r ti c l e  15   K a lu s hi T h e  S t o r y   of  S o l o m o M a hl a ngu   0.988   2   0.789   4   13   A r ti c l e  15   S ic il ia G h o s S t o r y   0.982   3   0.763   5   14   A r ti c l e  15   I nt e r r o ga ti o n   0.97   4   0.947   2   15   A r ti c l e  15   M y  B i r th da y  S o ng   0.954   5   0.368   7   16   A r ti c l e  15   T h e   H a t e r   0.947   6   0.842   3   17   A r ti c l e  15   T h e   L e t te r  R e a d e r   0.915   7   0.789   4   18   A r ti c l e  15   M e tr o   0.907   8   0.737   6   19   A r ti c l e  15   J us A no th e r   L ove  S t o r y   0.892   9   1   1   20   A r ti c l e  15   A a pl a   M a nu s   0.891   10   0.842   3       I n   o r de r   to  c a l c u l a t e   t h e   DC G   a r a n 10  ( DC G @ 10)   a n n o r m a li z e d i s c o un t e c um u l a t i v e   ga in  ( ND C G@ 10) ,   f i r s t ,   t h e   c um u l a t i v e   ga i ns   f o r   t h e   to p   10   r e s u l t s   o f   e a c h   que r y   a r e   c o m put e d.   F o l l o w i ng  t hi s ,   t h e   i de a l   c u m u l a t i ve   ga i ns   ( I DC G@ 10)   a r e   de t e r mi ne by   s o r t i n t h e   t r ue   s c o r e s   i n   de s c e n d i ng  or de r   a n d   s e l e c t i n t h e   to p   10  tr ue   s c or e s .   S ub s e que n t l y ,   t h e   DC G @ 10  v a l ue s   a r e   c o m put e us i n t h e   a c t ua l   c u m u l a t i v e   ga i ns ,   whi l e   t h e   ND C G @ 10  i s   o b t a i ne by   n o r m a li z i ng  t h e   DC G@ 10  va l u e s   w i t h   t h e i r   c o r r e s po n d i n g   I DC G@ 10  c o un t e r pa r t s .   T hi s   n o r m a li z a t i o n   e ns ur e s   t h a t h e   r e l e v a n c e   o f   t h e   to p - r a n ke r e s u l t s   i s   e v a l ua t e d   r e l a t i v e   to  t h e   b e s t   po s s i bl e   r a n k i ng  s c e n a r i o ,   p r o vi d i n a   s t a n da r d i z e m e a s ur e   o f   pe r f o r m a n c e   a c r o s s   d i f f e r e n t   que r i e s .   T h e   r e s u l t s   a r e   s h o wn   i n   T a bl e   5.   T h e   e f f i c a c y   o f   t h e   r e c o m m e nde r   s y s t e m   pr o p o s e i n   t hi s   pa pe r   wa s   de m o n s t r a t e d   by   t h e   a v e r a ge   ND C o f   0. 956  f o r   t h e   t w o   s e a r c h   que r i e s .   T his   m e t h o pr o v e to   b e   qui t e   e f f e c t i v e   i n   r a n k i n s e a r c r e s u l t s ,   e n s ur i ng  t h a us e r s   s a t h e   m o s t   r e l e va n t   i t e m s   f i r s t .   T h e   r e c o m m e n de r   s y s t e m   o pt i m i z e t h e   r a n k i n g   pr o c e s s   a n pr o duc e n e a r l y   pe r f e c t   ND C s c o r e s   by   ut i li z i ng  t h e   pr o p o s e s o phi s t i c a t e a l go r i t hm   a n d   m e t h o do l o g y .   T hi s   pe r f o r m a n c e   de m o n s t r a t e d   t h e   r e c o m m e n de r   s y s t e m s   de pe n da bil i t y   a n a c c ur a c y ,   whi c we r e   c r uc i a l   f o r   e nh a nc i n us e r   e n ga ge m e n t   a n s a t i s f a c t i o n .   T h e   m o de l   i s   a l s o   r un   t h r o ugh   a n   A /B   t e s i n   t h e   c o n t e x t   o f   o ur   c o n t e n t - b a s e r e c o m m e n d e r   s y s t e m   i o r de r   to   a s s e s s   i t s   e f f e c t i v e n e s s   a n e f f e c t   o n   us e r   h a pp i ne s s .   Our   m a i go a l   w a s   t o   f i n o ut   if ,   w h e c o m pa r e t o   t h e   pr i o r   r e c o m m e n da t i o n   a ppr o a c h ,   t h e   c o n t e n t - b a s e r e c o m m e n de r   s y s t e m   s i g nif i c a n t l y   im pr o v e us e r   e n ga ge m e n t   a n o v e r a l l   s a t i s f a c t i o n .   W hil e   us e r s   i n   t h e   e x pe r i m e n t a l   gr o up   we r e   e x po s e to  o ur   r e c e n t l y   c o ns t r uc t e r e c o m m e n de r   s y s t e m ,   i nd i vi dua l s   i n   t h e   c o n t r o l   gr o up  c o n t i n ue to  us e   t h e   c ur r e n r e c o m m e n da t i o n   s y s t e m .   O ve r   t h e   c o ur s e   o f   a   w e e k,   us e r s   i t h e   e x pe r i m e n t a l   gr o up  s h o we a   s i gnif i c a n t   Evaluation Warning : The document was created with Spire.PDF for Python.
                                I S S N :   2 5 0 2 - 4 7 52   In do n e s i a n   J   E l e c   E n g   &   C o m S c i Vo l .   3 6 ,   N o .   2 N o v e m b e r   20 24 :   1 218 - 1 225   1224   r i s e   i n   c li c k - t h r o ugh   r a t e   ( C T R ) ,   a c c o r di n t o   o u r   s t udy ,   whi c h   i s   c o m pe ll i ng  e vi d e n c e   o f   o ur   r e c omm e n de r   s y s t e m s   e f f i c a c y .       T a bl e   5.   T h e   DC G,   I DC G ,   a n ND C v a l ue s   a t   t h e   r a n 10  f o r   t h e   t w que r y   gr o ups   G r o up   D C G @ 10   I D C G @ 10   N D C G @ 10   B la c k   P a nt he r   6.97   7.64   0.912   A r ti c l e   15   7.566   7.568   1.000   A ve r a ge       0.956       5.   CONC L USI ON   I n   t hi s   s t ud y ,   we   f o un t h a c a p t ur i n s e m a n t i c   r e l a t i o n s hi p s   b e t we e n   wo r ds   i n   m o vi e   a n s h o de s c r i pt i o ns   s i g nif i c a n t l y   c o r r e l a t e s   w i t h   e nh a n c e r e c o m m e n d a t i o n   a c c ur a c y .   R e c e n t   o b s e r v a t i o n s   s ugge s t   t h a u t i li z i ng  a dva n c e W o r d2Ve c   e m b e dd i ng s   a l o n g s i d e   c o n t e n t - b a s e f i l t e r i ng  i m pr o v e s   t h e   s y s t e m pr e c i s i o n   a n r e l e va n c e   i n   r e c o m m e n da t i o n s .   Our   f i nd i ngs   pr o vi d e   c o n c l u s i ve   e vi d e n c e   t h a t   t hi s   a ppr o a c h   n o o nl y   im pr o v e s   t h e   a c c ur a c y   o f   r e c o m m e n da t i o n s   b ut   a l s o   b o o s t s   us e r   e n ga ge m e n t ,   a s   r e f l e c t e by   a   hi g ND C o f   0. 956  a n a   n o t a bl e   i n c r e a s e   i n   C T R   du r i n A /B   t e s t i n g.   T h e s e   r e s u l t s   de m o ns t r a t e   t h e   e f f e c t i v e n e s s   o f   o ur   m e t h o i n   de li ve r i n r e l e v a n t   r e c o m m e n da t i o n s .   F ut ur e   r e s e a r c h   c o u l e x t e n t h e s e   t e c h ni que s   to   j o b   r e c o m m e n da t i o n   s y s t e m s ,   s uc h   a s   L i nke dI n ,   to  r e f i ne   pr o f i l e   m a t c hi ng  a n d   r e c o m m e n da t i o n   qua l i t y .       RE F E R E NC E S   [ 1]   N M is hr a S C ha tu r v e di A V ij a nd  S T r ip a th i,   R e s e a r c pr o bl e ms   in   r e c o m me nd e r   s y s te ms ,”   J our nal   of   P hy s ic s :   C on f e r e nc e   Se r ie s , v o l.  1717, n o . 1, p. 012002, J a n. 2021, do i:   10.1088 /1 74 2 - 6596/1717/ 1/ 012002.   [ 2]   R D r id i,   L T a mi n e a nd  Y S l im a ni C o nt e x t - a w a r e   mul ti - c r it e r ia   r e c o mm e nda ti o n   ba s e o s pe c tr a g r a ph  pa r ti t i o ni n g,”     in   L e c tu r e   N ot e s   in   C o m put e r   Sc ie n c e   ( in c lu di ng  s ubs e r ie s   L e c tu r e   N ot e s   in   A r ti f ic ia I nt e ll ig e nc e   and  L e c tu r e   N ot e s   in   B io in f or m at ic s ) , v o l.  11707  L N C S , 2019, pp. 211 221.   [ 3]   N M V il le ga s C S á nc h e z ,   J D ía z - C e l y a nd  G T a mu r a C ha r a c te r iz in g   c o nt e x t - a w a r e   r e c o mm e nd e r   s y s te ms a   s y s te ma ti c   li te r a tu r e   r e vi e w ,”   K now le dge - B as e d Sy s te m s , v o l.  140,  pp. 173 200, J a n. 2018, do i:  10.1016/j .kn o s y s .2017.11.003.   [ 4]   L W u,  C Q ua n,  C L i,   Q W a ng,   B Z he ng,  a nd  X L uo A   c o n te x t - a w a r e   us e r - it e r e p r e s e nt a ti o le a r ni ng  f or   it e m   r e c o mm e nda ti o n,”   A C M  T r ans ac ti ons  on I nf or m at io n Sy s te m s vo l.  37, n o . 2, pp. 1 29, Apr . 2019, d o i 10.1145/3298988.   [ 5]   S A.   N a r a y a n,  H K uma a r D S.   N a r a y a na n,  S S r ik uma r a n,   a nd  S V e ni C o nt e nt - ba s e m ov i e   r e c o mm e nd e r   s y s t e us in g   ke y w o r ds   a nd  pl o ove r vi e w ,”   in   2022  I nt e r nat io nal   C on f e r e nc e   on  W ir e le s s   C om m uni c at io n s Si gnal   P r oc e s s in and  N e tw or k in g, W iS P N E T  2022 , M a r . 2022, pp. 49 53, d o i:  10.11 09/ W iS P N E T 54241.2022.9767172.   [ 6]   D R oy   a nd  M D ut ta A   s y s te ma ti c   r e v i e w   a nd  r e s e a r c p e r s pe c ti ve   o r e c o mm e nd e r   s y s t e ms ,”   J our nal   o f   B ig   D at a v o l 9,     no . 1, p. 59, D e c . 2022, d o i:  10.1186/s 40537 - 022 - 00592 - 5.   [ 7]   J Z ha ng,  Y W a ng,  Z Y ua n,   a nd  Q J in P e r s o na li z e r e a l - ti me   m ov i e   r e c o mm e nda ti o s y s t e m:   p r a c ti c a pr o t o t y p e   a nd  e v a lu a ti o n,”   T s in ghua Sc ie nc e  and T e c hnol ogy , v o l.  25, n o . 2, p p. 180 191, Apr . 2020, do i:   10.26599 / T S T .2018.9010118.   [ 8]   D K uma r ,   C o mpa r a ti ve   s tu d y   of   m ov i e   r e c o mm e nda ti o s y s te us in f e a tu r e   e ng in e e r in g   a nd  im pr ove e r r o r   f unc ti o n,”     in   2022  I n te r nat io nal   C onf e r e n c e   on  F u tu r is ti c   T e c hnol ogi e s I N C O F T   2022 N ov .   2022,  pp.   1 6,    do i:  10.1109/ I N C O F T 55651.2022.10094480.   [ 9]   A H a vo ll i,   A M a r a j,   a nd  L F e ta hu,  B ui ld in a   c o n te nt - ba s e r e c o mm e nda ti o e ngi n e   m o d e us in A da mi c   A da r   m e a s ur e a   N e t f li c a s e   s tu d y ,”   in   2022  11t h   M e di te r r ane an  C onf e r e nc e   on  E m be dde C om put in g,  M E C O   2022 ,   J un.  2022,  p p.   1 8,     do i:  10.1109/M E C O 55406.2022.9797139.   [ 10]   Y T a i,   Z S un,  a nd  Z Y a o C o nt e nt - ba s e r e c o mm e nda ti on  us in ma c hi ne   le a r ni ng,”   in   I E E E   I nt e r nat io nal   W or k s hop  on   M ac hi ne   L e ar ni ng  f or   Si gnal   P r oc e s s in g,  M L S P O c t.   2021,   vo l.   2021 - O c t o be r pp.   1 4,     do i:  10.1109/M L S P 52302.2021.9596525.   [ 11]   K . S .   S ur e s h, M . S r i v a s ta v a , a nd M o ha na , “ Y o u T ube  a nd m ov i e  r e c o mm e nda ti o n s y s t e m us in g ma c hi n e  l e a r ni ng,”  i P r oc e e di ngs   of   th e   2023  2nd  I nt e r nat io nal   C on f e r e nc e   on   E le c tr oni c s   and   R e ne w abl e   Sy s te m s I C E A R 2023 M a r 2023,  pp.   1352 13 56,    do i:  10.1109/ I C E A R S 56392.2023.10084999.   [ 12]   P S ir is ha G L .   D e v i,   a nd  N .   R a me s h,  P l o t - t o pi c   ba s e d   m ov i e   r e c o mm e nda ti o s y s t e us in W o r dN e t,   in   P r oc e e di ngs   of   th e   2022  9t I nt e r nat io nal   C onf e r e nc e   on  C om put in f or   Su s ta in abl e   G lo bal   D e v e lo pm e nt I N D I A C om   2022 M a r 2022,  pp.  45 49,   do i:  10.23919/ I N D I A C o m54597.2022.97632 44.   [ 13]   M C a ga ta y li   a nd  E C e l e bi I s   B I G - 5   pe r s o na li t y   f e a tu r e   s e c o n ve ni e nt   f o r   m ov i e   r e c o mm e nd e r   s y s te ms ,”   in   2017  25t Si gnal   P r oc e s s in g and C om m uni c at io ns  A ppl ic at io ns  C on f e r e nc e , SI U  2017 , M a y  2017, pp. 1 4, d o i 10.1109/S I U .2017.7960343.   [ 14]   A R a i,   K Y a d a v M S in gh,  a nd   S K S in gh,  A c c ur a c y   c ompa r is o of   v a r i o us   m ov i e   r e c o mm e nda ti o s y s te a lg o r it h ms ,”     in   P r oc e e di ngs   -   2022  4t I n te r nat io nal   C onf e r e nc e   on  A dv anc e s   in   C om put in g,  C om m uni c at io C ont r ol   and  N e tw or k in g,  I C A C 3N  2022 , D e c . 2022, pp. 254 260, d o i:  10.1109 /I C A C 3N 56670.2022.10074471.   [ 15]   D R oy   a nd  F S hi r a z i,   A   r e v ie w   o mul ti p le   da ta   s o u r c e   ba s e r e c o mm e nda ti o s y s t e ms ,”   in   P r oc e e di ngs   -   2021   I nt e r nat i onal   C onf e r e nc e   on  C om put at io nal   Sc ie nc e   and  C om put at io nal   I nt e ll ig e nc e C SC I   2021 D e c .   2021,  pp.  1534 1 539,    do i:  10.1109/C S C I 54926.2021.00298.   [ 16]   K . F a lk , “ C o n te nt - ba s e f il t e r in g,”  i P r ac ti c al  r e c om m e nde r  s y s te m s , 2019, pp. 248 2 83.   [ 17]   S R a z a   a nd  C D in g,  P r o gr e s s   in   c o nt e x t - a w a r e   r e c o mm e n de r   s y s t e ms   -   a ov e r v ie w ,”   C om put e r   Sc ie nc e   R e v ie w v ol .   31,     pp. 84 97, F e b. 2019, d o i:  10.1016/j . c o s r e v .2019.01.001.   [ 18]   S L V u   a nd  Q H L e ,   A   d e e p   l e a r ni ng  ba s e d   a ppr o a c f or   c o nt e x t - a w a r e   mul ti - c r it e r ia   r e c o mm e nd e r   s y s te ms ,”     C om put e r  Sy s te m s  S c ie nc e  and E ngi ne e r in g , vo l.  44, n o . 1, pp.  471 483, 2022, do i:  10.32604/ c s s e .2023.025897.   Evaluation Warning : The document was created with Spire.PDF for Python.
I n do n e s i a n   J   E l e c   E n &   C o m S c i     I S S N:   2 5 0 2 - 4 7 52       R e c omm e ndR if t :   a   leap  f or w a r in  us e r   e x pe r i e nc e   w it tr ans f e r     ( Sur abhi  A nur adha )   1225   [ 19]   Q H L e S L V u,  T K P N gu y e n,  a nd  T X L e A   s ta te - of - th e - a r s ur v e y   o c o nt e x t - a w a r e   r e c omm e nd e r   s y s t e ms   a nd  a ppl ic a ti o ns ,”   I nt e r nat io nal   J our nal   of   K now le dge   and   Sy s te m s   Sc i e nc e v o l.   12,  n o 3,  pp.   1 20,  J ul 2021,    do i:  10.4018/ I J K S S .2021070101.   [ 20]   D V a lc a r c e A L a ndi n,  J P a r a pa r a nd  Á B a r r e i r o C o ll a bo r a ti ve   f il t e r in e mb e ddi ngs   f o r   m e m o r y - ba s e r e c o m me n de r   s y s te ms ,”   E ngi ne e r in A ppl ic at io ns   of   A r ti f ic ia l   I nt e ll ig e nc e vo l.   85,  pp.  347 356,  O c t.   2019,     do i:  10.1016/j . e nga ppa i. 2019.06.020.   [ 21]   M H a gi w a r a W o r a nd   d oc um e nt   e m be ddi ngs ,”   in   R e al - w o r ld   nat ur al   la nguage   pr oc e s s in g:   pr ac ti c al   appl ic at io ns   w it de e p   le ar ni ng 2023,  pp.  49 79,  [ O nl in e ] A v a il a bl e :   ht tp s :/ /l i ve b oo k.ma nni ng.c o m /b oo k/ r e a l - w o r ld - na tu r a l - la ng ua ge - pr oc e s s in g/ c ha pt e r - 3/ v - 1 /.   [ 22]   M K a ne k a nd  D B o ll e ga la D ic ti o na r y - b a s e d e bi a s in of   pr e - t r a in e d   w o r e mb e ddi ngs ,”   in   P r oc e e di ngs   of   th e   16t C onf e r e nc e   of   th e   E ur ope an  C hapt e r   o f   th e   A s s oc ia ti on  f o r   C om put at io nal   L in gui s ti c s :   M ai V ol um e 2021,  pp.  212 2 23,    do i:  10.18653/ v 1/ 2021. e a c l - ma in .16.   [ 23]   F F ki h,  S im il a r it y   me a s ur e s   f o r   c o ll a b o r a ti ve   f il t e r in g - ba s e r e c o mm e nd e r   s y s te ms r e v i e w   a nd  e x p e r im e n ta c o mpa r is o n,”   J our nal   of   K in Saud  U ni v e r s it y   -   C om put e r   and  I nf or m at io Sc ie nc e s vo l.   34,   n o 9,   pp.  7645 7669,  O c t.   2 022,     do i:  10.1016/j . jk s uc i. 2021.09.014.   [ 24]   A G una w a r da na G S ha ni a nd  S Y o g e v E v a lu a ti ng   r e c omm e nd e r   s y s t e ms ,”   in   R e c om m e nde r   Sy s te m s   H andbook :   T h ir d   E di ti on , 2022, pp. 547 601, d o i:  10.1007/978 - 1 - 0716 - 2197 - 4 _ 15.   [ 25]   R B a ni k,  B ui ld in g   c o n te nt - ba s e r e c o mm e nde r s ,”   in   H ands - on  r e c om m e ndat io s y s t e m s   w it P y th on:   s ta r bui ld in pow e r f u l   and pe r s onal iz e d, r e c o m m e ndat io n e ngi ne s  w it P y th on , 2018,  pp. 87 116.   [ 26]   Y W a ng,  L W a ng,  Y L i,   D H e W C he n,  a nd  T Y L iu A   th e o r e ti c a a na l y s is   of   N D C G   r a nki ng  m e a s ur e s ,”     J our nal  of  M ac hi n e  L e ar ni ng R e s e a r c h , v o l.  30, pp. 25 54, 201 3.       B I OG RA P HI E S   OF   AU T HO RS       Su ra b h i   A nu ra d h a           i s   an   as s o c i at e   p ro f e s s o at   K e s h a v   M em o r i al   In s t i t u t e   o f   T e ch n o l o g y   i n   H y d e rab ad ,   In d i a,   s p ec i a l i z i n g   i n   art i fi c i al   i n t e l l i g e n ce,   m a ch i n e   l e ar n i n g .   d ee p   l e ar n i n g ,   n at u ra l   l a n g u ag e   p ro ce s s i n g   an d   g en e rat i v e   A I.   W i t h   o v e t w o   d ec a d e s   o e x p e ri en ce  i n   ed u c at i o n   an d   ad mi n i s t rat i o n ,   s h i s   c u rr en t l y   p u rs u i n g   P h . D .   i n   d ee p   l e arn i n g   fr o m   SR   U n i v e rs i t y ,   W aran g al ,   I n d i a.   S h e   i s   ac t i v e l y   i n v o l v e d   i n   d i ff e r en t   d o m a i n s   o r e s e ar c h   f o c u s i n g   o n   g en e rat i v e   A I ,   l ar g e   l an g u a g e   mo d el s   (L L Ms ),   an d   v i s u al   l an g u ag m o d e l s   (V L Ms ).   Sh c an   b e   c o n t ac t e d   at   em a i l :   an u rad h a@ k m i t . i n .         D r.   P o th a ba thul a   N a g a   J y o th i           i s   as s i s t an t   p ro f e s s o at   G I T A S ch o o l   o f   T e ch n o l o g y   i n   D e p art me n t   o C o m p u t e r   an d   E n g i n ee r i n g ,   G I T A d e emed   t o   b e   U n i v e rs i t y ,   I n d i a .   Sh e   h o l d s   Ph . D .   d e g r ee   i n   Co m p u t e E n g i n ee r i n g   w i t h   s p ec i a l i zat i o n   i n   me d i c al   d at an al y s i s .   H e r e s e ar c h   ar e as   are  art i fi ci al   In t el l i g en ce  an d   m a c h i n e   l e arn i n g ,   A I   i n   me d i c al   s u rg e r y ,   a n d   n e t w o r k   s ecu ri t y .   Sh e   h as   fi l ed   n u m b e r   o p at e n t s   an d   I PRs   o n   h e i n n o v at i v e   i d e as   an d   h as   b ee n   a w ard ed   I n d i a n   i n n o v at i o n   p at en t s   p u b l i c at i o n   an d   fi l l ed   f ew   IPRs .   Sh e   c an   b e   c o n t ac t e d   at   em a i l :   n p o t h ab a@ g i t a m . e d u .       D r.   S u ra b h i   S i v a kum a         i s   an   as s o c i at e   p r o f e s s o at   A n i l   N ee ru k o n d a   I n s t i t u t e   o f   T e ch n o l o g y   an d   S c i en ce s   i n   V i s ak h ap at n a m ,   In d i a,   w i t h   Ph . D .   i n   C h em i s t r y .   H i s   re s e ar c h   p ri m ari l y   fo cu s e s   o n   Ph o t o c at al y s i s ,   I o n   e x c h a n g m at e r i al s ,   an d   W as t ew at e t re at me n t .     I n   r ece n t   y ears ,   h e   h as   t ran s i t i o n e d   i n t o   t h e   f i e l d   o d at s c i e n ce  an d   m a ch i n l e ar n i n g ,   w h e r e   h ap p l i e s   h i s   e x p e rt i s t o   an a l y z c h emi c al   an d   d ru g - r el at e d   d at u s i n g   m a c h i n e   l e arn i n g   t o o l s   an d   a l g o ri t h m s .   H e   c an   b e   co n t a c t ed   at   em ai l :   s i v ak u m ar . ch em i s t r y @ a n i t s . ed u . i n .       D r.   M a rt h a   S h es hi k a l a           i s   c u rr en t l y   h o l d i n g   t h p o s i t i o n   o f   h e ad   an d   p ro f e s s o a t   t h e   S ch o o l   o f   Co m p u t e S ci e n ce  an d   A rt i f i c i a l   In t el l i g en ce   at   SR   U n i v e rs i t y   i n   W ara n g a l ,   In d i a.   Sh e   e ar n e d   h e r   Ph . D .   i n   Co m p u t e Sci e n ce  a n d   E n g i n eeri n g   fr o m   K   L   E d u c at i o n a l   F o u n d at i o n ,   A n d h ra  Pra d e s h ,   i n   Mar ch   2 0 1 8 .   H e r   r e s e ar ch   fo cu s e s   o n   ar e as   s u c h   a d at mi n i n g ,   m a ch i n l e ar n i n g ,   an d   n at u ral   l an g u a g e   p ro c e s s i n g .   H e e x t en s i v e   a c a d em i c   co n t ri b u t i o n s   i n cl u d e   o v e r   5 0   p u b l i c at i o n s   i n   v ari o u s   n at i o n al   an d   i n t e rn at i o n a l   j o u rn a l s ,   co n f e r en ce s ,   an d   p ro ceed i n g s .   Sh e   c an   b e   co n t a c t ed   at   em ai l :   m art h a k al a0 8 @ g m a i l . co m .     Evaluation Warning : The document was created with Spire.PDF for Python.