I n t e r n at ion al   Jou r n a l   of   I n f o r m at ics   an d   Com m u n icat ion   T e c h n ol ogy  ( I J - I CT )   Vo l .   1 5 ,   N o .   2 J un e   20 2 6 ,   pp.   823 ~ 838   I S S N:  2252 - 8776 DO I 10 . 11591/i ji c t . v 1 5 i 2 . pp 82 3 - 838             823       Jou r n al  h o m e page ht tp: // ij ict . iaes c or e . c om   C an   m ac h i n e s i m agi n e ? C r itic al   t h in k i n g an d  c u ltu r al   r e ason in g i n   m u lti m od a l - m u ltil in g u al   AI       M oh am m ad   Aw ad   Al Af n an 1 S it i   F at im ah   M oh d Z u k i 2 ,   S h e f M oh am m ad   Al Af n an 3   1 D e pa r tm e nt   of   L ib e r a A r ts , A m e r i c a n U ni v e r s it y   of  t h e  M id dl e  E a s t,   E ga il a ,   K uw a it   2 U ni v e r s it y   T e c hn o l o g y  M A R A , S ha h A la m, M a la y s ia   3 I nt e r na ti o na I s la mi c  U ni v e r s it y  M a la y s ia K ua la   L umpur , M a l a y s ia       Ar t ic l e   I n f o     AB S T RA CT   A r ti c le  h is tor y :   R e c e i ve d   J u l   23,   2025   R e vi s e M a r   30,   2026   A c c e pt e A pr   15,   2026       E ffec t i v e   c o mmu n i c at i o n   a c ro s s   l a n g u ag e s   an d   c u l t u re s   i s   e s s en t i al   i n   t o d a y ’s   i n t e r co n n ec t ed   w o rl d .   M u l t i mo d a l - m u l t i l i n g u al   l a n g u ag e   mo d el s   (MMML Ms ai m   t o   ad v an ce  t h i s   g o a l   b y   i n t eg rat i n g   t e x t ,   s p e ech ,   a n d   v i s u al   u n d e rs t an d i n g   a c ro s s   d i v e rs e   l i n g u i s t i c   c o n t e x t s .   T h i s   s t u d y   ev al u at e s   fo u l e a d i n g   MMML Ms - G I T ,   m PL U G ,   CL I P ,   an d   W h i s p e +   G PT - 4V - o n   c ro s s - l i n g u al   a n d   c r o s s - m o d al   t as k s ,   i n c l u d i n g   i m a g e   c ap t i o n i n g ,   v i s u a l   q u e s t i o n   an s w e r i n g ,   s p eec h - to - i m ag g en e rat i o n ,   an d   i d i o m at i t ran s l at i o n .   Pe rfo r m a n ce  w as   as s e s s ed   i n   h i g h - r e s o u r ce   ( E n g l i s h ,   A rab i c ) ,   med i u m - re s o u r ce   (Ma l a y ),   a n d   l o w - r e s o u r ce   (Maced o n i a n s e t t i n g s .   R e s u l t s   s h o w   s t ro n g   p e rf o r m an ce   i n   s t ru c t u r e d   t as k s   b u t   n o t ab l e   l i mi t at i o n s   i n   c u l t u ral   re as o n i n g ,   f i g u rat i v e   l a n g u ag e   i n t e rp re t at i o n ,   an d   s em an t i c   g ro u n d i n g   i n   l o w - r e s o u r ce   en v i ro n me n t s .   G I T   d el i v e r e d   t h m o s t   co n s i s t e n t   m u l t i l i n g u a l   re s u l t s ,   w h i l e   W h i s p e +   G PT - 4 V   e x cel l ed   i n   f l u en cy   y e t   l a ck e d   c u l t u ral   s e n s i t i v i t y .   T o   ad d r e s s   t h e s e   g ap s ,   t h e   s t u d y   p ro p o s e s   cu l t u ra l l y   i n fo r med   e v a l u at i o n   p ro t o co l s   t h at   i n t e g rat e   q u an t i t at i v e   me t ri c s   s u ch   as   BL E U ,   CI D E r,   an d   F1   w i t h   q u al i t at i v e,   co mm u n i t y - cen t e r ed   ap p ro ac h e s .   T h e s e   i n c l u d e   c r o s s - c u l t u ral   a n n o t at i o n   p an e l s ,   i n t e r - rat e r e l i ab i l i t y   v a l i d at i o n   u s i n g   Co h e n ’s   k a p p a,   an d   n o v el   c u l t u ral   f i d el i t y   me t ri c   t o   me as u r al i g n me n t   w i t h   cu l t u ra l l y   s p eci fi c   n o r m s .   T h e   f i n d i n g s   em p h as i z e   t h n eed   fo i n cl u s i v d at as e t s ,   e t h i c al   d ev e l o p men t ,   a n d   i n t e rd i s ci p l i n ar y   c o l l ab o rat i o n   t o   e n s u r MMM L Ms   s u p p o rt   e q u i t ab l an d   c u l t u ra l l y   a w ar g l o b al   c o mmu n i c at i o n .   K e y w o r d s :   C r o s s - c u l t ur a l   c o m m u ni c a t i o n   E t hi c a l   A I   L o w - r e s o u r c e   l a n gua g e s   M u l t i li ngua l   A I   M u l t i m o da l   l a n gua ge   m o de l s   Th i s   i s   a n   o p en   a c ces s   a r t i c l u n d e r   t h CC  B Y - SA   l i cen s e.     C or r e s pon din A u th or :   M o h a m m a A w a Al A f na n   De pa r t m e n t   o f   L i b e r a l   A r t s ,   Am e r i c a n   Uni ve r s i t y   o f   t h e   M i dd l e   E a s t   B l o c 6,   B ui l d i ng  1,   E ga i l a ,   K uw a i t   E m a i l M o h a mm a d. a l - a f na n@ a u m . e du. kw       1.   I NT RODU C T I ON   I n   a n   e r a   o f   g l o b a li z a t i o n   a n d i g i t a l   t r a n s f o r m a t i o n ,   c o m m u ni c a t i o n   a c r o s s   li ngu i s t i c   a n c u l t ur a l   b o un da r i e s   h a s   be c o m e   e s s e n t i a l   to   i n t e r n a t i o n a l   c o l l a b o r a t i o n ,   e c o n o m i c   de v e l o p m e n t ,   a n s o c i a l   c o h e s i o n   [ 1] .   H o we v e r ,   de s p i t e   s i g ni f i c a n t   t e c h n o l o g i c a l   a d v a n c e s ,   l i ngu i s t i c   d i ve r s i t y   a n t h e   pr o l i f e r a t i o n   o f   c o m m u ni c a t i o n   m o da l i t i e s   c o n t i n ue   to  pr e s e n t   s u b s t a n t i a l   c h a ll e n ge s   to  m ut ua l   un de r s t a n d i ng.   T r a d i t i o n a l   l a n gua ge   pr o c e s s i ng  s y s t e m s ,   whil e   e f f e c t i v e   w i t hi s pe c if i c   li ngu i s t i c   o r   m o da l   c o nf i ne s ,   o f t e n   f a ll   s h o r in  a ddr e s s i ng  t h e   c o m p l e x   de m a n d s   o f   r e a l - wo r l m u l t i li ngu a l   a n m u l t im o da l   c o m m u ni c a t i o n   [ 2] .   T hi s   ga p   un de r s c o r e s   t h e   pr e s s i n n e e f o r   i n t e gr a t e d   a ppr o a c h e s   t h a t r a n s c e n m o n o l i ngua l   a n m o n o m o da l   pa r a d i g m s .   O n e   o f   t h e   m o s t   pr o m i s i ng  de v e l o p m e n t s   i n   t hi s   r e ga r i s   t h e   e m e r ge n c e   o f   m u l t im o da l - m u l t i li ngu a l   l a n gua ge   m o de l s   ( M M M L M s ) ,   A I   s y s t e m s   de s i g n e to  i n t e r pr e a n ge n e r a t e   c o n t e n a c r o s s   m u l t i p l e   h u m a n   l a n gua ge s   a n c o m m u ni c a t i v e   m o da l i t i e s   [ 3] .   Evaluation Warning : The document was created with Spire.PDF for Python.
                                I S S N :   2252 - 8776   I n t   J   I n f   &   C o m m u n   T e c hn o l Vo l .   1 5 ,   N o.   2 J un e   20 2 6 :   823 - 838   824   M M M L M s   r e pr e s e n t   a   n o v e l   c o nv e r ge n c e   o f   t w o   p r e vi o us ly   d i s t i n c t   a r e a s   o f   a r t i f i c i a l   i n t e ll i ge n c e :   m u l t i li ngu a l i s m ,   whi c h   e n a bl e s   l a n gua ge   m o de l s   to  p r o c e s s   a n pr o duc e   m u l t i p l e   l a n gua g e s ,   a n d   m u l t i m o d a l i t y ,   w hi c h   f a c il i t a t e s   t h e   un de r s t a n d in a n ge n e r a t i o n   o f   c o n t e n t   a c r o s s   v a r i o us   da t a   t y pe s ,   i nc l u d i ng  t e x t ,   s pe e c h ,   i m a ge s ,   a n vi de o   [ 4] .   W hil e   s i g ni f i c a n t   p r o gr e s s   h a s   b e e n   m a de   i n   e a c h   a r e a   i nde pe n de n t l y ,   t h e i r   i n t e gr a t i o n   h a s   o nl y   r e c e n t l y   be c o m e   f e a s i b l e   due   t b r e a kt h r o ugh s   i n   m o de l   a r c hi t e c t ur e ,   pr e t r a i ni ng  s t r a t e gi e s ,   a n t h e   a v a il a bil i t y   o f   l a r ge ,   d i v e r s e   da t a s e t s .   T h e   r e s u l t i n m o de l s   o f f e r   un pr e c e de n t e pot e n t i a l   f o r   c r o s s - c u l t ur a l   c o m m u ni c a t i o n ,   e n a bli ng  t e x t - b a s e t r a n s l a t i o n   a n d   h o l i s t i c ,   c o n t e x t - s e n s i t i ve   i n t e r pr e t a t i o n   o f   m e a ni n i n   r e a l - wo r l d,   m u l t i m e d i a   e nvi r o nm e n t s   [ 5] .   T h e   i m po r t a n c e   o f   s uc h   c a pa bil i t i e s   i s   i n c r e a s i n g ly   e vi de n t   a c r o s s   m u l t i p l e   s e c t o r s .   I n   i n t e r n a t i o na l   d i p l o m a c y ,   f o r   e x a m p l e ,   M M M L M s   c o u l f a c il i t a te  m o r e   a c c ur a t e   a n c u l t ur a l ly   n u a n c e t r a n s l a t i o ns   dur i ng   n e go t i a t i o n s ,   r e duc i n t h e   r i s o f   m i s i n t e r pr e t a t i o n   [ 6] .   I n   g l o b a l   h e a l t h ,   t h e s e   m o de l s   c a s uppor d i s s e mi na t i n e qu i t a bl e   i nf o r m a t i o n   t h r o ugh   l o c a l i z e vi s ua l   a n a ud i o   c o n t e n t ,   pa r t i c u l a r l y   c r i t i c a i n   c r i s is   c o n t e x t s ,   s uc h   a s   pa n de mi c s   o r   n a t ur a l   d i s a s t e r s   [ 7] .   S i mi l a r ly ,   i n   e duc a t i o n ,   M M M L M s   c a n   pr o m ot e   i nc l us i ve   a n a c c e s s i b l e   l e a r ni ng  by   t r a ns l a t i n m u l t i m o d a l   i ns t r uc t i o n a l   m a t e r i a l s ,   s uc h   a s   i nf o gr a phi c s ,   vi de o   l e c t ur e s ,   a n i n t e r a c t i v e   s im u l a t i o ns ,   i n t o   m u l t i p l e   l a n gua ge s   a n f o r m a t s   t h a t   c a t e r   to   di v e r s e   c o gni t i v e   a n l i ngu i s t i c   n e e d s   [ 8] .   M M M L M s   c a n   e nh a nc e   us e r   e x pe r i e nc e   a n b u s i ne s s   a n c us t o m e r   s e r vi c e   e n ga g e m e n t   by   l o c a li z i ng  m u l t im o da l   i n t e r f a c e s   a nd  c o m m u ni c a t i o n s   i n   r e a l   t i m e   [ 9] .   T e c hn o l o g i c a ll y ,   M M M L M s   b u il o n   r e c e n t   a dv a n c e s   i n   l a r ge - s c a l e   t r a n s f o r m e r   a r c hi t e c t ur e s ,   s uc a s   GPT ,   B E R T ,   a n vi s i o n   t r a n s f o r m e r s   ( V i T s ) ,   whi c h   e n a bl e   m o de l s   t o   pr o c e s s   hi g h - d i m e ns i o n a l   i nput s   f r o m   d i ve r s e   s o ur c e s   [ 10] .   T r a i ni ng  s uc h   m o de l s   r e qu i r e s   v a s t   da t a   a n s o phi s t i c a t e s t r a t e gi e s   f o r   c r o s s - m o da l   a li g nm e n t   a n m u l t i li ngua l   to ke ni z a t i o n .   F o r   i n s t a n c e ,   a l i g ni ng  a n   i m a ge   w i t h   c a pt i o n s   i di f f e r e n t   l a n gua ge s   o r   s y n c h r o ni z i ng  s po ke n   d i a l o gue   w i t c o r r e s p o n d i n vi s u a l   s c e ne s   e n t a i l s   t h e   c r e a t i o n   o f   j o i n t   e m b e dd i ng  s pa c e s   t h a p r e s e r v e   s e m a n t i c   e qu i v a l e n c e   a c r o s s   l a n gua ge s   a n m o da l i t i e s .   M or e o v e r ,   m o de l   a r c hi t e c t ur e s   m u s t   b e   a bl e   to   di s a m b i gua t e   c o n t e x tua l   m e a ni ng,   e s pe c i a ll y   i s e t t i n gs   w h e r e   a   s i ng l e   ge s t ur e ,   wo r d ,   or   vi s ua l   c ue   m a y   c a r r y   c u l t ur e - s pe c i f i c   s i g nif i c a n c e   [ 11] .   W hil e   M M M L M s   o f f e r   pr o m i s i ng  s o l ut i o ns   to  l o n gs t a n d i ng  c o m m u ni c a t i o n   b a r r i e r s ,   t h e i r   de v e l o p m e n t   i s   n o wi t h o ut  s i g nif i c a n t   c h a l l e nge s .   F i r s t ,   t h e r e   i s   t h e   i s s ue   o f   da t a   i m ba l a n c e .   H i g h - r e s o ur c e   l a n gua ge s ,   s uc h   a s   E n g li s h ,   M a n da r i n ,   a n S pa ni s h ,   do m i na t e   a v a il a bl e   t r a i ni ng  c o r p o r a ,   whi l e   l o w - r e s o ur c e   a n e n da n ge r e l a n gua ge s   a r e   o f t e n   un de r r e pr e s e nt e d   o r   e x c l ud e e n t i r e l y .   T hi s   n o o nl y   p e r pe t ua t e s   e xi s t i ng   i ne qu i t i e s   b ut   a l s o   l im i t s   t h e   a ppl i c a bi li t y   o f   t h e s e   m o de l s   i n   d i ve r s e   g l o b a l   c o n t e x t s .   E f f o r t s   to  a dd r e s s   t hi s   i s s ue   h a ve   i n c l ude t r a n s f e r   l e a r ni ng,   s y n t h e t i c   da t a   ge n e r a t i o n ,   a n c o m m u ni t y - b a s e da t a   c o l l e c t i o n ,   y e t h e s e   a ppr o a c h e s   r e m a i n   r e s o ur c e - i n t e n s i ve   a n r e qu i r e   c a r e f u l   e t hi c a l   o v e r s i g h t .   S e c o n d,   t h e   c o m put a t i o na l   a n e nvi r o nm e n t a l   c o s t s   of   t r a i ni ng  M M M L M s   a r e   s ub s t a n t i a l   [ 12] .   F us i ng   m u l t i p l e   m o da li t i e s   a n l a n gu a ge s   s i g nif i c a n t l y   i nc r e a s e s   t h e   m o de l s   s i z e   a n c o m p l e xi t y ,   de m a n d i ng  i mm e ns e   pr o c e s s i ng  po we r   a n e n e r gy   c o ns u m pt i o n .   T hi s   r a i s e s   i m po r t a n que s t i o n s   r e ga r d i n g   t h e   s us t a i n a bil i t y   a n s c a l a bil i t y   o f   t h e s e   s y s t e m s ,   pa r t i c u l a r l y   w he n   de p l o y e i r e g i o ns   w i t h   li mi t e i n f r a s t r uc t ur e .   R e s e a r c h   i n t o   m o r e   e f f i c i e n t   a r c hi t e c t ur e s ,   s uc h   a s   s pa r s e   t r a n s f o r m e r s   a n m o de l   d is t i ll a t i o t e c h ni que s ,   i s   o n go i n a n r e pr e s e n t s   a   c r i t i c a l   d i r e c t i o n   f o r   f ut ur e   w o r k.   T hi r d,   a n pe r h a ps   m o s t   c r i t i c a ll y ,   e t hi c a l   a n d   s o c i o c u l t ur a l   im p li c a t i o n s   m u s t   b e   c o n s i de r e d.   M M M L M s ,   l i ke   a l l   m a c hi ne   l e a r ni ng  s y s t e m s ,   r e f l e c t   t h e   bi a s e s   a n l im i t a t i o n s   o f   t h e i r   t r a i ni ng  da t a   [ 13] .   W h e n   t h e s e   bi a s e s   pe r t a i n   to  l a n gu a ge ,   c u l t ur e ,   ge n de r ,   o r   e t h ni c i t y ,   t h e   c o n s e que n c e s   c a n   b e   e s pe c i a ll h a r m f u l .   F o r   e x a m p l e ,   a   m o de l   t r a i n e o n   bi a s e i m a ge - t e x t   pa i r s   m i g h t   pe r pe t ua t e   s t e r e ot y pe s   i vi s ua s to r y t e l li ng.   A t   t h e   s a m e   t i m e ,   i n a c c ur a c i e s   i n   t he   tr a n s l a t i o n   o f   h e a l t h - r e l a t e c o n t e n t   c o ul l e a d   to  r e a l - wo r l h a r m .   T h e r e f o r e ,   t h e   de s i g n   a n de p l o y m e n t   o f   M M M L M s   m u s t   b e   gu i de by   a l go r i t hmi c   f a i r ne s s ,   li ngu i s t i c   e qu i t y ,   a n c u l t ur a l   s e ns i t i vi t y   pr i n c i p l e s .   I n t e r di s c i p li na r y   c o l l a b o r a t i o n ,   wi t h   li ngu i s t s ,   a n t h r o po l o g i s t s ,   e t hi c i s t s ,   a n c o m m u ni t y   s t a ke ho l de r s ,   i s   e s s e n t i a l   t e n s ur e   t h a t h e s e   s y s t e m s   a r e   b ot h   t e c h n o l o g i c a ll y   r o b us t   a n s o c i a l ly   r e s po ns i bl e .   M M M L M s   a l s o   r a i s e   c o m p l e x   que s t i o n s   r e ga r d i n t h e   n a t ur e   o f   m e a ni ng  i t s e l f   [ 14 ] ,   [ 15 ] .   W hil e   t r a di t i o na l   t r a n s l a t i o n   f o c us e s   o n   l i ngu i s t i c   e qu i v a l e n c e ,   M M M L M s   c o nv e y   m u l t im o da l   m e a ni ng  a c r o s s   c u l t ur a l   a n l i ngu i s t i c   b o un d a r i e s .   T hi s   i nv o l ve s   l e xi c a l   t r a ns l a t i o n   a n d   t h e   a c c ur a t e   i n t e r pr e t a t i o o f   n o n - v e r b a l   c ue s   s uc h   a s   f a c i a l   e x pr e s s i o n s ,   b o d y   l a n gu a ge ,   to n e   o f   v o i c e ,   a n c u l t ur a l   s ym b o l i s m .   T h e s e   e l e m e n t s   a r e   o f t e n   d e e p l y   e m be dde i n   l o c a l   c o n t e x t s   a n m a y   n o h a v e   d i r e c t   e qu i v a l e n t s   a c r o s s   l a n g ua ge s   o r   c u l t ur e s .   T h e r e f o r e ,   M M M L M s   m us t   b e   e qu i ppe d   w i t h   pr a g m a t i c   a n c u l t ur a l   c o m pe t e nc e ,   whi c h   r e m a i ns   a   f o r m i da bl e   c h a ll e n ge   i n   c o m put a t i o n a l   m o de li ng.   De s p i t e   t h e s e   li mi t a t i o n s ,   e a r ly   im p l e m e n t a t i o ns   o f   M M M L M s   h a ve   de m o n s t r a t e e n c o ur a gi n g   r e s u l t s   [ 16] .   M ul t i li ngua l ,   m u l t i m o d a l ,   a n m u l t i t a s pr e t r a i ni ng   ( M 3P )   a n ge ne r a t i v e   im a g e - to - t e x t r a n s f o r m e r   ( GI T )   h a ve   s h o wn   t h e   f e a s i b il i t y   o f   i nt e gr a t i n m u l t il i ngua l   a n m u l t im o da l   c a pa bil i t i e s   w i t hi n   a   s i n g l e   f r a m e wo r k.   C o m m e r c i a l   m o de l s   l i k e   GPT - 4V,   Ge m i ni ,   a n c o n t r a s t i v e   l a n gua ge - im a ge   pr e t r a i ni ng   ( C L I P )   h a ve   b e gu n   t i n c o r po r a t e   i m a g e ,   t e x t,   a n s pe e c h   un d e r s t a n d i ng  a c r o s s   m u l t i p l e   l a n gua ge s ,     Evaluation Warning : The document was created with Spire.PDF for Python.
I n t   J   I n f   &   C o m m u n   T e c hn o l     I S S N:   2252 - 8776       C an  mac hines   imagine?  C r it ical  thi nk ing  and  c ult ur al  r e as oning   …  ( M ohamm ad  A w ad  A lA f nan )   825   s e tt i n n e b e n c hm a r k s   f o r   pe r f o r m a nc e .   Ho we v e r ,   c o m pr e h e ns i ve   e v a l ua t i o n s ,   pa r t i c u l a r ly   i r e a l - wo r l d,   l o w - r e s o ur c e ,   o r   hi g h - s t a ke s   s e t t i n gs ,   r e m a i n   li mi t e a n r e pr e s e n t   a   f e r t i l e   a r e a   f o r   f ur t h e r   i nv e s t i ga t i o n .   T h e   i n t e gr a t i o n   o f   m u l t i m o d a l   a n m u l t il i ngua l   pr o c e s s i n t h us   s i g n a l s   a   t r a n s f o r m a t i ve   m o m e n t   i t h e   e v o l ut i o n   o f   l a n gu a ge   t e c hn o l o g i e s   [ 17] .   M M M L M s   n o t   o nl y   pr o m i s e   m o r e   f l u i a n i nc l us i v e   c o m m u ni c a t i o n   a c r o s s   b o r de r s   b ut   a l s o   c h a ll e n ge   e xi s t i n pa r a d i g m s   i a r t i f i c i a l   i n t e l li ge nc e ,   l i ngu is t i c s ,   a n d   g l o b a l   de v e l o p m e n t .   A s   s u c h ,   t h e y   i nvi t e   a   r e - e xa mi na t i o n   o f   w h a t   i t   m e a n s   t o   un de r s t a n d   a n t r a n s l a t e   i a   m u l t i li ngua l ,   m u l t im e d i a   wo r l d.   De ve l o p i n g   t h e s e   m o de l s   i s   n o t   m e r e ly   a   t e c hni c a l   c h a ll e n g e ,   b ut   a   c u l t ur a l   a n e t hi c a l   pr o j e c t   t h a m u s t   c e n t e r   o n   h u m a n   v a l ue s ,   l i ngu i s t i c   d i v e r s i t y ,   a n e qu i t a bl e   a c c e s s   a t   e v e r y   s t a ge   [ 18] .   I n   l i g h t   o f   t h e s e   c o n s i de r a t i o n s ,   t hi s   a r t i c l e   a i m s   to   c o m pr e he n s i ve ly   e x p l o r e   M M M L M s   a s   a   f o u n da t i o n a l   t e c hn o l o g y   f o r   gl o b a l   c o m m u ni c a t i o n   [ 19] .   I b e g i ns   by   o ut l i ni ng  t h e   t h e o r e t i c a l   a nd   a r c hi t e c t u r a l   u n de r p i nni ng s   o f   m u l t im o da l   a n m u l t i li ngu a l   s y s t e m s ,   t h e n   s ur ve y s   c ur r e n t   m o de l s   a n d   da t a s e t s .   S ub s e que n t l y ,   i t   e x a m i ne s   ke y   c h a ll e nge s ,   r a n g i n f r o m   c o m put a t i o n a l   s c a l a bil i t y   t o   c u l t ur a l   r e pr e s e n t a t i o n ,   a n pr o p o s e s   a   f r a m e wo r f o r   e v a l ua t i n t h e   pe r f o r m a nc e   a n s o c i a l   im pa c t   o f   M M M L M s .   U l t i m a t e l y ,   i t   pr o vi de s   r e c o m m e n da t i o ns   f o r   i n t e r d i s c i p li na r y   r e s e a r c h   a n po l i c y   de v e l o p m e n t   to  e n s ur e   t h a t h e s e   t e c hn o l o g i e s   s e r v e   t h e   b r o a de s t   p o s s i bl e   r a n g e   o f   us e r s   e qu i t a bly   a n r e s po n s i b ly .       2.   L I T E RA T UR E   RE VI E W   T h e   n a t ur a l   l a n gua g e   pr o c e s s i n ( NL P )   f i e l h a s   un de r go n e   a   s i g nif i c a n t   t r a n s f o r m a t i o n   o v e r   t h e   pa s t   de c a de ,   pr i m a r il y   dr i ve n   by   t h e   de v e l o p m e n t   o f   l a r ge - s c a l e ,   pr e - tr a i ne m o de l s   [ 20 ] ,   [ 21] .   T h e s e   m o de l s ,   s uc h   a s   B E R T   [ 22] ,   GPT - [ 23] ,   a n GPT - [ 24] ,   h a v e   de m o n s t r a t e d   r e m a r ka bl e   pe r f o r m a n c e   a c r o s s   a   w i de   r a n ge   o f   l a n gua g e   t a s ks .   I ni t i a ll y   de s i g n e f o r   m o n o l i ngua l   t a s ks   i n   E n g li s h ,   t h e y   h a v e   s i nc e   e v o l v e i n t o   m u l t i li ngu a l   m o de l s ,   c a pa bl e   o f   pr o c e s s i ng  a n g e n e r a t i n t e x t   i n   o v e r   100  l a n gua g e s .   T h e   de ve l o p m e n t   o f   m u l t i li ngu a l   m o de l s ,   s uc h   a s   m B E R T   ( m u l t il i ngu a l   B E R T )   a n XL M - R   [ 25] ,   h a s   b e e n   p i v o t a l   i n   e x pa n d i ng   t h e   i n c l us i v i t y   o f   l a n gua g e   t e c hn o l o g i e s .   Ho we ve r ,   t h e s e   m o de l s   pr i m a r il y   f o c us   o n   t e x t - b a s e i n put   a n d   o u t pu t,   a n d o   n ot  n a t i ve l y   h a n d l e   o t h e r   m o de s   o f   c o m m u ni c a t i o n   s uc h   a s   im a ge s ,   s pe e c h ,   o r   vi de o .   P a r a l l e l   t a dv a nc e m e n t s   i n   m u l t il i ngua l   m o de li n g,   m u l t i m o da l   l e a r ni ng  h a s   ga i ne s i g nif i c a n t   m o m e n t u m .   M o de l s   s uc h   a s   C L I P   [ 26]   a n D A L L · E   [ 27]   h a v e   de m o n s t r a t e t h e   po we r   o f   c o m bi nin vi s ua a n t e x t ua l   r e pr e s e n t a t i o n s   i n   a   u ni f i e e m be dd in s pa c e .   T h e s e   m o de l s   l e v e r a ge   c o n t r a s t i ve   l e a r ni ng  o r   a uto r e gr e s s i v e   ge n e r a t i o n   to   a s s o c i a t e   i m a g e   f e a t ur e s   w i t h   n a t ur a l   l a n gua ge   de s c r i pt i o n s ,   e n a bli ng   a pp l i c a t i o ns   i n   i m a ge   c a pt i o ni ng,   vi s u a l   que s t i o n   a ns we r i n g   ( VQ A ) ,   a n z e r o - s h ot   c l a s s i f i c a t i o n .   S i mi l a r l y ,   s pe e c h - t e x t   i n t e gr a t i o n   h a s   a d v a nc e t h r o ugh   m o de l s   li ke   W hi s p e r   [ 28] ,   whi c h   pr o vi de   hi g h - qua li t y   t r a n s c r i pt i o n   a n t r a n s l a t i o n   c a pa bi li t i e s .   De s p i t e   th e s e   s uc c e s s e s ,   e a r l y   m u l t i m o d a l   m o de l s   o f t e n   o p e r a t e i m o n o l i ngua l   e nvi r o nm e n t s   a n c o u l n o t   ge n e r a l i z e   a c r o s s   l a n gua g e s .   T h e   c o nv e r ge n c e   o f   t h e s e   t w o   s t r a n ds ,   m u l t i m o d a l   a n m u l t i li ngua l   m o de li ng,   h a s   o nly   r e c e n t ly   b e gu n   t o   m a t e r i a l i z e   i n   M M M L M s .   One   o f   t he   e a r l i e s t   a tt e m pt s   to   e x p l o r e   t h i s   i n t e r s e c t i o n   wa s   t h e   Uni c o de r - VL   [ 29]   a n M 3P   [ 30] ,   whi c h   c om b i ne m u l t i li ngu a l   t e x r e pr e s e n t a t i o n s   w i t vi s u a l   un de r s t a n d i ng.   T h e s e   m o de l s   we r e   p r e - t r a i n e o n   im a ge - t e x t   pa i r s   f r o m   m u l t i p l e   l a n gua ge s ,   e n a bl i n c r o s s - li ngua l   im a ge   r e t r i e va l   a n c a pt i o ni ng  a c r o s s   v a r i o us   l a n gua ge s .   M 3P   i n   pa r t i c u l a r   de m o n s t r a t e t h a t   pr e tr a i ni ng  a c r o s s   b ot h   m o da l i t i e s   a n l a n gua g e s   l e a ds   to  pe r f o r m a n c e   ga i ns   i n   m u l t il i ngua l   vi s i o n - l a n gua g e   t a s ks .   H o we v e r ,   s uc h   m o de l s   we r e   l im i t e by   t he   a v a il a bil i t y   o f   pa r a l l e l   m u l t im o da l   da t a ,   pa r t i c u l a r ly   f o r   l o w - r e s o ur c e   l a n gua ge s .   F ur t h e r   a dva n c e m e n t s   we r e   m a r ke by   de ve l o p i n g   m o de l s   s uc h   a s   m P L UG   [ 31]   a n GI T   [ 32] ,   whi c h   i n t e gr a t e i m a ge   a n t e x t   m o da l i t i e s ,   f o c us i n o n   m u l t il i ngua l   da t a s e t s .   T h e s e   m o de l s   i nt r o duc e d   t r a n s f o r m e r - b a s e a r c hi t e c t ur e s   c a pa b l e   o f   s i m u l t a n e o us ly   ha n d l i ng  c o m p l e i n t e r a c t i o ns   b e t we e n   mo da l i t i e s   a n l a n gua ge s   [ 33] .   GI T ,   f o r   e x a m p l e ,   l e v e r a g e a   ge n e r a t i ve   f r a m e wo r t h a t   e n a bl e t a s ks   s uc h   a s   m u l t i li ngu a l   i m a g e   c a pt i o ni ng  a n c r o s s - l i ngua l   vis ua l   s t o r y t e l l i ng.   Us i n g   s h a r e to ke n   s pa c e s   a n l a n gua ge - a gn o s t i c   r e pr e s e n t a t i o n s   im pr o v e d   m o de l   ge n e r a li z a t i o n   a c r o s s   c u l t ur a l ly   d i ve r s e   da t a s e t s .   De s p i t e   t hi s ,   t h e   pe r f o r m a n c e   o f   M M M L M s   r e m a i ns   s ke we t o w a r ds   hi g h - r e s o ur c e   l a n gua g e s   a n w i de ly   a v a il a bl e   vi s ua c o n t e n t ,   p o i n t i n to   o n go i n i s s ue s   o f   r e pr e s e n t a t i on a l   i ne qua li t y   [ 34] .   R e c e n t   c o n tr i b ut i o n s   h a ve   a l s o   e m p h a s i z e i nc o r po r a t i n s pe e c h   a n vi de o   i n t o   t h e   m u l t im o da l - m u l t i li ngu a l   p i pe li ne .   T h e   wo r o f   C h e n   e al.   [ 35] ,   whi c h   ut i li z e s   V i de o L L M   a n i n t e gr a t e s   W hi s p e r   f o r   m u l t i li ngu a l   a ut o m a t i c   s pe e c h   r e c o gni t i o n ,   r e pr e s e n t s   a   s i g ni f i c a n t   s t e to wa r d   i n c l u s i ve   m u l t i m e d i a   un de r s t a n d i ng.   T h e s e   s y s t e m s   c a n   pr o c e s s   s po ke n   i nput   i n   m u l t i p l e   l a n gua ge s ,   a l i g n   i t   w i t h   vi d e o   f r a m e s ,   a n d   ge n e r a t e   c o h e r e n t   s u m m a r i e s   o r   r e s p o n s e s   i n   t h e   tar ge t   l a n gua g e .   S uc h   c a pa bil i t i e s   a r e   vi t a l   f o r   a ppli c a t i o ns   i e duc a t i o n ,   a c c e s s i b i li t y ,   a n m e d i a   l o c a li z a t i o n.   H o we v e r ,   t h e   t r a i ni ng  o f   s u c h   m o de l s   i s   c o n s t r a i ne b y   t h e   s c a r c i t y   o f   a l i g n e m u l t i li ngua l   a ud i o vi s ua da t a s e t s   a n t h e   c o m p l e xi t y   o f   i n t e gr a t i n t e m po r a l ly   de pe n d e n t   da t a ,   s uc h   a s   s pe e c h   a n vi de o ,   wi t h   s t a t i c   m o da l i t i e s   l i ke   t e x t   o r   i m a g e s .   Evaluation Warning : The document was created with Spire.PDF for Python.
                                I S S N :   2252 - 8776   I n t   J   I n f   &   C o m m u n   T e c hn o l Vo l .   1 5 ,   N o.   2 J un e   20 2 6 :   823 - 838   826   A   vi t a l   a s pe c t   e x p l o r e i n   t h e   l i t e r a t ur e   i s   t h e   n a t ur e   o f   c r o s s - m o da l   a n c r o s s - l i ngu a l   a l i g nm e n t .   S t udi e s   s uc h   a s   t h o s e   by   Al A f na n   [ 36]   a n Ya n e al.   [ 37]   h a ve   hi g hl i g h t e t h e   di f f i c u l t y   o f   c r e a t i n b o t h   l a n gua ge - a g n o s t i c   a n m o da l i t y - a g n o s t i c   e m b e dd i n g s .   T h e s e   e m be dd i ngs   m us t   pr e s e r v e   s e m a n t i c   r e l a t i o n s hi p s   a c r o s s   i n put   t y pe s ,   s uc h   a s   vi s ua l   c ue s   a n s po ke n   wo r ds ,   whi l e   r e m a i ni ng  c o h e r e n t   a c r o s s   l a n gua ge s   w i t h   d i ve r s e   gr a mm a t i c a l   a n s y n t a c t i c   s t r uc t ur e s .   C o n tr a s t i v e   l e a r ni ng,   s e lf - s u pe r vi s e d   pr e tr a i ni ng,   a n m a s ke m o de li ng  t e c hni que s   h a ve   b e e n   w i de ly   e m p l o y e t a ddr e s s   t h e s e   c h a l l e n ge s   [ 38] .   No n e t h e l e s s ,   a l i g ni ng  s e m a n t i c s   a c r o s s   m o da l i t i e s   a n l a n gu a ge s   i n   a   c u l t ur a l ly   s e n s i t i ve   m a nn e r   r e m a i ns   a   c o r e   r e s e a r c h   b ott l e ne c k.   B e y o n t e c hni c a l   c o n s i de r a t i o n s ,   a   gr o wi n b o d y   o f   s c h o l a r s hi h a s   e x a mi ne t h e   s o c i a l ,   e t hi c a l ,   a n c u l t ur a l   im p l i c a t i o n s   o f   M M M L M s .   B e n d e r   e al.   [ 39]   h a v e   a r gue f o r   gr e a t e r   a tt e n t i o n   t o   t h e   s o c i o - li ngu i s t i c   c o n t e x t   o f   m o de l   t r a i ni ng  a n de p l o ymen t ,   c a u t i o ni ng  a ga i ns t   l a n gu a ge   t e c h n o l o g i e s   c o l o ni a l   t e n de n c i e s   t h a t   pr i o r i t i z e   do m i na n t   l a n gua g e s   a n W e s t e r n   c u l t ur a l   f r a m e wo r ks .   R e s e a r c h   by   J o s hi   e al.   [ 40]   o n   l o w - r e s o u r c e   l a n gua ge s   r e i nf o r c e s   t hi s   c o n c e r n ,   po i n t i n o u t   t h a t   t h e   v a s t   m a j o r i t y   o f   e xi s t in NL P   s y s t e m s   a r e   o pt i m i z e f o r   o nl y   a   h a n d f u l   o f   m a j o r   l a n gu a ge s ,   w i t h o ut   i n t e n t i o n a l   e f f o r t s   to  i n c l ude   m a r g i na li z e l a n gua ge s   a n c o m m u ni c a t i o n   s t y les ,   s uc h   a s   s i g n   l a n gua ge s   o r   i n d i ge n o us   o r a l   t r a d i t i o n s .   M M M L M s   r i s e x a c e r b a t i n g l o b a l   d i g i t a l   d i v i de s .   T h e   l i t e r a t ur e   r a i s e s   e s s e n t i a l   que s t i o ns   a b o u t   c ul t ur a l   r e pr e s e n t a t i o n   a n t h e   t r a n s l a t i o n   o f   m e a ni ng.   C o m m u ni c a t i v e   e l e m e n t s   s uc h   a s   i d i o m s ,   ge s t ur e s ,   vi s u a l   s ym b o li s m ,   a n e m o t i o n a l   t o n e   a r e   o f t e n   de e p l e m b e dde i n   a r t i s t i c   c o n t e x t s .   P a vl i c [ 41] ,   e v e n   s t a t e - of - t h e - a r m o de l s   s t r uggl e   to  t r a n s l a t e   o r   ge n e r a t e   c o n t e n t   r e qui r i ng  c u l t ur a l   i nf e r e nc e   a c c ur a t e l y .   T hi s   i s   pa r t i c u l a r ly   pr o bl e m a t i c   i n   m u l t im o da l   c o n t e x t s ,   wh e r e   a   s i ng l e   e m o ji ,   ge s t ur e ,   o r   vi s ua l   r e f e r e n c e   m a y   c a r r y   v a s t l y   d i f f e r e n t   m e a ni ngs   de pe n d i n o n   t h e   a ud i e n c e .   M M M L M s   m us t   g o   b e y o n l i t e r a l   t r a n s l a t i o n   a n de v e l o pr a g m a t i c   c o m pe t e n c e ,   a   c h a ll e n ge   t h a t   de m a n d s   i n t e r d i s c i p li na r y   c o l l a b o r a t i o n   w i t h   f i e l ds   s uc h   a s   a n t h r o po l o gy ,   s e m i o t i c s ,   a n c o gni t i ve   s c ien c e .   E v a l ua t i o n   m e t r i c s   f o r   M M M L M s   a r e   a n o t h e r   a r e a   r e c e i vi ng  i nc r e a s e s c h o l a r ly   a t t e n t i o n .   T r a di t i o n a l   N L P   b e n c hm a r ks   s uc h   a s   B L E o r   R OU GE   s c o r e s   a r e   i ns u f f i c i e n t   f o r   c a pt u r i n pe r f o r m a nc e   a c r o s s   m u l t i p l e   m o da li t i e s   a n l a n gua g e s .   Ne m u l t i m o da l   e v a l ua t i o n   f r a m e wo r ks ,   s uc h   a s   VQ A - X   [ 42]   a n M u l t i 30 K   [ 43] ,   h a v e   b e e n   pr o p o s e to   a s s e s s   c r o s s - l i n gu a l   a n vi s ua l   u n de r s t a n d i ng.   Ho we v e r ,   t h e s e   da t a s e t s   o f t e n   h a ve   l im i t e l i ngu i s t i c   d i ve r s i t y   a n a r e   h e a vil y   s ke we to wa r W e s t e r n   c u l t u r a l   r e f e r e nc e s .   C a l l s   f o r   m o r e   i n c l us i ve   a n c u l t ur a l ly   d i ve r s e   b e n c hm a r ks   a r e   gr o wi n g,   w i t h   r e s e a r c he r s   e m p h a s i z i ng  t h e   i mpo r t a n c e   o f   us e r - c e n t e r e e v a l ua t i o ns   t h a t   r e f l e c t   r e a l - wo r l d   us e   c a s e s   a n m u l t il i ngua l   po pu l a t i o ns   [ 44] .   T h e   r o l e   o f   c o m m u ni t y - dr i v e n   da t a   c o l l e c t i o n   a n d   a nn o t a t i o n   i s   e m e r g i ng  a s   a   b e s t   pr a c t i c e   i t hi s   c o n t e x t .   I ni t i a t i v e s   s uc h   a s   m a s a k ha n e ,   c o m m o n   v o i c e ,   a n da t a   f o r   i n d i ge n o us   l a n gua ge s   h a v e   de m o ns t r a t e d   t h a i nv o l v i ng  l o c a l   s pe a k e r s   a n c o m m u ni t y   e x p e r t s   i de v e l o p i ng   m u l t i li ngua l   da t a s e t s   y i e l d s   m o r e   a c c u r a t e   a n e t hi c a ll y   s o un o u t c o m e s .   S uc h   a ppr o a c h e s   a r e   e s pe c i a ll y   c r i t i c a l   i n   de v e l o p i ng   M M M L M s ,   wh e r e   t h e   s e m a n t i c   a l i g nm e n t   o f   m o da l i t i e s   o f t e n   de pe n d s   o n   c u l t ur a l ly   c o n t e x t ua l i z e a nn o t a t i o n .   U l t i m a t e l y ,   r e s e a r c h   o n   t h e   s c a l a b il i t y   a n de p l o ym e n t   o f   M M M L M s   i n   l o w - r e s o ur c e   e n vi r o nm e n t s   r e m a i ns   i n   i t s   i nf a nc y   [ 45 ] ,   [ 46] .   W hil e   m o s t   m o de l s   a r e   t r a i n e a n t e s t e i n   hi g h - pe r f o r m a n c e   c o m put i n g   e nvi r o nm e n t s ,   t h e i r   a pp l i c a t i o n   i n   r e a l - wo r l d,   ba n dw i dt h - c o n s t r a i n e d,   a n l o w - l i t e r a c y   c o n t e x t s   r e m a i ns   l a r ge ly   u n e x p l o r e d.   L i g h t we i g h t   m o de l s ,   e dge   c o m put i n g,   a n l a n gua ge - s pe c if i c   f i ne - t uni n a r e   b e i ng   i nve s t i g a t e a s   p ot e n t i a l   s o l ut i o n s   [ 47] ;   h o we ve r ,   s i g ni f i c a n t   wor k   r e m a i ns   t e n s ur e   t h a M M M L M s   c a n   o pe r a t e   r e l i a bly   a n e qu i t a bly   o ut s i d e   l a b o r a tor y   c o n d i t i o n s .   As   s uc h ,   t h e   e xi s t i n li t e r a t ur e   pr o vi de s   a   r o b us t   f o un da t i o n   f o r   de ve l o p i n g   M M M L M s ,   w i t s i g nif i c a n t   s tr i de s   m a de   i n   a r c hi t e c t ur e ,   t r a i ni ng  s t r a t e gi e s ,   a n i ni t i a l   a pp li c a t i o n s .   No n e t h e l e s s ,   p e r s i s t e n t   c h a ll e n g e s   r e l a t e   to  da t a   di v e r s i t y ,   c u l t ur a l   r e pr e s e n t a t i o n ,   e t hi c a l   de p l o ym e n t ,   a n e v a l ua t i o n .   B r i dg in t h e s e   ga ps   r e qu i r e s   s us t a i n e i n t e r d i s c i p li na r y   r e s e a r c h ,   i nc l u s i ve   da t a   p r a c t i c e s ,   a n po l i c y   f r a m e wo r ks   pr i o r i t i z i ng  l i ngu i s t i c   j u s t i c e   a n d i g i t a l   e qu i t y .   As   t h e   f i e l pr o gr e s s e s ,   M M M L M s   m u s t   e v o l ve   n o t   o nl y   i n   r e s po n s e   to   t e c h n o l o g i c a l   i nn o v a t i o ns   b ut   a l s o   a s   s o c i o t e c h ni c a l   s y s t e m s   gr o un de i n   t h e   p l ur a l   r e a l i t i e s   o f   g l o b a l   c o m m u ni c a t i o n .       3.   M E T HO D   T hi s   s t ud y   a do pt s   a   m i xe d - m e t h o ds   r e s e a r c h   de s i g n   t o   e x a m i ne   t h e   c a pa bil i t i e s ,   l im i t a t i o ns ,   a n d   pot e n t i a l   o f   M M M L M s   i n   f a c il i t a t i n g l o b a l   c o mm u ni c a t i o n .   T h e   m e t h o do l o g y   c o m pr i s e s   t h r e e   pr i m a r y   c o m po n e n t s m o de l   s e l e c t i o n   a n b e n c hm a r k i ng da t a s e pr e pa r a t i o n   a n e va l ua t i o n   pr oto c o l s qu a l i t a t i v e   c o n t e n t   a n a l y s i s ,   a n c u l t ur a l   c o n t e x t ua l i z a t i o n .   T hi s   c o m pr e h e ns i ve   a ppr o a c h   e n a bl e s   t e c hni c a l   a s s e s s m e n t   a n s o c i o l i ngu i s t i c   c r i t i que ,   e ns ur i n t h a t   t h e   s tud y   c a pt ur e s   pe r f o r m a n c e   m e t r i c s   a n i n t e r pr e t i v e   de pt a c r o s s   di ve r s e   l i ngu i s t i c   a n c u l t ur a l   c o n t e x t s .       Evaluation Warning : The document was created with Spire.PDF for Python.
I n t   J   I n f   &   C o m m u n   T e c hn o l     I S S N:   2252 - 8776       C an  mac hines   imagine?  C r it ical  thi nk ing  and  c ult ur al  r e as oning   …  ( M ohamm ad  A w ad  A lA f nan )   827   3. 1.     M od e l   s e l e c t ion   an d   b e n c h m ar k in g   T h e   f i r s t   ph a s e   o f   t hi s   s t ud y   i nv o l v e s e l e c t i n g   r e p r e s e n t a t i ve   M M M L M s   t h a t   e x e m p li f y   t he   c ur r e n t   s t a t e   o f   t h e   a r t   i n   m u l t im o da l   a n m u l t il i ngu a l   c a p a bi li t ies .   T h e   m o de l s   s e l e c t e f o r   e v a l u a t i o n   i nc l ude :     C L I P :   pr i m a r il y   f o r   vi s i o n - l a n gua ge   a li g nm e n t .     GI T a   ge n e r a t i ve   m u l t im o da l   m o de l   w i t h   m u l t i li n gua l   c a pa bil i t i e s .     m P L UG a   m u l t il i ngua l ,   m u l t i m o d a l   t r a n s f o r m e r   m o de l   t ha t   i n t e gr a t e s   i m a ge ,   t e x t,   a n l i mi t e s pe e c h .     W hi s pe r   +   GPT - 4V   pi pe li ne a   c o m bi ne s pe e c h - to - t e x t   a n vi s ua l - l a n gu a ge   m o de l   c h a i e n a bli ng     e n d - to - e n m u l t im o da l - m u l t il i ngua l   pr o c e s s i ng.   T h e s e   m o de l s   we r e   s e l e c t e b a s e o n   c r i t e r i a   s uc h   a s   a r c hi t e c t ur a l   d i ve r s i t y ,   m u l t il i ngua l   c a pa bi li t i e s s uppo r f o r   m u l t i p l e   m o da l i t i e s   ( t e x t,   i m a ge ,   a n d/o r   s pe e c h ) a n d   a c c e s s i bil i t y   f o r   e va l ua t i o n     ( i . e . ,   o pe n - s o ur c e   or   r e s e a r c h - us e   a v a il a bil i t y ) .   C L I P   a n W hi s pe r   +   GPT - 4V  we r e   i n c l ude i n   t h e   s t ud y   de s p i t e   l a c k i ng  f u ll   m u l t im o da l - m u l t i li ngua l   ( M M M L M )   i n t e gr a t i o n   b e c a u s e   t h e y   r e pr e s e n t   c r uc i a l   pa r t i a l   a r c hi t e c t ur e s   t h a t   a dv a n c e   t wo  c o m p l e m e n t a r y   a xe s   o f   m u l t i m o da l   A I - vi s i o n - l a n gua ge   a n s pe e c h - l a n gua g e   a l i g nm e n t .   C L I P   de m o n s t r a t e s   e x c e pt i o n a l   i m a ge - t e x t   c o n t r a s t i v e   l e a r ni ng,   e s t a bli s hi ng  a   s h a r e e mb e dd i ng   s pa c e   whe r e   vi s ua l   a n l i ngu i s t i c   s e m a n t i c s   c o r r e l a t e ,   m a k i ng  i t   a   f o un da t i o n a l   m o de l   f o r   vi s ua l   gr oun d i ng.   W hi s pe r   +   GPT - 4V ,   i n   c o n t r a s t,   f o r m s   a   s pe e c h - t e x t - vi s i o n   p i pe li ne   t h r o ugh   m o dul a r   c o upl i ng:  W hi s pe r   c o n v e r t s   m u l t il i ngu a l   s pe e c h   i n t o   t e x t ,   whi l e   GP T - 4V  i n t e r pr e t s   t h a t   t e x t   a l o n g s i d e   vi s ua l   i n put ,   yi e l d i ng  n e a r - e n d - to - e n m u l t i m o d a l   r e a s o ni ng.   Al t h o ugh  n e i t h e r   m o de l   n a t i v e ly   pe r f o r m s   j o i n t   m u l t i li ng ua l   a n d   m u l t i m o d a l   t r a i ni ng  ( a s   GI T   o r   m P L U do ) ,   t h e i r   i nc l u s i o n   hi g hl i g h t s   t h e   f i e l d s   t r a n s i t i o na l   p ha s e   f r o m   unim o da l   s p e c i a li z a t i o n   t o   i n t e gr a t e M M M L M s .   A r c hi t e c t ur a l ly ,   GI T ,   a n m P L UG   e m p l o y   u nif i e d   t r a n s f o r m e r   b a c k b o n e s   t r a i n e j o i n t l y   o n   c r o s s - l in gua l   i m a ge - t e x t   pa i r s ,   e n a bli ng  s h a r e to ke n   s pa c e s   a n d   c r o s s - m o da l   a t t e n t i o n;   C L I P   a n W hi s pe r   +   GPT - 4V,   by   c o n t r a s t,   r e l y   o n   m o du l a r   a l i g nm e n t - s e pa r a t e   e n c o de r s   b r i dge t h r o ugh   e m b e dd i ng s   o r   c h a i ne i nf e r e nc e .   T h us ,   t h e i r   s e l e c t i o n   u n de r s c o r e s   t h e   m e t h o do l o g i c a l   d i ve r s i t y   i n   t h e   e v o l ut i o n   t o wa r c o m p l e t e   M M M L M   s y s t e m s   a n i ll u s t r a t e s   h o m o du l a r   m o de l s   c o n t r i b ut e   e s s e n t i a l   b u il d i n bl o c k s   f o r   f utur e   i n t e gr a t e d,   c ul t ur a l ly   a wa r e   a r c hi t e c t ur e s .   E v a l ua t i n pr o pr i e t a r y   m o de l s   s uc h   a s   GPT - 4V  t h r o ugh   A P I   a c c e s s   pr e s e n t s   s i g ni f i c a n t   m e t h o do l o g i c a l   a n e t hi c a l   li mi t a t i o n s .   F i r s t ,   A P I - b a s e e v a l ua t i o n   l im i t s   t r a n s pa r e n c y ,   a s   r e s e a r c h e r s   c a nn o i ns p e c t   t h e   m o de l   a r c h i t e c t ur e ,   t h e   c o m po s i t i o n   o f   t h e   t r a i ni ng  da t a ,   o r   t h e   f i ne - t uni ng  s t r a t e gi e s ,   m a k i ng  i t   c h a ll e n g i ng  to  a tt r i b ut e   pe r f o r m a nc e   o u t c o m e s   to   s pe c i f i c   de s i g n   f a c t o r s .   T hi s   o pa c i t y   l im i t s   r e pr o d uc i bil i t y   a n u n de r mi ne s   s c i e n t i f i c   r i go r ,   a s   r e s u l t s   c a nn o t   b e   i n d e pe n de n t l y   v e r i f i e o r   r e pl i c a t e un de r   i de n t i c a c o n d i t i o n s .   S e c o n d,   A P I   i n t e r f a c e s   o f t e n   i m po s e   r a t e   l im i t s ,   c o n t e n t   f i l t e r s ,   a n us a ge   c o n s t r a i n t s   th a t   l im i t   e x pe r im e n t a l   c o n t r o l ,   pa r t i c u l a r ly   i n   m u l t il i ngua o r   c ul t ur a l ly   s e ns i t i ve   t a s ks   t h a r e qui r e   i t e r a t i ve   t e s t i n g.   T hi r d,   t h e   bl a c k - b o x   n a t ur e   o f   t h e s e   m o de l s   pr e v e n t s   f i ne - gr a i ne e r r or   a n a l y s i s - r e s e a r c he r s   c a o b s e r v e   o u t pu t s   b ut   n ot  t h e   i n t e r n a l   de c i s i o n   pa t h wa y s   o r   l a t e n t   e m b e dd i ngs   t h a t   pr o duc e t h e m ,   c o m p li c a t i n t h e   s t udy   o f   bi a s ,   c u l t ur a l   mi s r e pr e s e n t a t i o n ,   o r   h a l luc i n a t i o n .   F ur t h e r m o r e ,   A P I   a c c e s s   t y p i c a l ly   de pe n d s   o n   c o r p or a t e   p o l i c i e s   a n s u bs c r i pt i o n   t i e r s ,   r a i s i ng  que s t i o ns   o f   a c c e s s i b il i t y ,   e qu i t y ,   a n l o n g - t e r m   r e s e a r c h   c o n t i n u i t y .   C o n s e que n t l y ,   whil e   A P I s   e n a bl e   c o n v e ni e n t   b e n c hm a r k i n o f   c ut t i n g - e dge   m o de l s ,   t h e y   s i m u l t a n e o us ly   o b s c ur e   c r i t i c a l   t e c hni c a l   a n e t hi c a l   d i m e ns i o n s   n e c e s s a r y   f o r   tr a n s pa r e n t   a n a c c o un t a bl e   e v a l ua t i o n   i n   m u l t im o da l - m u l t il i ngua l   A I   r e s e a r c h .   E a c h   m o de l   wa s   de p l o y e w i t hi a   c o n t r o l l e e x pe r im e n t a l   e nvi r o nm e n t   us i n NV I DI A   A 100   GPUs ,   w i t h   c o de   r un   t h r o ugh   P y t h o n   ( P y T o r c h )   f r a m e wo r ks .   P r e tr a i n e we i g h t s   we r e   r e t a i n e t o   s i m u l a t e   r e a l - wo r l u s a ge   r a t h e r   t h a n   t a s k - s pe c if i c   f i ne - t uni ng,   whi c h   m a y   n o t   b e   f e a s i b l e   i l o w - r e s o ur c e   s e tt i n g s .   T hi s   s e t up  a l l o we f o r   c o m pa r i ng   e a c h   m o de l s   pe r f o r m a n c e   a c r o s s   c r o s s - l i ngua l   im a ge   c a pt i o ni ng m u l t i li ngu a l   VQ A ,   s pe e c h - to - i m a g e   n a r r a t i v e   ge n e r a t i o n a n d   t r a n s l a t i o n   o f   m u l t i m o d a l   c o n t e x t   t a s ks .     3. 2.     Dat as e t   p r e p a r at ion   an d   e val u at ion   p r ot oc ol s   T e v a l ua t e   t h e   e f f e c t i v e ne s s   o f   t h e s e   M M M L M s ,   we   a s s e m b l e a   c o l l e c t i o n   o f   m u l t il i ngu a l   a n d   m u l t i m o d a l   da t a s e t s   e n c o m pa s s i ng  a   w i d e   r a n ge   o f   l a n gua ge s ,   do m a i ns ,   a n c u l t ur a l   b a c kgr o un d s .   T h e s e   da t a s e t s   we r e   s e l e c t e to  r e pr e s e n t   b ot h   hi g h - r e s o ur c e   a n l o w - r e s o ur c e   l a n gua ge   c o n t e x t s ,   c o n s i d e r i n g   f a c t o r s   s uc h   a s   l i ngu i s t i c   t y po l o g y ,   ge o gr a phi c a l   d i s t r i b ut i o n ,   a n m u l t i m o da l   d i ve r s i t y .   T h e   pr i m a r da t a s e t s   c o n s i s t   o f :     M u l t i 30 K :   m u l t i li ngua l   i m a ge   c a pt i o ns .       M u l t i c u l t ur a l   r e a s o ni ng  o v e r   vi s i o n   a n l a n gua ge   ( Ma R V L ) c u l t ur a l ly   gr o un de VQ A   da t a s e t .       C o m m o n   v o i c e   +   F li c kr 30k  h y br i d a   s y n t h e t i c   d a t a s e t   c o m bi n i ng  M o z i ll a s   m u l t il i ngua l   s pe e c h   c o r pus   w i t h   i m a g e   a nn o t a t i o ns .     W i k i pe d i a   im a ge - t e x t   ( W I T ) c r o s s - l i ngua l   im a ge - t e x pa i r s   e x t r a c t e f r o m   W i k i pe d i a ,   a v a il a bl e   i n   o v e r   100  l a n gua ge s .   B i li ngua l   a nn ot a to r s   v e r i f i e t r a n s l a t i o n   qua l i t y   a s   n e e d e to  m a i n t a i n   s e m a n t i c   a c c ur a c y   t h r o ugh o u t h e   s a m p l e s .   M o r e o v e r ,   a n   a ddi t i o n a l   d a t a s e t   f e a t u r i n c u l t ur a l ly   r e l e va n t   i m a ge s   a n i d i o m s   wa s   a s s e m bl e d   Evaluation Warning : The document was created with Spire.PDF for Python.
                                I S S N :   2252 - 8776   I n t   J   I n f   &   C o m m u n   T e c hn o l Vo l .   1 5 ,   N o.   2 J un e   20 2 6 :   823 - 838   828   to  e v a l ua t e   t h e   m o de l s   i n t e r pr e t i v e   s k il l s   i l e s s - r e pr e s e n t e c o n t e x t s .   T hi s   da t a s e t   e n c o m pa s s e s   t r a d i t i o n a l   a r t i f a c t s ,   c ul t ur a l ly   s i g nif i c a n t   ge s t ur e s ,   a n l o c a l i z e m e t a ph o r s   a nn o t a t e d   i n   A r a bi c ,   M a l a y ,   a n d   M a c e do ni a n .   Al t h o ugh   M a c e do ni a n   wa s   c a t e g o r i z e a s   a   l o w - r e s o u r c e   l a n gua ge   i n   t hi s   s t udy   due   to  i t s   li mi t e d i g i t a l   r e pr e s e n t a t i o n   a n t h e   s c a r c i t y   o f   a nn o t a t e d   m u l t im o da l   da t a s e t s ,   i i s   e s s e n t i a l   t a c kn o wl e dg e   t h a t,   l i n gu i s t i c a ll y ,   i t   b e l o n g s   to  t h e   I n do - E u r ope a n   f a mi ly ,   s pe c if i c a ll y   t h e   S o u t h   S l a vi c   b r a nc h .   T hi c l a s s if i c a t i o n   m e a n s   i t   s h a r e s   s t r uc t ur a l   a n l e xi c a l   a f f i n i t i e s   w i t h   hi g h e r - r e s o ur c e   l a n gua ge s   s uc h   a s   B u l ga r i a n   a n S e r bi a n ,   a s   we ll   a s   b r o a de r   t y p o l o g i c a l   c o nn e c t i o ns   t ot h e r   I n do - E ur o pe a n   l a n gua ge s .   Ho we v e r ,   de s p i t e   t h e s e   l i ngu i s t i c   pr o xi mi t i e s ,   M a c e do ni a n   r e m a i ns   u n de r r e pr e s e n t e i n   l a r ge - s c a l e   A I   c o r p or a   a n m u l t i m o da l   da t a s e t s ,   r e s u l t i n i n   poo r e r   m o de l   pe r f o r m a n c e   a n li m i t e s e m a n t i c   a l ignm e n t .   T hi s   d i s pa r i t y   u n de r s c o r e s   t h a t   l o w - r e s o ur c e   s t a tus   i n   A I   r e s e a r c h   i s   de t e r m i ne l e s s   by   l i ngu i s t ic  l i ne a ge   t h a n   by   d a t a   a v a i l a b i li t y ,   c o r pus   s i z e ,   a n i nc l u s i o n   i n   g l o b a l   t r a i ni ng  p i pe li ne s f a c t o r s   t h a t   c o n t i n ue   t o   d i s a d v a n t a ge   l a n gu a ge s   l i ke   M a c e do ni a n   de s p i t e   t h e i r   r i c h   l i ngu i s t i c   h e r i t a ge   a n e s t a bl i s he gr a mm a t i c a f r a m e wo r ks .   F or   e a c h   t a s k,   s t a n da r a n a da pt e e v a l ua t i o n   m e t r i c s   we r e   e m p l o y e d.   T h e s e   i nc l ude :     B L E U,   M E T E OR ,   a n C I DE r   f o r   t e x t - b a s e c a pt i o ni n t a s ks .     A c c ur a c y   a n F 1 - s c o r e   f o r   VQ A   a n c l a s s i f i c a t i o t a s ks .     M a n ua l   s c o r i n pr oto c o l s   f o r   c ul t ur a l ly   c o n t e x t ua l   n a r r a t i ve   i n t e r pr e t a t i o n   a n s e m a n t i c   c o h e r e n c e .   T c o m p l e m e n t   t h e s e   qua n t i t a t i v e   m e t r i c s ,   we   c o nduc t e h u m a n   e v a l u a t i o ns   w i t h   bil i ngua l   s p e a ke r s   a n c u l t ur a l   i nf o r m a n t s ,   wh s c or e o u t pu t s   o n   a   L i k e r s c a l e   ( 1 - 5)   f o r   c ul t ur a l   a ppr o pr i a t e n e s s ,   f l ue n c y ,   a n d   pr a g m a t i c   a de qua c y .   T o   e n s ur e   s c o r i n c o n s i s t e n c y ,   i n t e r - r a t e r   r e l i a bil i t y   wa s   c a l c u l a t e us i n C o h e n ka ppa .   T m i t i ga t e   bi a s   i n   h u m a n   a nn o t a t i o n s   d ur i n qua l i t a t i ve   s c o r i n g,   t h e   s t udy   i m p l e m e n t e s e v e r a l   m e t h o do l o g i c a l   s a f e gua r d s   to   e n s ur e   c o n s i s t e n c y ,   t r a n s pa r e n c y ,   a n c u l t ur a l   s e n s i t i v i t y .   F i r s t ,   a l l   a nn o t a to r s   we r e   bi li ngua l   o r   m u l t i li ngua l   s pe a ke r s   w i t h   c u l t ur a l   f a mi li a r i t y   r e l e v a n t   to  t h e   l a n gua ge s   a n c o n t e x t s   un de r   e v a l ua t i o n .   P r i o r   to   da t a   s c o r i n g,   t h e y   u n de r we n t   c a l i br a t i o n   s e s s i o n s   us i ng  s a m p l e   o u t pu t s   to   e s t a bl i s h   s h a r e d   i n t e r pr e t i v e   c r i t e r i a   f o r   a s s e s s i ng  f l ue n c y ,   s e m a n t i c   a l i g nm e n t ,   a n c ul t ur a l   r e l e v a n c e .   A   de t a i l e a nn o t a t i o gu i de   wa s   pr o vi d e to  m i n im i z e   s u bj e c t i v e   v a r i a t i o n   a n c l a r i f y   e v a l ua t i v e   d im e n s i o ns   s uc h   a s   pr a g m a t i c   a c c ur a c y   a n i d i o m a t i c   e qu i va l e nc e .   T qua n t i f y   r e l i a bil i t y   a c r o s s   r a t e r s ,   i n t e r - r a t e r   a gr e e m e n t   wa s   c a l c u l a t e us i n C o he n s   ka ppa ,   e ns ur i n s t a t i s t i c a l   va l i da t i o n   o f   c o ns i s t e n c y   i qua li t a t i ve   j udg m e n t s .   D i s c r e p a n c i e s   in  s c o r i n we r e   r e s o l v e t h r o ugh   c o n s e n s us   d i s c u s s i o n s   m o de r a t e by   a   l i ngu i s t i c   e x p e r t ,   p r e v e n t i n domi na n c e   by   a ny   s i ng l e   a nn o t a to r s   pe r s pe c t i v e .   A dd i t i o n a ll y ,   e v a l u a to r s   we r e   i n s t r uc t e to   d o c um e n t   r e a s oni ng  f o r   o u t l i e r   s c o r e s   to  m a i n t a i a ud i t a bil i t y   a n r e f lexi v i t y   i t h e i r   i n t e r pr e t i ve   de c i s i o n s .   T h e s e   c o m bi ne d   m e a s ur e s   e nh a n c e t h e   v a li d i t y   a n f a i r n e s s   o f   h u m a n   e va l ua t i o n s   w hil e   r e duc i n po t e n t i a l   c u l t ur a l   o r   c o gni t i v e   bi a s   i n   a s s e s s i ng  m u l t im o da l - m u l t i li ngua l   m o de l   o ut pu t s .     3. 3.     Qu al it at ive   c on t e n t   an al ys is   an d   c u l t u r a l   c on t e x t u al i z at ion   Al t h o ugh   qua n t i t a t i v e   be n c hm a r k i n g   p l a y s   a   c r uc i a l   r o l e ,   i t   f a i l s   t f u ll y   a ddr e s s   t h e   c o m p l e xi t i e s   o f   h o m e a ni n i s   c o n s t r uc t e a c r o s s   di f f e r e n t   c ul t ur e s   a n m o da l i t i e s .   He n c e ,   t hi s   s t udy   e m p l o y e q ua l i t a t i v e   c o n t e n t   a n a l y s i s   t o   i nv e s t i ga t e   M M M L M s   r e s u l t s   t h o r o ugh l y .   T hi s   p h a s e   c e n t e r e d   o n   t h e :     M i s i n t e r pr e t a t i o n   pa tt e r n s i ns t a n c e s   wh e r e   t h e   m o de l   pr o duc e s e m a n t i c a ll y   p l a us i b l e   b ut   c ul t ur a l l y   i na c c ur a t e   r e s po n s e s .     B i a s   r e f l e c t i o n o u t pu t s   t h a t   e x hi b i t e ge n de r ,   r a c i a l ,   o r   c ul t ur a l   s t e r e ot y pe s .     P r a g m a t i c   a m bi gu i t y c a s e s   whe r e   t r a n s l a t e d   m e a ni ng s   or   ge n e r a t e c a p t i o ns   f a i l e t a l i g n   w i t h   t h e   c o n t e x t   due   to   m o da l   o r   l i ngu i s t i c   s hif t s .   E a c h   o ut pu wa s   a n a ly z e u s i ng  a n   i nduc t i v e   m e t ho r oot e i n   c r i t i c a l   d i s c o ur s e   a n a ly s i s   ( C D A )   a n d   s e m i o t i c   e x a mi na t i o n .   T h e m e s   e m e r ge f r o m   c o ns i s t e n t   pa tt e r n s   o f   i n t e r pr e t i v e   e r r o r s   o r   s i g ni f i c a n c u l t ur a l   o m i s s i o n s .   T h e   a i m   wa s   to  i de n t i f y   s y s t e m a t i c   de f i c i e n c i e s   i n   m o de l   t r a i ni ng  a n r e a s o ni ng,   pa r t i c u l a r ly   i l o w - r e s o ur c e   o r   m a r g i n a li z e c o n t e x t s .   An   a dvi s o r y   gr o up   c o m pr i s i n l i ngu i s t s ,   a n t h r o p o l o g i s t s ,   a n A I   e t h i c i s t s   pr o vi de o n go i ng   f e e d b a c dur i ng  t hi s   p h a s e .   T h e i r   i ns i g h t s   we r e   i ns t r um e n t a l   i r e f i n i ng  t h e   a nn o t a t i o n   s c he m a   a nd   i de n t i f y i ng  i ns t a nc e s   o f   s ym b o li c   o r   i nf e r e n t i a l   e r r o r s   t h a t r a di t i o na l   N L P   m e t r i c s   d i n o c a pt u r e .     3. 4.     E t h ical   f r a m e wo r k   an d   m od e l   of   ac c ou n t a b il it y   T h e   s t ud y   e m p l o y e a n   e t hi c s - by - de s i g n   f r a m e wo r k ,   a dh e r i n t o   gui de li ne s   e s t a bli s he by   t he   M o n t r e a l   A I   E t hi c s   I ns t i t ut e   a n UN E S C O r e c omm e n da t i o n   o n   t h e   e t hi c s   o f   a r t i f i c i a l   i n t e l li ge nc e   [ 48] .     S pe c i f i c   m e a s ur e s   i nc l u de d:     E n s ur i ng  l a n gua g e   d i v e r s i t y   a n da t a   tr a n s pa r e n c y .     Av o i us i ng   s e n s i t i ve   o r   pe r s o n a l ly   i de n t i f i a bl e   c o n t e n t   i n   m o de l   pr o m pt s   or   o u t pu t s .     I n c l ud i ng  h u m a n - c e n t e r e a s s e s s m e n t   i n   a ll   e v a l u a t i o n   p h a s e s   t o   b e tt e r   r e f l e c t   r e a l - wo r l c o m m u ni c a t i v e   n e e d s .   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t   J   I n f   &   C o m m u n   T e c hn o l     I S S N:   2252 - 8776       C an  mac hines   imagine?  C r it ical  thi nk ing  and  c ult ur al  r e as oning   …  ( M ohamm ad  A w ad  A lA f nan )   829   B i a s   a s s e s s m e n t s   we r e   c a r r i e o ut   us i n a ut o m a t e too l s ,   s uc h   a s   f a i r n e s s   i nd i c a t o r s ,   a n m a n ua l   r e vi e ws .   A dd i t i o n a ll y ,   m o de l s   we r e   e va l u a t e f o r   h a ll uc i na t i o n   o c c ur r e n c e s ,   s pe c i f i c a l ly   i ns t a n c e s   w h e r e   t h e   pr o duc e c o n t e n t   i n c l ude i nc o r r e c t   or   f a b r i c a t e i nf o r m a t i o n ,   pa r t i c u l a r ly   i n   m u l t im o da l   t r a n s l a t i o n   a n d   s u m m a r i z a t i o n   t a s ks .     3. 5.     L im it at ion s   an d   s c op e   W hil e   t h e   m e t h o do l o g y   a i m s   t pr o vi de   a   h o l i s t i c   e v a l ua t i o n   o f   M M M L M s ,   i t   i s   c o n s t r a i n e b y   s e v e r a l   f a c t o r s :     Da t a s e c o v e r a ge d e s p i t e   e f f o r t s   to  i nc l ud e   d i v e r s e   l a n gua ge s ,   a c c ur a t e   gl o b a l   c o v e r a ge   r e m a i ns   l im i t e d   by   da t a   a v a i l a b i li t y   a n a nn ot a t i o n   r e s o ur c e s .     M o de l   a c c e s s p r o pr i e t a r y   m o de l s   s uc h   a s   Ge mi ni   o r   GPT - 4V  wi t h   f u ll   m u l t im o da l   c a pa bil i t i e s   we r e   e v a l ua t e o nl y   t o   t h e   e x t e n t   a l l o we by   pu bli c   A P I s .     Ge n e r a li z a t i o n   l im i t s :   t h e   s t udy   f o c us e s   o n   z e r o - s h o o r   f e w - s h o pe r f o r m a nc e   a n do e s   n ot  e xp l o r e   e x t e ns i ve   f i ne - t uni n o r   d o m a i a da pt a t i o n .   F ut ur e   r e s e a r c h   s h o u l d   e x t e n t hi s   m e t h o d o l o g y   t s i g n   l a n gua ge   m o da li t i e s c o gni t i v e   a c c e s s i b il i t y a n d   e m e r ge n c y   c o m m u ni c a t i o n   s c e n a r i o s ,   wh e r e   M M M L M s   c a n   o f f e r   uni que   va l ue   i f   a d a pt e a ppr o pr i a t e l y .       4.   RE S UL T S   T h e   M M M L M s   we r e   e v a l u a t e a c r o s s   f o ur   c o r e   t a s ks i m a g e   c a pt i o ni n g VQ A s pe e c h - to - i m a ge   ge n e r a t i o n a n d   c u l t ur a l   i d i o m   t r a n s l a t i o n .   R e s u l t s   we r e   a n a ly z e qua n t i t a t i v e ly   ( us i ng  s t a n da r m e t r i c s )   a n d   qua l i t a t i v e ly   ( u s i n h u m a n   e v a l ua t i o n s   a n e r r o r   a n a ly s e s ) .   Us i n t he   M u l t i 30  K   a n W I T   da t a s e t s ,   m u l t i li n gua l   im a ge   c a pt i o ni ng  w a s   e v a l ua t e a c r o s s   f o ur   l a n gua ge s E n g li s h ,   A r a bi c ,   M a l a y ,   a n M a c e do nian .   T h e   m o de l s   a s s e s s e i n c l ud e C L I P ,   m P L UG ,   a n GI T .   E x a m p l e s   1,   2,   3 ,   a n i ll us t r a t e   t h e   m o de l s   pe r f o r m a n c e   i n   e v a l ua t i n m u l t i li ngua l   i m a ge   c a pt i o n s .     I m a ge A   wo m a n   i n   t r a d i t i o na l   a t t i r e   s e r vi n f o o to   c hi l dr e n   a t   a   c ul t ur a l   e ve n t .   L a ngua g e   C L I P   m P L U G   GI T   E X 1:  E ngl is h   C ap t i on A  w o ma n gi v e s   f oo to  ki ds .   A n al y s is F a c tu a ll y   c or r e c t,  bu la c ks  c ul tu r a nua n c e   o r   de s c r ip ti v e   r i c hne s s . V e r y   li te r a l.   C ap t i on A  w o ma n i n t r a di ti o na a tt ir e  s e r ve s  f oo t o  c hi ld r e n a a   c ul tu r a c e l e br a ti o n.   A n al y s is I mpr ove d d e ta il  a nd  c ul tu r a c o nt e x t;  i n c lu d e s   tr a di ti o na c l o th e s   a nd  c e l e br a ti o n .   C ap t i on A  s mi li ng w o ma n dr e s s e d i tr a di ti o na f e s ti v a a tt i r e  s e r ve s  a  gr o up  of   c hi ld r e n dur in g a   c o mm uni t y   c ul tu r a e ve nt .   A n al y s is M o s d e ta il e d a nd  c o nt e x tu a ll y   r ic h. C a pt ur e s  e m o ti o n, a tt ir e , a nd t he   na tu r e   of  t h e   e ve nt .   E X 2:  A r a bi c   C ap t i on ل ا ف ط ل   ا ً م ا ع ط   ي ط ع ت   ة أ ر م ا ( A  w o ma n gi ve s   f oo d t o   c hi ld r e n.)     A n al y s is B a s ic  a nd  c o r r e c t,  but   la c ks  c o nt e x o r   c ul tu r a e l e me n ts .   C ap t i on   م د ق ت   ةي د ي ل ق ت   س ب م   ي د ت ر ت   ة أ ر م ا ا ي ف ا ق ث  ل ا ف ت ح ا  ي ف  ل ا ف ط ل  م ا ع ط ل . ( A   w o ma n w e a r in g t r a di ti o na c l o th e s  s e r ve s   f oo d t o  c h il dr e n a a  c ul tu r a c e le b r a ti o n.)   A n al y s is S im il a r  t o   E ngl is h, i a dds  c ul tu r a de ta il s .   C ap t i on   م د ق ت و   ا ً ي د ي ل ق ت   ا ً ي ز   ي د ت ر ت   م س ت ب ت   ة أ ر م ا ع م ت ج م  نا ج ر ه م  ل خ  ل ا ف ط ل  م ا ع ط ل ا ي . ( A  s mi li ng  w o ma n w e a r s  t r a di t i o na a tt ir e  a nd s e r ve s   f oo d t o   c hi ld r e n du r in g a  c omm uni t y   f e s ti v a l. )   A n al y s is R ic h,  c o nt e x tu a ll y  a ppr o pr ia t e e m o ti o na ll y   e x pr e s s iv e .   E X 3:  M a la y   C apt io n :   S e or a ng w a ni ta   me mb e r ma ka na n ke pa da   ka na k - ka na k.   ( A  w om an giv e s   f ood to  c hi ld r e n)   A nal y s is :   A c c u r a te  but  l a c ks   c ul tu r a s pe c i f i c it y .   C ap t i on S e o r a ng w a ni ta  be r ba ju   tr a di s io na s e da ng m e nghi da ng  ma ka na n ke pa da  ka na k - ka na k di   ma jl is  ke buda y a a n. ( A  w o ma n i tr a di ti o na c l o th e s  i s  s e r v in f oo to   c hi ld r e n a a   c ul tu r a e v e n t)   A n al y s is A dds  e ve nt  a nd a tt ir e   de ta il s .   C apt io n :   S e or a ng w a ni ta   y a ng t e r s e n y u me ng e na ka n pa ka ia n t r a di s io na s e da ng  me nghi da ngka n ma ka na n ke pa da   s e kumpul a n ka na k - ka na k da la m m a jl is   ko muni ti .   ( A  s m il in g w om an i n t r adi ti onal  at ti r e   s e r v e s   f ood to a g r oup o f  c hi ld r e n dur in a c om m uni ty  gat he r in g.)   A n al y s is :   F ul c o nt e xt  c a pt u r e d, nua n c e d,  a nd na tu r a in  t o n e .   E X 4:   M a c e d o ni a n   C apt io n :   Ж е н а   д а ва  х ра н а  н а   д е ц а   ( A  w om an giv e s  f ood to  c hi ld r e n)   A n al y s is :   G r a mm a ti c a ll y   c o r r e c but  l a c ks  a n y   c ul tu r a in s ig ht .   C ap t i on Ж е н а  в о   т ра д и ц и о н а лн а   о б л е к а  с л у ж и   х ра н а  н а  д е ц а  н а  к у лт у р н а   п рос ла ва . ( A  w o ma n i tr a di ti o na c l o th e s  s e r ve s   f oo d t o   c hi ld r e n a a  c u lt ur a c e l e b r a ti o n.)   A n al y s is C a pt ur e s   c ul tu r a c o nt e x but  r e ma in s   f o r mul a i c .   C ap t i on Н а с м е а н а  ж е н а  в о   т ра д и ц и о н а лн а  н ос и ја  и м   с л у ж и   х ра н а   н а  д е ц а  з а  в ре м е  н а  з а е д н и ч к а  к у л т у рн а   п рос ла ва . ( A  s mi li ng w o ma n i tr a di ti o na c o s tu m e  s e r ve s   f oo d t o   c hi ld r e n dur in g a   c o mm uni t y   c ul tu r a c e le b r a ti o n.)   A n al y s is M o s f lu e nt  a nd  c ul tu r a ll y   a ppr o pr ia te , r e f le c ts   e v e nt  a tm o s ph e r e .     As   T a bl e   s h o ws ,   GI T   c o n s i s t e n t l y   o ut pe r f o r m e t h e   ot h e r   m o de l s   a c r o s s   a l l   f o ur   l a n gua ge s .   M a c e do ni a n   s c o r e l o we s t   o v e r a l l   s c o r e s ,   hi g hli g h t i n c o n t i n ue pe r f o r m a nc e   ga ps   f o r   l o w - r e s o ur c e   l a n gua ge s .     Evaluation Warning : The document was created with Spire.PDF for Python.
                                I S S N :   2252 - 8776   I n t   J   I n f   &   C o m m u n   T e c hn o l Vo l .   1 5 ,   N o.   2 J un e   20 2 6 :   823 - 838   830   T a bl e   1.   C a pt i o ni ng  pe r f o r m a n c e   a c r o s s   l a n gua ge s   ( C I DE r   s c or e )   M o de l   E ngl is h   A r a bi c   M a la y   M a c e d o ni a n   C L I P   1.11   0.88   0.85   0.73   mP L U G   1.22   1.01   1.00   0.91   G I T   1.26   1.10   1.03   0.95       VQ A   t a s ks   r e pr e s e n t   a   s o phi s t i c a t e i n t e r s e c t i o n   o f   c o m put e r   vi s i o n   a n n a t ur a l   l a n gua ge   pr o c e s s i n g.   T h e y   ut i li z e   c u l t ur a l ly   c o n t e x t ua l   i m a ge s   de r i v e f r o m   t h e   M a R VL   da t a s e t .   T hi s   da t a s e i s   s pe c i f i c a l ly   c ur a t e to   i n c l ude   v a r i o us   im a g e s   t h a t   r e f l e c t   v a r i o us   c u l t ur a l   e l e m e n t s ,   m a k i ng  i t   a   vi t a l   r e s o ur c e   f o r   un de r s t a n d i ng  vi s u a l   c o n t e n t   t h r o ugh   di f f e r e n t   c u l t ur a l   l e ns e s .   T h e   r e s u l t s   f o r   VQ A   t a s ks   a r e   pr ovi de i T a bl e   2.       T a bl e   2.   VQ A   t a s -   a c c ur a c y   ( % )   L a ngua g e   C L I P  ( % )   mP L U G  ( % )   G I T  ( % )   E ngl is h   77.2   81.4   85.6   A r a bi c   71.3   76.0   80.1   M a la y   68.9   74.5   79.0   M a c e d o ni a n   63.2   70.2   75.6       C o m p l e t i n VQ A   t a s ks   r e qu i r e s   t h e   m o de l   to   i n t e r pr e a n a na ly z e   t h e   i m a g e s   de e p ly ,   e n a bli ng  i t   to  a ns we r   que s t i o ns   i nh e r e n t l y   t i e to  t h e   vi s ua l   c o nt e n pr e s e n t e d.   T h e   s c o pe   o f   t h e   que s t i o ns   r a n ge s   wi de ly ,   c o v e r i n v a r i o us   a s pe c t s   o f   t h e   im a ge s ,   i n c l ud i ng   iden t i f yi ng  o bj e c t s ,   un de r s t a n d i ng  a c t i o n s ,   a n gr a s p i n t h e   c u l t ur a l   s i g ni f i c a nc e   b e hi nd  s pe c i f i c   vi s ua l   e l e m e nt s .   T h e s e   t a s ks   a i m   t e n ha n c e   t h e   m o de l s   a bil i t y   t c o m pr e h e n a n a ppr e c i a t e   t h e   n ua n c e s   o f   d i v e r s e   c u l t ur a l   b a c kgr o un ds   r e f l e c t e i n   t h e   i m a ge s .   B y   do i n s o ,   t h e   m o de l   i s   b e t t e r   e qui ppe t o   pr o vi de   a c c ur a t e   a n c o n t e x t ua l ly   a w a r e   a ns we r s ,   c o n s i de r i ng   t h e   s pe c i f i c   c u l t ur a l   c o n t e x t s   a s s o c i a t e w i t h   e a c h   i m a ge .   T hi s   b e c o m e s   pa r t i c u l a r ly   s i g ni f i c a n t   wh e n   t h e   go a l   i s   to  a n s we r   que s t i o ns   i n   f i ve   t a r ge l a n gua g e s ,   a s   i t   r e qu i r e s   li ngu i s t i c   pr o f i c i e n c y   a n d   a n   a wa r e n e s s   o f   c u l t ur a l   s u b t l e t i e s   a n v a r i a t i o n s   a c r o s s   d i f f e r e n t   c o n t e x t s .   T h us ,   VQ A   t a s ks   a r e   c r i t i c a l   t o   de v e l o p i ng  l i ngu i s t i c a l ly   a de pt   a n c u l t ur a l ly   i n t e ll i g e n t   m o de l s ,   u l t i m a t e ly   pr o m ot i n a   m o r e   i n c l us i ve   a ppr o a c h   to   vi s ua l   u n d e r s t a n d i n g.   All   m o de l s   e xhi b i t e a   n o t a bl e   de c li ne   i pe r f o r m a n c e   w h e n   a pp li e to   l a n gua g e s   w i t h   l o we r   r e s o ur c e s   ( s e e   T a bl e   2) .   De s p i t e   t h e   ge n e r a li z e i n f e r e n c e   t oo l   ( GI T )   a c hi e vi ng  t h e   hi g h e s t   o v e r a l l   r e s u l t s   a m o n t h e   m o de l s   t e s t e d,   a   s i g nif i c a n t   d i s pa r i t y   e xi s t s   i s e m a n t i c   r e a s o ni ng  c a pa bil i t i e s ,   pa r t i c u lar l y   w i t h   M a c e do ni a n .   T hi s   ga hi g hli g h t s   t h a c ul t ur a l   i nf e r e n c e   pr e s e n t s   a dd i t i o n a l   c h a ll e n ge s   i n   t h e s e   c o n t e x t s ,   un de r s c o r i n t h e   c o m p l e xi t i e s   o f   pr o c e s s i ng  a n un de r s t a n d i ng  l a n gua ge s   t h a t   l a c s u f f i c i e n t   r e s o u r c e s   a n d   da t a   s upp o r t.   E x a m p l e s   5,   6,   7,   a n pr o vi de   m o r e   i nf o r m a t i o n   o n   t h e   pe r f o r m a nc e   o f   t h e s e   m o de l s .     I m a ge A   c hil we a r i n a   f i r e f i g h t e r   c o s t um e   h o l d in a   to y   f i r e   h o s e .   E x a mpl e   L an g u age  /   Q u e s t i on   C L I P   m P L U G   GI T   E X  5:   E n gl is h / W ha j o b i s  t he   c hi ld  pr e t e ndi ng t o  d o?   P la y in g w it h a  h o s e .   A n al y s is :   M is s e s  t he   in te nt d oe s  n o id e nt i f y   th e  j o b r o l e ove r l y   li te r a l.   T h e   c hi ld  i s  pr e t e ndi ng  to  b e  a   f ir e f ig ht e r .   A n al y s is :   C or r e c t,   th o ugh a  bi m e c ha ni c a l;   di r e c tl y  a ns w e r s  t h e   que s ti o n.   T h e   c hi ld  i s  dr e s s e d a s  a   f i r e f ig ht e r  a nd pla y in g a s  i f  put ti ng  o ut  a   f i r e .   A n al y s is :   C or r e c a nd c o nt e x t - r i c h;   pr ov id e s  a  nua nc e d i nt e r pr e ta ti o a ddi ng na r r a ti ve   c o nt e x t.   E X  6:   A r ab ic / ام    ر ها ظ ت ي  ي ت ل ا  ةف ي ظ و ل ا ؟ ا ه ي د ؤ ي  هن أ  ل ف ط ل ا T r ans la ti on:   W ha jo b i s  t he   c hi ld   pr e t e ndi ng t o  d o?   ه ا ي م  ب و ب ن أ ب  ب ع ل ي  ل ف ط ل ا .   T r an s la ti on :   T h e  c h il is  pl a y in g w it h a  w a te r   ho s e .   A n al y s is :   L a c ks   a c c u r a c y d e s c r ib e s  t h e   a c ti o o nl y  w it h o ut   id e nt i f y i ng t he   j o b.   لا  ل ج ر  هن أ ب  ر ها ظ ت ي  ل ف ط ء ا ف ط إ .   T r an s la ti on :   T h e  c h il is  pr e t e ndi ng t o  b e  a   f i r e f ig ht e r .   A n al y s is :   C or r e c but   s tr a ig ht f or w a r d;  l a c ks   de s c r ip ti v e  d e ta il .     هن أ ك و  ب ع ل ي و  ء ا ف ط إ  ل ج ر   ي ز  ي د ت ر ي  ل ف ط ل ا ا ً ق ي ر ح   ئ ف ط ي .   T r an s la ti on :   T h e  c h il d i s  w e a r in a  f i r e f ig ht e r uni f or m a nd pla y in a s  i f  put ti ng  o ut  a   f i r e .   A n al y s is :   A c c u r a te  a nd r i c h i c o nt e x t;  r e f l e c ts  c ul tu r a a nd  na r r a ti ve  d e pt h.   E X  7:   M al ay / P e k e r ja an apa y ang  s e dang dil ak onk an ole k anak - k anak  i tu ?   T r ans la ti on:   W ha jo b i s   th e   c hi ld  pr e t e ndi ng t o  d o?   K ana k - k anak  be r m ai de ngan hos  ai r .   T r an s la ti on :   T h e  c h il is  pl a y in g w it h a  w a te r   ho s e .   A n al y s is :   T oo  l i te r a l;   f a il s  t o  i d e nt i f y   th e   im pl ie d p r of e s s io n.   K anak - k anak  i tu  s e dang   be r la k on s e bagai  s e or ang bomba .   T r an s la ti on :   T h e  c h il is  a c ti ng a s  a   f ir e f ig h te r .   A n al y s is :   A c c u r a te  but   mi ni ma l;  l a c ks   e x pr e s s iv e  d e ta il .   K anak - k anak  i tu  m e m ak ai   pak ai an bomba dan be r la k on  s e pe r ti   s e dang me m adam  k e bak ar an .   T r an s la ti on :   T h e  c h il d i s  w e a r in a  f i r e f ig ht e r s   o ut f it  a nd a c ti ng a s  i f   put ti ng o ut  a   f ir e .   An al y s is :   C le a r , d e s c r ip ti ve , a nd  c o nt e x tu a ll y  r i c h;  i n c lu d e s  v is ua a nd c ul tu r a c ue s .   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t   J   I n f   &   C o m m u n   T e c hn o l     I S S N:   2252 - 8776       C an  mac hines   imagine?  C r it ical  thi nk ing  and  c ult ur al  r e as oning   …  ( M ohamm ad  A w ad  A lA f nan )   831   E X  8:   M ac e d on ia n  /   К ое   з а н и м а ње   с е  п р е п ра ва   д е т е т о  д е к а   г о  и з вр ш у ва ?   T r ans la ti on:   W ha jo b i s   th e   c hi ld  pr e t e ndi ng t o  d o?   Д е т е т о  и г ра   с о  ц р е в о   з а  в о д а .   T r an s la ti on :   T h e  c h il is  pl a y in g w it h a  w a te r   ho s e .   A n al y s is :   I na c c u r a te f oc us e s   o n t h e  a c t i o n,  no th e  pr of e s s i o n.   Д е т е т о  с е  п р е п ра ва   д е к а  е  п о ж а рн и к а р.   T r an s la ti on :   T h e  c h il is  pr e t e ndi ng t o  b e  a   f i r e f ig ht e r .   A n al y s is :   C or r e c but   la c ks  de pt o r  na r r a ti ve .   Д е т е т о  н ос и   к о с т и м   н а   п о ж а рн и к а р и   с е  п р е п ра ва  д е к а   г а с и   п о ж а р.   T r an s la ti on :   T h e  c h il d i s  w e a r in a  f i r e f ig ht e r s   c o s tu me  a nd  pr e t e ndi ng t o  put   o ut  a   f ir e .   A n al y s is :   S tr o ng  c o nt e x tu a a nd  c ul tu r a und e r s ta ndi ng;  a c c ur a t e l y   c a pt ur e s  i nt e nt  a nd d e ta il .     T h e   t a s o f   s pe e c h - to - i m a ge   n a r r a t i v e   ge n e r a t i o n   t e s t e t h e   W hi s pe r   +   GPT - 4V  pi pe li ne .   T h e   s t ud y   i nv o l ve pa r t i c i pa n t s   wh o   p r o vi d e s po ke n   pr o m pt s   i n   t h e i r   n a t i v e   l a n gua ge s .   T h e s e   pr o m pt s   we r e   s pe c i f i c a l ly   t a i l o r e to   de s c r i b e   a   pa r t i c u l a r   i m a g e   s c e n a r i o   t h a wa s   pr e s e n t e to  t h e m .   T h e   m o de l   ut i li z e d   t h e s e   d i v e r s e   l i ngu i s t i c   i n put s   to  e n h a n c e   i t s   unde r s t a n d i n a n r e s po n s e   ge n e r a t i o n   a b o ut  t h e   d e s c r i be im a ge s ,   r e f l e c t i n t h e   n ua n c e s   a n c o n t e x t ua l   m e a ni ng s   e m be dde i n   e a c h   l a n gua ge .   Ge n e r a t e vi s ua l   a n d   na r r a t i ve   o u t pu t s .   A s   i l l us t r a t e d   i n   T a b l e   3,   t h e   s t u dy s   r e s ul t s   r e v e a l   t h a W hi s pe r s   tr a n s c r i pt i o n   a c c ur a c y   wa s   n ot a b ly   hi g h   a c r o s s   v a r i o us   l a n gua ge s ,   i n d i c a t i n i t s   e f f e c t i v e n e s s   i n   pr o c e s s i n di v e r s e   l i n gu i s t i c   i n put s .   H owe v e r ,   i c o n tr a s t ,   GP T - 4V   f a c e d   s i gni f i c a n t   c h a l l e n ge s   i n   a c c ur a t e l y   r e p r e s e n t i n c ul t ur a l   s y m b o l s   w i t hi n   t h e   g e n e r a t e i m a ge s .   T h i s   i s s ue   wa s   pa r t i c ul a r l y   pr o n oun c e f o r   t h e   M a c e d o ni a n   a n M a l a y   c u l t ur e s ,   wh e r e   s pe c i f i c   c ul t ur a l   n ua n c e s   a n r e pr e s e n t a t i o n s   we r e   i n a de qua t e l y   c a p t u r e d .   A ddi t i o n a l ly ,   h u m a n   e v a l ua tor s   o b s e r v e a   c o n c e r n i n t r e n o f   b i a s   to wa r ds   W e s t e r n   v i s ua l   a e s t h e t i c s   i n   t h e   o u tpu t.   T hi s   s ugge s t s   t h a t h e   m o de l   m a y   n o t   f u l ly   e m b r a c e   or   r e f l e c t   t h e   r i c h   d i v e r s i t y   o f   g l o b a l   a r t i s t i c   t r a di t i o n s .   T hi s   d i s c r e pa n c y   u n de r s c or e s   t h e   n e e d   f o r   i m pr o v e m e n t   i n   c ul t ur a l   r e p r e s e n t a t i o n   to  e n s ur e   m o r e   i n c l us i v e   a n a c c ur a te   vi s ua l   r e pr e s e n t a t i o n s   a c r o s s   di v e r s e   c ul t ur e s   a n l a n gua ge s .   E x a m p l e s   9,   1 0,   1 1,   a n 1 pr o v i de   i ns i g h t s   i n t t h e s e   p o i n t s .         T a bl e   3.   S pe e c h - to - i m a ge   t a s   h u m a n   e v a l ua t i o s c o r e s   ( 1 - 5)   L a ngua g e   F lu e n c y   S e ma nt i c   a li gnm e nt   C ul tu r a r e l e v a n c e   E ngl is h   4.6   4.5   4.4   A r a bi c   4.3   4.1   4.0   M a la y   4.2   4.0   3.8   M a c e d o ni a n   3.8   3.5   3.3       E x a mpl e   L a ngua g e /S p o k e n pr o mpt   G P T - 4 v  i ma g e   o ut put  d e s c r ip t i o n   A na l y s is  of  s o r e   E X  9:   S p o k e n  p r o m p t  ( i n  E n gl is h ) :   y oung gir is  r e a di ng a  b oo k und e r   a  t r e e  i n a  publi c  pa r o n a  s unn y   a f t e r n oo n.   T h e  i ma g e  s ho w s  a   y oung gir s it ti ng unde r  a  l e a f y  t r e e , r e a di ng a   c o l o r f ul  b oo k.   S unl ig ht   f il t e r s  t hr o ugh th e  l e a ve s a nd a  pa r k be nc h i s  n e a r b y   w it f l o w e r s  i n bl oo m.   Hi gh  s c o r e :   F lu e n c y W hi s pe r  t r a ns c r ip ti o n i s  n e a r l y   pe r f e c t.   S e m an t ic   A li g n m e n t V is ua s c e n e   ma tc he s  na r r a ti ve   e l e m e nt s .   C u l t u r al   R e le van c e M a tc h e s  t y pi c a W e s te r n i ma g e r y   of  publi c  pa r ks  a nd  c hi ld h oo d l e a r ni ng.   E X  10:   S p o k e n  P r o m p t  ( i n  A r ab ic ) :     ي ف  د ج س م ل ا  م ا م أ  ب ع ل ي  ةي ب ج  ي د ت ر ي  ل ف ط ر ك ا ب ل ا  ح ا ب ص ل ا .   ( A  c hi ld  w e ar in g a j al abi y a i s   pl ay in g i n f r ont  o f  a m o s que  i n t he   e ar ly  m or ni ng.)   A  c hi ld  s ta nds  i n a  c o u r t y a r d w it do m e d a r c hi t e c tu r e  i n t h e   ba c kgr o und.   T h e   o ut f it  r e s e mbl e s  a  r o b e ,   but  t h e   bui ld in g l a c ks  r e gi o na de s ig c u e s .   T h e  m o s qu e  i s  r e nd e r e d g e n e r i c a ll y r e s e mbl in g a  c a th e dr a d o m e .   Hi gh b u t  l o w e r  s c o r e  t h a n  E n gl is h :     F lu e n c y :   W hi s pe r  ha ndl e d A r a bi c  w e ll .   S e m an t ic  A li g n m e n t S c e ne  b r o a dl y   c o r r e c but  l a c ks  a r c hi t e c tu r a s p e c i f i c it y .   C u l t u r al  R e le van c e :   M o s que   mi s r e pr e s e nt e d - mi na r e ts  mi s s in g, j a la bi y a   no c l e a r .   E X  11:   S p o k e n  P r o m p t  ( i n  M al a y) :   Se or ang ne la y an t ua s e dang  m e nj al a i k an di t e pi  pantai  w ak tu   s ubuh.   ( A n ol d f is he r m an i s   c as ti ng his  ne by  t he  be ac h at  daw n.)   A n e ld e r l y  ma n s ta nds  ne a r  w a te r c a s ti ng a  ne t.   S c e n e  i s  mi s t y , l ig ht in g s ugge s ts   mo r n in g, but s e tt in g l oo ks  l ik e  a   la ke  i n E ur o p e .   C lo th in g d oe s  no r e s e mbl e  M a la y   f is hi ng a tt i r e .   A ve r age  s c o r e :   F lu e n c y W hi s pe r  t r a ns c r ip ti o n w a s   mo s tl y  a c c ur a t e .   S e m an t ic  A li g n m e n t C o r r e c a c t i o ( c a s ti ng ne t ) , t im e  ( da w n) .   C u l t u r al  R e le van c e M is s e d l o c a c o nt e x t a tt ir e  a nd be a c h s e tt in g n o S o ut h e a s A s ia n.   E X  12:   S p o k e n  P r o m p t  ( i n  M ac e d on ia n ) :   С т ар чов е к  с е д и н а чард ак  и  пие  к аф е  д од е к а г л е д а в о  пл ан ин ит е .   ( A n ol d m an i s  s it ti ng on a  č ar dak   dr in k in g c o f fe e  w hi le  l ook in g at  t he   m ount ai ns .)   A n e ld e r l y  ma o n a  w oo d e ba lc o n y  dr in f r o m a  mug.   T h e  ba c kgr o und in c lu d e s  s no w y   pe a ks , but  a r c hi t e c tu r e  r e s e mb le s  a   S w is s  c ha le t.   T h e   č a r da k ( B a lk a n - s t y le   ve r a nda )   is   n o t  c o r r e c t ly  r e p r e s e n t e d .   L o w  S c o r e   F lu e n c y W hi s pe r e d s li ght l y   mi s r e c o gni z e ч а рд а к .   S e m an t ic  A li g n m e n t G e ne r a id e a   c a pt ur e d.   C u l t u r al  R e le van c e T h e   v is ua e le me nt s   w e r e  W e s t e r ni z e d, l o s in g t he i r  B a lk a a mbi a nc e .     Evaluation Warning : The document was created with Spire.PDF for Python.
                                I S S N :   2252 - 8776   I n t   J   I n f   &   C o m m u n   T e c hn o l Vo l .   1 5 ,   N o.   2 J un e   20 2 6 :   823 - 838   832   T r a n s l a t i n g   c u l t ur a l   i d i o m s   a n i n t e r pr e t i n m u l t im o da l   e x pr e s s i o ns   r e qu i r e a   c o m pr e h e ns i ve   a ppr o a c h .   T hi s   pr o c e s s   i nv o l v e pr e s e n t i n i d i o ms   o r   ge s t ur e s   t h a t   a r e   de e pl y   e m be dde i n   t h e i r   r e s pe c t i v e   c u l t ur e s   a s   pa i r s   o f   im a g e s   a n t e x t .   E a c h   pa i r   wa s   de s i g n e t o   s h o wc a s e   t h e   i d i o m   o r   ge s tur e   a n d   c o n t e x t ua l i z e   i t s   m e a ni ng  w i t hi t h e   c u l t ur e   i t   o r i g i n a t e s .   S ub s e que n t l y ,   m o de l s   we r e   t a s ke w i t h   t r a ns l a t i n t h e s e   c u l t ur a l ly   r o ot e e x pr e s s i o n s   o r   i n t e r pr e t i n t h e i r   m e a ni ngs   i a n o t h e r   l a n gua ge ,   e n s ur i ng  t h a t   n ua n c e s   a n c u l t ur a l   s i g nif i c a n c e   we r e   pr e s e r v e a s   m uc h   a s   po s s i bl e .   S uc h   a n   e n d e a v o r   h i g hli g h t s   t h e   c o m p l e xi t y   o f   l a n gua ge   a n c u l t ur e ,   de m o ns t r a t i n t h e   i n t r i c a t e   c o n n e c t i o n s   b e t we e n   vi s ua l   r e pr e s e n t a t i o n s   a nd  v e r b a e x pr e s s i o n s .   As   T a bl e   s h o ws ,   o nl y   GI T   a c hi e v e a n   a c c ur a c y   r a t e   e x c e e d i ng  60%   a c r o s s   i d i o m   t r a n s l a t i o t a s ks .   M a c e do ni a n   i d i o m s   we r e   o f t e n   m i s i n t e r p r e t e d ,   pa r t i c u l a r l y   t h o s e   i nv o l vi ng  pr o v e r b s   w i t h   vi s ua l   m e t a ph o r s .   Qua l i t a t i v e   r e vi e we r s   n o t e d   t h a t   m o de l s   l a c ke pr a g m a t i c   un d e r s t a n d i ng  a n c o n t e x t ua l   b a c kgr o un f o r   c ul t ur a l ly   e m be dde m e a ni ng.       T a bl e   4.   C or r e c t   i n t e r pr e t a t i o n   r a t e s   ( % )   o f   c u l t ur a l   i d i o m s   M o de l   A r a bi c  → E ngl is h   M a la y  →  E ngl is h   M a c e d o ni a n → E ngl is h   C L I P   48.5   46.0   38.0   mP L U G   60.2   58.1   49.5   G I T   66.3   61.0   54.3       E x a mpl e   L a ngua g e /I di o m/ p r ove r b   C L I P   mP L U G   G E T   E X  13:   A r ab ic ى ب ز ل ا   ل ي س ل ا   غ ل ب   L it e r al  m e ani ng:   T h e   f l oo d ha s   r e a c he d t h e  hi gh e s p o in t.   F ig ur at iv e  m e ani ng:   E nough is   e nough / T he  l as s tr aw .   T h e  w a t e r  i s  hi gh.   A n al y s is L it e r a a nd  mi s s e s  t he  i di o ma ti c   me a ni ng.   T h in gs  ha ve  g o ne  t oo   f a r .   A n al y s is A ppr ox im a t e s  t he   in te nd e f ig ur a ti ve   me a ni ng.   T h is  s it ua ti o n ha s  be c o m e   unbe a r a bl e I is  t he   la s s tr a w .   A n al y s is C or r e c f ig ur a ti ve   tr a ns la ti o n w it e x pr e s s iv e   a c c u r a c y .   E X  14:   M al ay B a ga m e l e pa s ka ba tu k di   ta ngga   L it e r al  m e ani ng:   L ik e   c o ughi ng  o th e  s ta ir s .   F ig ur at iv e  m e ani ng:   D oi ng s om e th in hal f - he ar te dl y  /  P oor  e ff o r t.   A  pe r s o n c o ughi ng  o s ta ir s .   A n al y s is L it e r a l;   c o mpl e t e l y  mi s s e s  t he   f ig u r a ti v e   in te n t.   D o in g s o me th in w it ho ut  s e r i o us ne s s .   A n al y s is D e c e nt   a ppr ox im a ti o n.   A c ti ng w it h n o  r e a e f f or o r   c o mm it m e nt , j us f or  s ho w .   A n al y s is M o s a c c ur a t e  i c o nt e x a nd t o ne .   E X  15:   M ac e d on ia n / Д а   т и   с е   к р е н е   к ос а т а   L it e r al  m e ani ng:   F o r   y ou r  ha ir  t o   s ta nd up.   F ig ur at iv e  m e ani ng:   T o be   e x tr e m e l y   s c ar e d o r  s hoc k e d.   Som e one  w it h t he ir   hai r  s ta ndi ng up.   A n al y s is I nt e r pr e t e li te r a ll y , p o s s ib l y  a s   s ta ti c  e l e c tr i c it y   or   ha ir s t y l e .   T o be  f r ig ht e n e d or   al ar m e d.   A n al y s is C lo s e  t o   c o r r e c m e a ni ng.   A  t e r r if y in g e x pe r ie nc e  t hat   m ak e s  y ou r  hai r  s t and on  e nd.   A n al y s is A c c ur a t e  a nd  id io ma ti c c a pt ur e s   e m o ti o na r e s o na nc e .     An   a n a ly s i s   o f   o v e r   200  e r r o n e o us   o r   bi a s e o utput s   r e v e a l e t h r e e   ke y   pa t t e r n s f i r s t ,   t h e r e   i s   a   s i g nif i c a n t   t e n de n c y   t o wa r ds   o v e r - we s t e r n i z a t i o n ,   a s   vi s ua l   o ut pu t s   f o r   n o n - W e s t e r n   l a n gua ge s   o f t e de f a u l t   to  E ur o c e n t r i c   dr e s s ,   a r c hi t e c t ur e ,   o r   o bj e c t s .   S e c o n d,   ge n de r   s t e r e ot y p i ng  i s   pr e va l e n t ;   f o r   i ns t a nc e ,   de s c r i pt i o ns   o f   pr o f e s s i o n a l   r o l e s ,   s uc h   a s   do c tor   or   t e a c h e r ,   f r e que n t l y   e xhi bi t   ge n de r   bi a s ,   w i t h   n ur s e s   o f t e po r tr a y e a s   f e m a l e   a n e n g i ne e r s   t y p i c a ll y   de p i c t e a s   m a l e .   L a s t l y ,   t h e r e   i s   a   f r e que n t   o c c ur r e n c e   o f   l i t e r a l   t r a n s l a t i o n   o f   f i gur a t i ve   l a n gu a ge ,   wh e r e   i d i o m s   li ke   b r e a o n e   i s   b a c k   a r e   t r a n s l a t e l i t e r a ll y ,   t h us   m i s s i ng   t h e i r   i n t e n de f i gur a t i v e   m e a ni ngs .   E x a m p l e s   13,   14,   a n 15  pr o vi de   i ns i g h t s   i n t o   t h e s e   po i n t s .   As   s h o wn   i n   T a bl e   5,   t h e   r e s u l t s   de m o ns t r a t e   t h a t   G I T   h a s   c o n s i s t e n t l y   pe r f o r m e t h e   be s t   a c r o s s   v a r i o us   m u l t il i ngua l   a n m u l t i m o da l   t a s ks ,   pa r t i c u l a r ly   i n   s t r uc t ur e d   t a s ks .   T h e s e   i n c l ude   i m a ge   c a pt i o ni ng,   whi c h   c a n   ge n e r a t e   de t a i l e de s c r i pt i o ns   o f   i m a ge s ,   a n VQ A ,   wh e r e   i t   a c c ur a t e l y   r e s po n ds   to   que s t i o ns   b a s e o n   vi s ua l   c o n t e n t .   T hi s   c o n s i s t e n c y   i nd i c a t e s   a   r o b us t   c a pa bi li t y   i n   u n de r s t a n d i ng  a n pr o c e s s i n g   d i f f e r e n t   f o r m s   o f   da t a ,   m a k i ng  i t   a   v e r s a t i l e   t oo l   in   v a r i o us   a pp li c a t i o n   a r e a s .   I n   c o n t r a s t,   t h e   c o m bin a t i o n   o f   W hi s pe r   a n GPT - 4V   h a s   de m o ns t r a t e i m pr e s s i ve   f l ue nc y   i n   s pe e c h - to - i m a ge   s t or y t e l li ng,   e na bli ng  a   s e a ml e s s   t r a n s i t i o n   f r o m   v e r b a l   n a r r a t i ve s   to   v i s u a l   r e pr e s e n t a t i o n s .   Ho we v e r ,   de s pi t e   i t s   l i ngu i s t i c   f l u i d i t y   a n c r e a t i vi t y   s t r e n gt h s ,   t hi s   m o de l   e xhi b i t s   n o t a bl e   s h o r t c o m i ngs   r e ga r d i ng   de e c u l t ur a l   gr o un d in g.   T hi s   l a c o f   a r t i s t i c   de pt h   m a y   hi nde r   i t s   e f f e c t i v e ne s s   i n   c o n v e yi ng  n u a n c e m e s s a ge s   i n   d i v e r s e   c ul t ur a l   c o n t e x t s ,   vi t a l   f o r   e f f e c t i ve   c o m m u ni c a t i o n .       T a bl e   5.   M o de l   c a pa bil i t y   c o m pa r i s o n   M o de l   M ul ti li ngua t e x t   V is ua u nde r s ta ndi ng   S pe e c i nput   C ul tu r a s e ns it iv i t y   C L I P   M o de r a te   S tr o ng   No   L o w   mP L U   S tr o ng   S tr o ng   L im it e d   M o de r a te   G I T   V e r y   s tr o ng   V e r y   s tr o ng   No   M o de r a te   W hi s pe r  +  G P T - 4V   S tr o ng   V e r y   s tr o ng   S tr o ng   M o de r a te   Evaluation Warning : The document was created with Spire.PDF for Python.