I n t e r n at ion al   Jou r n a l   of   I n f o r m at ics   an d   Com m u n icat ion   T e c h n ol ogy  ( I J - I CT )   Vo l .   1 5 ,   N o .   2 ,  J un e   20 2 6 ,   pp.   823 ~ 838   I S S N:  2252 - 8776 ,  DO I :  10 . 11591/i ji c t . v 1 5 i 2 . pp 82 3 - 838             823       Jou r n al  h o m e page :  ht tp: // ij ict . iaes c or e . c om   C an   m ac h i n e s i m agi n e ? C r itic al   t h in k i n g an d  c u ltu r al   r e ason in g i n   m u lti m od a l - m u ltil in g u al   AI       M oh am m ad   Aw ad   Al Af n an 1 ,  S it i   F at im ah   M oh d Z u k i 2 ,   S h e f a  M oh am m ad   Al Af n an 3   1 D e pa r tm e nt   of   L ib e r a l  A r ts , A m e r i c a n U ni v e r s it y   of  t h e  M id dl e  E a s t,   E ga il a ,   K uw a it   2 U ni v e r s it y   T e c hn o l o g y  M A R A , S ha h A la m, M a la y s ia   3 I nt e r na ti o na l  I s la mi c  U ni v e r s it y  M a la y s ia ,  K ua la   L umpur , M a l a y s ia       Ar t ic l e   I n f o     AB S T RA CT   A r ti c le  h is tor y :   R e c e i ve d   J u l   23,   2025   R e vi s e d  M a r   30,   2026   A c c e pt e d  A pr   15,   2026       E ffec t i v e   c o mmu n i c at i o n   a c ro s s   l a n g u ag e s   an d   c u l t u re s   i s   e s s en t i al   i n   t o d a y ’s   i n t e r co n n ec t ed   w o rl d .   M u l t i mo d a l - m u l t i l i n g u al   l a n g u ag e   mo d el s   (MMML Ms )  ai m   t o   ad v an ce  t h i s   g o a l   b y   i n t eg rat i n g   t e x t ,   s p e ech ,   a n d   v i s u al   u n d e rs t an d i n g   a c ro s s   d i v e rs e   l i n g u i s t i c   c o n t e x t s .   T h i s   s t u d y   ev al u at e s   fo u r  l e a d i n g   MMML Ms - G I T ,   m PL U G ,   CL I P ,   an d   W h i s p e r  +   G PT - 4V - o n   c ro s s - l i n g u al   a n d   c r o s s - m o d al   t as k s ,   i n c l u d i n g   i m a g e   c ap t i o n i n g ,   v i s u a l   q u e s t i o n   an s w e r i n g ,   s p eec h - to - i m ag e  g en e rat i o n ,   an d   i d i o m at i c  t ran s l at i o n .   Pe rfo r m a n ce  w as   as s e s s ed   i n   h i g h - r e s o u r ce   ( E n g l i s h ,   A rab i c ) ,   med i u m - re s o u r ce   (Ma l a y ),   a n d   l o w - r e s o u r ce   (Maced o n i a n )  s e t t i n g s .   R e s u l t s   s h o w   s t ro n g   p e rf o r m an ce   i n   s t ru c t u r e d   t as k s   b u t   n o t ab l e   l i mi t at i o n s   i n   c u l t u ral   re as o n i n g ,   f i g u rat i v e   l a n g u ag e   i n t e rp re t at i o n ,   an d   s em an t i c   g ro u n d i n g   i n   l o w - r e s o u r ce   en v i ro n me n t s .   G I T   d el i v e r e d   t h e  m o s t   co n s i s t e n t   m u l t i l i n g u a l   re s u l t s ,   w h i l e   W h i s p e r  +   G PT - 4 V   e x cel l ed   i n   f l u en cy   y e t   l a ck e d   c u l t u ral   s e n s i t i v i t y .   T o   ad d r e s s   t h e s e   g ap s ,   t h e   s t u d y   p ro p o s e s   cu l t u ra l l y   i n fo r med   e v a l u at i o n   p ro t o co l s   t h at   i n t e g rat e   q u an t i t at i v e   me t ri c s   s u ch   as   BL E U ,   CI D E r,   an d   F1   w i t h   q u al i t at i v e,   co mm u n i t y - cen t e r ed   ap p ro ac h e s .   T h e s e   i n c l u d e   c r o s s - c u l t u ral   a n n o t at i o n   p an e l s ,   i n t e r - rat e r  r e l i ab i l i t y   v a l i d at i o n   u s i n g   Co h e n ’s   k a p p a,   an d   a  n o v el   “ c u l t u ral   f i d el i t y ”   me t ri c   t o   me as u r e  al i g n me n t   w i t h   cu l t u ra l l y   s p eci fi c   n o r m s .   T h e   f i n d i n g s   em p h as i z e   t h e  n eed   fo r  i n cl u s i v e  d at as e t s ,   e t h i c al   d ev e l o p men t ,   a n d   i n t e rd i s ci p l i n ar y   c o l l ab o rat i o n   t o   e n s u r e  MMM L Ms   s u p p o rt   e q u i t ab l e  an d   c u l t u ra l l y   a w ar e  g l o b al   c o mmu n i c at i o n .   K e y w o r d s :   C r o s s - c u l t ur a l   c o m m u ni c a t i o n   E t hi c a l   A I   L o w - r e s o u r c e   l a n gua g e s   M u l t i li ngua l   A I   M u l t i m o da l   l a n gua ge   m o de l s   Th i s   i s   a n   o p en   a c ces s   a r t i c l e  u n d e r   t h e  CC  B Y - SA   l i cen s e.     C or r e s pon din g  A u th or :   M o h a m m a d  A w a d  Al A f na n   De pa r t m e n t   o f   L i b e r a l   A r t s ,   Am e r i c a n   Uni ve r s i t y   o f   t h e   M i dd l e   E a s t   B l o c k  6,   B ui l d i ng  1,   E ga i l a ,   K uw a i t   E m a i l :  M o h a mm a d. a l - a f na n@ a u m . e du. kw       1.   I NT RODU C T I ON   I n   a n   e r a   o f   g l o b a li z a t i o n   a n d  d i g i t a l   t r a n s f o r m a t i o n ,   c o m m u ni c a t i o n   a c r o s s   li ngu i s t i c   a n d  c u l t ur a l   b o un da r i e s   h a s   be c o m e   e s s e n t i a l   to   i n t e r n a t i o n a l   c o l l a b o r a t i o n ,   e c o n o m i c   de v e l o p m e n t ,   a n d  s o c i a l   c o h e s i o n   [ 1] .   H o we v e r ,   de s p i t e   s i g ni f i c a n t   t e c h n o l o g i c a l   a d v a n c e s ,   l i ngu i s t i c   d i ve r s i t y   a n d  t h e   pr o l i f e r a t i o n   o f   c o m m u ni c a t i o n   m o da l i t i e s   c o n t i n ue   to  pr e s e n t   s u b s t a n t i a l   c h a ll e n ge s   to  m ut ua l   un de r s t a n d i ng.   T r a d i t i o n a l   l a n gua ge   pr o c e s s i ng  s y s t e m s ,   whil e   e f f e c t i v e   w i t hi n  s pe c if i c   li ngu i s t i c   o r   m o da l   c o nf i ne s ,   o f t e n   f a ll   s h o r t  in  a ddr e s s i ng  t h e   c o m p l e x   de m a n d s   o f   r e a l - wo r l d  m u l t i li ngu a l   a n d  m u l t im o da l   c o m m u ni c a t i o n   [ 2] .   T hi s   ga p   un de r s c o r e s   t h e   pr e s s i n g  n e e d  f o r   i n t e gr a t e d   a ppr o a c h e s   t h a t  t r a n s c e n d  m o n o l i ngua l   a n d  m o n o m o da l   pa r a d i g m s .   O n e   o f   t h e   m o s t   pr o m i s i ng  de v e l o p m e n t s   i n   t hi s   r e ga r d  i s   t h e   e m e r ge n c e   o f   m u l t im o da l - m u l t i li ngu a l   l a n gua ge   m o de l s   ( M M M L M s ) ,   A I   s y s t e m s   de s i g n e d  to  i n t e r pr e t  a n d  ge n e r a t e   c o n t e n t  a c r o s s   m u l t i p l e   h u m a n   l a n gua ge s   a n d  c o m m u ni c a t i v e   m o da l i t i e s   [ 3] .   Evaluation Warning : The document was created with Spire.PDF for Python.
                                I S S N :   2252 - 8776   I n t   J   I n f   &   C o m m u n   T e c hn o l ,  Vo l .   1 5 ,   N o.   2 ,  J un e   20 2 6 :   823 - 838   824   M M M L M s   r e pr e s e n t   a   n o v e l   c o nv e r ge n c e   o f   t w o   p r e vi o us ly   d i s t i n c t   a r e a s   o f   a r t i f i c i a l   i n t e ll i ge n c e :   m u l t i li ngu a l i s m ,   whi c h   e n a bl e s   l a n gua ge   m o de l s   to  p r o c e s s   a n d  pr o duc e   m u l t i p l e   l a n gua g e s ,   a n d   m u l t i m o d a l i t y ,   w hi c h   f a c il i t a t e s   t h e   un de r s t a n d in g  a n d  ge n e r a t i o n   o f   c o n t e n t   a c r o s s   v a r i o us   da t a   t y pe s ,   i nc l u d i ng  t e x t ,   s pe e c h ,   i m a ge s ,   a n d  vi de o   [ 4] .   W hil e   s i g ni f i c a n t   p r o gr e s s   h a s   b e e n   m a de   i n   e a c h   a r e a   i nde pe n de n t l y ,   t h e i r   i n t e gr a t i o n   h a s   o nl y   r e c e n t l y   be c o m e   f e a s i b l e   due   t o  b r e a kt h r o ugh s   i n   m o de l   a r c hi t e c t ur e ,   pr e t r a i ni ng  s t r a t e gi e s ,   a n d  t h e   a v a il a bil i t y   o f   l a r ge ,   d i v e r s e   da t a s e t s .   T h e   r e s u l t i n g  m o de l s   o f f e r   un pr e c e de n t e d  pot e n t i a l   f o r   c r o s s - c u l t ur a l   c o m m u ni c a t i o n ,   e n a bli ng  t e x t - b a s e d  t r a n s l a t i o n   a n d   h o l i s t i c ,   c o n t e x t - s e n s i t i ve   i n t e r pr e t a t i o n   o f   m e a ni n g  i n   r e a l - wo r l d,   m u l t i m e d i a   e nvi r o nm e n t s   [ 5] .   T h e   i m po r t a n c e   o f   s uc h   c a pa bil i t i e s   i s   i n c r e a s i n g ly   e vi de n t   a c r o s s   m u l t i p l e   s e c t o r s .   I n   i n t e r n a t i o na l   d i p l o m a c y ,   f o r   e x a m p l e ,   M M M L M s   c o u l d  f a c il i t a te  m o r e   a c c ur a t e   a n d  c u l t ur a l ly   n u a n c e d  t r a n s l a t i o ns   dur i ng   n e go t i a t i o n s ,   r e duc i n g  t h e   r i s k  o f   m i s i n t e r pr e t a t i o n   [ 6] .   I n   g l o b a l   h e a l t h ,   t h e s e   m o de l s   c a n  s uppor t  d i s s e mi na t i n g  e qu i t a bl e   i nf o r m a t i o n   t h r o ugh   l o c a l i z e d  vi s ua l   a n d  a ud i o   c o n t e n t ,   pa r t i c u l a r l y   c r i t i c a l  i n   c r i s is   c o n t e x t s ,   s uc h   a s   pa n de mi c s   o r   n a t ur a l   d i s a s t e r s   [ 7] .   S i mi l a r ly ,   i n   e duc a t i o n ,   M M M L M s   c a n   pr o m ot e   i nc l us i ve   a n d  a c c e s s i b l e   l e a r ni ng  by   t r a ns l a t i n g  m u l t i m o d a l   i ns t r uc t i o n a l   m a t e r i a l s ,   s uc h   a s   i nf o gr a phi c s ,   vi de o   l e c t ur e s ,   a n d  i n t e r a c t i v e   s im u l a t i o ns ,   i n t o   m u l t i p l e   l a n gua ge s   a n d  f o r m a t s   t h a t   c a t e r   to   di v e r s e   c o gni t i v e   a n d  l i ngu i s t i c   n e e d s   [ 8] .   M M M L M s   c a n   e nh a nc e   us e r   e x pe r i e nc e   a n d  b u s i ne s s   a n d  c us t o m e r   s e r vi c e   e n ga g e m e n t   by   l o c a li z i ng  m u l t im o da l   i n t e r f a c e s   a nd  c o m m u ni c a t i o n s   i n   r e a l   t i m e   [ 9] .   T e c hn o l o g i c a ll y ,   M M M L M s   b u il d  o n   r e c e n t   a dv a n c e s   i n   l a r ge - s c a l e   t r a n s f o r m e r   a r c hi t e c t ur e s ,   s uc h  a s   GPT ,   B E R T ,   a n d  vi s i o n   t r a n s f o r m e r s   ( V i T s ) ,   whi c h   e n a bl e   m o de l s   t o   pr o c e s s   hi g h - d i m e ns i o n a l   i nput s   f r o m   d i ve r s e   s o ur c e s   [ 10] .   T r a i ni ng  s uc h   m o de l s   r e qu i r e s   v a s t   da t a   a n d  s o phi s t i c a t e d  s t r a t e gi e s   f o r   c r o s s - m o da l   a li g nm e n t   a n d  m u l t i li ngua l   to ke ni z a t i o n .   F o r   i n s t a n c e ,   a l i g ni ng  a n   i m a ge   w i t h   c a pt i o n s   i n  di f f e r e n t   l a n gua ge s   o r   s y n c h r o ni z i ng  s po ke n   d i a l o gue   w i t h  c o r r e s p o n d i n g  vi s u a l   s c e ne s   e n t a i l s   t h e   c r e a t i o n   o f   j o i n t   e m b e dd i ng  s pa c e s   t h a t  p r e s e r v e   s e m a n t i c   e qu i v a l e n c e   a c r o s s   l a n gua ge s   a n d  m o da l i t i e s .   M or e o v e r ,   m o de l   a r c hi t e c t ur e s   m u s t   b e   a bl e   to   di s a m b i gua t e   c o n t e x tua l   m e a ni ng,   e s pe c i a ll y   i n  s e t t i n gs   w h e r e   a   s i ng l e   ge s t ur e ,   wo r d ,   or   vi s ua l   c ue   m a y   c a r r y   c u l t ur e - s pe c i f i c   s i g nif i c a n c e   [ 11] .   W hil e   M M M L M s   o f f e r   pr o m i s i ng  s o l ut i o ns   to  l o n gs t a n d i ng  c o m m u ni c a t i o n   b a r r i e r s ,   t h e i r   de v e l o p m e n t   i s   n o t  wi t h o ut  s i g nif i c a n t   c h a l l e nge s .   F i r s t ,   t h e r e   i s   t h e   i s s ue   o f   da t a   i m ba l a n c e .   H i g h - r e s o ur c e   l a n gua ge s ,   s uc h   a s   E n g li s h ,   M a n da r i n ,   a n d  S pa ni s h ,   do m i na t e   a v a il a bl e   t r a i ni ng  c o r p o r a ,   whi l e   l o w - r e s o ur c e   a n d  e n da n ge r e d  l a n gua ge s   a r e   o f t e n   un de r r e pr e s e nt e d   o r   e x c l ud e d  e n t i r e l y .   T hi s   n o t  o nl y   p e r pe t ua t e s   e xi s t i ng   i ne qu i t i e s   b ut   a l s o   l im i t s   t h e   a ppl i c a bi li t y   o f   t h e s e   m o de l s   i n   d i ve r s e   g l o b a l   c o n t e x t s .   E f f o r t s   to  a dd r e s s   t hi s   i s s ue   h a ve   i n c l ude d  t r a n s f e r   l e a r ni ng,   s y n t h e t i c   da t a   ge n e r a t i o n ,   a n d  c o m m u ni t y - b a s e d  da t a   c o l l e c t i o n ,   y e t  t h e s e   a ppr o a c h e s   r e m a i n   r e s o ur c e - i n t e n s i ve   a n d  r e qu i r e   c a r e f u l   e t hi c a l   o v e r s i g h t .   S e c o n d,   t h e   c o m put a t i o na l   a n d  e nvi r o nm e n t a l   c o s t s   of   t r a i ni ng  M M M L M s   a r e   s ub s t a n t i a l   [ 12] .   F us i ng   m u l t i p l e   m o da li t i e s   a n d  l a n gu a ge s   s i g nif i c a n t l y   i nc r e a s e s   t h e   m o de l ’ s   s i z e   a n d  c o m p l e xi t y ,   de m a n d i ng  i mm e ns e   pr o c e s s i ng  po we r   a n d  e n e r gy   c o ns u m pt i o n .   T hi s   r a i s e s   i m po r t a n t  que s t i o n s   r e ga r d i n g   t h e   s us t a i n a bil i t y   a n d  s c a l a bil i t y   o f   t h e s e   s y s t e m s ,   pa r t i c u l a r l y   w he n   de p l o y e d  i n  r e g i o ns   w i t h   li mi t e d  i n f r a s t r uc t ur e .   R e s e a r c h   i n t o   m o r e   e f f i c i e n t   a r c hi t e c t ur e s ,   s uc h   a s   s pa r s e   t r a n s f o r m e r s   a n d  m o de l   d is t i ll a t i o n  t e c h ni que s ,   i s   o n go i n g  a n d  r e pr e s e n t s   a   c r i t i c a l   d i r e c t i o n   f o r   f ut ur e   w o r k.   T hi r d,   a n d  pe r h a ps   m o s t   c r i t i c a ll y ,   e t hi c a l   a n d   s o c i o c u l t ur a l   im p li c a t i o n s   m u s t   b e   c o n s i de r e d.   M M M L M s ,   l i ke   a l l   m a c hi ne   l e a r ni ng  s y s t e m s ,   r e f l e c t   t h e   bi a s e s   a n d  l im i t a t i o n s   o f   t h e i r   t r a i ni ng  da t a   [ 13] .   W h e n   t h e s e   bi a s e s   pe r t a i n   to  l a n gu a ge ,   c u l t ur e ,   ge n de r ,   o r   e t h ni c i t y ,   t h e   c o n s e que n c e s   c a n   b e   e s pe c i a ll y  h a r m f u l .   F o r   e x a m p l e ,   a   m o de l   t r a i n e d  o n   bi a s e d  i m a ge - t e x t   pa i r s   m i g h t   pe r pe t ua t e   s t e r e ot y pe s   i n  vi s ua l  s to r y t e l li ng.   A t   t h e   s a m e   t i m e ,   i n a c c ur a c i e s   i n   t he   tr a n s l a t i o n   o f   h e a l t h - r e l a t e d  c o n t e n t   c o ul d  l e a d   to  r e a l - wo r l d  h a r m .   T h e r e f o r e ,   t h e   de s i g n   a n d  de p l o y m e n t   o f   M M M L M s   m u s t   b e   gu i de d  by   a l go r i t hmi c   f a i r ne s s ,   li ngu i s t i c   e qu i t y ,   a n d  c u l t ur a l   s e ns i t i vi t y   pr i n c i p l e s .   I n t e r di s c i p li na r y   c o l l a b o r a t i o n ,   wi t h   li ngu i s t s ,   a n t h r o po l o g i s t s ,   e t hi c i s t s ,   a n d  c o m m u ni t y   s t a ke ho l de r s ,   i s   e s s e n t i a l   t o  e n s ur e   t h a t  t h e s e   s y s t e m s   a r e   b ot h   t e c h n o l o g i c a ll y   r o b us t   a n d  s o c i a l ly   r e s po ns i bl e .   M M M L M s   a l s o   r a i s e   c o m p l e x   que s t i o n s   r e ga r d i n g  t h e   n a t ur e   o f   m e a ni ng  i t s e l f   [ 14 ] ,   [ 15 ] .   W hil e   t r a di t i o na l   t r a n s l a t i o n   f o c us e s   o n   l i ngu i s t i c   e qu i v a l e n c e ,   M M M L M s   c o nv e y   m u l t im o da l   m e a ni ng  a c r o s s   c u l t ur a l   a n d  l i ngu i s t i c   b o un d a r i e s .   T hi s   i nv o l ve s   l e xi c a l   t r a ns l a t i o n   a n d   t h e   a c c ur a t e   i n t e r pr e t a t i o n  o f   n o n - v e r b a l   c ue s   s uc h   a s   f a c i a l   e x pr e s s i o n s ,   b o d y   l a n gu a ge ,   to n e   o f   v o i c e ,   a n d  c u l t ur a l   s ym b o l i s m .   T h e s e   e l e m e n t s   a r e   o f t e n   d e e p l y   e m be dde d  i n   l o c a l   c o n t e x t s   a n d  m a y   n o t  h a v e   d i r e c t   e qu i v a l e n t s   a c r o s s   l a n g ua ge s   o r   c u l t ur e s .   T h e r e f o r e ,   M M M L M s   m us t   b e   e qu i ppe d   w i t h   pr a g m a t i c   a n d  c u l t ur a l   c o m pe t e nc e ,   whi c h   r e m a i ns   a   f o r m i da bl e   c h a ll e n ge   i n   c o m put a t i o n a l   m o de li ng.   De s p i t e   t h e s e   li mi t a t i o n s ,   e a r ly   im p l e m e n t a t i o ns   o f   M M M L M s   h a ve   de m o n s t r a t e d  e n c o ur a gi n g   r e s u l t s   [ 16] .   M ul t i li ngua l ,   m u l t i m o d a l ,   a n d  m u l t i t a s k  pr e t r a i ni ng   ( M 3P )   a n d  ge ne r a t i v e   im a g e - to - t e x t  t r a n s f o r m e r   ( GI T )   h a ve   s h o wn   t h e   f e a s i b il i t y   o f   i nt e gr a t i n g  m u l t il i ngua l   a n d  m u l t im o da l   c a pa bil i t i e s   w i t hi n   a   s i n g l e   f r a m e wo r k.   C o m m e r c i a l   m o de l s   l i k e   GPT - 4V,   Ge m i ni ,   a n d  c o n t r a s t i v e   l a n gua ge - im a ge   pr e t r a i ni ng   ( C L I P )   h a ve   b e gu n   t o  i n c o r po r a t e   i m a g e ,   t e x t,   a n d  s pe e c h   un d e r s t a n d i ng  a c r o s s   m u l t i p l e   l a n gua ge s ,     Evaluation Warning : The document was created with Spire.PDF for Python.
I n t   J   I n f   &   C o m m u n   T e c hn o l     I S S N:   2252 - 8776       C an  mac hines   imagine?  C r it ical  thi nk ing  and  c ult ur al  r e as oning   …  ( M ohamm ad  A w ad  A lA f nan )   825   s e tt i n g  n e w  b e n c hm a r k s   f o r   pe r f o r m a nc e .   Ho we v e r ,   c o m pr e h e ns i ve   e v a l ua t i o n s ,   pa r t i c u l a r ly   i n  r e a l - wo r l d,   l o w - r e s o ur c e ,   o r   hi g h - s t a ke s   s e t t i n gs ,   r e m a i n   li mi t e d  a n d  r e pr e s e n t   a   f e r t i l e   a r e a   f o r   f ur t h e r   i nv e s t i ga t i o n .   T h e   i n t e gr a t i o n   o f   m u l t i m o d a l   a n d  m u l t il i ngua l   pr o c e s s i n g  t h us   s i g n a l s   a   t r a n s f o r m a t i ve   m o m e n t   i n  t h e   e v o l ut i o n   o f   l a n gu a ge   t e c hn o l o g i e s   [ 17] .   M M M L M s   n o t   o nl y   pr o m i s e   m o r e   f l u i d  a n d  i nc l us i v e   c o m m u ni c a t i o n   a c r o s s   b o r de r s   b ut   a l s o   c h a ll e n ge   e xi s t i n g  pa r a d i g m s   i n  a r t i f i c i a l   i n t e l li ge nc e ,   l i ngu is t i c s ,   a n d   g l o b a l   de v e l o p m e n t .   A s   s u c h ,   t h e y   i nvi t e   a   r e - e xa mi na t i o n   o f   w h a t   i t   m e a n s   t o   “ un de r s t a n d ”   a n d  “ t r a n s l a t e ”   i n  a   m u l t i li ngua l ,   m u l t im e d i a   wo r l d.   De ve l o p i n g   t h e s e   m o de l s   i s   n o t   m e r e ly   a   t e c hni c a l   c h a ll e n g e ,   b ut   a   c u l t ur a l   a n d  e t hi c a l   pr o j e c t   t h a t  m u s t   c e n t e r   o n   h u m a n   v a l ue s ,   l i ngu i s t i c   d i v e r s i t y ,   a n d  e qu i t a bl e   a c c e s s   a t   e v e r y   s t a ge   [ 18] .   I n   l i g h t   o f   t h e s e   c o n s i de r a t i o n s ,   t hi s   a r t i c l e   a i m s   to   c o m pr e he n s i ve ly   e x p l o r e   M M M L M s   a s   a   f o u n da t i o n a l   t e c hn o l o g y   f o r   gl o b a l   c o m m u ni c a t i o n   [ 19] .   I t  b e g i ns   by   o ut l i ni ng  t h e   t h e o r e t i c a l   a nd   a r c hi t e c t u r a l   u n de r p i nni ng s   o f   m u l t im o da l   a n d  m u l t i li ngu a l   s y s t e m s ,   t h e n   s ur ve y s   c ur r e n t   m o de l s   a n d   da t a s e t s .   S ub s e que n t l y ,   i t   e x a m i ne s   ke y   c h a ll e nge s ,   r a n g i n g  f r o m   c o m put a t i o n a l   s c a l a bil i t y   t o   c u l t ur a l   r e pr e s e n t a t i o n ,   a n d  pr o p o s e s   a   f r a m e wo r k  f o r   e v a l ua t i n g  t h e   pe r f o r m a nc e   a n d  s o c i a l   im pa c t   o f   M M M L M s .   U l t i m a t e l y ,   i t   pr o vi de s   r e c o m m e n da t i o ns   f o r   i n t e r d i s c i p li na r y   r e s e a r c h   a n d  po l i c y   de v e l o p m e n t   to  e n s ur e   t h a t  t h e s e   t e c hn o l o g i e s   s e r v e   t h e   b r o a de s t   p o s s i bl e   r a n g e   o f   us e r s   e qu i t a bly   a n d  r e s po n s i b ly .       2.   L I T E RA T UR E   RE VI E W   T h e   n a t ur a l   l a n gua g e   pr o c e s s i n g  ( NL P )   f i e l d  h a s   un de r go n e   a   s i g nif i c a n t   t r a n s f o r m a t i o n   o v e r   t h e   pa s t   de c a de ,   pr i m a r il y   dr i ve n   by   t h e   de v e l o p m e n t   o f   l a r ge - s c a l e ,   pr e - tr a i ne d  m o de l s   [ 20 ] ,   [ 21] .   T h e s e   m o de l s ,   s uc h   a s   B E R T   [ 22] ,   GPT - 2  [ 23] ,   a n d  GPT - 3  [ 24] ,   h a v e   de m o n s t r a t e d   r e m a r ka bl e   pe r f o r m a n c e   a c r o s s   a   w i de   r a n ge   o f   l a n gua g e   t a s ks .   I ni t i a ll y   de s i g n e d  f o r   m o n o l i ngua l   t a s ks   i n   E n g li s h ,   t h e y   h a v e   s i nc e   e v o l v e d  i n t o   m u l t i li ngu a l   m o de l s ,   c a pa bl e   o f   pr o c e s s i ng  a n d  g e n e r a t i n g  t e x t   i n   o v e r   100  l a n gua g e s .   T h e   de ve l o p m e n t   o f   m u l t i li ngu a l   m o de l s ,   s uc h   a s   m B E R T   ( m u l t il i ngu a l   B E R T )   a n d  XL M - R   [ 25] ,   h a s   b e e n   p i v o t a l   i n   e x pa n d i ng   t h e   i n c l us i v i t y   o f   l a n gua g e   t e c hn o l o g i e s .   Ho we ve r ,   t h e s e   m o de l s   pr i m a r il y   f o c us   o n   t e x t - b a s e d  i n put   a n d   o u t pu t,   a n d  d o   n ot  n a t i ve l y   h a n d l e   o t h e r   m o de s   o f   c o m m u ni c a t i o n   s uc h   a s   im a ge s ,   s pe e c h ,   o r   vi de o .   P a r a l l e l   t o  a dv a nc e m e n t s   i n   m u l t il i ngua l   m o de li n g,   m u l t i m o da l   l e a r ni ng  h a s   ga i ne d  s i g nif i c a n t   m o m e n t u m .   M o de l s   s uc h   a s   C L I P   [ 26]   a n d  D A L L · E   [ 27]   h a v e   de m o n s t r a t e d  t h e   po we r   o f   c o m bi nin g  vi s ua l  a n d  t e x t ua l   r e pr e s e n t a t i o n s   i n   a   u ni f i e d  e m be dd in g  s pa c e .   T h e s e   m o de l s   l e v e r a ge   c o n t r a s t i ve   l e a r ni ng  o r   a uto r e gr e s s i v e   ge n e r a t i o n   to   a s s o c i a t e   i m a g e   f e a t ur e s   w i t h   n a t ur a l   l a n gua ge   de s c r i pt i o n s ,   e n a bli ng   a pp l i c a t i o ns   i n   i m a ge   c a pt i o ni ng,   vi s u a l   que s t i o n   a ns we r i n g   ( VQ A ) ,   a n d  z e r o - s h ot   c l a s s i f i c a t i o n .   S i mi l a r l y ,   s pe e c h - t e x t   i n t e gr a t i o n   h a s   a d v a nc e d  t h r o ugh   m o de l s   li ke   W hi s p e r   [ 28] ,   whi c h   pr o vi de   hi g h - qua li t y   t r a n s c r i pt i o n   a n d  t r a n s l a t i o n   c a pa bi li t i e s .   De s p i t e   th e s e   s uc c e s s e s ,   e a r l y   m u l t i m o d a l   m o de l s   o f t e n   o p e r a t e d  i n  m o n o l i ngua l   e nvi r o nm e n t s   a n d  c o u l d  n o t   ge n e r a l i z e   a c r o s s   l a n gua g e s .   T h e   c o nv e r ge n c e   o f   t h e s e   t w o   s t r a n ds ,   m u l t i m o d a l   a n d  m u l t i li ngua l   m o de li ng,   h a s   o nly   r e c e n t ly   b e gu n   t o   m a t e r i a l i z e   i n   M M M L M s .   One   o f   t he   e a r l i e s t   a tt e m pt s   to   e x p l o r e   t h i s   i n t e r s e c t i o n   wa s   t h e   Uni c o de r - VL   [ 29]   a n d  M 3P   [ 30] ,   whi c h   c om b i ne d  m u l t i li ngu a l   t e x t  r e pr e s e n t a t i o n s   w i t h  vi s u a l   un de r s t a n d i ng.   T h e s e   m o de l s   we r e   p r e - t r a i n e d  o n   im a ge - t e x t   pa i r s   f r o m   m u l t i p l e   l a n gua ge s ,   e n a bl i n g  c r o s s - li ngua l   im a ge   r e t r i e va l   a n d  c a pt i o ni ng  a c r o s s   v a r i o us   l a n gua ge s .   M 3P   i n   pa r t i c u l a r   de m o n s t r a t e d  t h a t   pr e tr a i ni ng  a c r o s s   b ot h   m o da l i t i e s   a n d  l a n gua g e s   l e a ds   to  pe r f o r m a n c e   ga i ns   i n   m u l t il i ngua l   vi s i o n - l a n gua g e   t a s ks .   H o we v e r ,   s uc h   m o de l s   we r e   l im i t e d  by   t he   a v a il a bil i t y   o f   pa r a l l e l   m u l t im o da l   da t a ,   pa r t i c u l a r ly   f o r   l o w - r e s o ur c e   l a n gua ge s .   F ur t h e r   a dva n c e m e n t s   we r e   m a r ke d  by   de ve l o p i n g   m o de l s   s uc h   a s   m P L UG   [ 31]   a n d  GI T   [ 32] ,   whi c h   i n t e gr a t e d  i m a ge   a n d  t e x t   m o da l i t i e s ,   f o c us i n g  o n   m u l t il i ngua l   da t a s e t s .   T h e s e   m o de l s   i nt r o duc e d   t r a n s f o r m e r - b a s e d  a r c hi t e c t ur e s   c a pa b l e   o f   s i m u l t a n e o us ly   ha n d l i ng  c o m p l e x  i n t e r a c t i o ns   b e t we e n   mo da l i t i e s   a n d  l a n gua ge s   [ 33] .   GI T ,   f o r   e x a m p l e ,   l e v e r a g e d  a   ge n e r a t i ve   f r a m e wo r k  t h a t   e n a bl e d  t a s ks   s uc h   a s   m u l t i li ngu a l   i m a g e   c a pt i o ni ng  a n d  c r o s s - l i ngua l   vis ua l   s t o r y t e l l i ng.   Us i n g   s h a r e d  to ke n   s pa c e s   a n d  l a n gua ge - a gn o s t i c   r e pr e s e n t a t i o n s   im pr o v e d   m o de l   ge n e r a li z a t i o n   a c r o s s   c u l t ur a l ly   d i ve r s e   da t a s e t s .   De s p i t e   t hi s ,   t h e   pe r f o r m a n c e   o f   M M M L M s   r e m a i ns   s ke we d  t o w a r ds   hi g h - r e s o ur c e   l a n gua g e s   a n d  w i de ly   a v a il a bl e   vi s ua l  c o n t e n t ,   p o i n t i n g  to   o n go i n g  i s s ue s   o f   r e pr e s e n t a t i on a l   i ne qua li t y   [ 34] .   R e c e n t   c o n tr i b ut i o n s   h a ve   a l s o   e m p h a s i z e d  i nc o r po r a t i n g  s pe e c h   a n d  vi de o   i n t o   t h e   m u l t im o da l - m u l t i li ngu a l   p i pe li ne .   T h e   wo r k  o f   C h e n   e t  al.   [ 35] ,   whi c h   ut i li z e s   V i de o L L M   a n d  i n t e gr a t e s   W hi s p e r   f o r   m u l t i li ngu a l   a ut o m a t i c   s pe e c h   r e c o gni t i o n ,   r e pr e s e n t s   a   s i g ni f i c a n t   s t e p  to wa r d   i n c l u s i ve   m u l t i m e d i a   un de r s t a n d i ng.   T h e s e   s y s t e m s   c a n   pr o c e s s   s po ke n   i nput   i n   m u l t i p l e   l a n gua ge s ,   a l i g n   i t   w i t h   vi d e o   f r a m e s ,   a n d   ge n e r a t e   c o h e r e n t   s u m m a r i e s   o r   r e s p o n s e s   i n   t h e   tar ge t   l a n gua g e .   S uc h   c a pa bil i t i e s   a r e   vi t a l   f o r   a ppli c a t i o ns   i n  e duc a t i o n ,   a c c e s s i b i li t y ,   a n d  m e d i a   l o c a li z a t i o n.   H o we v e r ,   t h e   t r a i ni ng  o f   s u c h   m o de l s   i s   c o n s t r a i ne d  b y   t h e   s c a r c i t y   o f   a l i g n e d  m u l t i li ngua l   a ud i o vi s ua l  da t a s e t s   a n d  t h e   c o m p l e xi t y   o f   i n t e gr a t i n g  t e m po r a l ly   de pe n d e n t   da t a ,   s uc h   a s   s pe e c h   a n d  vi de o ,   wi t h   s t a t i c   m o da l i t i e s   l i ke   t e x t   o r   i m a g e s .   Evaluation Warning : The document was created with Spire.PDF for Python.
                                I S S N :   2252 - 8776   I n t   J   I n f   &   C o m m u n   T e c hn o l ,  Vo l .   1 5 ,   N o.   2 ,  J un e   20 2 6 :   823 - 838   826   A   vi t a l   a s pe c t   e x p l o r e d  i n   t h e   l i t e r a t ur e   i s   t h e   n a t ur e   o f   c r o s s - m o da l   a n d  c r o s s - l i ngu a l   a l i g nm e n t .   S t udi e s   s uc h   a s   t h o s e   by   Al A f na n   [ 36]   a n d  Ya n g  e t  al.   [ 37]   h a ve   hi g hl i g h t e d  t h e   di f f i c u l t y   o f   c r e a t i n g  b o t h   l a n gua ge - a g n o s t i c   a n d  m o da l i t y - a g n o s t i c   e m b e dd i n g s .   T h e s e   e m be dd i ngs   m us t   pr e s e r v e   s e m a n t i c   r e l a t i o n s hi p s   a c r o s s   i n put   t y pe s ,   s uc h   a s   vi s ua l   c ue s   a n d  s po ke n   wo r ds ,   whi l e   r e m a i ni ng  c o h e r e n t   a c r o s s   l a n gua ge s   w i t h   d i ve r s e   gr a mm a t i c a l   a n d  s y n t a c t i c   s t r uc t ur e s .   C o n tr a s t i v e   l e a r ni ng,   s e lf - s u pe r vi s e d   pr e tr a i ni ng,   a n d  m a s ke d  m o de li ng  t e c hni que s   h a ve   b e e n   w i de ly   e m p l o y e d  t o  a ddr e s s   t h e s e   c h a l l e n ge s   [ 38] .   No n e t h e l e s s ,   a l i g ni ng  s e m a n t i c s   a c r o s s   m o da l i t i e s   a n d  l a n gu a ge s   i n   a   c u l t ur a l ly   s e n s i t i ve   m a nn e r   r e m a i ns   a   c o r e   r e s e a r c h   b ott l e ne c k.   B e y o n d  t e c hni c a l   c o n s i de r a t i o n s ,   a   gr o wi n g  b o d y   o f   s c h o l a r s hi p  h a s   e x a mi ne d  t h e   s o c i a l ,   e t hi c a l ,   a n d  c u l t ur a l   im p l i c a t i o n s   o f   M M M L M s .   B e n d e r   e t  al.   [ 39]   h a v e   a r gue d  f o r   gr e a t e r   a tt e n t i o n   t o   t h e   s o c i o - li ngu i s t i c   c o n t e x t   o f   m o de l   t r a i ni ng  a n d  de p l o ymen t ,   c a u t i o ni ng  a ga i ns t   l a n gu a ge   t e c h n o l o g i e s ’   “ c o l o ni a l ”   t e n de n c i e s   t h a t   pr i o r i t i z e   do m i na n t   l a n gua g e s   a n d  W e s t e r n   c u l t ur a l   f r a m e wo r ks .   R e s e a r c h   by   J o s hi   e t  al.   [ 40]   o n   l o w - r e s o u r c e   l a n gua ge s   r e i nf o r c e s   t hi s   c o n c e r n ,   po i n t i n g  o u t   t h a t   t h e   v a s t   m a j o r i t y   o f   e xi s t in g  NL P   s y s t e m s   a r e   o pt i m i z e d  f o r   o nl y   a   h a n d f u l   o f   m a j o r   l a n gu a ge s ,   w i t h o ut   i n t e n t i o n a l   e f f o r t s   to  i n c l ude   m a r g i na li z e d  l a n gua ge s   a n d  c o m m u ni c a t i o n   s t y les ,   s uc h   a s   s i g n   l a n gua ge s   o r   i n d i ge n o us   o r a l   t r a d i t i o n s .   M M M L M s   r i s k  e x a c e r b a t i n g  g l o b a l   d i g i t a l   d i v i de s .   T h e   l i t e r a t ur e   r a i s e s   e s s e n t i a l   que s t i o ns   a b o u t   c ul t ur a l   r e pr e s e n t a t i o n   a n d  t h e   t r a n s l a t i o n   o f   m e a ni ng.   C o m m u ni c a t i v e   e l e m e n t s   s uc h   a s   i d i o m s ,   ge s t ur e s ,   vi s u a l   s ym b o li s m ,   a n d  e m o t i o n a l   t o n e   a r e   o f t e n   de e p l y  e m b e dde d  i n   a r t i s t i c   c o n t e x t s .   P a vl i c k  [ 41] ,   e v e n   s t a t e - of - t h e - a r t  m o de l s   s t r uggl e   to  t r a n s l a t e   o r   ge n e r a t e   c o n t e n t   r e qui r i ng  c u l t ur a l   i nf e r e nc e   a c c ur a t e l y .   T hi s   i s   pa r t i c u l a r ly   pr o bl e m a t i c   i n   m u l t im o da l   c o n t e x t s ,   wh e r e   a   s i ng l e   e m o ji ,   ge s t ur e ,   o r   vi s ua l   r e f e r e n c e   m a y   c a r r y   v a s t l y   d i f f e r e n t   m e a ni ngs   de pe n d i n g  o n   t h e   a ud i e n c e .   M M M L M s   m us t   g o   b e y o n d  l i t e r a l   t r a n s l a t i o n   a n d  de v e l o p  pr a g m a t i c   c o m pe t e n c e ,   a   c h a ll e n ge   t h a t   de m a n d s   i n t e r d i s c i p li na r y   c o l l a b o r a t i o n   w i t h   f i e l ds   s uc h   a s   a n t h r o po l o gy ,   s e m i o t i c s ,   a n d  c o gni t i ve   s c ien c e .   E v a l ua t i o n   m e t r i c s   f o r   M M M L M s   a r e   a n o t h e r   a r e a   r e c e i vi ng  i nc r e a s e d  s c h o l a r ly   a t t e n t i o n .   T r a di t i o n a l   N L P   b e n c hm a r ks   s uc h   a s   B L E U  o r   R OU GE   s c o r e s   a r e   i ns u f f i c i e n t   f o r   c a pt u r i n g  pe r f o r m a nc e   a c r o s s   m u l t i p l e   m o da li t i e s   a n d  l a n gua g e s .   Ne w  m u l t i m o da l   e v a l ua t i o n   f r a m e wo r ks ,   s uc h   a s   VQ A - X   [ 42]   a n d  M u l t i 30 K   [ 43] ,   h a v e   b e e n   pr o p o s e d  to   a s s e s s   c r o s s - l i n gu a l   a n d  vi s ua l   u n de r s t a n d i ng.   Ho we v e r ,   t h e s e   da t a s e t s   o f t e n   h a ve   l im i t e d  l i ngu i s t i c   d i ve r s i t y   a n d  a r e   h e a vil y   s ke we d  to wa r d  W e s t e r n   c u l t u r a l   r e f e r e nc e s .   C a l l s   f o r   m o r e   i n c l us i ve   a n d  c u l t ur a l ly   d i ve r s e   b e n c hm a r ks   a r e   gr o wi n g,   w i t h   r e s e a r c he r s   e m p h a s i z i ng  t h e   i mpo r t a n c e   o f   us e r - c e n t e r e d  e v a l ua t i o ns   t h a t   r e f l e c t   r e a l - wo r l d   us e   c a s e s   a n d  m u l t il i ngua l   po pu l a t i o ns   [ 44] .   T h e   r o l e   o f   c o m m u ni t y - dr i v e n   da t a   c o l l e c t i o n   a n d   a nn o t a t i o n   i s   e m e r g i ng  a s   a   b e s t   pr a c t i c e   i n  t hi s   c o n t e x t .   I ni t i a t i v e s   s uc h   a s   m a s a k ha n e ,   c o m m o n   v o i c e ,   a n d  da t a   f o r   i n d i ge n o us   l a n gua ge s   h a v e   de m o ns t r a t e d   t h a t  i nv o l v i ng  l o c a l   s pe a k e r s   a n d  c o m m u ni t y   e x p e r t s   i n  de v e l o p i ng   m u l t i li ngua l   da t a s e t s   y i e l d s   m o r e   a c c u r a t e   a n d  e t hi c a ll y   s o un d  o u t c o m e s .   S uc h   a ppr o a c h e s   a r e   e s pe c i a ll y   c r i t i c a l   i n   de v e l o p i ng   M M M L M s ,   wh e r e   t h e   s e m a n t i c   a l i g nm e n t   o f   m o da l i t i e s   o f t e n   de pe n d s   o n   c u l t ur a l ly   c o n t e x t ua l i z e d  a nn o t a t i o n .   U l t i m a t e l y ,   r e s e a r c h   o n   t h e   s c a l a b il i t y   a n d  de p l o ym e n t   o f   M M M L M s   i n   l o w - r e s o ur c e   e n vi r o nm e n t s   r e m a i ns   i n   i t s   i nf a nc y   [ 45 ] ,   [ 46] .   W hil e   m o s t   m o de l s   a r e   t r a i n e d  a n d  t e s t e d  i n   hi g h - pe r f o r m a n c e   c o m put i n g   e nvi r o nm e n t s ,   t h e i r   a pp l i c a t i o n   i n   r e a l - wo r l d,   ba n dw i dt h - c o n s t r a i n e d,   a n d  l o w - l i t e r a c y   c o n t e x t s   r e m a i ns   l a r ge ly   u n e x p l o r e d.   L i g h t we i g h t   m o de l s ,   e dge   c o m put i n g,   a n d  l a n gua ge - s pe c if i c   f i ne - t uni n g  a r e   b e i ng   i nve s t i g a t e d  a s   p ot e n t i a l   s o l ut i o n s   [ 47] ;   h o we ve r ,   s i g ni f i c a n t   wor k   r e m a i ns   t o  e n s ur e   t h a t  M M M L M s   c a n   o pe r a t e   r e l i a bly   a n d  e qu i t a bly   o ut s i d e   l a b o r a tor y   c o n d i t i o n s .   As   s uc h ,   t h e   e xi s t i n g  li t e r a t ur e   pr o vi de s   a   r o b us t   f o un da t i o n   f o r   de ve l o p i n g   M M M L M s ,   w i t h  s i g nif i c a n t   s tr i de s   m a de   i n   a r c hi t e c t ur e ,   t r a i ni ng  s t r a t e gi e s ,   a n d  i ni t i a l   a pp li c a t i o n s .   No n e t h e l e s s ,   p e r s i s t e n t   c h a ll e n g e s   r e l a t e   to  da t a   di v e r s i t y ,   c u l t ur a l   r e pr e s e n t a t i o n ,   e t hi c a l   de p l o ym e n t ,   a n d  e v a l ua t i o n .   B r i dg in g  t h e s e   ga ps   r e qu i r e s   s us t a i n e d  i n t e r d i s c i p li na r y   r e s e a r c h ,   i nc l u s i ve   da t a   p r a c t i c e s ,   a n d  po l i c y   f r a m e wo r ks   pr i o r i t i z i ng  l i ngu i s t i c   j u s t i c e   a n d  d i g i t a l   e qu i t y .   As   t h e   f i e l d  pr o gr e s s e s ,   M M M L M s   m u s t   e v o l ve   n o t   o nl y   i n   r e s po n s e   to   t e c h n o l o g i c a l   i nn o v a t i o ns   b ut   a l s o   a s   s o c i o t e c h ni c a l   s y s t e m s   gr o un de d  i n   t h e   p l ur a l   r e a l i t i e s   o f   g l o b a l   c o m m u ni c a t i o n .       3.   M E T HO D   T hi s   s t ud y   a do pt s   a   m i xe d - m e t h o ds   r e s e a r c h   de s i g n   t o   e x a m i ne   t h e   c a pa bil i t i e s ,   l im i t a t i o ns ,   a n d   pot e n t i a l   o f   M M M L M s   i n   f a c il i t a t i n g  g l o b a l   c o mm u ni c a t i o n .   T h e   m e t h o do l o g y   c o m pr i s e s   t h r e e   pr i m a r y   c o m po n e n t s :  m o de l   s e l e c t i o n   a n d  b e n c hm a r k i ng ,  da t a s e t  pr e pa r a t i o n   a n d  e va l ua t i o n   pr oto c o l s ,  qu a l i t a t i v e   c o n t e n t   a n a l y s i s ,   a n d  c u l t ur a l   c o n t e x t ua l i z a t i o n .   T hi s   c o m pr e h e ns i ve   a ppr o a c h   e n a bl e s   t e c hni c a l   a s s e s s m e n t   a n d  s o c i o l i ngu i s t i c   c r i t i que ,   e ns ur i n g  t h a t   t h e   s tud y   c a pt ur e s   pe r f o r m a n c e   m e t r i c s   a n d  i n t e r pr e t i v e   de pt h  a c r o s s   di ve r s e   l i ngu i s t i c   a n d  c u l t ur a l   c o n t e x t s .       Evaluation Warning : The document was created with Spire.PDF for Python.
I n t   J   I n f   &   C o m m u n   T e c hn o l     I S S N:   2252 - 8776       C an  mac hines   imagine?  C r it ical  thi nk ing  and  c ult ur al  r e as oning   …  ( M ohamm ad  A w ad  A lA f nan )   827   3. 1.     M od e l   s e l e c t ion   an d   b e n c h m ar k in g   T h e   f i r s t   ph a s e   o f   t hi s   s t ud y   i nv o l v e d  s e l e c t i n g   r e p r e s e n t a t i ve   M M M L M s   t h a t   e x e m p li f y   t he   c ur r e n t   s t a t e   o f   t h e   a r t   i n   m u l t im o da l   a n d  m u l t il i ngu a l   c a p a bi li t ies .   T h e   m o de l s   s e l e c t e d  f o r   e v a l u a t i o n   i nc l ude :     C L I P :   pr i m a r il y   f o r   vi s i o n - l a n gua ge   a li g nm e n t .     GI T :  a   ge n e r a t i ve   m u l t im o da l   m o de l   w i t h   m u l t i li n gua l   c a pa bil i t i e s .     m P L UG :  a   m u l t il i ngua l ,   m u l t i m o d a l   t r a n s f o r m e r   m o de l   t ha t   i n t e gr a t e s   i m a ge ,   t e x t,   a n d  l i mi t e d  s pe e c h .     W hi s pe r   +   GPT - 4V   pi pe li ne :  a   c o m bi ne d  s pe e c h - to - t e x t   a n d  vi s ua l - l a n gu a ge   m o de l   c h a i n  e n a bli ng     e n d - to - e n d  m u l t im o da l - m u l t il i ngua l   pr o c e s s i ng.   T h e s e   m o de l s   we r e   s e l e c t e d  b a s e d  o n   c r i t e r i a   s uc h   a s   a r c hi t e c t ur a l   d i ve r s i t y ,   m u l t il i ngua l   c a pa bi li t i e s ,  s uppo r t  f o r   m u l t i p l e   m o da l i t i e s   ( t e x t,   i m a ge ,   a n d/o r   s pe e c h ) ,  a n d   a c c e s s i bil i t y   f o r   e va l ua t i o n     ( i . e . ,   o pe n - s o ur c e   or   r e s e a r c h - us e   a v a il a bil i t y ) .   C L I P   a n d  W hi s pe r   +   GPT - 4V  we r e   i n c l ude d  i n   t h e   s t ud y   de s p i t e   l a c k i ng  f u ll   m u l t im o da l - m u l t i li ngua l   ( M M M L M )   i n t e gr a t i o n   b e c a u s e   t h e y   r e pr e s e n t   c r uc i a l   pa r t i a l   a r c hi t e c t ur e s   t h a t   a dv a n c e   t wo  c o m p l e m e n t a r y   a xe s   o f   m u l t i m o da l   A I - vi s i o n - l a n gua ge   a n d  s pe e c h - l a n gua g e   a l i g nm e n t .   C L I P   de m o n s t r a t e s   e x c e pt i o n a l   i m a ge - t e x t   c o n t r a s t i v e   l e a r ni ng,   e s t a bli s hi ng  a   s h a r e d  e mb e dd i ng   s pa c e   whe r e   vi s ua l   a n d  l i ngu i s t i c   s e m a n t i c s   c o r r e l a t e ,   m a k i ng  i t   a   f o un da t i o n a l   m o de l   f o r   vi s ua l   gr oun d i ng.   W hi s pe r   +   GPT - 4V ,   i n   c o n t r a s t,   f o r m s   a   s pe e c h - t e x t - vi s i o n   p i pe li ne   t h r o ugh   m o dul a r   c o upl i ng:  W hi s pe r   c o n v e r t s   m u l t il i ngu a l   s pe e c h   i n t o   t e x t ,   whi l e   GP T - 4V  i n t e r pr e t s   t h a t   t e x t   a l o n g s i d e   vi s ua l   i n put ,   yi e l d i ng  n e a r - e n d - to - e n d  m u l t i m o d a l   r e a s o ni ng.   Al t h o ugh  n e i t h e r   m o de l   n a t i v e ly   pe r f o r m s   j o i n t   m u l t i li ng ua l   a n d   m u l t i m o d a l   t r a i ni ng  ( a s   GI T   o r   m P L U G  do ) ,   t h e i r   i nc l u s i o n   hi g hl i g h t s   t h e   f i e l d ’ s   t r a n s i t i o na l   p ha s e   f r o m   unim o da l   s p e c i a li z a t i o n   t o   i n t e gr a t e d  M M M L M s .   A r c hi t e c t ur a l ly ,   GI T ,   a n d  m P L UG   e m p l o y   u nif i e d   t r a n s f o r m e r   b a c k b o n e s   t r a i n e d  j o i n t l y   o n   c r o s s - l in gua l   i m a ge - t e x t   pa i r s ,   e n a bli ng  s h a r e d  to ke n   s pa c e s   a n d   c r o s s - m o da l   a t t e n t i o n;   C L I P   a n d  W hi s pe r   +   GPT - 4V,   by   c o n t r a s t,   r e l y   o n   m o du l a r   a l i g nm e n t - s e pa r a t e   e n c o de r s   b r i dge d  t h r o ugh   e m b e dd i ng s   o r   c h a i ne d  i nf e r e nc e .   T h us ,   t h e i r   s e l e c t i o n   u n de r s c o r e s   t h e   m e t h o do l o g i c a l   d i ve r s i t y   i n   t h e   e v o l ut i o n   t o wa r d  c o m p l e t e   M M M L M   s y s t e m s   a n d  i ll u s t r a t e s   h o w  m o du l a r   m o de l s   c o n t r i b ut e   e s s e n t i a l   b u il d i n g  bl o c k s   f o r   f utur e   i n t e gr a t e d,   c ul t ur a l ly   a wa r e   a r c hi t e c t ur e s .   E v a l ua t i n g  pr o pr i e t a r y   m o de l s   s uc h   a s   GPT - 4V  t h r o ugh   A P I   a c c e s s   pr e s e n t s   s i g ni f i c a n t   m e t h o do l o g i c a l   a n d  e t hi c a l   li mi t a t i o n s .   F i r s t ,   A P I - b a s e d  e v a l ua t i o n   l im i t s   t r a n s pa r e n c y ,   a s   r e s e a r c h e r s   c a nn o t  i ns p e c t   t h e   m o de l   a r c h i t e c t ur e ,   t h e   c o m po s i t i o n   o f   t h e   t r a i ni ng  da t a ,   o r   t h e   f i ne - t uni ng  s t r a t e gi e s ,   m a k i ng  i t   c h a ll e n g i ng  to  a tt r i b ut e   pe r f o r m a nc e   o u t c o m e s   to   s pe c i f i c   de s i g n   f a c t o r s .   T hi s   o pa c i t y   l im i t s   r e pr o d uc i bil i t y   a n d  u n de r mi ne s   s c i e n t i f i c   r i go r ,   a s   r e s u l t s   c a nn o t   b e   i n d e pe n de n t l y   v e r i f i e d  o r   r e pl i c a t e d  un de r   i de n t i c a l  c o n d i t i o n s .   S e c o n d,   A P I   i n t e r f a c e s   o f t e n   i m po s e   r a t e   l im i t s ,   c o n t e n t   f i l t e r s ,   a n d  us a ge   c o n s t r a i n t s   th a t   l im i t   e x pe r im e n t a l   c o n t r o l ,   pa r t i c u l a r ly   i n   m u l t il i ngua l  o r   c ul t ur a l ly   s e ns i t i ve   t a s ks   t h a t  r e qui r e   i t e r a t i ve   t e s t i n g.   T hi r d,   t h e   bl a c k - b o x   n a t ur e   o f   t h e s e   m o de l s   pr e v e n t s   f i ne - gr a i ne d  e r r or   a n a l y s i s - r e s e a r c he r s   c a n  o b s e r v e   o u t pu t s   b ut   n ot  t h e   i n t e r n a l   de c i s i o n   pa t h wa y s   o r   l a t e n t   e m b e dd i ngs   t h a t   pr o duc e d  t h e m ,   c o m p li c a t i n g  t h e   s t udy   o f   bi a s ,   c u l t ur a l   mi s r e pr e s e n t a t i o n ,   o r   h a l luc i n a t i o n .   F ur t h e r m o r e ,   A P I   a c c e s s   t y p i c a l ly   de pe n d s   o n   c o r p or a t e   p o l i c i e s   a n d  s u bs c r i pt i o n   t i e r s ,   r a i s i ng  que s t i o ns   o f   a c c e s s i b il i t y ,   e qu i t y ,   a n d  l o n g - t e r m   r e s e a r c h   c o n t i n u i t y .   C o n s e que n t l y ,   whil e   A P I s   e n a bl e   c o n v e ni e n t   b e n c hm a r k i n g  o f   c ut t i n g - e dge   m o de l s ,   t h e y   s i m u l t a n e o us ly   o b s c ur e   c r i t i c a l   t e c hni c a l   a n d  e t hi c a l   d i m e ns i o n s   n e c e s s a r y   f o r   tr a n s pa r e n t   a n d  a c c o un t a bl e   e v a l ua t i o n   i n   m u l t im o da l - m u l t il i ngua l   A I   r e s e a r c h .   E a c h   m o de l   wa s   de p l o y e d  w i t hi n  a   c o n t r o l l e d  e x pe r im e n t a l   e nvi r o nm e n t   us i n g  NV I DI A   A 100   GPUs ,   w i t h   c o de   r un   t h r o ugh   P y t h o n   ( P y T o r c h )   f r a m e wo r ks .   P r e tr a i n e d  we i g h t s   we r e   r e t a i n e d  t o   s i m u l a t e   r e a l - wo r l d  u s a ge   r a t h e r   t h a n   t a s k - s pe c if i c   f i ne - t uni ng,   whi c h   m a y   n o t   b e   f e a s i b l e   i n  l o w - r e s o ur c e   s e tt i n g s .   T hi s   s e t up  a l l o we d  f o r   c o m pa r i ng   e a c h   m o de l ’ s   pe r f o r m a n c e   a c r o s s   c r o s s - l i ngua l   im a ge   c a pt i o ni ng ,  m u l t i li ngu a l   VQ A ,   s pe e c h - to - i m a g e   n a r r a t i v e   ge n e r a t i o n ,  a n d   t r a n s l a t i o n   o f   m u l t i m o d a l   c o n t e x t   t a s ks .     3. 2.     Dat as e t   p r e p a r at ion   an d   e val u at ion   p r ot oc ol s   T o  e v a l ua t e   t h e   e f f e c t i v e ne s s   o f   t h e s e   M M M L M s ,   we   a s s e m b l e d  a   c o l l e c t i o n   o f   m u l t il i ngu a l   a n d   m u l t i m o d a l   da t a s e t s   e n c o m pa s s i ng  a   w i d e   r a n ge   o f   l a n gua ge s ,   do m a i ns ,   a n d  c u l t ur a l   b a c kgr o un d s .   T h e s e   da t a s e t s   we r e   s e l e c t e d  to  r e pr e s e n t   b ot h   hi g h - r e s o ur c e   a n d  l o w - r e s o ur c e   l a n gua ge   c o n t e x t s ,   c o n s i d e r i n g   f a c t o r s   s uc h   a s   l i ngu i s t i c   t y po l o g y ,   ge o gr a phi c a l   d i s t r i b ut i o n ,   a n d  m u l t i m o da l   d i ve r s i t y .   T h e   pr i m a r y  da t a s e t s   c o n s i s t   o f :     M u l t i 30 K :   m u l t i li ngua l   i m a ge   c a pt i o ns .       M u l t i c u l t ur a l   r e a s o ni ng  o v e r   vi s i o n   a n d  l a n gua ge   ( Ma R V L ) :  c u l t ur a l ly   gr o un de d  VQ A   da t a s e t .       C o m m o n   v o i c e   +   F li c kr 30k  h y br i d :  a   s y n t h e t i c   d a t a s e t   c o m bi n i ng  M o z i ll a ’ s   m u l t il i ngua l   s pe e c h   c o r pus   w i t h   i m a g e   a nn o t a t i o ns .     W i k i pe d i a   im a ge - t e x t   ( W I T ) :  c r o s s - l i ngua l   im a ge - t e x t  pa i r s   e x t r a c t e d  f r o m   W i k i pe d i a ,   a v a il a bl e   i n   o v e r   100  l a n gua ge s .   B i li ngua l   a nn ot a to r s   v e r i f i e d  t r a n s l a t i o n   qua l i t y   a s   n e e d e d  to  m a i n t a i n   s e m a n t i c   a c c ur a c y   t h r o ugh o u t  t h e   s a m p l e s .   M o r e o v e r ,   a n   a ddi t i o n a l   d a t a s e t   f e a t u r i n g  c u l t ur a l ly   r e l e va n t   i m a ge s   a n d  i d i o m s   wa s   a s s e m bl e d   Evaluation Warning : The document was created with Spire.PDF for Python.
                                I S S N :   2252 - 8776   I n t   J   I n f   &   C o m m u n   T e c hn o l ,  Vo l .   1 5 ,   N o.   2 ,  J un e   20 2 6 :   823 - 838   828   to  e v a l ua t e   t h e   m o de l s ’   i n t e r pr e t i v e   s k il l s   i n  l e s s - r e pr e s e n t e d  c o n t e x t s .   T hi s   da t a s e t   e n c o m pa s s e s   t r a d i t i o n a l   a r t i f a c t s ,   c ul t ur a l ly   s i g nif i c a n t   ge s t ur e s ,   a n d  l o c a l i z e d  m e t a ph o r s   a nn o t a t e d   i n   A r a bi c ,   M a l a y ,   a n d   M a c e do ni a n .   Al t h o ugh   M a c e do ni a n   wa s   c a t e g o r i z e d  a s   a   l o w - r e s o u r c e   l a n gua ge   i n   t hi s   s t udy   due   to  i t s   li mi t e d  d i g i t a l   r e pr e s e n t a t i o n   a n d  t h e   s c a r c i t y   o f   a nn o t a t e d   m u l t im o da l   da t a s e t s ,   i t  i s   e s s e n t i a l   t o  a c kn o wl e dg e   t h a t,   l i n gu i s t i c a ll y ,   i t   b e l o n g s   to  t h e   I n do - E u r ope a n   f a mi ly ,   s pe c if i c a ll y   t h e   S o u t h   S l a vi c   b r a nc h .   T hi s  c l a s s if i c a t i o n   m e a n s   i t   s h a r e s   s t r uc t ur a l   a n d  l e xi c a l   a f f i n i t i e s   w i t h   hi g h e r - r e s o ur c e   l a n gua ge s   s uc h   a s   B u l ga r i a n   a n d  S e r bi a n ,   a s   we ll   a s   b r o a de r   t y p o l o g i c a l   c o nn e c t i o ns   t o  ot h e r   I n do - E ur o pe a n   l a n gua ge s .   Ho we v e r ,   de s p i t e   t h e s e   l i ngu i s t i c   pr o xi mi t i e s ,   M a c e do ni a n   r e m a i ns   u n de r r e pr e s e n t e d  i n   l a r ge - s c a l e   A I   c o r p or a   a n d  m u l t i m o da l   da t a s e t s ,   r e s u l t i n g  i n   poo r e r   m o de l   pe r f o r m a n c e   a n d  li m i t e d  s e m a n t i c   a l ignm e n t .   T hi s   d i s pa r i t y   u n de r s c o r e s   t h a t   l o w - r e s o ur c e   s t a tus   i n   A I   r e s e a r c h   i s   de t e r m i ne d  l e s s   by   l i ngu i s t ic  l i ne a ge   t h a n   by   d a t a   a v a i l a b i li t y ,   c o r pus   s i z e ,   a n d  i nc l u s i o n   i n   g l o b a l   t r a i ni ng  p i pe li ne s — f a c t o r s   t h a t   c o n t i n ue   t o   d i s a d v a n t a ge   l a n gu a ge s   l i ke   M a c e do ni a n   de s p i t e   t h e i r   r i c h   l i ngu i s t i c   h e r i t a ge   a n d  e s t a bl i s he d  gr a mm a t i c a l  f r a m e wo r ks .   F or   e a c h   t a s k,   s t a n da r d  a n d  a da pt e d  e v a l ua t i o n   m e t r i c s   we r e   e m p l o y e d.   T h e s e   i nc l ude :     B L E U,   M E T E OR ,   a n d  C I DE r   f o r   t e x t - b a s e d  c a pt i o ni n g  t a s ks .     A c c ur a c y   a n d  F 1 - s c o r e   f o r   VQ A   a n d  c l a s s i f i c a t i o n  t a s ks .     M a n ua l   s c o r i n g  pr oto c o l s   f o r   c ul t ur a l ly   c o n t e x t ua l   n a r r a t i ve   i n t e r pr e t a t i o n   a n d  s e m a n t i c   c o h e r e n c e .   T o  c o m p l e m e n t   t h e s e   qua n t i t a t i v e   m e t r i c s ,   we   c o nduc t e d  h u m a n   e v a l u a t i o ns   w i t h   bil i ngua l   s p e a ke r s   a n d  c u l t ur a l   i nf o r m a n t s ,   wh o  s c or e d  o u t pu t s   o n   a   L i k e r t  s c a l e   ( 1 - 5)   f o r   c ul t ur a l   a ppr o pr i a t e n e s s ,   f l ue n c y ,   a n d   pr a g m a t i c   a de qua c y .   T o   e n s ur e   s c o r i n g  c o n s i s t e n c y ,   i n t e r - r a t e r   r e l i a bil i t y   wa s   c a l c u l a t e d  us i n g  C o h e n ’ s  ka ppa .   T o  m i t i ga t e   bi a s   i n   h u m a n   a nn o t a t i o n s   d ur i n g  qua l i t a t i ve   s c o r i n g,   t h e   s t udy   i m p l e m e n t e d  s e v e r a l   m e t h o do l o g i c a l   s a f e gua r d s   to   e n s ur e   c o n s i s t e n c y ,   t r a n s pa r e n c y ,   a n d  c u l t ur a l   s e n s i t i v i t y .   F i r s t ,   a l l   a nn o t a to r s   we r e   bi li ngua l   o r   m u l t i li ngua l   s pe a ke r s   w i t h   c u l t ur a l   f a mi li a r i t y   r e l e v a n t   to  t h e   l a n gua ge s   a n d  c o n t e x t s   un de r   e v a l ua t i o n .   P r i o r   to   da t a   s c o r i n g,   t h e y   u n de r we n t   c a l i br a t i o n   s e s s i o n s   us i ng  s a m p l e   o u t pu t s   to   e s t a bl i s h   s h a r e d   i n t e r pr e t i v e   c r i t e r i a   f o r   a s s e s s i ng  f l ue n c y ,   s e m a n t i c   a l i g nm e n t ,   a n d  c ul t ur a l   r e l e v a n c e .   A   de t a i l e d  a nn o t a t i o n  gu i de   wa s   pr o vi d e d  to  m i n im i z e   s u bj e c t i v e   v a r i a t i o n   a n d  c l a r i f y   e v a l ua t i v e   d im e n s i o ns   s uc h   a s   pr a g m a t i c   a c c ur a c y   a n d  i d i o m a t i c   e qu i va l e nc e .   T o  qua n t i f y   r e l i a bil i t y   a c r o s s   r a t e r s ,   i n t e r - r a t e r   a gr e e m e n t   wa s   c a l c u l a t e d  us i n g  C o he n ’ s   ka ppa ,   e ns ur i n g  s t a t i s t i c a l   va l i da t i o n   o f   c o ns i s t e n c y   i n  qua li t a t i ve   j udg m e n t s .   D i s c r e p a n c i e s   in  s c o r i n g  we r e   r e s o l v e d  t h r o ugh   c o n s e n s us   d i s c u s s i o n s   m o de r a t e d  by   a   l i ngu i s t i c   e x p e r t ,   p r e v e n t i n g  domi na n c e   by   a ny   s i ng l e   a nn o t a to r ’ s   pe r s pe c t i v e .   A dd i t i o n a ll y ,   e v a l u a to r s   we r e   i n s t r uc t e d  to   d o c um e n t   r e a s oni ng  f o r   o u t l i e r   s c o r e s   to  m a i n t a i n  a ud i t a bil i t y   a n d  r e f lexi v i t y   i n  t h e i r   i n t e r pr e t i ve   de c i s i o n s .   T h e s e   c o m bi ne d   m e a s ur e s   e nh a n c e d  t h e   v a li d i t y   a n d  f a i r n e s s   o f   h u m a n   e va l ua t i o n s   w hil e   r e duc i n g  po t e n t i a l   c u l t ur a l   o r   c o gni t i v e   bi a s   i n   a s s e s s i ng  m u l t im o da l - m u l t i li ngua l   m o de l   o ut pu t s .     3. 3.     Qu al it at ive   c on t e n t   an al ys is   an d   c u l t u r a l   c on t e x t u al i z at ion   Al t h o ugh   qua n t i t a t i v e   be n c hm a r k i n g   p l a y s   a   c r uc i a l   r o l e ,   i t   f a i l s   t o  f u ll y   a ddr e s s   t h e   c o m p l e xi t i e s   o f   h o w  m e a ni n g  i s   c o n s t r uc t e d  a c r o s s   di f f e r e n t   c ul t ur e s   a n d  m o da l i t i e s .   He n c e ,   t hi s   s t udy   e m p l o y e d  q ua l i t a t i v e   c o n t e n t   a n a l y s i s   t o   i nv e s t i ga t e   M M M L M s ’   r e s u l t s   t h o r o ugh l y .   T hi s   p h a s e   c e n t e r e d   o n   t h e :     M i s i n t e r pr e t a t i o n   pa tt e r n s :  i ns t a n c e s   wh e r e   t h e   m o de l   pr o duc e d  s e m a n t i c a ll y   p l a us i b l e   b ut   c ul t ur a l l y   i na c c ur a t e   r e s po n s e s .     B i a s   r e f l e c t i o n :  o u t pu t s   t h a t   e x hi b i t e d  ge n de r ,   r a c i a l ,   o r   c ul t ur a l   s t e r e ot y pe s .     P r a g m a t i c   a m bi gu i t y :  c a s e s   whe r e   t r a n s l a t e d   m e a ni ng s   or   ge n e r a t e d  c a p t i o ns   f a i l e d  t o  a l i g n   w i t h   t h e   c o n t e x t   due   to   m o da l   o r   l i ngu i s t i c   s hif t s .   E a c h   o ut pu t  wa s   a n a ly z e d  u s i ng  a n   i nduc t i v e   m e t ho d  r oot e d  i n   c r i t i c a l   d i s c o ur s e   a n a ly s i s   ( C D A )   a n d   s e m i o t i c   e x a mi na t i o n .   T h e m e s   e m e r ge d  f r o m   c o ns i s t e n t   pa tt e r n s   o f   i n t e r pr e t i v e   e r r o r s   o r   s i g ni f i c a n t  c u l t ur a l   o m i s s i o n s .   T h e   a i m   wa s   to  i de n t i f y   s y s t e m a t i c   de f i c i e n c i e s   i n   m o de l   t r a i ni ng  a n d  r e a s o ni ng,   pa r t i c u l a r ly   i n  l o w - r e s o ur c e   o r   m a r g i n a li z e d  c o n t e x t s .   An   a dvi s o r y   gr o up   c o m pr i s i n g  l i ngu i s t s ,   a n t h r o p o l o g i s t s ,   a n d  A I   e t h i c i s t s   pr o vi de d  o n go i ng   f e e d b a c k  dur i ng  t hi s   p h a s e .   T h e i r   i ns i g h t s   we r e   i ns t r um e n t a l   i n  r e f i n i ng  t h e   a nn o t a t i o n   s c he m a   a nd   i de n t i f y i ng  i ns t a nc e s   o f   s ym b o li c   o r   i nf e r e n t i a l   e r r o r s   t h a t  t r a di t i o na l   N L P   m e t r i c s   d i d  n o t  c a pt u r e .     3. 4.     E t h ical   f r a m e wo r k   an d   m od e l   of   ac c ou n t a b il it y   T h e   s t ud y   e m p l o y e d  a n   e t hi c s - by - de s i g n   f r a m e wo r k ,   a dh e r i n g  t o   gui de li ne s   e s t a bli s he d  by   t he   M o n t r e a l   A I   E t hi c s   I ns t i t ut e   a n d  UN E S C O ’ s  r e c omm e n da t i o n   o n   t h e   e t hi c s   o f   a r t i f i c i a l   i n t e l li ge nc e   [ 48] .     S pe c i f i c   m e a s ur e s   i nc l u de d:     E n s ur i ng  l a n gua g e   d i v e r s i t y   a n d  da t a   tr a n s pa r e n c y .     Av o i d  us i ng   s e n s i t i ve   o r   pe r s o n a l ly   i de n t i f i a bl e   c o n t e n t   i n   m o de l   pr o m pt s   or   o u t pu t s .     I n c l ud i ng  h u m a n - c e n t e r e d  a s s e s s m e n t   i n   a ll   e v a l u a t i o n   p h a s e s   t o   b e tt e r   r e f l e c t   r e a l - wo r l d  c o m m u ni c a t i v e   n e e d s .   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t   J   I n f   &   C o m m u n   T e c hn o l     I S S N:   2252 - 8776       C an  mac hines   imagine?  C r it ical  thi nk ing  and  c ult ur al  r e as oning   …  ( M ohamm ad  A w ad  A lA f nan )   829   B i a s   a s s e s s m e n t s   we r e   c a r r i e d  o ut   us i n g  a ut o m a t e d  too l s ,   s uc h   a s   f a i r n e s s   i nd i c a t o r s ,   a n d  m a n ua l   r e vi e ws .   A dd i t i o n a ll y ,   m o de l s   we r e   e va l u a t e d  f o r   h a ll uc i na t i o n   o c c ur r e n c e s ,   s pe c i f i c a l ly   i ns t a n c e s   w h e r e   t h e   pr o duc e d  c o n t e n t   i n c l ude d  i nc o r r e c t   or   f a b r i c a t e d  i nf o r m a t i o n ,   pa r t i c u l a r ly   i n   m u l t im o da l   t r a n s l a t i o n   a n d   s u m m a r i z a t i o n   t a s ks .     3. 5.     L im it at ion s   an d   s c op e   W hil e   t h e   m e t h o do l o g y   a i m s   t o  pr o vi de   a   h o l i s t i c   e v a l ua t i o n   o f   M M M L M s ,   i t   i s   c o n s t r a i n e d  b y   s e v e r a l   f a c t o r s :     Da t a s e t  c o v e r a ge :  d e s p i t e   e f f o r t s   to  i nc l ud e   d i v e r s e   l a n gua ge s ,   a c c ur a t e   gl o b a l   c o v e r a ge   r e m a i ns   l im i t e d   by   da t a   a v a i l a b i li t y   a n d  a nn ot a t i o n   r e s o ur c e s .     M o de l   a c c e s s :  p r o pr i e t a r y   m o de l s   s uc h   a s   Ge mi ni   o r   GPT - 4V  wi t h   f u ll   m u l t im o da l   c a pa bil i t i e s   we r e   e v a l ua t e d  o nl y   t o   t h e   e x t e n t   a l l o we d  by   pu bli c   A P I s .     Ge n e r a li z a t i o n   l im i t s :   t h e   s t udy   f o c us e s   o n   z e r o - s h o t  o r   f e w - s h o t  pe r f o r m a nc e   a n d  do e s   n ot  e xp l o r e   e x t e ns i ve   f i ne - t uni n g  o r   d o m a i n  a da pt a t i o n .   F ut ur e   r e s e a r c h   s h o u l d   e x t e n d  t hi s   m e t h o d o l o g y   t o  s i g n   l a n gua ge   m o da li t i e s ,  c o gni t i v e   a c c e s s i b il i t y ,  a n d   e m e r ge n c y   c o m m u ni c a t i o n   s c e n a r i o s ,   wh e r e   M M M L M s   c a n   o f f e r   uni que   va l ue   i f   a d a pt e d  a ppr o pr i a t e l y .       4.   RE S UL T S   T h e   M M M L M s   we r e   e v a l u a t e d  a c r o s s   f o ur   c o r e   t a s ks :  i m a g e   c a pt i o ni n g ,  VQ A ,  s pe e c h - to - i m a ge   ge n e r a t i o n ,  a n d   c u l t ur a l   i d i o m   t r a n s l a t i o n .   R e s u l t s   we r e   a n a ly z e d  qua n t i t a t i v e ly   ( us i ng  s t a n da r d  m e t r i c s )   a n d   qua l i t a t i v e ly   ( u s i n g  h u m a n   e v a l ua t i o n s   a n d  e r r o r   a n a ly s e s ) .   Us i n g  t he   M u l t i 30  K   a n d  W I T   da t a s e t s ,   m u l t i li n gua l   im a ge   c a pt i o ni ng  w a s   e v a l ua t e d  a c r o s s   f o ur   l a n gua ge s :  E n g li s h ,   A r a bi c ,   M a l a y ,   a n d  M a c e do nian .   T h e   m o de l s   a s s e s s e d  i n c l ud e d  C L I P ,   m P L UG ,   a n d  GI T .   E x a m p l e s   1,   2,   3 ,   a n d  4  i ll us t r a t e   t h e   m o de l s ’   pe r f o r m a n c e   i n   e v a l ua t i n g  m u l t i li ngua l   i m a ge   c a pt i o n s .     I m a ge :  A   wo m a n   i n   t r a d i t i o na l   a t t i r e   s e r vi n g  f o o d  to   c hi l dr e n   a t   a   c ul t ur a l   e ve n t .   L a ngua g e   C L I P   m P L U G   GI T   E X 1:  E ngl is h   C ap t i on :  A  w o ma n gi v e s   f oo d  to  ki ds .   A n al y s is :  F a c tu a ll y   c or r e c t,  bu t  la c ks  c ul tu r a l  nua n c e   o r   de s c r ip ti v e   r i c hne s s . V e r y   li te r a l.   C ap t i on :  A  w o ma n i n t r a di ti o na l  a tt ir e  s e r ve s  f oo d  t o  c hi ld r e n a t  a   c ul tu r a l  c e l e br a ti o n.   A n al y s is :  I mpr ove d d e ta il  a nd  c ul tu r a l  c o nt e x t;  i n c lu d e s   “ tr a di ti o na l  c l o th e s ”   a nd  “ c e l e br a ti o n ” .   C ap t i on :  A  s mi li ng w o ma n dr e s s e d i n  tr a di ti o na l  f e s ti v a l  a tt i r e  s e r ve s  a  gr o up  of   c hi ld r e n dur in g a   c o mm uni t y   c ul tu r a l  e ve nt .   A n al y s is :  M o s t  d e ta il e d a nd  c o nt e x tu a ll y   r ic h. C a pt ur e s  e m o ti o n, a tt ir e , a nd t he   na tu r e   of  t h e   e ve nt .   E X 2:  A r a bi c   C ap t i on :  ل ا ف ط ل   ا ً م ا ع ط   ي ط ع ت   ة أ ر م ا .  ( A  w o ma n gi ve s   f oo d t o   c hi ld r e n.)     A n al y s is :  B a s ic  a nd  c o r r e c t,  but   la c ks  c o nt e x t  o r   c ul tu r a l  e l e me n ts .   C ap t i on :    م د ق ت   ةي د ي ل ق ت   س ب م   ي د ت ر ت   ة أ ر م ا ا ي ف ا ق ث  ل ا ف ت ح ا  ي ف  ل ا ف ط ل  م ا ع ط ل . ( A   w o ma n w e a r in g t r a di ti o na l  c l o th e s  s e r ve s   f oo d t o  c h il dr e n a t  a  c ul tu r a l  c e le b r a ti o n.)   A n al y s is :  S im il a r  t o   E ngl is h, i t  a dds  c ul tu r a l  de ta il s .   C ap t i on :  “   م د ق ت و   ا ً ي د ي ل ق ت   ا ً ي ز   ي د ت ر ت   م س ت ب ت   ة أ ر م ا ع م ت ج م  نا ج ر ه م  ل خ  ل ا ف ط ل  م ا ع ط ل ا ي . ( A  s mi li ng  w o ma n w e a r s  t r a di t i o na l  a tt ir e  a nd s e r ve s   f oo d t o   c hi ld r e n du r in g a  c omm uni t y   f e s ti v a l. )   A n al y s is :  R ic h,  c o nt e x tu a ll y  a ppr o pr ia t e ,  e m o ti o na ll y   e x pr e s s iv e .   E X 3:  M a la y   C apt io n :   S e or a ng w a ni ta   me mb e r i  ma ka na n ke pa da   ka na k - ka na k. ”   ( A  w om an giv e s   f ood to  c hi ld r e n)   A nal y s is :   A c c u r a te  but  l a c ks   c ul tu r a l  s pe c i f i c it y .   C ap t i on :  S e o r a ng w a ni ta  be r ba ju   tr a di s io na l  s e da ng m e nghi da ng  ma ka na n ke pa da  ka na k - ka na k di   ma jl is  ke buda y a a n. ( A  w o ma n i n  tr a di ti o na l  c l o th e s  i s  s e r v in g  f oo d  to   c hi ld r e n a t  a   c ul tu r a l  e v e n t)   A n al y s is :  A dds  e ve nt  a nd a tt ir e   de ta il s .   C apt io n :   S e or a ng w a ni ta   y a ng t e r s e n y u m  me ng e na ka n pa ka ia n t r a di s io na l  s e da ng  me nghi da ngka n ma ka na n ke pa da   s e kumpul a n ka na k - ka na k da la m m a jl is   ko muni ti .   ( A  s m il in g w om an i n t r adi ti onal  at ti r e   s e r v e s   f ood to a g r oup o f  c hi ld r e n dur in g  a c om m uni ty  gat he r in g.)   A n al y s is :   F ul l  c o nt e xt  c a pt u r e d, nua n c e d,  a nd na tu r a l  in  t o n e .   E X 4:   M a c e d o ni a n   C apt io n :   Ж е н а   д а ва  х ра н а  н а   д е ц а .    ( A  w om an giv e s  f ood to  c hi ld r e n)   A n al y s is :   G r a mm a ti c a ll y   c o r r e c t  but  l a c ks  a n y   c ul tu r a l  in s ig ht .   C ap t i on :  Ж е н а  в о   т ра д и ц и о н а лн а   о б л е к а  с л у ж и   х ра н а  н а  д е ц а  н а  к у лт у р н а   п рос ла ва . ( A  w o ma n i n  tr a di ti o na l  c l o th e s  s e r ve s   f oo d t o   c hi ld r e n a t  a  c u lt ur a l  c e l e b r a ti o n.)   A n al y s is :  C a pt ur e s   c ul tu r a l  c o nt e x t  but  r e ma in s   f o r mul a i c .   C ap t i on :  Н а с м е а н а  ж е н а  в о   т ра д и ц и о н а лн а  н ос и ја  и м   с л у ж и   х ра н а   н а  д е ц а  з а  в ре м е  н а  з а е д н и ч к а  к у л т у рн а   п рос ла ва . ( A  s mi li ng w o ma n i n  tr a di ti o na l  c o s tu m e  s e r ve s   f oo d t o   c hi ld r e n dur in g a   c o mm uni t y   c ul tu r a l  c e le b r a ti o n.)   A n al y s is :  M o s t  f lu e nt  a nd  c ul tu r a ll y   a ppr o pr ia te , r e f le c ts   e v e nt  a tm o s ph e r e .     As   T a bl e   1  s h o ws ,   GI T   c o n s i s t e n t l y   o ut pe r f o r m e d  t h e   ot h e r   m o de l s   a c r o s s   a l l   f o ur   l a n gua ge s .   M a c e do ni a n   s c o r e d  l o we s t   o v e r a l l   s c o r e s ,   hi g hli g h t i n g  c o n t i n ue d  pe r f o r m a nc e   ga ps   f o r   l o w - r e s o ur c e   l a n gua ge s .     Evaluation Warning : The document was created with Spire.PDF for Python.
                                I S S N :   2252 - 8776   I n t   J   I n f   &   C o m m u n   T e c hn o l ,  Vo l .   1 5 ,   N o.   2 ,  J un e   20 2 6 :   823 - 838   830   T a bl e   1.   C a pt i o ni ng  pe r f o r m a n c e   a c r o s s   l a n gua ge s   ( C I DE r   s c or e )   M o de l   E ngl is h   A r a bi c   M a la y   M a c e d o ni a n   C L I P   1.11   0.88   0.85   0.73   mP L U G   1.22   1.01   1.00   0.91   G I T   1.26   1.10   1.03   0.95       VQ A   t a s ks   r e pr e s e n t   a   s o phi s t i c a t e d  i n t e r s e c t i o n   o f   c o m put e r   vi s i o n   a n d  n a t ur a l   l a n gua ge   pr o c e s s i n g.   T h e y   ut i li z e   c u l t ur a l ly   c o n t e x t ua l   i m a ge s   de r i v e d  f r o m   t h e   M a R VL   da t a s e t .   T hi s   da t a s e t  i s   s pe c i f i c a l ly   c ur a t e d  to   i n c l ude   v a r i o us   im a g e s   t h a t   r e f l e c t   v a r i o us   c u l t ur a l   e l e m e n t s ,   m a k i ng  i t   a   vi t a l   r e s o ur c e   f o r   un de r s t a n d i ng  vi s u a l   c o n t e n t   t h r o ugh   di f f e r e n t   c u l t ur a l   l e ns e s .   T h e   r e s u l t s   f o r   VQ A   t a s ks   a r e   pr ovi de d  i n  T a bl e   2.       T a bl e   2.   VQ A   t a s k  -   a c c ur a c y   ( % )   L a ngua g e   C L I P  ( % )   mP L U G  ( % )   G I T  ( % )   E ngl is h   77.2   81.4   85.6   A r a bi c   71.3   76.0   80.1   M a la y   68.9   74.5   79.0   M a c e d o ni a n   63.2   70.2   75.6       C o m p l e t i n g  VQ A   t a s ks   r e qu i r e s   t h e   m o de l   to   i n t e r pr e t  a n d  a na ly z e   t h e   i m a g e s   de e p ly ,   e n a bli ng  i t   to  a ns we r   que s t i o ns   i nh e r e n t l y   t i e d  to  t h e   vi s ua l   c o nt e n t  pr e s e n t e d.   T h e   s c o pe   o f   t h e   que s t i o ns   r a n ge s   wi de ly ,   c o v e r i n g  v a r i o us   a s pe c t s   o f   t h e   im a ge s ,   i n c l ud i ng   iden t i f yi ng  o bj e c t s ,   un de r s t a n d i ng  a c t i o n s ,   a n d  gr a s p i n g  t h e   c u l t ur a l   s i g ni f i c a nc e   b e hi nd  s pe c i f i c   vi s ua l   e l e m e nt s .   T h e s e   t a s ks   a i m   t o  e n ha n c e   t h e   m o de l ’ s   a bil i t y   t o  c o m pr e h e n d  a n d  a ppr e c i a t e   t h e   n ua n c e s   o f   d i v e r s e   c u l t ur a l   b a c kgr o un ds   r e f l e c t e d  i n   t h e   i m a ge s .   B y   do i n g  s o ,   t h e   m o de l   i s   b e t t e r   e qui ppe d  t o   pr o vi de   a c c ur a t e   a n d  c o n t e x t ua l ly   a w a r e   a ns we r s ,   c o n s i de r i ng   t h e   s pe c i f i c   c u l t ur a l   c o n t e x t s   a s s o c i a t e d  w i t h   e a c h   i m a ge .   T hi s   b e c o m e s   pa r t i c u l a r ly   s i g ni f i c a n t   wh e n   t h e   go a l   i s   to  a n s we r   que s t i o ns   i n   f i ve   t a r ge t  l a n gua g e s ,   a s   i t   r e qu i r e s   li ngu i s t i c   pr o f i c i e n c y   a n d   a n   a wa r e n e s s   o f   c u l t ur a l   s u b t l e t i e s   a n d  v a r i a t i o n s   a c r o s s   d i f f e r e n t   c o n t e x t s .   T h us ,   VQ A   t a s ks   a r e   c r i t i c a l   t o   de v e l o p i ng  l i ngu i s t i c a l ly   a de pt   a n d  c u l t ur a l ly   i n t e ll i g e n t   m o de l s ,   u l t i m a t e ly   pr o m ot i n g  a   m o r e   i n c l us i ve   a ppr o a c h   to   vi s ua l   u n d e r s t a n d i n g.   All   m o de l s   e xhi b i t e d  a   n o t a bl e   de c li ne   i n  pe r f o r m a n c e   w h e n   a pp li e d  to   l a n gua g e s   w i t h   l o we r   r e s o ur c e s   ( s e e   T a bl e   2) .   De s p i t e   t h e   ge n e r a li z e d  i n f e r e n c e   t oo l   ( GI T )   a c hi e vi ng  t h e   hi g h e s t   o v e r a l l   r e s u l t s   a m o n g  t h e   m o de l s   t e s t e d,   a   s i g nif i c a n t   d i s pa r i t y   e xi s t s   i n  s e m a n t i c   r e a s o ni ng  c a pa bil i t i e s ,   pa r t i c u lar l y   w i t h   M a c e do ni a n .   T hi s   ga p  hi g hli g h t s   t h a t  c ul t ur a l   i nf e r e n c e   pr e s e n t s   a dd i t i o n a l   c h a ll e n ge s   i n   t h e s e   c o n t e x t s ,   un de r s c o r i n g  t h e   c o m p l e xi t i e s   o f   pr o c e s s i ng  a n d  un de r s t a n d i ng  l a n gua ge s   t h a t   l a c k  s u f f i c i e n t   r e s o u r c e s   a n d   da t a   s upp o r t.   E x a m p l e s   5,   6,   7,   a n d  8  pr o vi de   m o r e   i nf o r m a t i o n   o n   t h e   pe r f o r m a nc e   o f   t h e s e   m o de l s .     I m a ge :  A   c hil d  we a r i n g  a   f i r e f i g h t e r   c o s t um e   h o l d in g  a   to y   f i r e   h o s e .   E x a mpl e   L an g u age  /   Q u e s t i on   C L I P   m P L U G   GI T   E X  5:   E n gl is h / W ha t  j o b i s  t he   c hi ld  pr e t e ndi ng t o  d o?   “ P la y in g w it h a  h o s e . ”   A n al y s is :   M is s e s  t he   in te nt ;  d oe s  n o t  id e nt i f y   th e  j o b r o l e ;  ove r l y   li te r a l.   “ T h e   c hi ld  i s  pr e t e ndi ng  to  b e  a   f ir e f ig ht e r . ”   A n al y s is :   C or r e c t,   th o ugh a  bi t  m e c ha ni c a l;   di r e c tl y  a ns w e r s  t h e   que s ti o n.   “ T h e   c hi ld  i s  dr e s s e d a s  a   f i r e f ig ht e r  a nd pla y in g a s  i f  put ti ng  o ut  a   f i r e . ”   A n al y s is :   C or r e c t  a nd c o nt e x t - r i c h;   pr ov id e s  a  nua nc e d i nt e r pr e ta ti o n  a ddi ng na r r a ti ve   c o nt e x t.   E X  6:   A r ab ic / ام    ر ها ظ ت ي  ي ت ل ا  ةف ي ظ و ل ا ؟ ا ه ي د ؤ ي  هن أ  ل ف ط ل ا T r ans la ti on:   W ha t  jo b i s  t he   c hi ld   pr e t e ndi ng t o  d o?   “ ه ا ي م  ب و ب ن أ ب  ب ع ل ي  ل ف ط ل ا . ”   T r an s la ti on :   “ T h e  c h il d  is  pl a y in g w it h a  w a te r   ho s e . ”   A n al y s is :   L a c ks   a c c u r a c y ;  d e s c r ib e s  t h e   a c ti o n  o nl y  w it h o ut   id e nt i f y i ng t he   j o b.   “ لا  ل ج ر  هن أ ب  ر ها ظ ت ي  ل ف ط ء ا ف ط إ . ”   T r an s la ti on :   “ T h e  c h il d  is  pr e t e ndi ng t o  b e  a   f i r e f ig ht e r . ”   A n al y s is :   C or r e c t  but   s tr a ig ht f or w a r d;  l a c ks   de s c r ip ti v e  d e ta il .   “   هن أ ك و  ب ع ل ي و  ء ا ف ط إ  ل ج ر   ي ز  ي د ت ر ي  ل ف ط ل ا ا ً ق ي ر ح   ئ ف ط ي . ”   T r an s la ti on :   “ T h e  c h il d i s  w e a r in g  a  f i r e f ig ht e r ’ s  uni f or m a nd pla y in g  a s  i f  put ti ng  o ut  a   f i r e . ”   A n al y s is :   A c c u r a te  a nd r i c h i n  c o nt e x t;  r e f l e c ts  c ul tu r a l  a nd  na r r a ti ve  d e pt h.   E X  7:   M al ay / P e k e r ja an apa y ang  s e dang dil ak onk an ole h  k anak - k anak  i tu ?   T r ans la ti on:   W ha t  jo b i s   th e   c hi ld  pr e t e ndi ng t o  d o?   “ K ana k - k anak  be r m ai n  de ngan hos  ai r . ”   T r an s la ti on :   “ T h e  c h il d  is  pl a y in g w it h a  w a te r   ho s e . ”   A n al y s is :   T oo  l i te r a l;   f a il s  t o  i d e nt i f y   th e   im pl ie d p r of e s s io n.   “ K anak - k anak  i tu  s e dang   be r la k on s e bagai  s e or ang bomba . ”   T r an s la ti on :   “ T h e  c h il d  is  a c ti ng a s  a   f ir e f ig h te r . ”   A n al y s is :   A c c u r a te  but   mi ni ma l;  l a c ks   e x pr e s s iv e  d e ta il .   “ K anak - k anak  i tu  m e m ak ai   pak ai an bomba dan be r la k on  s e pe r ti   s e dang me m adam  k e bak ar an . ”   T r an s la ti on :   “ T h e  c h il d i s  w e a r in g  a  f i r e f ig ht e r ’ s   o ut f it  a nd a c ti ng a s  i f   put ti ng o ut  a   f ir e . ”   An al y s is :   C le a r , d e s c r ip ti ve , a nd  c o nt e x tu a ll y  r i c h;  i n c lu d e s  v is ua l  a nd c ul tu r a l  c ue s .   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t   J   I n f   &   C o m m u n   T e c hn o l     I S S N:   2252 - 8776       C an  mac hines   imagine?  C r it ical  thi nk ing  and  c ult ur al  r e as oning   …  ( M ohamm ad  A w ad  A lA f nan )   831   E X  8:   M ac e d on ia n  /   К ое   з а н и м а ње   с е  п р е п ра ва   д е т е т о  д е к а   г о  и з вр ш у ва ?   T r ans la ti on:   W ha t  jo b i s   th e   c hi ld  pr e t e ndi ng t o  d o?   “ Д е т е т о  и г ра   с о  ц р е в о   з а  в о д а . ”   T r an s la ti on :   “ T h e  c h il d  is  pl a y in g w it h a  w a te r   ho s e . ”   A n al y s is :   I na c c u r a te ;  f oc us e s   o n t h e  a c t i o n,  no t  th e  pr of e s s i o n.   “ Д е т е т о  с е  п р е п ра ва   д е к а  е  п о ж а рн и к а р. ”   T r an s la ti on :   “ T h e  c h il d  is  pr e t e ndi ng t o  b e  a   f i r e f ig ht e r . ”   A n al y s is :   C or r e c t  but   la c ks  de pt h  o r  na r r a ti ve .   “ Д е т е т о  н ос и   к о с т и м   н а   п о ж а рн и к а р и   с е  п р е п ра ва  д е к а   г а с и   п о ж а р. ”   T r an s la ti on :   “ T h e  c h il d i s  w e a r in g  a  f i r e f ig ht e r ’ s   c o s tu me  a nd  pr e t e ndi ng t o  put   o ut  a   f ir e . ”   A n al y s is :   S tr o ng  c o nt e x tu a l  a nd  c ul tu r a l  und e r s ta ndi ng;  a c c ur a t e l y   c a pt ur e s  i nt e nt  a nd d e ta il .     T h e   t a s k  o f   s pe e c h - to - i m a ge   n a r r a t i v e   ge n e r a t i o n   t e s t e d  t h e   W hi s pe r   +   GPT - 4V  pi pe li ne .   T h e   s t ud y   i nv o l ve d  pa r t i c i pa n t s   wh o   p r o vi d e d  s po ke n   pr o m pt s   i n   t h e i r   n a t i v e   l a n gua ge s .   T h e s e   pr o m pt s   we r e   s pe c i f i c a l ly   t a i l o r e d  to   de s c r i b e   a   pa r t i c u l a r   i m a g e   s c e n a r i o   t h a t  wa s   pr e s e n t e d  to  t h e m .   T h e   m o de l   ut i li z e d   t h e s e   d i v e r s e   l i ngu i s t i c   i n put s   to  e n h a n c e   i t s   unde r s t a n d i n g  a n d  r e s po n s e   ge n e r a t i o n   a b o ut  t h e   d e s c r i be d  im a ge s ,   r e f l e c t i n g  t h e   n ua n c e s   a n d  c o n t e x t ua l   m e a ni ng s   e m be dde d  i n   e a c h   l a n gua ge .   Ge n e r a t e d  vi s ua l   a n d   na r r a t i ve   o u t pu t s .   A s   i l l us t r a t e d   i n   T a b l e   3,   t h e   s t u dy ’ s   r e s ul t s   r e v e a l   t h a t  W hi s pe r ’ s   tr a n s c r i pt i o n   a c c ur a c y   wa s   n ot a b ly   hi g h   a c r o s s   v a r i o us   l a n gua ge s ,   i n d i c a t i n g  i t s   e f f e c t i v e n e s s   i n   pr o c e s s i n g  di v e r s e   l i n gu i s t i c   i n put s .   H owe v e r ,   i n  c o n tr a s t ,   GP T - 4V   f a c e d   s i gni f i c a n t   c h a l l e n ge s   i n   a c c ur a t e l y   r e p r e s e n t i n g  c ul t ur a l   s y m b o l s   w i t hi n   t h e   g e n e r a t e d  i m a ge s .   T h i s   i s s ue   wa s   pa r t i c ul a r l y   pr o n oun c e d  f o r   t h e   M a c e d o ni a n   a n d  M a l a y   c u l t ur e s ,   wh e r e   s pe c i f i c   c ul t ur a l   n ua n c e s   a n d  r e pr e s e n t a t i o n s   we r e   i n a de qua t e l y   c a p t u r e d .   A ddi t i o n a l ly ,   h u m a n   e v a l ua tor s   o b s e r v e d  a   c o n c e r n i n g  t r e n d  o f   b i a s   to wa r ds   W e s t e r n   v i s ua l   a e s t h e t i c s   i n   t h e   o u tpu t.   T hi s   s ugge s t s   t h a t  t h e   m o de l   m a y   n o t   f u l ly   e m b r a c e   or   r e f l e c t   t h e   r i c h   d i v e r s i t y   o f   g l o b a l   a r t i s t i c   t r a di t i o n s .   T hi s   d i s c r e pa n c y   u n de r s c or e s   t h e   n e e d   f o r   i m pr o v e m e n t   i n   c ul t ur a l   r e p r e s e n t a t i o n   to  e n s ur e   m o r e   i n c l us i v e   a n d  a c c ur a te   vi s ua l   r e pr e s e n t a t i o n s   a c r o s s   di v e r s e   c ul t ur e s   a n d  l a n gua ge s .   E x a m p l e s   9,   1 0,   1 1,   a n d  1 2  pr o v i de   i ns i g h t s   i n t o  t h e s e   p o i n t s .         T a bl e   3.   S pe e c h - to - i m a ge   t a s k  –   h u m a n   e v a l ua t i o n  s c o r e s   ( 1 - 5)   L a ngua g e   F lu e n c y   S e ma nt i c   a li gnm e nt   C ul tu r a l  r e l e v a n c e   E ngl is h   4.6   4.5   4.4   A r a bi c   4.3   4.1   4.0   M a la y   4.2   4.0   3.8   M a c e d o ni a n   3.8   3.5   3.3       E x a mpl e   L a ngua g e /S p o k e n pr o mpt   G P T - 4 v  i ma g e   o ut put  d e s c r ip t i o n   A na l y s is  of  s o r e   E X  9:   S p o k e n  p r o m p t  ( i n  E n gl is h ) :   A  y oung gir l  is  r e a di ng a  b oo k und e r   a  t r e e  i n a  publi c  pa r k  o n a  s unn y   a f t e r n oo n.   T h e  i ma g e  s ho w s  a   y oung gir l  s it ti ng unde r  a  l e a f y  t r e e , r e a di ng a   c o l o r f ul  b oo k.   S unl ig ht   f il t e r s  t hr o ugh th e  l e a ve s ,  a nd a  pa r k be nc h i s  n e a r b y   w it h  f l o w e r s  i n bl oo m.   Hi gh  s c o r e :   F lu e n c y :  W hi s pe r  t r a ns c r ip ti o n i s  n e a r l y   pe r f e c t.   S e m an t ic   A li g n m e n t :  V is ua l  s c e n e   ma tc he s  na r r a ti ve   e l e m e nt s .   C u l t u r al   R e le van c e :  M a tc h e s  t y pi c a l  W e s te r n i ma g e r y   of  publi c  pa r ks  a nd  c hi ld h oo d l e a r ni ng.   E X  10:   S p o k e n  P r o m p t  ( i n  A r ab ic ) :   “   ي ف  د ج س م ل ا  م ا م أ  ب ع ل ي  ةي ب ج  ي د ت ر ي  ل ف ط ر ك ا ب ل ا  ح ا ب ص ل ا . ”   ( A  c hi ld  w e ar in g a j al abi y a i s   pl ay in g i n f r ont  o f  a m o s que  i n t he   e ar ly  m or ni ng.)   A  c hi ld  s ta nds  i n a  c o u r t y a r d w it h  do m e d a r c hi t e c tu r e  i n t h e   ba c kgr o und.   T h e   o ut f it  r e s e mbl e s  a  r o b e ,   but  t h e   bui ld in g l a c ks  r e gi o na l  de s ig n  c u e s .   T h e  m o s qu e  i s  r e nd e r e d g e n e r i c a ll y ,  r e s e mbl in g a  c a th e dr a l  d o m e .   Hi gh ,  b u t  l o w e r  s c o r e  t h a n  E n gl is h :     F lu e n c y :   W hi s pe r  ha ndl e d A r a bi c  w e ll .   S e m an t ic  A li g n m e n t :  S c e ne  b r o a dl y   c o r r e c t  but  l a c ks  a r c hi t e c tu r a l  s p e c i f i c it y .   C u l t u r al  R e le van c e :   M o s que   mi s r e pr e s e nt e d - mi na r e ts  mi s s in g, j a la bi y a   no t  c l e a r .   E X  11:   S p o k e n  P r o m p t  ( i n  M al a y) :   “ Se or ang ne la y an t ua s e dang  m e nj al a i k an di t e pi  pantai  w ak tu   s ubuh. ”   ( A n ol d f is he r m an i s   c as ti ng his  ne t  by  t he  be ac h at  daw n.)   A n e ld e r l y  ma n s ta nds  ne a r  w a te r ,  c a s ti ng a  ne t.   S c e n e  i s  mi s t y , l ig ht in g s ugge s ts   mo r n in g, but s e tt in g l oo ks  l ik e  a   la ke  i n E ur o p e .   C lo th in g d oe s  no t  r e s e mbl e  M a la y   f is hi ng a tt i r e .   A ve r age  s c o r e :   F lu e n c y :  W hi s pe r  t r a ns c r ip ti o n w a s   mo s tl y  a c c ur a t e .   S e m an t ic  A li g n m e n t :  C o r r e c t  a c t i o n  ( c a s ti ng ne t ) , t im e  ( da w n) .   C u l t u r al  R e le van c e :  M is s e d l o c a l  c o nt e x t — a tt ir e  a nd be a c h s e tt in g n o t  S o ut h e a s t  A s ia n.   E X  12:   S p o k e n  P r o m p t  ( i n  M ac e d on ia n ) :   “ С т ар чов е к  с е д и н а чард ак  и  пие  к аф е  д од е к а г л е д а в о  пл ан ин ит е . ”   ( A n ol d m an i s  s it ti ng on a  ‘ č ar dak ’   dr in k in g c o f fe e  w hi le  l ook in g at  t he   m ount ai ns .)   A n e ld e r l y  ma n  o n a  w oo d e n  ba lc o n y  dr in k  f r o m a  mug.   T h e  ba c kgr o und in c lu d e s  s no w y   pe a ks , but  a r c hi t e c tu r e  r e s e mb le s  a   S w is s  c ha le t.   T h e   č a r da k ( B a lk a n - s t y le   ve r a nda )   is   n o t  c o r r e c t ly  r e p r e s e n t e d .   L o w  S c o r e   F lu e n c y :  W hi s pe r e d s li ght l y   mi s r e c o gni z e d  “ ч а рд а к . ”   S e m an t ic  A li g n m e n t :  G e ne r a l  id e a   c a pt ur e d.   C u l t u r al  R e le van c e :  T h e   v is ua l  e le me nt s   w e r e  W e s t e r ni z e d, l o s in g t he i r  B a lk a n  a mbi a nc e .     Evaluation Warning : The document was created with Spire.PDF for Python.
                                I S S N :   2252 - 8776   I n t   J   I n f   &   C o m m u n   T e c hn o l ,  Vo l .   1 5 ,   N o.   2 ,  J un e   20 2 6 :   823 - 838   832   T r a n s l a t i n g   c u l t ur a l   i d i o m s   a n d  i n t e r pr e t i n g  m u l t im o da l   e x pr e s s i o ns   r e qu i r e d  a   c o m pr e h e ns i ve   a ppr o a c h .   T hi s   pr o c e s s   i nv o l v e d  pr e s e n t i n g  i d i o ms   o r   ge s t ur e s   t h a t   a r e   de e pl y   e m be dde d  i n   t h e i r   r e s pe c t i v e   c u l t ur e s   a s   pa i r s   o f   im a g e s   a n d  t e x t .   E a c h   pa i r   wa s   de s i g n e d  t o   s h o wc a s e   t h e   i d i o m   o r   ge s tur e   a n d   c o n t e x t ua l i z e   i t s   m e a ni ng  w i t hi n  t h e   c u l t ur e   i t   o r i g i n a t e s .   S ub s e que n t l y ,   m o de l s   we r e   t a s ke d  w i t h   t r a ns l a t i n g  t h e s e   c u l t ur a l ly   r o ot e d  e x pr e s s i o n s   o r   i n t e r pr e t i n g  t h e i r   m e a ni ngs   i n  a n o t h e r   l a n gua ge ,   e n s ur i ng  t h a t   n ua n c e s   a n d  c u l t ur a l   s i g nif i c a n c e   we r e   pr e s e r v e d  a s   m uc h   a s   po s s i bl e .   S uc h   a n   e n d e a v o r   h i g hli g h t s   t h e   c o m p l e xi t y   o f   l a n gua ge   a n d  c u l t ur e ,   de m o ns t r a t i n g  t h e   i n t r i c a t e   c o n n e c t i o n s   b e t we e n   vi s ua l   r e pr e s e n t a t i o n s   a nd  v e r b a l  e x pr e s s i o n s .   As   T a bl e   4  s h o ws ,   o nl y   GI T   a c hi e v e d  a n   a c c ur a c y   r a t e   e x c e e d i ng  60%   a c r o s s   i d i o m   t r a n s l a t i o n  t a s ks .   M a c e do ni a n   i d i o m s   we r e   o f t e n   m i s i n t e r p r e t e d ,   pa r t i c u l a r l y   t h o s e   i nv o l vi ng  pr o v e r b s   w i t h   vi s ua l   m e t a ph o r s .   Qua l i t a t i v e   r e vi e we r s   n o t e d   t h a t   m o de l s   l a c ke d  pr a g m a t i c   un d e r s t a n d i ng  a n d  c o n t e x t ua l   b a c kgr o un d  f o r   c ul t ur a l ly   e m be dde d  m e a ni ng.       T a bl e   4.   C or r e c t   i n t e r pr e t a t i o n   r a t e s   ( % )   o f   c u l t ur a l   i d i o m s   M o de l   A r a bi c  → E ngl is h   M a la y  →  E ngl is h   M a c e d o ni a n → E ngl is h   C L I P   48.5   46.0   38.0   mP L U G   60.2   58.1   49.5   G I T   66.3   61.0   54.3       E x a mpl e   L a ngua g e /I di o m/ p r ove r b   C L I P   mP L U G   G E T   E X  13:   A r ab ic :  ى ب ز ل ا   ل ي س ل ا   غ ل ب   L it e r al  m e ani ng:   “ T h e   f l oo d ha s   r e a c he d t h e  hi gh e s t  p o in t. ”   F ig ur at iv e  m e ani ng:   E nough is   e nough / T he  l as t  s tr aw .   T h e  w a t e r  i s  hi gh.   A n al y s is :  L it e r a l  a nd  mi s s e s  t he  i di o ma ti c   me a ni ng.   T h in gs  ha ve  g o ne  t oo   f a r . ”   A n al y s is :  A ppr ox im a t e s  t he   in te nd e d  f ig ur a ti ve   me a ni ng.   T h is  s it ua ti o n ha s  be c o m e   unbe a r a bl e .  I t  is  t he   la s t  s tr a w .   A n al y s is :  C or r e c t  f ig ur a ti ve   tr a ns la ti o n w it h  e x pr e s s iv e   a c c u r a c y .   E X  14:   M al ay /  “ B a ga i  m e l e pa s ka n  ba tu k di   ta ngga ”   L it e r al  m e ani ng:   “ L ik e   c o ughi ng  o n  th e  s ta ir s . ”   F ig ur at iv e  m e ani ng:   D oi ng s om e th in g  hal f - he ar te dl y  /  P oor  e ff o r t.   A  pe r s o n c o ughi ng  o n  s ta ir s .   A n al y s is :  L it e r a l;   c o mpl e t e l y  mi s s e s  t he   f ig u r a ti v e   in te n t.   D o in g s o me th in g  w it ho ut  s e r i o us ne s s .   A n al y s is :  D e c e nt   a ppr ox im a ti o n.   A c ti ng w it h n o  r e a l  e f f or t  o r   c o mm it m e nt , j us t  f or  s ho w .   A n al y s is :  M o s t  a c c ur a t e  i n  c o nt e x t  a nd t o ne .   E X  15:   M ac e d on ia n / “ Д а   т и   с е   к р е н е   к ос а т а ”   L it e r al  m e ani ng:   “ F o r   y ou r  ha ir  t o   s ta nd up. ”   F ig ur at iv e  m e ani ng:   T o be   e x tr e m e l y   s c ar e d o r  s hoc k e d.   Som e one  w it h t he ir   hai r  s ta ndi ng up.   A n al y s is :  I nt e r pr e t e d  li te r a ll y , p o s s ib l y  a s   s ta ti c  e l e c tr i c it y   or   ha ir s t y l e .   T o be  f r ig ht e n e d or   al ar m e d.   A n al y s is :  C lo s e  t o   c o r r e c t  m e a ni ng.   A  t e r r if y in g e x pe r ie nc e  t hat   m ak e s  y ou r  hai r  s t and on  e nd.   A n al y s is :  A c c ur a t e  a nd  id io ma ti c ;  c a pt ur e s   e m o ti o na l  r e s o na nc e .     An   a n a ly s i s   o f   o v e r   200  e r r o n e o us   o r   bi a s e d  o utput s   r e v e a l e d  t h r e e   ke y   pa t t e r n s :  f i r s t ,   t h e r e   i s   a   s i g nif i c a n t   t e n de n c y   t o wa r ds   o v e r - we s t e r n i z a t i o n ,   a s   vi s ua l   o ut pu t s   f o r   n o n - W e s t e r n   l a n gua ge s   o f t e n  de f a u l t   to  E ur o c e n t r i c   dr e s s ,   a r c hi t e c t ur e ,   o r   o bj e c t s .   S e c o n d,   ge n de r   s t e r e ot y p i ng  i s   pr e va l e n t ;   f o r   i ns t a nc e ,   de s c r i pt i o ns   o f   pr o f e s s i o n a l   r o l e s ,   s uc h   a s   do c tor   or   t e a c h e r ,   f r e que n t l y   e xhi bi t   ge n de r   bi a s ,   w i t h   n ur s e s   o f t e n  po r tr a y e d  a s   f e m a l e   a n d  e n g i ne e r s   t y p i c a ll y   de p i c t e d  a s   m a l e .   L a s t l y ,   t h e r e   i s   a   f r e que n t   o c c ur r e n c e   o f   l i t e r a l   t r a n s l a t i o n   o f   f i gur a t i ve   l a n gu a ge ,   wh e r e   i d i o m s   li ke   “ b r e a k  o n e   i s   b a c k ”   a r e   t r a n s l a t e d  l i t e r a ll y ,   t h us   m i s s i ng   t h e i r   i n t e n de d  f i gur a t i v e   m e a ni ngs .   E x a m p l e s   13,   14,   a n d  15  pr o vi de   i ns i g h t s   i n t o   t h e s e   po i n t s .   As   s h o wn   i n   T a bl e   5,   t h e   r e s u l t s   de m o ns t r a t e   t h a t   G I T   h a s   c o n s i s t e n t l y   pe r f o r m e d  t h e   be s t   a c r o s s   v a r i o us   m u l t il i ngua l   a n d  m u l t i m o da l   t a s ks ,   pa r t i c u l a r ly   i n   s t r uc t ur e d   t a s ks .   T h e s e   i n c l ude   i m a ge   c a pt i o ni ng,   whi c h   c a n   ge n e r a t e   de t a i l e d  de s c r i pt i o ns   o f   i m a ge s ,   a n d  VQ A ,   wh e r e   i t   a c c ur a t e l y   r e s po n ds   to   que s t i o ns   b a s e d  o n   vi s ua l   c o n t e n t .   T hi s   c o n s i s t e n c y   i nd i c a t e s   a   r o b us t   c a pa bi li t y   i n   u n de r s t a n d i ng  a n d  pr o c e s s i n g   d i f f e r e n t   f o r m s   o f   da t a ,   m a k i ng  i t   a   v e r s a t i l e   t oo l   in   v a r i o us   a pp li c a t i o n   a r e a s .   I n   c o n t r a s t,   t h e   c o m bin a t i o n   o f   W hi s pe r   a n d  GPT - 4V   h a s   de m o ns t r a t e d  i m pr e s s i ve   f l ue nc y   i n   s pe e c h - to - i m a ge   s t or y t e l li ng,   e na bli ng  a   s e a ml e s s   t r a n s i t i o n   f r o m   v e r b a l   n a r r a t i ve s   to   v i s u a l   r e pr e s e n t a t i o n s .   Ho we v e r ,   de s pi t e   i t s   l i ngu i s t i c   f l u i d i t y   a n d  c r e a t i vi t y   s t r e n gt h s ,   t hi s   m o de l   e xhi b i t s   n o t a bl e   s h o r t c o m i ngs   r e ga r d i ng   de e p  c u l t ur a l   gr o un d in g.   T hi s   l a c k  o f   a r t i s t i c   de pt h   m a y   hi nde r   i t s   e f f e c t i v e ne s s   i n   c o n v e yi ng  n u a n c e d  m e s s a ge s   i n   d i v e r s e   c ul t ur a l   c o n t e x t s ,   vi t a l   f o r   e f f e c t i ve   c o m m u ni c a t i o n .       T a bl e   5.   M o de l   c a pa bil i t y   c o m pa r i s o n   M o de l   M ul ti li ngua l  t e x t   V is ua l  u nde r s ta ndi ng   S pe e c h  i nput   C ul tu r a l  s e ns it iv i t y   C L I P   M o de r a te   S tr o ng   No   L o w   mP L U   S tr o ng   S tr o ng   L im it e d   M o de r a te   G I T   V e r y   s tr o ng   V e r y   s tr o ng   No   M o de r a te   W hi s pe r  +  G P T - 4V   S tr o ng   V e r y   s tr o ng   S tr o ng   M o de r a te   Evaluation Warning : The document was created with Spire.PDF for Python.