I nd o ne s ia n J o urna l o f   E lect rica l En g ineering   a nd   Co m pu t er   Science   Vo l.   42 ,   No .   3 J u n e   2 0 2 6 ,   p p .   742 ~ 75 2   I SS N:  2 5 0 2 - 4 7 5 2 ,   DOI : 1 0 . 1 1 5 9 1 /ijeecs.v 42 .i 3 . pp 742 - 75 2           742       J o ur na l ho m ep a g e h ttp : //ij ee cs.ia esco r e. co m   Im pro v ed int erac tivity  and a utom a ted  res po nse    for v isua l questio n ans wering       Ng uy en  H a   M a nh   K ha ng ,   Ng uy en  T ua n An h ,   Ng uy en  M inh   H o a ng ,   B ui T ha n h H un g   D a t a   S c i e n c e   La b o r a t o r y F a c u l t y   o f   I n f o r ma t i o n   T e c h n o l o g y ,   I n d u s t r i a l   U n i v e r si t y   o f   H o   C h i   M i n h   c i t y ,   H o   C h i   M i n h   c i t y ,   V i e t n a m       Art icle  I nfo     AB S T RAC T   A r ticle  his to r y:   R ec eiv ed   Oct  2 4 ,   2 0 2 5   R ev is ed   Ma r   1 3 ,   2 0 2 6   Acc ep ted   Ma y   2 6 ,   2 0 2 6       Visu a q u e stio n   a n sw e ri n g   (VQ A)  sy ste m h a v e   m a d e   su b sta n ti a p r o g re ss ,   y e th e y   stil fa c e   li m it a ti o n i n   h a n d li n g   c o m p lex   o a m b i g u o u q u e ries   a n d   su p p o rti n g   re a l - ti m e   i n tera c ti o n   d u e   t o   re li a n c e   o n   lar g e ,   c o m p u tatio n a ll y   e x p e n siv e   m o d e ls  t h a in c re a se   late n c y   a n d   re strict  p ra c ti c a d e p lo y m e n t,   p a rti c u larly   i n   e d u c a ti o n a c o n tex ts.  T h is  stu d y   a ims   t o   d e v e lo p   a n   e fficie n t   a n d   i n tera c ti v e   VQ sy ste m   t h a t   e n h a n c e a n sw e a c c u ra c y   wh il e   e n a b li n g   n a tu ra two - wa y   c o m m u n ica ti o n   wit h   u se rs.  T o   a c h iev e   t h is   g o a l,   we   p ro p o se   a   li g h twe ig h m u lt im o d a fra m e wo rk   b a se d   o n   p re - train e d   v isio n lan g u a g e   m o d e ls  su c h   a BLIP   a n d   fi n e - tu n in g   T 5 ,   c o m b in e d   wit h   p r o m p t   e n g in e e rin g   to   imp r o v e   q u e stio n   u n d e rsta n d i n g   a n d   a n sw e g e n e ra ti o n .   T h e   sy ste m   fu rth e i n c o r p o ra tes   c o n v e rsa ti o n a c o n tex m e m o ry   a n d   a   fe e d b a c k   m e c h a n ism   th a g e n e ra tes   c larifica ti o n   q u e sti o n s   wh e n   u se i n p u ts  a re   a m b ig u o u s,  th e re b y   stre n g th e n in g   in tera c ti o n   c a p a b il it ies .   Ex p e ri m e n ts  a re   c o n d u c ted   o n   p u b li c   b e n c h m a rk   d a tas e F li c k r8 k ,   u sin g   si n g le - G P U   c o m p u tati o n a se tt i n g s   to   e v a lu a te  a c c u ra c y ,   re sp o n se   late n c y ,   a n d   in tera c ti o n   e ffe c ti v e n e ss .   T h e   e x p e rime n tal  re su lt d e m o n stra te  th a t   th e   p ro p o se d   a p p ro a c h   a c h iev e c o m p e ti ti v e   o su p e rio a c c u ra c y   c o m p a re d   to   h e a v ier  b a se li n e   m o d e ls,  w h il e   sig n ifi c a n t ly   re d u c i n g   i n fe re n c e   ti m e   a n d   e n a b li n g   re a l - ti m e   in tera c ti o n .   Th e   m a in   c o n tri b u ti o n o f   th is   w o rk   in c lu d e   a   li g h twe i g h t ,   p ro m p t - d ri v e n   VQ a rc h it e c tu re ,   a n   i n tera c ti v e   st ra teg y   f o r   re so lv in g   a m b i g u o u s   q u e ries ,   a n d   e m p iri c a e v id e n c e   t h a e fficie n m o d e ls  c a n   su p p o rt  a c c u ra te  a n d   c o n v e rsa ti o n a VQ fo e d u c a ti o n   a n d   o th e re a l - wo rld   a p p li c a ti o n s.   K ey w o r d s :   Au to m atic  r esp o n s e   I n ter ac tio n     Mo d el  ev alu atio n   Natu r al  lan g u ag e   p r o ce s s in g   Vis u al  q u esti o n   an s wer in g   T h is i a n   o p e n   a c c e ss   a rticle   u n d e r th e   CC B Y - SA   li c e n se .     C o r r e s p o nd ing   A uth o r :   B u i T h an h   Hu n g   Data   Scien ce   L ab o r ato r y ,   Fac u lty   o f   I n f o r m atio n   T ec h n o l o g y   I n d u s tr ial  Un iv er s ity   o f   Ho   C h i M in h   city   Ho   C h i M in h   city ,   Vietn am   E m ail:  b u ith an h h u n g @ iu h . ed u . v n       1.   I NT RO D UCT I O N   I n   th e   co n tex o f   t h r a p id   an d   o n g o in g   a d v an ce m en o f   ar t if icial  in tellig en ce   ( AI ) ,   v is u a q u esti o n   an s wer in g   ( VQA )   h as  em er g e d   as  o n e   o f   th m o s p r o m is in g   an d   h ig h ly   in ter d is cip lin ar y   r esear ch   ar ea s .   As a   m u ltimo d al  p ar ad i g m ,   VQA  co m b in es  co m p u ter   v is io n ,   n atu r al  lan g u ag p r o ce s s in g ,   an d   d ee p   lear n in g   tech n iq u es  to   en a b le  m ac h in es   to   p er ce iv v is u al  s ce n es,  r ea s o n   ab o u th ei r   co n te n t,  an d   g en er ate  m ea n in g f u l   an s wer s   to   q u esti o n s   ex p r ess ed   in   n atu r al  lan g u a g e.   T h is   ca p ab ilit y   r ep r esen ts   an   im p o r tan s tep   to war d   n ar r o win g   th g a p   b etwe en   h u m an   co g n itiv u n d er s tan d in g   an d   m ac h in v is u al  p er ce p tio n .   VQA  s y s tem s   ar e   d esig n ed   n o t   o n ly   to   r ec o g n iz o b jects,  attr i b u tes,  an d   r elatio n s h ip s   with in   im ag es,  b u t   also   to   i n teg r ate   th ese   v is u al  cu es  with   lin g u is tic  co m p r eh e n s io n   in   o r d er   t o   p r o d u ce   co h e r en an d   co n te x tu ally   ap p r o p r iate   r esp o n s es [ 1 ] [ 5 ] .   Evaluation Warning : The document was created with Spire.PDF for Python.
I n d o n esian   J   E lec  E n g   &   C o m p   Sci     I SS N:   2502 - 4 7 5 2       I mp r o ve d   in tera ctivity  a n d   a u t o ma ted   r esp o n s fo r   visu a l q u esti o n   a n s w erin g   …  ( N g u ye n   Ha   Ma n h   K h a n g )   743   T h p r ac tical  s ig n if ican ce   o f   VQA  tech n o lo g y   h as  b ee n   in cr ea s in g ly   r ec o g n ized   ac r o s s   v ar io u s   d o m ain s ,   in clu d in g   d ig ital  ed u ca tio n ,   in tellig en t u to r in g   s y s tem s ,   h ea lth ca r an aly s is ,   v ir tu al  ass is tan t s ,   an d   v is u al  lear n in g   en v i r o n m e n ts   [ 6 ] [ 9 ] .   I n   e d u ca tio n ,   VQA  en ab les  in ter ac tiv lear n i n g   b y   a llo win g   s tu d en ts   to   ask   q u esti o n s   ab o u im ag es,   d iag r am s ,   o r   i n f o g r ap h ics  an d   r ec ei v im m e d iate  f ee d b ac k .   Similar ly ,   in   ass is tiv tech n o lo g ies,  VQA  ca n   s u p p o r v is u ally   im p ai r ed   in d iv id u als  b y   d escr ib in g   v is u al   s ce n es  o r   an s wer in g   q u esti o n s   ab o u t h eir   s u r r o u n d in g s .   T h ese  ap p licatio n s   d em o n s tr ate  th p o ten tial  o f   VQA  to   im p r o v ac ce s s ib i lity ,   en h a n c u s er   en g ag e m en t,  an d   p r o v i d f ast,  co n tex t - awa r e   r esp o n s es  th at  ap p r o x im ate   h u m an - lik e   u n d er s tan d in g   [ 1 0 ] [ 1 2 ] .   Desp ite  th ese  ad v an tag es,  cu r r en VQA  s y s tem s   s till   f ac s ev er al  ch allen g es  th at  lim it  th eir   r ea l - wo r ld   d ep l o y m en t.   T h eir   p e r f o r m a n ce   o f ten   d ec lin es wh e n   d ea lin g   with   co m p lex   o r   am b i g u o u s   q u esti o n s   th at  r eq u ir e   d ee p er   r ea s o n i n g ,   m u lti - s tep   in f er en ce ,   o r   ex te r n al  k n o wled g e.   I n   a d d itio n ,   r ea l - tim in ter ac tio n   r em ain s   d if f icu lt  d u to   th h ea v y   co m p u tatio n al  r e q u ir e m en ts   o f   lar g n eu r al   ar ch ite ctu r es,  p ar ticu lar ly   tr an s f o r m er - b ased   v is io n lan g u ag e   m o d els.   I s s u es  r elate d   to   s ca lab ilit y   an d   r eso u r ce   co n s u m p tio n ,   s u ch   as  h ig h   GPU  m em o r y   u s ag a n d   lo n g   in f er en ce   tim es,  f u r th er   r estrict  th u s o f   VQ in   lo w - laten cy   o r   r eso u r ce - co n s tr ain ed   e n v ir o n m en ts .   T h ese  lim itatio n s   r e d u ce   s y s tem   f lex ib ilit y   a n d   h in d er   ap p licatio n s   th at   r eq u ir r o b u s t a n d   im m ed iate  r esp o n s es [ 2 ] .   Ad d r ess in g   th ese  is s u es  r e q u ir es  m o r ef f icien t   m o d e ar ch itectu r es,  im p r o v e d   m u ltimo d al  r ep r esen tatio n   lear n in g ,   a n d   s tr o n g e r   r ea s o n in g   m ec h a n is m s   th at  b alan ce   ac cu r ac y   an d   co m p u tatio n al   ef f icien cy .   O v er co m in g   th ese   ch allen g es  co u ld   en ab le  f u tu r VQA  s y s tem s   to   f u n ctio n   as  in tellig en ag en ts   ca p ab le  o f   s u p p o r tin g   r ea l - tim e,   h u m a n - lik in ter ac tio n   ac r o s s   d iv er s v is u al  an d   lin g u is tic   co n tex ts   [ 4 ] ,   [ 5 ] .   E ar ly   b en ch m ar k s ,   s u ch   as  th VQA  d ataset  in tr o d u ce d   b y   An to l   et  a l .   [ 1 3 ] ,   p r o v id e d   f o u n d atio n   f o r   s y s tem atic  e v alu atio n   b u r ev ea led   s tr o n g   d ataset  b iases   th at  en co u r ag ed   s h allo r ea s o n in g .   L ater   ap p r o ac h es  in co r p o r ated   atte n tio n - b ased ,   c o - atten tio n ,   an d   t r an s f o r m er - b ased   m o d els  to   i m p r o v e   m u ltimo d al  alig n m en t,  th o u g h   o f ten   at   th e   co s o f   in cr ea s ed   c o m p lex ity .   W h ile  lar g p r e - tr ain e d   v is io n lan g u ag m o d els  ac h iev s tr o n g   ac c u r ac y ,   p r i o r   s tu d ies  n o te  lim ited   f o c u s   o n   r ea l - tim in te r ac tio n ,   d ialo g u e - b ased   r ea s o n i n g ,   an d   clar if icatio n   m ec h a n is m s .   As  r esu lt,  m o s ex is tin g   s y s tem s   s till   o p er ate  in   s in g le - tu r n   an s wer in g   p ar ad ig m   with o u t c o n v er s atio n al  f ee d b ac k   [ 1 4 ] ,   [ 1 5 ] .   T o   ad d r ess   th ese  g ap s ,   th is   s tu d y   p r o p o s es  lig h tweig h t ,   p r o m p t - d r iv en   VQA  f r am e wo r k   th at   p r io r itizes  ef f icien c y   a n d   in t er ac tiv ity .   T h ap p r o ac h   le v er ag es  c o m p ac t   B L I P - b ased   v is io n lan g u a g m o d el  c o m b in e d   with   p r o m p t   en g in e er in g   to   im p r o v e   q u es tio n   u n d er s tan d in g   a n d   an s wer   g e n er atio n   wh ile   r ed u cin g   c o m p u tatio n al  o v er h ea d .   I n   ad d itio n ,   th s y s tem   in teg r ates  co n v er s atio n al  co n t ex m em o r y   an d   an   ac tiv clar if icatio n   m ec h an is m ,   en ab lin g   it  to   ask   f o llo w - u p   q u esti o n s   wh en   u s er   in p u ts   ar am b ig u o u s .   Un lik p r io r   s tatic  VQA  s y s tem s ,   th p r o p o s ed   f r am ew o r k   s u p p o r ts   r ea l - tim e,   two - w ay   in ter ac tio n   an d   ad ap tiv r ea s o n i n g ,   m a k in g   it  p ar ticu lar ly   s u itab le  f o r   ed u ca t io n al  an d   i n ter ac tiv ap p licatio n s .     Ou r   ap p r o ac h   in cl u d es:  u s in g   th T 5 T P3   m o d el  to   g e n er ate  q u esti o n s   f r o m   p h o t o   ca p tio n s ap p ly in g   co m p ac t   B L I m o d el   co m b in ed   wit h   p r o m p en g in ee r in g   t ec h n iq u es  to   o p tim ize  in p u q u er ies  an d   g en e r ate   d escr ip tiv an d   in f o r m atio n - r ich   an s wer s b u ild   a   d escr ip tiv VQA  d ataset  f r o m   Fli ck r 8 k   an d   d esig n   a   r eso u r ce - o p tim ized   tr ain in g   p r o ce s s .   Key   co n tr ib u tio n s   to   th s tu d y   in clu d e:     Au to m at ically   g en er ate   q u esti o n s   u s in g   T 5 T P3   f r o m   im a g ca p tio n s ,   p r o d u cin g   d i v er s a n d   co n tex tu ally   ap p r o p r iate  q u esti o n s   f o r   v is u al  co n ten t.     I n teg r ate  lig h tweig h B L I wi th   p r o m p en g in ee r in g   to   i m p r o v th ac cu r ac y ,   c o h er en ce ,   an d   d escr ip tiv q u ality   o f   g en er a te d   an s wer s .     B u ild   d escr ip tiv VQA  d at aset  f r o m   Fli ck r 8 k ,   wh er an s wer s   co r r esp o n d   to   f u ll  ca p tio n s ,   en ab lin g   r ich er   r esp o n s es th an   tr ad itio n al  VQA  d atasets .     Use  r eso u r ce - ef f icien tr ain in g   an d   ev alu atio n   f r am ew o r k ,   in clu d i n g   f r ee zin g   th v is io n   en co d e r ,   g r ad ien ac cu m u latio n ,   f p 1 6   o p tim izatio n ,   an d   m etr ics  s u ch   as  m ea n   q u esti o n   s im ilar ity ,   m ea n   q u esti o n ca p tio n   s im ilar ity ,   u n i q u q u e s tio n   r atio ,   B L E U,   an d   R OUGE .   I n   ad d itio n   to   th in tr o d u ctio n ,   th r em ain d er   o f   th is   p ap er   is   o r g an ized   as  f o llo ws.  Par 2   p r esen ts   th p r o p o s ed   m o d el  an d   p r o v id es  d etailed   an aly s is   o f   its   in d iv id u al  co m p o n en ts .   Par 3   d escr ib es  th ex p er im en tal   s etu p   an d   r ep o r t s   co m p a r ativ e v alu atio n   o f   o u r   ap p r o ac h   ag ai n s ex is tin g   m eth o d s .   Fin ally ,   Par t 4   s u m m ar izes th m ain   c o n clu s i o n s   o f   t h is   s tu d y   an d   d i s cu s s es p o ten tial d ir ec tio n s   f o r   f u tu r e   r esear ch .       2.   M E T H O D   2 . 1 .     T he  pro po s ed  m et ho d   T h p r o p o s ed   s y s tem   is   d esig n ed   as  two - s tag f r am ewo r k   th at  in teg r ates  b o th   au to m ati q u esti o n   g en er atio n   a n d   in tellig en a n s wer   p r ed ictio n ,   en ab lin g   m o r s ea m less   an d   co n tex tu ally   g r o u n d ed   in ter ac tio n   b etwe en   v is u al  u n d er s tan d in g   an d   lan g u ag r ea s o n in g .   Sp ec if ically ,   th f r am ewo r k   o p er ates  th r o u g h   two   p r im ar y   p h ases :   i)   Au to m atic   q u esti o n   g en er atio n   f r o m   im a g es,  wh er e   v is u al  in p u ts   ar e   p r o ce s s ed   to   p r o d u ce   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 5 0 2 - 4 7 5 2   I n d o n esian   J   E lec  E n g   &   C o m p   Sci Vo l.  42 ,   No .   3 ,   J u n e   20 2 6 :   7 4 2 - 75 2   744   lin g u is tically   d iv er s an d   s em an tically   co h er en q u esti o n s   th at  r ef lect  th k ey   elem en ts ,   o b jects,  an d   r elatio n s h ip s   with in   th im ag e an d   ii)  Qu esti o n   an s wer in g   b ased   o n   im ag c o n ten t,  in   wh i ch   th g en e r ated   o r   u s er - p r o v id ed   q u esti o n   is   an aly ze d   an d   an s wer ed   u s in g   f in e - tu n ed   B L I m o d el  [ 1 6 ]   i n   co n ju n ctio n   with   p r o m p t e n g in ee r in g   to   en s u r co n tex tu al  ac cu r ac y   a n d   h u m a n - lik f lu e n cy .   Fig u r 1   p r esen ts   th e   o v e r all  wo r k f lo w   o f   th p r o p o s ed   m eth o d ,   wh ich   in v o lv e s   s ev er al   in ter co n n e cted   s tep s   th at  b r i d g v is u al  p er ce p tio n   an d   n at u r al  lan g u ag r ea s o n in g .   T h s y s tem   f ir s ex tr ac ts   h ig h - lev el  v is u al  r e p r esen tatio n s   f r o m   th e   in p u im a g e,   t h en   lev er ag es  th T 5 T P3   [ 1 7 ]   b ased   q u esti o n   g en er atio n   m o d u le   to   a u to m at ically   f o r m u late  r ele v an q u es tio n s .   Su b s eq u e n tly ,   t h f in e - t u n ed   B L I m o d el,   g u id ed   b y   ca r ef u lly   c r af ted   p r o m p ts ,   in ter p r ets  b o th   th im a g f ea tu r es  an d   th tex tu al  q u er y   to   g en er ate  a n   an s wer   th at  alig n s   with   th v is u al  co n tex t.  T h is   p ip elin e   n o o n ly   en h an ce s   th d ep t h   an d   d iv e r s i ty   o f   q u esti o n an s wer   p air s   b u a ls o   im p r o v es  s y s tem   ad a p ta b ilit y   ac r o s s   d i f f er en t   d o m ai n s   an d   in ter ac tio n   s ce n ar io s .   T h d etailed   p r o ce d u r o f   ea ch   s tag is   d escr ib ed   as f o llo ws.           Fig u r 1 .   Ov e r v iew  ar ch itectu r e   o f   th e   p r o p o s ed   m o d el       Data   p r e - p r o ce s s in g I m ag es  an d   ca p tio n s   f r o m   th Fli ck r 8 k   d ataset  ar u s ed   as  in p u t.  C ap tio n s   ar e   s tan d ar d ized ,   an d   im ag es  a r e   co n v er ted   in to   f o r m at   s u itab le  f o r   th e   v is u al  m o d el.   Au to m atic  q u esti o n   g en er atio n   u s in g   T 5 T P3 T h e   T 5 T P3   m o d el  tak es  im ag e   ca p tio n s   as  in p u t   an d   g en er ates  r elev an q u esti o n s ,   cr ea tin g   co n tex tu al  q u esti o n an s wer   p air s   th at  r ef lect  th im ag co n ten t.   Descr ip tiv VQA  d ataset   co n s tr u ctio n I m ag es,  g e n er at ed   q u esti o n s ,   a n d   o r ig in al   ca p tio n s   ar c o m b in e d   to   f o r m   tr ain in g   s am p les   ( im ag e,   q u esti o n ,   a n s wer ) .   An s wer s   ar m ain tain ed   as  d etailed   d escr ip tio n s   r ath er   th an   th s h o r r esp o n s es  ty p ical  o f   tr ad itio n al  VQA  d atasets .   B L I P - V QA  m o d el  tr ain in g B L I P - VQA  is   u s ed   as  th q u esti o n - an s wer in g   m o d el.   T h Vis io n   E n co d er   is   f r o ze n ,   wh ile  g r ad i en ac cu m u latio n   an d   FP 1 6   ar ap p lied   to   r ed u ce   co m p u tatio n al   co s t.  Pro m p t   e n g in ee r in g   is   u s ed   d u r in g   tr a in in g   a n d   i n f er en ce   to   en co u r ag co h er en t   an d   co m p lete  an s wer s .   Per f o r m an ce   ev alu atio n Qu esti o n   q u ali ty   is   as s ess ed   u s in g   Me an   Q u esti o n   Similar ity ,   Me an   Qu esti o n C ap tio n   Simi lar ity ,   an d   Un i q u Qu esti o n   R atio .   An s wer   q u ality   is   ev alu a ted   u s in g   B L E U - an d   R OUGE - L ,   en ab lin g   co m p r eh en s iv ass ess m en o f   b o th   th d ataset  an d   m o d el  p er f o r m an ce .   T h e   ab o v e   p r o ce s s   en s u r es  th at  th m o d el  is   b o th   ca p ab le  o f   a u to m at ically   g en er atin g   c o n tex tu al  VQA  tr ain in g   d ata,   o p tim izin g   t r ain in g   an d   in f e r en ce   f o r   a   r eso u r ce - co n s tr ain ed   en v ir o n m e n t,  a n d   p r o v id i n g   a n s wer s   th at  ar e   d escr ip tiv an d   cl o s to   n atu r a l la n g u ag e.   W will  d escr ib e   ea ch   p ar t i n   d etail  in   th n ex s ess io n .     2 . 2 .     G ener a t qu estio n - a ns wer   pa irs f ro m   ima g es   T h m o d el  p r o p o s ed   in   th is   s t u d y   is   d esig n ed   to   en h an ce   b o th   th q u ality   an d   co n tex t u al  r elev an ce   o f   q u esti o n s   an d   a n s wer s   with in   VQA   f r am ewo r k .   Un lik co n v e n tio n al  s y s tem s   t h at  r ely   s o lely   o n   p r e - d ef in ed   q u esti o n an s wer   p ai r s ,   th p r o p o s ed   ap p r o ac h   i n teg r ates  th r ee   co m p lem en ta r y   co m p o n en ts   th T 5 T P3   q u esti o n   g en er atio n   m o d el,   f in e - tu n e d   B L I m o d el,   an d   p r o m p t   en g in ee r in g   te ch n iq u es   to   f o r m   a   co h esiv an d   a d ap tiv a r ch itec tu r e.   T h r o u g h   th is   in teg r atio n ,   th s y s tem   g en er ates  s em an ticall y   r ich   q u esti o n s   f r o m   v is u al  in p u ts   an d   p r o d u ce s   ac cu r ate,   co n te x t - aw ar e,   h u m an - lik e   an s wer s   b y   le v er ag in g   m u ltimo d al  alig n m e n b etwe en   tex tu al  an d   v is u al  f ea tu r es.  T h T 5 T P 3   co m p o n en t   en s u r es  lin g u is tic  d iv er s ity   an d   g r am m atica f l u en cy   in   g e n er ated   q u esti o n s ,   wh ile  th f in e - tu n ed   B L I m o d el  s tr en g t h en s   v is u al tex tu al  r ea s o n in g   an d   s em an tic  co h er en ce   Evaluation Warning : The document was created with Spire.PDF for Python.
I n d o n esian   J   E lec  E n g   &   C o m p   Sci     I SS N:   2502 - 4 7 5 2       I mp r o ve d   in tera ctivity  a n d   a u t o ma ted   r esp o n s fo r   visu a l q u esti o n   a n s w erin g   …  ( N g u ye n   Ha   Ma n h   K h a n g )   745   b etwe en   im ag u n d er s tan d in g   an d   lan g u ag o u tp u t.  Pro m p en g in ee r i n g   f u r th er   r e f in es  m o d el  b eh a v io r ,   en ab lin g   th s y s tem   t o   a d ap t   to   d if f er e n co n tex ts ,   q u esti o n   ty p es,  an d   r esp o n s s ty le s   with o u ex te n s iv r etr ain in g .   T h m ain   f ea tu r es  o f   th is   m o d u le  in clu d e:   Au to m atic  q u esti o n   g e n er atio n   f r o m   im ag es :     T h T 5 T P3   m o d el  g e n er ates q u esti o n s   b as ed   o n   im a g ca p ti o n s   f r o m   th Fli ck r 8 k   d ataset.     Gen er ated   q u esti o n s   p r o v id e   d iv er s an d   m ea n in g f u c o n tex ts   th at  h elp   th m o d e u tili ze   im ag in f o r m atio n   ef f ec tiv ely .   C o n tex t - r ich   d escr ip tiv VQA   d ataset :     An s wer s   ar d etailed   d escr ip t iv ca p tio n s   r ath er   th an   s h o r t   r esp o n s es,  allo win g   th e   s y s tem   to   p r o d u ce   m o r in f o r m ativ o u tp u ts .     Data   is   p r ep r o ce s s ed   an d   o r g a n ized   as a   Py T o r c h   d ataset  to   f ac ilit ate  tr ain in g .   E f f icien t BLI P - VQA  tr ain in g :     T h v is io n   en c o d er   is   f r o ze n   t o   r ed u ce   co m p u tatio n al  o v er h ea d .     Gr ad ien t a cc u m u latio n   an d   FP 1 6   ar a p p lied   to   o p tim ize  m e m o r y   u s ag an d   t r ain in g   tim e.     Pro m p t e n g i n ee r in g   is   in co r p o r ated   to   im p r o v a n s wer   co h er en ce   an d   q u ality .   Mu lti - cr iter ia  ev alu atio n :     Qu esti o n   q u ality   is   ass es s ed   u s in g   m ea n   q u esti o n   s im ilar ity ,   m ea n   q u esti o n ca p tio n   s im ilar ity ,   an d   u n iq u e   q u esti o n   r atio .     An s wer   q u ality   is   ev alu ated   u s in g   B L E U - n   an d   R OUGE - L   to   m ea s u r b o th   ac cu r ac y   an d   co m p leten ess .   T h is   ap p r o ac h   en a b les  tr ain in g   an d   d ep lo y m en in   r eso u r ce - lim ited   en v ir o n m en ts   wh ile  m ain tain i n g   th ab ilit y   to   g en er ate  d escr ip t iv q u esti o n s   an d   an s wer s ,   m ak in g   it  s u itab le  f o r   a p p licatio n s   s u ch   as  lear n in g   ass is tan ts   an d   v is u al  ac ce s s ib il ity   s y s tem s .   T h d ata  f lo is   illu s tr ated   in   Fig u r 2   an d   in clu d es th f o llo win g   s tep s :     I m ag an d   ca p tio n   →  q u esti o n   g en er atio n   ( T 5 T P3 ) .     C o n s tr u ctio n   o f   a   d escr ip tiv VQA  d ataset  ( im ag e,   q u esti o n ,   an s wer ) .     Fin e - tu n in g   B L I P - VQA  with   p r o m p t e n g in ee r in g .     I n p u t: im ag e   ( ViT )   an d   to k e n i ze d   q u esti o n .     Ou tp u t: d escr ip tiv an s wer .           Fig u r 2 .   Data   f l o d escr ip tio n       Pro m p tin g   tech n iq u es Du r in g   th tr ain in g   an d   ass ess m en t   p r o ce s s ,   we  f o llo wed   p r o m p m eth o d s   p r esen ted   in   [ 1 8 ] ,   [ 1 9 ]   to   d o   p r o m p tin g   tech n iq u es  to   im p r o v th q u ality   o f   q u esti o n s   an d   an s wer s .   Qu esti o n   g en er atio n   was  p er f o r m ed   u s in g   th T 5 T P3   m o d el  f i n e - tu n ed   o n   th v al h alla/t5 - b ase - qg - h m o d el,   with   th e   in p u p r o m p b ein g   ca p tio n s   d escr ib in g   im ag es  f r o m   th Fli ck r 8 k   ep is o d e .   W u s p r o m p ts   f o r   b o th   tr ain in g   an d   test in g .   T h p r o m p lo o k s   lik "Yo u   ar d escr ip ti v VQA  ass i s tan t.  Qu esti o n {q } ".   T h q u esti o n   will   b r ef o r m atted   with   th p r o m p t.  Fo r   ex am p le,   Qu esti o n "Wh o   is   g o in g   in to   wo o d en   b u ild in g ?"   will  r esu lt  in   "Yo u   ar e   a   d escr ip tiv e   VQA  ass is tan t.  Qu esti o n W h o   is   g o i n g   in to   wo o d en   b u ild in g ?" .   T h e   au to m atica lly   lab eled   q u esti o n s   an d   an s wer s   ar th en   u s ed   to   tr ain   th B L I m o d el  in   an   im ag →  p r o ce s s o r   ( im ag e,   q u esti o n )   →  an s wer   m o d el.   T h an k s   to   th e   ab o v e   im p r o v e m en ts ,   th e   s y s tem   n o t   o n l y   in cr ea s es  ac cu r ac y   b u t   also   im p r o v es  t h e   q u ality   o f   th u s er   ex p er ien c th r o u g h   n atu r al  la n g u a g i n ter ac tio n ,   i n f o r m ativ d escr i p tio n s ,   an d   f lex ib le   r esp o n s es.  T h is   is   s tep   a wa y   f r o m   th tr ad itio n al  VQA  m o d el  to   m o r d escr ip tiv an d   h u m a n v is u al   Q& s y s tem .       Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 5 0 2 - 4 7 5 2   I n d o n esian   J   E lec  E n g   &   C o m p   Sci Vo l.  42 ,   No .   3 ,   J u n e   20 2 6 :   7 4 2 - 75 2   746   2 . 3 .     M o del  f ine - t un ing   I n   th is   s ec tio n ,   we  d escr ib t h p r o ce s s   o f   a n s wer in g   q u esti o n s   f r o m   im a g c o n ten t   u s in g   th f in e - tu n ed   B L I m o d el  with   p r o m p en g i n ee r in g .   T h e   s y s tem   u s es  B L I P - VQA  as  th co r e   m o d u le  to   f u s v is u al  an d   tex tu al  in f o r m atio n .   B L I is   ch o s en   f o r   its   co m p ac t   y et  ef f ec tiv en d - to - e n d   ar c h itectu r e,   en ab lin g   im ag e t ex alig n m e n t,  f ea tu r ex tr ac tio n ,   an d   a n s wer   g en er atio n   i n   u n if ied   m o d el.   W ith   p r o m p t   en g in ee r in g ,   th m o d el  b etter   ad ap ts   to   d if f er e n q u est io n   ty p es  an d   p r o d u ce s   m o r d escr ip tiv an d   co n tex tu ally   r ele v an t a n s wer s .   T h f i n e - tu n e d   B L I m o d el   also   in co r p o r ates  atten tio n   m ec h an is m s   in s p ir ed   b y   h ier a r ch ical  co - atten tio n   an d   th e   s tack ed   atte n tio n   n etwo r k   ( SAN)   to   s tr en g th en   i n ter ac tio n s   b etwe en   v is u al  r eg io n s   an d   tex t   r ep r esen tatio n s .   T h ese  m ec h a n is m s   iter ativ ely   alig n   im ag f ea tu r es  with   lin g u is tic  to k en s ,   im p r o v in g   th e   m o d el’ s   ab ilit y   to   ca p tu r s p a tial  d ep en d en cies,  o b ject  r elat io n s h ip s ,   an d   c r o s s - m o d al  s e m an tics ,   lead in g   to   m o r ac cu r ate  an d   g r o u n d e d   a n s wer s .   Ho wev er ,   tr ad itio n al  atten tio n - b ased   ap p r o ac h es  o f ten   r el y   o n   lo ca lized   v is u al  f ea tu r es   an d   s h o lim itatio n s   in   m u lti - s tep   r ea s o n in g ,   l o n g - r an g e   d ep e n d en c y   m o d elin g ,   an d   d ee p er   co n tex tu al  in f er e n ce .   T o   ad d r ess   th is ,   th is   s tu d y   in te g r ates  th B L I f r am ewo r k   with   p r o m p en g in ee r in g   to   g u id t h m o d el’ s   r ea s o n in g   p r o ce s s .   B y   d y n am ically   r ef in in g   p r o m p ts   d u r i n g   in f er e n ce ,   th s y s tem   f o cu s es  o n   in f o r m ativ e   v is u al  r eg io n s   an d   lin g u is tic  cu es,  r ed u cin g   am b i g u ity   an d   i m p r o v i n g   co m p o s itio n al  r ea s o n in g .   T h is   s tr ateg y   also   en ab les  m o r e   d etailed   an d   co n tex t - awa r d escr ip tio n s   f o r   co m p le x   s ce n es.  Ov e r all,   th ap p r o ac h   b alan ce s   co m p u tatio n al  e f f ici en cy ,   in ter p r etab ilit y ,   an d   s e m an tic  ex p r ess iv en ess ,   allo win g   th VQA  s y s tem   to   p r o d u ce   ac cu r ate,   co h er en t,  an d   in f o r m ativ a n s wer s .   I n   th e   f r ee ze   v is io n   en co d er ,   we  ap p ly   g r a d ien ac c u m u lati o n   a n d   FP 1 6   to   r ed u ce   c o m p u tatio n   co s ts   an d   p r o m p t   en g i n ee r in g   in   tr ain in g   an d   r ea s o n in g   t o   g u id th m o d el  to   g en e r ate  co m p lete  an d   c o h er e n t   an s wer s .   Fig u r 3   d escr ib es  a   d etailed   d escr ip tio n   o f   th e   f in e - tu n in g   p r o ce s s   o f   B L I P.  T h is   p r o ce s s in g   in clu d es  th f o llo win g   s tep s           Fig u r 3 .   Deta iled   d escr ip tio n   o f   th f i n e - tu n in g   p r o ce s s   o f   B L I P       Fo r war d   p ass W h en   u s in g   H u g g in g Face s   T r ain er   to   f in e - t u n B L I f o r   th VQA  task ,   t h f o r war d   p ass   p r o ce ed s   as  f o llo ws.   Data   in p u t:  I m ag es  ar lo ad ed   f r o m   th Data L o ad er   a n d   co n v er ted   in t o   p ix el _ v alu es  ten s o r s   ac c o r d i n g   to   B L I r e q u ir em e n ts ,   wh ile  q u esti o n s   ar to k en ized   in to   in p u t_ id s   an d   atten tio n _ m ask s   u s in g   th B L I to k en izer .   I m ag f ea tu r ex tr ac tio n T h v is io n   en co d e r   ( ty p ically   Vis io n   T r an s f o r m e r     ViT )   p r o ce s s es  th im ag e   ten s o r s   to   p r o d u ce   em b ed d i n g s   th at   ca p tu r h ig h - lev el  v is u al  f ea tu r es  s u ch   as  o b jects  an d   co lo r s .   Qu esti o n   f ea tu r e x tr ac tio n T h T r an s f o r m er - b ased   tex en co d er   p r o ce s s es  th to k en ized   q u esti o n   an d   g en er ates  tex em b ed d in g s .   Mu ltimo d al  f u s io n C r o s s - atten tio n   lay er s   e n ab le  in ter ac tio n s   b etwe en   tex tu al  an d   v is u al  r ep r esen tatio n s ,   p r o d u cin g   c o n t ex tu al  m u ltimo d al   r ep r esen tatio n .   An s wer   p r e d ic tio n T h e   f u s ed   r ep r esen tatio n   is   p ass ed   to   lan g u ag e   m o d elin g   h ea d   ( lin ea r   lay er   with   s o f tm ax )   to   co m p u t to k en   p r o b a b ilit ies,  f r o m   wh ich   th f in al  an s wer   is   g e n er at ed .   L o s s   ca lcu latio n T h tr ain e r   ca lls   th co m p u te _ lo s s   f u n ctio n   in   B lip Fo r Qu esti o n A n s wer in g .   Pre d ictio n s   ar co m p ar ed   wit h   g r o u n d - tr u th   an s wer s   at  th to k en   le v el  u s in g   c r o s s - en tr o p y   l o s s .   Pad d in g   to k en s   ar e   m ask ed   s o   th at  lo s s   is   co m p u ted   o n ly   o n   v alid   t o k en s .   T h r esu ltin g   lo s s   r ef l ec ts   th d if f er e n ce   b etwe en   p r ed icted   an d   r ef er e n ce   an s wer s   f o r   th c u r r en b atc h .   B ac k p r o p ag atio n Du r in g   th b ac k war d   p ass ,   Py T o r ch   co m p u tes  g r ad ien ts   o f   th lo s s   f o r   p ar am eter s   in   th v is io n   en co d er ,   te x en c o d er ,   a n d   c r o s s - atten tio n   lay e r s .   T h Ad am W   o p tim izer   u p d ates  th weig h ts   to   m in im ize  th e   lo s s .   Key   h y p e r p ar am eter s   in cl u d e   th lear n in g   r ate,   wh ich   co n tr o ls   u p d ate  m ag n itu d e,   a n d   weig h d ec ay ,   wh ic h   h elp s   p r e v en o v er f itti n g .   A   lear n in g - r a te  s ch ed u ler   s u ch   as  lin ea r   W ar m u p   an d   Dec ay   is   ty p ically   ap p lied   to   g r ad u ally   in cr ea s th lear n in g   r ate  at  th s tar o f   tr ain in g   a n d   d ec r ea s it  later   to   im p r o v e   co n v er g en ce .     Evaluation Warning : The document was created with Spire.PDF for Python.
I n d o n esian   J   E lec  E n g   &   C o m p   Sci     I SS N:   2502 - 4 7 5 2       I mp r o ve d   in tera ctivity  a n d   a u t o ma ted   r esp o n s fo r   visu a l q u esti o n   a n s w erin g   …  ( N g u ye n   Ha   Ma n h   K h a n g )   747   2 . 4 .     E v al ua t i on   W u s ev alu atio n   in d icato r s   th at  ar s u itab le  f o r   th p r o b l em   o f   g en er atin g   au to m atic  an s wer s   f o r   VQA:  B L E [ 2 0 ]   an d   R OUGE - L   [ 2 1 ] .   B L E U - 1 ,   B L E U - 2 ,   B L E U - 3 ,   B L E U - 4 N - g r am - b ased   m ea s u r em en ts   to   ass ess   th s im ilar ity   b etwe en   th r esu ltin g   an s wer   an d   th ac tu al  an s wer .   B L E U - 1 :   E v alu atio n   o f   u n ig r am   d u p licatio n ,   B L E U - 2 Du p lic ate  ass ess m en o f   2   c o n s ec u tiv wo r d s   ( b ig r am ) ,   B L E U - 3 ,   B L E U - 4 E x p a n d s   with   3 -   an d   4 - wo r d   p h r ases   ( tr ig r am ,   4 - g r a m )   th at  h elp   r ef l ec th co h er e n ce   o f   th r esu lt in g   an s wer .   B L E U   m etr ic  is   ca lcu lated   in   ( 1 ) :        =      ×  ( × l og = 1 )   ( 1 )     wh er e:  N - g r am   m atch in g C o u n ts   th n u m b er   o f   n - g r am s   th at  co in cid with   th r e f er en ce   s en ten ce Pre cisi o n   with   ad ju s tm en t C alcu lates   t h n - g r am   m atch   r atio   an d   ap p lies   clip p in g   to   a v o id   r e p ea tin g   th wo r d   f r au d ;   an d   b r ev ity   p en alty   ( B P):  Pen alty   wh en   th b ir th   s en ten ce   i s   to o   s h o r f o r   th e   r ef e r en ce   s en ten ce .   R OUGE - m ea s u r es  th s im ilar ity   b etwe en   th e   g en e r ated   a n d   r ef er e n c tex ts ,   u s in g   th e   lo n g est  c o m m o n   s u b s eq u en ce   ( L C S)  to   ass e s s   co n ten m atch in g   with o u co n tig u ity .   T h is   m etr ic  is   b ased   o n   th r ec all  an d   p r ec is io n   o f   L C to   m ea s u r th m atch   b etwe en   th b ir th   s en ten ce   a n d   th r ef er en ce .   I n   ad d itio n ,   we   u s th f o llo win g   m ea s u r em en ts   to   ev alu ate  t h q u esti o n   g en e r ate d   Me an   q u esti o n   s im ilar ity   ( M QS) Av er ag s im ilar ity   ( e. g . ,   co s in s im ilar ity )   am o n g   g en er ated   q u esti o n s   in   th e   d ataset,   m e asu r in g   q u esti o n   d i v er s ity   a n d   r ele v an ce .   Me an   q u esti o n ca p tio n   s im ilar ity   ( MQ C S):  Av er ag s im ilar ity   b etwe en   ea ch   g en er ated   q u esti o n   an d   its   o r ig i n al  ca p tio n ,   e v alu atin g   h o well  q u esti o n s   r ef lect  ca p tio n   co n ten t.   Un iq u q u esti o n   r atio   ( UQR):  Per ce n tag o f   u n i q u ( n o n - r ep ea ted )   q u esti o n s   am o n g   all  g en er ate d   q u esti o n s ,   in d icatin g   th d iv e r s ity   o f   th q u esti o n   g e n er atio n   s y s tem .       3.   RE SU L T S AN D I SCU SS I O N   3 . 1 .     Da t a s et   T h d ataset  u s ed   in   th e   ex p er im en was  Fli ck r 8 k   [ 2 2 ] ,   wh i ch   co n s is ted   o f   8 0 0 0   im ag es  d ep ictin g   s itu atio n s   in   ev er y d ay   life .   E ac h   p h o to   h as  s ev er al  s h o r ca p tio n s   in   E n g lis h .   T ab le  1   s h o ws  d ataset   s tat is tic s .   T o   b u ild   VQA  d ataset  f r o m   an   im a g e,   we  p r o ce e d   wi th   th f o llo win g   s tep s C ap t io n   p r e p r o ce s s in g d u p licate  r e m o v al,   s tan d ar d ize  tex t;  C r ea te  a   q u esti o n   f r o m   th ca p tio n   u s in g   th e   T 5 T P3   q u esti o n   g en er atio n   m o d el;  Ass ig n   th an s wer   to   th co r r esp o n d in g   ca p tio n   its elf   ( eq u iv alen to   th d escr ip tiv VQA  m o d el)   an d   ea ch   tem p late  in clu d es:  im ag e,   q u esti o n ,   an s wer ,   an d   is   s av ed   to   f ile  th at  m ak es  u p   th f in e - tu n e d   Fli ck r 8 k   d ataset.       T ab le  1 .   Data s et  s tatis tic s   D a t a s e t   N u mb e r   Tr a i n   se t   5 6 6 3   Te st   set   2 4 2 8       3 . 2 .     Resul t   W u s ed   Kag g le  No teb o o k s ,   clo u d - b ased   p latf o r m   p r o v id e d   b y   Kag g le.   T h co m p u tin g   en v ir o n m en is   as  f o llo ws:   C PU:  I n tel( R )   Xeo n ( R )   C PU  @   2 . 0 0 GHz GPU:  NVI DI T esla  P1 0 0 - PC I E - 1 6 GB   ( VR AM :   1 6 , 3 8 4   MiB    1 6   GB ) Op er atin g   Sy s tem Ub u n tu   2 2 . 0 4 . 4   L T S;  Py t h o n   Ver s io n Py th o n   3 . 1 1 . 1 3 Key   L ib r a r ies:   B L I P,  T 5 ,   PIL ,   s p ac y ,   p an d as,  s ci k it - lear n ,   t q d m ,   an d   g c   ar p r o v id ed   with in   t h n o teb o o k .   W ev al u ated   q u esti o n   g en e r atio n   r esu lts   u s in g   MQ C S,  MQ S ,   an d   UQR  m etr ics  b y   co m p ar in g   with   B AR T - B ASE  an d   FLAN - T 5 ,   th r e s u lts   ar e ©   s h o wn   in   T ab le  2 .         T ab le  2 .   C o m p a r is o n   o f   q u esti o n   g en er atio n   r esu lts   M e t r i c   B A R T - B A S E   T5 TP 3   F LA N - T5   M Q C S   0 . 9 5 2 7   0 . 6 8 0 2   0 . 4 2 1 2   M Q S   ( W i t h   1 0 0 0   S a m p l e )   0 . 1 5 9 9   0 . 2 5 7 2   0 . 3 5 2 2   UQR   0 . 9 9 3 7   0 . 9 3 2 7   0 . 3 6 5 7       T h ev al u atio n   o f   T 5 T P3   ac r o s s   th r ee   m etr ics  d em o n s tr ates  its   o v er all  e f f ec tiv en ess   f o r   ca p tio n - to - q u esti o n   g e n er atio n .   Sp ec if ic ally ,   T 5 T P3   ac h iev es  a n   M QC s co r o f   0 . 6 8 0 2 ,   wh ich   ca n   b c o n s id er ed   m o d er ate.   T h is   r esu lt  in d icate s   th at  th g en er ated   q u esti o n s   d o   n o s tr ictly   f o llo th ca p tio n   wo r d i n g   b u t   in s tead   ten d   to   ex p an d   u p o n   th o r ig in al  co n ten b y   in tr o d u cin g   ad d itio n al  s em an tic  elem en ts .   T h MQ S   s co r o f   0 . 2 5 7 2   r ef lects  m o d er ate  lev el  o f   r ep etitio n   in   q u esti o n   ty p es,  wh ich   ca n   b attr ib u ted   to   th Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 5 0 2 - 4 7 5 2   I n d o n esian   J   E lec  E n g   &   C o m p   Sci Vo l.  42 ,   No .   3 ,   J u n e   20 2 6 :   7 4 2 - 75 2   748   m o d el’ s   ten d en c y   to   lear n   co m m o n   in ter r o g ativ p atter n s   ( e. g . ,   wh at,   wh y ,   h o w) .   Me an wh ile,   T 5 T P3   attain s   h ig h   UQR  s co r o f   0 . 9 3 2 7 ,   in d icatin g   s tr o n g   s em a n tic  d iv er s ity ,   as  th m o d el  is   ca p ab le  o f   g e n er atin g   q u esti o n s   f r o m   m u ltip le  p er s p ec tiv es,  s u ch   as   s p atial  r ela tio n s h ip s ,   p u r p o s e,   an d   co n te x tu al  in f o r m atio n .   Ov er all,   th ese  ev alu atio n   r esu lts   s u g g est  th at  T 5 T P3   is   th e   m o s s u itab le  m o d el   f o r   th task   o f   g e n er atin g   q u esti o n s   f r o m   ca p tio n s .   C o m p ar ed   t o   B AR T - B ASE,   alth o u g h   T 5 T P3   y ield s   s lig h tly   l o wer   M QC s co r e,   th is   ch ar ac ter is tic  r ef lects  its   s tr en g th   in   n o t   o n l y   r e f o r m u l atin g   ca p tio n s   b u t   also   ex p an d in g   t h eir   s em an tic  co n ten to   p r o d u ce   m o r in f o r m ativ an d   ex p lo r at o r y   q u esti o n s .   At  th s am tim e,   th co n s is ten tly   h ig h   UQR   s co r d em o n s tr ates  th at  th e   m o d el  m ain tain s   q u esti o n   d iv er s ity   with o u s ac r if icin g   r elev an ce   to   th ca p tio n .   I n   c o n tr ast,  B AR T - B ASE  p r im ar ily   em p h asizes  s u r f ac e - l ev el  f o r m   v ar iatio n ,   wh ile  F L AN - T 5   ten d s   to   g en er ate  m o r g en er alize d   a n d   r e p etitiv q u esti o n s .   T h er ef o r e,   c o n s id er in g   th e   b alan c am o n g   r elev a n ce   ( MQ C S),   s em an tic  d iv er s ity ,   an d   q u esti o n   u n iq u en ess   ( UQ R ) ,   T 5 T P3   was  s elec ted   as  th p r im ar y   m o d el  f o r   th is   s tu d y .   I n   th is   s tu d y ,   we  f i n e - tu n e   th e   B L I P - VQA  ( Salesfo r ce /b lip - vqa - b ase)   m o d el   o n   th Fli ck r 8 k   d ataset   r ep r o ce s s ed   as  VQ A .   W u s th T 5 T P3   au to - q u esti o n   g en er atio n   m o d el  t o   g e n er ate  q u esti o n s   f r o m   th e   o r ig in al  ca p tio n ,   a n d   th e n   f i n e - tu n t h B L I m o d el  t o   g en er ate  d escr ip tiv e   an s wer s .   T h r esu lts   wer e   ev alu ated   u s in g   B L E an d   R OUGE ,   s h o win g   th at  th p r o p o s ed   m o d el  is   s u p er io r   to   p r e v io u s   m eth o d s   s u ch   as  B L I P - 2   [ 2 3 ] ,   I n s tr u ctB L I [ 2 4 ] ,   DE iT  +   B er [ 1 ] ,   B E iT  GPT2   [ 1 ] .   T ab le  3   s h o ws  co m p ar is o n   r esu lts   b etwe en   m eth o d s .   Af ter   f in e - tu n in g   th e   B L I P - T 5 T P3   m o d el  with   t h au to g e n er ated   d ata  f r o m   t h Fli ck r 8 k   s et,   we  ev alu ated   t h m o d el   o n   th e   te s s et  an d   o b tain e d   th e   f o llo win g   r esu lts B L E U - 1   s co r ed   0 . 3 2 ,   B L E U - 2   s co r e d   0 . 2 7 ,   B L E U - 3   s co r e d   0 . 2 3 ,   B L E U - 4   s co r ed   0 . 1 9 ,   an d   R OUGE - L   s co r ed   0 . 5 2 .   T h ese  r esu lts   ar r elativ ely   h ig h er   th a n   th p r e v io u s   two   m o d els,  as  th h ig h   R OUGE   r esu lts   p r o v th at  th m o d el's  an s wer s   r etain   m ea n in g   an d   co v er   t h c o n te n well.   T h e   u n if o r m   in c r ea s in   B L E at   n - g r am s   m ea n s   th at  th m o d el   n o t   o n ly   m atch e s   th id ea   b u also   d o es  s o   m o r ac cu r ately   in   s tr u ctu r an d   v o ca b u lar y .   T h i s   s u g g ests   th at  th e   f in e - tu n e d   B L I P m o d el  is   m o r lik ely   to   p r o d u ce   m o r s em a n tic,   d escr ip tiv an s wer s   th an   th o r ig in al  m o d els   th at  h av n o t b ee n   f in e - tu n ed .   Fig u r 4   illu s tr ates  th d is tr ib u tio n   o f   B L E U - n   s co r es  ( n   =   1   to   4 )   o b tain e d   b y   th B L I m o d el  a f ter   f in e - tu n in g   o n   th c o n s tr u cted   VQA  d ataset.   As  s h o w n   in   t h f ig u r e,   th e   B L E U - 1   s co r es   ex h ib it   th e   h ig h est   v alu es  an d   ar p r e d o m in a n tly   co n ce n tr ate d   in   th r an g o f   0 . 5 0 . 7 ,   in d icatin g   th at  th m o d el  is   h ig h l y   ef f ec tiv at  g e n er atin g   ac c u r ate  s in g le - wo r d   o r   u n ig r am - lev el  an s wer s   th at  clo s ely   m atch   th r ef e r en ce   r esp o n s es.  T h is   s u g g ests   s tr o n g   p er f o r m a n ce   in   r ec o g n i zin g   k e y   v is u al  en titi es,  attr ib u tes,  an d   s im p le   co n ce p ts   with in   i m a g es.  I n   c o n tr ast,  B L E U - 2   an d   B L E U - 3   s co r es  s h o a   n o ticea b le   d ec lin e,   r ef lectin g   m o d er ate  a b ilit y   to   ca p tu r e   s h o r t - r an g co n tex tu al  r elatio n s h ip s ,   s u ch   as  b ig r am s   a n d   t r ig r am s ,   wh er lim ited   co m p o s itio n al  s tr u ctu r is   r eq u ir ed .   T h is   d ec lin im p lies   th a wh ile  th m o d el  ca n   p r o d u ce   lo ca lly   co h er e n p h r ases ,   its   co n s is ten cy   d ec r ea s es a s   co n tex tu al  d ep en d e n cie s   in cr ea s e.   No tab ly ,   th B L E U - 4   s co r es  ar s tr o n g ly   s k ewe d   to war d   l o wer   v alu es,  with   m o s s am p les  in   th e   0 . 1 0 . 3   r an g e.   T h is   d is tr ib u tio n   in d icate s   t h at  th m o d el  s till   s tr u g g les  to   g en er ate  lo n g er   s eq u en ce s   th at  clo s ely   m atch   g r o u n d - tr u th   a n s wer s   at  th f o u r - g r am   lev el .   I n   m an y   ca s es,  g en er ated   r e s p o n s es  alig n   o n ly   with   p ar tial  s eg m en ts   o f   th r ef er en ce   s en ten ce ,   r ed u cin g   p r ec is io n   f o r   co m p le x   g r am m a t ical  s tr u ctu r es  an d   s em an tically   r ich   d escr ip tio n s .   T h is   b eh av io r   s u g g ests   ten d en cy   to wa r d   s im p lific atio n   wh en   h an d lin g   lo n g er   o r   m o r co m p lex   a n s wer s .   Ho wev er ,   th is   p atter n   is   co m m o n   in   au to m ated   tex g e n er atio n   an d   VQA  s y s tem s ,   wh er m o d els  o f ten   p r io r itize  s em an tic  co r r ec tn ess   an d   v is u al  r elev an ce   o v er   ex ac lex ical   m atch in g .   T h e r ef o r e ,   lo wer   B L E U - 4   s co r es  d o   n o n ec ess ar ily   in d icate   p o o r   an s wer   q u ali ty   b u r ath er   r ef lect   th tr ad e - o f f   b etwe en   f lu en c y ,   s em an tic  ad eq u ac y ,   an d   s tr ict  n - g r am   o v er la p   in   g e n er ativ e v alu atio n   m etr ics.   Fig u r 5   s h o ws  th e   d is tr ib u tio n   o f   R OUGE - L   s co r es  o n   t h test   s et,   wh ich   f o llo ws  a n   a p p r o x im ately   n o r m al  p atter n   with   s lig h s k ew  to war d   lo wer   v alu es.  Mo s s am p les  f all  b etwe en   0 . 4   a n d   0 . 6 5 ,   i n d icatin g   th at  th m o d el  o f ten   g e n er ate s   an s wer s   w ith   co n s id er ab le  o v er lap   an d   s tr u ctu r al  s im ilar ity   to   th r ef er en ce   r esp o n s es.  T h av er a g s co r o f   ab o u 0 . 5 2   ( m a r k ed   b y   th r ed   lin e)   s u g g ests   r ea s o n ab ly   ac ce p tab le   p er f o r m an ce   lev el  f o r   g en e r ativ VQA  task s   an d   r ef lect s   th m o d el’ s   ab ilit y   to   p r e s er v k ey   s em an tic  in f o r m atio n   an d   s en ten ce   s tr u ctu r e.       T ab le  3 .   C o m p a r is o n   r esu lts   b etwe en   m eth o d s   M e t h o d   B LEU   @ 1   B LEU   @ 2   B LEU   @ 3   B LEU   @ 4   R O U G E   B LI P - 2   0 . 2 2   0 . 1 9   0 . 1 6   0 . 1 4   0 . 4 2   I n st r u c t B LI P   0 . 0 8   0 . 0 6   0 . 0 5   0 . 0 4   0 . 1 5   B LI P - T5 TP3   ( o u r s)   0 . 3 2   0 . 2 7   0 . 2 3   0 . 1 9   0 . 5 2   D Ei +   B e r t   0 . 1 7   0 . 1 0   0 . 0 7   0 . 0 5   0 . 2 6   B Ei +   G P T2   0 . 2 4   0 . 1 3   0 . 0 8   0 . 0 5   0 . 2 5     Evaluation Warning : The document was created with Spire.PDF for Python.
I n d o n esian   J   E lec  E n g   &   C o m p   Sci     I SS N:   2502 - 4 7 5 2       I mp r o ve d   in tera ctivity  a n d   a u t o ma ted   r esp o n s fo r   visu a l q u esti o n   a n s w erin g   …  ( N g u ye n   Ha   Ma n h   K h a n g )   749       Fig u r 4 .   B L E U - 1   t o   B L E U - 4   s co r d is tr ib u tio n   c h ar t o n   th test   d ataset           Fig u r 5 .   R OUGE - L   d is tr ib u ti o n   ch ar o n   test   s et       Ho wev er ,   th e   d is tr ib u tio n   r e m ain s   r elativ ely   wid e,   with   s o m s am p les  s co r in g   b elo w   0 . 2   a n d   o t h er s   ap p r o ac h in g   0 . 8 .   T h is   v ar ia b ilit y   in d icate s   in co n s is ten p er f o r m an ce   ac r o s s   q u esti o n   ty p es  a n d   v is u al   co n tex ts .   T h m o d el  p er f o r m s   well  o n   s tr aig h tf o r war d   o r   v is u ally   g r o u n d e d   q u esti o n s   b u t s tr u g g les with   m o r co m p lex   o r   am b ig u o u s   q u e r ies.  Hig h - s co r in g   c ases   co n f ir m   th m o d el’ s   ca p ab ilit y   to   g en er ate  r esp o n s es  clo s ely   m atch in g   th e   r ef er en ce s ,   wh ile  lo w - s co r i n g   o u tlier s   r ev ea lim itatio n s   in   r o b u s tn ess   an d   g en er aliza tio n .   Ov er all,   th e   r esu lts   in d icate   p r o m is in g   a n s wer   g e n er atio n   a b ilit y ,   th o u g h   f u r th er   im p r o v e m en ts   ar e   n ee d ed   to   r ed u ce   p er f o r m an ce   v ar ian ce   an d   in cr ea s co n s is ten cy   ac r o s s   d iv er s v is u al  an d   lin g u is tic  s ce n ar io s .   R esp o n s tim co m p ar is o n s   b etwe en   m eth o d s   ar e   p r esen ted   in   T ab le  4 .   T h r es p o n s tim r ep o r ted   in   T ab le  4   r e v ea ls   an   ap p ar e n p ar a d o x .   Alth o u g h   th e   B L I P - Fin etu n m o d el  ( ViT - B /1 6   co m b in e d   with   a   B L I Dec o d er )   is   co n s id er ab ly   s m aller   in   ter m s   o f   m o d el   p ar am eter s   th an   I n s tr u ctB L I ( ViT - g /1 4   p ai r ed   with   FLA N - T5 - XL ) ,   it  n ev er t h eless   ex h ib its   s ig n if ican tly   h ig h er   av er ag e   r esp o n s tim ( 0 . 5 5 1 6 s   co m p ar ed   to   0 . 0 9 0 7 s ) .   T h is   d is cr ep a n cy   ca n n o t   b attr ib u ted   t o   r aw  co m p u tatio n al   co m p le x ity   o r   m o d el  s ize  alo n e .   I n s tead ,   th p r im ar y   tech n ical  ca u s lies   in   th g en er atio n   a n d   d ec o d in g   s tr ateg y   em p lo y e d   d u r i n g   in f e r en ce .   Sp ec if ically ,   th B L I P - T 5 T P3   m o d el  f r eq u en tly   g en e r ates  lo n g er   o u tp u s eq u en ce s   d u to   u n r eso lv ed   wo r d   r ep etitio n   is s u es.  As  r esu lt,  its   g en er ated   r esp o n s es  o f ten   r ea ch   th p r e d ef in ed   m ax _ len g th   th r e s h o ld   ( e. g . ,   6 4   o r   e v en   1 2 8   to k en s ) ,   lead i n g   to   ex ten d ed   d ec o d in g   lo o p s   an d   in cr ea s ed   laten cy .   I n   ad d itio n ,   th s to p p i n g   m ec h an is m   in   B L I P - Fin etu n e   is   less   ef f ec tiv e,   as  th m o d el  d o es  n o c o n s is ten tly   p r ed ict  t h en d - of - s eq u en ce   ( <E OS>)   to k en   at   an   ea r l y   s tag e.   I n   co n tr ast,  I n s tr u ctB L I an d   B L I P - 2   t y p ically   p r o d u c m u ch   s h o r ter   a n d   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 5 0 2 - 4 7 5 2   I n d o n esian   J   E lec  E n g   &   C o m p   Sci Vo l.  42 ,   No .   3 ,   J u n e   20 2 6 :   7 4 2 - 75 2   750   m o r c o n cise  r esp o n s es,  o f ten   co n tain in g   f ewe r   th an   1 0   t o k en s .   T h ese  m o d els  ten d   to   p r e d ict  th e   <E OS>   to k en   v er y   ea r l y   in   th d ec o d in g   p r o ce s s ,   allo win g   g en er ati o n   to   ter m in ate  p r o m p tly .   C o n s eq u en tly ,   d esp ite   th eir   lar g er   p ar am eter   s izes,  th eir   in f er en ce   tim r em ain s   s u b s tan tially   lo wer   d u to   r ed u ce d   to k en - by - to k en   d ec o d in g   o v e r h ea d .       T ab le  4 .   R esp o n s tim r esu lts   b etwe en   m eth o d s   M e t h o d   B a c k b o n e   A V G   R e s p o n se   t i me  ( s)   B LI P - 2   V i T - g / 1 4   F LA N - T5 - XL   0 . 2 1 8 9   I n st r u c t B LI P   V i T - g / 1 4   +   F LA N - T5 - XL   0 . 0 9 0 7   B LI P - T5 TP3   ( o u r s)   V i T - B / 1 6   +   B LI P   D e c o d e r   0 . 5 5 1 6   D Ei +   B e r t   D Ei T - B / 1 6   +   B ER T - b a se   0 . 0 3 5 1   B Ei +   G P T2   V i T - B / 1 6   +   g p t 2   0 . 1 7 8 1       W an aly ze d   all  in co r r ec p r e d ictio n s   o f   th e   test s et  an d   s aw  s ev er al  in h er e n lim itatio n s   o f   th B L I P - b ased   VQA  m o d el.   First,  th e   m o d el  s tr u g g les  with   q u esti o n s   th at  r eq u ir e   b ac k g r o u n d   o r   wo r ld   k n o wled g e   b ey o n d   wh at   is   ex p licitly   v is ib le  in   th e   im ag e,   s u ch   as  id e n tify in g   th n am o f   th e   “Ok l ah o m Un i v er s ity ”  f o o tb all  team .   T h is   lim itatio n   ar is es  b ec au s th cu r r e n s y s tem   d o es  n o i n co r p o r ate  e x ter n al  k n o wled g e   r etr iev al  m ec h an is m s   o r   tex r ec o g n itio n   ( OC R )   m o d u les  th at  co u ld   p r o v id e   ad d itio n al  s e m an tic  in f o r m atio n .   Seco n d ,   th m o d e d e m o n s tr ates  lim ited   ca p ab ilit y   in   q u an titativ r ea s o n in g   an d   f in e - g r ain ed   s em an tic   u n d er s tan d i n g ,   as  ev id e n ce d   b y   er r o r s   in   c o u n tin g   th n u m b er   o f   p e o p le  in   a n   im ag o r   r e co g n izin g   c o m p lex   em o tio n al  s tates  s u ch   as  “e x cited . ”  T h ese  task s   r eq u ir n o o n ly   o b ject  d etec tio n   b u also   co n tex tu al   in ter p r etatio n   o f   f ac ial  ex p r ess io n s ,   b o d y   lan g u ag e,   an d   g r o u p   d y n a m ics,  wh ich   a r n o ex p licitly   m o d eled .   Fin ally ,   th s y s tem   is   p r o n t o   o b ject  an d   ac tio n   co n f u s io n ,   f o r   i n s tan ce   m is tak in g   ca n n o n   f o r   a   “tir e   s win g , ”  in d icatin g   wea k n ess es  in   r ec o g n izin g   s p ec ialized   o b jects  an d   in f er r in g   co llec tiv o r   ev en t - lev el   ac tio n s .   Ov er all,   th ese  er r o r s   h ig h lig h th at   th e   m o d el  r e lies   p r im ar ily   o n   v is u al  f ea tu r es  an d   q u esti o n   p r o m p ts ,   with o u t   s u p p o r f r o m   ex ter n al  k n o wled g e   s o u r ce s   o r   s p ec ialized   r ea s o n in g   m o d u les,  wh ich   lim its   its   r o b u s tn ess   in   co m p le x   r ea l - wo r ld   s ce n ar io s .       4.   CO NCLU SI O N   T h is   s tu d y   m ak es  s ev er al  m ea s u r ab le  co n tr ib u tio n s   to   VQA   r esear ch   b y   im p r o v in g   i n ter o p er a b ilit y   an d   au to m atic  an s wer   g en er a tio n   th r o u g h   th i n teg r atio n   o f   B L I P - T 5   VQA  m o d el  with   an   au to m ated   q u esti o n   g en er atio n   p ip elin e.   n ew  VQA  d ataset   was  co n s tr u cted   f r o m   th Fli ck r 8 k   d a taset,  wh er im ag ca p tio n s   wer au to m atica lly   tr an s f o r m ed   in t o   q u esti o n an s wer   p air s   u s in g   th T 5 T P3   m o d el,   en ab lin g   sc alab le  d ata  cr ea tio n   with o u m an u al  an n o tatio n .   Fin e - t u n in g   B L I P - T 5   VQA  o n   th i s   d ataset  p r o d u ce d   co n s is ten im p r o v e m en ts   o v e r   b aselin m o d els  s u ch   as  B L I P - 2 ,   I n s tr u ctB L I P,  DE iT  +   B er t,  an d   B E iT  +   GPT2   ac co r d in g   to   B L E U - 1   to   B L E U - 4   a n d   R OUGE - L   m etr ics.  E x p e r im en tal  r esu lt s   s h o p ar ticu lar ly   s tr o n g   g ai n s   in   B L E U - 1   an d   B L E U - 2 ,   r e f lectin g   ac c u r ate   r ec o g n itio n   o f   k ey   v is u al  c o n ce p ts   an d   s h o r t   an s wer s ,   wh ile  lo wer   B L E U - 3   a n d   B L E U - 4   s co r es   in d i ca te  o n g o in g   ch allen g es  in   g en er atin g   lo n g er ,   co m p o s itio n al  r esp o n s es.  R OUGE - L   r esu lts   d em o n s tr ate  m o d er ate  s tr u ctu r al  s im ilar ity   to   r ef er en ce   an s wer s ,   th o u g h   with   s o m v ar ia n ce   ac r o s s   s am p les.   Desp ite  th ese  s tr en g th s ,   th e   ap p r o ac h   s till   h as  lim itatio n s .   Per f o r m a n ce   m ay   d ec lin o n   co m p lex   r ea s o n in g   task s   r eq u i r in g   e x ten s iv e x ter n al  k n o wled g e   o r   m u lti - s tep   i n f er e n ce ,   a n d   th e   clar if icatio n   m ec h an is m   r elies  o n   p r ed e f in ed   p r o m p tin g   h eu r is tics   r ath er   th an   ad a p tiv d ialo g u p o licies.  I n   ad d itio n ,   ev alu atio n s   wer co n d u cte d   m ain ly   o n   b en c h m ar k   d atasets   an d   lim ited   r ea l - wo r ld   s ce n ar i o s ,   wh ich   m ay   n o t   f u lly   ca p tu r e   d iv er s u s er   b e h av io r .   Fu tu r r esear ch   s h o u ld   in v esti g ate  ad ap tiv p r o m p le ar n in g ,   p ar am eter - ef f icien f in e - tu n in g ,   m u lti - tu r n   d ialo g u e   m o d elin g ,   an d   la r g e - s ca le  u s er - in - th e - lo o p   ev a lu atio n s   to   f u r t h er   im p r o v r o b u s tn ess ,   g en er aliz atio n ,   an d   p r ac tical  ap p licab ilit y .       F UNDING   I NF O R M A T I O   Au th o r s   s tate  n o   f u n d in g   in v o lv ed .       AUTHO CO NT RI B UT I O NS ST A T E M E N T   T h is   jo u r n al  u s es  th C o n tr ib u to r   R o les  T ax o n o m y   ( C R ed iT)   to   r ec o g n ize  in d iv id u al  au th o r   co n tr ib u tio n s ,   r ed u ce   au th o r s h ip   d is p u tes,  an d   f ac ilit ate  co llab o r atio n .     Evaluation Warning : The document was created with Spire.PDF for Python.
I n d o n esian   J   E lec  E n g   &   C o m p   Sci     I SS N:   2502 - 4 7 5 2       I mp r o ve d   in tera ctivity  a n d   a u t o ma ted   r esp o n s fo r   visu a l q u esti o n   a n s w erin g   …  ( N g u ye n   Ha   Ma n h   K h a n g )   751   Na m o f   Aut ho r   C   M   So   Va   Fo   I   R   D   O   E   Vi   Su   P   Fu   Ng u y en   Ha  Ma n h   Kh an g                               Ng u y en   T u an   An h                               Ng u y en   Min h   Ho an g                               B u i T h an h   Hu n g                                 C     C o n c e p t u a l i z a t i o n   M     M e t h o d o l o g y   So     So f t w a r e   Va     Va l i d a t i o n   Fo     Fo r mal   a n a l y s i s   I     I n v e s t i g a t i o n   R     R e so u r c e s   D   :   D a t a   C u r a t i o n   O   :   W r i t i n g   -   O r i g i n a l   D r a f t   E   :   W r i t i n g   -   R e v i e w   &   E d i t i n g   Vi     Vi su a l i z a t i o n   Su     Su p e r v i s i o n   P     P r o j e c t   a d mi n i st r a t i o n   Fu     Fu n d i n g   a c q u i si t i o n         CO NF L I C T   O F   I N T E R E S T   ST A T E M E NT     Au th o r s   s tate  n o   co n f lict o f   in t er est.       DATA AV AI L AB I L I T Y   T h d ata  th at  s u p p o r th f in d in g s   o f   th is   s tu d y   ar o p e n ly   av ailab le  in   [ U n iv er s ity   o f   I llin o is   Ur b an a - C h am p aig n ]   at  h ttp s ://fo r m s . illi n o is . ed u /s ec /1 7 1 3 3 9 8 ,   r ef er e n ce   n u m b er   [ 2 2 ] .       RE F E R E NC E S   [ 1 ]   B .   T.   H u n g   a n d   H .   V .   H .   D u y ,   E x V Q A :   a   n o v e l   st a c k e d   a t t e n t i o n   n e t w o r k w i t h   e x t e n d e d   l o n g   sh o r t - t e r m e mo r y   m o d e l   f o r   v i s u a l   q u e st i o n   a n sw e r i n g ,   C o m p u t e rs  a n d   El e c t ri c a l   E n g i n e e ri n g ,   v o l .   1 2 6 ,   p .   1 1 0 4 3 9 ,   A u g .   2 0 2 5 ,   d o i :   1 0 . 1 0 1 6 / j . c o mp e l e c e n g . 2 0 2 5 . 1 1 0 4 3 9 .   [ 2 ]   S.   Lu ,   M .   L i u ,   L.   Y i n ,   Z .   Y i n ,   X .   Li u ,   a n d   W .   Z h e n g ,   T h e   mu l t i - mo d a l   f u s i o n   i n   v i s u a l   q u e st i o n   a n sw e r i n g :   a   r e v i e w   o f   a t t e n t i o n   mec h a n i sms ,   Pe e rJ  C o m p u t e S c i e n c e ,   v o l .   9 ,   p .   e 1 4 0 0 ,   M a y   2 0 2 3 ,   d o i :   1 0 . 7 7 1 7 / p e e r j - c s. 1 4 0 0 .   [ 3 ]   S .   Y a n g ,   C .   H a n ,   S .   L u o ,   a n d   E.   H o v y ,   M A G I C - V Q A :   M u l t i m o d a l   a n d   g r o u n d e d   i n f e r e n c e   w i t h   c o mm o n s e n se  k n o w l e d g e   f o r   v i s u a l   q u e st i o n   a n sw e r i n g ,   i n   Fi n d i n g s   o f   t h e   Asso c i a t i o n   f o C o m p u t a t i o n a l   L i n g u i s t i c s:   A C L   2 0 2 5 ,   S t r o u d sb u r g ,   P A ,   U S A :   A sso c i a t i o n   f o r   C o m p u t a t i o n a l   L i n g u i st i c s ,   2 0 2 5 ,   p p .   1 6 9 6 7 1 6 9 8 6 .   d o i :   1 0 . 1 8 6 5 3 / v 1 / 2 0 2 5 . f i n d i n g s - a c l . 8 7 2 .   [ 4 ]   A .   P a n d e y ,   D .   B o d o ,   A .   P h u k a n ,   a n d   A .   E k b a l ,   T h e   q u e st   f o r   v i s u a l   u n d e r st a n d i n g :   a   j o u r n e y   t h r o u g h   t h e   e v o l u t i o n   o f   v i su a l   q u e st i o n   a n sw e r i n g .   Ja n .   1 3 ,   2 0 2 5 .   [ O n l i n e ] .   A v a i l a b l e :   h t t p : / / a r x i v . o r g / a b s/ 2 5 0 1 . 0 7 1 0 9   [ 5 ]   H .   J .   S i n g h ,   G .   B a t h l a ,   M .   M e h t a ,   G .   C h h a b r a ,   a n d   P .   S i n g h ,   V i s u a l   q u e s t i o n s   a n s w e r i n g   d e v e l o p m e n t s ,   a p p l i c a t i o n s ,   d a t a s e t s   a n d   o p p o r t u n i t i e s :   A   s t a t e - of - t h e - a r t   s u r v e y ,   i n   2 n d   I n t e r n a t i o n a l   C o n f e r e n c e   o n   S u s t a i n a b l e   C o m p u t i n g   a n d   D a t a   C o m m u n i c a t i o n   S y s t e m s ,   I C S C D S   2 0 2 3   -   P r o c e e d i n g s ,   I E E E ,   M a r .   2 0 2 3 ,   p p .   7 7 8 7 8 5 .   d o i :   1 0 . 1 1 0 9 / I C S C D S 5 6 5 8 0 . 2 0 2 3 . 1 0 1 0 4 8 7 0 .   [ 6 ]   B .   T .   H u n g ,   C o n t e n t - b a se d   i m a g e   r e t r i e v a l   u si n g   m u l t i - d e e p   l e a r n i n g   m o d e l s,”   i n   L e c t u re   N o t e i n   N e t w o rks   a n d   S y s t e m s ,   v o l .   4 4 5 ,   2 0 2 3 ,   p p .   3 4 7 3 5 7 .   d o i :   1 0 . 1 0 0 7 / 9 7 8 - 981 - 19 - 1 4 1 2 - 6 _ 2 9 .   [ 7 ]   B .   T.   H u n g ,   Li n k   p r e d i c t i o n   i n   p a p e r   c i t a t i o n   n e t w o r k   b a s e d   o n   d e e p   g r a p h   c o n v o l u t i o n a l   n e u r a l   n e t w o r k ,   i n   L e c t u re   N o t e s   o n   D a t a   E n g i n e e ri n g   a n d   C o m m u n i c a t i o n s Te c h n o l o g i e s ,   v o l .   1 1 7 ,   2 0 2 2 ,   p p .   8 9 7 9 0 7 .   d o i :   1 0 . 1 0 0 7 / 9 7 8 - 9 8 1 - 19 - 0898 - 9 _ 6 7 .   [ 8 ]   B .   T .   H u n g   a n d   V .   Q .   H u y ,   M TFI C :   e n h a n c e d   f a sh i o n   i ma g e   c a p t i o n i n g   v i a   mu l t i - t r a n sf o r mer  a r c h i t e c t u r e   w i t h   c o n t r a s t i v e   a n d   b i d i r e c t i o n a l   e n c o d i n g s,   V i s u a l   C o m p u t e r ,   v o l .   4 1 ,   n o .   1 3 ,   p p .   1 0 8 4 1 1 0 8 5 5 ,   O c t .   2 0 2 5 ,   d o i :   1 0 . 1 0 0 7 / s 0 0 3 7 1 - 0 2 5 - 0 4 0 7 2 - 8.   [ 9 ]   B .   T .   H u n g ,   N .   V .   P .   N h a n ,   a n d   N .   T.   S y ,   D C A R ES:  d e e p   c o n v o l u t i o n a l   n e u r a l   n e t w o r k   w i t h   n e u r a l - b a se d   o p t i m i z a t i o n   f o r   i ma g e - b a se d   p r o d u c t   r e c o mm e n d e r   s y st e m,”   Mu l t i m e d i a   T o o l s   a n d   A p p l i c a t i o n s ,   v o l .   8 4 ,   n o .   3 0 ,   p p .   3 6 6 9 3 3 6 7 2 3 ,   F e b .   2 0 2 5 ,   d o i :   1 0 . 1 0 0 7 / s 1 1 0 4 2 - 025 - 2 0 6 5 5 - y.   [ 1 0 ]   S .   C h o w d h u r y   a n d   B .   S o n i ,   R - V Q A :   A   r o b u st   v i s u a l   q u e s t i o n   a n sw e r i n g   m o d e l ,   K n o w l e d g e - B a s e d   S y st e m s ,   v o l .   3 0 9 ,   p .   1 1 2 8 2 7 ,   Ja n .   2 0 2 5 ,   d o i :   1 0 . 1 0 1 6 / j . k n o sy s. 2 0 2 4 . 1 1 2 8 2 7 .   [ 1 1 ]   N .   D .   H u y n h ,   M .   R .   B o u a d j e n e k ,   S .   A r y a l ,   I .   R a z z a k ,   a n d   H .   H a c i d ,   V i su a l   q u e s t i o n   a n sw e r i n g :   f r o m   e a r l y   d e v e l o p me n t s   t o   r e c e n t   a d v a n c e s   --   a   s u r v e y .   Ja n .   1 1 ,   2 0 2 5 .   [ O n l i n e ] .   A v a i l a b l e :   h t t p : / / a r x i v . o r g / a b s / 2 5 0 1 . 0 3 9 3 9   [ 1 2 ]   M .   Y a ma d a ,   V .   D a m a r i o ,   K .   Ta k e m o t o ,   X .   B o i x ,   a n d   T .   S a sa k i ,   Tr a n sf o r mer  m o d u l e   n e t w o r k s   f o r   sy s t e m a t i c   g e n e r a l i z a t i o n   i n   v i s u a l   q u e s t i o n   a n sw e r i n g ,   I E EE   T ra n s a c t i o n o n   Pa t t e rn   A n a l y s i s   a n d   Ma c h i n e   I n t e l l i g e n c e ,   v o l .   4 6 ,   n o .   1 2 ,   p p .   1 0 0 9 6 1 0 1 0 5 ,   M a r .   2 0 2 4 ,   d o i :   1 0 . 1 1 0 9 / TPA M I . 2 0 2 4 . 3 4 3 8 8 8 7 .   [ 1 3 ]   S .   A n t o l   e t   a l . ,   V q a :   v i su a l   q u e s t i o n   a n sw e r i n g ,   i n   Pr o c e e d i n g o f   t h e   I E EE  i n t e r n a t i o n a l   c o n f e re n c e   o n   c o m p u t e v i s i o n ,   2 0 1 5 ,   p p .   2 4 2 5 2 4 3 3 .   [ 1 4 ]   Q .   W u ,   D .   Te n e y ,   P .   W a n g ,   C .   S h e n ,   A .   D i c k ,   a n d   A .   v a n   d e n   H e n g e l ,   V i su a l   q u e s t i o n   a n sw e r i n g :   a   s u r v e y   o f   m e t h o d s   a n d   d a t a se t s,   C o m p u t e r   Vi s i o n   a n d   I m a g e   U n d e rs t a n d i n g ,   v o l .   1 6 3 ,   p p .   2 1 4 0 ,   2 0 1 7 ,   d o i :   1 0 . 1 0 1 6 / j . c v i u . 2 0 1 7 . 0 5 . 0 0 1 .   [ 1 5 ]   R .   K a b i r ,   N .   H a q u e ,   M .   S .   I sl a m,   a n d   M a r i u m - E - Ja n n a t ,   A   c o m p r e h e n s i v e   s u r v e y   o n   v i s u a l   q u e s t i o n   a n sw e r i n g   d a t a set s   a n d   a l g o r i t h ms .   N o v .   1 7 ,   2 0 2 4 .   [ O n l i n e ] .   A v a i l a b l e :   h t t p : / / a r x i v . o r g / a b s / 2 4 1 1 . 1 1 1 5 0   [ 1 6 ]   J.  L i ,   D .   L i ,   C .   X i o n g ,   a n d   S .   H o i ,   B LI P :   b o o t st r a p p i n g   l a n g u a g e - i m a g e   p r e - t r a i n i n g   f o r   u n i f i e d   v i s i o n - l a n g u a g e   u n d e r st a n d i n g   a n d   g e n e r a t i o n ,   Pr o c e e d i n g o f   Ma c h i n e   L e a rn i n g   Re s e a r c h ,   v o l .   1 6 2 ,   p p .   1 2 8 8 8 1 2 9 0 0 ,   2 0 2 2 .   [ 1 7 ]   C .   Zh a n g ,   H .   Zh a n g ,   Y .   S u n ,   a n d   J.   W a n g ,   D o w n s t r e a m   t r a n sf o r mer  g e n e r a t i o n   o f   q u e s t i o n - a n sw e r   p a i r s   w i t h   p r e p r o c e ssi n g   a n d   p o s t p r o c e ssi n g   p i p e l i n e s,”   i n   D o c E n g   2 0 2 2   -   Pr o c e e d i n g o f   t h e   2 0 2 2   A C M   S y m p o si u m   o n   D o c u m e n t   E n g i n e e ri n g ,   2 0 2 2 .   d o i :   1 0 . 1 1 4 5 / 3 5 5 8 1 0 0 . 3 5 6 3 8 4 6 .   [ 1 8 ]   K .   Z h u   e t   a l . ,   P r o m p t R o b u st :   To w a r d e v a l u a t i n g   t h e   r o b u st n e ss   o f   l a r g e   l a n g u a g e   m o d e l s   o n   a d v e r sari a l   p r o m p t s ,   i n   L A MP S   2 0 2 4   -   Pro c e e d i n g o f   t h e   1 st   A C W o rks h o p   o n   L a r g e   AI   S y s t e m a n d   Mo d e l s   w i t h   Pr i v a c y   a n d   S a f e t y   An a l y s i s ,   N e w   Y o r k ,   N Y ,   U S A :   A C M ,   N o v .   2 0 2 4 ,   p p .   5 7 6 8 .   d o i :   1 0 . 1 1 4 5 / 3 6 8 9 2 1 7 . 3 6 9 0 6 2 1 .     Evaluation Warning : The document was created with Spire.PDF for Python.