I nte rna t io na l J o urna l o f   E lect rica l a nd   Co m pu t er   E ng ineering   ( I J E CE )   Vo l.   1 4 ,   No .   3 ,  J u n e   20 2 4 ,   p p .   3434 ~ 3 4 4 2   I SS N:  2088 - 8 7 0 8 ,   DOI : 1 0 . 1 1 5 9 1 /ijece. v 1 4 i 3 . pp 3 4 3 4 - 3 4 4 2           3434       J o ur na l  ho m ep a g e :  h ttp : //ij ec e. ia esco r e. co m   A multimo da l ma chine learni ng  appro a ch t o  genera t e news  a rticles fro m g eo - tag g ed   ima g es       Abha y   G o t ma re 1 ,   G a nd ha rv a   T hite 2 ,   L a x m i Bewo o r 2     1 D e p a r t me n t   o f   I n f o r mat i o n   Te c h n o l o g y ,   V i s h w a k a r m a   I n st i t u t e   o f   I n f o r ma t i o n   Te c h n o l o g y ,   P u n e ,   I n d i a   2 D e p a r t me n t   o f   C o m p u t e r   En g i n e e r i n g ,   V i sh w a k a r ma  I n st i t u t e   o f   I n f o r ma t i o n   Te c h n o l o g y ,   P u n e ,   I n d i a       Art icle  I nfo     AB S T RAC T   A r ticle  his to r y:   R ec eiv ed   No v   3 0 ,   2 0 2 3   R ev is ed   Ma r   7 ,   2 0 2 4   Acc ep ted   Ma r   9 ,   2 0 2 4       Clas sic a l  m a c h in e   lea rn in g   a lg o r it h m s  t y p ica ll y   o p e ra te  o n   u n im o d a l   d a ta   a n d   h e n c e   it   c a n   a n a l y z e   a n d   m a k e   p re d icti o n s  b a se d   o n   d a ta  fro m   a   sin g le  so u rc e   (m o d a li t y ).   Wh e re a s  m u lt imo d a l  m a c h in e   lea rn i n g   a lg o r it h m ,   lea rn s  fro m   in fo rm a ti o n   a c ro ss   m u lt ip le m o d a li ti e s,  su c h   a s tex t,   ima g e s,  a u d i o ,   a n d   se n so r  d a ta.   T h e   p a p e r  lev e ra g e s   th e   f u n c ti o n a li ti e s  o f  m u l ti m o d a l  m a c h in e   lea rn in g   (M L)   a p p li c a ti o n   f o r  g e n e ra ti n g   tex t  fr o m   ima g e s.  Th e   p ro p o se d   wo rk   p re se n ts  a n   in n o v a ti v e   m u lt imo d a l  a l g o rit h m   th a t  a u to m a tes   th e   c re a ti o n   o f  n e ws   a rti c les   fro m   g e o - tag g e d   ima g e s  b y   lev e ra g i n g   c u tt in g - e d g e   d e v e lo p m e n ts  i n   m a c h in e   lea rn i n g ,   ima g e   c a p ti o n i n g ,   a n d   a d v a n c e d   tex t   g e n e ra ti o n   tec h n o lo g ies .   Emp l o y in g   a   m u lt im o d a l  a p p ro a c h   t h a t  in teg ra tes   m a c h in e   lea rn in g   a n d   tran sfo rm e r   a lg o rit h m s,  su c h   a s  v isu a l  g e o m e try   g r o u p   n e two rk 1 6   ( VG G Ne t1 6 ) ,   c o n v o l u ti o n a l  n e u ra l  n e two r k   (CNN )  a n d   a   lo n g   sh o rt - term   m e m o ry   (LS TM )  b a se d   sy ste m ,   th e   a lg o rit h m   in it iate s  b y   e x trac ti n g   th e   l o c a ti o n   fr o m   e x c h a n g e a b le  ima g e   fil e   f o rm a t  (E x if)   d a ta  fro m   th e   ima g e .   Th e   fe a tu re s  a re   e x t ra c ted   fro m   t h e   ima g e   a n d   c o rr e sp o n d in g   n e ws   h e a d li n e   is  g e n e ra ted .   T h e   h e a d li n e s  a re   u se d   fo r  g e n e ra ti n g   a   c o m p re h e n siv e   a rti c le  wit h   c o n tem p o ra ry   larg e   lan g u a g e   m o d e l  (LL M ).   F u rth e r,   th e   a lg o rit h m   g e n e ra tes   th e   n e ws   a rti c le  b ig - sc ien c e   larg e   o p e n - sc ien c e   o p e n - a c c e ss   m u lt il in g u a l  lan g u a g e   m o d e l  (BLOOM).   Th e   a lg o rit h m   wa s  tes ted   o n   re a l  ti m e   p h o to g ra p h s  a s  we ll   a s  ima g e s   fro m   th e   i n tern e t .   In   b o t h   t h e   c a se s  th e   n e ws   a rti c les   g e n e ra ted   we re   v a li d a ted   wi th   R OU G E  a n d   BULE  sc o re .   Th e   p ro p o se d   w o rk   is  fo u n d   t o   b e   su c c e ss fu l  a tt e m p t  in   jo u r n a li sm   field .   K ey w o r d s :   B L OOM   C o n v o lu tio n al  n eu r al  n etwo r k   J o u r n alis m   L ar g e  lan g u ag e  m o d el   L o n g   s h o r t - ter m   m e m o r y   Mu ltimo d al  m a c h in e   lea rn i n g   VGGN et1 6     T h is i s  a n   o p e n   a c c e ss   a rticle   u n d e r th e   CC B Y - SA   li c e n se .     C o r r e s p o nd ing   A uth o r :   L ax m i Bewo o r   Dep ar tm en t o f   C o m p u ter   E n g i n ee r in g ,   Vis h wak ar m a  I n s titu t e  o f   I n f o r m atio n   T ec h n o lo g y   Pu n e,   I n d ia   E m ail: la x m i.b ewo o r @ v iit.ac . in       1.   I NT RO D UCT I O N   T h e  m an n er   th at  n ews  is   d is tr ib u ted   an d   co n s u m ed   h as  s ig n if ican tly   ch an g ed   with   th e   ad v en t  o f   th e  d ig ital  ag e.   I m a g es  h av e  b ec o m e  a  cr u cial  co m p o n en t  o f   th is   n ew  en v ir o n m en t  b ec a u s e  o f   th eir   i n n ate  ca p ac ity   to   co n cisely   ex p r ess   co m p lex   s to r y lin es.  T h ey   f r eq u en tly   co n tain   im p o r ta n t  in f o r m atio n   th at   s u p p lem en ts   tex tu al  co n ten t  a n d   o cc asio n ally   ev en   r ep lace s   it.  Ho wev er ,   cr ea tin g   n ews  s to r ies  m an u ally   f r o m   p h o to s   is   a  tim e - co n s u m in g   task   th at  r eq u ir es  a  lo t  o f   lab o r   an d   k n o wled g e.   T r ad itio n a l  m ac h in e  lear n in g   ( ML )   alg o r ith m s   h a v e  lim itatio n s   with   th e  u n if o r m   d ata  f o r m at,   b u t   in teg r atin g   m o r e  th a n   o n e  t y p e  o f   d ata  is   th e  n ee d   o f   th e  h o u r .   Mu ltimo d al  f u n ctio n alities   [ 1 ] ,   [ 2 ]   h a v e  r ec en tly   g ar n e r ed   th e  atten ti o n   o f   r esear c h er s   to   o v er co m e   th is   lim itatio n .   Mu ltimo d al  ap p licatio n s   h a v e  p r o v en   to   b e  e f f ec tiv e  f o r   h y b r id izi n g   th e  m o d els  [ 3 ] ,   [ 4 ]   f o r   tex t   an d   im ag e  d ata  ty p es.  T h e  p r o p o s ed   wo r k   also   r ep r esen ts   an   en d ea v o r   to   d ev elo p   a  m u ltimo d al   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J E lec  &   C o m p   E n g     I SS N:   2088 - 8 7 0 8         A   mu ltimo d a l m a ch in e  lea r n i n g   a p p r o a ch   to   g e n era te  n ews   a r ticles fr o m   …   ( A b h a y  Go tma r e )   3435   ap p licatio n   an d ,   in   tu r n ,   s tep   in to   th e  wo r ld   o f   g en er ativ e  ar tific ial  in tellig en ce   ( AI )   [ 5 ] ,   [ 6 ] .   T h er e f o r e,   th e   cr ea tio n   o f   au to m ate d   s y s tem s   ca p ab le  o f   ca r r y in g   o u t th is   ac tiv ity   co u ld   co m p letely   tr an s f o r m   th e  jo u r n alis m   in d u s tr y   b y   i n cr ea s in g   t h e  p r o d u ctiv ity   an d   s ca lab ilit y   o f   n ews  o u tp u t.   T h e   d e v elo p m en t  o f   ar tific ial   in tellig en ce   an d   m ac h in e  lea r n in g   tech n o lo g ies  [ 7 ] ,   [ 8 ]   i n   r ec en t  y ea r s   h as  o p en ed   s ig n if ican t  o p p o r tu n ities   f o r   a u to m atin g   d if f er e n t  p a r ts   o f   c o n ten t  g en er atio n .   Par tic u lar ly   im p r ess iv e  im p r o v e m e n ts   h av e  b ee n   m a d e  in   tex t  g en er atio n   m o d els  an d   im ag e  ca p tio n i n g   m eth o d s .   T r an s f o r m er   m o d els  h a v e  b ec o m e  a  p o ten t  t o o l  in   th e  f ield   o f   n atu r al  lan g u a g e   p r o ce s s in g ,   as  in tr o d u ce d   b y   Vaswan i  et  a l.   [ 9 ] .   T h ese  m o d els  h av e  s h o wn   im p r o v e d   ab ilit y   in   co m p r eh en d in g   th e  c o n tex t  a n d   p r o d u cin g   co h er en t  tex t  th a n k s   to   th eir   s elf - atten tio n   m ec h an is m .   L ater   m o d els h av e  in cr ea s ed   th eir   u s e  o f   tr an s f o r m er s ,   d em o n s tr atin g   th e  v al u e  o f   p r e - tr ain in g   o n   h u g e  tex t  co r p o r a  f o r   a  v ar iet y   o f   d o wn s tr ea m   task s   with   m o d els  lik e  b id ir ec tio n al  en c o d er   r ep r esen tatio n s   f r o m   tr a n s f o r m er s   ( B E R T )   [ 1 0 ] – [ 1 2 ]   a n d   b ig - s cien ce   lar g e   o p en - s cien ce   o p en - ac ce s s   m u ltil in g u al  lan g u a g e   m o d el   ( B L OOM )   [ 1 3 ] .   At   th e  s am e  tim e,   th er e   h as  b ee n   s u b s tan tial  d ev el o p m en t   in   th e  f ield   o f   im ag e   ca p tio n in g .   T h e   m o s t  co m m o n   m o d els  [ 1 4 ] – [ 1 6 ]   a r e  t h o s e  th at  co m b in e   co n v o lu tio n al  n eu r al   n etwo r k s   ( C NNs)  [ 1 7 ] – [ 1 9 ]   f o r   v is u al  f ea tu r e  ex tr ac tio n   with   r ec u r r en t  n eu r al  n etwo r k s   ( R NNs)  o r   lo n g   s h o r t - ter m   m em o r y   ( L STM )   n etwo r k s   f o r   ca p tio n   p r o d u cti o n .   T h e s e  alg o r ith m s   h av e  p r o v en   to   b e  ex ce llen t  at  p r o d u cin g   p er tin e n t  an d   p r ec is e  im ag e  ca p tio n s .   Desp ite  t h ese  d ev elo p m en ts ,   cr ea ti n g   n ews  p iece s   f r o m   p h o to g r ap h s   s till   p r esen ts   s p e cif ic  d if f icu lties .   New s   p iece s   ar e  b y   n at u r e  c o m p lex ;   th ey   f r eq u en tly   ca ll  f o r   a   th o r o u g h   c o m p r eh en s io n   o f   th e  co n tex t,   th e  a p titu d e  to   r ec o g n ize  im p o r tan t  e v en ts ,   an d   th e  ab ilit y   to   wr ite   in   a  jo u r n alis tic  s ty le  th at   ap p ea ls   to   a  w id e  au d ien ce .   T h is   d u ty   en tails   m o r e  th an   ju s t  co m in g   u p   with   a  ca p tio n   f o r   an   im ag e;  it  also   en tails   tu r n in g   th at  d escr ip tio n   in to   a   len g th y   n ews  r ep o r t   th at  o f f er s   in - d ep th   d etails  ab o u t  th e  p o r tr ay e d   ev e n t.  I n   t h is   r esear ch ,   we  ar e  aim in g   to   b r id g e  th is   g a p   b y   d ev elo p i n g   a  n o v el  m o d el  f o r   g en er atin g   n ews  ar ticles  f r o m   im ag es.  Dr awin g   u p o n   th e  te ch n iq u es  an d   i n s ig h ts   f r o m   th e  liter atu r e  in   b o th   tex t  g en er atio n   an d   im ag e  ca p tio n in g ,   we  will  ex p l o r e  th e  p o ten tial  o f   in teg r atin g   th ese  te ch n o lo g ies  f o r   o u r   p u r p o s e.   Ou r   g o al  is   to   cr ea te  a  s y s tem   th at  ca n   au to m ati ca lly   g en er ate  h ig h - q u ality ,   c o n tex tu ally   ac cu r ate   n ews  ar ticles   f r o m   im ag es,  th er eb y   r ev o lu tio n izin g   th e  p r o c ess   o f   n ews   p r o d u ctio n   an d   d i s s em in atio n   in   th e   d ig ital  ag e.   T h is   r esear ch   h o ld s   th e  p o ten tial  t o   co n tr ib u te   s ig n if ican tly   t o   th e   f ield s   o f   au t o m ated   jo u r n alis m   an d   AI - d r iv en   c o n ten t  g en er at io n   [ 2 0 ] .       2.   RE L AT E D  WO RK   T h e  r ec en t   er a  h as  witn ess ed   a   s ig n if ican t  s h if t  f r o m   la n g u a g e  u n d e r s tan d in g   t o   lan g u ag e   g en er atio n .   I q b al  an d   Qu r esh i  [ 2 0 ]   p r ese n ted   a  d etailed   s u r v ey   o n   tex t  g en er atio n   m o d els.  Ad d itio n ally ,   Am in - Neja d     et  a l.   [ 2 1 ]   u tili ze d   tr an s f o r m e r s   s u ch   as  B E R T   an d   b id ir ec tio n a l  en co d e r   r ep r esen tatio n s   f r o m   tr an s f o r m er s   ( B io B E R T )   o n   th e  m ed ical  in f o r m atio n   m ar t   f o r   in ten s i v e  ca r e - I I I   ( MI MI C - I I I )   d ataset.   T h eir   f in d in g s   s u g g est  th at  s y n th etic  d ata  ca n   y ield   b etter   r esu lts   th an   p o o r er   q u ality   o r ig in al  d ata.   Similar ly ,   Ab d elwa h ab   an d   E lm a g h r a b y   [ 2 2 ]   c o m p a r ed   L STM ,   R NN,   g ated   r ec u r r en t   u n it   ( GR U) ,   an d   Ma r k o v   ch ain   m o d els,   co n clu d in g   th at   d ee p   lear n in g   m o d els  h an d le  in c o r r ec tly   lab eled   r ev iews  b etter   th an   Ma r k o v   ch ai n - b ased   tex t   g en er ato r s .   A  s h if t  to war d s   s tr u ctu r in g   d ata   was  o b s er v e d   with   Ma r ch e g g ian i  a n d   Per ez - B eltr ac h in i  [ 2 3 ]   u s in g   g r ap h   co n v o lu tio n al  n etwo r k s   o n   th e  web   n atu r al   lan g u ag e  g en er ato r   ( W eb NL G)   an d   SR 1 1 Dee p   d atasets ,   d em o n s tr atin g   th e  b e n ef its   o f   e n co d i n g   s tr u ctu r al  i n f o r m atio n   with   s   g r a p h   c o n v o lu tio n al  n etwo r k s   ( GC N) .   Vaswan i  et  a l.   [ 9 ]   in tr o d u ce d   t h e  t r an s f o r m er   ar c h itectu r e  an d   s elf - atten tio n   m ec h an is m s ,   elim in atin g   th e  n ee d   f o r   r ec u r r e n t  lay e r s .   T h e  f ield   o f   lar g e  lan g u ag e  m o d el  ( L L M)   h as  also   s ee n   r e m ar k a b le  d ev elo p m e n ts .   Scao   et  a l.   [ 1 3 ]   in tr o d u ce d   B L OOM ,   a  d ec o d er - o n ly   tr a n s f o r m e r   lan g u a g e  m o d el  th at  s h o wed   co m p etitiv e  p e r f o r m an ce   a f ter   m u ltit ask   f in e - t u n in g .   Hu   et  a l.   [ 2 4 ]   p r o p o s ed   l o w - r an k   ad ap tatio n   (L o R A) ,   a   lo w - r an k   ad a p tatio n   o f   lar g e  l an g u ag e  m o d els,  wh ich   g r ea tly   r ed u ce d   th e  n u m b er   o f   tr ain ab le  p ar am eter s   f o r   d o wn s tr ea m   task s .   C h ai  et   a l.   [ 2 5 ]   p r o p o s ed   a   m eth o d o lo g y   th at  s ig n i f ican tly   r ed u ce d   v i d eo   r a n d o m   ac ce s s   m em o r y   ( VR AM )   r eq u ir em e n ts ,   en ab lin g   f i n e - tu n i n g   o f   a   7 B   L L M  o n   a  6   GB   co n s u m er - g r a d e  g r a p h ical  p r o ce s s in g   u n it   ( GPU) .   T h e  a p p licatio n   o f   th ese  m o d els  in   im ag e  ca p tio n in g   h as  also   b ee n   ex p lo r e d .   Sh ar m a   et  a l.   [ 1 4 ]   s u g g ested   th at  m u lt im o d al  im ag e   ca p tio n in g   ca n   b e  ef f ec tiv el y   d o n e   u s in g   L STM ,   as  ev alu ated   b y   b ilin g u al  e v alu atio n   u n d er s tu d y   ( B L E U)   s co r es.  Ho s s ain   et  a l.   [ 1 5 ]   illu s tr ated   a n   ar c h itectu r e  f o r   im a g e   ca p tio n in g   u s in g   C NN  f o r   f ea tu r e  ex tr ac tio n .   Vin y als  et  a l.   [ 1 6 ]   em p h asized   th e   u s e  o f   L STM   n etwo r k s   with   s o f t  atten tio n   m ec h an is m s .   I n   co n clu s io n ,   th e  f iel d   o f   tex t  g en er atio n   m o d els  an d   im ag e  ca p tio n in g   tech n iq u es  h as   s ee n   s ig n if ica n t  ad v a n ce m en ts   an d   a p p licat io n s .   Ho wev er ,   th er e   is   s till   m u ch   t o   ex p lo r e   an d   u n d er s tan d   i n   th ese  ar ea s .       3.   P RO P O SE D  M E T H O D   I n   th is   s ec tio n ,   th e   u s e   o f   m u ltimo d al  al g o r ith m s   is   d is cu s s ed .   T h e   m u ltimo d al  ML   in teg r ates  in f o r m atio n   f r o m   v ar io u s   m o d alities   lik e  tex t,  im ag e,   an d   v id eo .   T h e   p r o p o s ed   wo r k   i n p u ts   im ag es   a n d   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 8 - 8 7 0 8   I n t J E lec  &   C o m p   E n g ,   Vo l.   1 4 ,   No .   3 ,  J u n e   2 0 2 4 :   3 4 3 4 - 3 4 4 2   3436   g en er ates  r elev an t   tex t  d escr ib in g   th at  im a g e.   T h e   en tire   wo r k f lo w  o f   p r o p o s ed   m u ltimo d al   ML   alg o r ith m s   is   d ep icted   in   Fig u r e  1   wh ic h   in c lu d es f o llo win g   s tep s :   a.   Data   co llectio n   an d   p r ep a r atio n :  th e  d ataset  p r im ar ily   co m p r is es  im ag es,  en co m p ass in g   b o th   r ea l - tim e   im ag es  ca p tu r e d   with   m o b i le  ca m er as  an d   J PEG  f iles   o b tain e d   o n lin e.   T h ese  i m ag es  u n d er g o   p r ep r o ce s s in g   to   a  f o r m at  s u itab le  f o r   s u b s eq u en t a n aly s is .   b.   C h o ice  o f   d ee p   lear n in g   ( DL )   m o d els :  th is   s tep   in v o lv es  s e le ctin g   th e  ap p r o p r iate  DL   m o d els  f o r   tr ain in g .   I n   th e  c u r r en t   wo r k ,   th e  v is u al  g eo m etr y   g r o u p - 16   ( VG G - 16 ) ,   a   C NN - b ased   m o d el,   is   em p lo y ed   f o r   im ag e  p r o ce s s in g ,   wh ile  L STM   an d   T r an s f o r m er - b ase d   m o d els  h an d le  tex tu al   d ata  p r o ce s s in g .   Ad d itio n ally ,   th e  lar g e  lan g u a g e  m o d el  B L OOM - 1 b 7   p r e - tr ain ed   m o d el  is   u tili ze d   f o r   te x t e n h an ce m e n t.    c.   C h o ice  o f   DL   m o d els:   th is   s tep   in v o l v es  s elec tin g   th e  ap p r o p r iate  DL   m o d el  f o r   tr ain in g .   I n   th e   cu r r e n t   wo r k ,   VGG - 1 6 ,   a  C NN - b ased   m o d el,   is   u tili ze d   f o r   im ag e  p r o ce s s in g ,   wh ile  L STM   a n d   t r an s f o r m er - b ased   m o d els ar e  em p lo y e d   f o r   tex tu al  d ata  p r o ce s s in g .   d.   Mo d el  h y b r id izatio n :   th is   s tep   f ac ilit ates  lev er ag in g   th e   a d v an tag es  o f   m u ltip le  m o d alities .   T h e  m o d el  u n d er g o es f u r t h er   tr ain i n g   an d   f in e - tu n i n g   b y   in teg r atin g   f ea t u r es f r o m   b o th   i m ag es a n d   te x t.   e.   I n ter p r etatio n   o f   th e  r esu lts :  t h e  r esu lts   ar e  as s es s ed   u s in g   w ell - estab lis h ed   p er f o r m an ce   m etr ics:   ac cu r ac y   an d   lo s s   r ate.   T h e  ac cu r ac y   ass e s s m en t  in clu d es  B L E U   an d   r ec all - o r ien ted   u n d er s tu d y   f o r   g is tin g   ev alu atio n   ( R OUGE )   s co r es   [ 2 6 ] .   Alg o r ith m   1   p r o v id es  d etailed   ex ec u tio n   s tep s   f o r   co n v er tin g   in p u t im ag e   to   tex t.           Fig u r e  1 .   Pro p o s ed   ar c h itectu r e  d iag r am       Alg o r ith m   1 .   Pro p o s ed   atten tio n - b ased   h y b r id   C NN - L STM   m o d el    Step   1 .   Upload Image: The  user uploads a geo - tagged image.   Step   2 .   Extract  Geo - ta gg e d  Lo ca ti on s:   Th e  e x c h a n g e a b l e   i ma g e   f i l e   f o r ma t   ( Ex i f )   decryption  algorithm  is  used to extract the geo - tagged locations from the uploaded image.   Step   3 .   Feature  Extraction:  The  image  is  then  pr ocessed  for  feature  extraction  using  the  VGGNet16 CN N   model which is trained with a customized dataset.   Step   4 .   Tu ne   Ex tr ac te d  Fe at ur es :  Th e  fe at ur es   ex tr ac te d  fr om   th e  im ag e   ar e   th en   fi ne - tuned  with the trained weights of the LSTM algorithm.   Step   5 .   Generate  Raw  Head line:  The  output  of   the  L STM  is  a  raw   headline  tha t  describes  the   image in a basic way.   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J E lec  &   C o m p   E n g     I SS N:   2088 - 8 7 0 8         A   mu ltimo d a l m a ch in e  lea r n i n g   a p p r o a ch   to   g e n era te  n ews   a r ticles fr o m   …   ( A b h a y  Go tma r e )   3437   Step   6 .   Convert  Raw  Headline:  This  raw  headline  is  passed  through  another  LSTM  model  to  convert  the  sentence  into  a  meaningful  headline,  which  will  serve  as   the  actual   headline for the image.   Step   7 .   Pa ss   He ad li ne   Th ro ug h  fi ne tu ne d  LL M:   Th e   he ad li ne   an d  th e  pr ev i ou sl y  ex tr ac te d   location  is  then  passed  through  a  fine - tu ne d  LL M  Bl oo m - 1b 7  mo de l.   in   th i s  ca se ,  th e  Bloom - 1b 7  mo de l.   Th is   mo d el ,  fi ne - tu ne d  us in g   qu an ti ze d  lo w  ra nk   ad aptation   (QLoRA),  is designed to generate news articles.   Step   8 .   Generate  Description:  The  Bloom - 1b 7  mo de l  ge ne ra te s  a  me an in gf ul   de sc ri pt io n  fo r  the headline.   Step   9 .   Combine  Elements  to  Form  Article:  Final ly,  this  description,  th e  headline,  the  location  extracted  from  t he  Exif  decryption  algori thm,  and  the  image   are  c ombined  t o   form a full news article.   End Procedure.       4.   L E A RNING   M O DE L S O F   P RO P O SE D  M E T H O DO L O G Y   4 . 1 .     E x t ra ct io n o f   lo ca t io n c o - o r din a t es   T h e  g eo tag g e d   im ag e  h as  an   en cr y p ted   E x if   f ile  th at  is   u s ed   to   s to r e  th e  lo ca tio n   an d   a  v ar iety   o f   o th er   im ag e  d etails.  T h e  E x if   f ile  is   d ec r y p ted   u s in g   th e  Py th o n   lan g u a g e  f u n ctio n alities   to   ex tr ac t th e  lo ca tio n   co o r d in ates.  T h e  lo ca tio n   c o o r d in ates  ar e  r e p r esen ted   in   th e  f o r m   o f   d ir ec tio n s   ( NSEW)  th at  ar e  th en   co n v er ted   in to   r esp ec tiv e  latit u d e  an d   lo n g itu d e  with   th e  f o l lo win g   f o r m u las:        =   +  / 60 +   / 3600      =   +  / 60 +   / 3600     T h e  co n v er ted   latitu d e  a n d   lo n g itu d e  ar e  u s ed   to   ex t r ac t  th e  ex ac t  lo ca tio n ,   a n d   a  r ea l - ti m e  m ap   is   r en d e r ed   with   th e  h elp   o f   f o liu m ,   as sh o wn   in   Fig u r e  2 .           Fig u r e  2 .   E x ac t e x tr ac ted   l o ca t io n   o n   f o liu m   m ap   with   b l u e  m ar k er       4 . 2 .   VG G - 1 6   a nd   L ST M   f o r  g ener a t ing   ca ptio n f r o m   i ma g e   Af ter   ex tr ac tin g   th e  lo ca tio n   in f o r m atio n   f r o m   th e  Ex if   d ata  o f   th e  im ag e,   th e  im a g e  is   th en   p ass ed   to   a  VGGN et - 1 6   m o d el  f o r   f ea t u r e  ex tr ac tio n .   T h e  ty p es  an d   n u m b er   o f   p a r am eter s   ar e  s h o wn   in   T ab le  1 .   T h e   ex tr ac ted   f ea tu r es  ar e  s u b s eq u en tly   s to r ed   an d   p ass ed   in to   th e  lo n g   s h o r t - ter m   m e m o r y   ( L STM )   m o d el  f o r   tr ain in g   to   ex tr ac t   ca p tio n s   f r o m   im ag es.   T h e   VGGN et - 1 6   in n er   m o d el  ar c h itectu r e,   b a s ed   o n   th e  r eq u ir e d   p ar am eter s   an d   f ea tu r es,  is   illu s tr ated   in   Fig u r e  3 .   T h e  c o m p o n en ts   o f   th e  r esp ec tiv e   L STM   m o d el  ar e   p r esen ted   in   T a b le  2 .     Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 8 - 8 7 0 8   I n t J E lec  &   C o m p   E n g ,   Vo l.   1 4 ,   No .   3 ,  J u n e   2 0 2 4 :   3 4 3 4 - 3 4 4 2   3438   T ab le  1 .   VGGN et - 16  p ar am et er   d is tr ib u tio n   S r   N o   P a r a me t e r   t y p e   N u mb e r   o f   p a r a me t e r s   1   To t a l   P a r a m e t e r s   1 3 4 2 6 0 5 4 4   2   Tr a i n a b l e   P a r a met e r s   1 3 4 2 6 0 5 4 4   3   N o n - t r a i n a b l e   P a r a me t e r s   0           Fig u r e  3 .   VGGN et - 16  i n n er   a r ch itectu r e       T ab le  2 .   L STM   f o r   ca p tio n   g e n er atio n   attr ib u tes   Ep o c h s   B a t c h   S i z e   Lo ss   B LEU - 1   60   3   0 . 2 3 9 9   0 . 2 9 5       4 . 3 .   L ST M   f o r  hea dli ne  g en er a t io n   Up o n   th e   g e n er atio n   o f   an   in i tial  ca p tio n   th r o u g h   th e  c o m b in ed   ef f o r ts   o f   th e   VGGNet - 1 6   an d   th e   p r im ar y   L STM   m o d el,   it  is   th en   f ed   in to   a   s ec o n d a r y   L ST M  n etwo r k .   T h is   s u b s eq u e n t  L STM   is   s p ec if ically   en g in ee r ed   to   d is till   th e  p r eli m in ar y   ca p tio n   in t o   a  co n tex t u ally   r elev an t  an d   s em an ticall y   co h er en t  h ea d lin e.   T h e  s ec o n d   L STM   m o d el  h as  th e  f o llo win g   attr ib u tes  tab u lated   in   T ab le  3 .   T h e  c o m p ilatio n   attr ib u tes  o f   th e   L STM   m o d el  ar e  tab u lated   in   T ab le  4 .       T ab le  3 .   L STM   f o r   h ea d lin e  g en er atio n   attr ib u tes   La y e r   ( t y p e )   O u t p u t   s h a p e   N o   o f   p a r a me t e r s   Emb e d d i n g   ( N o n e , 7 6 , 1 0 0 )   5 4 3 0 0   LSTM   ( N o n e , 1 5 0 )   1 5 0 6 0 0   D e n se   ( N o n e , 5 4 3 )   8 1 9 9 3       T ab le  4 .   L STM   co m p ilatio n   at tr ib u tes   Ep o c h s   B a t c h   S i z e   Lo ss   A c c u r a c y   2 0 0   1   0 . 0 1 3 0   0 . 9 9 1 6   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J E lec  &   C o m p   E n g     I SS N:   2088 - 8 7 0 8         A   mu ltimo d a l m a ch in e  lea r n i n g   a p p r o a ch   to   g e n era te  n ews   a r ticles fr o m   …   ( A b h a y  Go tma r e )   3439   4 . 4 .   L L M   f o r  g ener a t ing   ne ws f ro m   hea dli ne   Af ter   g en er atin g   th e  h ea d lin e ,   it  is   p as s ed   to   th e  B lo o m - 1 b 7   p r e - tr ain ed   m o d el,   an   o p en - s o u r ce   L L M.   T h is   m o d el,   with   1 , 7 2 2 , 4 0 8 , 9 6 0   p a r am eter s ,   h as b ee n   tr ain ed   o n   4 5   n atu r al  lan g u ag e s   an d   1 . 5   ter ab y tes  o f   p r e - p r o ce s s ed   tex t,  co n v er ted   in to   3 5 0   b illi o n   u n i q u e  to k en s .   T h e  m o d el  co m p r is es  5 1 3 , 8 0 2 , 2 4 0   em b ed d in g   p ar am eter s ,   2 4   lay er s ,   1 6   atten tio n   h ea d s ,   an d   2 0 4 8 - d im en s io n al  h id d en   lay er s .   I t  is   d esig n ed   to   p er f o r m   g e n er al - p u r p o s e  task s   an d   ca n   b e  f i n e - tu n e d   f o r   d o m ain - s p ec if ic  task s .   T h e   f in e - tu n in g   p r o ce s s   was   p er f o r m ed   o n   a  s in g le  T esla  T 4   GPU  with   1 6   g ig ab y tes  o f   GPU  VR AM .   Du e  to   h ar d war e  co n s tr ain ts ,   we  em p lo y ed   a   QL o R A  m eth o d .   T h is   m eth o d   in v o lv ed   r ed u c in g   th e  p r ec is io n   o f   m o d el  p ar am eter s   to   4 - b i t   in teg er s ,   s ig n if ican tly   r ed u cin g   th e  am o u n t  o f   C PU  an d   GPU  m em o r y   r eq u i r ed ,   m ak i n g   it  f ea s ib le  to   p er f o r m   th e  ex p e r im en t   o n   th e   av ailab le  h ar d war e .   T h e  d ataset  u s ed   f o r   f in e - tu n in g   was  s elf - g en e r ated   an d   c o n s is ted   o f   h ea d lin es a n d   th eir   r esp ec tiv e  n ews a r ticles.  Desp ite  its   s m all  s ize,   th is   d ataset  s er v ed   as a   p r o to ty p e   f o r   t h e   ex p er im en t.  T h e  f in e - tu n in g   p r o ce s s   was  g u id ed   b y   a  p r o m p t  tem p late,   wh ich   was  d es ig n ed   to   g en er ate  a   n ews  ar ticle  b ased   o n   a   g iv e n   h ea d lin e .   T h e  tem p late  was  a s   f o llo ws:   ' B ased   o n   th e   f o llo win g   h ea d lin e  a n d   lo ca tio n ,   g en er ate  a  n ews  ar ticle:  "He ad lin e"   "lo ca tio n "  "n ews".   T h e  p ar am eter s   f o r   g en er atio n   wer e  s et  with   a  tem p er atu r e  o f   0 . 1   a n d   a  m ax im u m   o f   5 1 2   n ew  to k en s .   T h e  ad ap ter   ty p e  u s ed   was  L o R A,   an d   th e   q u an tizatio n   was  s et  to   4   b its .   T h ese  p ar am ete r s   wer e  ch o s e n   to   b ala n ce   th e   tr ad e - o f f   b et wee n   co m p u tatio n al  ef f icien cy   an d   th e  q u ality   o f   t h e  g en er ate d   tex t.       5.   RE SU L T S AN D  D I SCU SS I O N   I n   th e   r ea lm   o f   waste  m a n ag em en t,   th e  in te g r atio n   o f   m u ltimo d al  ap p r o ac h es  a d v o ca tes  a   tr an s f o r m ativ e  s h if t  i n   h o w  n ews  r elate d   to   th is   cr itical  f ield   is   g en er ated   a n d   d is s em in ated .   T h e  p r o p o s ed   wo r k   n o t  o n l y   wo r k s   o n   th e  im ag es  av ailab le  o n lin e  b u t  also   ca n   co llect   r ea l  tim e  im ag es,  id en tifie s   th e   lo ca tio n   an d   r ele v an t  in f o r m a tio n   f r o m   t h at  p ictu r e  is   g ettin g   g en e r ated   wh ich   will  b e  s u p p lied   to   h ig h e r   au th o r ities   f o r   f u r th e r   ac tio n .   T h e  d etailed   an al y s is   o f   r esu lts   is   p r o v id ed   in   s u b s eq u en t su b s ec tio n s .       5 . 1 .   T he  re s ults f o r  t he  ca pti o n g ener a t ed  f ro m   t he  ima g e   T h e  m eth o d o lo g y   f o r   th is   task   in v o lv e d   th e  u tili za tio n   o f   a  c o m b in atio n   o f   VGGN et - 1 6   an d   L STM .   T h e  co m b in atio n   u n d er wen t  t esti n g   with   v ar io u s   h y p er p ar a m eter s ,   an d   ad ju s tm en ts   wer e   m ad e  f o r   o p tim al   r esu lts .   W h ile  th e  n u m b er   o f   ep o ch s   r em ain ed   c o n s tan t  at  6 0 ,   we  ex p er im en te d   with   d if f e r en t  b atch   s izes  f o r   th e  m o d el,   r esu ltin g   in   th e  f i n d in g s   tab u lated   in   T a b le  5 .   B ased   o n   th e  B L E U - 1   an d   B L E U - 2   s co r es,  th e  o p tim al  b atch   s ize  in   ter m s   o f   ac cu r ac y   was th r ee ,   w h er e  B L E U - 1   s co r e  =  0 . 2 9 5   an d   B L E U - 2   s co r e  =  0 .       T ab le  5 .  Hy p er   p a r am eter   tu n in g   r esu lts   S r .   n o   Ep o c h   B a t c h   si z e   B l e u 1   B l e u 2   1   60   10   0 . 2 9   0   2   60   20   0 . 3 5   0   3   60   11   0 . 2 9   0   4   60   5   0 . 3 0   0   5   60   15   0 . 3 2   0 . 0 7   6   60   7   0 . 3 1   0 . 0 7   7   60   3   0 . 2 9   0   8   60   4   0 . 2 9   0   9   60   6   0 . 3 2   0 . 0 7   10   60   8   0 . 3 1   0   11   60   9   0 . 3 0   0 . 0 7       5 . 2 .   T he  re s ults f o r  t he  hea dli ne  g ener a t ed  f ro m   t he  ca pt io n   T h e  m eth o d o lo g y   f o r   th is   task   in v o lv e d   u s in g   L STM   to   tr ain   o n   th e  ca p tio n s   g en e r ated   f r o m   th e  im ag e,   co n v er tin g   th e m   in t o   s u itab le  h ea d lin es   f o r   n ews  a r ticle  g en er atio n .   T h e  m o d el' s   tr ain in g   p ar am eter s ,   as we ll a s   it s   r esp ec tiv e  ac cu r ac y   an d   lo s s   f ac to r s ,   wer e  o b tain ed   an d   tab u lated .   T ab le  6   d e p icts   th e  n u m b er   o f   ep o ch s   alo n g   with   th e   co r r esp o n d in g   lo s s   f ac to r   a n d   ac c u r a cy .   C ateg o r ical  cr o s s - en tr o p y   is   co n s id er ed   as  th e   lo s s   f ac to r ;  h e n ce ,   2 0 0   ep o ch s   wer e  c h o s en   f o r   m o d el  c o n s tr u ctio n .   T h e   ac cu r ac y   an d   l o s s   f ac to r   p er   ep o c h   is   also   p lo tted ,   as  s h o wn   in   Fig u r e s   4   an d   5   r esp ec tiv ely .   T h u s ,   th e  m o d el' s   p er f o r m an ce   d u r in g   tr ain in g   is   ev alu ated .     5 . 3 .     T he  re s ults f o r  t he  a rt ic le  g ener a t ed  f ro m   t he  hea dli ne   T h e   p r o p o s e d   a l g o r i t h m   a ls o   m a k e s   u s e   o f   f i n e - t u n i n g   B l o o m - 1 b 7 .   A s   s h o w n   i n   T a b le   7 ,   th e   f i n d i n g s   e n c o m p a s s   a n   a r r a y   o f   a c c u r a c y   m e t r i c s ,   i n c l u d i n g   d i f f e r e n t   v e r s i o n s   o f   b o t h   B L E U   a n d   R OU G E   s c o r es .   T h e s e  r e s u l ts   f r o m   a l l   t h e   t h r e e   s u b d o m a i n s   s e r v e   a s   t h e   c o n c l u s i v e   ev a l u a t i o n   o f   t h e   m o d e l ’ s   p e r f o r m a n c e .   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 8 - 8 7 0 8   I n t J E lec  &   C o m p   E n g ,   Vo l.   1 4 ,   No .   3 ,  J u n e   2 0 2 4 :   3 4 3 4 - 3 4 4 2   3440   Ou r   r esear ch   m ar k s   th e  f ir s t  en d ea v o r   in   th e  d o m ain   o f   g en er atin g   tex t  d ir ec tly   f r o m   im ag es,  p io n ee r in g   a  n o v el   ap p r o ac h   to   b r id g in g   t h e  g a p   b etwe en   v is u al  an d   tex t u al  m o d alities .   T h r o u g h   ex ten s iv e   ex p er im en tatio n   an d   e v alu ati o n ,   we  in tr o d u ce   a n   in n o v ati v e  alg o r ith m   ca p ab le  o f   au to n o m o u s ly   g en er atin g   d escr ip tiv e  tex t  f o r   im ag es  wi th   r em ar k ab le  ac c u r ac y   an d   c o h er en ce .   T h is   g r o u n d b r ea k in g   ac h iev em en t  n o t  o n ly   f ills   a  s ig n if ican t  g ap   i n   ex is tin g   liter atu r e  b u t  also   o p en s   av e n u es  f o r   n o v el  ap p licatio n s   in   im ag e   u n d er s tan d i n g ,   co n ten t   g e n er a tio n ,   an d   ac ce s s ib ilit y   en h an c em en t.  Ou r   r esu lts   s h o wca s e  th e  tr an s f o r m ativ e   p o ten tial  o f   m u ltimo d al   lear n i n g   tec h n iq u es   in   u n lo c k in g   n e w  ca p ab ilit ies  f o r   u n d er s tan d i n g   a n d   in ter p r eti n g   v is u al  co n ten t,  lay in g   th e  f o u n d atio n   f o r   f u t u r e  ad v an ce m e n ts   in   th is   em er g in g   f ield .       T ab le  6 .   Hea d lin e  r esu lts   S r   N o   Ep o c h s   C a t e g o r i c a l   C r o ss - e n t r o p y   A c c u r a c y   1   10   4 . 8 4   0 . 1 0   2   20   2 . 6 6   0 . 4 5   3   50   0 . 1 9   0 . 9 8   4   75   0 . 0 6   0 . 9 9   5   1 0 0   0 . 0 3   0 . 9 9   6   1 2 0   0 . 0 2   0 . 9 9   7   2 0 0   0 . 0 1   0 . 9 9             Fig u r e  4 .   Acc u r ac y   p er   ep o ch     Fig u r e  5 .   L o s s   p er   ep o c h       T ab le  7 .   Fin e - tu n ed   b lo o m   m o d el  ac cu r ac y   p ar am eter s   S r   N o   P a r a me t e r   S c o r e   1   B l e u 1   0 . 2 6   2   c h a r _ e r r o r _ r a t e   0 . 7 3   3   l o ss   2 . 2 4   4   n e x t _ t o k e n _ p e r p l e x i t y   1 5 2 9 7 1 . 7 6   5   p e r p l e x i t y   2 5 0 8 4 9 . 7 8   6   r o u g e 1 _ f mea s u r e   0 . 5 3   7   r o u g e 1 _ p r e c i s i o n   0 . 4 5   8   r o u g e 1 _ r e c a l l   0 . 6 9   9   r o u g e 2 _ f mea s u r e   0 . 3 5   10   r o u g e 2 _ p r e c i s i o n   0 . 2 8   11   r o u g e 2 _ r e c a l l   0 . 4 6   12   r o u g e L _ f me a s u r e   0 . 4 7   13   r o u g e L _ p r e c i si o n   0 . 3 9   14   r o u g e L _ r e c a l l   0 . 6 1   15   r o u g e L su m _ f me a su r e   0 . 5 1   16   r o u g e L su m _ p r e c i si o n   0 . 4 2   17   r o u g e L su m _ r e c a l l   0 . 6 6   18   c o m b i n e d _ l o ss   2 . 2 4       6.   CO NCLU SI O N   T h is   r esear ch   aim ed   to   d ev el o p   a  n o v el  alg o r ith m   f o r   g e n er atin g   n ews  ar ticles  f r o m   g eo - tag g e d   im ag es,  lev er ag in g   ad v a n ce m en ts   in   m ac h in e  lear n in g ,   im ag e  ca p tio n in g ,   an d   tex t  g en e r atio n   m o d els.  T h e   r esu lts   o f   th e  s tu d y   s h o wed   p r o m is in g   o u tc o m es  ac r o s s   th e  th r ee   s u b d o m ain s   o f   th e  alg o r ith m .   T h e  u s e  o f   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J E lec  &   C o m p   E n g     I SS N:   2088 - 8 7 0 8         A   mu ltimo d a l m a ch in e  lea r n i n g   a p p r o a ch   to   g e n era te  n ews   a r ticles fr o m   …   ( A b h a y  Go tma r e )   3441   VGGNet - 1 6   an d   L STM   f o r   i m ag e  ca p tio n in g   y ield ed   o p ti m al  r esu lts   with   a  b atch   s ize  o f   th r ee ,   as  ev id en ce d   b y   th e  B L E U - 1   an d   B L E U - 2   s co r es.  T h e  s u b s eq u en t  c o n v e r s io n   o f   th e  ca p tio n   in t o   a  s u itab le  h ea d lin e  u s in g   L STM   d em o n s tr ated   h ig h   ac cu r ac y ,   with   th e  m o d el  tr ain e d   f o r   2 0 0   e p o ch s .   Fin ally ,   th e  g en er atio n   o f   th e   ar ticle  f r o m   t h e  h ea d lin e  u s i n g   a  f in e - tu n e d   B lo o m - 1 B 7   L L M  r esu lted   in   s atis f ac to r y   ac cu r ac y   m etr ics,  in clu d in g   B L E U  an d   R ec all - Or ien ted   Un d er s tu d y   f o r   R OUGE   s co r es.  T h e  s tu d y ' s   f in d in g s   h ig h lig h t  th e   p o ten tial  o f   th e  p r o p o s ed   alg o r ith m   in   r ev o lu tio n izin g   n ews  p r o d u ctio n   an d   d is s em in atio n   in   th e  d ig ital  ag e.   B y   au to m atin g   th e  p r o ce s s   o f   g en er atin g   n ews  ar ticles  f r o m   im ag es,  th e  alg o r ith m   ca n   s ig n if ican tly   r ed u ce   th e  m an u al  e f f o r t  a n d   tim e  r eq u ir ed ,   t h er eb y   im p r o v in g   t h e  ef f icien cy   an d   s ca lab ilit y   o f   n ews  p r o d u ctio n .   T h is   r esear ch   r e p r esen ts   a  s i g n if ican t  s tep   t o war d s   th e   a u to m atio n   o f   j o u r n alis m   an d   AI - d r iv e n   c o n ten t  g en er atio n .   T h e  p r o p o s ed   al g o r ith m ,   with   its   m u ltimo d al  c o m b in atio n   o f   m ac h in e  lear n i n g   an d   tr a n s f o r m e r   alg o r ith m s ,   o f f e r s   a  p r o m is in g   s o lu tio n   to   th e  ch allen g e  o f   g en er atin g   n ews a r ticles f r o m   i m ag es.  W ith   f u r th er   r ef in em en t a n d   im p r o v em en t,  th e  alg o r ith m   h as th e  p o ten tial to   r ev o l u tio n ize  th e  f ield   o f   d i g ital jo u r n alis m .   T h e  p r o s p ec ts   o f   th is   r esear c h   ar e  b r o a d   an d   s tim u latin g .   T h e  alg o r ith m ,   w h ile  ef f ec tiv e,   p r esen ts   o p p o r tu n ities   f o r   r e f in em en t.  E n h an ce m e n ts   in   co n tex t  u n d er s tan d in g   an d   jo u r n alis tic  s ty le  g en er atio n   c o u l d   b e  ac h iev e d   b y   e x p lo r i n g   a d v an ce d   tr a n s f o r m er   m o d els  f o r   tex t  g e n er atio n   an d   m o r e  c o m p lex   C NN  m o d els  f o r   im ag e  ca p tio n in g .   Fu r th e r ,   th e  alg o r ith m ' s   r ea l - wo r ld   p er f o r m a n ce   n ee d s   ad d itio n al  ex p lo r atio n .   Fu tu r e  wo r k   co u l d   in clu d e  test in g   w ith   d iv er s e  im ag es  an d   in   v ar ied   co n tex ts .   Mo r eo v er ,   th e  a lg o r ith m ' s   p o ten tial  ex ten d s   b ey o n d   d ig ital  jo u r n a lis m   to   o th er   f ield s   r eq u ir in g   au to m ated   im ag e - b ased   co n te n t  g en er atio n ,   s u ch   as  s o cial  m ed ia  m an ag em en t  an d   p u b lic  r elatio n s .   I n   co n cl u s io n ,   th is   r esear ch   o p en s   v ast  p o s s ib ilit ie s .   W ith   f u r th er   r ef in e m en t,  t h e  alg o r it h m   co u ld   s ig n if ica n tly   co n tr i b u te  to   au to m ate d   jo u r n alis m ,   AI - d r i v en   c o n ten t  g en er atio n ,   an d   o th er   te x t a n d   im ag e - r elate d   au t o m atio n   s ce n ar io s .       RE F E R E NC E S   [ 1 ]   C .   A .   K .   A .   K o u n t a ,   B .   K a ms u - F o g u e m,  F .   N o u r e d d i n e ,   a n d   F .   T a n g a r a ,   “ M u l t i m o d a l   d e e p   l e a r n i n g   f o r   p r e d i c t i n g   t h e   c h o i c e   o f   c u t   p a r a met e r s  i n   t h e   m i l l i n g   p r o c e ss,”   I n t e l l i g e n t   S y st e m s   w i t h   A p p l i c a t i o n s ,   v o l .   1 6 ,   N o v .   2 0 2 2 ,   d o i :   1 0 . 1 0 1 6 / j . i sw a . 2 0 2 2 . 2 0 0 1 1 2 .   [ 2 ]   T.   B a l t r u s a i t i s,   C .   A h u j a ,   a n d   L. - P .   M o r e n c y ,   “ M u l t i m o d a l   ma c h i n e   l e a r n i n g :   a   s u r v e y   a n d   t a x o n o m y , ”   I EEE   T ra n sa c t i o n s  o n   Pa t t e r n   An a l y si s   a n d   Ma c h i n e   I n t e l l i g e n c e ,   v o l .   4 1 ,   n o .   2 ,   p p .   4 2 3 – 4 4 3 ,   F e b .   2 0 1 9 ,   d o i :   1 0 . 1 1 0 9 / TPA M I . 2 0 1 8 . 2 7 9 8 6 0 7 .   [ 3 ]   T.   B a l t r u š a i t i s,   C .   A h u j a ,   a n d   L . - P .   M o r e n c y ,   “ C h a l l e n g e s a n d   a p p l i c a t i o n s i n   m u l t i mo d a l   m a c h i n e   l e a r n i n g , ”   i n   T h e   H a n d b o o k   o f   Mu l t i m o d a l - M u l t i s e n s o r  I n t e r f a c e s:   F o u n d a t i o n s,  U ser  M o d e l i n g ,   a n d   C o m m o n   M o d a l i t y   C o m b i n a t i o n s  -   Vo l u m e   2 ,   A ss o c i a t i o n   f o r   C o m p u t i n g   M a c h i n e r y ,   2 0 1 8 ,   p p .   1 7 – 4 8 .   [ 4 ]   P .   P .   Li a n g ,   A .   Za d e h ,   a n d   L .   P .   M o r e n c y ,   “ F o u n d a t i o n s  a n d   t r e n d s  i n   m u l t i m o d a l   m a c h i n e   l e a r n i n g :   p r i n c i p l e s,   c h a l l e n g e s,  a n d   o p e n   q u e st i o n s, ”   a rXi v   p re p ri n t   a rXi v : 2 2 0 9 . 0 3 4 3 0 ,   2 0 2 2 .   [ 5 ]   T.   B r o w n   e t   a l . ,   “ L a n g u a g e   m o d e l s  a r e   f e w - s h o t   l e a r n e r s,”   A d v a n c e s   i n   n e u r a l   i n f o rm a t i o n   p ro c e ss i n g   syst e m s ,   v o l .   3 3 ,     p p .   1 8 7 7 – 1 9 0 1 ,   2 0 2 0 .   [ 6 ]   R .   K o n c e l - K e d z i o r sk i ,   D .   B e k a l ,   Y .   Lu a n ,   M .   La p a t a ,   a n d   H .   H a j i s h i r z i ,   “ Te x t   g e n e r a t i o n   f r o m  k n o w l e d g e   g r a p h s  w i t h   g r a p h   t r a n sf o r mers , ”   a rX i v   p re p r i n t   a rX i v : 1 9 0 4 . 0 2 3 4 2 ,   2 0 1 9 .   [ 7 ]   M .   Z.   A l o m   e t   a l . ,   “ A   s t a t e - of - t h e - a r t   su r v e y   o n   d e e p   l e a r n i n g   t h e o r y   a n d   a r c h i t e c t u r e s , ”   El e c t ro n i c s ,   v o l .   8 ,   n o .   3 ,   M a r .   2 0 1 9 ,   d o i :   1 0 . 3 3 9 0 / e l e c t r o n i c s 8 0 3 0 2 9 2 .   [ 8 ]   K .   A r u l k u m a r a n ,   M .   P .   D e i s e n r o t h ,   M .   B r u n d a g e ,   a n d   A .   A .   B h a r a t h ,   “ D e e p   r e i n f o r c e m e n t   l e a r n i n g :   a   b r i e f   su r v e y , ”   I E EE   S i g n a l   Pro c e ssi n g   Ma g a zi n e ,   v o l .   3 4 ,   n o .   6 ,   p p .   2 6 – 3 8 ,   N o v .   2 0 1 7 ,   d o i :   1 0 . 1 1 0 9 / M S P . 2 0 1 7 . 2 7 4 3 2 4 0 .   [ 9 ]   A .   V a sw a n i   e t   a l . ,   “ A t t e n t i o n   i s   a l l   y o u   n e e d , ”   A d v a n c e s  i n   n e u r a l   i n f o rm a t i o n   p r o c e ssi n g   s y st e m s ,   v o l .   3 0 ,   2 0 1 7 .   [ 1 0 ]   J.  D e v l i n ,   M .   W .   C h a n g ,   K .   Le e ,   a n d   K .   T o u t a n o v a ,   “ B e r t :   p r e - t r a i n i n g   o f   d e e p   b i d i r e c t i o n a l   t r a n sf o r m e r s  f o r   l a n g u a g e   u n d e r s t a n d i n g , ”   a rX i v   p r e p r i n t   a rX i v : 1 8 1 0 . 0 4 8 0 5 ,   2 0 1 8 .   [ 1 1 ]   P .   H o w l a d e r ,   P .   P a u l ,   M .   M a d a v i ,   L.   B e w o o r ,   a n d   V .   S .   D e sh p a n d e ,   “ F i n e   t u n i n g   t r a n sf o r mer  b a s e d   B E R T  m o d e l   f o r   g e n e r a t i n g   t h e   a u t o m a t i c   b o o k   s u mm a r y , ”   I n t e rn a t i o n a l   J o u r n a l   o n   Re c e n t   a n d   I n n o v a t i o n   T r e n d s   i n   C o m p u t i n g   a n d   C o m m u n i c a t i o n ,    v o l .   1 0 ,   n o .   1 s ,   p p .   3 4 7 – 3 5 2 ,   D e c .   2 0 2 2 ,   d o i :   1 0 . 1 7 7 6 2 / i j r i t c c . v 1 0 i 1 s . 5 9 0 2 .   [ 1 2 ]   M .   V   K o r o t e e v ,   “ B ER T :   a   r e v i e w   o f   a p p l i c a t i o n s  i n   n a t u r a l   l a n g u a g e   p r o c e ssi n g   a n d   u n d e r s t a n d i n g , ”   a rX i v   p r e p r i n t   a rXi v : 2 1 0 3 . 1 1 9 4 3 ,   2 0 2 1 .   [ 1 3 ]   T.   L e   S c a o   e t   a l . ,   “ B l o o m:   A   1 7 6 b - p a r a met e r   o p e n - a c c e ss m u l t i l i n g u a l   l a n g u a g e   mo d e l , ”   a rXi v : 2 2 1 1 . 0 5 1 0 0 ,   2 0 2 2 .   [ 1 4 ]   H .   S h a r ma ,   M .   A g r a h a r i ,   S .   K .   S i n g h ,   M .   F i r o j ,   a n d   R .   K .   M i s h r a ,   “ I mag e   c a p t i o n i n g :   a   c o m p r e h e n si v e   su r v e y , ”   i n   2 0 2 0   I n t e r n a t i o n a l   C o n f e r e n c e   o n   P o w e r  El e c t r o n i c s   &  I o T   Ap p l i c a t i o n s  i n   R e n e w a b l e   En e rg y   a n d   i t s  C o n t ro l   ( P ARC ) ,   F e b .   2 0 2 0 ,     p p .   3 2 5 – 3 2 8 ,   d o i :   1 0 . 1 1 0 9 / P A R C 4 9 1 9 3 . 2 0 2 0 . 2 3 6 6 1 9 .   [ 1 5 ]   M .   D .   Z.   H o ssa i n ,   F .   S o h e l ,   M .   F .   S h i r a t u d d i n ,   a n d   H .   La g a ,   “ A   c o mp r e h e n s i v e   s u r v e y   o f   d e e p   l e a r n i n g   f o r   i mag e   c a p t i o n i n g , ”   AC M   C o m p u t i n g   S u rv e y s ,   v o l .   5 1 ,   n o .   6 ,   p p .   1 – 3 6 ,   N o v .   2 0 1 9 ,   d o i :   1 0 . 1 1 4 5 / 3 2 9 5 7 4 8 .   [ 1 6 ]   O .   V i n y a l s,  A .   To s h e v ,   S .   B e n g i o ,   a n d   D .   Er h a n ,   “ S h o w   a n d   T e l l :   l e ss o n s  l e a r n e d   f r o m  t h e   2 0 1 5   M S C O C O   i mag e   c a p t i o n i n g   c h a l l e n g e , ”   I EEE  T r a n sa c t i o n s  o n   P a t t e r n   A n a l y s i s  a n d   Ma c h i n e   I n t e l l i g e n c e ,   v o l .   3 9 ,   n o .   4 ,   p p .   6 5 2 – 6 6 3 ,   A p r .   2 0 1 7 ,   d o i :   1 0 . 1 1 0 9 / TPA M I . 2 0 1 6 . 2 5 8 7 6 4 0 .   [ 1 7 ]   C .   S z e g e d y ,   S .   I o f f e ,   V .   V a n h o u c k e ,   a n d   A .   A l e m i ,   “ I n c e p t i o n - v 4 ,   I n c e p t i o n - R e sN e t   a n d   t h e   i m p a c t   o f   R e si d u a l   c o n n e c t i o n s   o n   l e a r n i n g , ”   Pro c e e d i n g s  o f   t h e   AAAI  C o n f e r e n c e   o n   Ar t i f i c i a l   I n t e l l i g e n c e ,   v o l .   3 1 ,   n o .   1 ,   F e b .   2 0 1 7 ,   d o i :   1 0 . 1 6 0 9 / a a a i . v 3 1 i 1 . 1 1 2 3 1 .   [ 1 8 ]   Y .   Le c u n ,   L.   B o t t o u ,   Y .   B e n g i o ,   a n d   P .   H a f f n e r ,   “ G r a d i e n t - b a s e d   l e a r n i n g   a p p l i e d   t o   d o c u m e n t   r e c o g n i t i o n , ”   Pr o c e e d i n g s   o f   t h e   I EEE ,   v o l .   8 6 ,   n o .   1 1 ,   p p .   2 2 7 8 – 2 3 2 4 ,   1 9 9 8 ,   d o i :   1 0 . 1 1 0 9 / 5 . 7 2 6 7 9 1 .   [ 1 9 ]   P .   K a l e ,   M .   P a n c h p o r ,   S .   D i n g o r e ,   S .   G a i k w a d ,   a n d   L .   B e w o o r ,   “ Tr a f f i c   si g n   c l a ssi f i c a t i o n   u si n g   c o n v o l u t i o n a l   n e u r a l   n e t w o r k , ”   I n t e r n a t i o n a l   J o u rn a l   o f   S c i e n t i f i c   R e se a rc h   i n   C o m p u t e r   S c i e n c e ,   En g i n e e ri n g   a n d   I n f o rm a t i o n   T e c h n o l o g y ,   p p .   1 – 1 0 ,   N o v .   2 0 2 1 ,   d o i :   1 0 . 3 2 6 2 8 / C S EI T2 1 7 5 4 5 .   [ 2 0 ]   T.   I q b a l   a n d   S .   Q u r e s h i ,   “ T h e   s u r v e y :   t e x t   g e n e r a t i o n   m o d e l s   i n   d e e p   l e a r n i n g , ”   J o u r n a l   o f   K i n g   S a u d   U n i v e rs i t y   -   C o m p u t e r  a n d   I n f o rm a t i o n   S c i e n c e s ,   v o l .   3 4 ,   n o .   6 ,   p p .   2 5 1 5 – 2 5 2 8 ,   J u n .   2 0 2 2 ,   d o i :   1 0 . 1 0 1 6 / j . j k s u c i . 2 0 2 0 . 0 4 . 0 0 1 .   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 8 - 8 7 0 8   I n t J E lec  &   C o m p   E n g ,   Vo l.   1 4 ,   No .   3 ,  J u n e   2 0 2 4 :   3 4 3 4 - 3 4 4 2   3442   [ 2 1 ]   A .   A mi n - N e j a d ,   J.  I v e ,   a n d   S .   V e l u p i l l a i ,   “ Ex p l o r i n g   t r a n sf o r m e r   t e x t   g e n e r a t i o n   f o r   me d i c a l   d a t a s e t   a u g me n t a t i o n , ”   Pr o c e e d i n g s  o f   t h e   T w e l f t h   L a n g u a g e   Re s o u r c e s   a n d   Ev a l u a t i o n   C o n f e r e n c e ,   p p .   4 6 9 9 – 4 7 0 8 ,   2 0 2 0 .   [ 2 2 ]   O .   A b d e l w a h a b   a n d   A .   El m a g h r a b y ,   “ D e e p   l e a r n i n g   b a se d   v s  M a r k o v   C h a i n   b a se d   t e x t   g e n e r a t i o n   f o r   c r o ss  d o m a i n   a d a p t a t i o n   f o r   sen t i m e n t   c l a ss i f i c a t i o n , ”   i n   2 0 1 8   I EE E  I n t e rn a t i o n a l   C o n f e r e n c e   o n   I n f o rm a t i o n   R e u s e   a n d   I n t e g r a t i o n   ( I RI ) ,   J u l .   2 0 1 8 ,   p p .   2 5 2 – 2 5 5 ,   d o i :   1 0 . 1 1 0 9 / I R I . 2 0 1 8 . 0 0 0 4 6 .   [ 2 3 ]   D .   M a r c h e g g i a n i   a n d   L.   P e r e z - B e l t r a c h i n i ,   “ D e e p   g r a p h   c o n v o l u t i o n a l   e n c o d e r s  f o r   s t r u c t u r e d   d a t a   t o   t e x t   g e n e r a t i o n , ”   a r Xi v   p re p ri n t   a rXi v : 1 8 1 0 . 0 9 9 9 5 ,   2 0 1 8 .   [ 2 4 ]   E.   J.   H u   e t   a l . , “ Lo R A :   l o w - r a n k   a d a p t a t i o n   o f   l a r g e   l a n g u a g e   m o d e l s , ”   a r Xi v   p r e p ri n t   a r Xi v : 2 1 0 6 . 0 9 6 8 5 ,   2 0 2 1 .   [ 2 5 ]   Y .   C h a i ,   J .   G k o u n t o u r a s,  G .   G .   K o ,   D .   B r o o k s,   a n d   G .   Y .   W e i ,   “ I n t 2 .   1 :   t o w a r d s  f i n e - t u n a b l e   q u a n t i z e d   l a r g e   l a n g u a g e   mo d e l s   w i t h   e r r o r   c o r r e c t i o n   t h r o u g h   l o w - r a n k   a d a p t a t i o n , ”   a rX i v   p r e p r i n t   a rX i v : 2 3 0 6 . 0 8 1 6 2 ,  2 0 2 3 .   [ 2 6 ]   S .   P o r w a l ,   L.   B e w o o r ,   a n d   V .   D e s h p a n d e ,   “ Tr a n sf o r m e r   b a s e d   i m p l e men t a t i o n   f o r   a u t o ma t i c   b o o k   su m mariz a t i o n , ”   a rX i v   p re p ri n t   a rXi v : 2 3 0 1 . 0 7 0 5 7 ,   2 0 2 3 .       B I O G RAP H I E S O F   AUTH O RS        Abh a y   G o t m a r e           is  a   fin a l   y e a r  st u d e n t  a t   th e   De p a rtme n t  o f   In f o rm a ti o n   Tec h n o l o g y ,   Vis h wa k a rm a   In stit u te  o f   In f o rm a ti o n   Tec h n o l o g y ,   P u n e .   His  re se a rc h   in tere sts   li e   in   th e   field s  o f  Na tu ra l  Lan g u a g e   P r o c e ss in g   a n d   Cy b e r  S e c u rit y .   A b h a y   is  c u rre n tl y   e n g a g e d   i n   d e v e l o p i n g   i n n o v a ti v e   so lu ti o n s  i n   th e se   a re a s.  He   c a n   b e   c o n tac ted   a t   e m a il :   a b h a y . 2 2 0 1 0 4 8 1 @ v ii t. a c . i n   fo r   fu rth e r  d isc u ss i o n   o r  c o l lab o ra ti o n   o n   h is r e se a rc h   in tere sts.         G a n d h a r v a   T h ite           is  a n   u n d e rg ra d u a te  st u d e n t  a t  Vish wa k a rm a   In stit u te  o f  In fo rm a ti o n   Tec h n o lo g y .   His  r e se a rc h   a n d   a c a d e m ic  in tere sts   m a in ly   i n c lu d e   m a c h in e   lea rn in g ,   n a t u ra l  la n g u a g e   p r o c e ss in g   a n d   m a th e m a ti c s.  H e   c a n   b e   c o n tac ted   a t   e m a il :   g a n d h a rv a . 2 2 0 1 0 5 7 7 @v ii t . a c . in .           La x m i  Be wo o r           h o ld s  P h D  in   a rti ficia l  in telli g e n c e   a s  m a jo r  a n d   o p t imiz a ti o n   a s   m in o r.   C u rre n tl y   sh e   is  a n   a ss o c iate   p ro fe ss o r  a t  De p a rtme n t   o f  Co m p u ter  E n g in e e rin g ,   Vish wa k a rm a   In stit u te   o f  In fo r m a ti o n   Tec h n o lo g y ,   P u n e .   He r  re se a rc h   in tere sts  in c lu d e   n a tu ra l  lan g u a g e   p r o c e ss in g ,   m e t a h e u risti c s  tec h n i q u e s,  d e e p   lea r n in g ,   a rti ficia l   in tell ig e n c e ,   a lg o rit h m s.   S h e   h a s  s u c c e ss fu ll y   c o m p lete d   o n e   f u n d e d   re se a r c h   p r o jec ts.   5   I n tern a ti o n a l   P a ten ts  a re   g ra n ted   in   h e r  n a m e .   S h e   h a s  p u b li s h e d   m o re   th a n   3 5   r e se a rc h   a rti c les   in   re p u tab le   jo u r n a ls an d   c o n fe re n c e s .   S h e   is  a   re v iew e r   o f  lea d in g   jo u rn a ls   o f  S p rin g e r,   El se v ier an d   IEE E .   S h e   c a n   b e   c o n tac ted   a t  e m a il :  la x m i. b e wo o r@ v ii t. a c . i n .       Evaluation Warning : The document was created with Spire.PDF for Python.