I AE S In t er na t io na l J o urna l o f   Art if icia l In t ellig ence   ( I J - AI )   Vo l.   15 ,   No .   4 ,  A u g u s t 2 0 2 6 ,   p p .   3 6 7 2 ~ 3 6 8 2   I SS N:  2 2 5 2 - 8 9 3 8 ,   DOI : 1 0 . 1 1 5 9 1 /ijai.v 15 .i 4 . p p 3 6 7 2 - 3 6 8 2           3672     J o ur na l ho m ep a g e :  h ttp : //ij a i . ia esco r e. co m   India n  sig n lang ua g e video  genera tion usin g  atten tion - enha nced   g enerativ e adv ersa ria l net wo rk       P ra chi P ra m o d Wa g hm a re ,   Ash wi ni M a ng es h De s hp a nd e   D e p a r t me n t   o f   El e c t r o n i c s a n d   T e l e c o mm u n i c a t i o n ,   M a h a r s h i   K a r v e   S t r e e   S h i k sh a n   S a ms t h a ’ s  C u m mi n s  C o l l e g e   o f   En g i n e e r i n g   f o r   W o me n   a f f i l i a t e d   t o   S a v i t r i b a i   P h u l e   P u n e   U n i v e r si t y ,   P u n e ,   I n d i a       Art icle  I nfo     AB S T RAC T   A r ticle  his to r y:   R ec eiv ed   Ap r   2 ,   2 0 2 5   R ev is ed   Ma y   2 0 ,   2 0 2 6   Acc ep ted   J u l 9 ,   2 0 2 6       S ig n   lan g u a g e   (S L)  is  t h e   p rim a ry   m o d e   o f  c o m m u n ica ti o n   f o r   th e   D e a f  sig n e rs.  De sp it e   a d v a n c e m e n ts  in   d e e p   lea rn in g ,   S L  re c o g n i ti o n ,   tr a n sla ti o n ,   a n d   v id e o   g e n e ra ti o n   fa c e   c h a ll e n g e s  li k e   b lu rri n e ss   a n d   in c o n siste n c ies .   Th is  re se a rc h   p ro p o se s   a   n o v e l  si g n   lan g u a g e   tran sla ti o n   (S L T)  a p p ro a c h   f o r  In d ian   sig n   lan g u a g e   (IS L)   u sin g   a n   a tt e n ti o n - d ri v e n   g e n e ra ti v e   a d v e rsa rial  n e two rk   (G AN ).   Th e   p re p r o c e ss in g   p i p e li n e   in c l u d e s v id e o   fra m e   e x trac ti o n ,   sk e leta l  jo in t  c o o rd in a te  d e tec ti o n   v ia  Op e n P o se ,   a n d   d y n a m ic  ti m e   wa rp in g   (DTW )  fo r   p o se   d a ta   re fin e m e n t.   Th e   s q u e e z e   a n d   e x c it a ti o n   (S E)   a tt e n ti o n   m e c h a n ism   e n h a n c e s  2 D  c o n v o lu ti o n a l  lay e rs,  a ll o win g   t h e   g e n e ra to r  to   fo c u s  o n   re lev a n t  s k e leta l  p o se   se q u e n c e s.  A  m o ti o n   d isc rimin a to r  re fin e s   m o ti o n   a u th e n t icity .   P e rf o rm a n c e   e v a lu a ti o n   u si n g   tw o   SL   d a tas e ts  d e m o n stra tes   sig n ifi c a n t   imp r o v e m e n ts  in   str u c tu ra l   sim il a rit y   in d e x   m e a su re   ( S S IM ) ,  p e a k   sig n a l - to - n o ise   ra ti o   ( P S NR ) ,   a n d   tem p o ra l   c o n siste n c y   m e tri c   ( TCM )   sc o re s,   a c h iev in g   9 9 . 6 0   (% )  a s S S I M ,   3 1 . 1 0   d B  a s  P S NR,  a n d   0 . 9 1 1 1   a s T CM .   Th e   p ro p o se d   m o d e l  o u tp e rfo rm s sta n d a rd   G AN   a n d   d y n a m ic  G AN   in   S L  v id e o   g e n e ra ti o n .   K ey w o r d s :   Dee p   lear n in g   Gen er ativ e  ad v e r s ar ial  n etwo r k   I n d ian   s ig n   la n g u a g e   Sig n   lan g u a g e  tr an s latio n   Sq u ee ze   an d   e x citatio n   atten tio n   m ec h an is m     Vid eo   g en er atio n   T h is i s  a n   o p e n   a c c e ss   a rticle   u n d e r th e   CC B Y - SA   li c e n se .     C o r r e s p o nd ing   A uth o r :   Pra ch i Pr am o d   W ag h m a r e   Dep ar tm en t o f   E lectr o n ics an d   T elec o m m u n icatio n   Ma h ar s h i K ar v e  Stre e  Sh ik s h a n   Sam s th a’ s   C u m m in s   C o lleg e  o f   E n g in ee r in g   f o r   W o m en     af f iliated   to   Sav itrib ai  Ph u le  P u n e  Un iv er s ity   Kar v en ag ar ,   Pu n e  –   4 1 1 0 5 2 ,   I n d ia   E m ail: p r ac h i.w ag h m ar e@ cu m m in s co lleg e. in       1.   I NT RO D UCT I O N   C o m m u n icatio n   is   f u n d am en tal  to   h u m an   in ter ac tio n ,   p r i m ar ily   f ac ilit ated   t h r o u g h   s p ee ch   an d   g estu r es.  Sig n   lan g u a g e  ( SL)   is   a  n atu r al  v is u al  lan g u ag e  th at  r elies  o n   h an d   m o v em en ts ,   f ac ial  ex p r ess io n s ,   an d   b o d y   lan g u ag e   to   co n v ey   m ea n in g .   I t  is   th e   p r i m ar y   m o d e  o f   c o m m u n icatio n   f o r   th e   Dea f   c o m m u n ity ,   th o u g h   s o m e  h ea r in g   i n d iv id u als,  in clu d in g   in ter p r ete r s   an d   f am ily   m em b er s ,   also   u s e  it.  E ac h   co u n tr y   h as  its   o wn   SL,   s u ch   as  I n d ian   s ig n   lan g u ag e   ( I SL) ,   wh ich   h as  a  d is tin ct  g r am m ar   an d   s tr u c tu r e.   Ad d itio n ally ,   r eg io n al  SL s   lik e  Ma r ath i  SL   ex is t w ith in   I n d ia,   ea ch   ad ap te d   to   lo ca l lin g u is tic  an d   cu ltu r al  co n tex ts .   T r ad itio n al  s ig n   lan g u ag e   p r o ce s s in g   ( SLP)   tech n iq u es  s tr u g g le  to   g en e r ate  n at u r al,   c o h er en t  s ig n   s eq u en ce s .   Ma n y   d ee p   lear n in g - b ased   ap p r o ac h es  f o cu s   p r im ar ily   o n   m an u al  g estu r e s   wh ile  n eg lectin g     non - m a n u al  f ea t u r es  s u ch   as  f ac ial  ex p r ess io n s   an d   b o d y   p o s tu r e,   lead in g   to   u n n atu r al - lo o k in g   s ig n   av atar s .   R ec en t  ad v an ce m en ts   in   SL P  h av e  lev er ag e d   d ee p   lear n in g   tech n iq u es  f o r   r ec o g n itio n ,   g en er atio n ,   an d   tr an s latio n .   Dh an jal   an d   Sin g h   [ 1 ]   d e v elo p e d   an   au to m atic  s y s tem   to   co n v er t   Pu n jab i   tex t  in to   I SL   u s in g   n atu r al  lan g u a g e  p r o ce s s in g   ( NL P)  to   g en er ate  I SL  g lo s s es  an d   co r r esp o n d in g   s ig n   r ep r esen tatio n s .   T o   en h an ce   c o n tin u o u s   SL   r ec o g n itio n ,   Pu   et  a l .  [ 2 ]   in t r o d u ce d   a   cr o s s - m o d ality   au g m en tatio n   f r a m ewo r k   in teg r atin g   m u ltim o d al  lear n i n g   f o r   i m p r o v ed   ac cu r ac y .   Si m ilar ly ,   Hu   et  a l .  [ 3 ]   p r o p o s ed   th e  g lo b al - l o ca l  Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J Ar tif   I n tell     I SS N:   2252 - 8 9 3 8       I n d ia n   s ig n   la n g u a g e  vid eo   g e n era tio n   u s in g   a tten tio n - e n h a n ce d   g e n era tive  …   ( P r a ch i P r a mo d   Wa g h ma r e)   3673   en h an ce m e n t  n etwo r k   ( GL E N ) ,   wh ich   em p lo y s   non - n eg ativ e  m atr ix   f ac to r izatio n   ( NM F) - awa r e  lear n in g   to   ex tr ac t  r o b u s t  f ea tu r es,  en h a n cin g   r ec o g n itio n   p er f o r m a n ce .   Ad d r ess in g   co n tin u o u s   3 D  SL   p r o d u ctio n ,   Sau n d er s   et  a l .  [ 4 ]   d esig n ed   a   p r o g r ess iv e  tr an s f o r m e r - b ase d   m o d el  in co r p o r atin g   m ix tu r e  d en s ity   n etwo r k s   f o r   m o r e  n atu r al  s ig n   s y n th esi s .   B r ag g   et  a l .  [ 5 ]   p r o v id e d   a n   in ter d is cip lin ar y   p e r s p ec tiv e  o n   SL   r ec o g n itio n ,   g en e r a tio n ,   an d   tr an s latio n ,   h ig h lig h tin g   ch al len g es,  d atasets ,   an d   f u t u r e  r esear ch   d ir ec tio n s .   Sto ll  et   a l .  [ 6 ]   in t r o d u ce d   ‘ S i g n S y n t h ’ ,   a   d a ta - d r i v e n   a p p r o a c h   f o r   g e n e r a t i n g   SL   v i d e o s   u s i n g   d e e p   l e a r n i n g   f r o m   t e x t u a l   a n d   g l o s s   i n p u ts .   B e y o n d   SL ,   g e n e r a t i v e   m o d e l s   h a v e   b e e n   i n s t r u m e n t a l   i n   i m a g e   a n d   v i d e o   s y n t h e s is .   X u   e t   a l .  [ 7 ]   p r o p o s e d   ad v er s ar ially   ap p r o x im ated   a u to en co d er   f o r   r ea lis tic  im ag e  m an ip u latio n ,   wh ile  C h en   an d   Gu o   [ 8 ]   r e v iewe d   au to en co d er s   in   d ee p   lear n in g   an d   th eir   a p p licatio n s   in   r e p r e s en tatio n   lear n in g   a n d   g en er at iv e  m o d elin g .   T ex t - to - im ag e   an d   v id e o   tr a n s f o r m atio n   tech n iq u es  h a v e  also   in f lu e n ce d   SL   r esear ch .   J u n g   et  a l .  [ 9 ]   d ev elo p e d   a  lan g u ag e - a g n o s ti c  m o d el  en s u r in g   s em an tic  co n s is ten cy   in   g en er ated   im ag es.  W u   et  a l .  [ 1 0 ]   in tr o d u ce d   a  s ec u r e  g e n er ativ e  ad v e r s ar ial  n etwo r k   ( Sec GAN ) ,   a  cy cle - co n s is ten t  g en er ativ e  ad v er s ar ial   n etwo r k   ( GAN)   f o r   s ec u r ely   r ec o v e r ab le  v id eo   m o d if ica tio n .   Me n   et  a l .  [ 1 1 ]   p r o p o s ed   a  GAN - b ased     m o d el  f o r   c o n tr o llab le  p e r s o n   im ag e  s y n th esis ,   wh ile  Ng u y en   et  a l .  [ 1 2 ]   ap p lied   GAN - b ased   f u tu r e  f r a m e  p r ed ictio n   f o r   an o m aly   d etec t io n   in   s u r v eillan ce   v id eo s .   K wo n   an d   Par k   [ 1 3 ]   r e f in ed   t h is   ap p r o ac h   u s in g   r etr o s p ec tiv e  c y cle  GANs  f o r   im p r o v e d   tem p o r al  c o n s is ten cy ,   an d   W an g   et  a l .  [ 1 4 ]   in tr o d u ce d   ‘ I m ag in at o r ’ ,   a  s p atio - tem p o r al  GAN  f o r   r ea lis tic  v id eo   g e n er atio n .   T h ese  ad v an ce m e n ts   co llectiv el y   d em o n s tr ate  th e   im p ac t  o f   d ee p   lear n in g   in   SL P   an d   v id eo   s y n th esis .   T h e  ab ilit y   o f   GANs  to   cr ea te  h ig h - q u ality   s y n th etic  im ag es a n d   v id e o s   m ak es th e m   a  p r o m is in g   s o lu tio n   f o r   SL   v id eo   g en er atio n .   T h is   r esear ch   p r o p o s es  an   atten tio n   d r iv en   GAN - b a s ed   m o d el   to   g en er ate   h i g h - q u ality ,     p h o to - r ea lis tic  SL   v id eo s   f r o m   s k eleta l  p o s itio n s .   B y   in co r p o r atin g   lin g u is tic  co n tex t   an d   ex p r ess iv e  f ea tu r es,   th e  p r o p o s ed   m o d el  aim s   to   o v er co m e  th e  lim itatio n s   o f   tr ad itio n al  GANs.  T h e  ap p r o ac h   en s u r es  th e  g en er atio n   o f   n atu r al  an d   co n tex t - awa r e  s ig n   s eq u en ce s ,   en h an cin g   ac ce s s ib ilit y   an d   co m m u n icatio n   f o r   th e  I SL  s ig n er s   an d   n o n - s ig n in g   in d iv id u als.  T h e   ad v a n ce m e n ts   in   th e  GAN - b ased   SL  v i d eo   g e n er atio n   ca n   s ig n if ican tly   im p r o v e  r ea l - tim e  s ig n   lan g u a g e  tr an s latio n   ( S L T )   s y s tem s .       2.   L I T E R AT U RE   SU RVE Y   R ec en t  ad v an ce m en ts   in   SL   p r o d u ctio n   an d   v id eo   s y n t h esis   h av e  lev er ag ed   n e u r al  n et wo r k s   an d   GANs  to   im p r o v e  r ea lis m   an d   ac cu r ac y .   Dh an jal  an d   Sin g h   [ 1 5 ]   p r o p o s ed   a   p r o ject  th a t   aim s   to   cr ea te  an   au to m atic  s y s tem   ca lled   ‘ SIS L A’   th at  ca n   co n v er t  s p ee ch   to   I SL   au to m atica lly .   T h r ee   s tep s   co m p r is e  th e  s y s tem ' s   o p er atio n :  tr an s latio n   o f   th e   s o u r ce   lan g u a g e  in to   I SL ;   v o ice  r ec o g n itio n   ( s p ee ch   r ec o g n itio n   ( SR ) )  f o r   is o lated   wo r d s   in   E n g lis h ,   Hin d i,  an d   Pu n jab i ;   an d   a  Ham No Sy s - b ased   3 D  av atar   d ep ictin g   I SL  m o tio n s .   T h e  s y s tem 's f o u r   m ain   im p lem en tatio n   m o d u les co m p r is e  th e  r eq u ir em e n t a n aly s is ,   d ata  co llectio n ,   tech n ical   d ev elo p m e n t,  an d   ass ess m en t  m o d u les.  T h e  s y s tem   is   m o r e  ef f ec tiv e  b ec au s e  it  s u p p o r ts   m u ltip le  lan g u ag es.   Sp ee ch   s am p le  f iles   f o r   E n g lis h ,   Hin d i,  an d   Pu n jab i  wer e  tr a in ed   an d   test ed .   Acc o r d in g   t o   em p ir ical  f in d in g s ,   th e  p r o p o s ed   m o d els  h av e  m in im u m   ac cu r ac y   lev els  f o r   E n g lis h ,   Pu n jab i,  an d   Hin d i  o f   9 1 %,  8 9 %,  an d   8 9 %,   r esp ec tiv ely .   Usab ilit y   test s   v er if ied   th e  s y s tem ' s   u s ef u ln ess   in   h elp in g   h ea r in g - im p air ed   p e o p le  co m m u n icate   an d   lear n .     Ho wev er ,   th is   s y s tem   lack s   t h e  in co r p o r atio n   o f   n o n - m an u al  SL   ch ar ac te r is tics   an d   s en t en ce - lev el  tr an s latio n .   Sto ll  et  a l .  [ 1 6 ]   in tr o d u ce d   T ex t2 Sig n ,   a  n eu r al   m ac h in e  tr an s latio n   an d   GAN - b ased   f r a m ewo r k   f o r   SL   p r o d u ctio n ,   b r id g in g   t h e  g a p   b etwe en   tex t u al  in p u t   an d   s ig n   v id eo s .   Me h ta  et   a l .  [ 1 7 ]   f o cu s ed   o n   au to m ated   3 D  SL  ca p ti o n   g en er atio n ,   en h a n cin g   ac c ess ib ilit y   f o r   th e  h ea r in g - i m p air ed .   Similar ly ,     Nata r ajan   an d   R ajasek ar   [ 1 8 ]   p r o p o s ed   a  d y n am ic   GAN  m o d el  f o r   g en er atin g   h i g h - q u ali ty   SL  v id e o s   f r o m   s k eleta l  p o s es,  im p r o v in g   m o t io n   r ea lis m .   Z elin k a  an d   Ka n is   [ 1 9 ]   ex p l o r ed   n e u r al  SL  s y n t h esis ,   em p h asizin g   g lo s s - b ased   r ep r esen tatio n   lea r n in g   f o r   s ig n   v id eo   g en e r atio n .   I n   th e   b r o ad er   d o m ai n   o f   v i d eo   g e n er atio n ,   th e   m o tio n   a n d   co n ten t   d ec o m p o s ed   g en e r ativ e  a d v er s ar ial  n etwo r k   ( Mo C o GAN )   b y   T u ly ak o v   et  a l.   [ 2 0 ]   in tr o d u ce d   a  m o tio n - c o n ten t  d ec o m p o s itio n   f r am ewo r k ,   ef f ec tiv ely   s ep ar atin g   m o tio n   an d   co n ten t  in   v i d eo   s y n th esis .   Aig n er   an d   Kö r n er   [ 2 1 ]   d e v elo p ed   Fu tu r eGA N,   lev er ag in g   s p atio - tem p o r al  3 D  co n v o lu tio n s   to   p r ed ict  f u t u r e  f r a m es  in   v id eo   s eq u en ce s .   Siar o h in   et  a l.   [ 2 2 ]   ad v a n ce d   p o s e - b ased   h u m a n   im ag e  g e n er atio n   th r o u g h   d ef o r m ab le  GANs,  a ch iev in g   n at u r al  m o tio n   s y n t h esis .   I n f o GAN  b y   C h en   et  a l.   [ 2 3 ]   en h a n ce d   in ter p r etab ilit y   in   r ep r esen tati o n   lear n in g   b y   m ax im izin g   m u tu al  in f o r m atio n ,   b en e f itin g   s tr u ctu r ed   v id eo   g en er atio n .   Z h a n g   et  a l .  [ 2 4 ]   p r o p o s ed   Stack GAN,   a  two - s tag e  ar ch itectu r e  t h at  g en e r ates  p h o to r ea lis tic   im ag es  f r o m   tex tu al  d escr ip ti o n s ,   in f lu e n cin g   tex t - to - s ig n   s y n th esis .   T h ese  s tu d ies  d em o n s tr ate  th e  p o ten tial   o f   d ee p   lear n in g   tech n iq u es  in   im p r o v in g   SL T ,   v id eo   s y n t h esis ,   an d   m o tio n   r ep r esen tat io n .   B y   c o m b in i n g   n eu r al  m ac h in e   tr an s latio n ,   p o s e  esti m atio n ,   an d   GAN - b as ed   m o d els,  r esear ch e r s   co n ti n u e  to   ad v an ce   SL  ac ce s s ib ilit y   an d   r ea lis tic  m o tio n   s y n th esis .     T h e  f o llo win g   ar e   th e   m aj o r   co n tr ib u tio n s   f o r   th is   f r am ew o r k .   First,  t h e  atte n tio n - en h an ce d   GAN  f r am ewo r k   f o r   I SL  v id e o   g en er atio n .   Seco n d ,   i n co r p o r atin g   s q u ee ze   an d   e x citatio n   ( SE)   atten tio n   b lo ck s   t o   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8 9 3 8   I n t J Ar tif   I n tell ,  Vo l.  15 ,   No .   4 ,  Au g u s t 2 0 2 6 :   3 6 7 2 - 3 6 8 2   3674   en h an ce   s ig n er   r e p r esen tatio n   an d   p o s e - awa r e  f ea tu r e  lear n in g   an d   f in e - t u n in g   o f   s ig n   p o s e  f ea tu r es.   T h ir d ,   SL  v id eo   g en er ated   with   en h an ce d   o u tp u t   q u ality   b ased   o n   SE - GAN  f r am ewo r k .   T h e  c r ea ted /g en er ated   SL   v id eo s '   v is u al  r ea li s m ,   m o tio n   co n tin u ity ,   a n d   tem p o r al  co n s is ten cy   clo s ely   m atch es  w ith   co m p u tatio n all y   d em an d in g   tr an s f o r m er /d if f u s io n   m o d els f o r   r e al - tim e  I SL  p r o d u ctio n   with   lig h tweig h t G A N  f r am ewo r k s .       3.   M E T H O D   SL  is   ess en tial  f o r   co m m u n ic atio n   am o n g   Dea f   s ig n er s ,   y e t  its   in ter p r etatio n   r em ain s   ch allen g in g .   SLT   f ac es  d if f icu lties   d u e   t o   alig n m e n t  lear n in g ,   n o n - m an u al  f ea tu r es,  an d   a  lack   o f   ex p e r tis e  in   I SL.   T r ad itio n al  GANs  s tr u g g le  w ith   u n d er s tan d in g   lin g u is tic  co n tex t,  lea d in g   to   in ef f ec tiv e   v id eo   g e n er atio n .   T h is   wo r k   aim s   to   g en er ate  r ea lis tic  I SL  v id eo s   b y   in co r p o r atin g   b o th   m an u al  an d   n o n - m an u al  ex p r ess io n s .   T h e  p r ep r o ce s s in g   p h ase   in v o l v es  ex tr ac tin g   s k eleta l  jo in t   co o r d in ates  u s in g   Op e n Po s e  an d   r ef in in g   p o s e  d ata   v ia  d y n am ic  tim e  war p i n g   ( D T W ) .   T h ese  s k eleta l f ea tu r es s er v e  as in p u t f o r   an   atten tio n - d r iv en   GAN.   Un lik e   tr ad itio n al  GANs,  th is   m o d el  in teg r ates  an   SE  atten tio n   m ec h an is m   f o r   2 D  co n v o lu tio n al  lay er s ,   en h an cin g   v id eo   r ea lis m .   T h e  s y s tem   e m p lo y s   a  m o tio n   d is cr im in at o r   to   d if f er en tiate  b etwe en   r e al  an d   f ak e  m o tio n   s am p les,  wh ile  a  m o tio n   g en e r ato r   cr ea tes  life lik e  m o v em e n ts .   T h e  atten tio n   m ec h an is m   g u id es  th e  n etwo r k ,   en s u r in g   ac cu r ate  s ig n   r ep r ese n tatio n   an d   im p r o v e d   SL  v id e o   tr an s latio n ,   as  s h o wn   in   Fig u r e  1 .   T h is   s ec tio n   d escr ib e  th e  s tep s   o f   th e  a p p r o ac h   f o llo wed   t o   co n v er t I SL  v id eo s   in to   f r a m es.           Fig u r e  1 .   Pro p o s ed   s y s tem   f o r   I SL  v id eo   g en er atio n       3 . 1 .     Video   t o   f ra m e  c o nv er s io n    R GB   f r am es  ar e  cr ea ted   f r o m   ea ch   I SL  in p u t  v id eo .   T h e  v id eo s   wer e  o r ig in ally   r ec o r d ed   at     2 5   f r am es  p e r   s ec o n d ,   s o   ea ch   v id eo   y ield s   a   d if f er en t   n u m b er   o f   f r a m es  d ep e n d in g   o n   its   d u r atio n .   Af ter   th e   ca p tu r ed   v i d eo   h as  b ee n   c o n v er ted   in to   a  s eq u en ce   o f   f r am es,  an   im ag e  p r ep ar atio n   s tep   ( cr o p p i n g ,   s ca lin g ,   an d   n o r m alizin g )   to   r em o v e  n o is e   d u r in g   d ata   co llectio n   o n ce   th e  ca p t u r ed   v id e o   h as  b ee n   co n v er ted   in to   a   s er ies o f   f r am ed   p ictu r es f o r   v id eo   p r o ce s s in g .     3 . 1 . 1 .   F ra m e  t o   s k elet a l p o s e   A  p o p u lar   co m p u ter   v is io n   li b r ar y   ca lled   Op en Po s e  o f f er s   s k eleta l  p o s e  esti m at io n   f r o m   im ag es  o r   v id eo s   as  well  a s   r ea l - tim e  m u lti - p er s o n   k ey p o in t  r ec o g n iti o n .   T h e  m o d el  ca n   esti m ate  t h e  2 D  p o s itio n s   o f   im p o r tan t  b o d y   jo in ts ,   o f te n   ca lled   k ey   p o in ts ,   lik e  th e  h ea d ,   s h o u ld e r s ,   elb o ws,  wr is ts ,   h ip s ,   k n ee s ,   an d   an k les.  Fu r th er m o r e ,   wh en   g i v en   a  d ep th   m ap ,   Op e n Po s e  ca n   g en er ate  3 D  p o s e  p r ed ict io n s .   C o n v o lu tio n al   n eu r al  n etwo r k s   ( C NNs)  ar e  u s ed   in   co m b in atio n   with   a   d ee p   lear n in g   tech n i q u es - b ased   m o d el  to   s im u ltan eo u s ly   d etec t  b o d y   p ar ts   an d   in f e r   th eir   s p atial  co r r elatio n s .   Op en Po s e  is   f le x ib le  an d   h as  b ee n   im p lem en ted   i n   d if f er en t   s ec to r s ,   in clu d i n g   h u m a n - co m p u ter   in ter ac tio n ,   a u g m en te d   r ea lity ,   an d   h u m an   b eh av io r   an al y s is .   I ts   av ailab il ity   an d   o p en - s o u r ce   s tatu s   h a v e  aid ed   in   its   b r o a d   ac ce p tan ce   an d   in co r p o r atio n   in to   a  m u ltit u d e  o f   k e y p o i n t d etec tio n   an d   s k eleta l p o s e  esti m atio n   ap p licatio n s .   I n   t h i s   w o r k ,   O p en P o s e   i s   u s e d   t o   ex t r ac t   s k e l e t a l   j o in t   c o o r d in a t e s   f r o m   s i g n   v id e o s .   T h e    l o w e r - b o d y   jo i n t s   ar e   n o t   t a k e n   i n to   c o n s i d er a t i o n   a s   t h ey   p l a y   n o   r o l e   in   SL ,   a n d   u s e   1 0   j o i n t s   d e s c r ib i n g   t h e   u p p er   b o d y   ( h e ad ,   n e c k ,   s h o u ld e r s ,   e l b o w s ,   w r i s t s ,   an d   h ip s ) .   E ac h   jo i n t   i s   d e f in ed   a s   a   p ix e l   i n   th e   i m a g e   w i th   c o o r d i n a t e s   x   an d   y .   T o   u t i l i ze   m u l t ip l e   d at a s e t s   f r o m   d i f f e r e n t   d o m a i n s ,   w e   p e r f o r m   th e  f o l l o w in g   n o r m a l i z a t io n .   E v er y   s k eleto n   is   p o s itio n ed   at   th e  n ec k   j o in t in   r elatio n   to   a  s elec ted   r ef er en ce   s k eleto n   as in   ( 1 ) .     S k e l e tal  S e q u e n c e   G e n e r ati on  u s i n g  O p e n p os e F ak e I n p u t V i d e os Te mp or al   A l i gn me n t u s i n g  D TW F r ame s P r e - p r oc e s s i n g G e n e r ator   S E A tte n ti on   M e c h an i s m R e al D i s c r i mi n ator O u tp u t S i gn  V i d e o Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J Ar tif   I n tell     I SS N:   2252 - 8 9 3 8       I n d ia n   s ig n   la n g u a g e  vid eo   g e n era tio n   u s in g   a tten tio n - e n h a n ce d   g e n era tive  …   ( P r a ch i P r a mo d   Wa g h ma r e)   3675     =   ( , ) + ( ( , ) −  ( , ) )   ( 1 )     W h er e  th e  r ef er en ce   an d   i n p u t  s k eleto n s '   n ec k   j o in ts   ar e   d en o ted   b y     an d    ,   r esp ec tiv ely .   Af ter   alig n m en t,      is   th e  tr an s lated   i n p u t  s k eleto n .   Nex t,  th e  s h o u ld er - to - s h o u ld er   d is tan ce s   o f   t h e  in p u t  an d   r ef er en ce   s k eleto n s   ar e  u s ed   to   co m p u te  a   s ca lin g   f ac to r     as in   ( 2 ) .     = (  ( , ) −  ( , ) ) (   ( , ) −   ( , ) )   ( 2 )     W h er e      an d       r ep r esen t   th e   le f t  an d   r ig h t  s h o u l d er   j o in ts   o f   th e   in p u t  s k eleto n ,   r esp ec tiv ely ,   an d      an d      r ep r esen t   th e  r ef er en ce   s k eleto n s .   Usi n g   th e   tr an s lated   s k eleto n ,     ,   th at  was  p r ev io u s l y   ac q u ir ed   a n d   th e  s ca lin g   f ac to r ,   ,   f in ally   co m p u te  th e   n o r m alize d   s k eleto n ,        as in   ( 3 ) .        = ( , ) + (   ( , ) − ( , ) ) ∗   ( 3 )     Fu r th er ,   th e  f r a m e  an n o tatio n s   ar e  u s ed   to   ca teg o r ize   all  s k eleta l  s eq u en ce s   b y   f r am es  to   cr ea te  th e  f r am e  to   p o s e  s eq u en ce .   Nex t,   u s e  DT W   is   u s ed   to   alig n   e v er y   s k el etal  s eq u en ce   f o r   ev er y   f r am e ,   an d   th en   co m b in e   th em   in to   a  s in g le  r ep r esen tati v e  m ea n   s k eleto n   s eq u en ce   as  in   ( 4 ) .       = 1 ∑ (    , = 1    0 )   ( 4 )     W h er e    is   th e  n u m b er   o f   f r am e  s am p le  s eq u en ce s ,   an d       is   f r a m e' s   r ep r esen tativ e  m ea n   s eq u en ce .     3 . 2 .     Dy na m ic  t i m e  wra pp ing   Dif f er en tiatin g   th e  lo ca l  tem p o r al  s eq u en ce s   o f   d if f er en t  ac tio n   ca teg o r ies  is   a  ch allen g in g   p r o ce s s   d u e  to   s ev er al  f ac to r s ,   s u ch   as  f r am e  r ate  f lu ctu atio n s   an d   te m p o r al  in d e p en d e n ce   in   ea ch   s u b lev el,   r eg ar d less   o f   wh eth er   s ev er al  lev els  o f   s h ap e - b ased   alig n m en t/m atch i n g   ( SHs )   ar e  u s ed .   T o   s o lv e  th ese  p r o b lem s ,   th e   d is tan ce   b etwe en   th e  v ar io u s   m u ltip le/m u ltid im en s io n al  DT W   ( MSH/ m u ltip le   s eq u en ce   alig n m en t )   lev els  f o r   ev er y   ac tio n   ca teg o r y   is   ca lc u lated   u s in g   DT W .   T h e  tim e   s er ies  a lig n m en t  alg o r ith m   i s   ca lled   DT W .   B y   r ep ea ted ly   war p in g   th e   tim e  a x is ,   it c alcu lates a   p ath   b etwe en   two   s eq u en ce s   u n til id ea l m atch   is   id en tifie d .   Ass u m e  th at  we  h av e  two   tim e  s er ies,  A  an d   B ,   with   r esp e ctiv e  len g th s   o f   n   a n d   m .   T h e   two   tim e   s er ies ar e  d ef in ed   as   ( 5 ) .     = 1 , 2 , … , , … ,      =   1   , 2   , … , , … ,   ( 5 )     U s i n g   D T W ,   n - by - m   m a t r i x   w a s   c r e a t e d ,   a n d   i t s   (   ℎ ,   ℎ )   e l e m e n t   h o l d s   d i s t a n c e   ( , ) = (   , ) = ‖ − ‖ 2   b etwe en   th e  two   p o in ts ,     an d   .   ev er y   m at r ix   elem en t   ( , )   r ep r esen ts   h o w  th e  two   p o in ts   ar e  ali g n ed .   A  co n tig u o u s   s et  o f   m atr ix   co m p o n en ts   th at  d ef in es  a  m ap p i n g   f r o m     to     is   ca lled   a  war p i n g   p ath   .   W ith      ( , ) ≤ < + − 1 ,   we  o b tain   =   1 ,   2 , . . . ,   , . . . ,     as  th e     ℎ   elem en t  o f   ,   d ef in ed   as  = ( , ) .   T h e  DT W   d is tan ce   is   ca lcu lated   as   ( 6 ) .      ( , ) = { √ ∑ = 1 }   ( 6 )     L ik ewise,   n o m in al  d is tan ce s   a m o n g   MSHs  o f   s u cc ess iv e  le v els  f o r   ev er y   lo ca l  jo in t  ar e  d eter m in ed   b y   DT W .   Nex t,   ea ch   l o ca l  j o in t  d is p lace m en t' s   d is tan ce   v ec to r   is   cr ea te d .   Fo r   ev er y   ac tio n   ca teg o r y ,   th e   tem p o r al  m o d el  o f   th e  s k eleto n   jo in ts   is   en co d ed   as  a  co n ca ten atio n   o f   th e  d is tan ce   v ec to r   =   [ 1 , . . . , ] .  A  s k eleto n   r ep r esen tatio n   f ea tu r e  v ec t o r   is   cr ea ted   b y   co m b in in g   th e   s k eleto n   jo in ts '   p o s tu r e  a n d   m o tio n   f ea tu r e  v ec to r s ,   wh ich   ar e  co m p u ted   f o r   ea ch   ac tio n   s eq u e n ce .   T h e  s k eleto n   r ep r esen tati o n   f ea tu r e  v ec to r   is   d ef in ed   as   ( 7 ) .     = +   ( 7 )     W h er e    an d     ar e  th e  weig h tin g   p ar am eter s .   I n f o r m atio n   r eg ar d in g   t h e  s p a tio tem p o r al  f u n ctio n   o v er   a n   ac tio n ' s   tim e  s eq u en ce   ca n   b e   f o u n d   i n   th e  s tatic  p o s e  an d   in   th e  tem p o r al  d y n am ics  o f   th e   h ar m o n ic s .   T h is   h ar m o n ic   in f o r m atio n   ca n   b e  v iewe d   as  a   co m p ac t  r ep r esen tatio n   o f   th e  s k eleta l  jo in ts   in   th e  b o d y .   As  a  r esu lt,  s u ch   h ar m o n ic  in f o r m atio n   en ab les  ac cu r ate  class if icatio n   o f   ac tiv ities .   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8 9 3 8   I n t J Ar tif   I n tell ,  Vo l.  15 ,   No .   4 ,  Au g u s t 2 0 2 6 :   3 6 7 2 - 3 6 8 2   3676   3 . 3 .     Sq ueez e  a nd   ex cit a t io n - g ener a t iv e  a dv er s a ria l net w o rk   f r a m ewo r k   GANs  ar e  ex ten s iv ely   u tili z ed   in   n u m er o u s   d o m ain s   f o r   g en e r atio n   task s .   T h e  co n v en tio n al   ar ch itectu r e  o f   GANs,  wh ich   co n s is ts   o f   a  g en er at o r   ( G )   a n d   a  d is cr im in ato r   ( D ) ,   h as  r ec eiv ed   ex ce p tio n al   co n s id er atio n   in   r ec en t  y ea r s .   T h e  atten tio n - d r i v en   GAN  is   in tr o d u ce d   in   o u r   wo r k   f o r   SL   v id eo   g en er atio n .   T h e  p r o p o s ed   ar ch itectu r e  s h o ws  s ig n if ican t  im p r o v em en t  i n   th e  g en er atio n   o f   SL  v id eo   q u ality   b y   u tili zin g   SE  atten tio n   m o d u le  an d   ca r ef u lly   em p h asizin g   s k eleta l   p o s es .   A  g r a p h ical  d e p ictio n   o f   th e  p r o p o s ed   f r am ewo r k ' s   g en er al  s tr u ctu r e  is   s h o wn   in   Fig u r e  1 .   I ts   th o r o u g h   d escr ip ti o n   is   g iv en   in   th i s   s ec tio n .     3 . 3 . 1 .   Sq ueez e  a nd   ex cit a t io n - g ener a t iv e  a dv er s a ria l net wo rk   a r chit ec t ure   SE - GAN  is   m ad e  u p   o f   two   k ey   co m p o n en ts :  a  g en er ato r   a n d   a  d is cr im in ato r .   T h e  d is cr im in ato r   is   u s ed   to   ch ar ac ter ize   th e   d if f e r en ce s   b etwe en   th e   cr ea ted   d etec tio n   im ag e   an d   th e   r ef e r e n ce   im ag e,   wh e r ea s   th e  g en er at o r   is   in ten d ed   to   p r o v id e   a  d etec tio n   im ag e   th at  is   as  ac cu r ate  as  th e  r ef er en ce   im ag e.   T h e   f r am ewo r k   m i n im izes  th e  d if f er en ce   b etwe en   th e  g en er ate d   d etec tio n   im ag e  an d   th e  r ef er en ce   im ag e  b y   u s e   o f   ad v e r s ar ial  tr ain in g   to   m in i m ize  f - d iv er g en ce .   T h e  g en er ato r   an d   d is cr im in ato r   ar e  co m p r is ed   o f   b o t h   en c o d er s   an d   d ec o d er s .   T h e  e n co d er   in   th e   g en er ato r   is   co n s tr u cte d   u s in g   a   r ec tifie d   lin ea r   u n it   ( R eL U )   ac tiv atio n   la y er ,   a   n o r m al izatio n   lay er ,   an d   a   co n v o l u tio n al  lay e r .   A   d ec o n v o lu tio n   la y er ,   a   n o r m aliza tio n   lay er ,   an d   a   R eL U   ac tiv atio n   lay er   m ak e  u p   th e   d ec o d er .   T h e   g en e r ato r   G  h as  a  U - s h ap ed   s tr u ctu r e  a n d   is   m ad e  u p   o f   n   en co d er s   an d   d ec o d er s   in   ad d itio n   to   th e  SE  atten tio n   m o d u le  th at   is   co v er ed   in   th e  s u b s ec tio n   th at  f o llo ws.  I t  is   th e  r esp o n s ib ilit y   o f   th e  SE   m o d u le  to   en h a n ce   th e  s ig n if ican t  f ea tu r es  tr an s m itted   b y   th e  co n v o lu tio n   p r o ce s s   in   th e  en co d er   an d   d ec o d e r   wh ile  d is r eg ar d in g   t h e  less   s ig n if ican t  o n es.  T h e  n ex t  la y er s   r ec eiv e  th e  r ewe ig h ted   f ea tu r es  th at  wer e  ac q u ir ed   f r o m   t h e  SE  m o d u le.   A  co n v o lu tio n   lay er ,   a   R eL U  ac tiv atio n   lay e r ,   th r ee   en c o d er s ,   an d   t h en   a n o th e r   co n v o lu tio n   lay e r   an d   a  tan h   lay er   m a k e  u p   th e  d is cr im in ato r   .   T h e  g en er at o r   g en er ates  an   I SL  im ag e  S  f r o m   a  s k eleta l  p o s e   .  T h e  d is cr im in ato r ' s   in p u ts   ar e  th o u g h t  t o   b e   a  s k eleta l  p o s e   ,   th e  g en er ated   d etec tio n   im ag e   ,   an d   th e   r ef er en ce   im ag e   .   Fo r   ea ch   im ag e,   th e  d is cr im in ato r   cr ea t es  a  r ep r esen tatio n   o f   th e  v a r iatio n al  v ar iab le,   wh ich   is   s p ec if ied   as   .   T o   g et   th e  g en e r ated   d etec tio n   im a g es  to   r esem b le   th e  r e f er en ce   im ag es,  ad v er s ar ial   tr ain in g   o f   th e  d is cr im in ato r   a n d   g en er ato r   aim s   to   m in im ize   f - d iv er g en ce .     3 . 3 . 2 .   Sq ueez e  a nd   ex cit a t io n m o du le   T h e  r esu lt  o f   th e  co n v o lu tio n   o p er atio n   is   f o r m ed   b y   s u m m ar izin g   all  ch an n els,  an d   th e  r elatio n s h ip   am o n g   th e  c h an n els  is   in v is ib ly   in ter twin ed   in   th e  s p atial  d a ta.   T h er ef o r e,   th e  SE  m o d u le' s   in tr o d u ctio n   aim s   to   in cr ea s e  n etwo r k   s en s itiv ity   to   k e y   asp ec ts   b y   s im u latin g   ch an n el  in ter d e p en d e n ce .   L ess   b en ef icial  tr aits   ar e  th er ef o r e  s u p p r ess ed .   T h e  SE  m o d u le  is   a  co m p o n en t  o f   th e  U - s h ap ed   g en er ato r   co n s tr u ctio n   th at  co m es   ju s t  af ter   th e   en co d er s   an d   d ec o d er s .   T h e   m o d u le  c o n s is t s   o f   two   d is tin ct  o p er ati o n s :  ex citatio n   a n d   s q u ee zin g .   T h e  r esu lt  o f   th e  d ec o d er   an d   e n co d e r   U  co n v o l u tio n   p r o ce s s   p r o v id es  s p atial  an d   ch an n el  d ata.   T o   r ec o n s tr u ct  f ea tu r es,  U  is   co n s id er ed   t h e  in p u t  to   th e  S E   m o d u le.   Her e,   co n s id er   th at   th e  co m b in atio n   o f   ch an n els  ∈ ×     s er v es  as  th e  in p u t  f o r   th e  SE  m o d u le       =   [ 1 , 2 , … , ] .   A  g lo b al  av er ag e  p o o lin g   o p er atio n   is   th en   u s ed   to   co m p r ess   th e  f ea tu r e  m ap s     f r o m   th e  co n v o l u tio n   o p er ati o n   in to   a  ch an n el  d escr ip to r .   Sq u ee zin g     with   s p atial  d im en s io n s   ×   y ield s      ∈ 1 × 1 ×   .   T h e  ex p r ess io n   f o r   th e  th   elem en t o f    ∈ 1 × 1 ×     is   as in   ( 8 ) .      =  ( ) = 1 × ∑ ∑ ( , ) = 1 = 1   ( 8 )     As  a  r esu lt,  th e  v ec to r    ,   wh ich   en co d es  all  o f   th e   in f o r m atio n   in   th e  im ag e,   in co r p o r ates  t h e  g lo b al  s p atial  in f o r m atio n   th r o u g h   th e  s q u ee ze   p r o ce s s .   Fig u r e  2   d ep icts   th e  SE  m o d u le' s   o p er atio n .           Fig u r e  2 .   T h e  SE  m o d u le  ar c h itectu r e   G l o b a l   A v e r a g e   P o o l i n g F u l l y   C o n n e c t e d R e L U F u l l y   C o n n e c t e d S i g m o i d x 1 × 1 ×C 1 × 1 ×C 1 × 1 ×C / r W H U C W H C U ~ sc al e F sq F ex F Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J Ar tif   I n tell     I SS N:   2252 - 8 9 3 8       I n d ia n   s ig n   la n g u a g e  vid eo   g e n era tio n   u s in g   a tten tio n - e n h a n ce d   g e n era tive  …   ( P r a ch i P r a mo d   Wa g h ma r e)   3677   T h e  ex citatio n   o p er atio n   p r o v i d es  a  co m p r e h en s iv e  d er iv ed   s et  o f   ch an n el - wis e  d ep e n d en ci es,  wh ich   ca n   b e  b etter   u tili ze d   in   co n ju n ctio n   with   th e  in teg r ated   g lo b al  in f o r m atio n   g ain ed   b y   th e   s q u ee ze   o p er atio n .   T h e  g lo b al  av er ag e  p o o lin g   o p er atio n ' s      o u tp u t  is   co n v er ted   to     2 ( ( 1  ) ) .   Her e,   th e  weig h ts   o f   two   co m p letely   lin k e d   lay e r s   with     s et  to   2   ar e  d en o te d   b y   1 ∈   / ×     an d   2 ∈   × /   .   T h e  n o n - lin ea r ity   in   th e  ex citatio n   b lo ck   th en   f o r m s   a  b o ttlen ec k   am o n g   th e  t wo   f u lly   co n n ec te d   lay er s .   As  s h o wn   in   Fig u r e  2 ,   th e  f r am ewo r k   o f   th e  e x citatio n   o p er atio n   c o n s is ts   o f   a  d i m en s io n ality - in cr ea s in g   la y er   with     2 ,   a  R eL U  lay er ,   an d   a  d im en s io n ality - r e d u ctio n   la y er   with   1 .   T h e  in ter v al  [ 0 , 1 ]   is   th e  co n s tr ain t  o f   2 ( ( 1  ) )   by  a  s ig m o id   ac tiv atio n   f u n ctio n     ( · ) .   T h e  in itial  f u lly   co n n ec ted   lay er   an d   th e  R eL U  lay er   co m b in e  to   p r o v id e   a  f ea tu r e  v ec to r   with   a  ch a n n el  d im en s io n   o f   / .   T h is   f ea tu r e   v ec to r   is   th e n   tr a n s f o r m ed   b y   th e  s ig m o i d   lay er s   an d   th e  s ec o n d   f u lly   c o n n ec ted   lay e r   in to   a  v ec to r   with   a  ch an n el  d im e n s io n   o f   .   T h u s ,   th e  f in a l   s ig m o id   lay er ' s   r esu lt a s   in   ( 9 ) .      =  (  , ) = ( 2 ( 1  ) )   ( 9 )     W h er e     d en o tes    th   ch an n el' s   s ig n if ican ce .   T h e  f in al  r esu lt is   p r o d u ce d   b y   s ca lin g     u s in g      as  in   ( 1 0 ) .     ̅ =  ( ,  ) =  .   ( 1 0 )     I n   th e  ex citatio n   o p er atio n ,   th e  f ir s t  f u lly   co n n ec te d   lay er ' s   d im en s io n ality   r ed u ctio n   is   in ten d ed   to   lo wer   th e  n etwo r k ' s   co m p u tatio n al  co m p lex ity ,   wh ile  th e   s ec o n d   f u lly   co n n ec ted   lay er ' s   d im en s io n ality   in cr ea s e  g u ar an tees  th at  th e  d im en s io n s   r em ain   th e  s am e  f o r   d eter m in in g   th e  weig h t  o f   ea ch   lay er   f ea tu r e.   T h e  s h ap e   o f     is   r ec alcu lated   to   b e   = [  1 1 ,  2 2 , . . . ,  ] .   T h e  SE  atten tio n   m o d u le  ad a p tiv ely   h ig h lig h ts   th e  k ey   c h an n els  w h ile  ig n o r in g   th e  less   s ig n if ican t  o n es.  T h e  d etailed   lay e r - wi s e  co n f ig u r atio n   is   s h o wn   in   T a b le  1 .   Fig u r e   3   s h o ws  s tep wis e  p r o ce s s   o f   t h e  o v er all  SE - GAN  ar ch itectu r e,   wh er e  GAN - b ased   f ea tu r e  ex tr ac tio n   an d   r ec o n s t r u ctio n   alo n g   with   SE  atten tio n   m ec h an is m   an d   d is cr im in at o r   b lo ck s   ar e  u s ed .   I n   th is   f i g u r e,   T  is   n u m b e r   o f   f r am es ,   H   is   h eig h t,   W   is   w id th ,   C in   is   in p u t  c h an n els ,   C o n v   is   co n v o l u tio n al   lay er ,   C o n v   tr a n s p o s e  is   tr an s p o s ed   co n v o lu tio n ,   s   is   s tr id e ,   p   is   p ad d in g ,  an d   B N  is   b atch   n o r m aliza tio n .       T ab le  1 .   L a y er   d etails f o r   th e  p r o p o s ed   atten tio n - d r i v en   GAN   La y e r   n o.   N e t w o r k   c o n f i g u r a t i o n   a n d   h y p e r p a r a met e r s   G e n e r a t o r   ( e n c o d e r )   La y e r   1   C o n v   6 4 ( 4 × 4 ) ,   s   = 2 ,   p = 2 ,   s   = 2 ,   R e LU   La y e r   2   C o n v   1 2 8 ( 4 × 4 ) ,   s   = 2 ,   p = 2 ,   s   = 2 ,   B N ,   R e LU   La y e r   3   C o n v   1 2 8 ( 4 × 4 ) ,   s   = 2 ,   p = 2 ,   s   = 2 ,   B N ,   R e LU   SE   La y e r   1   G l o b a l   a v e r a g e   p o o l i n g   ( 6 4 , 1 , 1 , 3 )   La y e r   2   D e n se ,   R e LU   La y e r   3   D e n se ,   s i g m o i d   G e n e r a t o r   ( d e c o d e r )   La y e r   1   C o n v   1 2 8 ( 4 × 4 ) ,   s   = 2 ,   p   = 2 ,   s   = 2 ,   B N ,   R e LU   La y e r   2   C o n v   1 2 8 ( 4 × 4 ) ,   s   = 2 ,   p   = 2 ,   s   = 2 ,   B N ,   R e LU   La y e r   3   C o n v   6 4   ( 4 × 4 ) ,   s   = 2 ,   p   = 2 ,   s   = 2 ,   R e L U   D i scri m i n a t o r   La y e r   1   C o n v   3 2   ( 4 × 4 ) ,   s   = 2 ,   p   = 2 ,   s   = 2 ,   R e L U   La y e r   2   C o n v   3 2   ( 4 × 4 ) ,   s   = 2 ,   p   = 2 ,   s   = 2 ,   B N ,   R e LU   La y e r   3   C o n v   3 2   ( 4 × 4 ) ,   s   = 2 ,   p   = 2 ,   s   = 2 ,   B N ,   R e LU       T h e  p r o p o s ed   ar ch itectu r e  h a s   g en er atio n   an d   d is cr im in ato r   b lo ck s ,   wh er e  th e  g en er ato r   b lo ck   h as  en co d er   a n d   d ec o d er   u n its .   E a ch   en co d e r   h as  a  th r ee - la y er   n etwo r k .   T h e  f i r s t  lay er   ex tr ac t   lo w  f ea tu r es  s u ch   as  ed g es  an d   co n to u r s .   T h e  s ec o n d   la y er   e x tr ac ts   m id - lev e l  f ea tu r es  s u ch   as  u p p e r   b o d y   p ar ts   an d   jo i n ts ,   wh ile  th e  th ir d   lay er   e x tr ac ts   h ig h - lev el   f ea t u r es  s u ch   as  p o s e  s tr u ctu r e.   All  th e  lear n ed   f e atu r es  ar e  ex ten d e d   to   th e  SE  b lo ck ,   wh e r e  th e  s q u ee ze   b lo ck   c o m p u tes  g lo b al  av er ag e  p o o lin g   t o   ca p tu r e  g l o b al  in f o r m atio n   o f   ea ch   ch a n n el.   Her e ,   c h an n els   ca n   b e  k ey   jo in ts   f o r   h an d   an d   f ac e.   T h e   ex citatio n   b l o ck   lear n s   ch a n n el   im p o r tan ce   an d   g en er ates  ap p r o p r iate  weig h ts   an d   f in e  d eta ils .   T h e  g en er ato r   d ec o d e r   d o es  u p s am p lin g   an d   r ec o n s tr u cts  h ig h - lev el   f ea tu r e s ,   r ec o v er s   m id - lev el   an d   f in e   d etails ,   an d   en h an ce s   th e   s p atial  r eso lu tio n .   T h e   d is cr im in ato r   ex tr ac ts   f ea tu r es   an d   m ak e  t h e  d ec is io n   wh eth er   th e  g en e r ated   s am p le  is   r ea l  an d   f ak e .   W ith   th e   in clu s io n   o f   SE - GAN  atten tio n   m ec h an is m ,   th e   d is cr im in ato r   r ec eiv es  i n f o r m atio n   o f   im p o r tan t  c h an n e l   g estu r es ,   wh ich   ar e  en h an ce d   with   th e  atten tio n   m ec h an is m .   T h er e  is   im p r o v ed   h a n d   m o ti o n   an d   p o s e  d etails  an d   s m o o th   tem p o r al  co n s is ten cy ,   wh ich   is   ev id e n t  with   th e  im p r o v em en t  in   th e  s tr u ctu r al  s im ilar ity   in d ex   m ea s u r e  ( SS I M) ,   p ea k   s ig n al - to - n o is e  r atio   ( PS NR ) ,   an d   tem p o r al  co n s is ten cy   m etr ic  ( T C M)   s co r e  ca lcu lated   f o r   b asic G AN,   d y n am i c  GAN  o n   two   d i f f er en t  d atasets .   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8 9 3 8   I n t J Ar tif   I n tell ,  Vo l.  15 ,   No .   4 ,  Au g u s t 2 0 2 6 :   3 6 7 2 - 3 6 8 2   3678       Fig u r e  3 .   Pro ce s s   an d   lay er   wi s e  r esu lts   o f   th e  GAN - b ased   f ea tu r e  ex tr ac tio n   an d   r ec o n s tr u ctio n   with   SE  atten tio n   m ec h an is m       4.   RE SU L T S AN D  D I SCU SS I O N   T h is   s ec tio n   p r esen ts   th e  d ataset  d escr ip tio n .   I t  also   r esu lts   an d   co m p ar es  th e  p er f o r m an ce   o f   b aselin e  m o d els  an d   th e  p r o p o s ed   m o d el.   Op tim al  h y p e r p ar am eter s   s elec ted   th r o u g h   ex p er im en tatio n   ar e     also   in clu d ed .       4 . 1 .     Da t a s et   des cr iptio n    An   SL  v i d eo   d ataset,   I n d ian   s ig n   lan g u ag e   v i d eo   an d   tex t   d at aset  f o r   s en ten ce s   ( I SLVT )   [ 2 5 ]   f o r   I SL   is   cr ea ted   f o r   th is   r esear ch .   T h e  p u r p o s e  o f   t h is   co r p u s   is   to   aid   th e  I n d ian   Dea f   c o m m u n ity .   T h e  7 0 0   v id eo s   in   th is   u n iq u e  c o r p u s   wer e  g at h er ed   f r o m   a  s in g le  s ig n er   an d   co n tain   o n ly   a  s in g le  b ac k g r o u n d   with   well - s et   b r ig h tn ess   co n d itio n s   wh ile  r e co r d in g .   T h e   o th er   d ataset  u s e d   is   th e  d ataset  f o r   I SL - c o n tin u o u s   s ig n   lan g u ag e   tr an s latio n   an d   r ec o g n itio n   ( I S L - C SLT R )   [ 2 6 ] .     4 . 2 .     E x perim ent a l r esu lt s   T h e  p er f o r m a n ce   c o m p ar is o n   o f   th e   b aselin e  GAN,   d y n am ic   GAN ,   an d   p r o p o s ed   SE - GAN  m o d el   is   p r esen ted   in   T a b le  2 .   T h e  co m p ar is o n   is   b ased   o n   th r ee   k ey   ev alu atio n   m etr ics:   SS I M,   PS NR ,   an d   T C M.   T h ese  m etr ics ass es s   th e  v is u al  q u ality ,   clar ity ,   a n d   tem p o r al   co n s is ten cy   o f   th e   g en e r ated   f r am es.       T ab le  2 .   C o m p a r is o n   o f   g en e r ativ e  m o d els   M o d e l s   I S L - C S LTR   d a t a se t   [ 2 6 ]   I S LV T  ( o u r )   si g n   l a n g u a g e   d a t a s e t   [ 2 5 ]   S S I M   ( %)    P S N R   ( d B )   TC M   S S I M   ( %)    P S N R   ( d B )   TC M   GAN  [ 2 7 ]   81   7 . 6   0 . 4 8   8 0 . 1 5   1 6 . 8 4   0 . 5   D y n a mi c   G A N   [ 1 8 ]   9 3 . 7   8 . 5   0 . 7 1 2   8 5 . 8 1   1 8 . 7 9   0 . 6 5   SE - G A N   ( a t t e n t i o n - d r i v e n )   ( p r o p o s e d )   99   9 . 6   0 . 9 1 1   9 9 . 6 0   3 1 . 1 0   0 . 9 1 1       Fro m   T ab le  2 ,   it  is   ev id en t  th at  th e  atten tio n - d r iv en   GAN  o u tp er f o r m s   b o th   th e  s tan d a r d   GAN  an d   d y n am ic   GAN  ac r o s s   all  th r ee   m etr ics.  T h e   p r o p o s ed   m o d el   ac h iev es  9 9 . 6 0 %  SS I M,   d e m o n s tr atin g   s u p e r io r   s tr u ctu r al  s im ilar ity   to   th e  o r ig in al  f r am es  co m p ar ed   to   d y n am ic  GAN  ( 9 8 . 8 1 %)  an d   GAN  ( 9 8 . 1 5 %).   A   h ig h er   SS I M  s u g g ests   th at  t h e   g en e r ated   f r am es  r etain   m o r e   s tr u ctu r al  d etails,  m ak in g   th e m   v is u ally   cl o s er   to   r ea l  SL  v id eo s .   Similar ly ,   th e  PS N R   v alu e  o f   th e  p r o p o s ed   m o d el  is   s ig n if ican tly   h ig h er   at  3 1 . 1 0   d B ,   co m p ar ed   to   1 8 . 7 9   d B   f o r   d y n am ic  GAN  an d   1 6 . 8 4   d B   f o r   t h e  s tan d ar d   GAN.   A  h ig h e r   P SNR   v alu e  s ig n if ies  r ed u ce d   n o is e  a n d   im p r o v ed   im ag e  clar ity   in   th e  g e n er a ted   f r am es,   co n f i r m in g   th e  m o d el’ s   ab ilit y   t o   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J Ar tif   I n tell     I SS N:   2252 - 8 9 3 8       I n d ia n   s ig n   la n g u a g e  vid eo   g e n era tio n   u s in g   a tten tio n - e n h a n ce d   g e n era tive  …   ( P r a ch i P r a mo d   Wa g h ma r e)   3679   r ec o n s tr u ct  h ig h - f id elity   SL  v id eo s .   T em p o r al  co n s is ten cy ,   m ea s u r ed   b y   T C M,   is   cr u cial  f o r   s m o o th   m o ti o n   r ep r esen tatio n   in   v id eo   g en e r atio n .   T h e  p r o p o s ed   m o d el   ac h iev es  a  T C M  s co r e  o f   0 . 9 1 1 ,   s u b s tan tially   o u tp er f o r m in g   th e  d y n a m ic  GAN  ( 0 . 4 8 )   an d   GAN  ( 0 . 5 0 ) .   T h is   in d icate s   th at  t h e  att en tio n - d r iv en   GAN  g en er ates  tem p o r ally   s tab le  f r am es  with   co n s is ten t  m o tio n   tr an s itio n s ,   r ed u cin g   f lick e r in g   an d   u n n at u r al   m o v em en ts .   T h is   p er f o r m an ce   s h o ws co n s is ten t r esu lts   f o r   b o th   d atasets .   T h e  q u an titativ e  co m p a r is o n   in   ter m s   o f   PS N R ,   S SIM ,   an d   T C M  f o r   th e  im p lem en ted   GAN,   d y n am ic   GAN  m o d els ,   a n d   t h e  p r o p o s ed   SE - GAN  m o d el   v er s u s   th e  tr ain in g   ep o ch s   is   s h o wn   in   Fig u r e   4 .   I t  s h o ws  th at  SE - GAN  co n s is t en tly   o u tp er f o r m s   b aselin e  m o d els  in   ter m s   o f   p ictu r e   q u ality ,   tem p o r al   co n s is ten cy ,   an d   s tr u ctu r al  s im ilar ity .   I t p r o v es th e  ef f icac y   o f   th is   m eth o d   f o r   p r o d u cin g   clo s er   to   r ea lis tic  SL   v id eo s .   Fig u r e  5   s h o ws  q u alitativ e  r esu lts   co m p ar is o n   f o r   GAN,   d y n am ic  GAN,   an d   th e   p r o p o s ed   SE - GAN  m eth o d s   f o r   t h e  g e n er ated   SL  f r am es  ac r o s s   v a r io u s   tr ain i n g   ep o c h s   ( 2 0 – 1 0 0 ) .   T h ese  r esu l ts   also   in d icate   th at   in   co m p a r is o n   to   th e  b asic  GAN  an d   d y n am ic   GAN  m o d els,  th e  SE - GAN  m o d el   p r o d u ce s   m o r e   v is u ally   co n s is ten t,  an d   en h an ce d - q u al ity   SL  f r am es a s   th e  n u m b er   o f   ep o ch s   in c r ea s es .   T h e  s ig n if ican t  im p r o v em e n ts   in   ev alu atio n   m etr ics  h ig h lig h t  th e  m o d el ’ s   p o ten tial  f o r   r ea l - wo r ld   SL T  ap p licatio n s .   Fu r t h er ,   c o m p ar ativ e  r esu lts   f o r   th e   v id e o   f r am es  g en er ate d   b y   th e   b as elin e  m o d els  an d   th e   p r o p o s ed   m o d el  f o r   th e  o r ig i n al  s am p le  v id e o ,   f o llo wed   b y   th e  p o s e  esti m atio n   s tep   b y   th e  Op en Po s e  ar e   s h o wn   in   Fig u r e  6 .   Fig u r e  6 ( a)   s h o ws  th e  v id eo   f r am es  g en er atio n   r esu lts   f o r   th e  s ig n s   m ad e  f o r   th e  tex t  “M o th er   Fo o d   C o o k ”  f r o m   I S L VT   [ 2 5 ]   d ataset  an d   Fig u r e   6 ( b )   d ep icts   th e   r esu lts   f o r   th e   s ig n s   m ad e   f o r   th e   tex t  “R  u   f r ee   to d a y ”  f r o m   th e  I SL - C SLT R   d ataset  [ 2 6 ] .   Ov er all,   th e  r esu lts   v alid ate  th e  ef f ec tiv en ess   o f   th e   Atten tio n - Dr iv en   GAN  in   en h an cin g   th e  q u ality ,   clar ity ,   an d   s m o o th n ess   o f   SL  v i d eo   g e n e r atio n .           Fig u r e  4 .   Qu a n titativ e  co m p a r is o n   o f   GAN,   d y n am ic  GAN,   an d   p r o p o s ed   SE - GAN  m o d el s           Fig u r e  5 .   Qu alitativ e  co m p ar is o n   f o r   g en e r ated   SL  f r am es a n d   p r o g r ess io n   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8 9 3 8   I n t J Ar tif   I n tell ,  Vo l.  15 ,   No .   4 ,  Au g u s t 2 0 2 6 :   3 6 7 2 - 3 6 8 2   3680     ( a)       ( b )     Fig u r e  6 .   C o m p a r ativ e  v id e o   f r am e   g en e r atio n   r esu lts   f o r   ( a)   s am p le  o u tp u t  f o r   d ataset  [ 2 5 ]   an d     ( b )   s am p le  o u tp u t  f o r   d ataset  [ 2 6 ]       5.   CO NCLU SI O N   T h is   r esear ch   ad d r ess es  th e  c h allen g es  in   SLT   f o r   I SL  v id eo   s y n th esis   with   im p r o v ed   v id eo   q u ality   b y   in tr o d u cin g   SE - GAN  f r a m ewo r k .   I t  co n n ec ts   co m p u t er   v is io n   f o r   g estu r e  an d   p o s e  u n d er s tan d i n g ,     NL P - d r iv en   tex t - to - s ig n   tr an s l atio n ,   an d   m u ltimo d al  lear n in g   f r am ewo r k s   th at  in teg r ate  li n g u is tic  an d   v is u al  cu es  f o r   m o r e  e f f ec tiv e  SL   s y n th esis .   T h r o u g h   a  c o m p r eh e n s iv e   ap p r o ac h   in v o lv in g   v id eo   f r a m e  e x tr ac tio n ,   s k eleta l  jo in t  co o r d in ate   ex tr a ctio n ,   an d   DT W   f o r   d ata  in te r p o latio n /ex tr a p o latio n   in   th e  p r ep r o ce s s in g   s tep ,   th e  atten tio n - d r i v en   GAN  with   an   SE  atten tio n   m ec h an is m   d em o n s tr ates  its   ef f ec tiv en ess   in   g en er atin g   clo s e  to   r ea lis tic  SL   v id eo s .   T h e  atten tio n   m ec h a n is m   d y n am icall y   m o d u lates  th e  g en er atio n   p r o ce s s ,   allo win g   th e  m o d el  to   atten d   to   r ele v an t  s k eleta l  p o s e  s eq u en ce s   an d   f r am es,  r esu ltin g   in   im p r o v e d   r ec o g n itio n   m etr ics.  Per f o r m an ce   e v alu atio n   u s in g   I SL - C SLT R   b en ch m ar k   s ig n   co r p o r a  an d   I SLVT   s ig n   c o r p o r a  cr ea ted   f o r   th is   r esear ch   in d icate s   s u b s tan tial  en h a n ce m en ts   in   v id e o   f r am e  q u ality   an d   tem p o r al  c o h er en ce .   C o m p a r ativ e   an aly s is   with   im p lem en ted   m o d els  o f   GAN  an d   d y n am ic  GAN  s h o wca s es  th e  s u p er io r   p er f o r m an ce   o f   th e   p r o p o s ed   m o d el  in   ter m s   o f   SS I M,   PS NR ,   an d   T C M.   T h ese  r esu lts   v alid ate  th e   ef f ica cy   o f   th e   p r o p o s ed   s y s tem   in   ad v an cin g   SLT ,   p a v in g   th e  way   f o r   im p r o v ed   c o m m u n icatio n   f o r   I SL  s ig n er s   an d   n o n - s ig n in g   in d iv id u als.  Fu tu r e  s tu d ies  wi ll  lo o k   at   d if f u s io n - b ased   g en er ativ e  m o d els  an d   r ein f o r ce m en t  lear n in g   as  a   lo n g - ter m   A I   r o a d m ap   f o r   c o n tin u o u s   SL  p r o d u ctio n .   Di f f u s io n   m o d els  m ay   o f f er   s m o o th er   a n d   m o r e   ac cu r ate  v id eo   s y n th esis   f o r   c o n tin u o u s   s en ten ce - lev el  s ig n i n g ,   wh ile  r ein f o r ce m e n t  lear n in g   ag en ts   ca n   u s e  g estu r e  co n s is ten cy   f ee d b ac k   to   d y n am ically   im p r o v e   tem p o r al  m o tio n   q u ality .   T h ese  d e v elo p m en ts   m i g h t   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J Ar tif   I n tell     I SS N:   2252 - 8 9 3 8       I n d ia n   s ig n   la n g u a g e  vid eo   g e n era tio n   u s in g   a tten tio n - e n h a n ce d   g e n era tive  …   ( P r a ch i P r a mo d   Wa g h ma r e)   3681   lead   to   m u ltil in g u al,   ad ap tiv e,   s ig n er - in d ep e n d en t  SL  co m m u n icatio n   s y s tem s   th at  ca n   s u p p o r t  p r ac tical  ac ce s s ib ilit y   ap p licatio n s   in   a  v ar iety   o f   lin g u is tic  co n tex ts .       ACK NO WL E DG M E N T S    T h e  au th o r s   wo u ld   lik e   to   t h an k   f o r   Mr s .   J an h av i   an d   h e r   team   f r o m   B leeT ec h   I n n o v at io n ,   Pu n e ,   wh o   h elp ed   u s   in   cu r atin g   th e   d ataset.         F UNDING   I NF O R M A T I O N   T h is   r esear ch   was  p ar tially   s u p p o r ted   b y   MK SS S’s  C u m m in s   C o lleg e  o f   E n g in ee r in g   f o r   W o m en ,   Pu n e,   u n d er   th e  r esear ch   in itia tio n   f u n d   o f   th e  in s titu te.       AUTHO R  CO NT RI B UT I O NS ST A T E M E N T   T h is   jo u r n al  u s es  th e  C o n tr ib u to r   R o les  T ax o n o m y   ( C R ed iT)   to   r ec o g n ize  in d iv id u al  au th o r   co n tr ib u tio n s ,   r ed u ce   au th o r s h ip   d is p u tes,  an d   f ac ilit ate  co llab o r atio n .       Na m e  o f   Aut ho r   C   M   So   Va   Fo   I   R   D   O   E   Vi   Su   P   Fu   Pra ch i Pr am o d   W ag h m ar e   ✓   ✓   ✓   ✓   ✓   ✓     ✓   ✓   ✓   ✓     ✓     Ash win i M an g esh   Desh p an d e     ✓   ✓   ✓   ✓   ✓   ✓   ✓     ✓   ✓   ✓   ✓       C   :    C o n c e p t u a l i z a t i o n   M   :    M e t h o d o l o g y   So   :    So f t w a r e   Va   :    Va l i d a t i o n   Fo   :    Fo r mal   a n a l y s i s   I   :    I n v e s t i g a t i o n   R   :    R e so u r c e s   D   :   D a t a   C u r a t i o n   O   :   W r i t i n g   -   O r i g i n a l   D r a f t   E   :   W r i t i n g   -   R e v i e w   &   E d i t i n g   Vi   :    Vi su a l i z a t i o n   Su   :    Su p e r v i s i o n   P   :    P r o j e c t   a d mi n i st r a t i o n   Fu   :    Fu n d i n g   a c q u i si t i o n         CO NF L I C T   O F   I N T E R E S T   ST A T E M E NT   Au th o r s   s tate  n o   co n f lict o f   in t er est r eg ar d in g   th e  p u b licatio n   o f   th is   p ap e r .       DATA AV AI L AB I L I T Y   T h e  p ar tial  d ata  th at  s u p p o r t   th e  ex p er im en ts   an d   f in d in g s   o f   th is   s tu d y   is   o p en ly   av ailab le  in   Me n d eley   Data   at  h ttp s ://d ata. m en d eley . c o m /d atasets /9 8 m zk 8 2 wb b / 1 .   Oth er   d ata  u s ed   is   p r o p er l y   cited .       RE F E R E NC E S   [ 1 ]   A .   D h a n j a l   a n d   W .   S i n g h ,   “ A n   a u t o mat i c   c o n v e r s i o n   o f   P u n j a b i   t e x t   t o   I n d i a n   s i g n   l a n g u a g e , ”   EAI  En d o rse d   T ra n s a c t i o n s   o n   S c a l a b l e   I n f o rm a t i o n   S y st e m s ,   v o l .   7 ,   n o .   2 8 ,   J u l .   2 0 1 8 ,   d o i :   1 0 . 4 1 0 8 / e a i . 1 3 - 7 - 2 0 1 8 . 1 6 5 2 7 9 .   [ 2 ]   J.  P u ,   W .   Z h o u ,   H .   H u ,   a n d   H .   Li ,   “ B o o s t i n g   c o n t i n u o u s   s i g n   l a n g u a g e   r e c o g n i t i o n   v i a   c r o ss   mo d a l i t y   a u g m e n t a t i o n , ”     i n   2 8 t h   AC M  I n t e r n a t i o n a l   C o n f e r e n c e   o n   M u l t i m e d i a ,   O c t .   2 0 2 0 ,   p p .   1 4 9 7 – 1 5 0 5 ,   d o i :   1 0 . 1 1 4 5 / 3 3 9 4 1 7 1 . 3 4 1 3 9 3 1 .   [ 3 ]   H .   H u ,   W .   Zh o u ,   J .   P u ,   a n d   H .   Li ,   “ G l o b a l - l o c a l   e n h a n c e me n t   n e t w o r k   f o r   N M F - a w a r e   si g n   l a n g u a g e   r e c o g n i t i o n , ”   A C M   T ra n s a c t i o n s  o n   M u l t i m e d i a   C o m p u t i n g ,   C o m m u n i c a t i o n s ,   a n d   A p p l i c a t i o n s ,   v o l .   1 7 ,   n o .   3 ,   p p .   1 – 1 9 ,   A u g .   2 0 2 1 ,     d o i :   1 0 . 1 1 4 5 / 3 4 3 6 7 5 4 .   [ 4 ]   B .   S a u n d e r s,  N .   C .   C a m g o z ,   a n d   R .   B o w d e n ,   “ C o n t i n u o u s  3 D   m u l t i - c h a n n e l   si g n   l a n g u a g e   p r o d u c t i o n   v i a   p r o g r e ssi v e   t r a n sf o r mers   a n d   mi x t u r e   d e n s i t y   n e t w o r k s, ”   I n t e rn a t i o n a l   J o u r n a l   o f   C o m p u t e r   Vi s i o n ,   v o l .   1 2 9 ,   n o .   7 ,   p p .   2 1 1 3 – 2 1 3 5 ,   J u l .   2 0 2 1 ,   d o i :   1 0 . 1 0 0 7 / s 1 1 2 6 3 - 021 - 0 1 4 5 7 - 9.   [ 5 ]   D .   B r a g g   e t   a l . ,   “ S i g n   l a n g u a g e   r e c o g n i t i o n ,   g e n e r a t i o n ,   a n d   t r a n s l a t i o n , ”   i n   2 1 s t   I n t e r n a t i o n a l   A C M  S I G AC C E S S   C o n f e r e n c e   o n   C o m p u t e rs   a n d   A c c e ssi b i l i t y ,   O c t .   2 0 1 9 ,   p p .   1 6 – 3 1 ,   d o i :   1 0 . 1 1 4 5 / 3 3 0 8 5 6 1 . 3 3 5 3 7 7 4 .   [ 6 ]   S .   S t o l l ,   S .   H a d f i e l d ,   a n d   R .   B o w d e n ,   “ S i g n S y n t h :   d a t a - d r i v e n   si g n   l a n g u a g e   v i d e o   g e n e r a t i o n , ”   i n   C o m p u t e r  Vi s i o n   –   E C C V  2 0 2 0   Wo r k sh o p s ,   2 0 2 0 ,   p p .   3 5 3 – 3 7 0 ,   d o i :   1 0 . 1 0 0 7 / 9 7 8 - 3 - 0 3 0 - 6 6 8 2 3 - 5 _ 2 1 .   [ 7 ]   W .   X u ,   S .   K e sh m i r i ,   a n d   G .   W a n g ,   “ A d v e r sar i a l l y   a p p r o x i ma t e d   a u t o e n c o d e r   f o r   i m a g e   g e n e r a t i o n   a n d   ma n i p u l a t i o n , ”   I E EE  T ra n s a c t i o n s  o n   M u l t i m e d i a ,   v o l .   2 1 ,   n o .   9 ,   p p .   2 3 8 7 – 2 3 9 6 ,   S e p .   2 0 1 9 ,   d o i :   1 0 . 1 1 0 9 / T M M . 2 0 1 9 . 2 8 9 8 7 7 7 .   [ 8 ]   S .   C h e n   a n d   W .   G u o ,   “ A u t o - e n c o d e r s   i n   d e e p   l e a r n i n g — a   r e v i e w   w i t h   n e w   p e r sp e c t i v e s, ”   Ma t h e m a t i c s ,   v o l .   1 1 ,   n o .   8 ,   A p r .   2 0 2 3 ,   d o i :   1 0 . 3 3 9 0 / mat h 1 1 0 8 1 7 7 7 .   [ 9 ]   S .   Ju n g ,   W .   S .   C h o i ,   S .   C h o i ,   a n d   B . - T.   Z h a n g ,   “ L a n g u a g e - a g n o s t i c   sem a n t i c   c o n si s t e n t   t e x t - to - i ma g e   g e n e r a t i o n , ”   i n   Pro c e e d i n g s   o f   t h e   Wo rks h o p   o n   M u l t i l i n g u a l   M u l t i m o d a l   L e a r n i n g ,   2 0 2 2 ,   p p .   1 – 5 ,   d o i :   1 0 . 1 8 6 5 3 / v 1 / 2 0 2 2 . m ml - 1 . 1 .   [ 1 0 ]   H .   W u   e t   a l . ,   “ se c G A N :   a   c y c l e - c o n s i st e n t   G A N   f o r   se c u r e l y - r e c o v e r a b l e   v i d e o   t r a n sf o r mat i o n , ”   i n   2 0 1 9   W o rks h o p   o n   H o t   T o p i c s  i n   Vi d e o   An a l y t i c s   a n d   I n t e l l i g e n t   E d g e s ,   O c t .   2 0 1 9 ,   p p .   3 3 – 3 8 ,   d o i :   1 0 . 1 1 4 5 / 3 3 4 9 6 1 4 . 3 3 5 6 0 2 4 .     Evaluation Warning : The document was created with Spire.PDF for Python.