I AE S In t er na t io na l J o urna l o f   Art if icia l In t ellig ence   ( I J - AI )   Vo l.   14 ,   No .   1 ,  Feb r u ar y   2 0 2 5 ,   p p .   798 ~ 809   I SS N:  2 2 5 2 - 8 9 3 8 ,   DOI : 1 0 . 1 1 5 9 1 /ijai.v 14 .i 1 . p p 7 9 8 - 8 0 9          798     J o ur na l ho m ep a g e :  h ttp : //ij a i . ia esco r e. co m   Seria l para llel dat a flow - pipeline d p ro cess ing  architec ture  ba sed   a ccelerato r f o r  2D trans form - qua ntizatio n in  video   co der and  deco der       Su m a la t ha   Sh iv a rudra ia h,  Ra j eswa ri   D e p a r t me n t   o f   El e c t r o n i c s a n d   C o mm u n i c a t i o n   En g i n e e r i n g ,   A c h a r y a   I n st i t u t e   o f   Te c h n o l o g y ,   B a n g a l o r e ,   I n d i a       Art icle  I nfo     AB S T RAC T   A r ticle  his to r y:   R ec eiv ed   Ap r   9 ,   2 0 2 4   R ev is ed   Oct  1 7 ,   2 0 2 4   Acc ep ted   Oct  2 1 ,   2 0 2 4     Th e   v i d e o   c o d e r  a n d   d e c o d e r  (CO DEC)  sta n d a rd s  fr o m   M P EG - 4   to   th e   re c e n t   v e rsa ti le  v i d e o   c o d e c   (VV C),   a d o p ted   lo ss y   c o m p re ss io n   m e th o d o lo g ies ,   wh ich   in v o l v e s  tran sfo rm a ti o n ,   q u a n ti z a ti o n   a n d   e n tr o p y   c o d in g .   Th e   g ro win g   u sa g e   o f  v i d e o   d a ta  in   a ll   m e a n s  o f  c o m m u n ica ti o n   d e m a n d s  m o re   b a n d wid t h   a n d   sto ra g e   re q u irem e n ts.  Wh il e   c o m p re ss io n   wit h   re d u n d a n c y   r e m o v a l  b y   tran sfo rm   c o e fficie n t  c o d i n g ,   th e   f o c a l  p o in t  is  th e   c r u c ial  se q u e n t ial  d a ta  flo w   a n d   d a ta  p ro c e ss in g   str u c tu re s.  Ha n d li n g   t h e   b l o c k   wise   d a ta  n e a r  to   th e   p ro c e ss in g   u n it   p ri o r  a n d   a fter  c o m p u tatio n   will   re d u c e   th e   d a ta  wa it in g   ti m e   o f  th e   p r o c e ss in g   u n it ,   h e n c e   a c c e lera ti n g   th e   targ e ted   fu n c ti o n a li ty .   Th e   p ro p o se d   se rial  p a ra ll e l  d a ta - flo w   p ip e li n e d   p ro c e ss in g   a rc h it e c t u re   (S P DPA)  a c c e ler a tes   th e   sp e e d   o f  p ro c e ss in g   u n it   b y   o n   c h i p   d a ta  a v a il a b il it y   a n d   p a ra ll e l  d a ta  a c c e ss in g   o p ti o n s  a n d   a lso   wi th   t h e   p ip e li n e   o p e ra ti o n s  o f   tran sfo rm a ti o n ,   d a ta  tran s p o se   a n d   q u a n t iza ti o n .   Th e   p o st  im p lem e n tatio n   re su lt s  o f  th e   a rc h it e c t u re   targ e ted   to   1 6   n m   a n d   2 8   n m   field   p ro g ra m m a b le   g a te  a rra y   ( F P G A)  sh o ws   th a t   th e re   is  a   trad e - o ff   b e twe e n   p o we r  a n d   fre q u e n c y   o f  o p e ra ti o n s  fo r  v a ri o u s  b lo c k   siz e s.  Th e   d e sig n   targ e te d   to   1 6   n m   wo rk s  f o r  h ig h e r  fre q u e n c ies   wit h   a n   a v e ra g e   p o we r  c o n su m p ti o n   0 . 6 4   w  a s   c o m p a re d   to   2 8   n m   F P G A wh ich   c o n su m e s les s a v e ra g e   p o we r  o f  0 . 1 5   w .   K ey w o r d s :   C o n tr ast s en s itiv ity   f u n ctio n   Dis cr ete  co s in e  tr an s f o r m s   Field   p r o g r a m m ab le  g ate  a r r a y   Hig h   ef f icien cy   v id eo   co d in g   Hu m an   v is u al  s y s tem   Mo d u latio n   tr a n s f er   f u n ctio n   Ver s atile  v id eo   co d in g   T h is i s  a n   o p e n   a c c e ss   a rticle   u n d e r th e   CC B Y - SA   li c e n se .     C o r r e s p o nd ing   A uth o r :   Su m alath a  Sh iv ar u d r aiah   R esear ch   Sch o lar ,   Dep ar tm en t   o f   E lectr o n ics an d   C o m m u n ic atio n   E n g in ee r in g   Ach ar y a  I n s titu te  o f   T ec h n o lo g y   B an g alo r e,   I n d ia   E m ail:  s u m alath a. d is h a@ g m ail. co m       1.   I NT RO D UCT I O N   Vid eo   co d er   an d   d e co d er   ( C ODE C )   s tan d ar d s   s tar t in g   wit h   th e  latest  v er s atile   v id eo   co d ec   ( VVC)  2 0 2 0   d o wn   to   an y   p r ev io u s   s tan d ar d   h ig h   e f f icien cy   v id e o   co d in g   ( HE VC )   2 0 1 3   an d   ad v an ce d   v id eo   co d i n g   ( AVC)  2003  h ad   a  g o al  o f   ac h iev in g   h ig h   v id e o   q u ality ,   r ed u cin g   th e  b an d wid th   an d   s to r ag e  r eq u ir em en ts   [ 1 ] ,   [ 2 ] .   R ed u cin g   b it  r ate  in   th e  o r d er   o f   3 0 %  to   5 0 %  o v e r   p r e v io u s   s tan d ar d s   an d   m ain tain i n g   h ig h   v id e o   q u ality   is   p o s s ib le  o n ly   b y   u s in g   s o p h is ticated   co d in g   to o ls   an d   alg o r ith m s .   B y   a d o p tin g   th e   n ew er   co d i n g   to o ls   lik e   in cr ea s in g   th e  n u m b e r   o f   in tr a  an d   in ter   p r ed ictio n   m o d es,  in clu d in g   p r im ar y   tr an s f o r m at io n   tech n iq u es  lik e  d is cr ete  co s in e  tr an s f o r m   ( D C T ) - ty p e - I I /V/VI I I ,   d is cr ete  s in e  tr an s f o r m   ( DST) - ty p e - I / VI I ,   s ec o n d a r y   l o w  f r eq u e n cy   n o n   s ep ar ab le   tr a n s f o r m atio n   ( L FNST)   ty p es  with   r ec tan g u lar   tr a n s f o r m ati o n ,   a n d   f r eq u en cy   d ep en d e n t a n d   r ate  d ep en d en t  p er ce p tu al   q u a n tizatio n ,   i n cr e ases   th e  co m p u tatio n al  c o m p l ex ity   [ 3 ] .   I n   o r d er   to   p er f o r m   all  th ese  co m p u tatio n ally   in ten s iv e  tr an s f o r m atio n   an d   q u an tizatio n   o f   v id eo   f r a m es  ef f icien tly ,   th e   h ar d war e   ar ch itectu r e   im p lem en tatio n   r e p o r ted   a   p er f o r m a n c e  g ain   o v e r   s o f twar e   o n l y   s o lu t io n s ,   esp ec ially   f o r   a  r ea l tim e  p r o ce s s in g   o n   an   e m b ed d e d   p latf o r m .   As th e  n e w  er a  o f   s ilico n - on - ch ip   ( So C )   f ield   p r o g r am m ab le   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J Ar tif   I n tell     I SS N:   2252 - 8 9 3 8         S eria l p a r a llel d a ta flo w - p i p elin ed   p r o ce s s in g   a r ch itectu r e  b a s ed   a cc elera to r   … ( S u m a la th a   S h iva r u d r a ia h )   799   g ate  ar r ay   ( FP GA)   r an g in g   f r o m   lo w  en d   t o   h ig h   en d   co m es  with   h y b r id   p r o ce s s in g   elem en ts   lik e  d ig ital  s ig n al  p r o ce s s o r s   ( DSPs ) ,   GPUS  an d   C PU  wh ich   s u p p o r ts   h ar d war e  an d   s o f twar e  c o - d esig n ,   w h e r e  an   ar ch itect  ca n   p ar titi o n   th e  co m p lex   v id eo   C ODE C ’ S  im p lem en tatio n   o n   b o th   C PU - wh ich   ca n   h an d le  m o r e  s eq u e n tial    d ata - f lo w  an d   co n tr o l  in ten s iv e  p ar t  wh ile  allo win g   FP GA   to   h an d le  r ec o n f ig u r a b le  tr an s f o r m   an d   q u an tizatio n   ac ce ler atio n   task s   [ 4 ] .       2.   L I T E R AT U RE   R E VI E W  O N  T RAN SFO RM A T I O N  A ND  Q UANT I Z A T I O N    Vid eo   C ODE C   i s   r esp o n s ib le  to   s atis f y   all  th e  n ee d s   o f   co n s u m er   elec tr o n ic  r eq u ir e m en ts   lik e  d ata  s ec u r ity ,   in ter n et   b an d wid th   a n d   s to r ag e  wh ich   is   ev en tu all y   p o s s ib le  b y   en co d in g   o f   th e   v id eo   f r am es  af ter   tr an s f o r m atio n   an d   q u a n tizatio n .   T h e  tr an s f o r m atio n   an d   q u an tizatio n   o f   v i d eo   f r am es  in v o lv es  cr u cial  s eq u en tial  d ata   f lo w,   d ata  ac c ess   an d   tig h t   d ata   d ep e n d en t   p r o ce s s in g   s tr u ctu r es .  T h e   H D  v id eo   f r a m es  ar e   in itially   co n v er ted   to   b lo ck s   o f   s ize  v ar y in g   f r o m   4 ×4   to   1 2 8 ×1 2 8   a n d   th e n   s u b m itted   f o r   tr an s f o r m atio n   a n d   q u an tizatio n .   T h is   b lo ck   wis e  r esid u al  p ix els  o f   th e  v id eo   f r am e  af ter   in tr a  an d   in ter   p r ed ictio n s   wer e   tr an s f o r m ed   f r o m   s p atial  to   f r eq u en cy   d o m ain   u s in g   c o s in e/si n e  tr an s f o r m atio n   tec h n iq u e,   in - o r d er   to     de - co r r elate   an   im p o r tan t  i n f o r m atio n   f r o m   r ed u n d a n t  with in   th e  b lo ck .   T r a n s f o r m atio n   f o llo wed   b y   q u an tizatio n ,   h el p s   in   d ef in in g   th e  f in er   lev els  f o r   en c o d in g   t h e  tr an s f o r m   c o ef f icien ts   an d   r em o v in g   p er ce p tu a l   r ed u n d an t d ata,   h en ce   a b le  to   ac h iev e  f ir s t l ev el  o f   d ata  co m p r ess io n .     T h e  well - k n o wn   tr an s f o r m atio n   ar ch itectu r e  p r o p o s als  f o r   H E VC   an d   VVC  r ely   o n   two   1 D  p r o ce s s o r s   to   tr an s f o r m   r o ws  an d   co lu m n s   b y   tak in g   ad v a n tag e  o f   s ep ar ab le  p r o p er ties ,   co n n ec ted   th r o u g h   a  tr an s p o s itio n   m em o r y .   R ec o n f ig u r ab le  a r ch itectu r e  f o r   HE VC   2 D - DC T ,   s u p p o r tin g   b lo c k   s izes  f r o m   4 × 4   to   3 2 × 3 2   was   p r o p o s ed   b y   [ 5 ] .   T h e  d esig n   tar g ets  lo g ical  elem en ts   lik e  m u lti p lier s   an d   DSP  b lo ck s   with   lo ca l  s to r ag e  m em o r y   elem en ts   o n   FP GA.   T h e  s y n t h esized   d esig n   r ep o r te d   in   th e   r esu lt  s u s tain s   4 Kp 3 0   en co d i n g .   T h e  p r o ce s s in g   tech n iq u e  u s ed   in   [ 6 ] – [ 8 ]   is   an   ev en - o d d   d ec o m p o s itio n - b a s ed   tr an s f o r m atio n   b y   s h if t  an d   ad d   u n its   wh ich   is   m o r e  s u itab le  f o r   t h e  r ec o n f i g u r ab le  FP GA  p latf o r m   th a n   th e  m atr ix   m u ltip licatio n   m et h o d .   T o   r ed u ce   th e   co m p u tatio n al   co m p lex ity   o f   DC T - I I   in   HE VC ,   Me h er   et  a l.  [ 6 ]   p r o p o s ed   d if f er en t   in t eg er   ap p r o x im ated   ar ch itectu r es  o f   f o ld ed ,   f u ll  p ar allel  s tr u ctu r es  with   p r u n in g .   T h e  ad d itio n al  ad d er   tr ee   an d   m u x es  u s ed   in   th e   d esig n   in cr ea s e   d ata  p ath   c o m p lex ity   a n d   laten cy .   T h e   b u f f er   u s ed   b etwe en   1 D   an d   2 D  tr an s f o r m atio n   f o r   m atr ix   tr an s p o s e  o p er atio n   r ep o r ted   in   th e  liter atu r e  is   eith er   a  co m b in atio n   o f   r eg is ter   ar r a y   an d   m u ltip lex er s   [ 6 ]   o r   b ased   o n   R AM s   [ 7 ] .   A  u n if ied   ad ap tiv e  m u lti p le  tr an s f o r m   ( AM T )   ar ch it ec tu r e  p er f o r m in g   tr an s f o r m atio n   o f   all  s q u ar e  a n d   asy m m etr ic  s ize  co m b in ati o n s   f r o m   4 ,   8 ,   1 6 ,   an d   3 2   u s in g   m u ltip lier   I P c o r es   an d   DSPs   s u itab le  f o r   VVC  wer e  p r esen ted   in   [ 9 ]   ca n   r e n d er   2   K  r eso lu tio n   v i d eo   c o d i n g   at  5 0   f p s ,   b u t  th is   d esig n   [ 9 ]   is   p r o p o s ed   an d   test ed   f o r   en co d er   p ath   o n l y .   I n   [ 1 0 ] ,   [ 1 1 ]   a  g en er al  m u ltip lier - b ased   p ip elin ed   2 D - tr an s f o r m atio n   with   d u al  p o r t  SR AM   in   m atr ix   f o r m   is   u s ed   as  a  tr an s p o s e  m em o r y .   T h is   a p p r o ac h   o f   tr an s p o s e  m em o r y   u tili ze s   m o r e  a r ea   o n   th e  tar g eted   p latf o r m .   T h e   p r i m ar y   DC T - I I   an d   s ec o n d ar y   tr an s f o r m s   lik e  DC T - VI I I   an d   DST - VI I   h a r d war e   im p lem en tatio n s   [ 1 2 ] – [ 1 4 ]   r ep o r ted   g o o d   p er f o r m an ce   o n   S o C   FP GA.   T h e  n ew   in teg er   DC T   co ef f icien ts   d er iv ed   in   [ 1 5 ]   h ad   a  g o al  o f   s im ilar   p er f o r m a n ce   co m p a r ed   to   th e  o r ig in al  DC T ,   with   a  tr ad e - o f f   b etwe en   r eso u r ce   c o s t  an d   co m p r ess io n .   An   a r ch i tectu r e  s u p p o r tin g   all  tr a n s f o r m   s izes  o f   HE VC   b y   r ec u r s iv e  p r o ce s s in g   was  p r o p o s ed   b y   [ 1 6 ]   in v o lv es  id e n tify i n g   th e   n u m b er   o f   p ip elin ed   r eg is ter s   to   b e  i n clu d ed   in   th e  cr itical  p ath   to   o b tain   all   th e  o u tp u ts   in   a  s in g le  clo ck   c y cle.   T h e  r ec e n t V L SI  im p lem en tatio n   o f   i n teg er   ar ch itectu r e  b ased   o n   o b f u s c atio n   tech n iq u e  an d   s y s to lic  ar r ay   s tr u ctu r e  [ 1 7 ]   with   m in im al  co m p u tatio n al  o v er h ea d   r ep o r ted   g o o d   s p ee d   an d   lo w  p o wer   co n s u m p tio n .     T h e  u s u al   co d i n g   to o l   ap p li ed   af ter   tr an s f o r m atio n   is   t h e  q u an tizatio n   to   r em o v e  p er ce p tu al   r ed u n d an cy .   Qu an tizatio n   p r o ce s s   in   v id eo   co d ec   s tan d ar d   p lay s   a  cr u cial  r o le   in   ac h ie v in g   h ig h   co m p r ess io n   ef f icien cy   with o u t  s ig n if ican t  l o s s   in   v is u al  q u ality .   T h e  is o tr o p ic  h u m an   v is u al  s y s tem   ( HVS)   m o d el  p r o p o s ed   b y   Daly   is   ad o p ted   f o r   DC T   b ased   J PEG  im ag e  c o m p r ess io n   to   d er i v e  a   p er ce p t u ally   a d ap tiv e  q u an tizatio n   tab le  [ 1 8 ] ,   w h ich   is   u s ed   as  a   d ef au lt   QM in tr a   m atr i x   in   H E VC .   Kee p in g   HVS - co n tr ast  s en s itiv ity   f u n ctio n   ( C SF )   m o d el  in   m in d ,   th e  f r eq u en cy   b ased   q u an tizatio n   m at r ix   ( QM )   [ 1 9 ]   is   s u g g ested   to   s ca le  lo w  f r eq u en c y   co ef f icien ts   b y   f in er   v alu es  th a n   h ig h   f r eq u en cy   with in   th e  tr a n s f o r m ed   b lo ck .   T h e  d ef au lt  f r eq u en cy   d ep e n d en t   QM   b ased   o n   in tr a  a n d   in ter   p r ed icted   ty p e  tr a n s f o r m   b lo ck s   with   tr an s f o r m   s ize  is   d ef in ed   [ 1 9 ]   o n ly   f o r   4 ×4   an d   8 × 8   s ize.   Fo r   h ig h er   b lo c k   s ize  th e  8 ×8   s ize  m atr ix   v alu es  ar e  r ep ea te d   o n e  to   2 ×2   p atter n   f o r   1 6 × 1 6   s ize   m atr ix   an d   o n e  to   4 ×4   p atter n   f o r   3 2 × 3 2   s ize  m atr ix   r esp ec tiv ely .   T h e  co m m o n ly   ap p lied   b lo ck   b ased   lo s s y   v id eo   c o m p r ess io n   t o o ls   to   m ee t  n etwo r k   r eq u i r em en t  o f   u ltra   h ig h   d ef in itio n   telev is io n   ( UHDT V) ,   h as  to   h an d le  p r o b lem s   lik e  b lo ck in g ,   r in g in g   an d   b lu r r i n g   ar tifa cts.  T h e  co n to u r in g   ar tifa cts  ar e  m o s t  co m m o n ly   n o ticea b le  in   u ltra   h i g h   d ef in i tio n   ( UHD)   d is p lay s ,   b ec au s e   o f   c o ar s ely   q u an tized   h ig h   f r eq u en cy   v alu es  b y   s ca lar   q u an tizatio n .   T o   av o i d   th is   co n to u r i n g   p r o b lem ,   a n   a d ap tiv e  q u an tize  v alu es  to   b e  co n s id er ed   [ 2 0 ]   t o   av o id   ze r o in g   o f   d ea d   zo n e  v a lu es  an d   f alse  ed g es.  T h e  im p r o v em en t  in   HVS - C SF   m o d el   f o r   h ig h   r eso lu tio n   d is p lay s   s u g g ested   b y   [ 2 1 ]   a n d   d ev elo p ed   ad ap tiv e   QM   f o r   s ca lab le  HE VC ,   wh er e   h ig h   f r e q u en cy   co ef f icien ts   wer e  q u an tized   with   lo wer   wei g h t  v alu es  a n d   h e n ce   h a d   to   p a y   a  b it  m o r e  b u d g et.   T h e   p er ce p tu al  r ed u n d a n cies  ar e  ex p l o ited   b y   c o m b in i n g   t h e  lo s s less   tr an s f o r m   s tep   with   q u a n tizatio n   in   all  th e   v id e o   C ODE C   s tan d ar d s .   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8 9 3 8   I n t J Ar tif   I n tell ,   Vo l.  14 ,   No .   1 ,  Feb r u ar y   2 0 2 5 :  798 - 8 0 9   800   So   th e  p o s itio n   im p o r tan ce   o f   th e  tr an s f o r m ed   p ix els b y   E u cl id ea n   d is tan ce   m ea s u r em en t   f r o m   DC   co ef f icie n t  to   all  o t h er   AC   co ef f icien ts   in   L u m a  a n d   C h r o m a   C b   an d   C r   t r an s f o r m   b lo c k s   an d   n o r m alize d   d is p lay   r eso lu tio n   h y p o te n u s e  f o r   QM   d e r iv atio n   is   co n s id er ed   [ 2 1 ] ,   [ 2 2 ] .   Fit tin g   th e  co m p le x   B ar ten ’ s   C SF   m o d el  to   Daly   m o d el,   s u itab le  f o r   h ig h   d y n a m ic  r an g e  ( HDR ) - u ltra   h ig h   d ef i n itio n   v id eo ,   d e v elo p e d   [ 2 3 ]   f o r   b o th   L u m a  an d   C h r o m a   C SF   tu n ed   f r eq u en cy   weig h tin g   m atr ices  ( FW M)   f o r   8 ×8   tr a n s f o r m   u n it  ( T U)   s ize.   T h en   th is   m atr ix   ca n   b e  u p   an d   d o wn   s am p led   to   d e r iv e  QM   f o r   o th er   s izes.  T h e  f ir s t  QM   f o r   L u m a  an d   C h r o m a  co d i n g   was in v esti g ated   b y   co n s id er in g   th e  C SF   o f   DC T   s u b b an d s   f o r   R GB   v id eo s   [ 2 4 ] .   T h e  R ,   G ,   an d   B   ch a n n els  wer e  co m b in e d   with   1 :1 :4   r atio s   with   h ig h   p r io r ity   ass ig n ed   to   G - ch an n el  f o r   QM   d er iv atio n .   T h e  v is u al  q u ality   m etr ic  an aly s is   an d   th e  co r r esp o n d in g   ex p er im en t al  wo r k s   ar e  r ev iewe d   d etail  in   [ 2 5 ]   w h ich   ar e   m o r e   o n   HVS.   T h ey   also   s u g g ested   lear n in g   b ased   ad ap tiv e  q u an ti za tio n   ca n   ad v an ce   th e  p e r f o r m an ce   an d   will  also   b e  s u itab l e  f o r   m ac h in e  v is io n   ap p licatio n s .   Fro m   th e  liter atu r e  r ev iew,   it  is   r ev ea led   th at,   m o s t  r esear ch er s   s u g g ested   d if f er e n t  ar ch it ec tu r es  f o r   2 D  tr an s f o r m atio n   o f   s q u ar e  an d   r ec ta n g u lar   b lo ck   s izes.  Als o   p r o p o s ed   i n teg er   ap p r o x im atio n   o f   tr an s f o r m atio n   k er n el  c o ef f ici en ts   s u itab le  f o r   VL SI  im p le m e n tatio n s   an d   to   r ed u ce   co m p lex ity   o f   h an d lin g   r ea l  v alu es.  Nex t  d ef in ed   v a r io u s   m eth o d s   f o r   tr a n s p o s in g   t h e  in ter m ed iate  1 D  DC T   r esu lt  s u itab le  f o r   2 D  tr an s f o r m atio n .   T h en   ap p ly i n g   q u a n tizatio n   f o r   p er ce p tu al  r e d u n d a n cy   r em o v al  a n d   to   s u p p o r t  en t r o p y   c o d in g .   I n   all  th is   wo r k ,   h an d lin g   m u ltip le  d ata  v alu es  f r o m   th e  ex ter n al  s o u r ce   o r   s to r ag e  to   p r o ce s s in g   u n it  an d   p r o ce s s in g   d ata  in   p ar allel  with in   a  p ip elin e  ar ch itectu r e  s till   r em ain ed   ch allen g in g .   Als o   q u an tizin g   tr an s f o r m   co ef f icien ts   to   g iv e  a   b etter   b al an ce   b etwe en   r ed u n d a n cy   r em o v al  an d   im p r o v i n g   v is u al  q u al ity   o n   a  HD  d is p lay   is   a  d o m ain   o f   r esear ch   in ter est.   T h e   m ain   co n tr i b u tio n   o f   th e   p r o p o s ed   wo r k   to   ad d r ess   th e  g ap s   in clu d e  i)   t h e   s ize  o f   d ata  s elec tio n   b ased   o n   b lo ck   s ize  an d   im ag e  wid th   to   p er f o r m   tr an s f o r m atio n   o p er at io n   o f   m u ltip le  d at a   in   p ar allel.   Als o ,   th is   ap p r o ac h   allo ws f lex ib le  tr an s f o r m atio n   o f   s q u ar e  a n d   r ec ta n g u lar   d a ta  s izes sp ec if ied   in   n ew  C ODE C   s tan d ar d s ;   ii)  h a v in g   d ata  n ea r   to   t h e  p r o ce s s in g   u n it lo ad e d   t o   lin e   b u f f er s   an d   n ew   tech n iq u e  o f   1D - DC T   r esu lt  tr an s p o s e   u s in g   d em u x   an d   lin e b u f f e r s   ac ce ler ates  th e  p r o ce s s in g   o f   t r an s f o r m atio n   an d   q u an tizatio n   o p er atio n s ;  an d   ii i)   a d ap tiv e  q u an tizatio n   m et h o d   b ased   o n   d is p lay   r eso lu tio n   to   h av e  a  tr a d e - o f f   b etwe en   v is u al  q u ality   a n d   n u m b er   o f   en co d in g   b its   p er   p ix e l d u r in g   en tr o p y   c o d in g .   T h e  r est  o f   th e  s ec tio n   is   o r g a n ized   as  f o llo ws.  Sectio n   3   g iv es  th e  o u tlin e  o f   o u r   p r o p o s e d   m eth o d   an d   d etailed   m ath em atica l  m o d el  with   a n   ar c h itectu r al   f r am ewo r k   o f   in te g er   a p p r o x im ated   2 D - DC T   t r an s f o r m atio n   an d   p er ce p tu ally   o p tim ized   ad ap tiv e   q u a n tizatio n   m o d u les.  I n   s ec tio n   4 ,   th e  d ata  f lo w   ac ce ler atio n s   an d   p ip elin e  o p er atio n s   o f   p r o p o s ed   ar c h itectu r e  ar e  d escr ib e d   with   s im u latio n   an d   i m p l e m e n t a ti o n   r e s u lt s   o n   t h e   ta r g e t e d   F PG A   e v al u a t i o n   b o a r d s .   F i n al l y ,   t h e   c o n c l u s i o n   is   co v e r e d   i n   s e c t i o n   5.       3.   P RO P O SE D  M E T H O DO L O G Y   T h e  ar ch itectu r al  f r am ewo r k   i n   Fig u r e  1   g iv es  th e  o u tlin e  o f   th e  p r o ce s s in g   s u b - m o d u le s   an d   d ata  f lo w  ac ce ler atio n .   T h e   test   in p u t  will  b e  l o ad ed   s er ially   in t o   th e  o n - c h ip   lin e - b u f f er s   f o r   1 D  tr an s f o r m atio n   alo n g   th e  r o w.   T h e  n u m b er   o f   lin e  b u f f er s   in s tan t iated   will  b e  b ased   o n   tr an s f o r m   s ize  s elec tio n   an d   d ep th   o f   ea ch   lin e  b u f f er   is   eq u al  to   im ag e  wid th   s h o wn   i n   Fig u r e  1 .             F i g u r e   1 .   P r o p o s e d   s e r i a l   p a r al le l   d a t a - f l o w   p i p el i n e d   p r o c e s s in g   a r c h i t e c t u r e - h a r d w a r e   a cc e le r a t o r   f r a m e w o r k   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J Ar tif   I n tell     I SS N:   2252 - 8 9 3 8         S eria l p a r a llel d a ta flo w - p i p elin ed   p r o ce s s in g   a r ch itectu r e  b a s ed   a cc elera to r   … ( S u m a la th a   S h iva r u d r a ia h )   801   T h e  m ain   o b jectiv e  o f   r eq u ir ed   d ata  av ailab ilit y   n ea r   th e  p r o ce s s in g   u n it  is   ac h iev ed   b y   th ese  lin e  b u f f er s .   T h e   tr an s f o r m   k er n el   co ef f icien ts   - T   ar e   lo ad e d   i n to   a  r ea d   o n ly   m em o r y   ( R OM )   b ased   o n   tr a n s f o r m   s ize  s elec tio n .   T h e  f ir s t  1 D - tr a n s f o r m atio n   alo n g   r o w - wis e  an d   s ec o n d   2 D - t r an s f o r m ati o n   alo n g   c o lu m n - wis e  will b e  p e r f o r m ed   b y   g en e r al  m atr ix   m u l tip licatio n   m eth o d .   Af ter   ev er y   m u ltip licatio n   u s u al  d ata  tr u n ca tio n   is   p er f o r m ed   b y   s ca lin g   to   m ain t ain   d ata  s ize  o f   1 6 - b it  af ter   ev e r y   s tep .   T h e  s ca lin g   f ac to r   d ep en d s   o n   p ix el  d ep t h   ‘ B ’   an d   ‘ K’   wh ich   is   a  lo g ar ith m ic  v alu e  o f   th e   s elec ted   b lo ck   s ize  ’ N’ .   T h e   1 D - tr an s f o r m atio n   o u tp u t  will  b e   tr an s p o s ed   b y   DE MU X  an d   l in e  b u f f e r s ,   wh ich   will  b e  f e d   to   th e  s ec o n d   co lu m n - wis e  tr an s f o r m atio n   b y   m u ltip licatio n   with   T ’ .   T h is   way   o f   tr an s f o r m atio n   s u p p o r ts   b o th   s q u ar e  a n d   r ec tan g u lar   tr an s f o r m atio n   o f   v ar io u s   s iz es  as  s h o wn   in   Fig u r e  1 .   T h e  2 D - t r an s f o r m atio n   o u tp u t  will  b e  th e n   q u an tized   b a s ed   o n   q u an tizatio n   p ar am eter ,   b lo c k   s ize,   an d   f r a m e  s ize  co n f ig u r ed   b y   co n tr o l   u n it  to   o b tain   tr an s f o r m   co e f f icien t  lev el.   As  th e   p r o p o s ed   ar c h itectu r e  is   a   u n if i ed   s tr u ctu r e,   th e   p r o ce s s   o f   f o r war d   tr an s f o r m atio n   is   p er f o r m ed   in   r ev e r s e  o r d er   f o r   in v e r s e  tr an s f o r m   an d   in v er s e  q u an tizatio n .   T h e  s er ial  a n d   p ar allel  d ataf lo w  th r o u g h   s u b   m o d u les  o f   th e   ar ch itectu r e  with   f o u r   s tag e  p i p elin ed   o p er atio n s   ar e  d escr ib ed   in   d e tail in   th e   n ex t sectio n s .     3 . 1 .     I nte g er   a pp ro x im a t ed  2 D - t ra ns f o rm   a rc hite ct ure   T h e   m o s t  wid ely   u s ed   tr an s f o r m atio n   ty p e  in   im a g e  p r o ce s s in g   an d   v id eo   c o m p r ess io n   s tan d ar d   is   th e  DC T - I I .   T h e  u n if ied   s ep ar a b le  2 D  tr an s f o r m   o f   a n   in p u t im a g e/f r am e  o f   s ize  Mx N  is   co m p u ted   in   ( 1 ) .     T i , j = { 1 √ N if   i = 0 √ 2 N c os ( 2j + 1 ) i π 2N if   i > 0 }   ( 1 )     I n   ( 1 ) ,   T i , j   r e p r es en ts   t h e   el em e n t  v al u e  o f   t h e   t r a n s f o r m ati o n   co e f f ici en t  m at r i x   in   r ea l;  i  is   t h e  r o w  in d ex ,   j  is   t h e   co l u m n   i n d e x ,   N  is   t h e   t r a n s f o r m   s i ze ;  an d   i ,   j  =  0 ,   1 ,   .   .   .   ,   N   −   1 .   I n   o r d er   t o   p r o c ess   t h e  t r an s f o r m a ti o n   i n   i n te g er ,   th e   i n t eg e r   ap p r o x i m ati o n   o f   r ea l   c o e f f ic ie n ts   i n   ( 1 )   c an   b e   o b ta in e d   b y   ( 2 )   d e f i n e d   as:       , =  [ 2 ∗ , ]   ( 2 )     wh er e  n = 6 +  2 2 = 6 + 2   an d   N=   tr an s f o r m ati o n   s ize.   T h e  two - d im e n s io n al  tr an s f o r m   o f   an   Mx N  b lo c k   o f   r esid u al  m atr ix   ca n   b e  ac h ie v ed   b y   ( 3 ) ,   f ir s t   ap p ly in g   a  o n e - d im en s io n al  t r an s f o r m   to   ea c h   r o w  o f   th e   b l o ck   an d   th en   a p p ly in g   an o th e r   o n e - d im en s io n al  tr an s f o r m   to   ea ch   co l u m n   o f   t h e  r o w - tr a n s f o r m ed   r esu lt.      = ′   ( 3 )     T h e  m atr ix   f o r m   o f   th e  4 - p o in t o n e - d im e n s io n al  tr an s f o r m   is   g iv en   b y   ( 4 ) .     = ∗ = [ 00 01 10 11 02 03 12 13 20 21 30 31 22 23 32 33 ] = [ 00 01 10 11 02 03 12 13 20 21 30 31 22 23 32 33 ] ∗ [ 00 01 10 11 02 03 12 13 20 21 30 31 22 23 32 33 ]   ( 4 )     A s   s h o wn   in   ( 4 ) ,   X  r ep r esen ts   th e  p ix el  r esid u al  m atr ix ,   T   is   th e  4 - p o in t  tr an s f o r m   k e r n el  m atr ix ,   an d   P  is   th e  1D - tr an s f o r m e d   r esu ltan t  m a tr ix .   T h e   ca lcu latio n   f o r m u la   f o r   th e   s ec o n d   lev el  o f   tr a n s f o r m atio n   to   g et     2D - tr an s f o r m   o u tp u t c an   b e  ex p r ess ed   as in   ( 5 ) .     = ∗ ′ = [ 00 01 10 11 02 03 12 13 20 21 30 31 22 23 32 33 ] = [ 00 01 10 11 02 03 12 13 20 21 30 31 22 23 32 33 ] ∗ [ 00 10 01 11 20 30 21 31 02 12 03 13 22 32 23 33 ]   ( 5 )     B ased   o n   th e  ab o v e  s tep s   o f   co m p u tatio n   th e  ar ch itectu r e  is   d esig n ed   as  s h o wn   in   Fig u r e  2 .   T h e   co m p lete  p ip elin e  ar ch itectu r e   h as  m ain ly   f o u r   im p o r tan t  m o d u les:   i )   in p u t  p ix el  co n tr o l  u n it,  ii)  lin e - b u f f er s ,   iii)  p r o ce s s in g   u n it,  an d   iv )   o u tp u t  b u f f er .   T h e  tr a n s f o r m   a cc eler ato r   m o d u le  h as  a  v er y   r eg u lar   s tr u ctu r e  f o r   b o th   1 D  a n d   2 D  f o r war d /in v er s e  tr an s f o r m .   Hen ce   g iv es a   m o r e  ef f icien t  p ip elin in g   o f   th e  s u b   m o d u le  as we ll  as m ax im u m   f r e q u en c y   o f   o p e r atio n .     Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8 9 3 8   I n t J Ar tif   I n tell ,   Vo l.  14 ,   No .   1 ,  Feb r u ar y   2 0 2 5 :  798 - 8 0 9   802       Fig u r e  2 .   Pip elin e  a r ch itectu r e   o f   2 D - tr a n s f o r m atio n       3 . 1 . 1 .   I np ut  pix el  co ntr o l uni t   T h e  m ain   f u n ctio n   o f   th is   co n tr o l  u n it  is   to   h an d le   th e  d a ta  m o v em e n t  f r o m   ex ter n al   s o u r ce s   to     lin e - b u f f e r s   i.e .   d ata   wr itin g   o p er atio n s ,   a n d   f ee d   to   p r o ce s s in g   elem en ts   f r o m   lin e - b u f f er s   i.e .   d ata  r ea d in g   o p er atio n .   T h e  n u m b er   o f   r o w s   to   b e  ac ce s s ed   f r o m   th e  in p u t  f r am e  d ep en d s   o n   th e  b lo c k   s ize  co n s id er ed   f o r   o p er atio n .   T h e  b l o ck   s ize  s elec tio n   f o r   t r an s f o r m atio n   a n d   q u an tizatio n   is   p ar am eter ized ,   s o   th e   co r r esp o n d in g   n u m b er   o f   lin e - b u f f er s   an d   o th er   f u n ctio n al  u n its   ca n   b e   in s tan tiated   ac co r d in g l y .   T h e  s tate  d iag r am   in     Fig u r e  3   illu s tr ates  th e  r ea d   a n d   wr ite  co n tr o l  o f   lin e - b u f f e r s .   T h e  d ep th   o f   th e  lin e - b u f f er   is   d ec id ed   b y   t h e  n u m b er   o f   c o lu m n s   in   t h e  in p u t f r am e  a n d   s ize  o f   ea c h   lo ca t io n   is   eq u al  to   in p u t p i x el  s ize.             Fig u r e  3 .   Fin ite  s tate  m ac h in e  f o r   in p u t c o n tr o l u n it   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J Ar tif   I n tell     I SS N:   2252 - 8 9 3 8         S eria l p a r a llel d a ta flo w - p i p elin ed   p r o ce s s in g   a r ch itectu r e  b a s ed   a cc elera to r   … ( S u m a la th a   S h iva r u d r a ia h )   803   3 . 1 . 2 .   L ine - bu f f er s   As  s h o wn   in   th e   h ar d war e  a r c h itectu r e  f r a m ewo r k   in   Fig u r e   2 ,   t h e  lin e - b u f f e r s   ar e  u s ed   at   th e  in p u t  s tag e  o f   1 D  an d   2 D  tr an s f o r m s .   T h e  t o tal  d ep t h   o f   th e   li n e - b u f f er s   u s ed   at  th e   in p u t  o f   b o th   1 D  an d   2 D  tr an s f o r m s   is   eq u al  to   th e  co lu m n   v alu e  o f   th e  in p u t  f r am e .   T h e  d ata  wid th   o f   lin e - b u f f er   u s ed   b ef o r e  1 D  tr an s f o r m atio n   is   8 - b it,  as  it  s to r es  in p u t  p ix el  v alu es  an d   th e   d ata  wid th   o f   lin e - b u f f er   u s ed   at  th e  in p u t  o f   2 D   tr an s f o r m atio n   is   a  1 D - DC T   o u tp u t  o f   1 6 - b it.  T h e  r eg is ter   tr an s f er   lev el  ( R T L )   elab o r ated   lin e  b u f f er   m o d u le  is   s h o wn   in   Fig u r e  4 .           Fig u r e  4 .   R T L   elab o r ated   lin e - b u f f er   m o d u le  b ef o r e  1 D - t r an s f o r m atio n       3 . 1 . 3 .   P ro ce s s ing   un it   I f   th e  b lo ck   s ize  s elec ted   f o r   tr an s f o r m atio n   is   4 × 4 ,   th en   b a s ed   o n   ( 4 ) ,   th e  f o u r   r o w  elem en ts   o f   th e   tr an s f o r m   m at r ix   co e f f icien ts   an d   f o u r   c o lu m n   elem en ts   o f   t h e  d ata  m atr i x   ar e  f ed   t o   th e  c o m p u tin g   u n it.   T h is   is   b asically   an   elem en t   wis e  m u ltip lier   a n d   ad d er .   Du r in g   th e   f ir s t  1 D   tr an s f o r m ati o n   s tep ,   f ir s t  f o u r   tr an s f o r m atio n   c o ef f icien ts   g et   m u ltip lied   with   th e  f o u r   co l u m n   d ata  elem en ts ,   wh ich   ar e   co n tin u o u s ly   s tr ea m ed   b y   in p u t  lin e - b u f f e r s ,   th er e b y   r esu ltin g   in   th e  tr an s f o r m ed   r o w - 0   o u tp u t.   T h e n   th e  n ex t  r o w  f o u r   tr a n s f o r m   co ef f icien ts   ar e  s elec ted   an d   m u ltip lied   with   th e  p r ev io u s l y   s elec ted   co lu m n   d ata  v alu e s   to   g en er ate  r o w - 1  o u tp u t  v alu es  o f   a  1 D - tr an s f o r m atio n .   Fo r   d ec id in g   th e   1 D - r o w  wis e  tr an s f o r m atio n   o p e r a tio n   th e  4 :1   m u x   is   u s ed .   T h e  o b tain ed   1 D - tr a n s f o r m ed   v alu es  ar e  tr a n s p o s ed   u s in g   1 :4   d e m u x   a n d   th e  s ec o n d   s et  o f   lin e - b u f f er s .   T h ese  1 D - tr an s f o r m ed   v al u es  ar e  ap p lied   t o   th e  co l u m n - wis e   2 D  tr an s f o r m atio n   m o d u le  as  d ep icted   in   ( 5 ) .   T h e   r esu lt o f   th is   m o d u le  is   th e  r o w - wis e  f in al  o u tp u t o f   th e  tr a n s f o r m ed   f r am e.     3 . 1 . 4 .   O utput   bu f f er   T h e  tr an s f o r m ed   r esu lts   ar e  s en t  s eq u en tially   to   t h is   o u tp u t  b u f f er ,   w h ich   is   b asically   an   A XI - s tr ea m   b ased   s in g le  clo ck   en ab led   FI FO.  T h e  d ep t h   o f   FIFO  is   k ep t   1 6   b y tes  an d   wid th   is   1 6 - b it.  T h r o u g h   th is   b u f f e r   m o d u le,   r esu ltan t  d ata  ca n   b e  s en t  to   th e  DR AM   m em o r y   an d   to   th e  q u a n tizatio n   m o d u le  o r   to   an y   tr a n s f o r m   d ep en d e n t p r o ce s s in g   m o d u le,   i.e .   ev en   f o r   i n v er s e  tr an s f o r m atio n   wit h o u t  q u an tizatio n .     3 . 2 .     P er ce ptua lly   a da ptiv e  f re qu ency   depe nd ent   q ua ntiz a t io n   T h e  ar ch itectu r e   m ain ly   co n s i d er s   th e  ad a p tiv e  QM   d e r iv ed   b ased   o n   d is p lay   r eso lu tio n   p ar am eter   ‘ w’ ,   th e  p er ce p tu al  im p o r ta n t  weig h t  v alu e  c o n s id er atio n   o n   d is tan ce   m ea s u r em en t  ‘ E u d ’   b etwe en   DC   an d   AC   co ef f icien ts   with in   TU   b l o c k   s ize  an d   f in ally   m o d if y i n g   2 D  FW M,   H( u , v ) .   I n   th is   en tire   p r o ce s s   th e  m eth o d o l o g y   p r o p o s ed   in   [ 21 ] ,   [ 22 ]   is   f o llo wed   an d   th e  p ar am eter s   lis ted   wer e  m o d if ied   in   eq u atio n s ,   ex p lain e d   in   d etail  as f o llo ws .     3 . 2 . 1 .   Q ua ntiz a t io n  m a t rix   ba s ed  o n dis p la y   re s o lutio n   B ased   o n   d is p lay   s cr ee n   s ize,   t h e  n o r m alize d   h y p o ten u s e  v alu e  p ar am eter   ‘ h ’ ,   in   p ix els  ca n   b e  m o d ele d   as   in   ( 6 ) :   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8 9 3 8   I n t J Ar tif   I n tell ,   Vo l.  14 ,   No .   1 ,  Feb r u ar y   2 0 2 5 :  798 - 8 0 9   804   ℎ = ℎ ℎ ℎ ∈ [ 0 , 1 ]   ( 6 )     wh er e,   ℎ ℎ  =   th eo r etica l  m ax im u m   h y p o ten u s e  v alu e ,   in   p i x els  an d   ℎ =  ac tu al  m ax im u m   h y p o te n u s e  v alu e,   i n   p ix els.   C alcu latin g   ‘ h ’   b ased   o n   r eso l u tio n   o f   d is p lay   u n it,  d ep en d s   o n   h theoretic al   an d   h actual   d ef i n ed   b y   u s in g   ( 7 )   an d   ( 8 ) :     ℎ ℎ  = √ 2 +  2   ( 7 )     ℎ = √ 2 + 2   ( 8 )     T h e   th eo r etica l  m ax im u m   p i x el  v alu es     an d      o n   th e   m a x im u m   p o s s ib le  im ag e  s ize,   in   p ix els,   p er m itted   in   th e  J PEG  s tan d ar d   is   6 5 5 3 5 × 6 5 5 3 5   [ 1 4 ] .   T h er e f o r e,   s u b s titu tin g    =6 5 5 3 5   an d    =6 5 5 3 5   in to   ( 7 )   g iv es  ℎ ℎ  =9 2 6 8 0 . 4 8 5 8 .   T h en   th e  v alu es  x   an d   y   f o r   2   k   an d   4   k   r eso lu tio n   d is p la y ,   as  p er   s tan d ar d   HD  s ize  is   co n s id er ed   in   wo r k   is   1 9 2 0 × 1 0 8 0   an d   3 8 4 0 × 2 1 6 0   r esp ec tiv el y .   T ab le  1   s h o ws th e  ℎ   an d   h   v alu es f o r   b o th   2   k   an d   4   k   r eso lu tio n .         T ab le  1 .   Dis p lay   r eso lu tio n   an d   co r r esp o n d in g   h y p o ten u s e   R e s o l u t i o n   x   y   ℎ   h   2   K   1 9 2 0   1 0 8 0   2 2 0 2 . 9 0 7 2   0 . 0 2 3 7 7   4   K   3 8 4 0   2 1 6 0   4 4 0 5 . 8 1 5 3   0 . 0 4 7 5 4       T h e  r eso lu tio n   p ar am ete r   w  in - ter m s   o f   n o r m alize d   h y p o te n u s e  ‘ h ’   is   q u an tifie d   in   ( 9 ) .   F r o m   ( 9 )   it  is   clea r   th at   w  is   to tally   co n tr o lled   b y   ap p r o p r iate  n o r m alize d   d is tr ib u tio n   o f   ℎ ℎ   an d   h   v al u es.      = ℎ ℎ  ℎ ∈ [ 0 , 1 ]   ( 9 )     3 . 2 . 2 .   Q ua ntiz a t io n  m a t rix   ba s ed  o n po s it io na l im po rt a nce  o f   t r a ns f o rm   co e f f icient   T h e  b l o ck   wis e  tr a n s f o r m e d   c o ef f icien ts   ar e   en er g y   co m p ac ted   p ix el   v alu es,   wh er e   th e  d c   an d   lo w   f r eq u e n cy   AC   co m p o n en ts   h a v e  to   b e  r etain e d   with   ca r e  a n d   h ig h   f r e q u en c y   AC   co m p o n en t s   h av e  to   b e  s ca led .   T h e  p ix el   p o s itio n   b ased   o n   t h is   r eq u ir em e n t  ca n   b e   ca lcu l ated   b y   n o r m alize d   E u clid ea n   d is tan ce   p ar a m eter    ( , )   g iv en   b y   ( 1 0 ) .        ( , ) = √ ( 1 − 2 ) 2 + ( 1 − 2 ) 2 ( 1 − ) 2 + ( 1 − ) 2 ∈ [ 0 , 1 ]   ( 1 0 )     W h er e,   ( i 1 ,   j 1 ) =   p o s itio n   o f   th e   DC   co ef f icien t,   ( i 2 ,   j 2 ) =  p o s itio n   o f   th e  c u r r e n t  AC   co ef f icien t.     (i max   ,  j max ) =  p o s itio n   o f   th e   last   AC   co ef f icien t f r o m   DC   co ef f icien t f o r   th e   co n s id er e d   b lo c k   s ize.   Fin ally ,   a  p ar am eter   M i,   j   t h at  r elate s   b o t h   d is p lay   r eso lu tio n   an d   p e r ce p tu ally   im p o r tan t  tr an s f o r m   co ef f icien ts   p o s itio n   in   t h e   co n s id er ed   b lo c k   s ize  is   g iv en   b y   ( 1 1 ) .     , (  , , ) = − [  , 1 + ] ∈ [ 0 , 1 ]   ( 1 1 )     N o w  th is   M i, j,   is   ap p lied   to   ea c h   elem en t   o f   m atr ix   H( x ,   y )   lo ca ted   at  p o s itio n   ( i,   j) ,   d e n o ted   as  Hi,   j   d ef in e d   in   [ 21 ]   to   p r o d u ce   a n   ad a p tiv e  2 D  FW M  H ' ( i,  j) .       , ′ = ,  ,   ( 1 2 )      =  ( , )   ( 1 3 )     Fin ally ,   th e  ad a p tiv e   QM   in   ( 1 3 )   ca n   b e   o b tain e d   f r o m   ( 1 2 )   an d   th e  q u an tizatio n   p ar am e ter   wh ich   co n tr o ls   q u an tizatio n   s tep   s ize.   T h is   m atr ix   will  b e  u s ed   to   q u an tize  th e  tr an s f o r m   c o ef f ic ien ts   b y   r ig h t  s h if t  o p er atio n s   in s tead   o f   r e g u lar   e lem en t - wis e  d iv is io n   o p e r atio n s .   T h e  s am e   QM   will b e  s h ar ed   b etwe en   f o r war d   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J Ar tif   I n tell     I SS N:   2252 - 8 9 3 8         S eria l p a r a llel d a ta flo w - p i p elin ed   p r o ce s s in g   a r ch itectu r e  b a s ed   a cc elera to r   … ( S u m a la th a   S h iva r u d r a ia h )   805   an d   in v er s e  p ath   as  s h o wn   in   F ig u r e  1 .   Hen ce   d u r in g   in v er s e  q u an tizatio n ,   ea ch   t r an s f o r m   c o ef f icien t  lev el   will  b e  s h if ted   lef t b y   th e  co r r esp o n d in g   v alu e  s p ec if ied   i n   th e  QM   in s tead   o f   r eg u lar   m u ltip licatio n s .         4.   RE SU L T S AN D  D I SCU SS I O N    I n   th is   s ec tio n ,   f ir s t  th e  d etails  o f   th e  e x p er im en tal  s etu p ,   lik e  th e  to o l  u s ed   t o   co d e   th e  p r o p o s ed   d esig n   with   in p u t  test   d ata,   f o llo wed   b y   f u n ctio n al  v er i f icatio n   o f   th e  2 D  tr an s f o r m   a n d   q u an tiz atio n ,   ar e  o u tlin ed .   On ce   th e  f u n ctio n al  co r r ec tn es s   o f   in d iv id u al  m o d u les  an d   i n teg r ated   s y s tem   lev el  is   test ed   b y   s im u latio n ,   t h e  d esig n   is   s y n th esized   an d   im p lem en ted   o n   th e  ta r g eted   So C   FP GA  h ar d war e.   T h e  im p le m en tatio n   r esu lts   o n   th e  h ar d war e  ar e   tab u lated   in   t er m s   o f   r eso u r ce   u tili za tio n   an d   o p e r atin g   f r eq u en cy .   Als o   s h o wn   ar e   co m p a r is o n   r esu lts   o f   th e  p r o p o s ed   d esig n   with   th e  r esear ch   wo r k s   o f   o t h er s .     4 . 1 .     E x perim ent a l set up   a nd   f un ct io na l v er if ica t io n by   s i m ula t io n   T h e  p r o p o s ed   ar ch itectu r e   o f   2 D  tr an s f o r m atio n   an d   q u an tizatio n   ac ce ler ato r   m o d u l es  an d   th e   co r r esp o n d in g   test b en c h   is   co d ed   in   Ver ilo g   u s in g   Xilin x   Viv ad o   2 0 2 2 . 2 .   At  th e  s y s tem   lev el,   all  th ese  m o d u les  ar e   in s tan tiated   in   th e  to p   m o d u le  an d   co m p iled   t o   f it  th e  tar g eted   h ar d war e.   T h e  elab o r ated   co m p lete  ar ch itectu r e  is   s h o w n   b el o w  with   two   s p lit  s tag es  o f   1 D - tr an s f o r m atio n   in   Fig u r e   5   a n d   2 D - tr an s f o r m atio n   in   Fig u r e  6 .             Fig u r e  5 .   E la b o r ated   s ch e m atic  o f   1 D  tr a n s f o r m atio n   s tag e       Fig u r e  6 .   E la b o r ated   s ch e m atic  o f   2 D  tr a n s f o r m atio n   s tag e       T h e  p ix el  v alu es   o f   th e  im ag e  ar e  r ea d   as  a  h ex a d ec im al  ch a r ac ter   u s in g   f ile  o p e r atio n s   s u p p o r ted   i n   Ver ilo g   HDL   in clu d ed   in   test   b en ch   c o d e.   T h e   s im u latio n   w av ef o r m s   o b tain ed   f r o m   Viv a d o   Simu lato r   2 0 2 2 . 2   ar e  s h o wn   s tar tin g   f r o m   d ata  r ea d   in to   lin e  b u f f er s   th en   f ee d i n g   to   th e  tr an s f o r m atio n   a n d   q u an tizatio n   m o d u le  f o llo wed   b y   wr itin g   to   th e  o u t p u t  b u f f er .   I n   th e  f o llo win g   s im u latio n   wav ef o r m   th e  s tag e  wis e  o p er atio n   o f   th e   ac ce ler ato r   m o d u les  ar e  illu s tr ated   co n s id er in g   th e  b l o ck   s ize  f o u r   an d   im ag e  s ize  5 1 2 × 5 1 2   with   p ix el  s ize  o f   eig h t  b it.  T h e  lin e   b u f f er s   ar e   lo ad ed   with   in p u t  p i x els,  r o w  wis e  s eq u en tially   o n e  af ter   th e  o th er   s h o wn   in   Fig u r e  7 ( a)   an d   r ea d i n g   f o u r - p ix el  v alu es  co lu m n   wis e  f o r   f ee d in g   to   tr a n s f o r m atio n   o p er atio n   is   s h o wn   in   Fig u r e  7 ( b ) .       Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8 9 3 8   I n t J Ar tif   I n tell ,   Vo l.  14 ,   No .   1 ,  Feb r u ar y   2 0 2 5 :  798 - 8 0 9   806       ( a)   ( b )     Fig u r e  7 .   Data   m o v em en t  f r o m   s o u r ce   to   p r o ce s s in g   u n it th r o u g h   lin e  b u f f er s   ( a )   s er ial  d a ta  wr itin g   to   lin e  b u f f er s   an d   ( b )   p a r allel  d ata  r e ad in g   f r o m   lin e  b u f f er s       As  t h e   i n p u t   im ag e  h as   5 1 2   c o l u m n s ,   to tal   5 1 2 × 4 =2 0 4 8   p i x e ls   a r e   w r itt e n   f i r s t   i n t o   th e  li n e   b u f f er s   a n d   it  w ill   b e   p r o c ess e d   b y   t h e   1 D   t r a n s f o r m   m o d u l e  as  p er   e q u a ti o n   ( 4 ) .   As  s h o w n   i n   F ig u r e   8   th e  1 D   t r a n s f o r m ati o n   o f   t h e  f i r s t   4   p ix els  ta k es   t h r e e  cl o ck   c y c les ,   w h e r e   m u lt i p li ca ti o n   an d   ac cu m u la ti o n   o f   f o u r   p a r ti al  p r o d u cts   h a p p e n s   in   o n e   cl o c k   c y c le   a n d   th e n   m o v i n g   d ata   t h r o u g h   p i p el in e  r eg is te r s   ta k es   tw o   cl o c k   c y cl es.   S o   t o   g et   o n e   s e t   o f   f o u r   t r a n s f o r m e d   r o w  DC T   o u tp u t ,   it   ta k es   7   c lo c k   cy cles .   N o w   e ac h   o f   t h ese   1 D - DC T   r o w   v a lu es   a r e   tr a n s p o s e d   u s i n g   d e - m u lt ip le x er   a n d   s ec o n d   s ta g e   li n e  b u f f e r s   as   s h o w n   i n   F i g u r e   9 .   B as e d   o n   d e - m u lt ip le x e r   s ele ct   li n e   in p u t ,   t h e   d e - m u l ti p l ex er   o u t p u t   wil l   b e   f e d   to   li n e   b u f f er s   at   e v e r y   cl o ck   cy cle ,   w h i ch   w ill   b e   ac c ess e d   b y   2 D - tr an s f o r m ati o n   m o d u le   f o r   co l u m n - wis e   t r a n s f o r m ati o n   as   p er   ( 5 )   a n d   s h o w n   i n   ar ch i tect u r e  Fi g u r e   2 .   A t  ev er y   cl o c k   c y c le   t h e   1 D  t r a n s f o r m e d   p i x el  g ets  m u lti p l ie d   w ith   t r a n s p o s e d   k e r n el   c o ef f i cie n ts   t o   p r o d u c e  f o u r   p a r ti al  p r o d u ct  co lu m n s ,   s h o w n   i n   Fi g u r e   1 0 .   A ll  th ese   p ar tia l   p r o d u c ts   ar e  a cc u m u lat ed   r o w   wis e  at  f o u r t h   cl o c k   cy cles   t o   o u t p u t   f o u r   2 D -   t r an s f o r m e d   r esu lts .             Fig u r e  8 .   1 D  tr an s f o r m atio n   o u tp u t           Fig u r e  9 .   1 D  tr an s f o r m atio n   o u tp u t tr an s p o s e  u s in g   DE MU X  an d   s ec o n d   s tag e  lin e - b u f f er s           Fig u r e   1 0 .   Ser ial  an d   p ar allel  p r o ce s s in g   o f   2 D - tr an s f o r m ati o n   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J Ar tif   I n tell     I SS N:   2252 - 8 9 3 8         S eria l p a r a llel d a ta flo w - p i p elin ed   p r o ce s s in g   a r ch itectu r e  b a s ed   a cc elera to r   … ( S u m a la th a   S h iva r u d r a ia h )   807   Hen ce   in   t h e   p r o p o s ed   ar c h itectu r e,   b ased   o n   th e   s elec ted   b lo ck   s ize,   th e   m u ltip le  p ix el  d ata,   m ad e   av ailab le  n ea r   th e  p r o ce s s in g   m o d u le  with in   lin e  b u f f er s   an d   th en   th is   d ata  will  b e  p r o ce s s ed   to   h av e  m u ltip le   o u tp u ts   in   p ar allel.   T h e  QM   o b tain ed   f r o m   ( 1 3 )   f o r   th e  s elec ted   q u an tizatio n   p a r am eter   will  b e  u s ed   to   q u an tize   ev er y   2 D - t r an s f o r m ed   o u tp u t   p ix el  b y   r ig h t  s h if t   o p e r atio n .   Hen ce   th e  p r o p o s ed   d esig n   h a s   f o u r   p ip elin e  s tag es  lik e  1 D  tr a n s f o r m atio n ,   d ata   tr an s p o s e,   2 D  tr an s f o r m ati o n   an d   q u an tizatio n .   I n   th e   p r o p o s e d   p ip elin e   ar ch itectu r e,   f o r   th e  s elec ted   4 × 4   b lo c k   s ize  p r o ce s s in g   s h o wn   in   Fig u r e  1 1   h as  a  laten c y   o f   1 5   clo ck   c y cles  f r o m   i n p u t  t o   o u tp u t.  T h e  T ab le  2   s h o ws  th e   to tal  clo ck   cy cles  r eq u ir e d   to   p r o ce s s   tr an s f o r m atio n   an d   q u an tizatio n   o f   d if f er en t  b lo ck   s izes f r o m   4 × 4   to   3 2 × 3 2   with   p ip elin e  laten cy   o f   ea c h   s tag e.           Fig u r e  1 1 .   2 D - t r an s f o r m atio n   an d   q u an tizatio n   p i p elin ed   o p er atio n   o u t p u t f o r   b lo c k   s ize  4 × 4       T ab le  2 .   Nu m b er   o f   clo ck   cy cl es r eq u ir ed   f o r   2 D - DC T   La t e n c y   o f   p i p e l i n e   s t a g e s   B l o c k   s i z e   4 × 4   B l o c k   s i z e   8 × 8   B l o c k   s i z e   1 6 × 16   B l o c k   s i z e   3 2 × 32   D C T - 1   I / p   t o   D C T - 1   o / p   3   3   3   3   Tr a n s p o se  1 D - D C T   o / p   4   4   4   4   D C T - 2   i / p   t o   D C T - 2   o / p   4 + 1 = 5   8 + 1 = 9   1 6 + 1 = 1 7   3 2 + 1 = 3 3   Q u a n t i z a t i o n   a n d   f i n a l   o / p   t h r o u g h   o u t p u t   b u f f e r   3   3   3   3   To t a l   c l o c k   c y c l e s   15   19   27   43       4. 2 .    Sy nthesis   re s ults a nd   d i s cus s io n   T h e  Xilin x   Viv ad o   2 0 2 2 . 2   s y n th esis   to o l   is   u s ed   to   s y n th esize  th e  p r o p o s ed   s ca lab le  tr an s f o r m atio n   an d   q u an tizatio n   p i p elin e  ar ch itectu r e  wh ich   d o es  th e   u n if ie d   f o r war d   an d   in v e r s e  o p er ati o n s   o f   in p u t  d ata  i n   ter m s   o f   b lo c k   s izes  4 × 4   to   3 2 × 3 2 .   T h e   s y n th esis   an d   im p le m en tatio n   o f   th e  p r o p o s ed   a r c h itectu r e  is   tar g eted   to   two   d if f e r en t  So C   FP GA  d ev ices  Z y n q   Z C 7 0 2   an d   Z y n q   Ultr ascale+   Z C U - 104   r esp ec t iv ely .   T h e  T ab le   3  s h o ws  th at  th e  p r o p o s ed   p i p elin e  ar ch itectu r e  h as  a  tr ad e - o f f   b etwe en   p o wer   co n s u m p tio n   a n d   s p ee d ,   wh er e  o n   th e  lo w  e n d   FP GA  Z C 7 0 2   c o n s u m es  less   en er g y   th an   h ig h   e n d   Z C U - 1 0 4   FP GA  o f   av er ag e  p o wer   c o n s u m p tio n   0 . 1 5   W.   T h e  p er f o r m an ce   o f   t h e  ar ch itectu r e  o n   h i g h   e n d   FP GA  is   alm o s t  twice  th at  o f   l o w  en d   FP GA.   Als o   n o ticed   th at  th e  o p er atin g   f r e q u en cy   o f   th e  a r ch itectu r e  d ec r ea s es a s   th e  b lo ck   s ize  in cr ea s es.    T h e   p r o p o s ed   p ip elin ed   a r ch i tectu r e  is   co m p ar e d   with   o th er   h ar d war e   im p lem en tatio n s   s h o wn   in   T ab le   4 .   T h e  r eso u r c e  u tili za tio n   an d   n u m b er   o f   clo ck   cy cle s   r eq u ir ed   to   p r o ce s s   th e  m ax im u m   b lo ck   s ize  o f   32 × 3 2   in   t h e  p r o p o s ed   ar c h itectu r e  is   co m p a r ed   with   o th er s   wo r k .   T h e   h ar d wa r e  im p lem en tatio n   o f   [ 5 ]   co m p u tes  2 D - DC T   o p er atio n s   b y   ev e n - o d d   d ec o m p o s itio n   b ased   b u tter f ly   s tr u ctu r e  an d   u s es  alm o s t  8 - tim es  m o r e  DSP  elem en ts   th an   o u r   im p lem en tatio n .   Als o   it  tak es   [ 5 ] ,   5 0 0   clo ck   cy cles  to   p r o ce s s   3 2 × 3 2   b lo ck   s ize   DC T ,   wh er e  o u r   ar ch itectu r e   r eq u ir es  o n ly   4 3   clo ck   cy cles.  T h e  r e d u ce d   n u m b er   o f   clo c k   cy cles  in   th e   p r o p o s e d   ar ch itectu r e  is   b ec au s e  o f   two   im p o r tan t  tech n iq u es,  f ir s t  o n e  th e  r eq u ir ed   am o u n t  o f   d at a  f o r   p r o ce s s in g   is   Evaluation Warning : The document was created with Spire.PDF for Python.