I nte rna t io na l J o urna l o f   Rec o nfig ura ble a nd   E m bedd e d  Sy s t em s   ( I J RE S)   Vo l.   10 ,   No .   1 ,   Ma r ch   2 0 2 1 ,   p p .   1 ~ 10   I SS N : 2 0 8 9 - 4 8 6 4 ,   DOI : 1 0 . 1 1 5 9 1 /ijre s . v 1 0 . i1 . p p 1 - 10          1       J o ur na l ho m ep a g e :  h ttp : //ij r es.ia esco r e. co m   A  d esig n  m e thodo lo g y  f o r  a ppro x i ma te  m ulti pliers i n  co nv o lutiona l   n eura l  n etworks :  A   c a se o f  M NIST       K ent a   Sh ira n e ,  T a k a hiro   Y a m a mo t o ,  H iro y u k i To m iy a ma   G ra d u a te S c h o o l  o f  S c ien c e   a n d   En g i n e e rin g ,   Rit s u m e ik a n   Un i v e r sity ,   Ja p a n       Art icle  I nfo     AB S T RAC T     A r ticle  his to r y:   R ec eiv ed   No v   10 ,   2 0 20   R ev is ed   J an   1 0 ,   2 0 21   Acc ep ted   J an   20 ,   2 0 21       In   th is  p a p e r,   we   p re se n t  a   c a se   stu d y   o n   a p p r o x ima te  m u lt ip li e rs  f o r  M NIST   Co n v o l u ti o n a l  Ne u ra l  Ne two rk   ( CNN ) .   We  a p p l y   a p p ro x ima te  m u lt ip li e rs   with   d if fe re n t  b i t - wid t h   t o   th e   c o n v o l u ti o n   lay e r  in   M NIST   C NN ,   e v a lu a te  th e   a c c u ra c y   o f  M NIS T  c las sifica ti o n ,   a n d   a n a l y z e   th e   trad e - o f f  b e twe e n   a p p ro x ima te  m u lt ip l ier’s   a re a ,   c ri ti c a l  p a th   d e lay   a n d   t h e   a c c u ra c y .   Ba se d   o n   th e   re su lt s  o f  t h e   e v a l u a ti o n   a n d   a n a ly sis,  we   p ro p o se   a   d e sig n   m e th o d o l o g y   fo r   a p p r o x ima te  m u lt i p li e rs.  T h e   a p p ro x ima te  m u lt ip li e r s   c o n si st  o f  so m e   p a rti a l  p ro d u c ts,   wh ich   a re   c a re fu ll y   se lec ted   a c c o rd i n g   t o   th e   C NN   in p u t.   Wi th   th is  m e th o d o lo g y ,   we   fu rth e r  re d u c e   th e   a re a   a n d   th e   d e lay   o f  th e   m u lt ip li e rs wit h   k e e p in g   h ig h   a c c u ra c y   o f  th e   M NI S T   c las sifica ti o n .   K ey w o r d s :   Ap p r o x im ate  c o m p u tin g   Ap p r o x im ate  m u ltip lier   C NN   MN I ST   T h is i s  a n   o p e n   a c c e ss   a rticle   u n d e r th e   CC B Y - SA   li c e n se .     C o r r e s p o nd ing   A uth o r :   Ken ta  Sh ir an e   Gr ad u ate  Sch o o l  o f   Scien ce   a n d   E n g in ee r in g   R its u m eik an   Un iv er s ity   1 - 1 - 1   No ji - Hig ash i,   Ku s atsu ,   Sh ig a  5 2 5 - 8 5 7 7 ,   J ap an   E m ail:  k en ta. s h ir an e@ to m iy a m a - lab . o r g       1.   I NT RO D UCT I O N     C o n v o lu tio n al  Neu r al  Netwo r k s   ( C NNs)  ar e  well - k n o wn   as  o n e  o f   t h e  s tate - of - th e - ar t  ap p r o ac h es  in   th e  f ield s   o f   m ed ia   p r o ce s s in g   s u ch   as  co m p u ter   v is io n ,   s p e ec h   r ec o g n itio n ,   a n d   s o   o n .   R ec en tly ,   d esig n s   o f   co m p u tin g   s y s tem s   with   C NNs  h av e  b ee n   ex ten s iv ely   s tu d ied   b y   r esear ch er s .   I n   g en er al,   C NNs  ar e  co m p u tatio n ally   ex p en s iv e  d u e  to   r e p etitio n   o f   th e   m atr ix   m u ltip licatio n   th at  is   th e   m o s t  c r itical  b o ttlen ec k   i n   C NNs  [ 1 ] .   I n   o r d e r   to   r ed u ce   t h e  co m p u tatio n al  co s t  o f   m atr i x   m u ltip licatio n ,   ap p r o x im ate   co m p u tin g   attr ac ts   in cr ea s in g   atten tio n .   Ap p r o x i m ate  co m p u tin g   is   co n s id er e d   as  a  p r o m is in g   a p p r o ac h   t o   d esig n   o f   ar ea - ,  p er f o r m an ce -   o r   p o wer - ef f ic ien t  cir cu its   f o r   ap p licatio n s   wh ich   ar e  r esis tan t  to   a   ce r tain   am o u n t  o f   co m p u tatio n al   in ac cu r ac y .   Ap p r o x im ate   ca lcu latio n   cir cu its   h av e  b ee n   ac tiv el y   s u r v ey ed   [ 2 - 5 ] .   Acc o r d in g   to   th e  wo r k   in   [ 6 ]   an d   [ 7 ] ,   wh i ch   in v esti g ated   th e  r ec en t  s tu d ies  in   th e  ar ea   o f   ap p r o x im ate  co m p u tin g ,   th e   d esig n   o f   ap p r o x im ate  m u lti p lier s   h as  ex ten s iv ely   b ee n   s tu d ied .   Ma n y   ap p r o x im ate  m u ltip lier s   p r o p o s ed   ca lcu late  th e  u p p er   b its   ex ac tly   an d   lo wer   b its   ap p r o x im ately   [ 8 - 1 0 ] .   Yam am o to   et  al.   p r o p o s ed   a  m eth o d o l o g y   to   s y s tem atica ll y   d esig n   8 - b it  a p p r o x im ate  a r r ay   m u ltip lier s   b y   g r a d u ally   r e m o v in g   ad d er s ,   a n d   an aly ze d   th e  tr ad e - o f f s   am o n g   cir cu it   ar ea ,   d elay ,   p o wer   a n d   ac cu r ac y   o f   th e  a p p r o x im a te  m u ltip lier s   [ 1 1 ] .   B o r o u m an d   et  al.   ex p l o r ed   t h e  d esig n   s p ac e  o f   ap p r o x i m ate  m u ltip lier s   u s in g   a  f am ily   o f   ap p r o x im ate  co m p r ess o r s   as  b u ild in g   b lo c k s   f o r   th e  p a r tial  p r o d u ct  r ed u ctio n   tr ee   [ 1 2 ] .   T h e y   p r ese n te d   a  to o l  th at  allo ws  th e  u s er   to   s p ec if y   an   allo wa b le  lev el  o f   er r o r   to ler a n ce ,   an d   r etu r n s   th e  m in im u m   a r e a,   d elay ,   o r   p o wer   ap p r o x im ate  m u ltip lier   th at   p r o v id es  th e  lev el  o f   ac c u r ac y .   L iu   et  al.   p r o p o s ed   a  n ew  a p p r o x im ate  m u ltip lier   with   h ig h ly   ef f ici en t  p ar tial  p r o d u ct  ac c u m u latio n   a n d   er r o r   r ed u ctio n   [ 1 3 ] .   T h e  n ew  ap p r o x im ate  m u ltip lier   h as  h ig h   ac cu r ac y   b u t  is   m o r e  ef f icien t  in   p o wer   an d   p er f o r m an ce .   I n   t h ese  wo r k s ,   ap p r o x im ate  ca lcu latio n   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :  2 0 8 9 - 4 8 6 4   I n t J Reco n f ig u r a b le  &   E m b ed d ed   Sy s t,  Vo l.  10 ,   No .   1 ,  Ma r c h   2 0 2 1 :   1   –   10   2   cir cu its   ar e  d esig n ed   with   s m all  ca lcu latio n   er r o r .   I n   ad d it io n ,   th er e  ar e  m an y   r esear ch es  o n   ap p r o x im ate   m u ltip lier s   th at  r ed u ce   t h e  er r o r   in   th e  f in al  o u tp u t o f   C NN.   As  m en tio n ed   ab o v e,   ap p r o x i m ate  co m p u tin g   is   s tu d ied   as  an   ef f ec tiv e  m eth o d   s p ec ializ ed   to   C N N   [ 1 4 - 1 6 ] .   An   e r r o r   r esil ien ce   a n aly s is   was  p er f o r m e d   i n   o r d er   to   d eter m in e   k ey   co n s tr ain ts   f o r   th e   d esig n   o f   ap p r o x im ate  m u ltip lier s   th at  ar e  em p l o y ed   in   th e  r esu ltin g   s tr u ctu r e   o f   C NN  [ 1 7 ] .   M o r eo v e r ,   th e   p a p er   s h o wed   th e   ca p ab ilit y   o f   th e   b ac k - p r o p ag atio n   lear n i n g   a lg o r ith m   f o r   C NNs  co n tain in g   th e   ap p r o x im at e  m u ltip lier s   in   MN I ST  an d   Str ee t - View  Ho u s e  Nu m b er   d ata s et.   Ham m ad   et  al.   s im u lated   th e  VGGN et  [ 1 8 ]   wh ich   em p lo y s   an   ap p r o x i m ate  m u ltip lier   in   th e   lay e r s   [ 1 9 ] .   T h e  s im u latio n   r esu lts   s h o w  th at  th e   ap p r o x im ate  m u ltip lier   k ee p s   t h e  h ig h   ac cu r ac y   o f   VGGN et.   Sim  et  al.   p r o p o s ed   a  n ew  Sto ch asti c  C o m p u tin g   ( SC )   m u ltip licatio n   alg o r ith m   an d   its   v ec to r   ex ten s io n   wh ich   is   ca lled   S C - MV M  ( Ma tr ix - Vec to r   Mu ltip lier )   [ 2 0 ] .   T h e   ex p er im e n tal  r esu lts   s h o w  th at  n ew  SC - b ased   C NN  is   m o r e  ac c u r ate  an d   4 0 ×  to   4 9 0 ×   m o r e  en e r g y - e f f icien t  in   co m p u tatio n   th an   th e  c o n v e n tio n al  SC - b ased   o n es.  SC   is   o n e   o f   th e   m eth o d s   o f   ap p r o x i m ate  co m p u tin g   an d   h as  b ee n   ac tiv ely   s tu d ied   [ 2 1 ,  2 2 ] .   C o u r b ar i au x   et  al.   p r o p o s ed   a  m eth o d   wh ich   tr ain s   n eu r al  n etwo r k   p ar am eter s   as  b in ar y   weig h t  an d   ac tiv ati o n   [ 2 3 ] .   T h is   n etwo r k ,   wh ich   is   ca lled   B in ar y Net,   ca n   m ak e   a  r ed u ctio n   o f   m em o r y   u s ag e   an d   u s e  XNOR  cir cu it s   as  a   m u ltip lier ,   s o   m an y   ap p r o ac h es  o f   ac ce ler atio n   o r /an d   im p lem en tatio n   h av e   b ee n   p r o p o s ed   [ 2 4 - 2 7 ] .   L i   et  al.   an d   B alaji  et  al.   d esig n e d   8 - b it  f i x ed - p o in t   ap p r o x im ate  m u ltip lier s   f o r   L eNe t  an d   im p lem en ted   to   FP GA  [ 2 8 ,  2 9 ] .   T h ese  ar e  m o r e   ef f icien t  in   d elay   an d   r eso u r ce   th a n   ex ac t  c o m p u tatio n   with   h i g h   ac c u r ac y   o f   MN I ST  class if icatio n .   Fo r   th ese  wo r k s ,   ap p r o x im ate   co m p u tin g   ca n   r e d u ce   c o m p u t atio n al  r eso u r ce s   an d   C NN’ s   tr ain ed   p a r am eter s .     I n   th is   p ap er ,   we  p r esen t  a  d e s i g n   m eth o d o l o g y   o f   ap p r o x im ate  m u ltip lier s   f o r   MN I ST  C NN.   As  a   p r elim in ar y   p r ep ar atio n   o f   d ei g n   o f   ap p r o x im ate  m u ltip lier s ,   we  d esig n   6 4   m u ltip lier s   with   s im p le  r ed u ctio n   o f   th e  b it - wid th   o f   an   8 - b it  m u ltip lier ,   an d   ev alu ate  tr a d e - o f f   b etwe en   th e  ac cu r ac y   o f   M NI ST  class if icat io n ,   th e  ar ea   an d   th e  d ela y   o f   t h e  m u ltip lier s .   B ased   o n   th e  an al y s is ,   we  d esig n   ap p r o x im ate  m u ltip lier s   b ased   o n   two   m eth o d s .   On e  o f   th e  m eth o d s   is   b ased   o n   co m p r eh en s iv e  an aly s is   o f   u p p er   2 - b it  p ar ti al  p r o d u cts  o f   8 - b it   m u ltip lier ,   an d   th e   o th e r   is   s elec tio n   o f   th e   p ar tial  p r o d u c ts   ac co r d in g   to   r esu lt  o f   f ir s t   m eth o d   an d   8 - b it  m u ltip lier ’ s   an aly s is .   W ith   th ese  im p r o v e m en ts ,   we  f u r th e r   r ed u ce   th e   ar ea   an d   th e   d ela y   o f   th e   m u ltip lier s   with   k ee p in g   h ig h   ac cu r ac y   in   MN I ST  clas s if icatio n .   T h e  r est o f   th is   p ap er   is   o r g an ized   as f o llo ws.  Sectio n   2 .   s h o ws  o u tlin e  o f   g e n er al  C NN  an d   MN I ST  C NN  in   th is   p ap er .   Sectio n   3   d escr ib es  s im p le  ap p r o ac h   to   b it - wid th   r ed u ctio n   an d   t h e  ex p e r im en ts .   Sectio n   4 .   d escr ib es  a  d esig n   m eth o d o lo g y   o f   ap p r o x im ate  m u lt ip lie r   with   two - s tep   ap p r o ac h ,   an d   S ec tio n   5 .   c o n clu d es th is   p a p er   with   a  s u m m ar y .       2.   CNN  F O R   M NI ST   C L A SS I F I CAT I O N   I n   th is   s ec tio n ,   we  ex p lain   a  g en er al  C o n v o lu tio n al  Ne u r al   Netwo r k   ( C NN) ,   its   co n v o lu tio n   lay er   an d   MN I ST  C NN  in   th is   wo r k .   C NN  is   a  n eu r al  n e two r k   wh ich   h as  d ee p   lay e r   in clu d i n g   co n v o lu tio n   la y er .   C NN  is   k n o wn   as  a   h ig h - ac cu r ac y   im ag e   class if icatio n   m o d el.   On e  o f   th e   m o s t  p o p u lar   i m ag e  class if icatio n   m o d els  is   Alex n et  [ 3 0 ] .   I n   2 0 1 2 ,   Alex n et  wo n   I L SVR C   b y   a  b ig   m a r g in   o v er   o th e r   m o d els.  T h is   v ic to r y   tr ig g er ed   p r ev alen ce   o f   C NN  in   th e  wo r ld   a n d   m a n y   o f   n e u r al  n etwo r k s   in   im a g e  class if icatio n   ar e  b ased   o n   C NN  to d ay .     2 . 1 .     Co nv o lutio n  l a y er   I n   th is   s u b s ec tio n ,   we   ex p lain   ab o u t  a   g e n er al   co n v o lu tio n   lay er .   A   C o n v o l u tio n   lay er   p er f o r m s   co n v o l u tio n   o p er atio n   o n   an   i n p u t  im ag e  with   a  f ilter   ( weig h t) ,   its   o u tp u ts   s u m   u p   b ias,  an d   th e  o u tp u ts   ar e  p r o p a g ated   t o   th e   n e x t  lay er   o r   ac tiv atio n   f u n ctio n .   T h e  f il ter   an d   b ias  a r e  tr ain e d   a n d   s av ed   in   co n v o l u tio n   lay er .   I n   co n v o l u tio n   o p e r at io n ,   th e  p r o d u cts  o f   in p u t  an d   f ilter   ar e  s u m m ed   u p   an d   s to r ed   to   th e  co r r esp o n d in g   o u tp u t.  C o n v o lu tio n   o p e r atio n   p er f o r m s   at  an   in ter v al  w h ich   is   d ef in e d   “strid e” .   Fig u r e  1   r ep r esen ts   an   ex am p le   o f   co n v o lu tio n   o p er atio n .   W h en   a   5 × 5   in p u t,  a   3 ×3   f iler   an d   s tr id e  v a lu e  “1 ”   ar e   g iv e n ,   th e  s ize  o f   th e  o u tp u t  is   o r g an ized   as  3 ×3 .   I n   th is   ca s e,   th e  co n v o l u tio n   lay er   co n tain s   8 1   m u ltip licatio n s   p er   f ilter .   I n   g e n er al,   C NN  co n tai n s   m an y   f ilter s .   I n   t h is   wo r k ,   C NN  co n tain s   3 0   f ilter s   an d   t h e  co n v o lu tio n   la y er   p er f o r m s   m u lti p licatio n   o p er at io n s   4 3 2 , 0 0 0   tim es p er   im ag e.           Fig u r e  1 .   C o n v o lu tio n   lay er   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J Reco n f ig u r a b le  &   E m b ed d ed   Sy s t   I SS N:  2089 - 4 8 6 4       A   d esig n   meth o d o lo g y   fo r   a p p r o xima te  mu ltip lier s   in   co n vo lu tio n a l n e u r a l n etw o r ks:   …  ( K en ta   S h ir a n e )   3   2 . 2 .     An  e x a m ple o f   CNN  f o r   M NIS T   I n   th is   s u b s ec tio n ,   we   ex p lai n   ab o u t  MN I ST   C NN  in   th i s   p ap er .   Fig u r e   2   s h o ws  th e   m o d el   o f   MN I ST  C NN  an d   MN I ST  d at aset.  MN I ST  C N N  co n s is t s   o f   C o n v o lu tio n   ( co n v o lu tio n   la y er ) ,   Po o lin g   ( m ax   p o o lin g   lay er ) ,   Af f in e  ( af f in e  lay er ) ,   R eL U  an d   So f t m ax .   Nex t  p ar t  d e s cr ib es  ea ch   o f   th e   lay er s   o r   t h e   ac tiv atio n   f u n cti o n s ,   ex ce p t  f r o m   th e  co n v o l u tio n   lay er .   Po o lin g   s elec ts   th e  m a x im u m   n u m b er   o f   in p u t  elem en ts   in   f ilter   r an g e   an d   s to r es  th e  c o r r esp o n d in g   o u tp u t.  T h is   lay er   ca n   r ed u ce   p r o ce s s in g   weig h t w ith   co n s tan t a p p r o x im atio n .   T h is   o p er ati o n   d o es n o t c o n tain   p ar am eter s   s u ch   as we ig h t o r   b ias,  an d   k ee p s   th e  s p atial  in f o r m atio n   o f   in p u t im ag e.   Af f in e  m u ltip lies   ea ch   in p u t   elem en t  an d   weig h t  v alu e,   s u m s   u p   th ese  p r o d u cts  an d   s to r es  th e  co r r esp o n d in g   o u tp u t.  T h is   lay er   co n n ec ts   all  s p atial  in f o r m atio n   to   ea ch   class .   T h is   o p er atio n   co n tain s   p ar am eter s   wh ich   ar e   weig h t a n d   b ias,  an d   d o es n o t k ee p   th e  s p atial  in f o r m atio n   o f   in p u t im ag e.   R eL U  an d   So f tm ax   ar e  ac tiv a tio n   f u n ctio n s   wh ich   p r e p ar e  i n p u t  d ata.   R eL U  f ix es  “0 ”  o r   less   v alu e   to   “0 ”   an d   s to r es  th e  c o r r es p o n d in g   o u tp u t.   I t   is   k n o w n   as  r am p   f u n ctio n .   So f tm a x   f ix es  in p u t   v alu e   to   p r o b a b ilit y   v alu e .   T h is   f u n cti o n   is   u s ed   b e f o r e   f in ally   o u t p u t  an d   h i g h est  p r o b ab ilit y   v al u e’ s   class   is   C NN   o u tp u t.   T h e  C NN  tr ain ed   MN I ST  d a ta  s et.   MN I ST  d ata  s et  co n ta in s   h an d wr itten   d ig its   f r o m   “ 0 ”  to   “9 ”,   wh ich   is   a  co llectio n   o f   2 8 ×2 8   q u asi  b in ar y   im a g es,  an d   th e  p ix el  v alu e  is   v ar ied   f r o m   “ 0 ”  to   “1 ”.   MN I ST  is   o n e  o f   th e  m o s t  elem en tar y   d a tasets   in   im ag e  clas s if icatio n   o f   C NN,   s o   we   f ir s tly   u s e   t h is   d ataset  to   ex am in e  th e  im p ac t o f   a p p r o x im ate  m u ltip lier   to   im ag e  class if icatio n .           Fig u r e   2 .   An   e x am p le  o f   C NN  f o r   MN I ST       3.   P RE L I M I NAR Y  ANA L YSI S O N  B I T - WI D T H   T h is   s ec tio n   d escr ib es  h o w  to   r ed u ce   b it - wid th   o f   m u ltip lic atio n   an d   th e   ex p e r im en ts   to   F ig u r e  o u t  th e  s ca le  o f   m u ltip lier   wh ich   C NN  n ee d s .   T h e  e x p er im e n t  i s   th e  p r e p ar atio n   o f   S ec tio n   4 .   an d   th e  p u r p o s e  is   an   ex p lo r atio n   o f   th e  m u ltip lier   wh ich   k ee p s   h ig h   ac c u r ac y   o f   im ag e  class if icatio n .     3 . 1 .     B it - Width  r educt io n  a pp ro a ch   I n   th is   wo r k ,   we  d esig n   d i f f er en t  b it - wid th   m u ltip lier s   b y   r ed u cin g   p ar tial  p r o d u c ts   o f   8 - b it   m u ltip lier .   T h e   8 - b it  m u ltip lie r   is   g en er al  s m all  s ca le,   b u t   M NI ST  is   k n o wn   as  d ataset  wh i ch   ca n   b e  class if ied   b y   u s in g   s m all  s ca le  cir cu it.   T h e  s tr u ctu r e   o f   B in ar y Net  is   d if f er e n t   f r o m   C NN  in   th is   wo r k ,   b u t  B in ar y Net   h as  a  h ig h   ac cu r a cy   o f   im ag e   class if icatio n   an d   MN I ST  class if icatio n   d o es  n o t  s ee m   to   n ee d   h ig h   p r ec is io n   m u ltip licatio n .   T h e  8 - b it  m u ltip lier   is   b ased   o n   an   ex ac t  8 - b it  ar r a y   m u ltip lier   s in ce   th e  8 - b it  ar r ay   m u ltip lie r   is   s o   s m all,   an d   th e   8 - b it  m u ltip lier   d o es  n o t  h av e  t o   ap p ly   W allac e  tr ee   an d /o r   b o o th ’ s   m u ltip licatio n   b ec au s e  o f   b ad   tr ad eo f f   b etwe en   t h e  o v e r h ea d   an d   t h e  p er f o r m a n ce   im p r o v em e n t  o f   th e  m u ltip lier .   Fig u r e  3   is   an   ex ac t  8 - b it  ar r ay   m u ltip lier .   T h e  m u lti p licatio n   u s es  m u ltip lican d   an d   m u ltip lier   to   o b tain   p ar tia l  p r o d u cts.  Su m   o f   th e  p ar tial  p r o d u cts  is   a   p r o d u ct.   Su m   o p e r atio n   s tar ts   f r o m   u p p er - r i g h t  t o   lo wer - lef t.  T h e  p r o d u ct  o f   8 - b it   m u ltip lier   b ec o m es 1 6 - b it  p r o d u ct.   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :  2 0 8 9 - 4 8 6 4   I n t J Reco n f ig u r a b le  &   E m b ed d ed   Sy s t,  Vo l.  10 ,   No .   1 ,  Ma r c h   2 0 2 1 :   1   –   10   4   I n   th is   r ed u ctio n ,   we  r e p lace   th e  m u ltip lican d   o r   th e  m u ltip l ier   with   “0 ”  in   o r d er   f r o m   l o west - o r d er   b it.  B y   th is   o p er atio n ,   th e   co r r esp o n d in g   m u ltip lier   o r   m u ltip lican d   is   u s eless ,   an d   th is   p ar tial  p r o d u ct ’ s   v alu e   b ec o m es  ‘ 0 ’ .   I n   ad d itio n ,   th e  m u ltip lican d   an d   m u ltip lier   h a v e  8 - b it  in f o r m atio n ,   an d   we  c an   r ed u ce   d if f er en t   b it - wid th   b etwe en   th e  m u ltip lican d   an d   th e  m u ltip lier .   Fi g u r e  4   is   an   ex am p le  o f   7 ×6 - b it  m u ltip lier .   W e   r ep lace   least  b it  o f   m u ltip lic an d   a n d   l o wer   2 - b it  o f   th e  m u ltip lier   with   “ 0 ”,   s o   we  c an   d elete   2 2   p ar tial   p r o d u cts  an d   lo wer   3 - b it  o f   p r o d u ct.   W e  ca n   r e d u ce   d if f er en t  b it - wid th   b etwe en   th e  8   m u ltip lican d s   an d   8   m u ltip lier s ,   s o   we  ca n   cr ea te  6 4   m u ltip lier s   in   d if f er en t b it - w id th .           Fig u r e   3 .   An   ex ac t 8 - b it m u lti p lier           Fig u r e   4 .   An   ex am p le  o f   7 × 6 - b it   m u ltip lier       3 . 2 .     P re li m ina ry   r esu lt s   W e  d esig n ed   MN I ST  C NN  in   o r d er   to   a p p ly   s elf - m a d e  m u ltip lier s .   W e  ap p lied   d if f e r en t  b it - wid th   m u ltip lier s   to   MN I ST  C NN  a n d   ev alu ated   th e  tr ad e - o f f s   o f   th e  ac cu r ac y   o f   MN I ST  class if icatio n ,   th e  ar ea   an d   th e   d ela y   o f   t h e  m u ltip lier .   T h e   ex p er im en ts   ca n   F ig u r e  o u t  th e   s ca le  o f   m u ltip lier   wh i ch   C NN  n ee d s ,   an d   we  im p r o v e  th e   m u ltip lier ,   wh ich   k ee p s   h ig h   ac cu r ac y   o f   i m ag e  class if icatio n ,   b y   r e f er e n ce   to   e x p er im e n tal   r esu lts   in   th e  f o llo win g   s ec tio n .   W e  ca n   r ed u ce   d if f er e n t  b i t - wid th   b etwe en   th e  m u ltip lican d   an d   m u ltip lier ,   s o   we  ca n   cr ea te  6 4   m u ltip lier s   in   d if f er en t  b it - wid th .   W e  u s e  C NN   p ar am eter s   lear n ed   2 0 0 0   tr ain in g   im ag es.  W e  m ea s u r e  th e  im ag e  class i f icatio n   ac cu r ac y   w h en   C NN  r ec o g n ize  1 0 0 0   test   im ag es.  T h e  ac cu r ac y   wi th   ex ac t  co m p u tatio n ,   wh ich   is   3 2 - b it  f lo atin g   p o in t  m u ltip licatio n ,   is   9 8 . 4 %.  T h e  d escr ip ti o n   o f   m u ltip lier s   is   wr itten   in   Ver ilo g .   W e  s y n th esis   th e  6 4   m u ltip lier s   b y   L e o n ar d o Sp ec tr u m   a n d   m ea s u r e   th e  n u m b er   o f   g ate   an d   cr itical  p ath   d elay .   W e  u s e  Nan g ate4 5   wh ich   is   4 5 n m   p r o ce s s   lib r a r y .   W h en   we   s y n th esis   th e  cir c u it  o p tim ized   m in im izin g   ar ea .   Fig u r e  5   ( a) - ( c)   ar e   th e  e x p er i m en tal  r esu lts   o f   b it - wid th   r e d u ctio n .   T h e   f ilter   d ata  ar e   m u ltip lican d   an d   th e  im a g e  d ata  ar e   m u ltip lier .   Fig u r e   5   ( a)   is   th e   r esu lt  o f   ac c u r ac y ,   Fig u r e   5   ( b )   is   th e  r esu lt  o f   t h e  ar ea ,   an d   Fig u r e  5   ( c )   is   th e  r esu lt o f   th e  d elay .   I n   Fig u r e  5   ( a) ,   ac cu r ac y   in   8 × 8 - b it is   9 8 . 4 % a n d   ac cu r ac ies in   3 ×2 - b it  an d   4 ×1 - b it  ar e  al m o s t  th e   s am e  as  th e  ex ac t   o n e .   T h e   a cc u r ac y   i n   2 × 1 - b it  is   9 7 . 1 %  a n d   th e   ac cu r ac y   in   less   th an   2 ×1 - b it  d ec r ea s e  s ig n if ican tly .   W h en ev e r   th e  f ilter   b it - wid th   is   1 ,   th e  ac c u r ac y   is   ex tr em ely   lo w .   T h er ef o r e,   th e  MN I ST  C NN   n ee d s   ab o u t  2 × 2 -   o r   m o r e  b it  m u ltip lier   to   k ee p   h ig h   ac cu r ac y   o f   im ag e   class if icatio n .   I n   Fig u r e  5   ( b )   s h o ws  th at  th e  ar ea   o f   m u ltip lier   d ec r ea s es  in   p r o p o r ti o n   to   th e  s ca le  o f   m u ltip lier .   T h e  a r ea   in   3 ×2 - b it  is   1 5   g ates  th at  co n tain s   HA  ( h alf   ad d er )   a n d   m a n y   AN D  g ates,  th e  ar ea   in   4 ×1 - b it  is   4   g ates  wh ich   ar e   4   AND  g ates  an d   th e   o n e   in   2 ×1 - b it  is   2   g ates  wh ic h   ar e   two   AND  g ates.  I n   Fig u r e  5   ( c )   s h o ws  th at  th e  d e lay   o f   m u ltip lier   d ec r ea s es  in   p r o p o r tio n   t o   th e  s ca le  o f   m u lt ip lier .   T h e  d ela y   in   3 ×2 - b it is   0 . 1 0   n s .   T h e  d elay   in   4 ×1 - b it is   0 . 0 2   n s   as we ll a s   th e  2 ×1 - b it.   Partial Pro du ct ＋ Pr od uct ＋ Partial Pro du ct Pr od uct Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J Reco n f ig u r a b le  &   E m b ed d ed   Sy s t   I SS N:  2089 - 4 8 6 4       A   d esig n   meth o d o lo g y   fo r   a p p r o xima te  mu ltip lier s   in   co n vo lu tio n a l n e u r a l n etw o r ks:   …  ( K en ta   S h ir a n e )   5   T ab le  1   is   th e   d etail  o f   u p p e r   o r d er   3 - b it   im ag e   b it - wid th .   C ases   o f   3 ×2 - b it  an d   4 ×1 - b it  ar e   s am e  ac cu r ac y   an d   co n tain   f iv e   p a r tial  p r o d u cts.  Ho wev er ,   th e   ar ea   o f   th e  3 ×2 - b it  m u ltip lier   is   lar g er   th an   th at  o f   4 ×1 - b it,  an d   th e  d ela y   o f   th e  3 ×2 - b it  m u ltip lier   is   lo n g er   d elay   th an   a  ca s e  o f   4 ×1 - b it.  T h er ef o r e ,   a  ca s e  o f   3 ×2 - b it  is   b etter   p o wer   ef f icien cy   th an   a  ca s e  o f   4 ×1 - b i t.  B esid es,  f ilter   d ata  ( m u ltip lican d )   a r e  m o r e   im p o r tan t  to   MN I ST  C NN  th an   im ag e  d ata  ( m u ltip lier ) .   I n   th e  ex p er im en tal  r esu lts ,   M NI ST  C NN  n ee d s   4   g ates  to   ac h iev e  alm o s t  th e   s am e  ac cu r ac y   as   ac cu r ac y   o f   cl ass if icatio n   with   ex ac t  c o m p u tatio n .   I n   a d d itio n ,   wh en   th e  n u m b e r   o f   g ates  is   3   in   3 ×1 - b it,  ac cu r ac y   is   9 8 . 0 %  an d   th e  MN I ST  C NN  n ee d s   ab o u t  3 ×2 ,   4 ×1   o r   more - b it   m u ltip lier   to   k ee p   h i g h   ac c u r ac y   o f   im ag e   class if ic atio n .   T h e r ef o r e,   in   th e   n ex t   s ec tio n ,   th e   p r o p o s e d   d esig n   m eth o d o lo g y   is   u s ed   to   ac h iev e  h ig h er   ac cu r ac y   with   3   o r   f ewe r   g ates.           ( a)   ( b )         ( c)     Fig u r e   5 .   E x p er im e n tal  r esu lts   o f   b it - w id th   r ed u ctio n   ( a)   Acc u r ac y ,  ( b )   Ar ea ,  ( c)   Dela y       T ab le  1 .   Deta il o f   u p p e r   o r d er   3 - b it im ag e  b it - wid th   F i l t e r   b i t - w i d t h   I mag e   b i t - w i d t h   A c c u r a c y   ( %)   A r e a   ( g a t e s )   D e l a y   ( n s)   1   1   2 0 . 4   1   0 . 0 2   2   1   9 7 . 1   2   0 . 0 2   3   1   9 8 . 0   3   0 . 0 2   4   1   9 8 . 5   4   0 . 0 2   5   1   9 8 . 5   5   0 . 0 2   6   1   9 8 . 4   6   0 . 0 2   7   1   9 8 . 4   7   0 . 0 2   8   1   9 8 . 4   9   0 . 0 2   1   2   2 2 . 1   2   0 . 0 2   2   2   9 7 . 6   7   0 . 0 9   3   2   9 8 . 5   15   0 . 1 0   4   2   9 8 . 7   22   0 . 2 0   5   2   9 8 . 6   28   0 . 2 6   6   2   9 8 . 6   35   0 . 3 3   7   2   9 8 . 6   42   0 . 3 9   8   2   9 8 . 6   48   0 . 4 6   1   3   2 3 . 2   3   0 . 0 2   2   3   9 7 . 9   17   0 . 1 5   3   3   9 8 . 5   30   0 . 2 8   4   3   9 8 . 6   42   0 . 3 5   5   3   9 8 . 6   55   0 . 4 2   6   3   9 8 . 3   67   0 . 4 8   7   3   9 8 . 3   80   0 . 5 5   8   3   9 8 . 3   92   0 . 6 1   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :  2 0 8 9 - 4 8 6 4   I n t J Reco n f ig u r a b le  &   E m b ed d ed   Sy s t,  Vo l.  10 ,   No .   1 ,  Ma r c h   2 0 2 1 :   1   –   10   6   4.   A  DE S I G N  M E T H O DO L O G Y  F O R  AP P RO XIM A T E   M UL T I P L I E R S   T h is   s ec tio n   d escr ib es  a  d esig n   m eth o d o lo g y   o f   ap p r o x im ate  m u ltip lier s   f o r   MN I ST  C NN.   I n   th e   f ir s t  s u b s ec tio n ,   we  ex p lain   an   o v er v iew  o f   a   d esig n   m et h o d o lo g y   o f   a p p r o x im ate  m u ltip lier s   f o r   C NN.   I n   th e   n ex t  two   s u b s ec tio n s ,   we  a p p l ied   th e  d esig n   m et h o d o lo g y   t o   MN I ST  C NN.   At  ev er y   s te p ,   we  e v alu ated   th e  tr ad e - o f f s   o f   th e  ac c u r ac y   o f   MN I ST  class if icatio n ,   th e  ar ea   an d   th e  d elay   o f   th e  m u ltip lier .     4 . 1 .     A  d esig n  m et ho do lo g y   T h is   s u b s ec tio n   d escr ib es  o v e r v iew  o f   t h e  p r o p o s ed   d esig n   m eth o d o l o g y   o f   a p p r o x im ate  m u ltip lier s   f o r   C NN.   Fig u r e  6   is   f lo wch ar t  o f   th e  p r o p o s ed   d esig n   m eth o d o lo g y .   I n   th e  f ir s t  h ar f   o f   th e  m eth o d o lo g y ,   we   an aly ze   p ar tial  p r o d u cts  o f   ex ac t  m u ltip lier   an d   s elec t  s ig n if ican t  p ar tial  p r o d u cts  f o r   C NN  as  an   ap p r o x im ate   m u ltip lier .   I f   th e  ac c u r ac y   o f   C NN  is   n o t  s ig n if ican tly   h ig h er   o r   th e  ar ea   o r   d ela y   d o n ’ t  s atis f y   u s er   r eq u ir em e n ts ,   we  an aly ze   a  b r o ad er   s co p e   ag ain .     I n   th e  s ec o n d   h ar f   o f   t h e  m eth o d o lo g y ,   we  a n aly ze   i n   m o r e  d etail  p ar tial  p r o d u cts  o f   ex ac t   m u ltip lier   f o r   c o m b in i n g   to   th e   ap p r o x im ate  m u ltip lier   d esig n ed   in   th e  f ir s t  h alf   o f   th e   m eth o d o lo g y .   I f   th e   ac cu r ac y   o f   C NN  is   lo wer   th an   ex ac t  o n e,   we  an aly ze   a  b r o ad er   s co p e  ag ain .   I n   t h e  d esig n   m et h o d o lo g y ,   we  ca n   d esig n   ap p r o x im ate  m u ltip lier s   th at  m ain tain   a  h ig h   r ec o g n itio n   r ate  o f   C NN  with o u t  co m p r o m is in g   th e  u s er ' s   r eq u ir em e n ts .   I n   th e  n ex t two   s u b s ec tio n s ,   we  ap p lied   th e  d e s ig n   m eth o d o lo g y   to   MN I ST  C NN.           Fig u r e   6 .  Flo wch a r t  o f   th e   p r o p o s ed   d esig n   m et h o d o lo g y       4 . 2 .     Co m prehens iv e  a na ly s is   o f   2 - bit  p a rt ia l  p ro du ct s   T h is   s u b s ec tio n   d escr ib es  th e  ex am p le   o f   th e   co m p r e h en s iv e  an aly s is   o f   2 ×2 - b it   m u ltip lier .   Acc o r d in g   to   th e  ex p e r im en tal   r esu lts   o f   S ec tio n   3 ,   we  an aly ze d   o n ly   h ig h e r   2 - b it p ar tial p r o d u cts.  Fig u r e  7   is   an   ex ac t  2 ×2 - b it  m u ltip lier .   ‘ a ’   is   f ilter   b it,   ‘ b ’   is   im ag e  b it,   ‘ p ’   is   p r o d u ct,   an d   HA  is   h al f - ad d er   cir cu it.   W e   r ed u ce d   p ar tial  p r o d u cts  f r o m   lo wer   b it  in   S ec tio n   3 ,   b u t  we  s elec ted   o n e  to   f o u r   p a r tial  p r o d u cts  in   o u r   Sta rt C o m pr e he nsi ve  ana ly si s  o f  N × N - bit  m ulti plie r T h e   ar e a  an d  de la y   sat isf y   u ser  re qu ir e m e n t s Se le c t  (N+ 1 ) - th up p e rmo st   p art ia l  p ro d uc ts   o f  the   app ro xim at e   m ulti p lie r  with co m p re he nsi ve  ana ly si s  o f  M - th up p e rmo st   p art ia l  p ro d uc t Se le c t  si gnific ant   partia l  pr o duct s  as  an appr o xim at e   m ulti plie r F inis h T h e   acc u ra c y   of   C N N   is  sig n if ican t ly   h ig h e r T h e   C NN  acc u ra c y   is  low e r  t h an   e x act   on e No Y e s M   =  M +1 N =   N+ 1 N =  1 M   =  1 Y e s No Y e s No Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J Reco n f ig u r a b le  &   E m b ed d ed   Sy s t   I SS N:  2089 - 4 8 6 4       A   d esig n   meth o d o lo g y   fo r   a p p r o xima te  mu ltip lier s   in   co n vo lu tio n a l n e u r a l n etw o r ks:   …  ( K en ta   S h ir a n e )   7   d esig n   m eth o d o lo g y .   W e  an aly ze d   th e  ac cu r ac y   o f   MN I ST  class if icat io n ,   th e  ar ea   a n d   th e  d elay   o f   th e   ap p r o x im ate  m u ltip lier   wh ich   h as  o n e  to   f o u r   p ar tial  p r o d u cts  o f   2 ×2 - b it  m u ltip lier   co m p r eh en s iv ely .   I n   th is   ex p er im en t,  we  ca n   ex p l o r e   th e  co m b in ati o n   o f   p ar tial  p r o d u cts  wh ich   k ee p s   h ig h   ac cu r ac y   o f   im ag e   class if icatio n .   T h e  ex p er im e n tal  co n d itio n s   ar e  b ased   o n   S ec tio n   3 .     T ab le  2   is   th e  r esu lt  o f   co m p r eh en s iv e  a n aly s is   o f   t h e  2 - b i t  p ar tial  p r o d u cts.  W h en   th e   n u m b er   o f   p ar tial  p r o d u cts  is   1 ,   th e  ca s e   o f   a 7 b 6   is   th e  h ig h est  ac cu r ac y ,   b u t  it  is   n o t  en o u g h   h ig h   a cc u r ac y .   W h en   th e  n u m b er   o f   p a r tial  p r o d u cts   is   2 ,   th e  ca s e  o f   a 6 b 7   an d   a 7 b 7   is   h ig h est  ac cu r ac y ,   9 7 . 1 %.  I n   th is   ca s e,   th e  n u m b er   o f   g ates   is   2   an d   d elay   is   0 . 0 2   n s .   W h en   th e  n u m b e r   o f   p a r tial  p r o d u cts   is   3   o r   4 ,   n o   o t h er   ca s e  o f   p ar tial  p r o d u cts  is   m o r e  ef f icien cy   th an   th e  ca s e  o f   a 6 b 7   an d   a 7 b 7 .   F ig u r e  8   is   th e  l o g ic  lev el   cir cu it  o f   a 7 b 7   an d   a 6 b 7 .   HAs  ar e  r em o v ed .   I n   th e  s ec o n d   h ar f   o f   th e   m et h o d o lo g y ,   we  tr y   to   ac h iev e  h i g h er   ac c u r a cy   b y   a 6 b 7 ,   a 7 b 7   an d   an o th er   p ar tial p r o d u ct.           Fig u r e   7 .   2 - b it e x ac t  m u ltip lier       T ab le  2 .   C o m p r eh en s iv e  a n aly s is   in   u p p er   o r d er   2 - b it  p a r tial  p r o d u cts   N u mb e r   o f   P a r t i a l   P r o d u c t   P a r t i a l     P r o d u c t   A c c u r a c y   ( %)   A r e a   ( g a t e s )   D e l a y     ( n s)   1   a 6 b 6   4 3 . 7   1   0 . 0 2   a 6 b 7   1 7 . 8   1   0 . 0 2   a 7 b 6   6 3 . 6   1   0 . 0 2   a 7 b 7   2 0 . 4   1   0 . 0 2   2   a 6 b 6 , a 6 b 7   6 9 . 5   2   0 . 0 2   a 6 b 6 , a 7 b 6   8 6 . 6   2   0 . 0 2   a 6 b 6 , a 7 b 7   9 4 . 9   2   0 . 0 2   a 6 b 7 , a 7 b 6   9 1 . 0   4   0 . 0 6   a 6 b 7 , a 7 b 7   9 7 . 1   2   0 . 0 2   a 7 b 6 , a 7 b 7   2 2 . 1   2   0 . 0 2   3   a 6 b 6 , a 6 b 7 ,   a 7 b 6   9 0 . 5   5   0 . 0 8   a 6 b 6 , a 6 b 7 ,   a 7 b 7   9 0 . 0   3   0 . 0 2   a 6 b 6 , a 7 b 6 ,   a 7 b 7   9 6 . 9   3   0 . 0 2   a 6 b 7 , a 7 b 6 ,   a 7 b 7   9 7 . 5   6   0 . 0 8   4   a 6 b 6 , a 6 b 7 ,   a 7 b 6 ,   a 7 b 7   9 7 . 6   7   0 . 0 9           Fig u r e   8 .   L o g ic - lev el  cir c u it o f   a 7 b 7  an d   a 6 b 7       4 . 3 .     Select io n o f   t he  t hird  u pp er m o s t   p ro du ct   T h is   s u b s ec tio n   d escr ib es  th e   ex am p le  o f   s elec tio n   o f   th e  th ir d   u p p er m o s t  p r o d u cts.  Fig u r e  9   is   a   lo g ic - lev el  cir c u it  o f   a 6 b 7 ,   a 7 b 7   an d   a i b j .   a i b j   is   o n e   o f   th e  te n   p ar tial  p r o d u cts  wh ic h   is   p o s s ib le  to   o u tp u t  u p p er   th an   p 11   wh ic h   is   th e  f if t h   u p p er m o s t  p r o d u ct.   I n   th e   t en   ca s es,  we  an aly ze   th e   ac cu r ac y   o f   MN I ST  class if icatio n ,   th e  ar ea   an d   th e   d elay   o f   th e  m u ltip lier .   T h e  e x p er im en tal  co n d itio n s   ar e   b ased   o n   Sectio n   3 .   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :  2 0 8 9 - 4 8 6 4   I n t J Reco n f ig u r a b le  &   E m b ed d ed   Sy s t,  Vo l.  10 ,   No .   1 ,  Ma r c h   2 0 2 1 :   1   –   10   8   T ab le  3   is   th e   r esu lt  o f   s elec tio n   o f   t h e  th i r d   s ig n if ican t  p r o d u ct.   T h e  n u m b er   o f   g ates   an d   th e   d ela y   alwa y s   k ee p   3   g ates  an d   0 . 0 2   n s ,   r esp ec tiv ely .   T h e  h ig h est  ac cu r ac y   ac h iev es  9 8 . 4 %  in   a 5 b 6 ,   an d   th is   is   th e   s am e  r esu lt  as  ex ac t  co m p u tatio n .   T h er ef o r e,   we  ac h iev e  t h e  s am e  ac cu r ac y   as  MN I ST  class if icat io n   with   ex ac t c o m p u tatio n   b y   u s in g   a p p r o x im ate  m u ltip lier   co m p o s e d   o f   a 7 b 7 , a 6 b 7   an d   a 5 b 6 .   Fig u r e  1 0   is   th e  lo g ic - lev el  ci r cu it  o f   a 6 b 7 ,   a 7 b 7   a n d   a 5 b 6 .   I n   th e  ca s e   o f   MN I ST  C NN,   th e  p r o p o s ed   d esig n   m eth o d o r o g y   is   ef f icie n t  f o r   d esig n i n g   ap p r o x im ate  m u ltip lier s   with   s m all  s ca le,   l o w  d elay   an d   h ig h   im ag e  r ec o g n itio n   o f   C NN.   B ec au s e  a 6 b 7   an d   a 7 b 7   c o n tain   n eith er   a 5   n o r   b 6 ,   we  c o n s id er   t h at  m an y   v ar i eties  o f   m u ltip lican d   an d   m u ltip lier   im p r o v e   C NN  ac cu r ac y   o f   cl ass if icatio n .   I n   ad d itio n ,   a 5 b 6   i s   u s u ally   o u tp u t  t o   p 11 ,   b u t  it  is   o u tp u t  to   p 12   in   th is   ca s e.   T h er f o r e,   we  co n s id er ed   th at  h ig h e r   b it  in f o r m atio n   is   n o t  alwa y s   m o r e  im p o r tan t to   im a g e  class if icatio n   with   C NN  th an   lo wer   b it in f o r m atio n .           Fig u r e   9 .   L o g ic - lev el  cir c u it o f   a 7 b 7 ,   a 6 b 7   an d   a i b j       T ab le  3 .   Selectio n   o f   th e  th i r d   s ig n if ican t p r o d u ct   p 12   A c c u r a c y   ( %)   A r e a   ( g a t e s )   D e l a y   ( n s)   a 4 b 7   9 8 . 2   3   0 . 0 2   a 5 b 6   9 8 . 4   3   0 . 0 2   a 5 b 7   98 .0   3   0 . 0 2   a 6 b 5   9 6 . 6   3   0 . 0 2   a 6 b 6   9 6 . 9   3   0 . 0 2   a 6 b 7   9 6 . 2   3   0 . 0 2   a 7 b 4   9 7 . 3   3   0 . 0 2   a 7 b 5   9 7 . 4   3   0 . 0 2   a 7 b 6   9 7 . 3   3   0 . 0 2   a 7 b 7   9 7 . 3   3   0 . 0 2           Fig u r e   10 .   L o g ic - le v el  cir cu it  o f   a 7 b 7 ,   a 6 b 7   an d   a 5 b 6       4 . 4 .     Co m pa riso n   T ab le  4   is   a  c o m p ar is o n   tab le  o f   m u ltip lier s   with   s im p le  b it - wid th   r e d u ctio n   an d   ap p r o x im ate   m u ltip lier s   b ased   o n   th e   p r o p o s ed   m eth o d o lo g y .   T h e  la b els  8 ×8 ,   3 × 2 ,   2 × 2   an d   2 ×1   a r e  b ased   o n   an aly s is   o f   Sectio n   3   th e  lab el  AP  ( a p p r o x im ate)   2 × 1   is   b ased   o n   s u b s e ctio n   4 . 2 ,   an d   t h e  lab el  A P  3 ×2   is   b ased   o n   s u b s ec tio n   4 . 3 .   AP 3 ×2 - b it m u ltip lier   h as th e  s am e  ac cu r ac y   o f   MN I ST  r ec o g n itio n   as th e  e x ac t 8 ×8   an d   3 × 2 - b it  m u ltip lier s .   I n   ad d itio n ,   th e  ar ea   o f   AP  3 ×2 - b it  m u ltip lier   im p r o v e d   b y   8 0 %  o v er   th e  a r ea   o f   ex ac t  3 ×2 - b it  m u ltip lier ,   an d   th e  d elay   o f   A P  3 ×2 - b it  m u ltip lier   im p r o v ed   b y   8 0 %  o v er   th e  ar ea   o f   ex ac t  3 ×2 - b it  m u ltip lier .   T h er ef o r e,   th e  d esig n   m eth o d o lo g y   o f   ap p r o x im ate  m u ltip lier s   is   ef f icien t f o r   MN I ST  C NN.       T ab le  4 .   C o m p a r is o n   tab le  o f   m u ltip lier s   with   s im p le  b it - wid th   r ed u ctio n   an d   ap p r o x im ate  m u ltip lier s   M u l t i p l i e r   A c c u r a c y   ( %)   A r e a   ( g a t e s )   D e l a y   ( n s)   8 × 8   9 8 . 4   3 1 2   1 . 2 6   3 × 2   9 8 . 5   15   0 . 1 0   2 × 2   97 . 6   7   0 . 0 9   2 × 1   9 7 . 1   2   0 . 0 2   A P   2 × 1   ( a 7 b 7  a n d   a 6 b 7 )   9 7 . 1   2   0 . 0 2   A P   3 × 2   (a 6 b 7 , a 7 b 7   a n d   a 5 b 6 .)   9 8 . 4   3   0 . 0 2   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J Reco n f ig u r a b le  &   E m b ed d ed   Sy s t   I SS N:  2089 - 4 8 6 4       A   d esig n   meth o d o lo g y   fo r   a p p r o xima te  mu ltip lier s   in   co n vo lu tio n a l n e u r a l n etw o r ks:   …  ( K en ta   S h ir a n e )   9   5.   CO NCLU SI O NS   I n   th is   p a p er ,   we   p r o p o s ed   a  d esig n   m eth o d o lo g y   o f   ap p r o x im ate  m u ltip lier s   f o r   C NN.   W e  ac h iev e d   h ig h   ac cu r ac y   o f   MN I ST  class if icatio n   with   ap p r o x im ate  m u ltip lier s   b ased   o n   th e   p r o p o s ed   m eth o d o lo g y .   W ith   th e  d esig n   m eth o d o lo g y ,   b y   u s in g   t h e  ap p r o x im ate   m u ltip lier ,   we  ac h ie v ed   th e   s am e  ac cu r ac y   as   MN I ST  class if icatio n   with   ex ac t  co m p u tatio n   a n d   im p r o v e d   th e   ar ea   a n d   d elay   p er f o r m an ce .   I n   f u tu r e,   we  p lan   to   ap p ly   th e  p r o p o s ed   m eth o d o lo g y   o f   ap p r o x im ate  m u ltip lier s   to   m o r e  co m p lex   an d   lar g er   s ca le  C NN.   B esid es,  we  p lan   to   im p lem en t a p p r o x im ated   C NN  o n   FP GA  an d   p lan   t o   an aly ze   th e  im p ac t o n   FP GA.       ACK NO WL E DG E M E NT S    T h is   wo r k   is   in   p ar t su p p o r ted   b y   KAKE NHI   1 9 H0 4 0 8 1   an d   2 0 H0 0 5 9 0 .       RE F E R E NC E S    [1 ]   K.  G u o ,   S .   Zen g ,   J.  Yu ,   Y.  Wan g   a n d   H.  Ya n g ,   “ A  su rv e y   o f  F P G A  b a se d   n e u ra l  n e two rk   a c c e lera to r , ”   ACM   T ra n sa c ti o n s  o n   Rec o n f ig u ra b le  T e c h n o l o g y   a n d   S y ste ms ,   v o l.   1 ,   n o .   1 ,   2 0 1 8 .   [2 ]   F .   M .   d e l  Ca m p o ,   A.  M o ra les - Re y e s,  R.   P e re z - An d ra d e ,   R.   Cu m p li d o ,   A.  G .   Oro z c o - Lu g o   a n d   C .   F e re g rin o ,   “ A  m u lt i - c y c le  fi x e d   p o in t   sq u a re   ro o t  m o d u le  fo r   F P G As , ”   IEI CE  E lec tro n ics   Exp re ss ,   v o l .   9 ,   n o.   1 1 ,   p p .   9 7 1 - 9 7 7 ,   2 0 1 2 .   [3 ]   D.  S h i n   a n d   S . K.  G u p ta,  “ Ap p ro x ima te  lo g ic  sy n t h e sis  fo r  e rro r   to l e ra n t  a p p li c a ti o n s , ”  2 0 1 0   De sig n ,   Au t o ma ti o n   &   T e st i n   E u ro p e   Co n fer e n c e   &   Exh ib it i o n   (DA T E  2 0 1 0 ) ,   2 0 1 0 .   [4 ]   N.  Zh u ,   W. L .   G o h   a n d   K . S .   Y e o ,   “ An   e n h a n c e d   lo w - p o we r  h ig h - sp e e d   a d d e r  f o r  e rro r - t o lera n t  a p p li c a ti o n , ”   Pro c e e d in g s  o f  t h e   1 2 t h   In ter n a ti o n a l  S y mp o siu m  o n   In te g ra ted   Ci rc u it s   ( IS IC'0 9 ) ,   2 0 0 9 ,  p p .   6 9 - 72 .   [5 ]   V.  G u p ta,  D.  M o h a p a tra,  A.  Ra g h u n a th a n   a n d   K.  R o y ,   “ Lo w - p o we r  d ig it a l   sig n a l  p r o c e ss in g   u si n g   a p p r o x ima te  a d d e rs,”  IEE E   T r a n s a c ti o n s  o n   C o mp u ter - Ai d e d   De sig n   o f  I n teg r a t e d   Circ u it s   a n d   S y ste ms ,   v o l.   32 ,  n o .   1 ,   p p .   1 2 4 - 1 3 7 ,   2 0 1 3 .   [6 ]   J.  Ha n   a n d   M .   Ors h a n s k y ,   “ Ap p r o x ima te  c o m p u ti n g :   An   e m e rg in g   p a ra d ig m   fo r   e n e rg y - e fficie n t  d e sig n , ”   i n   2 0 1 3   1 8 t h   IEE E   Eu r o p e a n   T e st  S y mp o s iu m  (ET S ) ,   2 0 1 3 ,   p p .   1 - 6 .   [7 ]   Q.  Xu ,   N.   Kim   a n d   T.   M y t k o wic z ,   “ Ap p r o x ima te  c o m p u ti n g :   A  su r v e y , ”   IEE E  De sig n   &   T e st ,   v o l .   3 3 ,   n o .   1 ,   p p .   8 - 2 2 ,   2 0 1 5 .   [8 ]   B.   S h a o ,   a n d   P .   Li ,   “ Arra y - b a se d   a p p ro x ima te arith m e ti c   c o m p u ti n g :  A  g e n e ra l  m o d e l  a n d   a p p li c a ti o n s to   m u lt i p li e r   a n d   sq u a re r  d e sig n , ”   In ter n a ti o n a l  S y mp o si u m  o n   L o w  P o we r  El e c tro n ics   a n d   De sig n   (I S L PE D),   v o l .   6 4 ,   n o .   4 ,   p p .   1 0 8 1 - 1 0 9 0 ,   2 0 1 4 .   [9 ]   T.   A.   Dra n e ,   T .   M .   R o se ,   a n d   G .   A.  C o n sta n ti n id e s,  “ On   t h e   sy s tem a ti c   c re a ti o n   o f   fa it h f u ll y   r o u n d e d   tru n c a ted   m u lt ip li e rs an d   a rra y s , ”   IE EE   T r a n sa c ti o n s o n   C o mp u ter s,   v o l.   6 3 ,   n o .   1 0 ,   p p .  2 5 1 3 - 2 5 2 5 ,   Oc t.   2 0 1 4 .     [1 0 ]   F .   F a rsh c h i,   M .   S .   Ab r ish a m i,   S . M .   F a k h ra ie,   “ Ne w  a p p r o x i m a te  m u lt ip li e r   fo r   l o w  p o we r   d i g it a l   sig n a l  p ro c e ss in g , ”   i n   T h e   1 7 th   C S I  In te rn a ti o n a l  S y mp o siu m  o n   C o m p u t e r  Arc h it e c tu re   &   Dig it a l  S y ste m s  (CADS   2 0 1 3 ) ,  2 0 1 3 ,   p p .   2 5 - 30 .   [1 1 ]   T.   Ya m a m o to ,   I.   Tan ig u c h i ,   H.  To m iy a m a ,   S .   Ya m a sh it a   a n d   Y .   Ha ra - Az u m i,   " A  sy ste m a ti c   m e th o d o l o g y   fo r   d e sig n   a n d   wo rst - c a se   e rro r  a n a ly sis  o f  a p p r o x ima te  a rra y   m u lt ip li e rs , "   IEI CE  T ra n s.  o n   F u n d a me n ta ls,  v o l .   1 0 0 ,  n o .   7 ,   p p .   1 4 9 6 - 1 4 9 9 ,   2 0 1 7 .   [1 2 ]   S .   Bo r o u m a n d ,   H.  P .   Afs h a r,   P .   Brisk   a n d   S .   M o h a m m a d i,   “ Ex p l o ra ti o n   o f  a p p ro x ima te  m u lt ip li e r s  d e sig n   sp a c e   u sin g   c a rry   p ro p a g a ti o n   fre e   c o m p re ss o rs , ”   in   2 0 1 8   2 3 r d   Asia   a n d   S o u th   P a c if ic  D e sig n   A u to m a ti o n   C o n fer e n c e   (AS P - DAC) ,   2 0 1 8 ,  p p .   6 1 1 - 6 1 6 .   [1 3 ]   C.   Li u ,   J.  Ha n   a n d   F a b r izio   Lo m b a rd i,   “ A L o w - P o we r,   Hig h - p e rfo r m a n c e   a p p ro x ima te m u lt ip li e r  wit h   c o n fi g u ra b le  p a rti a l  e rro r  re c o v e ry , ”   in   De sig n ,   Au t o ma ti o n   &   T e st i n   Eu ro p e   Co n fer e n c e   &   Exh ib it i o n   (DAT E) ,   2 0 1 4 ,   p p .   1 - 4 .   [1 4 ]   J.  Ch a n g   a n d   J.   S h a ,   “ An   e fficie n t   imp lem e n tatio n   o f   2 D   c o n v o lu ti o n   i n   CNN , ”   IEI CE   El e c tro n ics   Ex p re ss ,   v o l.   1 4 ,   n o.   1,   p p .   1 - 8,   2 0 1 7 .   [1 5 ]   B.   Li u ,   H.   Qin ,   Y.  G o n g ,   W.   G e ,   M .   Xia   a n d   L .   S h i , ”   EE RA - ASR:   An   e n e r g y - e fficie n t   re c o n fi g u ra b le  a rc h it e c tu re   fo r  a u to m a ti c   sp e e c h   re c o g n it io n   with   h y b ri d   DN N  a n d   a p p ro x ima te  c o m p u ti n g , ”   IEE E  Acc e ss ,   v o l.   6 ,   p p .   5 2 2 2 7 - 5 2 2 3 7 ,   2 0 1 8 .   [1 6 ]   D - A.  Ng u y e n ,   H - H.  H o ,   D - H.   Bu i  a n d   X - T   Tran ,   “ An   e fficie n t  h a rd wa re   imp lem e n tati o n   o f   a rti ficia l  n e u ra l   n e two rk   b a se d   o n   sto c h a stic  c o m p u ti n g , ”   in   NAF O S T ED  Co n f e re n c e   o n   In fo rm a ti o n   a n d   Co mp u ter   S c ien c e   (NICS ) ,   2 0 1 8 ,   p p .   2 3 7 - 2 4 2 .   [1 7 ]   V.  M ra z e k ,   S .   S .   S a rwa r,   L.   S e k a n in a ,   Z .   Va sic e k   a n d   K.  Ro y ,   “ De sig n   o f  p o we r - e fficie n t  a p p ro x i m a te  m u lt ip li e rs  fo r  a p p ro x ima te  a rti ficia l  n e u ra l  n e two rk s ,”   in   IEE E/ AC M   I n ter n a ti o n a l   Co n fer e n c e   o n   C o mp u ter - Ai d e d   De sig n   (ICCAD) ,   2 0 1 6 ,   p p .   1 - 7 .   [1 8 ]   K.  S imo n y a n   a n d   A.  Zi ss e rm a n , ”   Ve ry   d e e p   c o n v o l u ti o n a l  n e two rk s  fo r  larg e - sc a le  ima g e   r e c o g n it i o n , ”   in   In ter n a t io n a l  C o n fer e n c e   o n   L e a rn in g   Rep re se n ta ti o n s,  2 0 1 4 .   [1 9 ]   I.   Ha m m a d   a n d   K.  El - S a n k a ry ,   “ I m p a c t  o f  a p p ro x ima te  m u lt ip li e rs   o n   VG G   d e e p   lea rn in g   n e two r k , ”   IEE E  Acc e ss ,   v o l.   6 ,  p p .   6 0 4 3 8 - 6 0 4 4 4 ,   2 0 1 8 .   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :  2 0 8 9 - 4 8 6 4   I n t J Reco n f ig u r a b le  &   E m b ed d ed   Sy s t,  Vo l.  10 ,   No .   1 ,  Ma r c h   2 0 2 1 :   1   –   10   10   [2 0 ]   H.  S im  a n d   J.   Lee ,   “ A  n e w  sto c h a stic  c o m p u ti n g   m u lt ip li e r  with   a p p li c a ti o n   to   d e e p   c o n v o lu ti o n a l  n e u ra l   n e two rk s ,”   in   IE EE   De sig n   Au to ma ti o n   Co n fer e n c e   (DAC),   2 0 1 7 ,   p p .   1 - 6 .   [2 1 ]   E.   S c h k u fz a ,   R.   S h a rm a ,   A.  Aik e n ,   " S t o c h a stic  o p ti m iza ti o n   o f  f lo a ti n g - p o in t  p r o g ra m s  with   t u n a b le  p re c isio n " ,   ACM   S IGP L AN ,  v o l.   4 9 ,   n o .   6 ,   p p .   5 3 - 6 4 ,   2 0 1 4 .   [2 2 ]   A.  Ala g h i  a n d   J.   P .   Ha y e s,  “ S u rv e y   o f   st o c h a stic  c o m p u ti n g , ”  AC M   T r a n s.   Em b e d d e d   C o mp u ti n g   S y ste ms ,  v o l.   1 2 ,   n o .   2 s,  p p .   1 - 1 9 ,   2 0 1 2 .   [2 3 ]   M .   Co u rb a riau x   a n d   Y.  Be n g i o   “ Bin a ry Ne t:   Trai n in g   d e e p   n e u ra l  n e two r k s  with   we i g h ts  a n d   a c ti v a ti o n s   c o n stra i n e d   to   + 1   o r   − 1 , ”   a rXiv ,   2 0 1 6 .   [2 4 ]   N.  J.  F ra se r,   Y.  Um u ro g lu ,   G .   G a m b a rd e ll a ,   M .   Blo tt ,   P .   Leo n g ,   M .   Ja h re   a n d   K.  Viss e rs,  “ S c a li n g   b in a rize d   n e u ra l   n e two rk s  o n   re c o n fig u ra b le  l o g ic , ”   in   ACM   I n ter n a ti o n a l  Co n fer e n c e   Pro c e e d in g   S e rie s  (ACM - I C PS ) ,   2 0 1 7 ,   p p .   25 - 30 .   [2 5 ]   E.   Nu rv i tad h i ,   D.  S h e ffiel d ,   J.  S i m ,   A.  M ish ra ,   G .   Ve n k a tes h   a n d   D.  M a rr,   “ a c c e ler a ti n g   b i n a rize d   n e u ra l  n e two r k s:  Co m p a riso n   o f   F P G A,  CP U,   G P U,  a n d   ASIC, ”   in   I n ter n a ti o n a l  Co n fer e n c e   o n   F ield - Pro g ra mm a b le  T e c h n o l o g y   (FP T ) ,   2 0 1 6 ,   p p .   77 - 84 .   [2 6 ]   Y.  Zh a n g ,   Z.   Zh o u ,   P .   Hu a n g ,   M .   F a n ,   R.   Ha n ,   W.   S h e n ,   L .   Li u ,   X.   Li u   a n d   J.   Ka n g ,   “ An   im p ro v e d   h a rd wa re   a c c e lar a ti o n   a rc h it e c tu re   o f   b i n a ry   n e u ra l   n e two r k   wi th   1 T1 R   a rra y   b a se d   f o rwa rd /b a c k wa rd   p ro p a g a ti o n   m o d u le , ”   in   S il ico n   Na n o e lec tro n ics   W o rk sh o p   (S NW ),   2 0 1 9 ,   p p .   1 - 2 .   [2 7 ]   P.   K.  Ch u n d i,   P .   Li u ,   S .   P a r k .   S .   Lee   a n d   M .   S e o k   “ F P G A - b a se d   a c c e lera ti o n   o f  b in a ry   n e u ra l  n e two rk   trai n in g   wit h   m in imiz e d   o ff - c h ip   m e m o ry   a c c e ss ,”   in   IEE E/ ACM   I n ter n a t io n a l  S y mp o si u m  o n   L o w   P o we r  El e c tro n ics   a n d   De sig n   (IS L PE D),   2 0 1 9 ,   p p .   1 - 6 .   [2 8 ]   Z.   Li ,   L.   Wan g ,   S .   G u o ,   Y.   De n g ,   Q.  Do u ,   H .   Z h o u   a n d   W.   L u ,   “ Laiu s:   An   8 - b it   fi x e d - p o i n t  CNN   h a rd wa re   in fe re n c e   e n g i n e , ”   i n   IE EE   I n ter n a ti o n a l   S y m p o siu m   o n   Pa ra l lel  a n d   Distrib u ted   Pr o c e ss in g   w it h   A p p li c a ti o n s  a n d   2 0 1 7   I EE E  I n ter n a ti o n a l   Co n f e re n c e   o n   Ub i q u i to u s  Co m p u ti n g   a n d   C o mm u n ic a ti o n s  (I S PA /IUCC) ,   2 0 1 7 ,   p p .   1 4 3 - 150 .   [2 9 ]   A.  Ba laji,   S .   Ullah ,   A.  Da s,  a n d   A.  Ku m a r , ”   De sig n   m e th o d o l o g y   f o r  e m b e d d e d   a p p ro x ima te  a rti ficia l  n e u ra l  n e two rk s, ”  i n   Gr e a t  L a k e s S y mp o siu m o n   VL S I  (GL S VL S I),   2 0 1 9 ,   p p .   4 8 9 - 4 9 4 .   [3 0 ]   A.  Kriz h e v sk y ,   I .   S u tsk e v e r  a n d   E.   Hin t o n ,   “ Im a g e Ne t  c las sifica ti o n   wit h   d e e p   c o n v o lu t io n a l  n e u ra l  n e two rk s , ”   i n   In ter n a t io n a l  C o n fer e n c e   o n   Ne u r a l  In fo rm a t io n   Pro c e ss in g   S y ste ms ,   v o l .   6 0 ,   n o .   6 ,   p p .   8 4 - 9 0 ,   2 0 1 7 .     B I O G RAP H I E S O F   AUT H O RS       Ke n ta  S h iran e   re c e iv e d   h is  BE  d e g re e   in   e lec tro n ic  a n d   c o m p u ter  e n g i n e e rin g   fr o m   Rit su m e ik a n   Un iv e rsity   i n   2 0 1 9 .   He   is  i n   t h e   M a ste r’s  d e g re e   p ro g ra m   a t   Rit su m e ik a n   Un i v e rsity .   His  re se a rc h   in tere sts in c lu d e   d e sig n   m e th o d o lo g ies   fo r  e m b e d d e d   s y st e m s.                 Tak a h iro   Ya m a m o to   re c e iv e d   h i s  BE  a n d   M E  d e g re e s  in   e lec tro n ic  a n d   c o m p u ter  e n g i n e e rin g   fro m   Rit su m e ik a n   Un i v e rsity   i n   2 0 1 6   a n d   2 0 1 8 ,   re sp e c ti v e ly .   At  p re se n t,   h e   wo r k s  f o r   M it su b ish i   El e c tri c   Co r p o ra t io n .   His  re se a rc h   i n tere sts  in c l u d e   d e sig n   m e th o d o lo g ie s  fo r   e m b e d d e d   sy ste m s.                 Hiro y u k i   To m i y a m a   re c e iv e d   h is   BE,   M E,   a n d   DE   d e g re e s  i n   c o m p u ter  sc ien c e   fro m   K y u sh u   Un iv e rsity   i n   1 9 9 4 ,   1 9 9 6 ,   a n d   1 9 9 9 ,   re sp e c ti v e ly .   He   wo rk e d   a s  a   v isit in g   re se a rc h e r  a t  UC   Irv in e ,   a s  a   re se a rc h e r  a t  IS IT/ Ky u sh u ,   a n d   a s  a n   a ss o c iate   p ro fe ss o r  a t  Na g o y a   U n iv e rsit y .   S in c e   2 0 1 0 ,   h e   h a s  b e e n   a   fu ll   p ro fe ss o r  wit h   th e   Co ll e g e   o f   S c ien c e   a n d   En g i n e e rin g ,   Rit s u m e ik a n   Un iv e rsity .   He   h a s  se rv e d   o n   p ro g ra m   a n d   o rg a n izin g   c o m m it t e e s  fo r  a   n u m b e r  o f  p re m ier  c o n fe re n c e s  in c lu d in g   DA C,   IC CAD ,   DA TE ,   ASP - DA C,   COD ES + IS S S ,   CASE S ,   IS LP ED,   RTCS A,  F P L,   a n d   M P S o C.   He   h a s  a lso   se rv e d   a s  a n   e d it o r - in - c h ief  fo r  IP S J  TS LDM ;  a n   a ss o c iate   e d it o r  fo r  ACM  TODA ES ,   IEE E  E S L,   a n d   S p ri n g e r  DA EM ;  a n d   a   c h a ir  fo r  t h e   IEE E   CS   Ka n sa i  C h a p ter  a n d   IEE E   C EDA  Ja p a n   C h a p ter.   His  re se a rc h   i n tere sts  in c l u d e ,   b u t   a re   n o t   li m it e d   to ,   d e si g n   m e th o d o l o g ies   fo r  e m b e d d e d   a n d   c y b e r - p h y sic a l  sy ste m s.       Evaluation Warning : The document was created with Spire.PDF for Python.