I nte rna t io na l J o urna l o f   Rec o nfig ura ble a nd   E m be dd e d Sy s t e m s   ( I J R E S)   Vo l.   8 ,   No .   3 ,   No v em b er   201 9 ,   p p .   2 0 6 ~ 2 1 4   I SS N : 2 0 8 9 - 4864 ,   DOI : 1 0 . 1 1 5 9 1 /i j r es. v 8 . i3 . p p 2 0 6 - 2 1 4          206       J o ur na l ho m ep a g e :  h ttp : //ia e s co r e. co m/jo u r n a ls /in d ex . p h p / I JR E S   A  sca la ble F PGA  ba sed a ccelerato r  f o r  Tiny - Y O L O - v2    using  open CL         Ya p J un e  Wa i ,  Z ul k a na in    M o hd   Yus s o f ,  Sa ni I rw a n   M d Sa li m   F a c u lt y   o f   El e c tro n ic an d   C o m p u ter E n g in e e rin g ,   Un iv e rsiti   T e k n ik a l  M a lay sia   M e lak a ,   M a la y sia       Art icle  I nfo     AB ST RAC T     A r ticle  his to r y:   R ec eiv ed   J u l   9 ,   2 0 1 9   R ev i s ed   Sep   1 0 ,   2 0 1 9   A cc ep ted   Oct  5 ,   2 0 1 9       De e p   Co n v o lu t io n   Ne u ra l  Ne two rk   (CNN )  a lg o rit h m   h a v e   re c e n tl y   g a in e d   p o p u larity   in   m a n y   a p p li c a ti o n s  su c h   a s  im a g e   c la ss i f ica ti o n ,   v id e o   a n a ly ti c ,   o b jec t  re c o g n it i o n   a n d   se g m e n tatio n .   Be i n g   c o m p u te - in ten siv e   a n d   m e m o r y   e x p e n siv e ,   CNN   c o m p u tatio n s  a re   c o m m o n   a c c e lera ted   b y   G P Us   w it h   h ig h   p o w e r  d issip a ti o n s.  Re c e n t  stu d i e s  sh o w  i m p le m e n tatio n   o f   CNN   o n   F P GA   a n d   it   g a in   h ig h e r   a d v a n tag e   in   t e r m   o f   e n e rg y - e ff icie n t  a n d   f lex ib il it y   o v e r   S o f tw a r e - c o n f ig u ra b le - G P Us .   T h e   p ro p o se d   f ra m e w o rk   i s  v e ri f ied     b y   i m p le m e n t  T in y - Y OLO - v 2   o n   De 1 S o C.   T h e   d e sig n   d e v e lo p m e n t  in   t h is  p ro jec t  is  HL S   a p p r o a c h   t o   e a se   e ff o rt  f ro m   w rit in g   c o m p lex   RTL   c o d e s  a n d   p ro v id e   f a st  v e rif ica ti o n   th ro u g h   e m u latio n   a n d   p r o f il in g   to o ls   p ro v i d e d     in   t h e   Op e n CL   S DK .   T o   b e st  o f   o u r  k n o w led g e ,   th is  is  th e   f irst  im p le m e n tatio n   o f   T in y - Y OLO - v2  CNN   b a se d   o b jec t  d e tec ti o n   a lg o rit h m   o n     a   s m a ll   sc a le De 1 S o C  b o a rd   u si n g   In tel  F P G A   S DK   f o r  Op e n CL   a p p r o a c h .   K ey w o r d s :   C NN   FP GA   Ob j ec t  d etec tio n   Op en C L   T in y - Y OL O - v2   Co p y rig h t  ©   2 0 1 9   In stit u te o f  A d v a n c e d   E n g i n e e rin g   a n d   S c ien c e .    Al l  rig h ts  re se rv e d .   C o r r e s p o nd ing   A uth o r :   Yap   J u n e  W ai ,    Facu lt y   o f   E lectr o n ic  an d   C o m p u ter   E n g i n ee r i n g ,   Un i v er s iti T ek n ik a l   Ma la y s ia  Me lak a ,   Han g   T u ah   J a y a,   7 6 1 0 0 ,   Du r ain   T u n g g al,   Me la k a,   Ma la y s ia .   E m ail:  M0 2 1 7 1 0 0 1 2 @ s tu d en t . u te m . ed u . m y       1.   I NT RO D UCT I O N     C o n v o lu tio n al  n e u r al  n et w o r k   ( C N N) ,   as   a  w el l - k n o w n   d ee p   lear n in g   ar c h itect u r e  in s p ir ed     b y   ar ti f icia l  n e u r al  n et w o r k ,   h as  b ee n   p r i m ar il y   e m p lo y ed   i n   v ar io u s   ap p licatio n s   i n clu d i n g   i m a g e  [ 1 ,   2 ]   an d   v id eo   class i f icatio n   [ 3 ] ,   te x t  r ec o g n i tio n   [ 4 ] ,   s p ee ch   r ec o g n itio n   [ 5 ]   an d   o b j e ct  d etec tio n   [ 6 - 8 ] .     T h e  s tate - of - th e - ar t  C NN   b as ed   alg o r ith m s   u s u all y   co n s is t   m i llio n s   o f   p ar a m eter s   t h at  r eq u ir e  o v er   b illi o n   o p er atio n s   to   p r o ce s s   a  s i n g le   i m a g e.   T h is   i s   a  g r ea t  co m p u tatio n al  c h alle n g e   f o r   g en er al  p u r p o s e  p r o ce s s o r s  ( C P U)   to   im p le m e n t  C N N - b ased   ap p licatio n s   ef f icie n tl y .   T h u s ,   v ar io u s   ac ce ler ato r   s u ch   as  GP U,     FP GA   an d   A SI C   h a v e  b ee n   ex p lo r ed   r ec en tly   to   i m p r o v e  th e  t h r o u g h p u t  o f   C NN  d esig n s .   C u r r en tl y ,     FP GA   h a v e  r ec ei v ed   h u g e  atten tio n   o f   r esear c h er s   d u e  to   th eir   r elativ e l y   h ig h   p er f o r m a n ce ,     lo w   p o w er   co n s u m p t io n ,   r ec o n f i g u r ab ilit y   a n d   f a s t  d ev e l o p m e n t  r o u n d ,   esp ec iall y   w i th   t h e  i n tr o d u ctio n     o f   Hig h   S y n t h e s is   T o o l  ( HL S),   w h ich   e n ab le  au to m atic  co m p ila tio n   f r o m   h i g h - lev e l  p r o g r am   ( C /C ++ )     to   r eg is ter - tr a n s f er - lev e l   ( R T L )   [9 - 11] .    P r ev io u s   FP G A - b ased   C N N  ac ce ler ato r   d esig n s   [ 9 - 1 1 ]   m ai n l y   f o cu s ed   o n   o p tim izin g     th e  p er f o r m a n ce   a n d   co m p u ta tio n al  r eso u r ce s   o n l y   o n   clas s i f icatio n   C N N - b ased   al g o r ith m s   s u ch   a s   A le x Net   [ 1 ]   an d   VGG  [ 2 ] .   T h is   r esear ch   f o cu s   o n   d ev elo p in g   C NN - b ased   o b j ec t   d etec tio n   alg o r ith m   T in y - Y OL O - v 2   th at  ca n   r u n   o n   FP G A   ac ce ler ato r ,   De1 So C .   I n   co n tr a s t  to   class i f icatio n   ta s k ,   o b j ec t  d ete ctio n   lo ca lize s   a n d   class i f y   a  v ar iab le  n u m b er   o f   o b j ec ts   o n   an   i m a g e  w h ic h   i n d icate s   t h at   th e   o u tp u t  o f   o b j ec t  d etec tio n   m a y   ch an g e  f r o m   i m ag e  to   i m ag e.   T h is   is   a  g r ea t  ch alle n g e  to   f it  co m p u tatio n al  i n ten s i v e  an d   m e m o r y   i n te n s i v e   o b j ec t  d etec tio n   alg o r ith m :  T i n y - YO L O - v 2   in to   De1 So C   b o ar d   w h ich   h as  v er y   li m ited   h ar d w ar e  r eso u r ce s .     T o   th e  b est  o f   o u r   k n o w led g e,   t h is   r esear c h   i s   t h e  f ir s t   C NN - b ased   d etec tio n   a lg o r ith m   i m p le m en ted     o n   FP G A ,   De1 So C   u s i n g   I n t el  FP G A   S DK  f o r   Op en C L   ap p r o ac h .   W e  s u m m ar ize   t h e   k e y   co n tr ib u tio n s     Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J   R ec o n f i g u r ab le  &   E m b ed d ed   Sy s t   I SS N:  2089 - 4864       A   s ca la b le  F P GA   b a s ed   a cc el era to r   fo r   T in y - YOLO - v2   u s in g   o p en C L …   ( Ya p   Ju n e  W a i )   207   as  f o llo w s :   A   s ca lab le  C NN - b ased   o b j ec t  d etec tio n   alg o r ith m   T in y - Y OL O - v 2   t h at  ca n   r u n   o n   De1 So C   u s i n g   I n tel  FP GA   S DK  f o r   Op en C L   v er s io n   1 6 . 1 . A   n o v el  ap p r o ac h   to   d o   th e  d ata  r ea r r an g e m e n t - on - f l ig h t     to   eli m i n ate  t h e  n ee d   to   s to r e  th e  co m p u ted   o u tp u t  to   r ed u ce   th e  m e m o r y   r eq u ir e m en t  f o r   h ar d w ar e.     I n   d ep th   an al y s i s   o n   T in y - YO L O - v 2   an d   id en ti f y   t h e  co m p u tatio n al  an d   m e m o r y   co m p lex i t y .     Op en C L   Fra m e w o r k   I n tel  FP G A   SDK  f o r   Op en C L   al lo w s   u s er   to   ab s tr ac t  a w a y   th e  tr ad itio n a l  h ar d war e  FP GA  d ev elo p m en t   f lo w   b y   u s in g   h i g h - le v el  s y n t h esi s   to o ls .   I t   is   an   alter n ati v e  ap p r o ac h   to   tr ad itio n al  R T L   d esig n   co n ce p t  s u ch   as  Ver ilo g   o r   V HDL   w it h   C   o r   C ++   s y n t h esi s .   Fig u r e  1   illu s tr ates  t h e  Op en C L - b ased   FP G A  ac ce ler ato r   d ev elo p m en t  f lo w .   I n   t h e  Op en C L   f r a m e w o r k   f o r   So C   s p ec if ica ll y ,   t h e   C P U,   in   o u r   ca s e,     is   th e  AR M  C o r tex - A 9   ac ts   a s   th e  Op en C L   h o s t a n d   it  h as b r id g es i n ter co n n ec t t h e  C y clo n e  V  w h ic h   it ser v es   as  an   Op e n C L   d e v ice,   f o r m i n g   a  h eter o g e n eo u s   co m p u ti n g   s y s te m .   An   Op e n C L   co d e,   w h ic h   is   w r i tten   in   C /C ++   li k e  s y n tax ,   is   tr a n s lated   i n to   h ar d w ar e  i m a g e,   s u p p o r ted   b y   Op en C L   r u n ti m e  d r iv er .     Fu r t h er m o r e,   o n   th e  h o s t  s id e   ( A R M) ,   C /C ++   co d e  r u n s   o n   th e  C P U,   p r o v id in g   v e n d o r   s p ec if ic  ap p licatio n   p r o g r am m i n g   i n ter f ac e  ( A P I )   to   co m m u n icate   w it h   t h e  i m p le m e n ted   k er n els  o n   t h e  C y cl o n e  V  ac ce ler ato r .     T h is   w o r k   u tili ze s   I n tel  FP G A   f o r   Op en C L   v 1 6 . 1   to o ls et  f o r   co m p ili n g ,   e m u latio n   a n d   p r o f ilin g   k er n els     o n   FP GA .           Fig u r e  1 .  Op en C L - b ased   FP GA   d ev elo p m en t  f lo w       C NN  B asic  Op er atio n s   C o n v o lu tio n al  n e u r al  n et w o r k   ( C NN)   is   f ir s t  in s p ir ed   b y   th e  v is u al  co r tex   o f   m a m m al s     in   n e u r o s cien ce   r esear c h .   I t  is   a  m ac h i n e  lear n i n g   alg o r ith m   w ell  s u ited   f o r   b o th   class i f icatio n   an d   o b j ec t   d etec tio n   task .   As  a  class ica l   s u p er v i s ed   lear n in g   al g o r ith m ,   C NN  ap p lies   a  f ee d - f o r w ar d   s tag e  f o r   o b j ec t   class i f icatio n   o r   d etec tio n ,   w h er ea s   a  b ac k w ar d   s tag e  f o r   tr ain i n g .   D u r in g   tr ain i n g ,   th e  g r o u n d   tr u th   o u tp u t s   ar e  k n o w n ,   a n d   th e  er r o r   is   co m p u ted   b et w ee n   t h e  co r r ec t  an d   co m p u ted   o u tp u t.  T h e  er r o r   is   th en   u s e d     to   b ac k - p r o p ag ate  th r o u g h   t h e  n et w o r k .   I n   i n d u s tr ial  p r ac ti ce ,   th e   tr ain i n g   p r o ce s s   is   u s u all y   tr ain ed   o f f lin e   an d   th e   tr ain ed   C NN  n et w o r k   w il l  b e  u s ed   to   p er f o r m   r e co g n itio n   j o b s .   Fig u r e  2   s h o w s   t h e  ar ch i tectu r e     o f   T in y - YO L O - v 2   [ 8 ] ,   w h ic h   co n s is t s   o f   9   co n v o lu tio n a l  la y er s ,   ea ch   w it h   a  leak y   r ec tif ied   li n ea r   u n it   ( R eL U)   b ased   ac ti v atio n   f u n c tio n   an d   b atch   n o r m aliza tio n   o p er atio n   in ter s p er s ed   w ith   6   m ax - p o o lin g   la y er s   an d   a  r eg io n   la y er .   T in y - YO L O - v 2   tak es i n p u t i m a g e  s ize  4 1 6 x 4 1 6   to   2 0   o u tp u t c las s es.           Fig u r e  2 .  A r ch itectu r e  o f   T in y - YO L O  C NN      Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :  2 0 8 9 - 4864   I n t J   R ec o n f i g u r ab le  &   E m b ed d ed   Sy s t  Vo l.  8 ,   No .   3 ,  No v em b er   2019 : 2 0 6   –   2 1 4   208   C o n v o lu tio n al  L a y er   T h e  co n v o lu t io n al  la y er   i s   t h e  co r e  f u n ctio n al   la y er   o f   a  Dee p   Neu r al  Net w o r k   ar c h itect u r e.     P r ev io u s   s t u d y   [ 1 2 ]   p r o v ed   th at  t h e  co n v o lu tio n al  la y e r   w ill  o cc u p y   o v er   9 0   %  o f   t h e  f ee d - f o r w ar d   co m p u tatio n   p er io d .   Hen ce ,   in   th i s   w o r k ,   w e  w ill  f o c u s   th e  o p ti m izatio n   o n   t h e  co n v o l u tio n a l  la y er .   C o n v o lu tio n al  la y er   ap p lies   t h e  co n v o l u tio n   o p er atio n   to   th e   i m a g e  i n p u t   an d   p as s   t h e  r es u lt  to   th e   n e x t  la y er .   T h e  co n v o lu tio n al  o p er atio n   in   C NN  m o d el  ca n   b e  ex p r ess e d   as f o llo w s :     1 0 1 0 1 0 ] ][ ' [ ] ][ ][ [ ] [ ] ' ][ ' ][ [ FW w FH h FD d d h W X d h w n W h w n Y   ( 1)     w h er e:      Y   =   Ou tp u t Fea tu r e     W =  T r ain ed   W eig h ts     X = I n p u t Fea t u r e   A cti v atio n   F u n ct io n s   A cti v atio n   f u n ctio n   i n   a  C NN   ar ch itect u r e  is   u s ed   to   tr a n s f o r m   th e  in p u t  v alu e  to   th e  o u tp u t  v a lu e   b ef o r e  th e  p o o lin g   la y er .   Si g m o id al  ac t iv at io n   f u n ctio n s   w er e  m o s t  o f te n   u s ed   i n   C NN  ar e  b o u n d ed     b y   a  m a x i m u m   a n d   m i n i m u m   v al u e  a n d   th er eb y   ca u s i n g   th e   s at u r ated   n e u r o n   in   h i g h er   la y er s   o f   n eu r a l   n et w o r k .   A l ter n ati v el y ,   r ec ti f ier   li n ea r   u n it s   ( R e L U)   h a v e  b ee n   p r o p o s ed   as  an   a ctiv atio n   f u n ctio n .     L ea k y   R e L U   Fi g u r e   3   in   co n t r ast  to   s i g m o id al  f u n ctio n s   ar e  u n b o u n d   a n d   it   ca n   r ep r esen t  a n y   n o n - n e g ati v e   r ea l v alu e.         Fig u r e  3 .  L ea k y   ac ti v atio n   f u n ctio n       P o o lin g   L a y er   P o o lin g   la y er   in   g e n er al  i s   a  f o r m   o f   d i m e n s io n a ll y   r ed u ctio n   u s ed   i n   C NN.   I t s   g o al   is   to   t h r o w   a w a y   u n n ec es s ar y   i n f o r m atio n   an d   o n l y   p r eser v e  t h e  m o s t  cr itical  in f o r m atio n .   T y p ical   p o o lin g   f u n c tio n s     ar e  m a x i m u m   p o o lin g   an d   av er ag e  p o o lin g   la y er .   Ma x   p o o l in g   r etu r n s   th e  m a x i m u m   v a l u e  f r o m   t h e  i n p u t,   w h er e  av er ag e  p o o lin g   r etu r n s   th e  av er a g e  v al u e.   T h e  f o r m u l a  o f   m a x - p o o lin g   is   i llu s tr ated   as f o llo w i n g :     } ' , ' : ] ' , ; [ m a x { ] , [ p j j j i i i j i S j i S   ( 2 )     } ' , ' : ] ' , ; [ { ] , [ p j j j i i i j i S a v e r a g e j i S   ( 3 )   B atch   No r m aliza tio n   B atch   n o r m aliza t io n   is   i m p le m en ted   i n   th e  co n v o lu ti o n al  la y er   to   p r o v id e  an y   lay er   i n     T in y - Y OL O - v 2   w it h   in p u t s   t h at  ar e  ze r o   m ea n / u n it  v ar ia n ce .   th at  th e  f o r m u la  f o r   th e  b atch   n o r m a lizatio n   Sh o w s   ( 4 ) .   T h is   o p er atio n   is   ca r r ied   o u t  af ter   th e  co n v o l u ti o n   o p er atio n   an d   b ef o r e  th e  a ctiv atio n   f u n ctio n .     T h e  in p u t  la y er   is   n o r m alize d   b y   ad j u s ti n g   an d   s ca li n g   th e  a ctiv atio n s .   B atch   n o r m aliza tio n   allo w s   ea ch   la y er   to   lear n   in   m o r e  i n d ep en d en t  w a y .   T h is   h elp s   to   r ed u ce   th e   o v er f itti n g   b ec au s e  it  h as  a  s lig h t  r eg u la r izatio n   ef f ec ts   s i m i lar   to   th e  d r o p o u t.     Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J   R ec o n f i g u r ab le  &   E m b ed d ed   Sy s t   I SS N:  2089 - 4864       A   s ca la b le  F P GA   b a s ed   a cc el era to r   fo r   T in y - YOLO - v2   u s in g   o p en C L …   ( Ya p   Ju n e  W a i )   209   2 ) ( ) ( ) ( i i X X   ( 4)     w h er e:  X (i) = I n p u t     µ = Mean     σ 2 = Var ian ce   = C o n s tan t   T h e  r est  o f   t h e  p ap er   is   o r g an ized   as  f o llo w s .   Secti o n   2   p r esen ts   a   d etailed   ca s e  s t u d y     o n   co m p u tatio n al  an d   m e m o r y   co m p lex i t y   o f   T in y - YO L O - v 2   an d   a  d etailed   d escr ip tio n   o n   th e  p r o p o s ed   ac ce ler ato r   d esig n   u s in g   Gen er al  Ma tr ix - Ma tr i x   Mu ltip licat io n   ( GeM M) .   Sectio n   3   p r esen t s     th e  e x p er i m e n tal  r e s u l ts   a n d   th e  r eso u r ce   u t ilizatio n   r ep o r t  o f   o u r   C N N  o b j ec t  d etec tio n   d esi g n   a     s ec tio n   4   co n cl u d es th e  p ap er .         2.   RE S E ARCH   M E T H O D     2 . 1 .     YO L O   o bje c t   det ec t io n  a lg o rit h m   I n   th i s   s ec tio n ,   w e  p r esen t  a  d etail  ex p lo r atio n   o n   t h e  Yo lo   o b j ec t  d etec tio n   f r a m e w o r k .   P r io r   o b j ec t  d etec tio n   alg o r it h m   r ep u r p o s e   cla s s i f ier s   o f   lo ca lizer s   to   p er f o r m   d etec tio n   [ 6 ] .   T h ese  class i f ier s / lo ca lizer s   ar e  ap p lied   to   an   im a g e  at  m u ltip le  lo ca tio n   an d   v ar io u s   s ca les.  Ho w e v er ,   Yo lo   [ 7 ,   8 ]   u s es  a  to tall y   d if f er en t   ap p r o ac h   to   ap p ly   a  s in g le  co n v o l u tio n a l  n et w o r k   to   th e  f u l l  i m ag e  a n d   p r ed ict  m u ltip le  b o u n d i n g   b o x es  a n d   class   p r o b ab ilit y   f o r   th o s e  b o x es.  T h is   m a k es  Yo lo   is   e x tr e m el y   f ast  w h ic h   ca n   r u n   at  4 5   f r a m e s   p er   s ec o n d   o n   a  T itan x GP U.   Fi g u r e  4   ill u s tr ated   h o w   o b j ec t d etec tio n   task   i s   r ef r a m ed   as so m e  s i n g le  r eg r ess io n   p r o b lem   s tr aig h t  f o r m   i m a g e  p i x els   to   b o u n d i n g   b o x   co o r d in ates  a n d   clas s   p r o b ab ilit ies.   T h e  in p u t  i m a g e     is   d iv id ed   i n to   S× S  g r id .   E ac h   g r id   ce ll  p r ed icts   B   b o u n d i n g   b o x es,  co n f id e n ce   f o r   th o s e  b o x es  a n d   C   cla s s   p r o b a b ilit ies.  T h ese  p r ed ic tio n s   ar e  en co d ed   as a n   S S×( B * 5 + C) .           Fig u r e  4 .  YOL O  o b j ec t D =d etec tio n   a lg o r it h m       2 . 2 .     Ana ly s is   o f   c o m p uta t io na l c o m p lex it y   o f   T iny - YO L O - v2   I n   t h is   s ec tio n ,   w e  p r ese n t   an   a n al y s i s   o n   t h e  co m p u tatio n a l  co m p le x it y   a n d   t h e  m e m o r y   r eq u ir e m en t  o f   T in y   YO L O - v 2 .   I n   co n v o lu tio n al  la y er ,   ea c h   i n p u t   f ea tu r e  m ap   i s   co n v o l v ed   w it h   a   s lid i n g   w i n d o w / f ilter   w it h   s ize  K× K,   w h ic h   r es u lti n g   i n   a  H ou t × W out   o u tp u t   f ea t u r e  m ap .   T h e  n u m b er   o f   i n p u t  a n d   o u tp u t  i s   N in ,   N out   r esp ec ti v el y .   No tice  t h at  ea c h   p i x el  i n   an   o u tp u t  f ea t u r e  m ap   is   t h e   r esu l t   o f   ad d itio n     o f   Nin   p ix el s   th a t  r eq u ir es  K × K  o f   m u ltip licatio n s   an d   ad d itio n s   o p er atio n s .   T h e  to tal  a m o u n t  o f   o p er atio n s     in   co n v o l u tio n   la y er   ca n   b e  ap p r o x im a tel y   ca lc u lated   as   s h o w n   i n   ( 5 ) .   No ted   t h at,   t h i s   eq u at io n   i g n o r es   n u m b er   o f   o p er atio n s   f o r   th e   b atch   n o r m aliza tio n   a n d   leak y   a ctiv atio n   f o r   ea ch   la y er .     . 2 # W o u t H o u t N o u t K K N i n O p e r a t i o n s   ( 5)   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :  2 0 8 9 - 4864   I n t J   R ec o n f i g u r ab le  &   E m b ed d ed   Sy s t  Vo l.  8 ,   No .   3 ,  No v em b er   2019 : 2 0 6   –   2 1 4   210   T h e  m e m o r y   r eq u ir e m e n t  i s   d escr ib ed   w it h   s p ac e  co m p le x it y .   T h e  m ai n   p ar a m eter   i n   th e  T in y   YOL O - v 2   is   t h e  w ei g h t  w h ic h   is   u s ed   in   t h e  co n v o lu tio n al  la y er .   T h e  n u m b er   o f   w e ig h t  i n   th e  co n v o l u tio n a l   la y er   ca n   b e  ex p r ess e s   as:     . # N o u t K K N i n W e i g h t s   ( 6)     B o th   co m p u tatio n al  co m p le x it y   an d   m e m o r y   r eq u ir e m e n t  f o r   9   lay er s   o f   co n v o lu tio n al  la y er     o f   T in y - YO L O - v 2   is   s u m m ar ized   in   T ab le   1 .   No ted   th at,   T in y - Y OL O - v 2   ta k es   ap p r o x im atel y   7 . 3   b illi o n   o p er atio n s   w it h   1 5   m ill io n   o f   w ei g h ts   j u s t f o r   o n e  i m a g e  i n p u t.       T ab le  1 .   T in y - YO L O - v 2   c o n f i g u r atio n s   L a y e r   I n p u t   O u t p u t   # O p e r a t i o n s   # W e i g h t s   N i n   H i n   W i n   K   N o u t   H o u t   W o u t   1   3   4 1 6   4 1 6   3   16   4 1 6   4 1 6   1 4 9 , 5 2 0 , 3 8 4   4 3 2   2   16   2 0 8   2 0 8   3   32   2 0 8   2 0 8   3 9 8 , 7 2 1 , 0 2 4   4 , 6 0 8   3   32   1 0 4   1 0 4   3   64   1 0 4   1 0 4   3 9 8 , 7 2 1 , 0 2 4   1 8 , 4 3 2   4   64   52   52   3   1 2 8   52   52   3 9 8 , 7 2 1 , 0 2 4   7 3 , 7 2 8   5   1 2 8   26   26   3   2 5 6   26   26   3 9 8 , 7 2 1 , 0 2 4   2 9 4 , 9 1 2   6   2 5 6   13   13   3   5 1 2   13   13   3 9 8 , 7 2 1 , 0 2 4   1 , 1 7 9 , 5 9 2   7   5 1 2   13   13   3   1 0 2 4   13   13   1 , 5 9 4 8 8 4 , 0 9 6   4 , 7 1 8 , 5 9 2   8   1 0 2 4   13   13   3   1 0 2 4   13   13   3 , 1 8 9 , 7 6 8 , 1 9 2   9 , 4 3 8 , 1 8 4   9   1 0 2 4   13   13   3   1 2 5   13   13   4 3 , 2 6 4 , 4 0 0   1 2 8 , 0 0 0       2 . 3 .     I m ple m e nta t io n o f   3 D  c o nv o lutio n  a s   G eM M   C NN  e m p lo y s   a  f ee d f o r w ar d   p r o ce s s   f o r   o b j ec t  d etec tio n ,   in v o lv in g   b illi o n s   o f   m u ltip licatio n     an d   ad d itio n   o p er atio n s .   No ted   th at  th e  co n v o l u tio n   o p er atio n   ess en tial l y   p er f o r m s   m u ltip licatio n     an d   ac cu m u la te  o p er atio n s   b et w ee n   t h e  f il ter s   an d   lo ca l   r eg io n s   o f   i n p u t.  T o   tak e  ad v an ta g e  o f   t h is ,     w e  i m p le m e n ted   Ge MM   b a s e d   co n v o lu tio n   l ik e   [ 1 1 ,   1 3 ] .   I n   f ac t,  Ge MM   b ased   co n v o lu ti o n   ap p r o ac h   is   al s o   b ee n   p r ac ticed   in   GP U  b ase d   ac ce ler a to r   f o r   C NN  cla s s i f icatio n   [ 1 ,   2]   an d   o b j ec t  d e tectio n   ta s k   [ 7 ,   8 ] .     Fig u r e  5   s h o w s   th a t  h o w   th e  f ir s t  la y er   o f   co n v o l u tio n   la y er   ( 3 D)   is   f latten i n g   a n d   r ea r r an g ed   v er ticall y   i n to     a  2 D  m a tr ix   th r o u g h   i m 2 co l  p r o ce s s .   Fo r   ex a m p l e,   th e  d i m e n s io n   o f   t h e   in p u t  la y er   f o r     T in y - Y OL O - v 2   i s   4 1 6   ×4 1 6 × 3   ( Hin × W in   N i n )   a n d   t h e  s iz e  o f   k er n e l  i s   3 ×3   ( K× K) .   T h e  I m 2 C o l   o p er atio n   f latte n   3 D  in p u t  la y er   d i m en s io n   ( 416 ×4 1 6 × 3 )   an d   r ea r r a n g e  v er ticall y   i n to   a  2 D  m a tr ix   o f   d i m e n s io n     416 ×4 1 6 ×3 × 3 × 3.           Fig u r e  5 .  I m 2 C o l  o p er atio n         No tice  th at  th e  i m 2 co l  o p er atio n   co m es  at  t h e  co s t.  I t  ca u s e s   th e  e x p an s io n   in   m e m o r y   s ize     if   t h e  s tr id e  i s   s m aller   t h an   th e  k er n el  s ize  as  p i x els  ar e  o v er lap p in g   an d   d u p licated   in   t h e  m atr i x .     T h e  ex p an s io n   o f   m e m o r y   in cr ea s es  th e  m e m o r y   r eq u ir e m en t  to   s to r e  th e  r ea r r an g ed   in p u t  f ea t u r e  m atr ix .   Hen ce ,   w e  p r o p o s ed   th e  p s e u d o   co d e  as  s h o w n   in   Fig u r e  6   to   p e r f o r m   t h e  i m 2 co l  o p er atio n   o n - t h e - f l y     b y   s to r in g   th e  co r r esp o n d i n g   p i x els  i n to   FP G A ’ s   lo c al  m e m o r y   b ef o r e  th e  m at r ix   m u ltip lica tio n .   I m p le m e n tatio n   o f   c o n v o lu t io n   as Ge MM   a  s h o w n   i n   Fi g u r e   7 .       Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J   R ec o n f i g u r ab le  &   E m b ed d ed   Sy s t   I SS N:  2089 - 4864       A   s ca la b le  F P GA   b a s ed   a cc el era to r   fo r   T in y - YOLO - v2   u s in g   o p en C L …   ( Ya p   Ju n e  W a i )   211       Fig u r e  6 .  P s eu d o   co d e  I m 2 C o l   o n - f l y           Fig u r e  7 .  I m p le m e n tatio n   o f   c o n v o l u tio n   as Ge MM       T h e  w e ig h ts   o f   th e  co n v o lu tio n   la y er   ar e  also   s tr etch ed   o u t  in to   r o w s .   As  an   ex a m p le,     F ig u r e  7   ill u s tr ates  t h at  co n v o lu tio n   ca n   b e  d o n e  b y   p e r f o r m i n g   o n e  lar g e  m atr i x - m atr ix   m u ltip licatio n   [ s ize x s ize] .   T h e   p s eu d o   co d e  f o r   th e  m atr ix   m u ltip licat io n - b ased   co n v o lu tio n   i n   o u r   p r o p o s ed   d esig n     is   s h o w n   in   F i g u r e  8 .   T o   ac ce l er ate  th e  GeM M  o p er atio n ,   tw o   s ca lab le  d esig n   p ar a m eter s   B L OC K_ SI Z E   an d   SIM D  v ec to r izatio n   f ac to r   is   in tr o d u ce d .   SIM D  i s   r ep r esen tin g   t h e  f ac to r   b y   w h ic h   d ata  ar e  v ec to r ized   an d   ex ec u ted   i n   SIM D  m a n n er .   T h is   p ar am e ter   is   s ca lab le   d ep en d s   o n   th e  r eso u r ce s   av ailab le  i n   FP G A .     T h e  p er f o r m a n ce   o f   t h e  o b j ec t  d etec tio n   is   d eter m in ed   b y   c h o o s in g   a n   ap p r o p r iate  o f   SIM D   an d   B L OC K_ SI Z E   f ac to r .           Fig u r e  8 .  P s eu d o   co d e  o f   p r o p o s ed   GeM M  co n v o lu t io n       2 . 4 .     Da t a   prepro ce s s ing   A cc o r d in g   to   ( 4 ) ,   p ar t  o f   t h e  co m p u ta tio n   in   b at ch   n o r m aliza t io n   in v o lv e s   d iv i s io n .     Ho w e v er ,   d iv i s io n   o p er ato r s   ar e  v er y   e x p en s iv e   to   i m p le m en t   i n   FP G As  a n d   m i g h t   d eg r ad e  k er n el   p er f o r m a n ce   [ 1 4 ] .   I n   ad d itio n ,   th e  i m p le m e n tatio n   o f   d iv is io n   r eq u ir e s   a  s i g n if ican t  a m o u n t  o f   h ar d w ar e   r eso u r ce s .   Si n ce   T in y - YO L O - v 2   ap p lies   a   f ee d f o r w ar d   p r o ce s s   f o r   o b j ec t  d etec tio n   an d   a   b ac k w ar d   p at h   f o r   tr ain i n g .   T h e  n e t w o r k   is   co m m o n l y   tr ai n ed   o f f li n e  an d   t h e   p ar am eter s   o f   σ   a n d   β  ar e  to   b e  lear n ed   d u r in g     th e  tr ain i n g   p r o ce s s   an d   th es e  v alu e s   ar e  o n l y   lo ad   o n ce   d u r in g   th e  i n f er e n ce   p r o ce s s .   Hen ce ,   it  is   m o r e  r ea s o n ab le  o f f lo ad   t h e  d iv is i o n   o p er atio n   to   t h e  h o s t  p r o ce s s o r   an d   t h e n   p as s   t h e  r es u lt  a s   a n   ar g u m e n t     to   th e  k er n e l.  He n ce ,   t h e  ( 4 )   ab o v e  i s   s l ig h tl y   m o d if ied   as  s h o w n   in   ( 7 ) .   T o   av o id     th e  r ed u n d an c y   an d   h ar d w ar e   r eso u r ce - i n te n s i v e  o p er atio n   ( d iv is io n ) ,   t h e  f o llo w i n g   ca lc u latio n   f o r   v al u e  β     is   p er f o r m ed   in   th e  h o s t  ap p licatio n   an d   th e n   β  i s   p ass ed   to   th e  k er n el  as  a n   ar g u m e n t  f o r   all  w o r k - ite m s     in   ND  R a n g e  to   u s e.     Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :  2 0 8 9 - 4864   I n t J   R ec o n f i g u r ab le  &   E m b ed d ed   Sy s t  Vo l.  8 ,   No .   3 ,  No v em b er   2019 : 2 0 6   –   2 1 4   212   ) ( ) ( ) ( i i X X   ( 7)     w h er e:              √             3.   RE SU L T S  A ND  AN AL Y SI S   I n   t h is   s ec tio n ,   w e  f ir s t  p r es en t  t h e  v alid atio n   r es u lt s   o f   p r o p o s ed   ar ch itectu r e   d ev elo p ed   u s i n g   Op en C L 1 6 . 1   I n tel  FP GA   SD K  HL S  to   ac ce ler ate  th e  lar g e - s ca le  C N N - b a s ed   o b j ec t  d etec tio n   alg o r it h m :   T in y - Y OL O - v 2   o n   FP GA  b o ar d .   T h e  h ar d w ar e  s p ec i f ic at io n   o f   th e  C y clo n e  V   b o ar d   is   s u m m ar ized     in   T ab le  2 .       T ab le  2 .  Har w ar e  s p ec i f icatio n   o f   FP G A   b o ar d   S p e c i f i c a t i o n   D e 1 S o C   B o a r d   F P G A   C y c l o n e   V   5 C S EM A 5 F 3 1 C 6   H P S   D u a l   C o r e   A R M   C o r t e x t - A9   L o g i c   El e me n t   8 5 k   R A M   B l o c k s   3 9 7   D S P   B l o c k s   87   Ex t e r n a l   M e mo r y   1 G B   D D R 3       Seco n d l y ,   th e  b est  p er f o r m a n c e  f o r   th e  r u n ti m e  u s ed   th e  p ar a m eter   co n f ig u r atio n   B L OC K _ SIZ E = 16  an d   SIM D = 2 .   No te   th at   it   is   t h e  b est   co n f i g u r atio n   f o r   De1 So C   to   f it   f o r   b est  p er f o r m a n c e,   as  lo g ic  r eso u r ce   is   v er y   li m ited .   T h e  r eso u r ce   u tili za tio n   o f   p r o p o s ed   ar ch itect u r e  i s   s u m m ar i ze d   in   T ab le  3 .     A cc o r d in g   to   th e  r ep o r t,   w e  ca n   tell  th at  o u r   p r o p o s ed   ar ch ite ct u r e  h as  al m o s t  u ti lize d   all  th e  av ailab le  FP GA’ s   h ar d w ar e  r eso u r ce .       T ab le  3 .  R eso u r ce   u tili za tio n   R e so u r c e   A v a i l a b l e   U se d   U t i l i z a t i o n   L o g i c   ( A M s)   3 2 0 7 0   2 9 1 8 6   9 1 %   R A M s   3 9 7   3 9 1   9 8 %   D S P s   87   87   1 0 0 %       T h e  ex ec u tio n   ti m e  o f   t h e  C NN  la y er s   i n   T in y - YO L O - v 2   i m p le m en ted   o n   De1 So C   is   illu s tr ated     in   Fi g u r e  9 .   I t  is   n o ted   th at  t h e  f i n al  clas s i f icatio n   ti m e  w i th o u t  k er n el  p r o f ili n g   w ill  b e  s ig n i f ica n tl y   lo w er     as  s h o w n   i n   Fig u r e  9   d u e  to   th e  d ela y   i n v o lv ed   in   g e n er at in g   t h e  p r o f il in g   r ep o r t.  T h e  t o tal  d etec tio n   ti m e     p er   im a g e  u s i n g   t h e  p r o p o s ed   ar ch itectu r e  is   1 . 4 0   s ec o n d ,   ac h iev in g   ar o u n d   5 . 2   GFL OP s   t h r o u g h p u t     o n   De1 So C .   I t  i s   e x p ec ted   t h at  t h e  p r o p o s ed   ar ch i tectu r e   ca n   ac h ie v e  m u c h   h i g h er   th r o u g h p u t  o n   o th er     lar g e - s ca le  FP G A   b o ar d s : Str atix   an d   A r ia  FP G A   b o ar d .           Fig u r e  9 .  P s eu d o   co d e  o f   p r o p o s ed   GeM M  co n v o lu t io n       T h ir d ly ,   w e   p r esen t  o n   t h e  h o w   d ata   p r ep r o ce s s in g   m e n tio n ed   in   p r e v io u s   s ec t io n   w ill   h el p   to   u ti liz e   th e  h ar d w ar e  r eso u r ce s   o n   FP GA .   As  w e   m e n tio n ed ,   De1 So C   b o ar d   h as  li m i ted   av ailab le  h ar d w ar e  r eso u r ce s   to   i m p le m e n t  lar g e  s ca le  C N N - b ased   o b j ec t  d etec tio n   alg o r ith m   s u ch   a s   T in y - Yo lo - v 2 .   Hen ce ,   b y   m o d i f y i ng  th e  eq u atio n   lis ted   i n   ( 4 )   in to   ( 7 )   to   o f f lo ad   p ar t  o f   ex p en s iv e  co m p u tatio n   o p er atio n s   s u ch   a s   d iv i s io n   a n d   m o d u l u s   to   b e  d o n e  in   h o s t   p r o g r am   h e lp s   to   s av e  u p   t o   1 1 %  lo g ic  elem e n t  co n s u m p tio n .   T h is   lead s     to   s ig n if ica n t  i m p r o v e m e n t  t o   th e  o b j ec t  d etec tio n   p e r f o r m an ce ,   as  m o r e  r eso u r ce s   ca n   b e  u s ed   to   f u r th er   s ca le  u p   t h e  p r o p o s ed   ar ch itectu r e.   T h e  h ar d w ar e  r eso u r c e  u tili za t io n   u s i n g   d ata  p r ep r o ce s s in g   ap p r o ac h     is   s u m m ar ize  i n   T ab le  4 .     Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J   R ec o n f i g u r ab le  &   E m b ed d ed   Sy s t   I SS N:  2089 - 4864       A   s ca la b le  F P GA   b a s ed   a cc el era to r   fo r   T in y - YOLO - v2   u s in g   o p en C L …   ( Ya p   Ju n e  W a i )   213   T ab le  4 .  R eso u r ce   u tili za tio n   u s i n g   d ata  p r ep r o ce s s in g   R e so u r c e   ( 4 )   ( 7 )   U t i l i z a t i o n   L o g i c   ( A M s)   9 7 %   8 8 %   1 1 %   A L U T s   6 0 %   5 4 %   6%   F F s   4 2 %   3 8 %   4%   R A M s   1 0 1 %   8 8 %   1 3 %   D S P s   9 3 %   8 4 %   9%       Fig u r e  1 0   s h o w s   th e  d es ig n   s p ac e  ex p lo r atio n   f o r   T in y - YO L O - v 2   m o d el  o n   De1 So C .   I t  s h o w s   th a t     th e  r eso u r ce   u tili za tio n   i n cr e ases   ar o u n d   1 0 %  w h e n   w e  in cr ea s e  t h e  B L OC K_ SI Z E   p ar am eter   i n   s ca le    o f   m u ltip le  4 .   A t  th e  s a m e  ti m e,   th e  ex ec u tio n   ti m e  to   in f er en ce   o n   in p u t  i m ag e  i s   i m p r o v ed   f r o m   4 . 1 6 s     to   1 . 4 0 s   b y   i n cr ea s i n g   t h e  B L OC K_ SI Z E   p ar a m eter s .   C u r r en tl y ,   d u e  to   t h e  l i m i te d   h ar d w ar e  r eso u r ce     o n   De1 So C ,   B L OC K_ SIZ E = 3 2   an d   SIM D = 4   is   to o   lar g e   to   f it   in   th e   FP G A   d ev ice   a n d   is   n o t  r ep o r ted .     A ll  th e  o b j ec t  in   t h e  i m ag e  i s   co r r ec tly   d etec ted   w it h o u t  h u r tin g   t h e  d etec tio n   ac c u r ac y   w h e n   th e  p r o p o s ed   ar ch ite ct u r e  is   s ca led   f r o m   B L OC K_ SI Z E =4   to   B L OC K_ SI Z E =1 6 .           Fig u r e  1 0 .   Desig n   s p ac e  ex p lo r atio n       4.   CO NCLU SI O N     I n   th is   w o r k ,   w e  i m p le m e n ted   GE MM   b ased   co n v o l u tio n   m eth o d   f o r   co n v o lu tio n al  n eu r a l  n et w o r k   o b j ec t  d etec tio n   alg o r ith m :   T in y - Y OL O - v 2 .   W e  th e n   p r esen t  in - d ep th   a n al y s i s   o n   T in y - YO L O - v 2   co m p u tatio n al  an d   m e m o r y   co m p le x it y .   W e  also   im p le m e n ted   im 2 co l  o p er atio n s   o n - f l y   d u r in g   d ata  f etch i n g   s tag e  i n   k er n el.   Fin al l y ,   w e   r ea lize  th e  i m p le m e n tat io n   th e  f ir s t  C NN - b ased   o b j ec t  d etec tio n   alg o r it h m     o n   De1 So C .       ACK NO WL E D G E M E NT S    Au t h o r s   w o u ld   li k e  to   t h a n k   Un i v er s iti   T ek n i k al  Ma la y s ia  Me lak a  ( UT eM )   an d   S KI M  Z a m ala h   f o r   s u p p o r tin g   th i s   r esear ch       RE F E R E NC E S    [1 ]   Kriz h e v sk y ,   A . ,   S u tsk e v e r,   I.   a n d   Hin to n ,   G . E.   “ I m a g e n e t  c las si f ic a ti o n   w it h   d e e p   c o n v o lu ti o n a l  n e u ra l  n e tw o rk s,”   In   Ad v a n c e s in   n e u r a l  i n fo rm a ti o n   p r o c e ss in g   sy ste ms ,   p p .   1 0 9 7 - 1 1 0 5 ,   2 0 1 2 .   [2 ]   S im o n y a n ,   K.  a n d   Zi ss e r m a n ,   A.   “ V e ry   d e e p   c o n v o lu ti o n a l  n e tw o rk s   f o r  larg e - sc a l e   i m a g e   re c o g n it io n , ”   a rXiv  p re p rin t  a rXiv:1 4 0 9 . 1 5 5 6 ,   2 0 1 4 .   [3 ]   Ka rp a th y ,   A . ,   T o d e rici,   G . ,   S h e tt y ,   S . ,   L e u n g ,   T . ,   S u k th a n k a r,   R.   a n d   F e i - F e i,   L .   “ Larg e - sc a le   v id e o   c las sif i c a ti o n   w it h   c o n v o lu ti o n a l  n e u ra l  n e tw o rk s,”  In   Pro c e e d in g s  o f  t h e   IEE E  c o n fer e n c e   o n   Co mp u ter   Vi si o n   a n d   Pa tt e r n   Rec o g n it io n ,   p p .   1 7 2 5 - 1 7 3 2 ,   2 0 1 4 .   [4 ]   L a i,   S . ,   X u ,   L . ,   L iu ,   K.   a n d   Zh a o ,   J.  “ Re c u rre n t  C o n v o l u ti o n a l  Ne u ra l  Ne tw o rk s  f o r  T e x t  Clas si f ic a ti o n , ”   In   AAAI ,  V o l .   3 3 3 ,   p p .   2 2 6 7 - 2 2 7 3 ,   2 0 1 5 .     Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :  2 0 8 9 - 4864   I n t J   R ec o n f i g u r ab le  &   E m b ed d ed   Sy s t  Vo l.  8 ,   No .   3 ,  No v em b er   2019 : 2 0 6   –   2 1 4   214   [5 ]   A b d e l - Ha m id ,   O.,   M o h a m e d ,   A . R. ,   Jia n g ,   H.,   De n g ,   L . ,   P e n n ,   G .   a n d   Yu ,   D.  “ C o n v o l u ti o n a l  n e u r a l  n e tw o rk s  f o r   sp e e c h   re c o g n it io n , ”   IE EE /A C M   T ra n sa c ti o n s  o n   a u d i o ,   sp e e c h ,   a n d   la n g u a g e   p ro c e ss in g ,   22 ( 1 0 ) ,     p p . 1 5 3 3 - 1 5 4 5 ,   2 0 1 4 .   [6 ]   Re n ,   S . ,   He ,   K.,   G irsh ick ,   R.   a n d   S u n ,   J.  “ F a ste r  r - c n n :  T o w a rd s  re a l - ti m e   o b jec t  d e tec ti o n   w it h   re g io n   p ro p o sa l   n e tw o rk s,” In   Ad v a n c e s i n   n e u r a l   in f o rm a ti o n   p ro c e ss in g   sy ste ms ,   p p .   9 1 - 9 9 ,   2 0 1 5 .   [7 ]   Re d m o n ,   J.,   Div v a la,  S . ,   G irsh ick ,   R.   a n d   F a rh a d i,   A .   “ Yo u   o n ly   lo o k   o n c e :  Un if ied ,   re a l - ti m e   o b jec t  d e tec ti o n , ”   In   Pro c e e d i n g s  o f  t h e   IEE E  c o n fe re n c e   o n   c o mp u ter   v isio n   a n d   p a t ter n   re c o g n it io n ,   p p .   7 7 9 - 7 8 8 ,   2 0 1 6 .   [8 ]   Re d m o n ,   J.  a n d   F a rh a d i ,   “ A .   YO L O9 0 0 0 :  b e tt e r,   f a ste r,   stro n g e r, ”   a rXiv p re p ri n t ,   2 0 1 7 .   [9 ]   W a n g ,   D.,   A n ,   J.  a n d   Xu ,   K.  “ P i p e CNN :  A n   Op e n CL - Ba se d   F P G A   A c c e lera to r  f o r  L a r g e - S c a l e   Co n v o lu ti o n   Ne u ro n   Ne tw o rk s.”   a rXiv p re p rin t  a rXiv:1 6 1 1 . 0 2 4 5 0 ,   2 0 1 6 .   [1 0 ]   Zh a n g ,   C. ,   L i,   P . ,   S u n ,   G . ,   G u a n ,   Y.,   X iao ,   B.   a n d   Co n g ,   J.  “ Op ti m izin g   f p g a - b a se d   a c c e ler a to r  d e sig n   f o r  d e e p   c o n v o lu ti o n a l  n e u ra l  n e tw o rk s,”  In   Pro c e e d in g s  o f  th e   2 0 1 5   A CM /S IGD A  In ter n a ti o n a l  S y mp o siu m  o n   Fi e ld - Pro g ra mm a b le Ga te A rr a y s ,   p p .   1 6 1 - 1 7 0 ,   A CM ,   2 0 1 5 .   [1 1 ]   S u d a ,   N. ,   Ch a n d ra ,   V.,   Da sik a ,   G . ,   M o h a n ty ,   A . ,   M a ,   Y.,   V ru d h u la,  S . ,   S e o ,   J.S .   a n d   Ca o ,   Y .   “ T h ro u g h p u t - o p ti m ize d   Op e n CL - b a se d   F P G A   a c c e ler a to r  f o r  larg e - sc a le  c o n v o lu ti o n a l  n e u ra l  n e tw o rk s,”  In   Pro c e e d in g s  o f  th e   2 0 1 6   ACM / S IGD A  In ter n a ti o n a l  S y mp o si u m o n   Fi e l d - Pro g ra mm a b le Ga te A rr a y s ,   p p .   1 6 - 2 5 ,   A CM ,   2 0 1 6 .   [1 2 ]   Co n g ,   J.  a n d   Xia o ,   B.   “ M in im izin g   c o m p u tatio n   i n   c o n v o lu t io n a l  n e u ra l  n e tw o rk s,”  In   In ter n a ti o n a l  c o n fer e n c e   o n   a rtif icia l   n e u r a l  n e two rk s ,   p p .   2 8 1 - 2 9 0 ,   2 0 1 4 .   [1 3 ]   Zh a n g ,   J.  a n d   L i,   J.  “ I m p ro v in g   th e   p e rf o r m a n c e   o f  Op e n CL - b a se d   F P G A  a c c e lera to r  f o r  c o n v o lu ti o n a l  n e u ra l   n e tw o rk ” ,   In   Pro c e e d in g s  o f   th e   2 0 1 7   ACM /S IGD A  I n ter n a ti o n a l  S y mp o siu m o n   Fi e ld - Pr o g r a mm a b l e   Ga te  Arra y s ,  p p .   2 5 - 3 4 ,   A CM ,   2 0 1 7 .   [1 4 ]   In tel,   “ F P G A   S DK   f o r  Op e n CL   P ro g ra m m in g   G u id e ” ,   2 0 1 7 .       Evaluation Warning : The document was created with Spire.PDF for Python.