I nte rna t io na l J o urna l o f   Rec o nfig ura ble a nd   E m be dd e d Sy s t e m s   ( I J R E S)   Vo l.   8 ,   No .   3 ,   No v em b er   201 9 ,   p p .   2 0 6 ~ 2 1 4   I SS N : 2 0 8 9 - 4864 ,   DOI : 1 0 . 1 1 5 9 1 /i j r es. v 8 . i3 . p p 2 0 6 - 2 1 4          206       J o ur na l ho m ep a g e h ttp : //ia e s co r e. co m/jo u r n a ls /in d ex . p h p / I JR E S   sca la ble F PGA  ba sed a ccelerato r  f o Tiny - Y O L O - v2    using  open CL         Ya p J un Wa i Z ul k a na in    M o hd   Yus s o f Sa ni I rw a n   M d Sa li m   F a c u lt y   o f   El e c tro n ic an d   C o m p u ter E n g in e e rin g ,   Un iv e rsiti   T e k n ik a M a lay sia   M e lak a ,   M a la y sia       Art icle  I nfo     AB ST RAC T     A r ticle  his to r y:   R ec eiv ed   J u l   9 ,   2 0 1 9   R ev i s ed   Sep   1 0 ,   2 0 1 9   A cc ep ted   Oct  5 ,   2 0 1 9       De e p   Co n v o lu t io n   Ne u ra Ne two rk   (CNN a lg o rit h m   h a v e   re c e n tl y   g a in e d   p o p u larity   in   m a n y   a p p li c a ti o n su c h   a im a g e   c la ss i f ica ti o n ,   v id e o   a n a ly ti c ,   o b jec re c o g n it i o n   a n d   se g m e n tatio n .   Be i n g   c o m p u te - in ten siv e   a n d   m e m o r y   e x p e n siv e ,   CNN   c o m p u tatio n a re   c o m m o n   a c c e lera ted   b y   G P Us   w it h   h ig h   p o w e d issip a ti o n s.  Re c e n stu d i e sh o i m p le m e n tatio n   o f   CNN   o n   F P GA   a n d   it   g a in   h ig h e r   a d v a n tag e   in   t e r m   o f   e n e rg y - e ff icie n a n d   f lex ib il it y   o v e r   S o f tw a r e - c o n f ig u ra b le - G P Us .   T h e   p ro p o se d   f ra m e w o rk   i v e ri f ied     b y   i m p le m e n T in y - Y OLO - v 2   o n   De 1 S o C.   T h e   d e sig n   d e v e lo p m e n in   t h is  p ro jec is  HL S   a p p r o a c h   t o   e a se   e ff o rt  f ro m   w rit in g   c o m p lex   RTL   c o d e a n d   p ro v id e   f a st  v e rif ica ti o n   th ro u g h   e m u latio n   a n d   p r o f il in g   to o ls   p ro v i d e d     in   t h e   Op e n CL   S DK .   T o   b e st  o f   o u k n o w led g e ,   th is  is  th e   f irst  im p le m e n tatio n   o f   T in y - Y OLO - v2  CNN   b a se d   o b jec d e tec ti o n   a lg o rit h m   o n     a   s m a ll   sc a le De 1 S o b o a rd   u si n g   In tel  F P G A   S DK   f o Op e n CL   a p p r o a c h .   K ey w o r d s :   C NN   FP GA   Ob j ec d etec tio n   Op en C L   T in y - Y OL O - v2   Co p y rig h ©   2 0 1 9   In stit u te o A d v a n c e d   E n g i n e e rin g   a n d   S c ien c e   Al rig h ts  re se rv e d .   C o r r e s p o nd ing   A uth o r :   Yap   J u n W ai   Facu lt y   o f   E lectr o n ic  an d   C o m p u ter   E n g i n ee r i n g ,   Un i v er s iti T ek n ik a l   Ma la y s ia  Me lak a ,   Han g   T u ah   J a y a,   7 6 1 0 0 ,   Du r ain   T u n g g al,   Me la k a,   Ma la y s ia .   E m ail:  M0 2 1 7 1 0 0 1 2 @ s tu d en t . u te m . ed u . m y       1.   I NT RO D UCT I O N     C o n v o lu tio n al  n e u r al  n et w o r k   ( C N N) ,   as   w el l - k n o w n   d ee p   lear n in g   ar c h itect u r in s p ir ed     b y   ar ti f icia n e u r al  n et w o r k ,   h as  b ee n   p r i m ar il y   e m p lo y ed   i n   v ar io u s   ap p licatio n s   i n clu d i n g   i m a g [ 1 ,   2 ]   an d   v id eo   class i f icatio n   [ 3 ] ,   te x r ec o g n i tio n   [ 4 ] ,   s p ee ch   r ec o g n itio n   [ 5 ]   an d   o b j e ct  d etec tio n   [ 6 - 8 ] .     T h s tate - of - th e - ar C NN   b as ed   alg o r ith m s   u s u all y   co n s is t   m i llio n s   o f   p ar a m eter s   t h at  r eq u ir o v er   b illi o n   o p er atio n s   to   p r o ce s s   s i n g le   i m a g e.   T h is   i s   g r ea co m p u tatio n al  c h alle n g e   f o r   g en er al  p u r p o s p r o ce s s o r ( C P U)   to   im p le m e n C N N - b ased   ap p licatio n s   ef f icie n tl y .   T h u s ,   v ar io u s   ac ce ler ato r   s u ch   as  GP U,     FP GA   an d   A SI C   h a v b ee n   ex p lo r ed   r ec en tly   to   i m p r o v th t h r o u g h p u o f   C NN  d esig n s .   C u r r en tl y ,     FP GA   h a v r ec ei v ed   h u g atten tio n   o f   r esear c h er s   d u to   th eir   r elativ e l y   h ig h   p er f o r m a n ce ,     lo w   p o w er   co n s u m p t io n ,   r ec o n f i g u r ab ilit y   a n d   f a s d ev e l o p m e n r o u n d ,   esp ec iall y   w i th   t h i n tr o d u ctio n     o f   Hig h   S y n t h e s is   T o o ( HL S),   w h ich   e n ab le  au to m atic  co m p ila tio n   f r o m   h i g h - lev e p r o g r am   ( C /C ++ )     to   r eg is ter - tr a n s f er - lev e l   ( R T L )   [9 - 11]   P r ev io u s   FP G A - b ased   C N ac ce ler ato r   d esig n s   [ 9 - 1 1 ]   m ai n l y   f o cu s ed   o n   o p tim izin g     th p er f o r m a n ce   a n d   co m p u ta tio n al  r eso u r ce s   o n l y   o n   clas s i f icatio n   C N N - b ased   al g o r ith m s   s u ch   a s   A le x Net   [ 1 ]   an d   VGG  [ 2 ] .   T h is   r esear ch   f o cu s   o n   d ev elo p in g   C NN - b ased   o b j ec t   d etec tio n   alg o r ith m   T in y - Y OL O - v 2   th at  ca n   r u n   o n   FP G A   ac ce ler ato r ,   De1 So C .   I n   co n tr a s to   class i f icatio n   ta s k ,   o b j ec d ete ctio n   lo ca lize s   a n d   class i f y   v ar iab le  n u m b er   o f   o b j ec ts   o n   an   i m a g w h ic h   i n d icate s   t h at   th e   o u tp u o f   o b j ec d etec tio n   m a y   ch an g f r o m   i m ag to   i m ag e.   T h is   is   g r ea ch alle n g to   f it  co m p u tatio n al  i n ten s i v an d   m e m o r y   i n te n s i v e   o b j ec d etec tio n   alg o r ith m T i n y - YO L O - v 2   in to   De1 So C   b o ar d   w h ich   h as  v er y   li m ited   h ar d w ar r eso u r ce s .     T o   th b est  o f   o u r   k n o w led g e,   t h is   r esear c h   i s   t h f ir s t   C NN - b ased   d etec tio n   a lg o r ith m   i m p le m en ted     o n   FP G A ,   De1 So C   u s i n g   I n t el  FP G A   S DK  f o r   Op en C L   ap p r o ac h .   W s u m m ar ize   t h e   k e y   co n tr ib u tio n s     Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J   R ec o n f i g u r ab le  &   E m b ed d ed   Sy s t   I SS N:  2089 - 4864       A   s ca la b le  F P GA   b a s ed   a cc el era to r   fo r   T in y - YOLO - v2   u s in g   o p en C L   ( Ya p   Ju n W a i )   207   as  f o llo w s :   A   s ca lab le  C NN - b ased   o b j ec d etec tio n   alg o r ith m   T in y - Y OL O - v 2   t h at  ca n   r u n   o n   De1 So C   u s i n g   I n tel  FP GA   S DK  f o r   Op en C L   v er s io n   1 6 . 1 . A   n o v el  ap p r o ac h   to   d o   th d ata  r ea r r an g e m e n t - on - f l ig h t     to   eli m i n ate  t h n ee d   to   s to r th co m p u ted   o u tp u to   r ed u ce   th m e m o r y   r eq u ir e m en f o r   h ar d w ar e.     I n   d ep th   an al y s i s   o n   T in y - YO L O - v 2   an d   id en ti f y   t h co m p u tatio n al  an d   m e m o r y   co m p lex i t y .     Op en C L   Fra m e w o r k   I n tel  FP G A   SDK  f o r   Op en C L   al lo w s   u s er   to   ab s tr ac a w a y   th tr ad itio n a h ar d war FP GA  d ev elo p m en t   f lo w   b y   u s in g   h i g h - le v el  s y n t h esi s   to o ls .   I t   is   an   alter n ati v ap p r o ac h   to   tr ad itio n al  R T L   d esig n   co n ce p s u ch   as  Ver ilo g   o r   V HDL   w it h   C   o r   C ++   s y n t h esi s .   Fig u r 1   illu s tr ates  t h Op en C L - b ased   FP G ac ce ler ato r   d ev elo p m en f lo w .   I n   t h Op en C L   f r a m e w o r k   f o r   So C   s p ec if ica ll y ,   t h e   C P U,   in   o u r   ca s e,     is   th AR C o r tex - A 9   ac ts   a s   th Op en C L   h o s t a n d   it  h as b r id g es i n ter co n n ec t t h C y clo n w h ic h   it ser v es   as  an   Op e n C L   d e v ice,   f o r m i n g   h eter o g e n eo u s   co m p u ti n g   s y s te m .   An   Op e n C L   co d e,   w h ic h   is   w r i tten   in   C /C ++   li k s y n tax ,   is   tr a n s lated   i n to   h ar d w ar i m a g e,   s u p p o r ted   b y   Op en C L   r u n ti m d r iv er .     Fu r t h er m o r e,   o n   th h o s s id e   ( A R M) ,   C /C ++   co d r u n s   o n   th C P U,   p r o v id in g   v e n d o r   s p ec if ic  ap p licatio n   p r o g r am m i n g   i n ter f ac ( A P I )   to   co m m u n icate   w it h   t h i m p le m e n ted   k er n els  o n   t h C y cl o n ac ce ler ato r .     T h is   w o r k   u tili ze s   I n tel  FP G A   f o r   Op en C L   v 1 6 . 1   to o ls et  f o r   co m p ili n g ,   e m u latio n   a n d   p r o f ilin g   k er n els     o n   FP GA .           Fig u r 1 Op en C L - b ased   FP GA   d ev elo p m en f lo w       C NN  B asic  Op er atio n s   C o n v o lu tio n al  n e u r al  n et w o r k   ( C NN)   is   f ir s in s p ir ed   b y   th v is u al  co r tex   o f   m a m m al s     in   n e u r o s cien ce   r esear c h .   I is   m ac h i n lear n i n g   alg o r ith m   w ell  s u ited   f o r   b o th   class i f icatio n   an d   o b j ec t   d etec tio n   task .   As  class ica l   s u p er v i s ed   lear n in g   al g o r ith m ,   C NN  ap p lies   f ee d - f o r w ar d   s tag f o r   o b j ec t   class i f icatio n   o r   d etec tio n ,   w h er ea s   b ac k w ar d   s tag f o r   tr ain i n g .   D u r in g   tr ain i n g ,   th g r o u n d   tr u th   o u tp u t s   ar k n o w n ,   a n d   th er r o r   is   co m p u ted   b et w ee n   t h co r r ec an d   co m p u ted   o u tp u t.  T h er r o r   is   th en   u s e d     to   b ac k - p r o p ag ate  th r o u g h   t h n et w o r k .   I n   i n d u s tr ial  p r ac ti ce ,   th e   tr ain i n g   p r o ce s s   is   u s u all y   tr ain ed   o f f lin e   an d   th e   tr ain ed   C NN  n et w o r k   w il b u s ed   to   p er f o r m   r e co g n itio n   j o b s .   Fig u r 2   s h o w s   t h ar ch i tectu r e     o f   T in y - YO L O - v 2   [ 8 ] ,   w h ic h   co n s is t s   o f   9   co n v o lu tio n a la y er s ,   ea ch   w it h   leak y   r ec tif ied   li n ea r   u n it   ( R eL U)   b ased   ac ti v atio n   f u n c tio n   an d   b atch   n o r m aliza tio n   o p er atio n   in ter s p er s ed   w ith   6   m ax - p o o lin g   la y er s   an d   r eg io n   la y er .   T in y - YO L O - v 2   tak es i n p u t i m a g s ize  4 1 6 x 4 1 6   to   2 0   o u tp u t c las s es.           Fig u r 2 A r ch itectu r o f   T in y - YO L C NN      Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N 2 0 8 9 - 4864   I n t J   R ec o n f i g u r ab le  &   E m b ed d ed   Sy s Vo l.  8 ,   No .   3 No v em b er   2019 : 2 0 6     2 1 4   208   C o n v o lu tio n al  L a y er   T h co n v o lu t io n al  la y er   i s   t h co r f u n ctio n al   la y er   o f   Dee p   Neu r al  Net w o r k   ar c h itect u r e.     P r ev io u s   s t u d y   [ 1 2 ]   p r o v ed   th at  t h co n v o lu tio n al  la y e r   w ill  o cc u p y   o v er   9 0   o f   t h f ee d - f o r w ar d   co m p u tatio n   p er io d .   Hen ce ,   in   th i s   w o r k ,   w w ill  f o c u s   th o p ti m izatio n   o n   t h co n v o l u tio n a la y er .   C o n v o lu tio n al  la y er   ap p lies   t h co n v o l u tio n   o p er atio n   to   th e   i m a g i n p u t   an d   p as s   t h r es u lt  to   th e   n e x la y er .   T h co n v o lu tio n al  o p er atio n   in   C NN  m o d el  ca n   b ex p r ess e d   as f o llo w s :     1 0 1 0 1 0 ] ][ ' [ ] ][ ][ [ ] [ ] ' ][ ' ][ [ FW w FH h FD d d h W X d h w n W h w n Y   ( 1)     w h er e:      Y   =   Ou tp u t Fea tu r e     W T r ain ed   W eig h ts     X = I n p u t Fea t u r e   A cti v atio n   F u n ct io n s   A cti v atio n   f u n ctio n   i n   C NN   ar ch itect u r is   u s ed   to   tr a n s f o r m   th in p u v alu to   th o u tp u v a lu e   b ef o r th p o o lin g   la y er .   Si g m o id al  ac t iv at io n   f u n ctio n s   w er m o s o f te n   u s ed   i n   C NN  ar b o u n d ed     b y   m a x i m u m   a n d   m i n i m u m   v al u a n d   th er eb y   ca u s i n g   th e   s at u r ated   n e u r o n   in   h i g h er   la y er s   o f   n eu r a l   n et w o r k .   A l ter n ati v el y ,   r ec ti f ier   li n ea r   u n it s   ( R e L U)   h a v b ee n   p r o p o s ed   as  an   a ctiv atio n   f u n ctio n .     L ea k y   R e L U   Fi g u r e   3   in   co n t r ast  to   s i g m o id al  f u n ctio n s   ar u n b o u n d   a n d   it   ca n   r ep r esen a n y   n o n - n e g ati v e   r ea l v alu e.         Fig u r 3 L ea k y   ac ti v atio n   f u n ctio n       P o o lin g   L a y er   P o o lin g   la y er   in   g e n er al  i s   f o r m   o f   d i m e n s io n a ll y   r ed u ctio n   u s ed   i n   C NN.   I t s   g o al   is   to   t h r o w   a w a y   u n n ec es s ar y   i n f o r m atio n   an d   o n l y   p r eser v t h m o s cr itical  in f o r m atio n .   T y p ical   p o o lin g   f u n c tio n s     ar m a x i m u m   p o o lin g   an d   av er ag p o o lin g   la y er .   Ma x   p o o l in g   r etu r n s   th m a x i m u m   v a l u f r o m   t h i n p u t,   w h er av er ag p o o lin g   r etu r n s   th av er a g v al u e.   T h f o r m u l o f   m a x - p o o lin g   is   i llu s tr ated   as f o llo w i n g :     } ' , ' : ] ' , ; [ m a x { ] , [ p j j j i i i j i S j i S   ( 2 )     } ' , ' : ] ' , ; [ { ] , [ p j j j i i i j i S a v e r a g e j i S   ( 3 )   B atch   No r m aliza tio n   B atch   n o r m aliza t io n   is   i m p le m en ted   i n   th co n v o lu ti o n al  la y er   to   p r o v id an y   lay er   i n     T in y - Y OL O - v 2   w it h   in p u t s   t h at  ar ze r o   m ea n / u n it  v ar ia n ce .   th at  th f o r m u la  f o r   th b atch   n o r m a lizatio n   Sh o w s   ( 4 ) .   T h is   o p er atio n   is   ca r r ied   o u af ter   th co n v o l u ti o n   o p er atio n   an d   b ef o r th a ctiv atio n   f u n ctio n .     T h in p u la y er   is   n o r m alize d   b y   ad j u s ti n g   an d   s ca li n g   th a ctiv atio n s .   B atch   n o r m aliza tio n   allo w s   ea ch   la y er   to   lear n   in   m o r i n d ep en d en w a y .   T h is   h elp s   to   r ed u ce   th e   o v er f itti n g   b ec au s it  h as  s lig h r eg u la r izatio n   ef f ec ts   s i m i lar   to   th d r o p o u t.     Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J   R ec o n f i g u r ab le  &   E m b ed d ed   Sy s t   I SS N:  2089 - 4864       A   s ca la b le  F P GA   b a s ed   a cc el era to r   fo r   T in y - YOLO - v2   u s in g   o p en C L   ( Ya p   Ju n W a i )   209   2 ) ( ) ( ) ( i i X X   ( 4)     w h er e:  X (i) = I n p u t     µ = Mean     σ 2 = Var ian ce   = C o n s tan t   T h r est  o f   t h p ap er   is   o r g an ized   as  f o llo w s .   Secti o n   2   p r esen ts   a   d etailed   ca s s t u d y     o n   co m p u tatio n al  an d   m e m o r y   co m p lex i t y   o f   T in y - YO L O - v 2   an d   d etailed   d escr ip tio n   o n   th p r o p o s ed   ac ce ler ato r   d esig n   u s in g   Gen er al  Ma tr ix - Ma tr i x   Mu ltip licat io n   ( GeM M) .   Sectio n   3   p r esen t s     th e x p er i m e n tal  r e s u l ts   a n d   th r eso u r ce   u t ilizatio n   r ep o r o f   o u r   C N o b j ec d etec tio n   d esi g n   a     s ec tio n   4   co n cl u d es th p ap er .         2.   RE S E ARCH   M E T H O D     2 . 1 .     YO L O   o bje c t   det ec t io a lg o rit h m   I n   th i s   s ec tio n ,   w p r esen d etail  ex p lo r atio n   o n   t h Yo lo   o b j ec d etec tio n   f r a m e w o r k .   P r io r   o b j ec d etec tio n   alg o r it h m   r ep u r p o s e   cla s s i f ier s   o f   lo ca lizer s   to   p er f o r m   d etec tio n   [ 6 ] .   T h ese  class i f ier s / lo ca lizer s   ar ap p lied   to   an   im a g at  m u ltip le  lo ca tio n   an d   v ar io u s   s ca les.  Ho w e v er ,   Yo lo   [ 7 ,   8 ]   u s es  to tall y   d if f er en t   ap p r o ac h   to   ap p ly   s in g le  co n v o l u tio n a n et w o r k   to   th f u l i m ag a n d   p r ed ict  m u ltip le  b o u n d i n g   b o x es  a n d   class   p r o b ab ilit y   f o r   th o s b o x es.  T h is   m a k es  Yo lo   is   e x tr e m el y   f ast  w h ic h   ca n   r u n   at  4 5   f r a m e s   p er   s ec o n d   o n   T itan x GP U.   Fi g u r 4   ill u s tr ated   h o w   o b j ec t d etec tio n   task   i s   r ef r a m ed   as so m s i n g le  r eg r ess io n   p r o b lem   s tr aig h f o r m   i m a g p i x els   to   b o u n d i n g   b o x   co o r d in ates  a n d   clas s   p r o b ab ilit ies.   T h in p u i m a g e     is   d iv id ed   i n to   g r id .   E ac h   g r id   ce ll  p r ed icts   B   b o u n d i n g   b o x es,  co n f id e n ce   f o r   th o s b o x es  a n d   C   cla s s   p r o b a b ilit ies.  T h ese  p r ed ic tio n s   ar en co d ed   as a n   S S×( B * 5 + C) .           Fig u r 4 YOL o b j ec t D =d etec tio n   a lg o r it h m       2 . 2 .     Ana ly s is   o f   c o m p uta t io na l c o m p lex it y   o f   T iny - YO L O - v2   I n   t h is   s ec tio n ,   w p r ese n t   an   a n al y s i s   o n   t h co m p u tatio n a co m p le x it y   a n d   t h m e m o r y   r eq u ir e m en o f   T in y   YO L O - v 2 .   I n   co n v o lu tio n al  la y er ,   ea c h   i n p u t   f ea tu r m ap   i s   co n v o l v ed   w it h   a   s lid i n g   w i n d o w / f ilter   w it h   s ize  K,   w h ic h   r es u lti n g   i n   H ou t × W out   o u tp u t   f ea t u r m ap .   T h n u m b er   o f   i n p u a n d   o u tp u i s   N in ,   N out   r esp ec ti v el y .   No tice  t h at  ea c h   p i x el  i n   an   o u tp u f ea t u r m ap   is   t h e   r esu l t   o f   ad d itio n     o f   Nin   p ix el s   th a r eq u ir es  K × o f   m u ltip licatio n s   an d   ad d itio n s   o p er atio n s .   T h to tal  a m o u n o f   o p er atio n s     in   co n v o l u tio n   la y er   ca n   b ap p r o x im a tel y   ca lc u lated   as   s h o w n   i n   ( 5 ) .   No ted   t h at,   t h i s   eq u at io n   i g n o r es   n u m b er   o f   o p er atio n s   f o r   th e   b atch   n o r m aliza tio n   a n d   leak y   a ctiv atio n   f o r   ea ch   la y er .     . 2 # W o u t H o u t N o u t K K N i n O p e r a t i o n s   ( 5)   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N 2 0 8 9 - 4864   I n t J   R ec o n f i g u r ab le  &   E m b ed d ed   Sy s Vo l.  8 ,   No .   3 No v em b er   2019 : 2 0 6     2 1 4   210   T h m e m o r y   r eq u ir e m e n i s   d escr ib ed   w it h   s p ac co m p le x it y .   T h m ai n   p ar a m eter   i n   th T in y   YOL O - v 2   is   t h w ei g h w h ic h   is   u s ed   in   t h co n v o lu tio n al  la y er .   T h n u m b er   o f   w e ig h i n   th co n v o l u tio n a l   la y er   ca n   b ex p r ess e s   as:     . # N o u t K K N i n W e i g h t s   ( 6)     B o th   co m p u tatio n al  co m p le x it y   an d   m e m o r y   r eq u ir e m e n f o r   9   lay er s   o f   co n v o lu tio n al  la y er     o f   T in y - YO L O - v 2   is   s u m m ar ized   in   T ab le   1 .   No ted   th at,   T in y - Y OL O - v 2   ta k es   ap p r o x im atel y   7 . 3   b illi o n   o p er atio n s   w it h   1 5   m ill io n   o f   w ei g h ts   j u s t f o r   o n i m a g i n p u t.       T ab le  1 .   T in y - YO L O - v 2   c o n f i g u r atio n s   L a y e r   I n p u t   O u t p u t   # O p e r a t i o n s   # W e i g h t s   N i n   H i n   W i n   K   N o u t   H o u t   W o u t   1   3   4 1 6   4 1 6   3   16   4 1 6   4 1 6   1 4 9 , 5 2 0 , 3 8 4   4 3 2   2   16   2 0 8   2 0 8   3   32   2 0 8   2 0 8   3 9 8 , 7 2 1 , 0 2 4   4 , 6 0 8   3   32   1 0 4   1 0 4   3   64   1 0 4   1 0 4   3 9 8 , 7 2 1 , 0 2 4   1 8 , 4 3 2   4   64   52   52   3   1 2 8   52   52   3 9 8 , 7 2 1 , 0 2 4   7 3 , 7 2 8   5   1 2 8   26   26   3   2 5 6   26   26   3 9 8 , 7 2 1 , 0 2 4   2 9 4 , 9 1 2   6   2 5 6   13   13   3   5 1 2   13   13   3 9 8 , 7 2 1 , 0 2 4   1 , 1 7 9 , 5 9 2   7   5 1 2   13   13   3   1 0 2 4   13   13   1 , 5 9 4 8 8 4 , 0 9 6   4 , 7 1 8 , 5 9 2   8   1 0 2 4   13   13   3   1 0 2 4   13   13   3 , 1 8 9 , 7 6 8 , 1 9 2   9 , 4 3 8 , 1 8 4   9   1 0 2 4   13   13   3   1 2 5   13   13   4 3 , 2 6 4 , 4 0 0   1 2 8 , 0 0 0       2 . 3 .     I m ple m e nta t io n o f   3 c o nv o lutio a s   G eM M   C NN  e m p lo y s   f ee d f o r w ar d   p r o ce s s   f o r   o b j ec d etec tio n ,   in v o lv in g   b illi o n s   o f   m u ltip licatio n     an d   ad d itio n   o p er atio n s .   No ted   th at  th co n v o l u tio n   o p er atio n   ess en tial l y   p er f o r m s   m u ltip licatio n     an d   ac cu m u la te  o p er atio n s   b et w ee n   t h f il ter s   an d   lo ca l   r eg io n s   o f   i n p u t.  T o   tak ad v an ta g o f   t h is ,     w i m p le m e n ted   Ge MM   b a s e d   co n v o lu tio n   l ik e   [ 1 1 ,   1 3 ] .   I n   f ac t,  Ge MM   b ased   co n v o lu ti o n   ap p r o ac h   is   al s o   b ee n   p r ac ticed   in   GP b ase d   ac ce ler a to r   f o r   C NN  cla s s i f icatio n   [ 1 ,   2]   an d   o b j ec d e tectio n   ta s k   [ 7 ,   8 ] .     Fig u r 5   s h o w s   th a h o w   th f ir s la y er   o f   co n v o l u tio n   la y er   ( 3 D)   is   f latten i n g   a n d   r ea r r an g ed   v er ticall y   i n to     2 m a tr ix   th r o u g h   i m 2 co p r o ce s s .   Fo r   ex a m p l e,   th d i m e n s io n   o f   t h e   in p u la y er   f o r     T in y - Y OL O - v 2   i s   4 1 6   ×4 1 6 × 3   ( Hin × W in   N i n )   a n d   t h s iz o f   k er n e i s   3 ×3   ( K) .   T h I m 2 C o l   o p er atio n   f latte n   3 in p u la y er   d i m en s io n   ( 416 ×4 1 6 × 3 )   an d   r ea r r a n g v er ticall y   i n to   2 m a tr ix   o f   d i m e n s io n     416 ×4 1 6 ×3 × 3 × 3.           Fig u r 5 I m 2 C o o p er atio n         No tice  th at  th i m 2 co o p er atio n   co m es  at  t h co s t.  I ca u s e s   th e x p an s io n   in   m e m o r y   s ize     if   t h s tr id i s   s m aller   t h an   th k er n el  s ize  as  p i x els  ar o v er lap p in g   an d   d u p licated   in   t h m atr i x .     T h ex p an s io n   o f   m e m o r y   in cr ea s es  th m e m o r y   r eq u ir e m en to   s to r th r ea r r an g ed   in p u f ea t u r m atr ix .   Hen ce ,   w p r o p o s ed   th p s e u d o   co d as  s h o w n   in   Fig u r 6   to   p e r f o r m   t h i m 2 co o p er atio n   o n - t h e - f l y     b y   s to r in g   th co r r esp o n d i n g   p i x els  i n to   FP G A s   lo c al  m e m o r y   b ef o r th m at r ix   m u ltip lica tio n .   I m p le m e n tatio n   o f   c o n v o lu t io n   as Ge MM   s h o w n   i n   Fi g u r e   7 .       Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J   R ec o n f i g u r ab le  &   E m b ed d ed   Sy s t   I SS N:  2089 - 4864       A   s ca la b le  F P GA   b a s ed   a cc el era to r   fo r   T in y - YOLO - v2   u s in g   o p en C L   ( Ya p   Ju n W a i )   211       Fig u r 6 P s eu d o   co d I m 2 C o l   o n - f l y           Fig u r 7 I m p le m e n tatio n   o f   c o n v o l u tio n   as Ge MM       T h w e ig h ts   o f   th co n v o lu tio n   la y er   ar also   s tr etch ed   o u in to   r o w s .   As  an   ex a m p le,     F ig u r 7   ill u s tr ates  t h at  co n v o lu tio n   ca n   b d o n b y   p e r f o r m i n g   o n lar g m atr i x - m atr ix   m u ltip licatio n   [ s ize x s ize] .   T h e   p s eu d o   co d f o r   th m atr ix   m u ltip licat io n - b ased   co n v o lu tio n   i n   o u r   p r o p o s ed   d esig n     is   s h o w n   in   F i g u r 8 .   T o   ac ce l er ate  th GeM o p er atio n ,   tw o   s ca lab le  d esig n   p ar a m eter s   B L OC K_ SI Z E   an d   SIM v ec to r izatio n   f ac to r   is   in tr o d u ce d .   SIM i s   r ep r esen tin g   t h f ac to r   b y   w h ic h   d ata  ar v ec to r ized   an d   ex ec u ted   i n   SIM m a n n er .   T h is   p ar am e ter   is   s ca lab le   d ep en d s   o n   th r eso u r ce s   av ailab le  i n   FP G A .     T h p er f o r m a n ce   o f   t h o b j ec d etec tio n   is   d eter m in ed   b y   c h o o s in g   a n   ap p r o p r iate  o f   SIM D   an d   B L OC K_ SI Z E   f ac to r .           Fig u r 8 P s eu d o   co d o f   p r o p o s ed   GeM co n v o lu t io n       2 . 4 .     Da t a   prepro ce s s ing   A cc o r d in g   to   ( 4 ) ,   p ar o f   t h co m p u ta tio n   in   b at ch   n o r m aliza t io n   in v o lv e s   d iv i s io n .     Ho w e v er ,   d iv i s io n   o p er ato r s   ar v er y   e x p en s iv e   to   i m p le m en t   i n   FP G As  a n d   m i g h t   d eg r ad k er n el   p er f o r m a n ce   [ 1 4 ] .   I n   ad d itio n ,   th i m p le m e n tatio n   o f   d iv is io n   r eq u ir e s   s i g n if ican a m o u n o f   h ar d w ar e   r eso u r ce s .   Si n ce   T in y - YO L O - v 2   ap p lies   a   f ee d f o r w ar d   p r o ce s s   f o r   o b j ec d etec tio n   an d   a   b ac k w ar d   p at h   f o r   tr ain i n g .   T h n e t w o r k   is   co m m o n l y   tr ai n ed   o f f li n an d   t h e   p ar am eter s   o f   σ   a n d   β  ar to   b lear n ed   d u r in g     th tr ain i n g   p r o ce s s   an d   th es v alu e s   ar o n l y   lo ad   o n ce   d u r in g   th i n f er e n ce   p r o ce s s .   Hen ce ,   it  is   m o r r ea s o n ab le  o f f lo ad   t h d iv is i o n   o p er atio n   to   t h h o s p r o ce s s o r   an d   t h e n   p as s   t h r es u lt  a s   a n   ar g u m e n t     to   th k er n e l.  He n ce ,   t h ( 4 )   ab o v i s   s l ig h tl y   m o d if ied   as  s h o w n   in   ( 7 ) .   T o   av o id     th r ed u n d an c y   an d   h ar d w ar e   r eso u r ce - i n te n s i v o p er atio n   ( d iv is io n ) ,   t h f o llo w i n g   ca lc u latio n   f o r   v al u β     is   p er f o r m ed   in   th h o s ap p licatio n   an d   th e n   β  i s   p ass ed   to   th k er n el  as  a n   ar g u m e n f o r   all  w o r k - ite m s     in   ND  R a n g to   u s e.     Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N 2 0 8 9 - 4864   I n t J   R ec o n f i g u r ab le  &   E m b ed d ed   Sy s Vo l.  8 ,   No .   3 No v em b er   2019 : 2 0 6     2 1 4   212   ) ( ) ( ) ( i i X X   ( 7)     w h er e:                          3.   RE SU L T A ND  AN AL Y SI S   I n   t h is   s ec tio n ,   w f ir s p r es en t h v alid atio n   r es u lt s   o f   p r o p o s ed   ar ch itectu r e   d ev elo p ed   u s i n g   Op en C L 1 6 . 1   I n tel  FP GA   SD HL to   ac ce ler ate  th lar g e - s ca le  C N N - b a s ed   o b j ec d etec tio n   alg o r it h m :   T in y - Y OL O - v 2   o n   FP GA  b o ar d .   T h h ar d w ar s p ec i f ic at io n   o f   th C y clo n V   b o ar d   is   s u m m ar ized     in   T ab le  2 .       T ab le  2 Har w ar s p ec i f icatio n   o f   FP G A   b o ar d   S p e c i f i c a t i o n   D e 1 S o C   B o a r d   F P G A   C y c l o n e   V   5 C S EM A 5 F 3 1 C 6   H P S   D u a l   C o r e   A R M   C o r t e x t - A9   L o g i c   El e me n t   8 5 k   R A M   B l o c k s   3 9 7   D S P   B l o c k s   87   Ex t e r n a l   M e mo r y   1 G B   D D R 3       Seco n d l y ,   th b est  p er f o r m a n c f o r   th r u n ti m u s ed   th p ar a m eter   co n f ig u r atio n   B L OC K _ SIZ E = 16  an d   SIM D = 2 .   No te   th at   it   is   t h b est   co n f i g u r atio n   f o r   De1 So C   to   f it   f o r   b est  p er f o r m a n c e,   as  lo g ic  r eso u r ce   is   v er y   li m ited .   T h r eso u r ce   u tili za tio n   o f   p r o p o s ed   ar ch itect u r i s   s u m m ar i ze d   in   T ab le  3 .     A cc o r d in g   to   th r ep o r t,   w ca n   tell  th at  o u r   p r o p o s ed   ar ch ite ct u r h as  al m o s u ti lize d   all  th av ailab le  FP GA’ s   h ar d w ar r eso u r ce .       T ab le  3 R eso u r ce   u tili za tio n   R e so u r c e   A v a i l a b l e   U se d   U t i l i z a t i o n   L o g i c   ( A M s)   3 2 0 7 0   2 9 1 8 6   9 1 %   R A M s   3 9 7   3 9 1   9 8 %   D S P s   87   87   1 0 0 %       T h ex ec u tio n   ti m o f   t h C NN  la y er s   i n   T in y - YO L O - v 2   i m p le m en ted   o n   De1 So C   is   illu s tr ated     in   Fi g u r 9 .   I is   n o ted   th at  t h f i n al  clas s i f icatio n   ti m w i th o u k er n el  p r o f ili n g   w ill  b s ig n i f ica n tl y   lo w er     as  s h o w n   i n   Fig u r 9   d u to   th d ela y   i n v o lv ed   in   g e n er at in g   t h p r o f il in g   r ep o r t.  T h t o tal  d etec tio n   ti m e     p er   im a g u s i n g   t h p r o p o s ed   ar ch itectu r is   1 . 4 0   s ec o n d ,   ac h iev in g   ar o u n d   5 . 2   GFL OP s   t h r o u g h p u t     o n   De1 So C .   I i s   e x p ec ted   t h at  t h p r o p o s ed   ar ch i tectu r e   ca n   ac h ie v m u c h   h i g h er   th r o u g h p u o n   o th er     lar g e - s ca le  FP G A   b o ar d s : Str atix   an d   A r ia  FP G A   b o ar d .           Fig u r 9 P s eu d o   co d o f   p r o p o s ed   GeM co n v o lu t io n       T h ir d ly ,   w e   p r esen o n   t h h o w   d ata   p r ep r o ce s s in g   m e n tio n ed   in   p r e v io u s   s ec t io n   w ill   h el p   to   u ti liz e   th h ar d w ar r eso u r ce s   o n   FP GA .   As  w e   m e n tio n ed ,   De1 So C   b o ar d   h as  li m i ted   av ailab le  h ar d w ar r eso u r ce s   to   i m p le m e n lar g s ca le  C N N - b ased   o b j ec d etec tio n   alg o r ith m   s u ch   a s   T in y - Yo lo - v 2 .   Hen ce ,   b y   m o d i f y i ng  th eq u atio n   lis ted   i n   ( 4 )   in to   ( 7 )   to   o f f lo ad   p ar o f   ex p en s iv co m p u tatio n   o p er atio n s   s u ch   a s   d iv i s io n   a n d   m o d u l u s   to   b d o n in   h o s t   p r o g r am   h e lp s   to   s av u p   t o   1 1 lo g ic  elem e n co n s u m p tio n .   T h is   lead s     to   s ig n if ica n i m p r o v e m e n t o   th o b j ec d etec tio n   p e r f o r m an ce ,   as  m o r r eso u r ce s   ca n   b u s ed   to   f u r th er   s ca le  u p   t h p r o p o s ed   ar ch itectu r e.   T h h ar d w ar r eso u r c u tili za t io n   u s i n g   d ata  p r ep r o ce s s in g   ap p r o ac h     is   s u m m ar ize  i n   T ab le  4 .     Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J   R ec o n f i g u r ab le  &   E m b ed d ed   Sy s t   I SS N:  2089 - 4864       A   s ca la b le  F P GA   b a s ed   a cc el era to r   fo r   T in y - YOLO - v2   u s in g   o p en C L   ( Ya p   Ju n W a i )   213   T ab le  4 R eso u r ce   u tili za tio n   u s i n g   d ata  p r ep r o ce s s in g   R e so u r c e   ( 4 )   ( 7 )   U t i l i z a t i o n   L o g i c   ( A M s)   9 7 %   8 8 %   1 1 %   A L U T s   6 0 %   5 4 %   6%   F F s   4 2 %   3 8 %   4%   R A M s   1 0 1 %   8 8 %   1 3 %   D S P s   9 3 %   8 4 %   9%       Fig u r 1 0   s h o w s   th d es ig n   s p ac ex p lo r atio n   f o r   T in y - YO L O - v 2   m o d el  o n   De1 So C .   I s h o w s   th a t     th r eso u r ce   u tili za tio n   i n cr e ases   ar o u n d   1 0 w h e n   w in cr ea s t h B L OC K_ SI Z E   p ar am eter   i n   s ca le    o f   m u ltip le  4 .   A th s a m ti m e,   th ex ec u tio n   ti m to   in f er en ce   o n   in p u i m ag i s   i m p r o v ed   f r o m   4 . 1 6 s     to   1 . 4 0 s   b y   i n cr ea s i n g   t h B L OC K_ SI Z E   p ar a m eter s .   C u r r en tl y ,   d u to   t h l i m i te d   h ar d w ar r eso u r ce     o n   De1 So C ,   B L OC K_ SIZ E = 3 2   an d   SIM D = 4   is   to o   lar g e   to   f it   in   th e   FP G A   d ev ice   a n d   is   n o r ep o r ted .     A ll  th o b j ec in   t h i m ag i s   co r r ec tly   d etec ted   w it h o u h u r tin g   t h d etec tio n   ac c u r ac y   w h e n   th p r o p o s ed   ar ch ite ct u r is   s ca led   f r o m   B L OC K_ SI Z E =4   to   B L OC K_ SI Z E =1 6 .           Fig u r 1 0 .   Desig n   s p ac ex p lo r atio n       4.   CO NCLU SI O N     I n   th is   w o r k ,   w i m p le m e n ted   GE MM   b ased   co n v o l u tio n   m eth o d   f o r   co n v o lu tio n al  n eu r a n et w o r k   o b j ec d etec tio n   alg o r ith m :   T in y - Y OL O - v 2 .   W th e n   p r esen in - d ep th   a n al y s i s   o n   T in y - YO L O - v 2   co m p u tatio n al  an d   m e m o r y   co m p le x it y .   W also   im p le m e n ted   im 2 co o p er atio n s   o n - f l y   d u r in g   d ata  f etch i n g   s tag i n   k er n el.   Fin al l y ,   w e   r ea lize  th i m p le m e n tat io n   th f ir s C NN - b ased   o b j ec d etec tio n   alg o r it h m     o n   De1 So C .       ACK NO WL E D G E M E NT   Au t h o r s   w o u ld   li k to   t h a n k   Un i v er s iti   T ek n i k al  Ma la y s ia  Me lak ( UT eM )   an d   S KI Z a m ala h   f o r   s u p p o r tin g   th i s   r esear ch       RE F E R E NC E   [1 ]   Kriz h e v sk y ,   A . ,   S u tsk e v e r,   I.   a n d   Hin to n ,   G . E.   I m a g e n e c las si f ic a ti o n   w it h   d e e p   c o n v o lu ti o n a n e u ra n e tw o rk s,”   In   Ad v a n c e s in   n e u r a i n fo rm a ti o n   p r o c e ss in g   sy ste ms ,   p p .   1 0 9 7 - 1 1 0 5 ,   2 0 1 2 .   [2 ]   S im o n y a n ,   K.  a n d   Zi ss e r m a n ,   A.   V e ry   d e e p   c o n v o lu ti o n a n e tw o rk s   f o larg e - sc a l e   i m a g e   re c o g n it io n ,   a rXiv  p re p rin a rXiv:1 4 0 9 . 1 5 5 6 ,   2 0 1 4 .   [3 ]   Ka rp a th y ,   A . ,   T o d e rici,   G . ,   S h e tt y ,   S . ,   L e u n g ,   T . ,   S u k th a n k a r,   R.   a n d   F e i - F e i,   L .   Larg e - sc a le   v id e o   c las sif i c a ti o n   w it h   c o n v o lu ti o n a n e u ra n e tw o rk s,”  In   Pro c e e d in g o t h e   IEE c o n fer e n c e   o n   Co mp u ter   Vi si o n   a n d   Pa tt e r n   Rec o g n it io n ,   p p .   1 7 2 5 - 1 7 3 2 ,   2 0 1 4 .   [4 ]   L a i,   S . ,   X u ,   L . ,   L iu ,   K.   a n d   Zh a o ,   J.  Re c u rre n C o n v o l u ti o n a Ne u ra Ne tw o rk f o T e x Clas si f ic a ti o n ,   In   AAAI V o l .   3 3 3 ,   p p .   2 2 6 7 - 2 2 7 3 ,   2 0 1 5 .     Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N 2 0 8 9 - 4864   I n t J   R ec o n f i g u r ab le  &   E m b ed d ed   Sy s Vo l.  8 ,   No .   3 No v em b er   2019 : 2 0 6     2 1 4   214   [5 ]   A b d e l - Ha m id ,   O.,   M o h a m e d ,   A . R. ,   Jia n g ,   H.,   De n g ,   L . ,   P e n n ,   G .   a n d   Yu ,   D.  C o n v o l u ti o n a n e u r a n e tw o rk f o r   sp e e c h   re c o g n it io n ,   IE EE /A C M   T ra n sa c ti o n o n   a u d i o ,   sp e e c h ,   a n d   la n g u a g e   p ro c e ss in g ,   22 ( 1 0 ) ,     p p . 1 5 3 3 - 1 5 4 5 ,   2 0 1 4 .   [6 ]   Re n ,   S . ,   He ,   K.,   G irsh ick ,   R.   a n d   S u n ,   J.  F a ste r - c n n T o w a rd re a l - ti m e   o b jec d e tec ti o n   w it h   re g io n   p ro p o sa l   n e tw o rk s,” In   Ad v a n c e s i n   n e u r a l   in f o rm a ti o n   p ro c e ss in g   sy ste ms ,   p p .   9 1 - 9 9 ,   2 0 1 5 .   [7 ]   Re d m o n ,   J.,   Div v a la,  S . ,   G irsh ick ,   R.   a n d   F a rh a d i,   A .   Yo u   o n ly   lo o k   o n c e Un if ied ,   re a l - ti m e   o b jec d e tec ti o n ,   In   Pro c e e d i n g o t h e   IEE c o n fe re n c e   o n   c o mp u ter   v isio n   a n d   p a t ter n   re c o g n it io n ,   p p .   7 7 9 - 7 8 8 ,   2 0 1 6 .   [8 ]   Re d m o n ,   J.  a n d   F a rh a d i ,   A .   YO L O9 0 0 0 b e tt e r,   f a ste r,   stro n g e r,   a rXiv p re p ri n t ,   2 0 1 7 .   [9 ]   W a n g ,   D.,   A n ,   J.  a n d   Xu ,   K.  P i p e CNN A n   Op e n CL - Ba se d   F P G A   A c c e lera to f o L a r g e - S c a l e   Co n v o lu ti o n   Ne u ro n   Ne tw o rk s.”   a rXiv p re p rin a rXiv:1 6 1 1 . 0 2 4 5 0 ,   2 0 1 6 .   [1 0 ]   Zh a n g ,   C. ,   L i,   P . ,   S u n ,   G . ,   G u a n ,   Y.,   X iao ,   B.   a n d   Co n g ,   J.  Op ti m izin g   f p g a - b a se d   a c c e ler a to d e sig n   f o d e e p   c o n v o lu ti o n a n e u ra n e tw o rk s,”  In   Pro c e e d in g o th e   2 0 1 5   A CM /S IGD In ter n a ti o n a S y mp o siu o n   Fi e ld - Pro g ra mm a b le Ga te A rr a y s ,   p p .   1 6 1 - 1 7 0 ,   A CM ,   2 0 1 5 .   [1 1 ]   S u d a ,   N. ,   Ch a n d ra ,   V.,   Da sik a ,   G . ,   M o h a n ty ,   A . ,   M a ,   Y.,   V ru d h u la,  S . ,   S e o ,   J.S .   a n d   Ca o ,   Y .   T h ro u g h p u t - o p ti m ize d   Op e n CL - b a se d   F P G A   a c c e ler a to f o larg e - sc a le  c o n v o lu ti o n a n e u ra n e tw o rk s,”  In   Pro c e e d in g o th e   2 0 1 6   ACM / S IGD In ter n a ti o n a S y mp o si u m o n   Fi e l d - Pro g ra mm a b le Ga te A rr a y s ,   p p .   1 6 - 2 5 ,   A CM ,   2 0 1 6 .   [1 2 ]   Co n g ,   J.  a n d   Xia o ,   B.   M in im izin g   c o m p u tatio n   i n   c o n v o lu t io n a n e u ra n e tw o rk s,”  In   In ter n a ti o n a c o n fer e n c e   o n   a rtif icia l   n e u r a n e two rk s ,   p p .   2 8 1 - 2 9 0 ,   2 0 1 4 .   [1 3 ]   Zh a n g ,   J.  a n d   L i,   J.  I m p ro v in g   th e   p e rf o r m a n c e   o Op e n CL - b a se d   F P G a c c e lera to f o c o n v o lu ti o n a n e u ra l   n e tw o rk ,   In   Pro c e e d in g o f   th e   2 0 1 7   ACM /S IGD I n ter n a ti o n a S y mp o siu m o n   Fi e ld - Pr o g r a mm a b l e   Ga te  Arra y s p p .   2 5 - 3 4 ,   A CM ,   2 0 1 7 .   [1 4 ]   In tel,   F P G A   S DK   f o Op e n CL   P ro g ra m m in g   G u id e ,   2 0 1 7 .       Evaluation Warning : The document was created with Spire.PDF for Python.