I n d on e s i an   Jo u r n al   o El e c t r i c al   En gi n e e r i n g   an d   C o m p u te r   S c i e n c e   V o l .   1 6 ,   N o .   1 O c t o b er   2 01 9 ,   pp .   3 89 ~ 394   IS S N :   2502 - 4752 ,   D O I :   10. 1 1591 / i j e e c s . v 1 6 .i 1 . pp 389 - 394             389       Jou r n al   h o m e pa ge ht t p: / / i ae s c or e . c om / j our na l s / i nde x . php/ i j e e c s   E f f i c i e n t   m o b i l e n e t   a r c h i t e c t u r e   a i m a g e   r e c o g n i t i o n   o n   m o b i l e   a n d   e m b e d d e d   d e v i c e s       B a r l i an   K h as o ggi ,   E r m ati ta ,   S am s u r yad i   M a s t e r   o f   I nf o r m a t i c s   E ng i n e e r i ng ,   S r i w i j a y a   U ni v e r s i t y I ndo ne s i a         A r ti c l e   I n fo     A B S TR A C T     Ar t i c l e   h i s t or y :   R e c e i v e d   J a 7,   20 19   R e v i s e A pr   10 ,   2019   A c c e pt e M a y   1 5,   20 1 9       T he   i nt r o duc t i o n   o f   a   m o de r n   i m a g e   r e c o g ni t i o t h a t   ha s   m i l l i o ns   o f   pa r a m e t e r s   a nd  r e q ui r e s   a   l o t   o f   t r a i ni ng   da t a   a s   w e l l   a s   hi g c o m put i ng   po w e r   t ha t   i s   hung r y   f o r   e n e r g y   c o ns um pt i o n   s o   i t   be c o m e s   i ne f f i c i e n t   i n   e v e r y da y   us e .   M a c hi n e   L e a r ni ng   ha s   c ha ng e d   t h e   c o m put i ng   pa r a di g m ,   f r o m   c o m pl e c a l c ul a t i o ns   t ha t   r e qu i r e   h i g c o m put a t i o na l   po w e r   t o   e nv i r o nm e nt a l l y   f r i e nd l y   t e c hno l o g i e s   t ha t   c a n   e f f i c i e n t l y   m e e t   d a i l y   ne e ds .   T o   g e t   t he   be s t   t r a i n i ng   m o de l ,   m a ny   s t u di e s   us e   l a r g e   num be r s   o f   da t a s e t s .   H o w e v e r ,   t h c om pl e xi t y   of   l a r g e   d a t a s e t s   r e qu i r e s   l a r g e   de v i c e s   a nd  r e qu i r e s   h i g c om put i ng   po w e r .   T he r e f o r e   l a r g e   c o m put a t i o na l   r e s o ur c e s   do   no t   ha v e   h i g f l e xi bi l i t y   t o w a r ds   t h e   t e nde nc y   o f   hum a n   i nt e r a c t i o n   w h i c p r i o r i t i z e s   t h e   e f f i c i e nc y   a nd   e f f e c t i v e n e s s   o f   c o m put e r   v i s i o n .   T h i s   s t udy   u s e s   t h e   C o nvo l ut i o na l   N e u r a l   N e t w o r k s   ( C N N )   m e t ho w i t M o bi l e N e t   a r c hi t e c t u r e   f o r   i m a g e   r e c o g ni t i o o n   m o bi l e   de v i c e s   a n e m be d de d   d e v i c e s   w i t h   l i m i t e d   r e s o ur c e s   w i t h   A R M - ba s e C P U s   a nd   w o r ks   w i t a   m o de r a t e   a m o unt   o f   t r a i n i ng   d a t a   ( t ho us a nds   o f   l a b e l e i m a g e s ) .   A s   a   r e s ul t ,   t he   M o b i l e N e t   v a r c hi t e c t u r e   o t he   m s 8p r o   de v i c e   c a c l a s s i f y   t he   c a l t e c h10 da t a s e t   w i t h   a n   a c c ur a c y   r a t e   92 . 4 %   a nd  2 . W a t t   po w e r   d r a w .   W i t t he   l e v e l   o f   a c c ur a c y   a nd   e f f i c i e nc y   o f   t he   r e s o ur c e s   us e d,   i t   i s   e xp e c t e d   t ha t   M o bi l e N e t ' s   a r c hi t e c t u r e   c a c ha ng e   t he   m a c hi ne   l e a r n i ng   p a r a di g m   s o   t ha t   i t   h a s   a   h i g h   de g r e e   o f   f l e xi bi l i t y   t o w a r ds   t h e   t e nd e nc y   of   hum a n   i n t e r a c t i o t ha t   p r i o r i t i z e s   t he   e f f i c i e nc y   a nd  e f f e c t i v e ne s s   o f   c o m put e r   v i s i o n .     Ke y w or d s :   CN N s   D e e l e a rni n g   Im a ge   r e c o gni t i o n   M ob i l e N e t   T e n s o r f l o w     C opy r i gh t   ©   201 9   I n s t i t ut e   o f   A dv anc e E ng i ne e r i ng   and   S c i e nc e .     A l l   r i gh t s   r e s e r v e d .   Cor r e s pon di n g   Au t h or :   E r m a t i t a ,   M a s t e o f   In f o r m a t i c s   E n g i n e e r i ng ,   S r i w i j a y a   U n i v e r s i t y ,   30862  S o ut S um a t e r a ,   I n do n e s i a .   E m a i l :   e - m a i l :   e r m a t i t a z @ y a h o o . c o m       1.   I N TR O D U C TI O N     Co n v o l ut i o n a l   n e u r a l   n e t w o r ks   (CN N s a r e   c urr e nt   s t a t e - of - t h e - a rt   a r c hi t e c t u r e s   a nd  w i de l y   us e a s   i m a ge   c l a s s i f i c a t i o n   s o l ut i o n s   [1] .   CN N s   m a ke   a i m po rt a nt   c o n t r i b ut i o n   t o   t h e   g r e a t   a dv a n c e s   i n   c o m put e r   v i s i o n ,   e s pe c i a l l y   i n   a ppl i c a t i o n s   a n e v e r y da y   ut i l i t i e s   s uc a s   s e l f - d r i v i n c a r,   r o bo t i c s ,   d r o n e s ,   m e di c a l   di a g n o s t i c s ,   a n t r e a t m e n t   f o r   v i s i o n   i m p a i rm e n t .   T h e s e   s uc c e s s e s   s purr e a   n e w   l i n e   o f   r e s e a r c h   t ha t   f oc us e d   o n   f i ndi n g   h i g h e r   pe r f o r m i n c o n v o l ut i o na l   n e u ra l   n e t w or ks .   S t a r t i n i n   20 14,   t h e   qu a l i t y   of   n e t w o r a r c hi t e c t u r e s   s i g ni f i c a nt l y   i m p r o v e by   ut i l i z i ng  de e pe a n w i de n e t w o r ks   [2] .   T o   i m p r o v e   n e t w o r pe r f o r m a n c e ,   m a n y   s t udi e s   us e   l a r ge da t a s e t s ,   b e t t e r   l e a rni n m o de l s ,   a n b e t t e r   t e c hn i q ue s   t o   p r e v e n t   ov e r f i t t i n [ 3].   I n   a   s t udy   t ha t   ha s   b e e n   do n e   w i t h   r e l a t i v e l y   s m a l l   i m a ge   da t a s e t s   w i t h   l a b e l s   c o n s i s t i n o f   t e n s   of   t h o us a n ds   t o   m i l l i o n s   o f   i m a ge s   s uc a s   D e CA F   [3],   N O R B   [4],   C a l t e c h - 10 1/ 256   [5 ,   6 ],   a n d   CIF A R - 10/ 10 [7]  c a a c c o m pl i s s i m pl e   t a s ks   w i t go o i m a ge   r e c o gn i t i o n   r e s ul t s ,   e s pe c i a l l y   w h e n   c o upl e w i t l a b e l - Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2502 - 4752   In do n e s i a J   E l e c   E ng  &   Co m S c i ,   V o l .   1 6 ,   N o .   1 O c t o b e r   201 9   :     389   -   394   390   pr e s e r v i n g   t ra n s f o r m a t i o n s .   O n e   o f   t h e   m o s t   e xc e l l e nt   r e s e a rc h   r e s ul t s   w i t h   t h e   l o w e s t   c ur r e nt   e rr o r a t e   i s   o n   t h e   t a s o f   i n t r o duc t i o o f   M N IS T   di gi t s   (< 0. 3 %)  c l o s e t o   hum a pe r f o r m a n c e   [8 ].   In  t h e   m o de l   t ra i ni n o f   Co n v o l ut i o n a l   n e u r a l   n e t w o r ks   (CN N s [4,   6,   9,   10 ,   11 ,   12,   13] ,   a   m o de l   w i t a   l a r ge   l e a rni n c a p a c i t y   i s   r e qui r e d .   H ow e ve r ,   t h e   c o m pl e xi t y   of   l a r ge   da t a s e t s   r e qui r e s   l a r ge   de v i c e s   a n r e qui r e s   hi g h   c o m put i n po w e r .   T h e r e f o r e ,   l a r ge   c o m put i ng  r e s o ur c e s   do   n o t   h a v e   a   h i g h   f l e xi b i l i t y   t o   t h e   t e n de n c y   of   h u m a i nt e ra c t i o w h i c h   p ri o ri t i z e s   t h e   e f f i c i e n c y   a n d   e f fe c t i ve n e s s   of   c o m put e r   v i s i o n .   Co n v o l ut i o n a l   N e ura l   N e t w o r ks   (CN N s t ra i ni n w i t h   M o b i l e N e t   a r c hi t e c t u r e   f o r   i m a ge   r e c o gn i t i o n   o n   m o b i l e   de v i c e s   a n e m b e dde de v i c e s   o n   l i m i t e d   r e s o ur c e s   w i t A R M - b a s e CP U s   a n d   w o r w i t m o de ra t e   a m o unt   of   t r a i n i ng  da t a   (t h o us a nds   o f   l a b e l e i m a ge s ).   T hi s   r e s e a r c ge t   r e s ul t s   w i t a a c c ura c y   of   86. 3 %   by   do i n 30  m i nut e s   t r a i n i ng   w i t m o b i l e n e t   a r c hi t e c t u r e .   W i t l i m i t e r e s o ur c e s ,   t h e s e   r e s ul t s   a r e   c l o s e l y   l i nke t n u m b e r s   t h a t   a r e   n o t   t o o   f a r   a w a y   w h e n   c o m pa r e t o   t h e   i n c e pt i o v a r c hi t e c t u r e   (w i t s a m e   da t a s e t ) .       2.   C O N V O LU TI O N A N EU R A L   N ET WO R K S   A R C H I T EC TU R ES     Co n v o l ut i o n a l   N e ura l   N e t w o r ks   ha v e   b e e n   s o m e   o f   t h e   m o s t   i n f l ue nt i a l   i nn o v a t i o n s   i t h e   f i e l o c o m put e r   v i s i o n.   I 201 2,   y e a r   t h a t   CN N s   g r e w   t o   pr o m i n e nc e   a s   A l e K r i z h e v s k y   [1]  us e t h e m   t o   w i t ha t   y e a r ’s   I m a ge N e t   c o m pe t i t i o n ,   d r o ppi n g   t h e   c l a s s i f i c a t i o n   e rr o r e c o r d   f r o m   26%   t o   15% ,   a a s t o u n di n g   i m p r o v e m e n t   a t   t h e   t i m e .   E v e s i n c e   t h e n ,   a   h o s t   o f   c o m pa ni e s   h a v e   b e e us i n g   de e l e a rni n g   a t   t h e   c o r e   o t h e i r   s e r v i c e s .   F a c e boo us e s   n e ura l   n e t s   f o r   t h e i r   a ut o m a t i c   t a ggi ng  a l go r i t hm s ,   G o o gl e   fo r   t h e i p h o t o   s e a r c h,   A m a z o f o r   t h e i p r o duc t   r e c o m m e n d a t i o n s ,   P i n t e r e s t   f o r   t h e i h o m e   f e e pe r s o n a l i z a t i o n,   a n d   I n s t a g ra m   f o r   t h e i r   s e a r c h   i n f ra s t r uc t u r e .   CN N s   a r e   m a de   up  o f   n e ur o n s   t h a t   ha v e   l e a rna b l e   w e i ght s   a n b i a s e s .   E a c h   n e u r o n   r e c e i v e s   s o m e   i n put s ,   pe r f o r m s   a   do t   p r o duc t   a n d   o pt i o na l l y   f o l l ow s   i t   w i t h   a   n o n - l i n e a r i t y .   T h e   w h o l e   n e t w o r s t i l l   e xp r e s s e s   a   s i n g l e   di f f e r e n t i a b l e   s c o r e   f un c t i o f r o m   t h e   r a w   i m a ge   p i xe l s   o n   o n e   e n t o   c l a s s   s c o r e s   a t   t h e   o t h e [14] .   A n d   t h e y   s t i l l   h a v e   a   l o s s   f un c t i o o t h e   l a s t   ( f ul l y - c o n n e c t e d)  l a y e r   a n d   a l l   t h e   gu i de l i n e s   de v e l o p e f o r   l e a rn i ng  r e gul a N e ura l   N e t w o r ks   s t i l l   a ppl y .   CN N s   a r c hi t e c t ur e s   m a ke   t h e   e xpl i c i t   a s s um p t i o n   t h a t   t h e   i nput s   a r e   i m a ge s ,   w h i c h   a l l o w s   us   t o   e n c o d e   c e r t a i n   p r o pe rt i e s   i nt o   t h e   a r c h i t e c t ur e .   T h e s e   t h e m a ke   t h e   f o r w a r f un c t i o m o r e   e f f i c i e n t   t o   i m pl e m e nt   a n d   v a s t l y   r e duc e   t h e   a m o unt   o f   pa r a m e t e r s   i t h e   n e t w o r k.   CN N s   t a ke   a dv a nt a ge   o f   t h e   f a c t   t h a t   t h e   i nput   c o n s i s t s   o f   i m a ge s   a n t h e y   c o n s t r a i n   t h e   a r c hi t e c t u r e   i n   a   m o r e   s e n s i b l e   w a y .   In   pa rt i c ul a r ,   u n l i ke   a   r e gul a r   N e u ra l   N e t w o r k,   t h e   l a y e r s   o f   a   CN N s   ha v e   n e u r o n s   a rr a nge i di m e n s i o n s :   w i dt h,   h e i g h t ,   de pt h.   T h a t   t h e   w or d   de pt h e r e   r e f e r s   t o   t h e   t hi r di m e n s i o n   o f   a n   a c t i v a t i o v o l um e ,   n o t   t o   t h e   de pt o f   a   f ul l   N e u r a l   N e t w o r k,   w h i c c a r e f e r   t o   t h e   t o t a l   num b e o f   l a y e r s   i a   n e t w o r k,   h e r e   i s   a   v i s u a l i z a t i o n :   A s   de s c r i b e F i gu r e   1 ,   a   s i m pl e   CN N s   i s   a   s e que n c e   o f   l a y e r s ,   a n d   e v e r y   l a y e r   o f   a   CN N s   t ra n s f o r m s   o n e   v o l um e   o f   a c t i v a t i o n s   t o   a n o t h e t hr o ug a   di f f e r e n t i a b l e   f un c t i o n .   T h i s   r e s e a r c us e   t hr e e   m a i t y pe s   o l a y e r s   t o   b ui l CN N s   a r c hi t e c t u r e s :   Co n v o l ut i o na l   L a y e r ,   P o o l i n g   L a y e r ,   a n F u l l y - Co n n e c t e L a y e r   (e xa c t l y   a s   s e e n   i r e gul a r   N e u r a l   N e t w o r ks ).   L a t e r,   t h i s   r e s e a r c h   s t a c t h e s e   l a y e r s   t o   f o r m   a   f ul l   CN N s   a r c hi t e c t u r e .           F i gu r e   1 .   T h e   r e gul a c o n v o l ut i o n a l   n e u ra l   n e t w o r ks       3.   M O B I L EN ET   A R C H I TEC TU R E   M ob i l e N e t s   i s   a   m o de l   c o n s t ruc t e m a i n l y   f r o m   de p t hw i s e   s e pa r a b l e   c o n v o l ut i o n s   o r i gi na l l y   a nn o un c e i [1 5]  a n a f t e r w a r us e i n   I n c e pt i o m o de l s   [16]  t o   de c r e a s e   t h e   v o l um e   o f   c o m put a t i o c o n s t ra i nt s   i t h e   f i r s t   f e w   l a y e r s .   F l a t t e n e n e t w o r ks   [17]  c o n s t r uc t   a   n e t w o r o ut   o f   f ul l y   f a c t o r i z e d   c o n vo l ut i o n s   a n d   p r e s e n t e d   t h e   po t e n t i a l   o f   e xc e pt i o n a l l y   f a c t o r i z e n e t w o r ks .   F a c t o r i z e N e t w o r ks   [18]   pr e s e nt s   a   s i m i l a r   f a c t o r i z e c o n v o l ut i o n   i a d di t i o n   t o   us e   of   t o po l o gi c a l   n e t w o r ks .   S uc c e s s i ve l y ,   t h e   X c e pt i o n e t w o r [1 9]  e s t a b l i s h e h o w   t o   s c a l e   up  de p t h w i s e   s e pa ra b l e   f i l t e r s   t o   pe r f o r m   b e t t e r   t h a I n c e pt i o n   V 3   n e t w o r ks .   A n o t h e r   s m a l l   n e t w o r i s   S q ue e z e n e t   [2 0]  w h i c h   us e s   a   b o t t l e n e c m e t h o t o   de s i g n   a   v e r y   s m a l l   Evaluation Warning : The document was created with Spire.PDF for Python.
In do n e s i a J   E l e c   E ng  &   Co m S c i     IS S N :   2502 - 4752       E f f i c i e n t   m obi l e n e t   ar c h i t e c t ur e   as   i m age   r e c ogn i t i on   on  Mo bi l e   an e m be d de d   d e v i c e s   ( B ar l i an  Khas ogg i )   391   n e t w o r k.   O t h e de c r e a s e d   c o m put a t i o n e t w o r ks   i n c l ude   a rra n ge d   t ra n s f o r m   n e t w o r ks   [21]   a nd   de e f ri e c o n v n e t s   [22] .   T h i s   s e c t i o n   w i l l   de s c ri b e   t h e   p ri n c i pa l   l a y e r s   t ha t   M o b i l e N e t   i s   b ui l t   o w h i c a r e   de pt h w i s e   s e pa ra b l e   f i l t e r s .     3. 1 .     D e p th w i s e   s e p a r ab l e   c o n vo l u ti o n   T h e   M o b i l e N e t   m o de l   i s   b a s e o n   de pt h w i s e   s e pa r a b l e   c o n v o l ut i o n s   w hi c h   i s   a   p r o c e dur e   o f   f a c t o r i z e c o n vo l ut i o n s   w h i c f a c t o r i z e   a   r e gul a c o n v o l ut i o i n t o   a   de pt h w i s e   c o n v o l ut i o a nd   a   1   ×   1   c o n v o l ut i o na m e a   po i nt w i s e   c o n vo l ut i o [26] .   M o b i l e N e t s   de pt h w i s e   c o n v o l ut i o us e s   a   s i n gl e   f i l t e r   t o   e v e r y   i n put   c h a nn e l .   T h e   po i nt w i s e   c o n vo l ut i o t h e a ppl i e s   a   1   ×   1   c o n v o l ut i o t o   m e r ge   t h e   o ut p ut s   t h e   de pt h w i s e   c o n v o l ut i o n .   A   r e gul a r   c o n v o l ut i o n   b o t h   f i l t e r s   a n m e rge   i n pu t s   i nt o   a   n e w   s e t   of   o ut put s   i n   o n e   s t e p.   T h e   de pt h w i s e   s e pa ra b l e   c o n v o l ut i o n   s p l i t s   t h i s   i n t o   t w o   l a y e r s ,   a   s e pa ra t e   l a y e r   f o r   f i l t e r i ng   a nd  a   s e pa r a t e   l a y e r   f o r   m e r gi n g .   T h i s   f a c t o r i z a t i o ha s   t h e   e ff e c t   o f   e xt r e m e l y   r e duc i n g   c o m put a t i o a n d   m o de l   s i z e .   F i gu r e   2   s h o w s   h o w   a   r e gul a r   c o n v o l ut i o n   2(a )   i s   f a c t o r i z e i nt o   a   de p t h w i s e   c o n vo l ut i o 2(b a n a   1   ×   1   po i n t w i s e   c o n vo l ut i o n   2(c ) .           (a )   R e gul a Co n v o l ut i o na l   F i l t e r s       (b )   D e pt h w i s e   F i l t e r s           (c ×   1   Co n v o l ut i o n a l   F i l t e r s   c a l l e P o i n t w i s e   Co n v o l ut i o i n   t h e   c o n t e xt   o f   D e pt h w i s e     S e pa ra b l e   Co n v o l ut i o n       F i gu r e   2 .   T h e   r e gul a c o n v o l ut i o n a l   f i l t e r s   i (a )   a r e   r e pl a c e by   t w o   l a y e r s :   de pt h w i s e   c o n v o l ut i o n   i (b a n d   po i n t w i s e   c o n v o l ut i o n   i n   (c )   t o   b ui l d   a   de pt h w i s e   s e pa r a b l e   f i l t e r.       A   r e gul a c o n v o l ut i o n a l   l a y e r   t a ke s   a s   i n p ut   a   D F   ×   D F   ×   M   f e a t u r e m a F   a n d   p r o duc e s   a   D F   ×   D F   ×   N   f e a t ur e   m a G   w h e r e   D F   i s   t h e   s pa t i a l   w i dt h   a n h e i g ht   o f   a   s qu a r e   i n pu t   f e a t u r e   m a p1 ,   M   i s   t h e   n u m b e r   of  i n put   c ha nn e l s   (i n p ut   de pt h ) ,   D G   i s   t h e   s p a t i a l   w i dt a n d   h e i g h t   o f   a   s qua r e   o ut pu t   f e a t u r e   m a a n d   N   i s   t h e   n u m b e o f   o ut put   c ha nn e l   (o ut put   de p t h ).   T h e   r e gul a c o n v o l ut i o n a l   l a y e r   i s   pa ra m e t e ri z e d   by   c o n vo l ut i o n   ke rn e l   K   o f   s i z e   D K   × D K   × M   × N   w h e r e   D K   i s   t h e   s p a t i a l   d i m e n s i o n   o f   t h e   ke rn e l   a s s um e t o   b e   s qua r e   a nd  M   i s   num b e o f   i n pu t   c ha nn e l s   a n d   N   i s   t h e   n u m b e r   o f   o ut put   c ha nn e l s   a s   de f i n e p r e v i o us l y .     , , =   , , ,   .         + 1 , + 1 ,     , ,   (1)     R e gul a c o n v o l ut i o n s   ha v e   t h e   c o m put a t i o na l   c o s t   o f :       D K   . D K   .   .   N   .   D F   . D F   (2)     w h e r e   t h e   c o m put a t i o n a l   c o s t   de pe n ds   m ul t i p l i c a t i v e l y   o t h e   n u m b e r   o f   i n pu t   c h a nn e l s   M ,   t h e   n um b e o o ut put   c ha nn e l s   N   t h e   ke rn e l   s i z e   D k   ×   D k   a n d   t h e   f e a t u r e   m a p   s i z e   D F   ×   D F .   M o b i l e N e t   m o de l s   r e po r t   e a c h   of   t h e s e   t e rm s   a nd  t h e i r e l a t i o n s .   F i r s t   i t   us e s   de pt h w i s e   s e pa ra b l e   c o n vo l ut i o n s   t o   b r e a t h e   r e l a t i o n s   b e t w e e n   t h e   n u m b e o f   o ut put   c ha nn e l s   a nd   t h e   s i z e   o f   t h e   ke rn e l .   T he   r e gul a c o n v o l ut i o o pe ra t i o ha s   t h e   r e s ul t   o f i l t e r i ng   f e a t u r e s   c o n s t r uc t e d   o t h e   c o n v o l ut i o na l   ke rn e l s   a n d   m e r gi ng   f e a t ur e s   i o r de t o   p r o duc e   a   n e w   de pi c t i o n.   T h e   f i l t e r i ng  a n d   c o m b i n a t i o s t e ps   c a b e   s pl i t   i nt o   t w o   s t e ps   v i a   t h e   us e   o f   f a c t o r i z e c o n v o l ut i o n s   c a l l e de pt h w i s e   s e pa ra b l e   c o n vo l ut i o n s   f o r   s ub s t a n t i a l   de c re a s e   i n   c o m put a t i o n a l   c o s t .   D e pt h w i s e   s e pa ra b l e   c o n vo l u t i o n   a r e   m a de   up  o f   t w o   l a y e r s :   de pt h w i s e   c o n vo l ut i o n s   a n po i nt w i s e   c o n v o l ut i o n s .   T h e n   de pt h w i s e   c o n vo l ut i o n s   t o   a p pl y   a   s i ngl e   f i l t e r   o n   e a c h   i n pu t   c ha nn e l   ( i n p ut   de pt h).   P o i n t w i s e   c o n vo l ut i o n,   a   s i m pl e   Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2502 - 4752   In do n e s i a J   E l e c   E ng  &   Co m S c i ,   V o l .   1 6 ,   N o .   1 O c t o b e r   201 9   :     389   -   394   392   c o n vo l ut i o n,   i s   t h e us e t o   c r e a t e   a   l i n e a c o m b i na t i o o f   t h e   o ut put .   T hi s   m o de l   us e   b o t b a t c hn o r m   a n d   R e L U   n o nl i n e a ri t i e s   f o r   b o t h   l a y e r s .   D e pt h w i s e   c o n v o l ut i o n   w i t h   o n e   f i l t e pe i nput   c h a nn e l   (i np ut   de pt h)  c a b e   w r i t t e a s :     Ĝ , , =   Ĥ , ,   .         + 1 , + 1 ,     ,   (3)     w h e r e   Ĥ   i s   t h e   de pt h w i s e   c o n v o l ut i o n a l   ke rn e l   o f   s i z e   D K   ×   D K   ×   M   w h e r e t h e   m   f i l t e ri Ĥ   i s   a ppl i e d   t o   t h e   m   c h a nn e l   i F   t o   p r o duc e   t h e   m t c ha nn e l   o f   t h e   f i l t e r e d   o ut pu t   f e a t u r e   m a p   Ĝ .   D e pt h w i s e   c o n v o l ut i o n   ha s   a   c o m put a t i o n a l   c o s t   o f :     D K   . D K   .   .   D F   . D F       (4)     D e pt h w i s e   c o n vo l ut i o i s   e x t r e m e l y   e ff i c i e n t   r e l a t i v e   t o   r e gu l a c o n v o l ut i o n .   H ow e v e r   i t   o n l y   f i l t e r s   i n put   c ha nn e l s ,   i t   do e s   n o t   c o m b i n e   t h e m   t o   c r e a t e   n e w   f e a t u r e s .   S o   a a ddi t i o na l   l a y e r   t ha t   c o m put e s   a   l i n e a r   c o m b i na t i o n   o f   t h e   o ut put   o f   de pt h w i s e   c o n v o l ut i o n   v i a   1   ×   1   c o n v o l ut i o n   i s   n e e de i o r de r   t o   ge n e ra t e   t h e s e   n e w   fe a t u r e s .   T h e   c o m b i na t i o n   o f   de pt h w i s e   c o n v o l ut i o n   a n d   ×   ( po i nt w i s e c o n v o l ut i o n   i s   c a l l e de pt h w i s e   s e pa ra b l e   c o n vo l ut i o w h i c w a s   f o r m e rl y   i n t r o duc e i [15] .   D e pt h w i s e   s e pa r a b l e   c o n v o l ut i o n s   c o s t :     D K   . D K   .   .   D F   . D F    +     M   .   N   .   D F   . D F   (5)     w h i c i s   t h e   s u m   o f   t h e   de pt h w i s e   a nd  ×   1   po i n t w i s e   c o n v o l ut i o n s .   B y   us i n g   c o n v o l ut i o n   a s   a   t w o   s t e pr o c e s s   of   f i l t e r i ng  a n d   c o m b i n i ng  t o   ge t   a   r e duc t i o n   i c o m put a t i o of :       .   .   .   .     +       .   .   .     . .   .   .   .  = 1 + 1 2   (6)     M ob i l e N e t   us e s   ×   de pt h w i s e   s e pa ra b l e   c o n v o l ut i o n s   w h i c i n c r e a s e   e f f i c i e n c y   t h a r e gul a r   c o n v o l ut i o n s   a t   o n l y   a   s m a l l   r e duc t i o n   i a c c ura c y .   A ddi t i o n a l   f a c t o ri z a t i o s uc a s   i [ 17,   2]   do e s   n o t   s h o w   i n c r e a s e   of  c o m put a t i o n   e f f i c i e n c y   a s   v e r y   l i t t l e   c o m put a t i o n   i s   s pe n t   i de pt h w i s e   c o n v o l ut i o n s .     3. 2 .     N e tw o r k   s t r u c tu r e   an d   t r ai n i n g       T h e   M o b i l e N e t   s t r uc t u r e   i s   b ui l t   o n   de pt h w i s e   s e pa r a b l e   c on v o l ut i o n s   a s   m e n t i o n e i t h e   p r e v i o us   s e c t i o n   e xc e pt   fo r   t h e   f i r s t   l a y e r   w h i c i s   a   f ul l   c o n v o l ut i o n.   By   de f i n i n t h e   n e t w o r i s uc h   s i m pl e   t e rm s   a r e   a b l e   t o   e a s i l y   e xpl o r e   n e t w o r k   s t r uc t u r e   t o   f i nd   a   go o n e t w o r k.   A l l   l a y e r s   i M o b i l e N e t   a r e   f o l l ow e by   b a t c hn o rm   [16]   a n d   R e L U   n o n l i n e a r i t y   w i t t h e   e xc e pt i o of   t h e   f i n a l   f ul l y   c o n n e c t e l a y e r   w h i c ha s   n o   n o n l i n e a r i t y   a nd   f e e ds   i nt o   a   s o f t m a x   l a y e r   f o r   c l a s s i f i c a t i o n .   F i gu r e   3   c o n t ra s t s   a   l a y e r   w i t r e gul a r   c o n vo l ut i o n s ,   b a t c hn o rm   a nd  R e L U   n o n l i n e a ri t y   t o   t h e   f a c t o r i z e d   l a y e r   w i t de pt h w i s e   c o n v o l ut i o n ,   1   ×   po i n t w i s e   c o n v o l ut i o n   a s   w e l l   a s   b a t c hn o r m   a nd  R e L U   a f t e r   e a c h   c o n v o l ut i o na l   l a y e r .   D o w n   s a m p l i ng  i s   ha n dl e d   w i t s t ri de c o n v o l ut i o i t h e   de pt h w i s e   c o n v o l ut i o n s   a s   w e l l   a s   i t h e   f i r s t   l a y e r .   A   f i na l   a v e ra ge   po o l i n g   r e duc e s   t h e   s p a t i a l   r e s o l ut i o t o   1   b e fo r e   t h e   f ul l y   c onn e c t e l a y e r .   Co unt i n g   de p t h w i s e   a n d   po i n t w i s e   c o n vo l ut i o n s   a s   s e pa ra t e   l a y e r s ,   M o b i l e N e t   ha s   2 l a y e r s .           F i gu r e   3 .   L e f t :   R e gul a r   c o n v o l ut i o na l   l a y e r   w i t b a t c hn o rm   a n d   R e L U .   ri g ht :   de pt h w i s e   s e pa ra b l e   c o n v o l ut i o n s   w i t de pt h w i s e   a n d   po i n t w i s e   l a y e r s   f o l l ow e by   b a t c hn o rm   a n R e L U   Evaluation Warning : The document was created with Spire.PDF for Python.
In do n e s i a J   E l e c   E ng  &   Co m S c i     IS S N :   2502 - 4752       E f f i c i e n t   m obi l e n e t   ar c h i t e c t ur e   as   i m age   r e c ogn i t i on   on  Mo bi l e   an e m be d de d   d e v i c e s   ( B ar l i an  Khas ogg i )   393   In s t a n c e   f o r m l e s s   l i g ht   m a t r i o pe ra t i o n s   a r e   n o t   t y pi c a l l y   f a s t e r   t ha t hi c m a t ri o pe r a t i o n s   u n t i l   a   v e r y   h i g l e v e l   o f   s pa r s i t y .   T hi s   m o de l   s t r uc t u r e   p ut s   n e a r l y   a l l   o f   t h e   c o m put a t i o n   i n t o   de n s e   ×   1   c o n vo l ut i o n s .   T hi s   c a b e   i m p l e m e n t e w i t h i g hl y   o pt i m i z e ge n e r a l   m a t r i x   m ul t i p l y   (G E M M f un c t i o n s .   O f t e n   c o n vo l ut i o n s   a r e   i m pl e m e n t e by   a   G E M M   b ut   r e qu i re   a n   i n i t i a l   r e o r de r i ng  i m e m o r y   i n   o r de r   t o   m a i t   t o   a   G E M M .   T h i s   m e t h o i s   us e i n   t h e   po pul a r   C a f f e   pa c ka ge   [23] .   ×   c o n v o l ut i o n s   do   n o t   r e qui r e   t h i s   r e o r de r i ng  i m e m o r y   a nd  c a b e   i m p l e m e nt e d i r e c t l y   w i t h   G E M M   w h i c i s   o n e   o f   t h e   m o s t   i m p r o v e d   n u m e r i c a l   l i n e a a l ge b r a   a l go ri t hm s .     M ob i l e N e t   m o de l s   w e r e   t r a i n e i T e n s o r F l o w   [24]  us i n g   R M S pr o [25]   w i t h   a s y n c hr o n o us   gra d i e nt   de s c e n t   s i m i l a t o   I n c e pt i o n   V [ 2].   H ow e ve r ,   o ppo s i n g   t o   t ra i ni n g   l a r ge   m o de l s   us e   l e s s   r e gul a r i z a t i o n   a n d   da t a   a ug m e n t a t i o t e c hni que s   t ha t   s m a l l   m o de l s   r a r e l y   ha v e   t r o ub l e   w i t o v e r f i t t i n g .   W h e t ra i ni n g   M ob i l e N e t s ,   us e   s i de   h e a ds   o r   l a b e l   s m o o t hi n g   a nd  a dd i t i o na l l y   r e duc e   t h e   a m o u n t   i m a ge   o f   di s t o r t i o n s   by   l i m i t i n t h e   s i z e   o f   s m a l l   c r o ps   t ha t   a r e   us e i n   l a rge   I n c e pt i o n   t r a i ni n [2] .   A d di t i o na l l y ,   fo un t ha t   i t   w a s   i m po rt a nt   t o   p ut   v e r y   l i t t l e   o n o   w e i ght   de c a y   o n   t h e   de p t h w i s e   f i l t e r s   s i n c e   t h e i a r e   s o   f e w   pa ra m e t e r s     i n   t h e m .       4.   M O B I L EN ET   A R C H I TEC TU R E   R ES U LTS   A N D   A N A LY S I S   In  t hi s   s e c t i o n,   f i r s t   i n v e s t i ga t e   t h e   e f fe c t s   of   de pt h w i s e   c o n vol ut i o n s   a s   w e l l   a s   t h e   c h o i c e   of   s hr i n k i n g   by   r e duc i n g   t h e   w i dt o f   t h e   n e t w o r k   r a t h e r   t ha t h e   n um b e o f   l a y e r s .   T h e n   s h o w   t h e   t r a de   o ff s   of   r e duc i n g   t h e   n e t w o r b a s e o n   t h e   t w o   h y pe r   pa ra m e t e r s :   w i dt m ul t i p l i e a n r e s o l ut i o n   m u l t i pl i e a nd  c o m pa r e   r e s ul t s   t o   a   n u m b e o f   p o pul a m o de l s .   A n d   t h e i n v e s t i ga t e   M o b i l e N e t s   a ppl i e t o   a   num b e o f   di f f e r e n t   de v i c e s .   R e s ul t   P e r f o r m a n c e   o f   CN N s   a s   s h o w n   i T a b l e   1 .       T a b l e   1 .   R e s ul t   p e r f o r m a n c e   o f   CN N s     D e v i c e   P ro c e s s o r   RA M (G B)   A r c h i t e c t u r e   P o w e r( W )     E x e c u t i o n   T i m e ( s )   F i n a l   a c c u ra c y   M a c b o o k (C P U M a c b o o k (C P U )   M a c b o o k (C P U )   In t e l   i 5   In t e l   i 5   In t e l   i 5   8   8   8   M o b i l e n e t   V 1   0 . 5   2 2 4   M o b i l e n e t   V 1   0 . 7 5   2 2 4   M o b i l e n e t   V 1   1 . 0   2 2 4   4 9 . 5   4 9 . 5   4 9 . 5   3 9 5 . 2 9   3 9 0 . 0 0   4 0 0 . 9 8   9 0 . 1 %   9 2 . 1 %   9 3 . 3 %   P C(G P U )   P C(G P U )   P C(G P U )   G T X   1 0 7 0   G T X   1 0 7 0   G T X   1 0 7 0   8   8   8   M o b i l e n e t   V 1   0 . 5   2 2 4   M o b i l e n e t   V 1   0 . 7 5   2 2 4   M o b i l e n e t   V 1   1 . 0   2 2 4   1 9 2 . 7   1 9 2 . 7   1 9 2 . 7   3 9 6 . 4 4   3 9 6 . 5 7   3 8 6 . 8 3   9 1 . 8 %   9 1 . 1 %   9 2 . 3 %   M 8 S   P RO   A m l o g i c   S 9 0 5 X   2   M o b i l e n e t   V 1   0 . 5   2 2 4   2 . 1   3 0 9 9 . 8 0   8 8 . 3 %   M 8 S   P RO   M 8 S   P RO   Ra s p b e rr y P I3   A m l o g i c   S 9 0 5 X   A m l o g i c   S 9 0 5 X   Co rt e x - A 5 3   2   2   1   M o b i l e n e t   V 1   0 . 7 5   2 2 4   M o b i l e n e t   V 1   1 . 0   2 2 4   M o b i l e n e t   V 1   0 . 5   2 2 4   2 . 1   2 . 1   3 . 5   3 1 0 3 . 2 5   3 1 2 3 . 1 9   4 6 3 6 . 4 9   9 1 . 0 %   9 2 . 4 %   8 9 . 2 %   Ra s p b e rr y P I3   Ra s p b e rr y P I3   Co rt e x - A 5 3   Co rt e x - A 5 3   1   1   M o b i l e n e t   V 1   0 . 7 5   2 2 4   M o b i l e n e t   V 1   1 . 0   2 2 4   3 . 5   3 . 5   5 6 1 1 . 1 4   5 2 0 8 . 1 8   9 1 . 5 %   9 2 . 6 %       5.   C O N C LU S I O N   T h i s   pa pe p r o po s e m o de l   a r c h i t e c t u r e   t ha t   c a n   ru n   o n   e c o - f r i e ndl y   de v i c e s   w i t M o b i l e N e t s   b a s e d   o n   de pt h w i s e   s e pa ra b l e   c o n vo l ut i o n s .   R e s ul t   f r o m   i n v e s t i ga t e s o m e   of   t h e   i m po rt a nt   de s i g de c i s i o n s   l e a d i n g   t o   a e ff i c i e n t   m o de l .   T h e de m o n s t r a t e h o w   t o   b ui l d   s m a l l e a nd  f a s t e M o b i l e N e t s   us i n g   w i dt m ul t i pl i e r   a n r e s o l ut i o m u l t i pl i e r   b y   t r a di ng  o ff   a   r e a s o na b l e   a m o un t   o f   a c c ur a c y   t o   r e duc e   s i z e   a n l a t e n c y .     T h i s   r e s e a r c h   c o m pa r e d i f f e r e n t   m o b i l e   de v i c e s   a n d   di f f e r e nt   m o de l   a r c h i t e c t ur e   t o   de m o n s t ra t i n h o w   e ff i c i e n c y   t r a de o ff   w i t h   a c c ura c y .   F i n a l l y ,   t h i s   p a pe r   c o n c l ud e t h a t   t hi s   c a n   b e   s o l ut i o n   f o r   t ra i ni n g   da t a   w i t m o de r a t e   da t a s e t   i r e a l   w o r l w i t e c o - f r i e ndl y   m o b i l e   a nd  e m b e dde de v i c e .       R EF ER EN C ES   [ 1]   K r i z he v s ky ,   A . ,   S ut s ke v e r ,   I . ,   a nd   H i n t o n,   G .   E .   I m a g e N e t   c l a s s i f i c a t i o w i t h   d e e p   c o nvo l ut i o na l   ne u r a l   ne t w o r k s .     I N I P S ,   201 2.   [ 2]   C . S z e g e dy ,   V . V a nho uc ke ,   S . I of f e ,   J . S h l e n s ,   a nd   Z . W o j na ,   R e t h i n ki ng   t h e   i nc e p t i o n   a r c hi t e c t ur e   f o r   c o m put e r   v i s i o n.   a r X i v   pr e pr i n t   a r X i v : 1512. 0 0567 ,   201 5.   [ 3]   J e f f   D o na hue ,   Y a ng qi ng   J i a ,   O r i o l   V i ny a l s ,   J udy   H o f f m a n,   N i ng   Z ha ng ,   E r i c   T z e ng ,   T r e v o r   D a r r e l l .     D e C A F :   A   D e e p   C o nv o l ut i o na l   A c t i v a t i o F e a t ur e   f o r   G e ne r i c   V i s u a l   R e c o g ni t i o n,   A r xi v   p r e p r i nt   a r X i v :   1310. 153 1v 1,   2013 .     [ 4]   Y .   L e C un ,   F . J .   H ua ng ,   a nd   L .   B o t t o u .   L e a r ni ng   m e t ho ds   f o r   g e ne r i c   o bj e c t   r e c og ni t i o w i t i nv a r i a nc e   t o   po s e   a nd   l i g ht i ng .   I C o m put e r   V i s i o a n P a t t e r R e c o g ni t i o n,   2004 .   C V P R   2004 .   P r oc e e di ng s   o f   t he   2004   I E E E   C om pu t e r   Soc i e t y   C onf e r e nc e   o n ,   v o l um e   2 ,   pa g e s   I I 97.   I E E E ,   20 04 .   [ 5]   L .   F e i - F e i ,   R .   F e r g us ,   a nd   P .   P e r o na .   L e a r n i ng   g e ne r a t i v e   v i s ua l   m o de l s   f r o m   f e w   t r a i ni ng   e xa m p l e s :   A i nc r e m e nt a l   ba y e s i a a pp r o a c t e s t e o 101  o b j e c t   c a t e g o r i e s .   C om pu t e r   V i s i on   and   I m a ge   U nde r s t and i ng ,   106 ( 1 ) : 59 70,   2007 .   Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2502 - 4752   In do n e s i a J   E l e c   E ng  &   Co m S c i ,   V o l .   1 6 ,   N o .   1 O c t o b e r   201 9   :     389   -   394   394   [ 6]   G .   G r i f f i n ,   A .   H o l ub ,   a nd   P .   P e r o na .   C a l t e c h - 256  o b j e c t   c a t e g o r y   da t a s e t .   T e c hni c a l   R e po r t   76 94,   C a l i f o r n i a   I n s t i t ut e   of   T e c hno l og y ,   20 07.   [ 7]   A .   K r i z he v s ky .   L e a r ni ng   m ul t i pl e   l a y e r s   o f   f e a t ur e s   f r o m   t i ny   i m a g e s .   M a s t e r s   t h e s i s ,   D e p a r t m e n t   o f   C o m put e r   S c i e nc e ,   U ni v e r s i t y   o f   T o r o nt o ,   2009.   [ 8]   D .   C i r e s   ̧ a n,   U .   M e i e r ,   a nd  J .   S c hm i dhub e r .   M u l t i c o l um de e ne ur a l   ne t w o r ks   f o r   i m a g e   c l a s s i f i c a t i o n.     A r x i v   pr e pr i n t   a r X i v : 1202. 2 745 ,   2012 .   [ 9]   A .   K r i z he v s ky .   C o nv o l ut i o na l   de e p   be l i e f   ne t w o r ks   o c i f a r - 10 .   U n publ i s he m an us c r i pt ,   2010 .   [ 10]   H .   L e e ,   R .   G r o s s e ,   R .   R a ng a na t h ,   a nd  A . Y .   N g .   C o nv o l ut i o na l   de e p   be l i e f   ne t w o r ks   f o r   s c a l a b l e   uns upe r v i s e d   l e a r n i ng   o f   hi e r a r c hi c a l   r e pr e s e nt a t i o ns .   In   P r oc e e di ngs   o f   t he   26 t A nnu al   I n t e r na t i o nal   C on f e r e nc e   on  M ac h i ne   L e ar ni n g ,   pa g e s   6 09 6 16.   A C M ,   20 09   [ 11]   Y .   L e   C u n,   B .   B o s e r ,   J . S .   D e nke r ,   D .   H e nd e r s o n ,   R . E .   H o w a r d ,   W .   H u bba r d ,   L . D .   J a c ke l ,   e t   a l .   H a n d   w r i t t e n   di g i t   r e c o g ni t i o w i t h   a   ba c kp r o pa g a t i o n   ne t w o r k.   In   A dv a nc e s   i n   ne ur a l   i nf or m a t i on   pr o c e s s i ng   s y s t e m s ,   1990 .   [ 12]   N .   P i n t o ,   D .   D o ukh a n,   J . J .   D i C a r l o ,   a nd   D . D .   C o x.   A   hi g ht hr o ug hput   s c r e e n i ng   a pp r o a c t o   d i s c o v e r i ng   g oo f o r m s   o f   bi o l o g i c a l l y   i ns p i r e d   v i s u a l   r e pr e s e nt a t i o n.   P L oS  c om pu t a t i o nal   bi o l og y ,   5 ( 11 ) : e 1000579 ,   200 9.   [ 13]   S . C . T ur a g a ,   J . F .   M u r r a y ,   V.   J a i n ,   F . R o t h ,   M . H e l m s t a e dt e r ,   K . B r i g g m a n,   W . D e nk ,   a nd   H . S . S e u ng .   C o nv o l ut i o na l   ne t w o r k s   c a n   l e a r t o   g e ne r a t e   a f f i ni t y   g r a phs   f o r   i m a g e   s e g m e nt a t i o n.   N e ur a l   C om put at i on ,   22 ( 2) : 511 5 38,   2 010 .   [ 14]   K .   S i m o ny a a nd   A .   Z i s s e r m a n.   V e r y   de e p   c o nvo l ut i o na l   ne t w o r ks   f o r   l a r g e   s c a l e   i m a g e   r e c o g ni t i o n.   a r X i v   p r e p r i nt   a r X i v : 1409. 15 56,   2 014 .   [ 15]   L .   S i f r e .   R i g i d   m o t i o s c a t t e r i ng   f o r   i m a g e   c l a s s i f i c a t i o n.   P hD   t he s i s ,   P h .   D .   t h e s i s ,   2014 .   [ 16]   S .   I o f f e   a nd   C .   S z e g e d y .   B a t c no r m a l i z a t i o n:   A c c e l e r a t i ng   de e ne t w o r k   t r a i n i ng   by   r e d uc i ng   i nt e r n a l   c o v a r i a t e   s hi f t .   a r X i v   p r e p r i nt   a r X i v : 1502. 031 67 ,   2 015 .   [ 17]   J . J i n ,   A . D und a r ,   E . C ul ur c i e l l o .   F l a t t e n e d   c o nv o l ut i o na l   n e ur a l   ne t w o r ks   f o r   f e e df o r w a r d   a c c e l e r a t i o n.   a r X i v   p r e pr i n t   a r X i v : 1412. 54 74,   2 014 .   [ 18]   M .   W a ng ,   B .   L i u,   a nd   H .   F o r o o s h.   F a c t o r i z e d   c o nvo l ut i o na l   ne ur a l   n e t w o r ks a r X i v   pr e pr i n t   a r X i v : 1608. 0433 7,   201 6.   [ 19]   F .   C ho l l e t .   X c e p t i o n:   D e e p   l e a r n i ng   w i t h   de p t hw i s e   s e pa r a b l e   c o nv o l ut i o ns .   a r X i v   p r e p r i nt   a r X i v : 1610. 0 2357v 2 ,   2016 .   [ 20]   F .   N .   I a ndo l a ,   M .   W .   M o s ke w i c z ,   K .   A s hr a f ,   S .   H a n ,   W .   J .   D a l l y ,   a n K .   K e ut z e r .   S que e z e ne t :   A l e xne t   l e v e l   a c c ur a c y   w i t h   50 f e w e r   pa r a m e t e r s   a n   1m m o de l   s i z e .   a r X i v   p r e p r i nt   a r X i v : 1602. 0 7360 ,   201 6.   [ 21]   V .   S i ndhw a ni ,   T .   S a i na t h,   a nd   S .   K um a r .   S t r uc t u r e d   t r a n s f o r m s   f or   s m a l l - f oo t pr i n t   d e e p   l e a r ni ng .   In   A dv anc e s   i n   N e ur al   I n f or m at i on   P r oc e s s i ng   S y s t e m s ,   pa g e s   30 88 3 096 ,   2015 .   [ 22]   Z .   Y a ng ,   M .   M o c z ul s k i ,   M .   D e ni l ,   N .   d e   F r e i t a s ,   A .   S m o l a ,   L .   S o ng ,   a nd   Z .   W a ng .   D e e p   f r i e c o nv ne t s .     I P r o c e e di ngs   of   t he   I E E E   I n t e r na t i o nal   C o nf e r e nc e   on   C om p ut e r   V i s i on ,   pa g e s   147 6 14 83 ,   2 015 .   [ 23]   Y .   J i a ,   E .   S he l ha m e r ,   J .   D o na hu e ,   S .   K a r a y e v ,   J .   L o n g ,   R .   G i r s h i c k,   S .   G u a da r r a m a ,   a nd   T .   D a r r e l l .     C a f f e :   C o nvo l ut i o na l   a r c hi t e c t u r e   f o r   f a s t   f e a t u r e   e m be dd i ng a r X i v   pr e p r i nt   a r X i v : 1408. 50 93,   2 014 .   [ 24]   M .   A ba d i ,   A .   A g a r w a l ,   P .   B a r h a m ,   E .   B r e v do ,   Z .   C h e n ,   C .   C i t r o ,   G .   S .   C o r r a do ,   A .   D a v i s ,   J .   D e a n ,   M .   D e v i n ,   e t   a l .   T e ns o r f l o w :   L a r g e   s c a l e   m a c hi n e   l e a r n i ng   o n   he t e r o g e ne o us   s y s t e m s ,   20 15.   S o f t w a r e   a v a i l a b l e   f r o m   t e ns o r f l o w .   o r g 1,   201 5.   [ 25]   T .   T i e l e m a n   a n G .   H i nt o n.   L e c t ur e   6. r m s p r o p:   D i v i de   t h e   g r a d i e nt   by   a   r unn i ng   a v e r a g e   o f   i t s   r e c e n t   m a g ni t ud e .   C O U R SE R A :   N e ur al   N e t w or k s   f or   M ac hi ne   L e ar ni ng ,   4 ( 2 ) ,   20 12 .   [ 26]   H .   A ndr e w ,   Z .   M e ng l o ng ,   C .   B o ,   K .   D m i t r y ,   W .   W e i j un ,   W .   T o bi a s ,   A .   M a r c o ,   A .   H a r t w i g .   M o bi l e N e t s :   E f f i c i e nt   C o nvo l ut i o na l   N e ur a l   N e t w o r ks   f o r   M o bi l e   V i s i o A ppl i c a t i o ns .   a r X i v   pr e pr i n t   a r X i v : 1704. 04861v 1 ,   2 017 .   Evaluation Warning : The document was created with Spire.PDF for Python.