I n d o n e s i a n   J o u r n a l   o f   E l e c t r i c a l   E n g i n e e r i n g   a n d   C o m p u t e r   S c i e n c e   V o l .   11 ,   N o .   3 S e p t e m b e r   201 8 ,   p p 954 ~ 961   I S S N :   2502 - 4 7 5 2 D O I :   1 0 . 1 1 5 9 1 / i j e e c s . v 11 .i 3 . p p 95 4 - 9 6 1       954       J o u r n a l   h o m e p a g e h t t p : / / i a e s c o r e . c o m / j o u r n a l s / i n d e x . p h p / i j e e c s   A   N o v e l   A p p r o a c h   fo r   Effi c i e n T r a i n i n g   o D e e p   N e u r a l   N e tw o r k s       D . T . V .   D h a r m a j e e   R a o 1 ,   K . V .   R a m a n a 2   1 A di t y a  Ins t i t ut e  of T e c hnol og y  a nd M a na g e m e nt , T e kka l i - 532201, S ri ka kul a m A ndhra   P ra de s h, Indi a   2 J N T U K  Col l e g e  of E ng i ne e ri ng J N T U K  U ni ve rs i t y , K a ki na da   -   533003, A ndhra  P ra de s h, Indi a       A r t i c l e   I n f o     A B S T R A C T   A r t i c l e   h i s t o r y :   R e c e i v e d   M a y   1 2 ,   2 0 1 8   R e v i s e d   J u n   1 1 ,   2 0 1 8   A c c e p t e d   J u n   1 4 ,   2 0 1 8     D e e p   N e ura l   N e t w ork  t ra i ni ng   a l g ori t hm s   c ons um e s   l ong   t ra i ni ng   t i m e e s p e c i a l l y   w he t he   num be of  hi dde l a y e rs   a nd  node s   i s   l a rg e M a t ri x   m ul t i p l i c a t i on  i s   t he   ke y   op e ra t i on c a rri e d out  a t  e ve ry  node  of e a c h l a y e r for  s e ve ra l   hundre ds   of  t hous a nds   of  t i m e s   duri ng   t he   t ra i ni ng   of  D e e p   N e ura l   Ne t w ork.  Bl oc ki ng   i s   a   w e l l - p rove op t i m i z a t i on  t e c hni que   t i m p rove   t he   p e rform a nc e   of  m a t ri x   m ul t i p l i c a t i on.   Bl oc ke M a t ri x   m ul t i p l i c a t i on  a l g ori t hm s   c a e a s i l y   be   p a ra l l e l i z e t a c c e l e ra t e   t he   p e rform a nc e   furt he r.  T hi s   p a p e p rop os e s   a   nove l   a p p roa c of  i m p l e m e nt i ng   P a ra l l e l   Bl oc ke M a t ri x   m ul t i p l i c a t i on  a l g ori t hm s   t re duc e   t he   l ong   t ra i ni ng   t i m e T he   p rop os e a p p roa c w a s   i m p l e m e nt e us i ng   a   p a ra l l e l   p rog ra m m i ng   m ode l   O p e nM P   w i t c ol l a p s e ()  c l a us e   for  t he   m ul t i p l i c a t i on  of  i np ut   a nd  w e i g ht   m a t ri c e s   of  B a c kp rop a g a t i on  a nd  Bol t z m a nn  M a c hi ne   A l g ori t hm s   for  t ra i ni ng   D e e p   N e ura l   N e t w ork  a nd  t e s t e on  m ul t i - c ore   p roc e s s or  s y s t e m E x p e ri m e nt a l   re s ul t s   s how e t ha t   t he   p rop os e a p p roa c a c hi e ve a p p rox i m a t e l y  t w o t i m e s  s p e e dup  t ha n c l a s s i c  a l g ori t hm s .   K e y w o r d s :   B a c k p r o p a g a t i o n   a n d   B o l t z m a n n   M a c h i n e   a l g o r i t h m s ,     D e e p   N e u r a l   N e t w o r k ,     M u l t i - c o r e   p r o c e s s o r   s y s t e m ,   O p e n M P ,     P a r a l l e l   B l o c k e d   M a t r i x   m u l t i p l i c a t i o n .   Copy r i ght   ©   201 8   Ins t i t ut e   of   A dv anc e d E ngi ne e r i ng  and Sc i e nc e   A l l   r i ght s  r e s e r v e d .   C o r r e s p o n d i n g   A u t h o r :   D . T . V .   D h a r m a j e e   R a o   A d i t y a   I n s t i t u t e   o f   T e c h n o l o g y   a n d   M a n a g e m e n t ,     T e k k a l i - 5 3 2 2 0 1 ,   S r i k a k u l a m ,   A n d h r a   P r a d e s h ,   I n d i a .   E m a i l :   d t v d r a o @g m a i l . c o m       1.   I N T R O D U C T I O N   I n   r e c e n t   y e a r s ,   D e e p   N e u r a l   N e t w o r k s   ( D N N )   h a s   b e e n   u s e d   i n   w i d e   r a n g e   o f   r e s e a r c h   a r e a s   r e l a t e d   t o   d a t a   c l a s s i f i c a t i o n ,   c l u s t e r i n g   a n d   p a t t e r n   r e c o g n i t i o n   [ 1 ] .   S t a t e - of - t h e - a r t   p e r f o r m a n c e s   h a v e   b e e n   a c h i e v e d   w i t h   D N N   t e c h n i q u e s   o n   v a r i o u s   a p p l i c a t i o n s ,   s u c h   a s   t r a f f i c   s i g n   c l a s s i f i c a t i o n   [ 2 ] ,   f e a t u r e x t r a c t i o n   [ 3 ]   a n d   f a c e   r e c o g n i t i o n   [ 4 ]   t o   n a m e   j u s t   a   f e w .   D N N   i s   a   m u l t i l a y e r   f e e d - f o r w a r d   n e u r a l   n e t w o r k   t h a t   c o n s i s t s   o f   a n   i n p u t   l a y e r ,   a n   o u t p u t   l a y e r   a n d   m o r e   n u m b e r   o f   h i d d e n   l a y e r s   w i t h   d i f f e r e n t   n u m b e r   o f   n e u r o n s   i n   e a c h   l a y e r .   T h e s e   m u l t i p l e   h i d d e n   l a y e r s   a n d   m o r e   n u m b e r   o f   n e u r o n s   i n   e a c h   l a y e r   a d d   m o r e   c o m p u t a t i o n a l   c o m p l e x i t y   t o   t h e   n e t w o r k   w h i c h   r e s u l t s   i n   s l o w   r a t e   o f   l e a r n i n g   c a p a c i t y   [ 5 ] .   M o r e o v e r   w i t h   t h e   g r o w t h   i n   s i z e   o f   d a t a s e t s ,   i t   h a s   b e c o m e   h a r d   t o   t r a i n   D N N s   t h a t   r e q u i r e   h i g h e r   c o m p u t i n g   p o w e r   [ 6 ] .   T o   r e d u c e   t h e   t r a i n i n g   t i m e   ( c o n v e r g e n c e   t i m e ) ,   t h e   i d e a   i s   n o t   b a s e d   o n   c h a n g i n g   t h e   e x i s t i n g   a l g o r i t h m s   s u c h   a s   B a c k p r o p a g a t i o n   A l g o r i t h m   ( B P A )   a n d   B o l t z m a n n   M a c h i n e   A l g o r i t h m   ( B M A )   o r   t o   d e v e l o p   n e w   a l g o r i t h m s   f o r   t r a i n i n g   D N N .   I t   i s   b a s e d   o n   u s i n g   s o m e   o p t i m i z a t i o n   t e c h n i q u e s   l i k e   B l o c k i n g   a n d   p a r a l l e l i z a t i o n   o f   a l g o r i t h m s   o n   m u l t i - c o r e   s y s t e m s .   B l o c k i n g   i s   a   p o p u l a r   a n d   w e l l - p r o v e n   o p t i m i z a t i o n   t e c h n i q u e   t o   i m p r o v e   t h e   p e r f o r m a n c e   o f   m a t r i x   m u l t i p l i c a t i o n   [ 7 ] .   A n   o v e r v i e w   o f   c o m m o n   o p t i m i z a t i o n   t e c h n i q u e s   f o r   m a t r i x   m u l t i p l i c a t i o n   o n   m u l t i - c o r e   p r o c e s s o r   f o r   o p t i m i z e d   p e r f o r m a n c e   i s   d i s c u s s e d   i n   [ 8 ] .     T h i s   p a p e r   a i m s   t o   s e l e c t   t h e   o p t i m a l   b l o c k   s i z e   s u i t a b l e   f o r   c o m p u t e r   s y s t e m   e n v i r o n m e n t   a n d   c o n f i g u r a t i o n   w h e r e   a l l   e x p e r i m e n t s   a r e   c a r r i e d   o u t .   T h e   s a m e   p a p e r   p r o p o s e s   t o   m o d i f y   B P A   a n d   B M A   b y   u s i n g   P a r a l l e l   B l o c k e d   M a t r i x   m u l t i p l i c a t i o n .   T h e s e   p r o p o s e d   t e c h n i q u e s   a n d   a l g o r i t h m s   s p e e d   u p   t h e   t r a i n i n g   o f   D N N   o n   m u l t i - c o r e   C P U   a r c h i t e c t u r e s .   Evaluation Warning : The document was created with Spire.PDF for Python.
I n d o n e s i a n   J   E l e c   E n g   &   C o m p   S c i     I S S N :   2502 - 4 7 5 2       A   N o v e l   A p p r o a c h   f o r   E f f i c i e n t   T r a i n i n g   o f   D e e p   N e u r a l   N e t w o r k s   ( D . T . V .   D h a r m a j e e   R a o )   955   R e m a i n d e r   o f   t h i s   p a p e r   i s   o r g a n i z e d   a s   f o l l o w s .   S e c t i o n   2   p r e s e n t s   p r o p o s e d   n o v e l   a p p r o a c h   o f   P a r a l l e l   B l o c k e d   M a t r i x   m u l t i p l i c a t i o n .   S e c t i o n   3   p r e s e n t s   i m p l e m e n t a t i o n   o f   B a c k p r o p a g a t i o n   A l g o r i t h m   a n d   B o l t z m a n n   M a c h i n e   A l g o r i t h m   u s i n g   p r o p o s e d   m e t h o d .   P e r f o r m a n c e   o f   p r o p o s e d   t e c h n i q u e   i s   s h o w n   t h r o u g h   r e s u l t s   i n   s e c t i o n   4 ,   a n d   f i n a l l y   t h e   c o n c l u s i o n s   a n d   f u t u r e   w o r k   a r e   s u m m a r i z e d   i n   s e c t i o n   5 .       2.   P R O P O S E D   M E T H O D   T h e   t o t a l   e x e c u t i o n   o f   m a t r i x   m u l t i p l i c a t i o n   c o n s i s t s   o f   t w o   p a r t s :   T h e   m e m o r y   a c c e s s   l a t e n c y   o f   t w o   i n p u t   m a t r i c e s   e l e m e n t s   t o   b e   m u l t i p l i e d   a n d   t h e   p r o c e s s i n g   t i m e   o f   p r o d u c t   o f   t w o   m a t r i c e s .   B l o c k i n g   i s   a   t e c h n i q u e   t h a t   r e a l l y   r e d u c e s   t h e   m e m o r y   a c c e s s   l a t e n c y .   B l o c k i n g   b r i n g s   a   s o r t   o f   d i v i d e - a n d - c o n q u e r   t e c h n i q u e   a n d   t h i s   a l l o w s   o n e   t o   p a r a l l e l i z e   t h e   p r o d u c t   o f   t w o   m a t r i c e s   m o r e   e f f e c t i v e l y   o n   m u l t i - c o r e   p r o c e s s e r   s y s t e m .     2 . 1 .   B l o c k i n g   M a t r i x   m u l t i p l i c a t i o n   i s   a   c o m p u t e   i n t e n s i v e   a l g o r i t h m .   B l o c k i n g   i s   a n   o p t i m i z a t i o n   t e c h n i q u e   w h i c h   b o o s t s   t h e   p e r f o r m a n c e   o f   m a t r i x   m u l t i p l i c a t i o n ,   e s p e c i a l l y   f o r   l a r g e   m a t r i c e s   [ 9 ] .   T h e   i d e a   b e h i n d   t h e   b l o c k i n g   i s   t o   o r g a n i z e   t h e   m a t r i x   d a t a   i n   t h e   f o r m   o f   c h u n k s   c a l l e d   b l o c k s .   W i t h   t h e   u s e   o f   c a c h e   m e m o r y   i t   i s   o b v i o u s   t h a t   t h e   m e m o r y   a c c e s s   t i m e   t o   a l l   p a r t s   o f   t h e   m a t r i x   w o u l d   n o t   b e   t h e   s a m e .   I f   a   r e q u i r e d   b l o c k   i s   p r e s e n t   i n   t h e   c a c h e   i t   i s   p o s s i b l e   t o   r e t r i e v e   t h e   d a t a   w i t h o u t   m u c h   d e l a y .   T h i s   i s   c a l l e d   c a c h e   h i t .   C o n t r a r i l y ,   i f   t h e   r e q u i r e d   b l o c k   i s   n o t   i n   t h e   c a c h e   i t   h a s   t o   b e   l o a d e d   f r o m   t h e   m a i n   m e m o r y .   T h i s   i n c r e a s e s   t h e   l a t e n c y ,   a n d   i s   c a l l e d   c a c h e   m i s s .   1.   C a c h e   h i t   r a t i o   =   P e r c e n t a g e   o f   m e m o r y   a c c e s s e s   h i t   i n   t h e   c a c h e .   2.   C a c h e   m i s s   r a t i o   =   P e r c e n t a g e   o f   m e m o r y   a c c e s s e s   m i s s   i n   t h e   c a c h e .   3.   A v e r a g e   m e m o r y   a c c e s s   t i m e   =   C a c h e   h i t   r a t i o   ×   T i m e   t o   a c c e s s   C a c h e   +   C a c h e   m i s s   r a t i o   ×   T i m e   t o   a c c e s s   m e m o r y .     I n s t e a d   o f   o p e r a t i n g   e n t i r e   r o w s   a n d   c o l u m n s   o f   m a t r i x ,   b l o c k e d   a l g o r i t h m   o p e r a t e s   o n   s u b - m a t r i c e s   o r   b l o c k s ,   s o   t h a t   d a t a   l o a d e d   i n t o   t h e   c a c h e   m e m o r y   a r e   r e u s e d .   T h i s   a l g o r i t h m   e v e n   i n c r e a s e s   t h e   n u m b e r   o f   o p e r a t i o n s ,   b u t   s i g n i f i c a n t l y   r e d u c e s   t h e   a v e r a g e   m e m o r y   a c c e s s   t i m e   b y   m i n i m i z i n g   t h e   n u m b e r   o f   c a c h e   m i s s e s   [ 1 0 ] .   T h e   t w o   i n p u t   a n d   o n e   o u t p u t   m a t r i c e s   a r e   d i v i d e d   i n t o   b l o c k s .   T h e   s i z e   o f   e a c h   b l o c k   i s   b s   ×   b s .   T h e   b l o c k   C 11   o f   o u t p u t   m a t r i x   i s   c o m p u t e d   a s   a   p r o d u c t   o f   A 11   b l o c k   o f   m a t r i x   A   a n d   B 11   b l o c k   o f   m a t r i x   B   a s   s h o w n   i n   ( 1 ) .   I n   a   s i m i l a r   m a n n e r ,   a l l   o t h e r   b l o c k s   o f   o u t p u t   m a t r i x   C   a r e   c o m p u t e d .   T h e   B l o c k e d   M a t r i x   m u l t i p l i c a t i o n   i s   d e p i c t e d   i n   F i g u r e   1 .   T h e   P s e u d o   c o d e   f o r   B l o c k e d   M a t r i x   m u l t i p l i c a t i o n   t o   r e d u c e   c a c h e   m i s s e s   v e r s u s   s e q u e n t i a l   m a t r i x   m u l t i p l i c a t i o n   f o r   m a t r i c e s   o f   s i z e   n   ×   n   i s   s h o w n   i n   F i g u r e   2 .     C 11 =A 11 ×   B 11 +A 12 ×B 21 ----   +A 1n   ×   B n1               ( 1 )           F i g u r e   1 .   B l o c k e d   M a t r i x   m u l t i p l i c a t i o n           F i g u r e   2 .   P s e u d o   c o d e   f o r   m a t r i x   m u l t i p l i c a t i o n   ( S e q u e n t i a l   v s   B l o c k e d )   Evaluation Warning : The document was created with Spire.PDF for Python.
            I S S N :   2502 - 4 7 5 2   I n d o n e s i a n   J   E l e c   E n g   &   C o m p   S c i ,   V o l 11 ,   N o .   3 S e p t e m b e r   201 8   :   954     961   956   2 . 2 .   P a r a l l e l i z a t i o n   U s i n g   O p e n M P   G r e a t e r   s p e e d u p   i s   a c h i e v e d   i f   p a r a l l e l i z a t i o n   i s   u s e d   f o r   m a t r i x   m u l t i p l i c a t i o n   [ 1 1 ] .   T h e   B l o c k e d   M a t r i x   m u l t i p l i c a t i o n   a l g o r i t h m   c a n   b e   p a r a l l e l i z e d   u s i n g   O p e n M P   b e c a u s e   i t   d o e s   n o t   h a v e   d a t a   d e p e n d e n c y .   O p e n M P   ( O p e n   M u l t i p r o c e s s i n g )   i s   a n   o p e n - s o u r c e   l i b r a r y   f o r   s h a r e d   m e m o r y   p a r a l l e l i z a t i o n   o n   m u l t i - c o r e   p r o c e s s o r   a r c h i t e c t u r e .   S i n c e   m o s t   p r o c e s s o r s   a r e   n o w   a t   l e a s t   d u a l   c o r e ,   i t   i s   u s u a l l y   o f   a d v a n t a g e   t o   p a r a l l e l i z e   t h e   m a t r i x   p r o d u c t   c o m p u t a t i o n s .   T h i s   e n s u r e s   t h a t   t h e   l a r g e   n u m b e r   o f   i t e r a t i o n s   i s   d i s t r i b u t e d   a m o n g   m u l t i p l e   c o r e s ,   p a r a l l e l   a n d   c o n c u r r e n t   t h r e a d s   t o   i n c r e a s e   p e r f o r m a n c e .   T h e r e   a r e   t w o   m o r e   l o o p s   n a m e l y   t h e   i i   l o o p ,   a n d   j j   l o o p   t h a t   s p l i t   t h e   m a t r i x   m u l t i p l i c a t i o n   i n t o   a   s i m p l e   b s   ×   b s   m a t r i x   w h i c h   i s   m u l t i p l i e d   t h e   t r a d i t i o n a l   w a y .   I n s t e a d   o f   j u s t   t h e   o u t e r   o n e   b y   # p r a g m a   o m p   p a r a l l e l   f o r ,   m o r e   t h a n   o n e   o u t e r   m o s t   f o r   l o o p s   c a n   b e   p a r a l l e l i z e d   a n d   d i s t r i b u t e d   a m o n g   m u l t i p l e   c o r e s   b y   u s i n g   O p e n M P   c o l l a p s e ( )   c l a u s e   t o   i n c r e a s e s   t h e   a m o u n t   o f   w o r k .   T h e   F i g u r e   3   d e s c r i b e s   p s e u d o   c o d e   f o r   P a r a l l e l   B l o c k e d   M a t r i x   m u l t i p l i c a t i o n   u s i n g   O p e n M P   w i t h   c o l l a p s e ( )   c l a u s e   v e r s u s   S e q u e n t i a l   M a t r i x   m u l t i p l i c a t i o n .           F i g u r e   3 .   P s e u d o   c o d e   f o r   m a t r i x   m u l t i p l i c a t i o n   ( B l o c k e d   v s   P a r a l l e l   B l o c k e d   w i t h   c o l l a p s e ( ) )       3.   R E S E A R C H   M E T H O D   M u l t i l a y e r   f e e d - f o r w a r d   D e e p   N e u r a l   N e t w o r k s   a r e   f o u n d   t o   b e   c h a r a c t e r i z e d   w i t h   t h e   m a j o r   d r a w b a c k   s u c h   a s   s l o w   r a t e   o f   l e a r n i n g   c a p a c i t y   a n d   s i m p l e   p r o b l e m s   m a y   t a k e   h u n d r e d s   o f   t h o u s a n d s   o f   i t e r a t i o n s   t o   c o n v e r g e .   M a n y   r e s e a r c h e s   f o c u s e d   o n   i m p r o v i n g   t h e   s p e e d   o f   c o n v e r g e n c e .   T h e   t r a d i t i o n a l   w a y   o f   B a c k p r o p a g a t i o n   A l g o r i t h m   ( B P A )   a n d   B o l t z m a n n   M a c h i n e   A l g o r i t h m   ( B M A )   f o r   t r a i n i n g   D N N   i s   r e v i s i t e d   a n d   o b s e r v e d   t h a t   t h e   s u m   o f   p r o d u c t   o f   w e i g h t   a n d   i n p u t   m a t r i c e s   i s   c o m p u t e d   f o r   s e v e r a l   h u n d r e d s   o f   t h o u s a n d s   o f   t i m e s   d u r i n g   t h e   t r a i n i n g   o f   D N N   [ 1 2 ] .   H e r e   t h e   i n p u t   m a t r i x   g e t s   m u l t i p l i e d   b y   w e i g h t   m a t r i x   b y   u s i n g   s e q u e n t i a l   m a t r i x   m u l t i p l i c a t i o n   a l g o r i t h m .   B y   i m p l e m e n t i n g   a   n o v e l   a p p r o a c h   o f   r e p l a c i n g   t h i s   s e q u e n t i a l   m a t r i x   m u l t i p l i c a t i o n   a l g o r i t h m   b y   P a r a l l e l   B l o c k e d   M a t r i x   m u l t i p l i c a t i o n   a l g o r i t h m ,   o n e   c a n   s p e e d   u p   t h e   c o n v e r g e n c e   t i m e   o f   B P A   a n d   B M A   t r a i n i n g   p r o c e s s .     3 . 1 .   P a r a l l e l   B l o c k e d   B a c k p r o p a g a t i o n   A l g o r i t h m   ( P B B P A )   T h e   d e v e l o p m e n t   o f   f a s t   a n d   e f f i c i e n t   l e a r n i n g   a l g o r i t h m s   o f   D N N s   h a s   b e e n   a   s u b j e c t   o f   i n t e r e s t   i n   t h e   r e c e n t   y e a r s .   A s   a   r e s u l t ,   s e v e r a l   n e w   a l g o r i t h m s   h a v e   b e e n   p r o p o s e d   w i t h   v a r i o u s   o p t i m i z a t i o n   t e c h n i q u e s   f o r   t h e   f a s t e r   c o n v e r g e n c e   o f   B P A   [ 1 3 ] .   A   m u l t i l a y e r   f e e d - f o r w a r d   D e e p   N e u r a l   N e t w o r k   ( D N N )   c o n s i s t s   o f   a n   i n p u t   l a y e r ,   s i x   h i d d e n   l a y e r s   a n d   a n   o u t p u t   l a y e r   u s e d   f o r   e x p e r i m e n t a t i o n   i s   s h o w n   i n     F i g u r e   4 .         F i g u r e   4 .   A   m u l t i l a y e r   f e e d - f o r w a r d   D e e p   N e u r a l   N e t w o r k   Evaluation Warning : The document was created with Spire.PDF for Python.
I n d o n e s i a n   J   E l e c   E n g   &   C o m p   S c i     I S S N :   2502 - 4 7 5 2       A   N o v e l   A p p r o a c h   f o r   E f f i c i e n t   T r a i n i n g   o f   D e e p   N e u r a l   N e t w o r k s   ( D . T . V .   D h a r m a j e e   R a o )   957   I n   o r d e r   t o   r e d u c e   l o n g   c o n v e r g e n c e   t i m e ,   t h e   B a c k p r o p a g a t i o n   A l g o r i t h m   w i t h   c l a s s i c   m a t r i x   m u l t i p l i c a t i o n   g e t s   m o d i f i e d   b y   u s i n g   P a r a l l e l   B l o c k e d   M a t r i x   M u l t i p l i c a t i o n   a s   l i s t e d   i n   A l g o r i t h m   1 .   T h e   r e s u l t a n t   a l g o r i t h m   i s   n o w   o n w a r d s   c a l l e d   P a r a l l e l   B l o c k e d   B a c k p r o p a g a t i o n   A l g o r i t h m   ( P B B P A ) .   T h e   P B B P A   c a n   b e   u s e d   i n s t e a d   o f   B P A   t o   s p e e d   u p   t h e   c o n v e r g e n c e   t i m e   o f   D N N   t r a i n i n g   p r o c e s s .   T h e   P B B P A   h a s   s a m e   s t e p s   o f   B P A   b u t   P a r a l l e l   B l o c k e d   M a t r i x   M u l t i p l i c a t i o n   i s   u s e d   i n s t e a d   o f   t r a d i t i o n a l   m a t r i x   m u l t i p l i c a t i o n   t o   c o m p u t e   t h e   p r o d u c t   o f   i n p u t   m a t r i x   a n d   w e i g h t   m a t r i x .       A l g ori t hm   1:  P a ra l l e l   Bl oc ke d   i m p l e m e nt a t i on of BP A     1.   Ini t i a l i z e   a l l   w e i g ht s  a nd bi a s e s   i n ne t w ork     2.   W hi l e   t e rm i na t i ng   c ondi t i on i s  not   s a t i s fi e d   {   3.   F or e a c t ra i ni ng   s a m p l e   Xi   i D   {   4.   F or  e a c Inp ut   l a y e uni t j   {   5.   ; j j I O   6.   F or e a c hi dde n or out p ut   l a y e uni t j   {   7.   i j i ij j O w o c k e d P a r a l l e l B l I ; ) (   8.   j I j e O 1 1   ;   }   9.   F or e a c uni t   j   i n t he  out p ut   l a y e r   10.   ); )( 1 ( j j j j O T O O Ej   11.   F or e a c uni t   j   i t he   hi dde l a y e rs , from  t he  l a s t   t o fi rs t   hi dde l a y e r   12.   k k j k j j W E o c k e d P a r a l l e l B l O O Ej ); ( ) 1 (   13.   F or e a c w e i g ht   ji W i ne t w ork   {   14.   ; ) 1 ( j j ji O E W   15.   ; W    +    W =   W ji ji ji   }   16.   F or e a c bi a s   j i n t he  ne t w ork.   {   17.   ; ) 1 ( j j E     18.   ; j j j   }   19.   }}       3 . 2 .   P a r a l l e l   B l o c k e d   B o l t z m a n n   M a c h i n e   A l g o r i t h m   ( P B B M A )   A   R e s t r i c t e d   B o l t z m a n n   M a c h i n e   ( R B M )   i s   s t r u c t u r a l l y   a   s h a l l o w   n e u r a l   n e t w o r k   w i t h   j u s t   t w o   l a y e r s   t h a t   a r e   t h e   v i s i b l e   l a y e r   ( i n p u t   l a y e r )   a n d   h i d d e n   l a y e r   a s   s h o w n   i n   F i g u r e   5 .   I n   R B M   n e t w o r k s ,   n e u r o n s   i n   e a c h   l a y e r   h a v e   n o   c o n n e c t i o n s   b e t w e e n   t h e m   a n d   a r e   c o n n e c t e d   t o   a l l   o t h e r   n e u r o n s   i n   o t h e r   l a y e r   a n d   c o n n e c t i o n s   b e t w e e n   n e u r o n s   a r e   b i d i r e c t i o n a l   a n d   s y m m e t r i c .   R B M s   h a v e   r e c e i v e d   a   l o t   o f   a t t e n t i o n   i n   t h e   r e c e n t   y e a r s   a f t e r   b e i n g   p r o p o s e d   a s   b u i l d i n g   b l o c k s   o f   m u l t i l a y e r   l e a r n i n g   a r c h i t e c t u r e s   c a l l e d   D e e p   B o l t z m a n n   M a c h i n e s   ( D B M )   a s   s h o w n   i n   F i g u r e   6 .               F i g u r e   5 .   R e s t r i c t e d   B o l t z m a n n   M a c h i n e   ( R B M )   F i g u r e   6 .   D B M :   A   s t a c k   o f   R B M s       Evaluation Warning : The document was created with Spire.PDF for Python.
            I S S N :   2502 - 4 7 5 2   I n d o n e s i a n   J   E l e c   E n g   &   C o m p   S c i ,   V o l 11 ,   N o .   3 S e p t e m b e r   201 8   :   954     961   958   T r a i n i n g   a   D B M   i s   a   c o m p u t a t i o n a l l y   e x p e n s i v e   t a s k   t h a t   i n v o l v e s   s e v e r a l   R B M s   a n d   r e q u i r e s   a   c o n s i d e r a b l e   a m o u n t   o f   t i m e   [ 1 4 ] .   A s   u s u a l ,   B o l t z m a n n   M a c h i n e   A l g o r i t h m   w i t h   s t a n d a r d   s e q u e n t i a l   m a t r i x   m u l t i p l i c a t i o n   g e t s   r e p l a c e d   b y   P a r a l l e l   B l o c k e d   M a t r i x   M u l t i p l i c a t i o n   a s   l i s t e d   i n   A l g o r i t h m   2 .   N o w   m o d i f i e d   B M A   i s   c a l l e d   P a r a l l e l   B l o c k e d   B o l t z m a n n   M a c h i n e   A l g o r i t h m   ( P B B M A ) .   T h e   P B B M A   c a n   b e   u s e d   i n s t e a d   o f   B M A   t o   s p e e d   u p   t h e   t r a i n i n g   o f   D N N .   T h e   P B B M A   h a s   s a m e   s t e p s   o f   B M A   b u t   t h e   c l a s s i c   m a t r i x   m u l t i p l i c a t i o n   i s   r e p l a c e d   b y   P a r a l l e l   B l o c k e d   M a t r i x   M u l t i p l i c a t i o n   t o   c o m p u t e   t h e   p r o d u c t   o f   i n p u t   m a t r i x   a n d   w e i g h t   m a t r i x .         A l g o r i t h m   2 :   P a r a l l e l   B l o c k e d   i m p l e m e n t a t i o n   o f   B M A   1.   T a k e   t h e   t r a i n i n g   d a t a s e t ,   s e t   t h e   s t a t e s   o f   t h e   v i s i b l e   u n i t s   t o   t h e   t r a i n i n g   d a t a .   2.   P o s i t i v e   p h a s e   :   R e c o n s t r u c t   h i d d e n   u n i t s   u s i n g   p o s i t i v e   s t a t i s t i c s   ( j E )   i s   g i v e n   b y     )) * ( ( 1 1 ) / 1 ( V w o c k e d Pa r a l l e l Bl w j j h id d e n h b j e V h P   3.   N e g a t i v e   p h a s e :   R e c o n s t r u c t   v i s i b l e   u n i t s   u s i n g   n e g a t i v e   s t a t i s t i c s   ( j E )   i s   g i v e n   b y   )) * ( ( 1 1 ) / 1 ( H w o c k e d Pa r a l l e l B l w j j v i s i b l e v b j e H v P   4.   U p d a t e   P h a s e ) ( )) ( ( j j o l d ij ij E n e g a t i v e E p o s i t i v e w w     R e p e a t   w i t h   a l l   t r a i n i n g   v e c t o r s   u n t i l   r e q u i r e d   t h r e s h o l d   g e t s   s a t i s f i e d .         4.   R E S U L T S   A N D   D I S C U S S I O N   T h e   p e r f o r m a n c e   c o m p a r i s o n   o f   o u r   i n t e r e s t   i s   c o n v e r g e n c e   t i m e   c o n s u m p t i o n   o f   D N N   t r a i n i n g   p r o c e s s .   A l l   t h e   a l g o r i t h m s   w e r e   i m p l e m e n t e d   u s i n g   C + +   a n d   t h e n   t e s t e d   o n   m u l t i - c o r e   p r o c e s s o r   s y s t e m ,   t h e   i n f o r m a t i o n   a b o u t   e x e c u t i o n   t i m e   w a s   c o l l e c t e d .   I n   o r d e r   t o   c o m p a r e   t h e   p e r f o r m a n c e ,   t e s t i n g   w a s   p e r f o r m e d   o n   a   p e r s o n a l   d e s k t o p ( H P   C o m p a q   8 2 0 0   E l i t e   S F F   I n t e l   C o r e   I 7 - 2 6 0 0   C P U @3 . 4 0   G H z ,   4   C o r e s ,   8   T h r e a d s ,   6 4   B i t ,   8   M B   C a c h e ,   4   G B   R A M )   r u n n i n g   U b u n t u   o p e r a t i n g   s y s t e m   ( G N U /   L i n u x   4 . 4 . 0 - 5 7   g e n e r i c # 7 8 - U b u n t u   S M P )   w i t h   s o f t w a r e   v e r s i o n   g + +   ( U b u n t u   5 . 4 . 0 - 6   u b u n t u ~1 6 . 0 4 . 4 )   5 . 4 . 0 .   T h e   s a m e   e n v i r o n m e n t   h a s   b e e n   u s e d   f o r   a l l   e x p e r i m e n t s   t h a t   w e r e   c a r r i e d   o u t   f o r   t h i s   p a p e r .   A l l   t h e   i m p l e m e n t e d   a l g o r i t h m s   w e r e   r e r u n   f o r   f i v e   t i m e s   a n d   t h e   a v e r a g e   e x e c u t i o n   t i m e   w a s   c a l c u l a t e d .     4 . 1 .   O p t i m a l   B l o c k   S i z e   A n o t h e r   t h i n g   t h a t   o n e   s h o u l d   t a k e   c a r e   w h e n   u s i n g   b l o c k i n g   i s   t o   f i t   t h e   b l o c k s   w h i c h   a r e   b e i n g   m u l t i p l i e d   i n t o   t h e   c a c h e   l i n e   c o m f o r t a b l y   s o   t h a t   t h e   c a c h e   m i s s e s   a r e   m i n i m i z e d .   S o   i t   i s   a l s o   i m p o r t a n t   t o   s e l e c t   t h e   o p t i m a l   b l o c k   s i z e   [ 1 5 ] .   T h e   b l o c k   s i z e   ( b s )   i s   c h o s e n   s o   t h a t   t h e   b s   ×   b s   s u b m a t r i x   o r   b l o c k   o f   A   a n d   B   m a t r i c e s   c a n   f i t   i n   t h e   c a c h e .   I n   t h i s   e x p e r i m e n t ,   t h e   e x e c u t i o n   t i m e   i s   c a l c u l a t e d   f o r   t h e   m a t r i x   m u l t i p l i c a t i o n   o f   m a t r i c e s   o f   s i z e   1 0 2 4   ×   1 0 2 4   b y   v a r y i n g   t h e   b l o c k   s i z e   f r o m   4   t o   5 1 2   i n   s t e p   o f   p o w e r   o f   2 .   I t   i s   p r a c t i c a l l y   f o u n d   t h a t   o p t i m a l   b l o c k   s i z e   ( b s )   i s   1 6   f o r   t h e   a b o v e   m e n t i o n e d   e n v i r o n m e n t   a s   s h o w n   i n   F i g u r e   7 .           F i g u r e   7 .   E x e c u t i o n   t i m e   o f   P a r a l l e l   B l o c k e d   M a t r i x   m u l t i p l i c a t i o n   0 0 . 5 1 1 . 5 2 2 . 5 3 4 8 16 32 64 1 2 8 2 5 6 5 1 2 E l a p s e d   T i me ( S e c s )   B l o c k   S i z e   Evaluation Warning : The document was created with Spire.PDF for Python.
I n d o n e s i a n   J   E l e c   E n g   &   C o m p   S c i     I S S N :   2502 - 4 7 5 2       A   N o v e l   A p p r o a c h   f o r   E f f i c i e n t   T r a i n i n g   o f   D e e p   N e u r a l   N e t w o r k s   ( D . T . V .   D h a r m a j e e   R a o )   959   4 . 2 .   P e r f o r m a n c e   C o m p a r i s o n   o f   P B B P A   a n d   B P A   T h e   c l a s s i f i c a t i o n   o f   o d d   a n d   e v e n   n u m b e r s   w a s   c h o s e n   f o r   t h e   p e r f o r m a n c e   a n a l y s i s   o f   B a c k p r o p a g a t i o n   t r a i n i n g   a l g o r i t h m   a s   i t   i s   s i m p l e   p r o b l e m   t o   i m p l e m e n t .   T h e   t r a i n i n g   p a t t e r n   ( b i n a r y   f o r m   o f   g i v e n   n u m b e r )   s i z e   i s   a   p o w e r   o f   2   a n d   e q u a l   t o   t h e   n u m b e r   o f   u n i t s   i n   t h e   i n p u t   l a y e r .   N u m b e r   o f   u n i t s   i s   e q u a l   i n   i n p u t   a n d   a l l   h i d d e n   l a y e r s   e x c e p t   o u t p u t   l a y e r .   O n e   o u t p u t   u n i t   i s   u s e d   t o   r e p r e s e n t   t w o   c l a s s e s   w h e r e   t h e   v a l u e   1   r e p r e s e n t s   o d d   c l a s s ,   a n d   t h e   v a l u e   z e r o   r e p r e s e n t s   e v e n   c l a s s .   T h e   t r a i n i n g   p a t t e r n s   a r e   g e n e r a t e d   u s i n g   r a n d o m   f u n c t i o n .   T h e   w e i g h t s   i n   t h e   n e t w o r k s   a r e   i n i t i a l i z e d   t o   s m a l l   r a n d o m   n u m b e r s   r a n g i n g   f r o m   - 1 . 0   t o   1 . 0 .   T h e   b i a s e s   a r e   s i m i l a r l y   i n i t i a l i z e d   t o   s m a l l   r a n d o m   n u m b e r s .   C o n s i d e r e d   t h e   D e e p   N e u r a l   N e t w o r k   w i t h   s i x   h i d d e n   l a y e r s   i n   a d d i t i o n   t o   i n p u t   a n d   o u t p u t   l a y e r s ,   t h e   o b s e r v a t i o n s   a r e   o b t a i n e d   b y   t r a i n i n g   t h e   n e t w o r k   f o r   3 0 , 0 0 0   i t e r a t i o n s .   T h e   l o g i s t i c   o r   s i g m o i d   f u n c t i o n   i s   u s e d   a s   a c t i v a t i o n   f u n c t i o n .   T a b l e   1   d e m o n s t r a t e s   t h a t   p r o p o s e d   P a r a l l e l   B l o c k e d   i m p l e m e n t a t i o n   ( P B B P A )   s h o w s   s i g n i f i c a n t   i m p r o v e m e n t   i n   d e c r e a s i n g   D e e p   N e u r a l   N e t w o r k   t r a i n i n g   t i m e   c o m p a r e d   t o   d i r e c t   i m p l e m e n t a t i o n   ( B P A ) .   F r o m   t h e   F i g u r e   8 ,   i t   i s   c o m p l e t e l y   c l e a r   t h a t   t h e   t r a i n i n g   t i m e   f u r t h e r   r e d u c e d   a s   t h e   s i z e   o f   t r a i n i n g   p a t t e r n   i s   i n c r e a s i n g .         T a b l e   1 .   T r a i n i n g   t i m e   c o m p a r i s o n   o f   B P A   a n d   P B B P A   P a t t e r n   S i z e   E l a p s e d   t i m e ( S e c s )   B P A   P B B P A   S p e e d u p   16   4 . 6 1   1 5 . 3 5   0 . 3 0   32   3 6 . 0 4   3 7 . 4 7   0 . 9 6   48   1 2 2 . 0 7   9 9 . 2 0   1 . 2 3   64   3 3 8 . 2 9   1 5 2 . 8 1   2 . 2 1   80   5 7 3 . 9 9   3 4 2 . 7 4   1 . 6 7   96   9 7 9 . 4 3   5 4 8 . 9 9   1 . 7 8   112   1 5 2 3 . 4 3   8 5 3 . 8 7   1 . 7 8   128   2 4 5 4 . 6 5   1 1 6 6 . 9 0   2 . 1 0   144   3 2 9 0 . 5 7   1 7 3 7 . 8 7   1 . 8 9   160   2 7 4 2 . 2 0   1 3 5 0 . 7 4   2 . 0 3           F i g u r e   8 .   P e r f o r m a n c e   o f   P B B P A   v s   B P A       4 . 3 .   P e r f o r m a n c e   C o m p a r i s o n   o f   P B B M A   a n d   B M A   A   s t a c k   o f   s i x   R B M   l a y e r s   a r e   a r r a n g e d   f o r   t h e   c o m p o s i t i o n   o f   a   D B M   t o   g e n e r a t e   t h e   o r i g i n a l   b i n a r y   p a t t e r n   f o r   a   g i v e n   i n c o r r e c t   p a t t e r n   a s   i n p u t .   T h e   o b s e r v a t i o n s   a r e   o b t a i n e d   b y   t r a i n i n g   t h e   n e t w o r k   f o r   3 0 , 0 0 0   i t e r a t i o n s   i n   b o t h   f o r w a r d   a n d   b a c k w a r d   d i r e c t i o n s   f o r   e a c h   l a y e r .   T a b l e   2   d e m o n s t r a t e s   t h a t   p r o p o s e d   P a r a l l e l   B l o c k e d   i m p l e m e n t a t i o n   ( P B B M A )   s h o w s   s i g n i f i c a n t   i m p r o v e m e n t   i n   d e c r e a s i n g   D e e p   N e u r a l   N e t w o r k   t r a i n i n g   t i m e   c o m p a r e d   t o   d i r e c t   i m p l e m e n t a t i o n   ( B M A ) .   F r o m   t h e   F i g u r e   9   i t   i s   c o m p l e t e l y   c l e a r   t h a t   t h e   t r a i n i n g   t i m e   f u r t h e r   r e d u c e d   a s   t h e   s i z e   o f   t r a i n i n g   p a t t e r n   i s   i n c r e a s i n g .                 Evaluation Warning : The document was created with Spire.PDF for Python.
            I S S N :   2502 - 4 7 5 2   I n d o n e s i a n   J   E l e c   E n g   &   C o m p   S c i ,   V o l 11 ,   N o .   3 S e p t e m b e r   201 8   :   954     961   960   T a b l e   2 .   T r a i n i n g   t i m e   c o m p a r i s o n   o f   B M A   a n d   P B B M A   P a t t e r n   S i z e   E l a p s e d   t i m e ( S e c s )   B M A   P B B M A   S p e e d u p   16   4 . 6 1   1 5 . 3 5   0 . 3 0   32   3 6 . 0 4   3 7 . 4 7   0 . 9 6   48   1 2 2 . 0 7   9 9 . 2 0   1 . 2 3   64   3 3 8 . 2 9   1 5 2 . 8 1   2 . 2 1   80   5 7 3 . 9 9   3 4 2 . 7 4   1 . 6 7   96   9 7 9 . 4 3   5 4 8 . 9 9   1 . 7 8   112   1 5 2 3 . 4 3   8 5 3 . 8 7   1 . 7 8   128   2 4 5 4 . 6 5   1 1 6 6 . 9 0   2 . 1 0   144   3 2 9 0 . 5 7   1 7 3 7 . 8 7   1 . 8 9   160   4 6 4 0 . 1 9   2 3 5 3 . 6 0   1 . 9 7           F i g u r e   9 .   P e r f o r m a n c e   o f   P B B M A   v s   B M A       5.   C O N C L U S I O N S   A N D   F U T U R E   WO R K   I n   t h i s   p a p e r ,   o p t i m a l   b l o c k   s i z e   o f   m a t r i x   h a s   b e e n   c h o s e n   e x p e r i m e n t a l l y   f o r   P a r a l l e l   B l o c k e d   M a t r i x   m u l t i p l i c a t i o n   t o   i m p r o v e   t h e   p e r f o r m a n c e   o f   m a t r i x   m u l t i p l i c a t i o n   w h i c h   i s   a   k e y   o p e r a t i o n   a n d   u s e d   f o r   s e v e r a l   t i m e s   d u r i n g   t h e   t r a i n i n g   o f   D e e p   N e u r a l   N e t w o r k   a l g o r i t h m s .   T h e n   i t   h a s   b e e n   p r o p o s e d   t o   u s e   P a r a l l e l   B l o c k e d   M a t r i x   m u l t i p l i c a t i o n   w i t h   o p t i m a l   b l o c k   s i z e   t o   m o d i f y   B a c k p r o p a g a t i o n   A l g o r i t h m   ( B P A )   a n d   B o l t z m a n n   M a c h i n e   A l g o r i t h m   ( B M A ) .   I t   w a s   e x p e r i m e n t a l l y   v e r i f i e d   t h a t   t h e   p r o p o s e d   m e t h o d s   ( P B B P A   a n d   P B B M A )   p e r f o r m   t h e   t r a i n i n g   o f   D e e p   N e u r a l   N e t w o r k s   a p p r o x i m a t e l y   t w o   t i m e s   f a s t e r   t h a n   t h e   e x i s t i n g   c l a s s i c   a l g o r i t h m s .   F o r   t h e   f u t u r e   w o r k ,   t h e s e   D e e p   N e u r a l   N e t w o r k   a l g o r i t h m s   w i l l   b e   i m p l e m e n t e d   u s i n g   p a r a l l e l   p r o g r a m m i n g   m o d e l   C U D A   a n d   t e s t e d   o n   m a n y - c o r e   G P U   s y s t e m s .       R E F E R E N C E S   [1]   T e ddy   S ury a   G una w a n,  A hm a F a khrur  Ra z i   M ohd  N oor,  M i ra   K a rt i w i D e ve l op m e nt   of  E ng l i s h   H a ndw ri t t e Re c og ni t i on  U s i ng   D e e p   N e ura l   N e t w ork” Indone s i an  J our nal   of   E l e c t r i c al   E ngi ne e r i ng  and  Com put e r   Sc i e nc e M a y   2018, 10(2), 562 - 568.   [2]   D a Ci re s a n,  U e l i   M e i e r,  J ona t ha M a s c i J urg e S c hm i dhube r,  M ul t i - c ol um de e p   ne ura l  ne t w ork for   t ra ffi c  s i g c l a s s i fi c a t i on” ,   N e ura l  N e t w orks , 2012 s p e c i a l  i s s ue , 333 - 338.   [3]   A ndre  S t uhl s a t z , J e ns  L i p p e l , a nd T hom a s  Z i e l ke ,   F e a t ure  E x t ra c t i on w i t h D e e p  N e ura l  N e t w orks  by  a   G e ne ra l i z e D i s c ri m i na t e   A na l y s i s ,   IE E E  T ra ns a c t i ons  on N e ura l   N e t w orks  a nd L e a rni ng   S y s t e m s A p ri l  2012,   23(4), 596 - 608.    [4]   D r.  P ri y a   G up t a N i dhi   S a x e na M e e t i ka   S ha rm a J a g ri t i   T ri p a t hi D e e p   N e ura l   N e t w ork  for  H um a F a c e   Re c og ni t i on” Int e rna t i ona l  J ourna l   of E ng i ne e ri ng   a nd  M a nufa c t uri ng , 2018, 1, 63 - 71.    [5]   S a ra t   Cha ndra   N a y a k,  D e ve l op m e nt   a nd  P e rform a nc e   E va l ua t i on  of  A da p t i ve   H y bri H i g h O rde r N e ura l  N e t w orks   for E x c ha ng e   Ra t e  P re di c t i on” Int e rna t i ona l  J ourna l   of Int e l l i g e nt   S y s t e m s  a nd A p p l i c a t i ons ,   2017, 8, 71 - 85.     [6]   A s m a  E IA de l M oura Z a i e d, Chokri  Be A m a r, “ F a s t   D CN N   ba s e d on F W T , i nt e l l i g e nt   drop out   a nd l a y e s ki p p i ng   for i m a g e   re t ri e va l N e ura l  N e t w orks , 2017, 10 - 18.   [7]   M oni c a   S L a m E dw a rd  E .,  Rot hbe rg   a nd  M i c ha e l  E . W ol f, “ T he  Ca c he  P e rform a nc e  a nd O p t i m i z a t i ons  of   Bl oc ke A l g ori t hm s P roc e e di ng s   of  t he   fourt i nt e rna t i ona l   c onfe re nc e   on  a rc hi t e c t ura l   s up p ort  for   p rog ra m m i ng  l a ng ua g e s   a nd op e ra t i ng   s y s t e m s     A S P L O S - IV , 1991.   [8]   N e na A nc he v,  M a rj a G us e v,  S a s ko  Ri s t ov,  a nd  Bl a g oj   A t a na s ovs ki ,” S om e   O p t i m i z a t i on  T e c hni que s   of  t he   M a t ri x   M ul t i p l i c a t i on  A l g ori t hm P roc e e di ng s   of  t he   35t Int e rna t i ona l   Confe re nc e   on  Inform a t i on   T e c hnol og y   Int e rfa c e s , IT   2013.   Evaluation Warning : The document was created with Spire.PDF for Python.
I n d o n e s i a n   J   E l e c   E n g   &   C o m p   S c i     I S S N :   2502 - 4 7 5 2       A   N o v e l   A p p r o a c h   f o r   E f f i c i e n t   T r a i n i n g   o f   D e e p   N e u r a l   N e t w o r k s   ( D . T . V .   D h a r m a j e e   R a o )   961   [9]   A s i M uha m m a d,  M u ha m m a A rs ha Is l a m P e rform a nc e   E va l ua t i on  of  M a t ri x   M ul t i p l i c a t i on  i V i rt ua l   M a c hi ne , Int e rna t i ona l   Confe re nc e   on Com m uni c a t i on,  Com p ut i ng  a nd  D i g i t a l   S y s t e m s , 2017.   [10]   A na nt M .,  V i s hw a s   S .,  D r.  A na l a   M   R,  Ca c he   F ri e ndl y   S t ra t e g i e s  t o O p t i m i z e  M a t ri x  M ul t i p l i c a t i on IE E E  7t Int e rna t i ona l  A dva nc e   Com p ut i ng  Confe re nc e 2017.   [11]   S a s ko  Ri s t ov,  M a rj a G us e v,  S up e l i ne a S p e e dup   for  M a t ri x   M ul t i p l i c a t i on” P roc e e di ng s   of  t he   35t h   Int e rna t i ona l  Confe re nc e   on Inform a t i on T e c hnol og y  Int e rfa c e s IT   2012.   [12]   D .T .V D ha rm a j e e   Ra o,  K .V Ra m a na W i nog ra d’s   Ine qua l i t y :   E ffe c t i v e ne s s   for  E ffi c i e nt   T ra i ni ng   of  D e e p  N e ura l   N e t w orks , Int e rna t i ona l  J ourna l  of Int e l l i g e nt   S y s t e m s  a nd A p p l i c a t i ons , a c c e p t e d on 25 - 04 -   2018, “ In P re s s .   [13]   O m a i m a   N .,  A hm a A L - A l l a f,  F a s t   Ba c P rop a g a t i on  N e ura l   N e t w ork  A l g ori t hm  for Re duc i ng   Conve rg e nc e  T i m e   of BP N N  Im a g e   Com p re s s i on” , P roc e e di ng s   of t he  5t h   Int e rna t i ona l  Confe re nc e   on IT   &  M ul t i m e di a , 2011.   [14]   N oe l   L op e s Be rna rde t e   Ri be i ro  a nd  J oa G onc a l ve s ,” Re s t i c t e d   Bol t z m a nn M a c hi ne s  a nd D e e p  Be l i e N e t w orks  on  M ul t i - Core  P roc e s s ors , IE E E  W orl d Cong re s s   on Com p ut a t i ona l  Int e l l i g e nc e W CCI 2012.   [15]   S a s ko  Ri s t ov,  M a rj a G us e v,  G ora V e l kos ki O p t i m a l   Bl oc S i z e   for  M a t ri x   M ul t i p l i c a t i on  U s i ng   Bl oc ki ng P roc e e di ng s   of  t he   37t Int e rna t i ona l   Confe re nc e   on  Inform a t i on  a nd  c om m uni c a t i on   T e c hnol og y E l e c t roni c s   a nd  m i c roe l e c t roni c s M IP RO , M a y  2014, 295 - 300.     Evaluation Warning : The document was created with Spire.PDF for Python.