I n d on e s i an   Jo u r n al   o El e c t r i c al   En gi n e e r i n g   an d   C o m p u te r   S c i e n c e   V o l .   43 ,   N o .   2 A ugus t   20 26 ,   pp .   662 ~ 671   IS S N :   2502 - 4752 ,   D O I :   10. 1 1591 / i j e e c s . v 43 .i 2 . pp 662 - 671             662     Jou r n al   h o m e pa ge ht t p: / / i j e e c s . i a e s c or e . c om   E v a l u a t i o n   o f   h y b r i d   p a r a l l e l i sm   f o r   sc a l a b l e   t r a i n i n g   o f   D e n seNet - 1 2 1   i n   d i a b e t i c   r e t i n o p a t h y   c l a ssi f i c a t i o n       I n d ar   S u gi ar to 1 , 2 ,   D jo n i   H a r yad i   S e t i ab u d i 3 ,   D a r r e l l   C o r n e l i u s   R i v al d o 3 ,     Taw e e s a k   K i j k an jan ar at 4 ,   R e s m an Li m 1   1 D e p a rt m e n t   o f   E l e c t ri c a l   E n g i n e e r i n g ,   P e t ra   Ch ri s t i a n   U n i v e r s i t y ,   S u ra b a y a ,   In d o n e s i a   2 Ce n t e r   f o r   A rt i fi c i a l   I n t e l l i g e n c e   a n d   Co m p u t a t i o n a l   M o d e l i n g   S t u d i e s ,   P e t r a   Ch ri s t i a n   U n i v e r s i t y ,   S u ra b a y a ,   In d o n e s i a   3 D e p a rt m e n t   o f   I n fo r m a t i c s ,   P e t ra   C h r i s t i a n   U n i v e r s i t y ,   S u ra b a y a ,   I n d o n e s i a   4 D e p a rt m e n t   o f   E l e c t ri c a l   a n d   C o m p u t e E n g i n e e ri n g ,   T h a m m a s a t   U n i v e r s i t y ,   Ba n g k o k ,   T h a i l a n d       A r ti c l e   I n fo     A B S TR A C T   Ar t i c l e   h i s t or y :   R e c e i v e S e 12,   2 025   R e v i s e d   J ul   6,   2026   A c c e pt e J ul   2 3,   2026     T r a i ni ng   l a r g e   a n c o m pl e d e e p   l e a r ni ng   m o de l s   i s   o f t e c o ns t r a i ne d   by   G P U   m e m o r y   l i m i t a t i o ns   a n p r o l o ng e t r a i n i ng   t i m e s .   W hi l e   s e v e r a l   pa r a l l e l i s m   s t r a t e g i e s   ha v e   be e pr o po s e d ,   t h i s   s t udy   s pe c i f i c a l l y   e v a l ua t e s   hy br i p a r a l l e l i s m a   c o m bi na t i o n   o f   da t a   pa r a l l e l i s m   a n d   p i pe l i ne   pa r a l l e l i s m t o   a dd r e s s   bo t c ha l l e ng e s   s i m ul t a ne o us l y .   U s i ng   a   c a s e   s t udy   o di a b e t i c   r e t i no pa t hy   ( D R )   c l a s s i f i c a t i o w i t h   t he   D e ns e N e t - 121   a r c hi t e c t u r e ,   w e   a n a l y z e   t h e   t r a d e - o f f   be t w e e n   c o m put a t i o na l   e f f i c i e nc y     a nd  m e m o r y   s c a l a b i l i t y .   R e s u l t s   s ho w   t ha t   a l t ho ug hy br i p a r a l l e l i s m     do e s   no t   y e t   pr o v i de   s pe e dup  c o m pa r e d   t o   a   s i ng l e - G P U   s e t up due   t o   c om m uni c a t i o n   o v e r he a d   a nd   pi p e l i n e   f r a g m e nt a t i o n i t   e na b l e s   t r a i n i ng   o f   l a r g e   m o de l s   t ha t   e xc e e d   t h e   m e m o r y   c a pa c i t y   o f   a   s i ng l e   G P U .   T he   t r a i ne d   m o de l   a c hi e v e a   v a l i d a t i o a c c ur a c y   of   0. 73 7,   a   qu a d r a t i c   w e i g ht e ka pp a   ( Q W K )   o f   0. 861 ,   a nd  a   w e i g h t e F 1 - s c o r e   o f   0. 749 .   I c o nt r a s t ,   pur e   da t a   pa r a l l e l i s m   s ho w e a   po t e n t i a l   s pe e dup   o f   up   t o   1 .   i n   s c e na r i o s   w he r e   t he   m o de l   s t i l l   f i t s   w i t h i a   s i ng l e   G P U .   T h e s e   f i nd i ng s   h i g hl i g ht   t he   c r i t i c a l   r o l e   o f   h y br i p a r a l l e l i s m   i n   o v e r c om i ng   t he   m e m o r y   w a l l   i l a r g e - s c a l e   m o de l   t r a i n i ng ,   t ho ug o pt i m i z a t i o t o   r e duc e   o v e r he a d   r e m a i ns   a   ke y   c ha l l e ng e .   Ke y w or d s :   D a t a   p a r a l l e l i s m   D e n s e N e t - 121   D i s t r i b ut e t r a i n i ng   H y b r i pa ra l l e l i s m   P i pe l i n e   p a r a l l e l i s m   T hi s   i s   an   ope n   ac c e s s   ar t i c l e   u nde r   t he   C C   B Y - SA   l i c e ns e .     Cor r e s pon di n g   Au t h or :   In d a S ugi a r t o   Ce n t e f o r   A r t i f i c i a l   I n t e l l i ge n c e   a n d   Co m pu t a t i o na l   M o de l i ng  S t ud i e s P e t ra   C hri s t i a U ni v e r s i t y   S ura b a y a ,   I ndo n e s i a   E m a i l :   i n d i @ pe t r a . a c . i d       1.   I N TR O D U C TI O N   T h e   c u rre nt   e ra   o f   t e c hno l o g i c a l   a dv a nc e m e nt   i s   m a rk e d   b y   t h e   w i de s p r e a d   a do p t i o o f   a rt i f i c i a l   i nt e l l i ge nc e ,   p a rt i c u l a rl y   de e p   l e a rni ng ,   a c r o s s   v a ri o u s   do m a i ns   [ 1] .   T hi s   t r e nd   i s   f ue l l e d   b y   t he   e x p l o s i v e   g r o w t o f   d a t a p r o j e c t e d   t o   r e a c 1 8 1   z e t t a b y t e s   b y   2 02 5   [ 2] a s   w e l l   a s   ra p i d   a dv a n c e m e nt s   i ha rdw a re ,   n o t a b l y   G P U s ,   a nd   t h e i s up po rt i ng  s o f t w a r e   e c o s y s t e m s   [ 3 ].   T o   s o l v e   i nc r e a s i ng l y   c o m p l e p r o b l e m s ,   de e p   l e a rni ng   m o de l s   ha v e   g r o w i s i z e   a nd   de p t h,   w i t a rc hi t e c t u r e s   c o m p ri s i ng   m i l l i o n s   t o   b i l l i o n s   o f   p a ra m e t e r s   de s i g ne d   t o   c a p t u re   i nt ri c a t e   f e a t u re s   a nd   a c hi e v e   s u pe ri o a c c u ra c y   [4 ] .   H o w e ve r,   t hi s   p r o g re s s   ha s   i nt ro duc e s i g ni f i c a nt   c o m p u t a t i o na l   c ha l l e nge s ,   p a rt i c u l a rl y   p r o l o nge d   t ra i ni ng   t i m e s   a nd   l i m i t e d   G P U   m e m o r y   c a p a c i t y   [5 ] .   T ra i ni ng   m a s s i v e   m o de l s   o l a rg e   d a t a s e t s   c a t a ke   d a y s   o e v e n   w e e ks   [6 ] .   W he t h e   m o de l   s i z e   e xc e e ds   t h e   m e m o r y   c a p a c i t y   o f   a   s i ng l e   G P U ,   t ra i ni ng   b e c o m e s   i n f e a s i b l e   w i t h o u t   s pe c i a l i z e d   s t ra t e g i e s .   T o   a dd re s s   t h e s e   l i m i t a t i o n s ,   d i s t ri b u t e t ra i ni ng   us i ng   m ul t i p l e   G P U s   ha s   b e c o m e   t h e   s t a nd a rd   s o l u t i o n.   S e v e ra l   s t ra t e g i e s   ha v e   e m e rge d ,   i nc l u d i ng   d a t a   p a ra l l e l i s m ,   m o de l   p a ra l l e l i s m ,   a nd   p i pe l i ne   p a ra l l e l i s m   [7 ] .   T hi s   s t udy   f o c us e s   o h y b ri d   p a ra l l e l i s m ,   a   m e t h o t ha t   c o m b i ne s   d a t a   p a ra l l e l i s m   ( t o   ha nd l e   Evaluation Warning : The document was created with Spire.PDF for Python.
In do n e s i a J   E l e c   E ng  &   Co m S c i     IS S N :   2502 - 4752         E v al u at i on  of   hy br i par al l e l i s m   f or   s c al ab l e   t r a i ni n o f   D e ns e Ne t - 121   i n   d i a be t i c     ( Indar   Su gi ar t o )   663   l a rge   v o l u m e s   o f   da t a )   w i t p i pe l i ne   p a ra l l e l i s m   ( t o   a c c o m m o d a t e   l a rge   m o de l s ) ,   a i m i ng   t o   i m p ro v e   b o t s c a l a b i l i t y   a nd   t ra i ni ng   e f f i c i e n c y .   A s   a   c a s e   s t udy ,   w e   a pp l y   t hi s   a pp r o a c t o   d i a b e t i c   re t i n o p a t h y   (D R c l a s s i f i c a t i o n   us i ng   f u nd us   re t i na l   i m a ge s .   D R   i s   a   c o m p l i c a t i o o f   d i a b e t e s   a nd   a   l e a d i ng   c a us e   o f   p re v e nt a b l e   b l i nd n e s s   w h e de t e c t e d   e a rl y   [8 ] .   W i t t h e   nu m b e o f   D R   c a s e s   p r o j e c t e t o   ri s e   t o   5 92   m i l l i o b y   20 25   [9 ] ,   t he   de m a nd   f o f a s t   a nd   a c c u ra t e   a ut o m a t e d   de t e c t i o s y s t e m s   i s   c ri t i c a l .   T hu s ,   D R   c l a s s i f i c a t i o s e r v e s   a s   a   hi g hl y   re l e v a nt   a nd   i m p a c t f u l   t e s t   c a s e   f o e v a l ua t i ng   d i s t ri b u t e d   t ra i ni ng   s t ra t e g i e s .   P r e v i o u s   s t u d i e s   ha v e   e x p l o r e d   p a ra l l e l i s m   s t ra t e g i e s   f o D R   c l a s s i f i c a t i o n.   H o w e v e r,   m a n y   s uf f e f r o m   l i m i t a t i o n s   s uc a s   o v e rl y   s i m pl i s t i c   m o de l s ,   l a c k   o f   b a s e l i n e   c o m p a ri s o n s   (e . g . ,   s i ng l e - G P U   t ra i ni ng ) ,   a nd   i ns uf f i c i e nt   a na l y s i s   o f   r e s o u rc e   u t i l i z a t i o a nd   b o t t l e ne c ks   [7 ] ,   [1 0] .   T hi s   l e a v e s   a   g a p   f o a   m o re   c o m p re h e ns i v e   u nde rs t a nd i ng   o f   p a ra l l e l i s m   e f f e c t i v e n e s s   i r e a l - w o rl d   s c e na ri o s .   T o   a d d r e s s   t h e s e   g a ps ,   t hi s   p a pe o f f e r s   a   c o m p re h e ns i v e   e v a l u a t i o o f   h y b ri d   p a ra l l e l i s m   pe r f o rm a nc e   us i ng   t h e   D e ns e N e t - 1 2 1   a rc hi t e c t u re .   T h e   m a i c o nt ri b u t i o n s   o f   t hi s   s t u dy   a re :     A   q ua nt i t a t i v e   a na l y s i s   o f   t h e   t ra de - o f f   b e t w e e t ra i ni ng   s pe e du p   a nd   m e m o r y   s c a l a b i l i t y   i l a rge - m o de l   s c e na ri o s .     G P U   u t i l i z a t i o a na l y s i s   t o   i de nt i f y   c o m m u ni c a t i o a nd   c o m p ut a t i o b o t t l e n e c ks   a c r o s s   s t ra t e g i e s .     A   s i ng l e - G P U   b a s e l i ne   t o   p ro v i de   a   s o l i d   c o m p a ri s o po i nt   f o e v a l u a t i ng   t he   e f f e c t i v e n e s s   o f   d i s t ri b u t e t ra i ni ng .   T hro u g t hi s   a na l y s i s ,   w e   a i m   t o   o f f e c l e a r e g u i d a nc e   o w h e a nd   w h y   h y b ri d   p a ra l l e l i s m   i s   a n   a pp r o p ri a t e   s t ra t e gy p a rt i c u l a rl y   w h e n   t he   m o de l   e xc e e ds   t h e   c a p a c i t y   o f   a   s i ng l e   G P U .   T o   o u k n o w l e dge ,   no   p ri o w o rk  ha s   s y s t e m a t i c a l l y   a na l y z e d   t he   i m p a c t   o f   h y b ri p a ra l l e l i s m   u nde h e t e r o ge n e o us   G P U   c l us t e rs   f o D R   c l a s s i f i c a t i o n.       2.   M ET H O D   2. 1 .     D atas e t   d an   p r e p r o c e s s i n g   T h e   d a t a s e t   us e i t hi s   s t u dy   c o n s i s t s   o f   hum a r e t i na l   i m a g e s   ob t a i n e f r o m   A ra v i n d   E y e   H o s pi t a l   i n   I ndi a ,   r e l e a s e by   t h e   A s i a   P a c i f i c   T e l e - O p h t ha l m o l o g y   S o c i e t y   (A P T O S a s   p a r t   o f   t h e   A P T O S   2019   B l i n d n e s s   D e t e c t i o c o m pe t i t i o n   o n   t h e   K a ggl e   p l a t f o r m   [ 1 0 ].   E a c i m a ge   i s   l a b e l e a c c o r di n g   t o   t h e   s e v e r i t y   l e v e l   of   DR   r a ngi n g   f r o m   0   t o   4 :   N o   D R   ( 0),   M i l d   ( 1),   M o de r a t e   ( 2),   S e v e r e   (3) ,   a n d   P r o l i f e r a t i v e   D R   (4) .   F i gu r e   1   i l l us t ra t e s   v i s ua l   e xa m p l e s   f o r   e a c c l a s s   [11] .   T h e   d a t a s e t   c o m p r i s e s   3, 6 62   i m a ge s   w i t an   i m b a l a n c e c l a s s   di s t ri b ut i o a s   s h o w i T a b l e   1 .   P r i o r   t o   p r e p r o c e s s i n g ,   t h e   d a t a s e t   w a s   s pl i t   i nt o   a   t r a i n i ng  s e t   (80%)   a nd  a   t e s t i n g   s e t   (2 0%) ,   a   c o m m o nl y   us e ra t i o   t o   pr e s e r v e   e v a l ua t i o n   i n t e g ri t y .   T h e   p r e p r o c e s s i n pi pe l i n e   w a s   a pp l i e d i f f e r e n t l y   t o   e a c h   s ub s e t .   T o   a dd r e s s   c l a s s   i m b a l a n c e ,   da t a   a u gm e n t a t i o n i n c l ud i n ra n do m   o v e r s a m p l i n g   t o   e qua l i z e   t h e   n u m b e r   o s a m pl e s   pe r   c l a s s w a s   a pp l i e o nl y   t o   t h e   t ra i ni n g   s e t .   T h e   t e s t   s e t   w a s   l e f t   u n t o uc h e t o   r e f l e c t   r e a l - w o r l da t a   d i s t ri b ut i o n   [12] - [14 ] .           F i gu r e   1 .   R e t i n a l   i m a ge s   r e p r e s e n t i n g   e a c D R   s e v e r i t y   c l a s s       T a b l e   1 .   C l a s s   di s t ri b ut i o o f   A pt o s   2019  d a t a s e t   D s e v e ri t y   T ra i n i n g   d a t a   T e s t i n g   d a t a   Be fo r e   a u g m e n t a t i o n   A f t e r   a u g m e n t a t i o n     N o   D R   1444   1444   361     M i l d   296   1444   74     M o d e ra t e   799   1444   200     S e v e r e   154   1444   39     P ro l i fe ra t i v e   236   1444   59   T o t a l   2999   7220   733         Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2502 - 4752   In do n e s i a J   E l e c   E ng  &   Co m S c i ,   V o l .   43 ,   N o .   2 ,   A ugus t   20 26 662 - 67 1   664   T h e   p r e p r o c e s s i n p r o c e s s   c o n s i s t s   o f   f o ur   m a i s t e ps :   a)   Cr o ppi ng  b l a c k   b o r de r s   t o   r e m o ve   n o n - i n f o r m a t i v e   r e gi o n s   t ha t   m a y   i nt e r f e r e   w i t l e a rni n g .   b)   A ppl y i n g   t h e   B e n j a m i n   G ra ha m   n o rm a l i z a t i o n   t e c hn i q ue   t o   re duc e   i l l um i na t i o n   v a ri a n c e   a c r o s s   i m a ge s .   c)   R e s i z i n g   t h e   l o n ge s t   s i de   o f   e a c h   i m a ge   t o   512  pi xe l s   w h i l e   p r e s e r v i n g   t h e   a s pe c t   r a t i o .   d)   A ppl y i n s qu a r e   p a dd i n t o   s t a nda r d i z e   t h e   i n pu t   d i m e n s i o n s .   A ddi t i o n a l l y ,   t h e   t ra i ni n g   d a t a   w a s   a ug m e nt e us i n g   r a nd o m   t ra n s f o r m a t i o n s   ( h o ri z o n t a l / v e r t i c a l   f l i ps ,   r o t a t i o n s ,   b r i g ht n e s s / c o n t ra s t   a dj us t m e nt s t o   i m p r o v e   m o de l   ge n e r a l i z a t i o n   a n d   p r e v e n t   o v e r f i t t i n g .     2. 2 .     D e e p   l e a r n i n m o d e l   T h i s   s t udy   e m pl o y s   t h e   D e n s e N e t - 121   a r c hi t e c t u r e ,   a   c o n v o l ut i o n a l   n e u r a l   n e t w o r (CN N )   s o u r c e d   f r o m   t h e   P y T o r c t o r c h v i s i o l i b r a r y .   D e n s e l y   c o n n e c t e c o n v o l ut i o n a l   n e t w o r ks   ( D e n s e N e t i nt r o duc e s   de n s e   c o nn e c t i v i t y ,   w h e r e   e a c h   l a y e r   r e c e i ve s   i n pu t   f r o m   a l l   p r e v i o us   l a y e r s ,   e n c o ur a gi n g   f e a t u r e   r e us e   a n m i t i g a t i ng   t h e   v a n i s h i ng   g r a di e n t   p r o b l e m   [1 5].   T h i s   de n s e   c o nn e c t i v i t y   i s   e s pe c i a l l y   e ff e c t i v e   fo r   m e di c a l   i m a ge s ,   e n s u ri n g   t ha t   l o w - l e ve l   f e a t u r e s   (e . g . ,   f i n e   v e s s e l   s t ruc t ur e s   o t e xt u r e )   a r e   a c c e s s i b l e   t o   de e pe r   l a y e r s   a n d   a i di ng   i t h e   de t e c t i o o f   s ub t l e   a n o m a l i e s .   T h e   m o de l   w a s   i n i t i a l i z e d   w i t p r e t r a i n e d   I m a ge N e t   w e i gh t s   a n f i n e - t u n e d   o t h e   A P T O S   d a t a s e t   f o r   t hi s   s pe c i f i c   c l a s s i f i c a t i o t a s k.     2. 3 .     K u b e r n e t e s   c l u s te r   F o r   d i s t r i b ut e d   t ra i ni n g   o r c h e s t ra t i o n ,   t h i s   s t u dy   us e s   a   K ub e rn e t e s   c l us t e r,   w h i c a ut o m a t e s   de pl oy m e n t ,   s c a l i n g ,   a n d   c o nt a i n e m a n a ge m e nt .   W e   a do pt e T o r c h X   t o   s i m pl i fy   P y T o r c j ob   de f i n i t i o n s   a n us e V o l c a n o   a s   t h e   b a t c h   s c h e dul e r   t o   e ff i c i e n t l y   a l l o c a t e   G P U   r e s o ur c e s .   T h e   h a rdw a r e   c o n f i gu r a t i o n   of   t h e   h e t e r o ge n e o us   c l u s t e r   i s   s um m a r i z e i T a b l e   2 .       T a b l e   2 .   K ub e rn e t e s   c l us t e h a r dw a r e   c o n f i gu ra t i o n   N o d e   Ro l e / n o d e   n a m e   G P U   c o n f i g u ra t i o n   V R A M   p e G P U   N o d e - 1   M a s t e n o d e / P CR   -   -   N o d e - 2   Co m p u t e   n o d e / CN 1   2 ×   N V ID I A   RT X   3 0 7 0   8   G B   N o d e - 3   Co m p u t e   n o d e / CN 2   1 ×   N V ID I A   RT X 3 0 9 0 ,   1 ×   N V ID I A   RT X 3 0 9 0 t i   2 4   G B   N o d e - 4   Co m p u t e   n o d e / CN 3   2 ×   N V ID I A   Q u a d r o   RT X   6 0 0 0   2 4   G B       2. 4 .     D ata   p ar a l l e l i s m   T o   a c c e l e r a t e   t r a i n i n g ,   d a t a   pa ra l l e l i s m   w a s   i m pl e m e n t e us i n g   P y T o r c h s   t o r c h. nn . pa ra l l e l .   D i s t r i b ut e d   da t a   pa ra l l e l   (D D P m o dul e   w i t h   A l l R e duc e   s y n c hr o n i z a t i o n   a r c h i t e c t ur e   [16 ],   [1 7].   T h e   m o de l   i s   r e pl i c a t e o e a c G P U ,   a n e a c h   r e p l i c a   p r o c e s s e s   a   di f f e r e n t   s ub s e t   o f   t h e   da t a   i n   p a ra l l e l .   A f t e t h e   b a c k w a r d   p a s s ,   g ra di e n t s   a r e   a gg r e ga t e v i a   A l l R e duc e   a n d   a v e r a ge d   a c r o s s   r e pl i c a s .   E a c r e pl i c a   t h e upda t e s   t h e   m o de l   w e i gh t s   i nde pe n de n t l y   us i n t h e   a v e r a g e gra di e n t s ,   e n s u r i ng  m o de l   c o n s i s t e n c y   a t   t h e   e n o f   e v e r y   i t e r a t i o n   [1 6],   [18 ],   [19] .     2. 5 .     P i p e l i n e   p ar a l l e l i s m   W e   a l s o   i m pl e m e nt e pi pe l i n e   pa ra l l e l i s m ,   e na b l i n t r a i n i n g   o f   m o de l s   t h a t   e xc e e s i n g l e - GPU  m e m o r y   c a pa c i t y .   T hi s   w a s   a c h i e v e us i n g   t h e   t o r c h. di s t ri b ut e d. pi pe l i n e . s y n c   m o dul e   i P y T o r c h.   T h e   D e n s e N e t - 121  m o de l   w a s   di v i de i nt o   t w o   s t a ge s ,   e xe c ut e s e que n t i a l l y ,   w i t t h e   s pl i t   pe r f o r m e a f t e r   t r a n s i t i o n   l a y e r   t o   b a l a n c e   c o m put e   a n d   m e m o r y   l o a ds   a c r o s s   t h e   t w o   G P U s .   D u r i ng  t r a i n i ng,   e a c i nput   b a t c w a s   s pl i t   i n t o   m i c r o - b a t c h e s ,   w hi c f l o w e t hr o ug t h e   p i pe l i n e   t o   m a xi m i z e   G P U   u t i l i z a t i o a n d   e n a b l e   t r a i n i ng   o f   l a r ge m o de l s   [20] [ 22] .   F i gu r e   2   s h o w s   t h e   D e n s e N e t - 1 21  a r c h i t e c t ur e   d i v i de i nt o   t w pa r t s .   S t a ge   (o n   G P U   0)  c o n t a i n s   t h e   i ni t i a l   l a y e r s   up  t o   t r a n s i t i o n   2   a s   s h o w n   i n   F i gu r e   2( a ) .   S t a ge     (o n   G P U   1)  c o n t a i n s   de n s e   b l o c up  t o   t h e   c l a s s i f i c a t i o l a y e r   a s   s h o w n   i F i gu r e   2(b ) .         (a )       (b )     F i gu r e   2 D e n s e N e t - 121  i n ,   ( a S t a ge   1 :   f r o m   i nput   t o   t r a n s i t i o n   l a y e r   2   a n (b S t a ge   2:   f r o m   de n s e   b l o c   t o   c l a s s i f i c a t i o n   Evaluation Warning : The document was created with Spire.PDF for Python.
In do n e s i a J   E l e c   E ng  &   Co m S c i     IS S N :   2502 - 4752         E v al u at i on  of   hy br i par al l e l i s m   f or   s c al ab l e   t r a i ni n o f   D e ns e Ne t - 121   i n   d i a be t i c     ( Indar   Su gi ar t o )   665   2. 6 .     H yb r i d   p ar a l l e l i s m   H y b r i pa ra l l e l i s m   c o m b i n e s   b o t da t a   a nd  pi pe l i n e   p a r a l l e l i s m   a s   s h o w n   i n   F i g u r e   3 .   T h e   p i pe l i n e d   m o de l   i s   r e pl i c a t e a c r o s s   a l l   c o m put e   n o de s   (d a t a   pa ra l l e l i s m ),   a n d   w i t h i e a c n o de ,   t h e   t w o   pi pe l i n e     s t a ge s   a r e   di s t ri b ut e a c r o s s   t w o   G P U s   (pi pe l i n e   p a ra l l e l i s m ) .   G ra di e n t   s y n c hr o ni z a t i o v i a   A l l R e duc e     (da t a   pa ra l l e l i s m )   o c c u r s   a f t e e a c f ul l   f o r w a r d - b a c kw a r d   p a s s   c y c l e   w i t h i t h e   pi pe l i n e .   T hi s   a p p r o a c e ffe c t i ve l y   di s t ri b ut e s   c o m put a t i o na l   l o a d   a n d   m e m o r y   us a ge   a c r o s s   t h e   c l us t e r   [ 23] [2 5].   T h i s   a r c h i t e c t ur e   a s   s h o w n   i F i gu r e   3   e f fe c t i ve l y   di s t r i b ut e s   b o t h   c o m put a t i o a nd  m e m o r y   us a ge   a c r o s s   t h e   c l us t e r .   E a c n o de   c o n t a i n s   a   t w o - s t a ge   pi pe l i n e   re pl i c a t e d   a c r o s s   n o de s ,   e na b l i n g   c o n c u rr e n t   d a t a   pr o c e s s i n w hi l e   t ra i ni n a   m o de l   t ha t   e xc e e ds   s i n g l e - G P U   m e m o r y   l i m i t s .           F i gu r e   3 .   H y b r i d   pa ra l l e l   t r a i n i ng  a c r o s s   c o m put e   n o de s   (pi pe l i n e   +   d a t a   p a r a l l e l i s m )       2. 7 .     Tr ai n i n g   A l l   t r a i n i ng  s t ra t e gi e s   us e t h e   s a m e   m o de l   a r c hi t e c t u r e   (D e n s e N e t - 121)  i ni t i a l i z e w i t h   p r e t r a i n e Im a ge N e t   w e i gh t s .   T h e   A d a m   o pt i m i z e w i t a   l e a rn i ng   r a t e   o f   0. 001   a n d   c r o s s - e n t r o p y   l o s s   f un c t i o w a s   us e t hr o ug h o ut .   T o   e n s u r e   f a i rn e s s ,   w e i ght   upda t e s   w e r e   c on s i s t e nt l y   pe r f o r m e e v e r y   30  s a m pl e s   a c r o s s   a l l   t r a i ni n g   s t ra t e gi e s   t o   b a l a n c e   G P U   m e m o r y   us a ge   a n d   a v o i o ut - of - m e m o r y   (O O M e rr o r s .   T h e   gl o b a l   b a t c h   s i z e   w a s   f i xe a t   3 f o r   a l l   s t ra t e gi e s .   F o r   s i n gl e   G P U   a n d   pi pe l i n e   p a r a l l e l i s m ,   t h e   f ul l   b a t c s i z e   o f   30  w a s   us e d.   I d a t a   p a ra l l e l   a nd  h y b r i d   s t r a t e gi e s ,   t h e   b a t c h   s i z e   pe r e pl i c a   w a s   30/ N ,   w h e r e   N   i s   t h e   num b e r   o f   da t a   r e pl i c a s .   I n   pi pe l i n e   pa ra l l e l i s m ,   e a c m i n i - b a t c w a s   f ur t h e s pl i t   i n t o     5   m i c r o - b a t c h e s ,   r e s ul t i ng  i n   6   s a m pl e s   pe r   f o r w a r d / b a c kw a r p a s s ,   c o m pa t i b l e   w i t h   f i xe upd a t e   i n t e r v a l s   a n p i pe l i n e   e xe c ut i o n T o   c l a ri fy   t h e   c o n f i gura t i o n   di f f e r e n c e s   i e a c h   e xpe r i m e n t a l   s c e na r i o ,   T a b l e   pr e s e nt s   a   s u m m a r y   of   t h e   t r a i n i ng  p a ra m e t e r s   u s e d.       T a b l e   3 .   T r a i n i ng  c o n f i gu ra t i o n   S t ra t e g y   #   G P U s   Ba t c h   s i z e   p e r e p l i c a   G l o b a l   b a t c h   s i z e   U p d a t e   i n t e rv a l   S i n g l e   G P U   1   30   30   3 0   s a m p l e s   D a t a   p a ra l l e l i s m   2   1 5   (3 0 / 2 )   30   3 0   s a m p l e s   P i p e l i n e   p a ra l l e l i s m   2   30   30   6   s a m p l e s   p e r   m i c ro b a t c h   H y b r i d   p a ra l l e l i s m   6   5   (3 0 / 6 )   30   6   s a m p l e s   p e r   m i c ro b a t c h       A s   s h o w i T a b l e   3 ,   t h e   ke y   po i nt   o f   t hi s   e x pe ri m e nt a l   de s i g i s   t o   m a i nt a i a   c o ns i s t e nt   g l o b a l   b a t c s i z e   o f   3 0   f o a l l   s t ra t e g i e s .   T hi s   e n s u r e s   t ha t   t he   t o t a l   v o l u m e   o f   da t a   p r o c e s s e d   b e f o r e   e a c m o de l   w e i g ht   up d a t e   i s   t he   s a m e ,   t hus   m a k i ng   t he   c o m p a ri s o o f   s pe e d   a n d   pe r f o rm a n c e   b e t w e e s t ra t e g i e s   f a i a nd   v a l i d .   M o de l   pe r f o rm a n c e   w a s   e v a l u a t e d   us i ng   t hre e   m e t ri c s :   a c c u ra c y ,   w e i g ht e d   F 1 - s c o r e ,   a nd  q u a d ra t i c   w e i g ht e k a p p a   ( Q W K ) .   A m o ng   t h e s e ,   Q W K   w a s   c o n s i de r e d   t h e   p ri m a r y   m e t ri c ,   a s   i t   i s   s pe c i f i c a l l y   de s i g ne d   f o o rd i na l   c l a s s i f i c a t i o t a s ks   l i ke   D R   g ra d i ng .   Q W K   pe na l i z e s   s e v e r e   m i s c l a s s i f i c a t i o n s   m o re   h e a v i l y   (e . g . ,   p r e d i c t i ng   S e v e r e   a s   N o   D R )   t ha m i l d e o n e s   (e . g . ,   p re d i c t i ng   S e v e r e   a s   P r o l i f e r a t i v e ).       3.   R ES U LTS   A N D   D I S C U S S I O N   T h i s   s e c t i o n   p r e s e n t s   a n d   a n a l y z e s   t h e   e xpe r i m e nt a l   r e s ul t s   f r o m   t w o   m a i a s pe c t s :   t h e   t ra i ni n g   t i m e   e ff i c i e n c y   of   di f fe r e nt   p a r a l l e l i s m   s t r a t e gi e s   a nd  t h e   c l a s s i f i c a t i o n   pe r f o r m a n c e   o f   t h e   r e s ul t i n g   m o de l s .     3. 1 .     Tr ai n i n g   ti m e   e f fi c i e n c y   an al ys i s   W e   f i r s t   e xa m i n e   i de a l   s pe e dup  pe r f o r m a n c e ,   f o l l ow e d   by   a i n v e s t i ga t i o o f   pe r f o r m a n c e   de gr a da t i o i h e t e r o ge n e o us   a n d   m u l t i - n o de   s c e n a r i o s .     Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2502 - 4752   In do n e s i a J   E l e c   E ng  &   Co m S c i ,   V o l .   43 ,   N o .   2 ,   A ugus t   20 26 662 - 67 1   666   3. 1 . 1.   P e r fo r m an c e   i n   h o mo ge n e ou s   e n v i r o n m e n ts i d e al   s c e n a r i o   T h e   i ni t i a l   e xp e ri m e n t s   w e r e   c o n duc t e o n   n o de   CN 3,   w hi c h a s   t w o   i de n t i c a l   G P U s   (N V ID IA   Q ua d r o   R T X   600 0),   t o   e s t a b l i s a n   i de a l   pe r f o r m a n c e   b a s e l i n e .   A s   s h o w n   i n   T a b l e   4 ,   d a t a   pa ra l l e l i s m   a c hi e v e a a l m o s t   l i n e a r   s pe e dup   o f   1. ,   de m o n s t ra t i ng  hi g e ff i c i e n c y   a s   e xpe c t e d.   P i pe l i n e   p a r a l l e l i s m   y i e l de a   m o de r a t e   s pe e dup  o f   1. 19 × ,   t h o ug l e s s   e f f i c i e nt   d ue   t o   p i pe l i n e   b ub b l e s   a n d   s y n c hr o ni z a t i o n   de l a y s .   In t e r e s t i n g l y ,   t h e   h y b r i p a r a l l e l i s m   s t ra t e gy   t h a t   i n v o l ve t hr e e   n o de s   r e s ul t e i n   a   s l i g h t   s l o w dow n   (0. 99 × c o m pa r e d   t o   t h e   s i n g l e - G P U   b a s e l i n e ,   a n   a n o m a l y   e x pl o r e f u r t h e r   i s ub s e que n t   s e c t i o n s .       T a b l e   4 .   S pe e dup  o n   a   h o m e ge n e o us   n o de   (CN 3)   S t ra t e g y   N o d e   a n d   G P U   c o n f i g u ra t i o n   S p e e d u p   S i n g l e   G P U   CN 3   (1 ×   N V ID I A   Q u a d r o   RT X   6 0 0 0 )   1 ×   D a t a   p a ra l l e l i s m   CN 3   (2 ×   N V ID I A   Q u a d r o   RT X   6 0 0 0 )   1 . 9 ×   P i p e l i n e   p a ra l l e l i s m   CN 3   (2 ×   N V ID I A   Q u a d r o   RT X   6 0 0 0 )   0 . 1 9 ×   H y b r i d   p a ra l l e l i s m   CN 1   (2 ×   N V ID I A   RT X   3 0 7 0 )   CN 2   (N V ID I A   RT X   3 0 9 0   a n d   N V ID I A   RT X   3 0 9 0   T i )   CN 3   (2 ×   N V ID I A   Q u a d r o   RT X   6 0 0 0 )   0 . 9 9 ×       3. 1 . 2.   I m p ac o h a r d w ar e   h e te r o ge n e i ty   T h e   n e xt   s c e n a ri o   w a s   r u o n   n o de   CN 2,   w h i c h   c o n t a i n s   t w o   h e t e r o ge n e o us   G P U s   (R T X   3090  a nd  R T X   3090   T i ).   A s   p r e s e n t e d   i T a b l e   5 ,   p i pe l i n e   pa ra l l e l i s m   e xpe r i e n c e a   s i g ni f i c a n t   de g r a da t i o i s pe e w i t h   a   s l o w dow n   o f   0. 86× ,   c o nt r a r y   t o   e xpe c t a t i o n s .   T hi s   p e r f o r m a n c e   de g r a d a t i o n   i s   v i s ua l l y   e v i de n t   f r o m   t h e   G P U   u t i l i z a t i o p r o f i l e   i F i gu r e   4 ,   w h e r e   l a rge   f l uc t u a t i o n s   a r e   o b s e r v e d.   T h e   f a s t e G P U   f r e que n t l y   w a i t s   f o r   t h e   s l o w e r   G P U   t o   f i n i s i t s   p i pe l i n e   s t a ge ,   c r e a t i n pi pe l i n e   b ubb l e s   a nd  r e duc i n g   e f f i c i e n c y   a s   s h o w n   i F i g u r e s   4(a a n d   4 (b ) .       T a b l e   5 .   S pe e dup  o n   a   h e t e r o ge n e o us   n o de   (CN 2)   S t ra t e g y   N o d e   a n d   G P U   c o n f i g u ra t i o n   S p e e d u p   S i n g l e   G P U   CN 2   (N V ID I A   RT X   3 0 9 0   o n l y )   1 ×   D a t a   p a ra l l e l i s m   CN 2   (N V ID I A   RT X   3 0 9 0   a n d   N V ID I A   RT X   3 0 9 0   T i )   1 . 5 6 ×   P i p e l i n e   p a ra l l e l i s m   CN 2   (N V ID I A   RT X   3 0 9 0   a n d   N V ID I A   RT X   3 0 9 0   T i )   0 . 8 6 ×   H y b r i d   p a ra l l e l i s m   CN 1   (2 ×   N V ID I A   RT X   3 0 7 0 )   CN 2   (N V ID I A   RT X   3 0 9 0   a n d   N V ID I A   RT X   3 0 9 0   T i )   CN 3   (2 ×   N V ID I A   Q u a d r o   RT X   6 0 0 0 )   0 . 6 7 ×         (a )       (b )     F i gu r e   4 .   G P U   ut i l i z a t i o i p i pe l i n e   pa ra l l e l i s m   o n ,   (a )   CN 3   a n d   (b )   CN 2       In  t h e   h y b r i c o n f i gu r a t i o n ,   t hi s   p r o b l e m   b e c o m e s   e v e n   w o r s e   a s   h e t e r o ge n e i t y   e xi s t s   a c r o s s   m ul t i p l e   n o de s ,   r e s ul t i ng  i hi g h l y   un s t a b l e   G P U   ut i l i z a t i o n   pa t t e rn s   a n d   f urt h e de g r a da t i o n.   F i gu r e   s h o w s   t h i s   w o r s t   G P U   ut i l i z a t i o n   s i t u a t i o n .   Evaluation Warning : The document was created with Spire.PDF for Python.
In do n e s i a J   E l e c   E ng  &   Co m S c i     IS S N :   2502 - 4752         E v al u at i on  of   hy br i par al l e l i s m   f or   s c al ab l e   t r a i ni n o f   D e ns e Ne t - 121   i n   d i a be t i c     ( Indar   Su gi ar t o )   667       F i gu r e   5 .   G P U   ut i l i z a t i o i h y b r i p a r a l l e l i s m   a c r o s s   CN 1 CN 3       3. 1 . 3.   C o m mu n i c ati o n   b o ttl e n e c k s   i n   m u l ti - n o d e   s e tu p   T h e   n o t i c e a b l e   s l o w dow n   i m ul t i - n o de   s t ra t e g i e s   ( h y b r i d   a n d   i nt e r - n o de   D P p r o m pt e d   a   de e pe l o o i n t o   c o m m u ni c a t i o n   o v e r h e a d.   T a b l e   c o m pa r e s   i nt r a - n o de   da t a   pa ra l l e l i s m   (o n   CN 3)   a nd  i n t e r - n o de   D P   a c r o s s   CN 1 CN 3 .   R e s ul t s   i n d i c a t e   t ha t   i n t e r - n o de   d a t a   pa r a l l e l i s m   i s   u p   t o   27 %   s l o w e r   t ha i nt ra - n o de   da t a   p a r a l l e l i s m   due   t o   s y n c hr o ni z a t i o n   de l a y s .   T o   c o n f i rm   t h e   c a us e ,   w e   m e a s u r e G P U   c o m m u n i c a t i o n   l a t e n c y   a c r o s s   1 , 00 t r i a l s ,   a s   s um m a ri z e d   i T a b l e   7.   I nt ra - n o de   l a t e n c y   v i a   P CIe   i s   s ub - m i l l i s e c o n d,   w hi l e   i n t e r - n o de   l a t e n c y   v i a   E t h e rn e t   e xc e e ds   18  m s ,   m o r e   t ha 20 ×   s l o w e r .       T a b l e   6 .   S pe e dup  c o m pa ri s o n :   i nt ra - n o de   V s .   i n t e r - n o de   N o d e   a n d   G P U   c o n f i g u ra t i o n   S p e e d u p   CN 3   (2 ×   N V ID I A   Q u a d r o   RT X   6 0 0 0 )   1 ×   CN 2   (N V ID I A   RT X   3 0 9 0   T i a n d   CN 3   (N V ID I A   Q u a d r o   RT X   6000)   0 . 7 3 ×   CN 1   (N V ID I A   RT X   3 0 7 0 ),   CN 2   (N V ID I A   RT X   3 0 9 0   T i ),   a n d   CN 3   (N V ID IA   Q u a d ro   RT X   6 0 0 0 )   0 . 7 8 ×       T a b l e   7 .   G P U   c o m m u n i c a t i o l a t e n c y   (a v e r a ge   o f   1 , 000   t ri a l s )   Co m m .   p a t t e r n   F ro m   To   A v g e ra g e   t i m e   (m s )   W i t h i n   a   n o d e   CN 1   CN 1   0 . 7 7 4   CN 2   CN 2   0 . 7 7 4   CN 3   CN 3   0 . 3 9 7   A c r o s s   n o d e s   CN 1   CN 2   1 8 . 9 1 7   CN 2   CN 3   1 8 . 9 0 8   CN 3   CN 1   1 8 . 1 5 0       3. 1 . 4.   V e r i f yi n g   th e   h yp o th e s i s   b r e d u c i n n o d e s   T o   v e r i fy   t h a t   i n t e r - n o de   c o m m u n i c a t i o n   l a t e n c y   w a s   t h e   m a i n   b o t t l e n e c k,   w e   r e duc e t h e   h y b r i s e t up  f r o m   t hr e e   t o   t w o   n o de s   (r e m o v i n CN 1) .   A s   s h o w n   i n   T a b l e   8,   pe r f o r m a n c e   i m p r o v e by   5%,   c o n f i r m i n t ha t   n e t w o r l a t e n c y   w a s   a   do m i na n t   l i m i t i n g   f a c t o r .       T a b l e   8 .   S pe e dup  a f t e r   n o de   r e duc t i o n   i t h e   h y b r i s e t up   N o d e   a n d   G P U   c o n f i g u ra t i o n   S p e e d u p   CN 1   (2 ×   N V ID I A   RT X   3 0 7 0 ),   CN 2   (N V ID I A   RT X   3 0 9 0   a n d   N V ID I A   RT X   3 0 9 0   T i ),   a n d   CN 3   (2 ×   N V ID I A   Q u a d r o   RT X   6 0 0 0 )   1 ×   CN 2   (N V ID I A   RT X   3 0 9 0   a n d   N V ID I A   RT X   3 0 9 0   T i a n d   CN 3   (2 ×   N V ID I A   Q u a d r o   RT X   6 0 0 0 )   1 . 0 5 ×     Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2502 - 4752   In do n e s i a J   E l e c   E ng  &   Co m S c i ,   V o l .   43 ,   N o .   2 ,   A ugus t   20 26 662 - 67 1   668   3. 2 .     C l as s i f i c a ti o n   p e r fo r m an c e   an a l ys i s   F o l l ow i n g   t h e   e ff i c i e n c y   a n a l y s i s ,   w e   e v a l ua t e d   c l a s s i f i c a t i o pe r f o r m a n c e .   E a c s t r a t e g y   w a s   t r a i n e d   f o r   30   e po c h s ,   r e pe a t e 10   t i m e s ,   w i t i de n t i c a l   i n i t i a l i z a t i o a n d   s h uf f l e da t a   i e a c e po c h .     M e t r i c s   a r e   a v e r a ge o v e r   t h e   f i na l   e po c h   f r o m   e a c r u a s   s h o w n   i T a b l e   9 .       T a b l e   9 .   C l a s s i f i c a t i o pe r f o r m a n c e   (10 - ru n   a v e r a ge )   S t ra t e g y   M e t ri c s   V a l i d a t i o n   a c c u ra c y   Q W K   *)   W e i g h t e d   F 1 - s c o r e   S i n g l e   0 . 7 7 4   0 . 8 6 8   0 . 7 8 1   D a t a   p a ra l l e l i s m   0 . 7 3 7   0 . 8 6 1   0 . 7 4 9   P i p e l i n e   p a ra l l e l i s m   0 . 7 7 6   0 . 8 6 9   0 . 7 8 1   H y b r i d   p a ra l l e l i s m   0 . 7 7 7   0 . 8 7 4   0 . 7 8 4   *)   Q u a d r a t i c   W e i g h t e d   K a p p a       T h e   r e s ul t s   i T a b l e   r e v e a l   a n   i nt r i gui ng  f i n di n g :   t h e   hy b r i pa ra l l e l   s t r a t e gy   (D a t a   p a ra l l e l   +   P i pe l i n e   p a ra l l e l a c hi e v e t h e   h i g h e s t   c l a s s i f i c a t i o n   pe r f o r m a n c e   a c r o s s   a l l   ke y   m e t r i c s ,   de s pi t e   b e i n t h e   l e a s t   e f f i c i e n t   i t e r m s   o f   t r a i n i ng  t i m e .   M o de l s   t ra i n e d   us i n g   s i n g l e - G P U   a n da t a   pa ra l l e l   s t ra t e gi e s   de m o n s t r a t e v e r y   c o m pe t i t i v e   a n c l o s e l y   s i m i l a r   pe r f o r m a n c e .   I c o n t r a s t ,   t h e   pi pe l i n e   p a ra l l e l   s t ra t e gy   c o n s i s t e n t l y   y i e l de t h e   l o w e s t   pe r f o r m a n c e   a m o n a l l   c o n f i gura t i o n s .   T h e   s upe r i o r   pe r f o r m a n c e   o f   t h e   h y b r i d - t r a i n e m o de l   c a b e   a t t r i b ut e d   t o   s e v e r a l   h y po t h e t i c a l   f a c t o r s .   F i r s t ,   t r a i n i ng  i a   hi g hl y   h e t e r o ge n e o us   e n v i r o n m e nt   m a y   s e r v e   a s   a   f o r m   o f   i m p l i c i t   r e gu l a ri z a t i o n,   pr e v e n t i n g   t h e   m o de l   f r o m   o v e r f i t t i n g   t o   t h e   c o m put a t i o na l   c ha r a c t e r i s t i c s   o f   a   s i n gl e   G P U   a r c hi t e c t u r e .   S e c o n d,   t h e   a gg r e ga t i o n   o f   gr a di e nt s   f r o m   r e pl i c a s   r u nn i n a t   s l i g h t l y   di ffe r e nt   s pe e ds   a nd  h a rdw a r e   c o n f i gur a t i o n s   m a y   i nt r o duc e   b e n e f i c i a l   n o i s e   i n t o   t h e   w e i ght   u pda t e   p r o c e s s s i m i l a t o   n o i s e - b a s e d   r e gul a r i z a t i o n   t e c hn i q ue s .   T h e s e   o b s e r v a t i o n s   s ugge s t   a   c o m pl e t r a de - o ff   be t w e e n   t r a i n i ng  e f f i c i e n c y   a n t h e   po t e nt i a l   r e gu l a ri z a t i o b e n e f i t s   i nt r o duc e by   a   d i v e r s e ,   d i s t r i b ut e d   s y s t e m   a r c hi t e c t u r e .   S uc h   f i n d i n gs   e m pha s i z e   t ha t   s y s t e m - l e v e l   h e t e r o ge n e i t y ,   w h i c h   i s   o f t e n   v i e w e a s   a   l i m i t a t i o n,   c a a c t   a s   a n   a dv a n t a ge   f o r   e nh a n c i ng  m o de l   ge n e ra l i z a t i o n   u n de r   c e rt a i n   c o n d i t i o n s .     3. 3 .     D i s c u s s i o n   3. 3 . 1.   H yb r i d   s tr a te gy s   fa i l u r e   to   i m p r o v e   s p e e d u p   T h e   f i r s t   a nd   m o s t   p r o m i n e n t   f i n di ng   o f   t hi s   s t udy   i s   t h a t   t he   h y b r i s t r a t e gy ,   w h i c c o m b i n e s   da t a   a n p i pe l i n e   p a ra l l e l i s m ,   f a i l e t o   de l i v e r   t h e   e xpe c t e s pe e d up.   S pe c i f i c a l l y ,   t h e   r e s ul t s   p r e s e nt e i T a b l e   a n d   T a b l e   5   i n d i c a t e   t ha t   t h e   h y b r i d   s t r a t e gy   e xe c ut e o n   s i G P U s   w a s   n o   f a s t e (0 . 99 ×   s pe e dup   v s .   t h e   Q ua d r o   R T X   600 0)  o r   w a s   e v e n   s i g ni f i c a nt l y   s l ow e r   (0. 67 ×   s pe e dup  v s .   t h e   R T X   3090)   w h e n   c o m pa r e d   t o   t r a i ni n g   o a   s i ngl e   G P U .   Co n v e r s e l y ,   t h e   h i g h e s t   s pe e dup   w a s   a c hi e v e by   a   s i m pl e   da t a   pa ra l l e l   s t r a t e gy   o n   t w o   G P U s ,   w h i c y i e l de a   s pe e dup  b e t w e e n   1 . 56 ×   a n d   1 . 9 × .   T hi s   f i n di ng  di r e c t l y   a dd r e s s e s   t h e   f i ndi n g   r e ga rdi n g   c o m put a t i o n a l   e f f i c i e n c y .   T h i s   f a i l u r e   c a b e   a t t ri b ut e t o   s e v e r a l   i n t e rr e l a t e f a c t o r s .   F i r s t ,   h a rdw a r e   h e t e r o ge n e i t y   pr o v e t b e   a   p ri m a r y   o bs t a c l e   f o r   p i pe l i n e   p a r a l l e l i s m .   A s   s h o w n   i T a b l e   5 ,   pi pe l i n e   pa ra l l e l i s m   o a   h e t e r o ge n e o us   n o de   (CN 2)   r e s ul t e i a   s l o w dow n   (0 . 86 ×   s pe e dup) .   T hi s   i s   s uppo rt e b y   t h e   v i s ua l i z a t i o i F i g u r e   4 ,   w h i c r e v e a l s   un s t a b l e   G P U   ut i l i z a t i o n.   F a s t e r   G P U s   w e r e   fo r c e t o   w a i t   f o r   s l ow e r   o n e s ,   c r e a t i ng  s i g ni f i c a n t   pi pe l i n e   b ub b l e s   a n d   n e ga t i n g   t h e   po t e nt i a l   b e n e f i t s   o f   pa r a l l e l i z a t i o n .   S e c o n d,   t h e   i n t e r - n o de   c o m m u ni c a t i o b o t t l e n e c k   e m e rge a s   t h e   do m i na n t   l i m i t i n g   f a c t o r.     T h e   a n a l y s i s   i T a b l e s   6   a n d   7   q ua nt i t a t i v e l y   s ub s t a nt i a t e s   t hi s :   i nt e r - n o de   c o m m u n i c a t i o l a t e n c y   ov e r     t h e   e xt e rn a l   n e t w o r w a s   m o r e   t ha 20   t i m e s   s l o w e r   t ha i nt r a - n o de   c o m m u n i c a t i o v i a   P CIe .   T hi s   c o m m uni c a t i o n   o v e rh e a o c c ur s   d u r i ng  e a c h   g r a d i e n t   s y n c h r o ni z a t i o c y c l e ,   dra s t i c a l l y   r e duc i n g   t h e   e ff i c i e n c y   of   m ul t i - n o de   s t r a t e gi e s   s uc a s   t h e   h y b r i d   a p pr o a c h .   T h i s   h y po t h e s i s   w a s   v e r i f i e w h e t h e   r e m o v a l   o f   o n e   n o de   f r o m   t h e   h y b r i d   c l us t e r   r e s ul t e i a   5%   i n c r e a s e   i n   s pe e (s e e   T a b l e   8) ,   t h e r e b y   i s o l a t i ng  n e t w o r l a t e n c y   a s   t h e   p ri n c i p a l   c a us e .     3. 3 . 2.   T r ad e - o ff  b e tw e e n   e ffi c i e n c y   an d   c l as s i f i c ati o n   p e r f o r m an c e   A l t h o ug h   c o m put a t i o n a l l y   i n e f f i c i e n t ,   t h e   s e c o n ke y   f i n d i ng  o f   t hi s   s t udy   i s   t h a t   t h e   h y b r i s t ra t e gy   c o n s i s t e n t l y   y i e l de t h e   b e s t   c l a s s i f i c a t i o pe r f o r m a n c e .   T h e   r e s ul t s   i n   T a b l e   s h o w   t h a t   t h e   h y b r i m o de l   a c hi e v e t h e   hi g h e s t   Q W K   s c o r e   (0 . 8739) ,   o ut p e r f o r m i n b o t h   t h e   s i n g l e - G P U   (0. 8675)   a n d   t h e   da t a   pa ra l l e l   (0. 868 9)  s t ra t e gi e s .   T h i s   p h e n o m e n o n   hi g hl i g ht s   a   c o m pl e t ra de - o ff   be t w e e c o m put a t i o n a l   e ff i c i e n c y   a n d   m o de l   a c c ur a c y .   T h e   s upe ri o pe r f o r m a n c e   o f   t h e   h y b r i d   m o de l   c a b e   e xpl a i n e d   by   t h e   c o n c e pt   o f   i m pl i c i t   Evaluation Warning : The document was created with Spire.PDF for Python.
In do n e s i a J   E l e c   E ng  &   Co m S c i     IS S N :   2502 - 4752         E v al u at i on  of   hy br i par al l e l i s m   f or   s c al ab l e   t r a i ni n o f   D e ns e Ne t - 121   i n   d i a be t i c     ( Indar   Su gi ar t o )   669   r e gul a r i z a t i o n .   T h e   t r a i n i ng   p r o c e s s   i a   hi g hl y   h e t e r o ge ne o us   e n v i r o nm e n t   w i t v a r y i n g   c o m put a t i o na l   s pe e ds ,   G P U   a r c hi t e c t u r e s ,   a n d   c o m m u ni c a t i o l a t e n c i e s ,   l i ke l y   i n t r o duc e s   a   f o r m   o f   b e n e f i c i a l   n o i s e   i nt t h e   g r a d i e n t   u pda t e   p r o c e s s .   T h e   a gg r e ga t i o o f   gr a d i e nt s   f ro m   t h e s e   s l i g h t l y   a s y n c hr o n o us   r e pl i c a s   m a y   a c t   a s   a   r e gu l a ri z e r ,   h e l p i n g   t h e   m o de l   t o   e s c a pe   s h a rp  l o c a l   m i ni m a   a n d   c o n v e r ge   t o   a   m o r e   ge n e r a l i z a b l e   s o l ut i o n .   T hi s   a l i g n s   w i t h   o t h e r e s e a r c h   de m o n s t ra t i ng  t ha t   v a ri a t i o n s   i n   d i s t ri b ut e t r a i n i ng  p r o c e s s e s   c a n   e nh a n c e   a   m o de l s   ge n e ra l i z a t i o n   c a pa b i l i t i e s   [17] .   Co n v e r s e l y ,   t h e   pi pe l i n e   p a ra l l e l   s t r a t e g y ,   w h i c s uf f e r e d   t h e   m o s t   f r o m   i n e f f i c i e n c y   (i . e . ,   i d l e   t i m e ) ,   p r o duc e t h e   l o w e s t   c l a s s i f i c a t i o n   pe r f o r m a n c e ,   i n di c a t i ng  t h a t   n o t   a l l   t y pe s   of   i n e f f i c i e n c y   c o n f e r   a   r e gul a r i z a t i o n   b e ne f i t .   T hi s   f i ndi n g ,   i n di c a t i ng  t ha t   t h e   f a s t e s t   pa r a l l e l i z a t i o s t ra t e gy   do e s   n o t   n e c e s s a ri l y   y i e l t h e   b e s t   m o de l ,   w h i c i s   a   c r uc i a l   c o n s i de r a t i o f o r   de e le a rn i ng  p ra c t i t i o n e r s .       4.   C O N C LU S I O N   T h e   p r i m a r y   c o n c l us i o n   i s   t ha t   i a   h e t e r o ge n e o us   h a r dw a r e   e n v i r o n m e n t ,   t h e   h y b r i d   s t r a t e gy   i s   i n e ff i c i e n t   f o r   a c c e l e r a t i ng  t ra i ni n g   t i m e .   B o t t l e n e c ks   c a u s e by   i n t e r - n o de   c o m m u ni c a t i o l a t e n c y   a n d   w o r kl o a i m b a l a n c e s   due   t o   G P U   h e t e r o ge n e i t y   s i gn i f i c a n t l y   hi n de r   po t e nt i a l   s pe e dup.   A   s i m pl e   d a t a   pa ra l l e l   s t ra t e gy   o n   a   s i n g l e   h o m o ge n e o us   n o de   p r o ve t o   b e   a   f a m o r e   e f f i c i e n t   a p p r o a c h.   H ow e ve r ,   pa ra do xi c a l l y ,   t h e   m o de l   t ra i n e d   w i t t hi s   i n e f f i c i e n t   h y b r i d   s t ra t e gy   a c hi e v e t h e   h i g h e s t   c l a s s i f i c a t i o pe r f o r m a n c e .     T h i s   p h e n o m e n o s ugge s t s   t ha t   s y s t e m   h e t e r o ge n e i t y   m a y   a c t   a s   a   f o r m   o f   i m pl i c i t   r e gu l a ri z a t i o n,   i n di r e c t l y   e nh a n c i ng  t h e   m o de l s   ge n e r a l i z a t i o n   c a p a b i l i t y .   T h e   i m pl i c a t i o n   o f   t h e s e   f i n di n gs   i s   t h a t   de e l e a rni ng  p r a c t i t i o n e r s   m us t   c o n s i de r   m o r e   t ha j us t   t hr o ughput   o s pe e dup  w h e de s i g ni n di s t ri b ut e t ra i ni n g   w o r kf l ow s .   T h e   c h o i c e   o f   pa ra l l e l i z a t i o s t r a t e g y   c a d i r e c t l y   i m p a c t   f i na l   m o de l   a c c ur a c y ,   a nd   t h e   m o s t   c o m put a t i o na l l y   e ff i c i e n t   a r c h i t e c t u r e   m a y   n o t   b e   t h o n e   t ha t   y i e l ds   t h e   m o s t   a c c ur a t e   m o de l .   L i m i t a t i o n s   o t hi s   s t udy   i n c l ude   t h e   us e   o f   a   s i n g l e   m o de l   a r c hi t e c t u r e   (D e n s e N e t - 121)  a n d   a   s pe c i f i c   da t a s e t   (A P T O S   2019).   T h e   b e h a v i o o f   t hi s   t r a de - o f f   m a y   di f fe r   w i t o t h e a r c h i t e c t ur e s ,   s uc h   a s   T r a n s f o r m e r s ,   o w i t h   d i f f e r e n t   da t a   m o da l i t i e s .   F ut u r e   r e s e a r c h   d i r e c t i o n s   c o ul f o c us   o n   de v e l o pi n m o r e   i nt e l l i ge n t   a n d   h e t e r o ge n e i t y - a w a r e   s c h e dul e r s   o r   s y n c hr o ni z a t i o n   m e c ha n i s m s .   F u rt h e r   r e s e a r c c o ul a l s o   s y s t e m a t i c a l l y   i n v e s t i ga t e   t h e   r e gul a r i z i ng   e ff e c t s   o f   v a r y i n g   l e v e l s   o f   n e t w o r l a t e nc y   a n d   G P U   h e t e r o ge n e i t y   t o   l e v e r a ge   t h e m   i n t e n t i o n a l l y ,   r a t h e t ha a s   a   s i de   e f f e c t ,   f o r   i m p r o v i n g   m o d e l   pe r f o r m a n c e .       A C K N O WL ED G M EN TS     T h e   a ut h o r s   w o ul l i ke   t o   e xp r e s s   t h e i s i n c e r e   g ra t i t ude   t o   M r.   K a r d i   T e k n o m o   f o r   h i s   v a l u a b l e   i n put   a n d   i n s i g ht f ul   di s c us s i o n s   du ri n g   t h e   p r e p a r a t i o o t hi s   m a n us c r i p t .   H i s   c o n s t r uc t i v e   s ugge s t i o n s   s i g n i f i c a n t l y   c o n t r i b ut e t o   t h e   r e f i n e m e nt   o f   o ur   i de a s   a n d   t h e   o v e r a l l   q ua l i t y   of   t h i s   r e s e a r c h .       F U N D I N G   I N F O R M A TI O N   T h i s   r e s e a r c p r o j e c t   w a s   s uppo r t e d   by   N a t i o n a l   R e s e a r c a n d   I nn o v a t i o A ge n c y   (o r   B R IN     B a da n   R i s e t   a nd  I n o v a s i   N a s i o n a l o f   t h e   I n do n e s i a go ve rn m e n t   t hr o ug t h e   R IIM   G ra n t   N o .   194/ IV / 11/ 2 023  a n d   N o .   26 79/ U K P / 2023 .   T h e   a ut h o r s   e xp r e s s   s i n c e r e   g ra t i t ude   f o r   t h e   s uppo r t .       A U TH O R   C O N TR I B U TI O N S   S TA T EM EN T   T h i s   j o urna l   us e s   t h e   Co n t ri b ut o R o l e s   T a xo n o m y   (CR e di T t o   r e c o gn i z e   i n d i v i dua l   a ut h o c o n t ri b ut i o n s ,   r e duc e   a ut h o r s hi p   di s pu t e s ,   a n d   f a c i l i t a t e   c o l l a bo r a t i o n.     N am e   o A u th o r   C   M   So   Va   Fo   I   R   D   O   E   Vi   Su   P   Fu   In d a S ugi a r t o                               D j o n i   H a r y a di   S e t i a b udi                               D a rr e l l   Co rn e l i us   R i v a l do                               T a w e e s a K i j ka n j a n a ra t                               R e s m a n a   L i m                                 C     C o n c e p t u a l i z a t i o n   M     M e t h o d o l o g y   So     So f t w a r e   Va     Va l i d a t i o n   Fo     Fo r m a l   a n a l y s i s   I     I n v e s t i g a t i o n   R     R e s o u rc e s   D   :   D a t a   Cu ra t i o n   O   :   W ri t i n g   -   O ri g i n a l   D ra ft   E   :   W ri t i n g   -   Re v i e w   &   E d i t i n g   Vi     Vi s u a l i z a t i o n   Su     Su p e r v i s i o n   P     P ro j e c t   a d m i n i s t ra t i o n   Fu     Fu n d i n g   a c q u i s i t i o n     Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2502 - 4752   In do n e s i a J   E l e c   E ng  &   Co m S c i ,   V o l .   43 ,   N o .   2 ,   A ugus t   20 26 662 - 67 1   670   C O N F LI C O F   I N T ER ES S TA T EM EN T   A ut h o r s   s t a t e   n o   c o n f l i c t   o f   i nt e r e s t .       D A TA   A V A I LA B I LI T Y   T h e   d a t a   t ha t   s up po r t   t h e   f i n d i n gs   o f   t h i s   s t udy   a r e   a v a i l a b l e   o n   r e que s t   f r o m   t h e   c o rr e s po n d i n g   a ut h o r ,   [IS ] .   T h e   da t a ,   w hi c c o n t a i i n f o r m a t i o n   t h a t   c o ul c o m pr o m i s e   t h e   p r i v a c y   of   r e s e a r c h   pa rt i c i p a n t s ,   a r e   n o t   pub l i c l y   a v a i l a b l e   due   t o   c e rt a i r e s t ri c t i o n s .       R EF ER EN C ES   [1 ]   H .   I.   S a rk e r,   D e e p   l e a rn i n g :   a   c o m p r e h e n s i v e   o v e r v i e w   o n   t e c h n i q u e s ,   t a x o n o m y ,   a p p l i c a t i o n s   a n d   re s e a r c h   d i r e c t i o n s ,     S Co m p u t e r   S c i e n c e ,   v o l .   2 ,   n o .   4 2 0 ,   2 0 2 1 ,   d o i :   1 0 . 1 0 0 7 / s 4 2 9 7 9 - 021 - 0 0 8 1 5 - 1 .   [2 ]   P .   T a y l o r,   D a t a   g ro w t h   w o r l d w i d e   2 0 1 0 - 2025,   S t a t i s t a ,   N o v .   1 6 ,   2 0 2 3 .   [O n l i n e ].   A v a i l a b l e :   h t t p s : / / w w w . s t a t i s t a . c o m / s t a t i s t i c s / 8 7 1 5 1 3 / w o rl d w i d e - d a t a - c r e a t e d / .   [ A c c e s s e d :   O c t .   2 9 ,   2 0 2 4 ].   [3 ]   M .   P a n d e y ,   M .   F e r n a n d e z ,   F .   G e n t i l e ,   O .   I s a y e v ,   A .   T ro p s h a ,   A .   C .   S t e r n ,   a n d   A .   C h e rk a s o v ,   T h e   t ra n s fo r m a t i o n a l   r o l e   o G P U   c o m p u t i n g   a n d   d e e p   l e a rn i n g   i n   d ru g   d i s c o v e ry ,   Na t u r e   M a c h i n e   In t e l l i g e n c e ,   v o l .   4 ,   p p .   2 1 1 - 2 2 1 ,   2 0 2 2 ,   d o i :   1 0 . 1 0 3 8 / s 4 2 2 5 6 - 022 - 0 0 4 6 3 - x .   [4 ]   J .   H .   P a rk ,   G .   Y u n ,   C .   M .   Y i ,   N .   T .   N g u y e n ,   S .   L e e ,   J .   C h o i ,   S .   H .   N o h ,   a n d   Y . - R .   C h o i ,   H e t e r o g e n e o u s   G P U   c l u s t e r s   t h r o u g h   i n t e g ra t i o n   o p i p e l i n e d   m o d e l   p a ra l l e l i s m   a n d   d a t a   p a ra l l e l i s m ,   i n   2 0 2 0   U S E NIX   A n n u a l   T e c h n i c a l   Co n f e r e n c e ,   2 0 2 0 .   [5 ]   M .   A .   M a ru f,   A .   A z i m ,   N .   A u l u c k ,   a n d   M .   S a h i ,   O p t i m i z i n g   D N N   t ra i n i n g   w i t h   p i p e l i n e   m o d e l   p a ra l l e l i s m   fo e n h a n c e d   p e r f o r m a n c e   i n   e m b e d d e d   s y s t e m,   J o u r n a l   o f   P a r a l l e l   a n d   D i s t r i b u t e d   Co m p u t i n g ,   v o l .   1 9 0 ,   p .   1 0 4 8 9 0 ,   2 0 2 4 ,   d o i :   1 0 . 1 0 1 6 / j . j p d c . 2 0 2 4 . 1 0 4 8 9 0 .   [6 ]   C.   N .   T h o m p s o n ,   K .   G r e e n e w a l d ,   K .   L e e ,   a n d   F .   G .   M a n s o ,   T h e   c o m p u t a t i o n a l   l i m i t s   o f   d e e p   l e a r n i n g ,   a r X i v   p r e p r i n t   a r X i v :2 0 0 7 . 0 5 5 5 8 ,   2 0 2 2 ,   d o i :   1 0 . 4 8 5 5 0 / a rX i v . 2 0 0 7 . 0 5 5 5 8 .   [7 ]   M .   S .   P a t i l   a n d   S .   C h i c k e ru r,   S t u d y   o d a t a   a n d   m o d e l   p a ra l l e l i s m   i n   d i s t ri b u t e d   d e e p   l e a rn i n g   fo d i a b e t i c   r e t i n o p a t h y ,     P r o c e d i a   Co m p u t e r   S c i e n c e ,   v o l .   2 1 8 ,   p p .   2 2 5 3 - 2 2 6 3 ,   2023 ,   d o i :   1 0 . 1 0 1 6 / j . p ro c s . 2 0 2 3 . 0 1 . 2 0 1 .   [8 ]   S .   J a n ,   I.   A h m a d ,   S .   K a ri m ,   Z .   H u s s a i n ,   M .   R e h m a n ,   a n d   M .   A .   S h a h ,   S t a t u s   o f   d i a b e t i c   r e t i n o p a t h y   a n d   i t s   p r e s e n t a t i o n   p a t t e rn s   i n   d i a b e t i c s   a t   o p h t h a l m o l o g y   c l i n i c s ,   J o u r n a l   P o s t g r a d u a t e   M e d i c a l   In s t i t u t e v o l .   3 2 ,   n o .   1 ,   p p .   2 4 - 2 7 ,   2 0 1 8 .   [9 ]   S .   Q u m m a r,   F .   G .   K h a n ,   S .   S h a h ,   A .   K h a n ,   S .   S h a m s h i rb a n d ,   a n d   Z .   U .   R e h m a n ,   d e e p   l e a rn i n g   e n s e m b l e   a p p ro a c h   fo d i a b e t i c   re t i n o p a t h y   d e t e c t i o n ,   IE E E   A c c e s s v o l .   7 ,   p p .   1 5 0 5 3 0 - 1 5 0 5 3 9 ,   2 0 1 9 ,   d o i :   1 0 . 1 1 0 9 / A CCE S S . 2 0 1 9 . 2 9 4 7 4 8 4 .   [1 0 ]   S .   A .   P a t i l ,   M .   S .   P a t i l ,   S .   G i ra d d i ,   S .   C h i c k e ru r,   V .   M .   B o o r m a n e ,   a n d   G .   G a m a n a g a t t i ,   P i p e l i n e   p a ra l l e l i s m   i n   d i s t ri b u t e d   d e e p   l e a r n i n g   fo r   d i a b e t i c   r e t i n o p a t h y   c l a s s i f i c a t i o n ,   P r o c e d i a   Co m p u t e r   S c i e n c e ,   v o l .   2 1 5 ,   p p .   393 - 4 0 2 ,   2 0 2 2 ,   d o i :   1 0 . 1 0 1 6 / j . p r o c s . 2 0 2 2 . 1 2 . 0 4 1 .   [1 1 ]   N .   C.   F r e y   e t   a l . ,   B e n c h m a rk i n g   r e s o u rc e   u s a g e   fo e ff i c i e n t   d i s t r i b u t e d   d e e p   l e a rn i n g ,   In   2 0 2 2   IE E E   H i g h   P e r f o r m a n c e   E x t r e m e   Co m p u t i n g   Co n f e r e n c e   ( H P E C) ,   2 0 2 2 ,   d o i :   1 0 . 1 1 0 9 / H P E C5 5 8 2 1 . 2 0 2 2 . 9 9 2 6 3 7 5 .   [1 2 ]   M .   A .   K .   Ra i a a n ,   K .   F a t e m a ,   I .   U .   K h a n ,   S .   A z a m ,   M .   R.   U .   Ra s h i d ,   a n d   M .   S .   H .   M u k t a ,   l i g h t w e i g h t   r o b u s t   d e e p   l e a r n i n g   m o d e l   g a i n e d   h i g h   a c c u ra c y   i n   c l a s s i fy i n g   a   w i d e   ra n g e   o d i a b e t i c   r e t i n o p a t h y   i m a g e s ,   IE E E   A c c e s s ,   v o l .   1 1 ,   p p .   4 2 3 6 1 - 4 2 3 8 8 ,   2023 ,   d o i :   1 0 . 1 1 0 9 / A C CE S S . 2 0 2 3 . 3 2 7 2 2 2 8 .   [1 3 ]   M.   K a rt h i k ,   a n d   S .   D a n e ,   A P T O S   2 0 1 9   b l i n d n e s s   d e t e c t i o n ,   K a g g l e ,   2 0 1 9 .   [O n l i n e ].   A v a i l a b l e :   h t t p s : / / w w w . k a g g l e . c o m / c o m p e t i t i o n s / a p t o s 2 0 1 9 - b l i n d n e s s - d e t e c t i o n .   [ A c c e s s e d :   N o v .   3 ,   2 0 2 4 ].   [1 4 ]   C.   M o h a n t y ,   S .   M a h a p a t ra ,   B .   A c h a r y a ,   F .   K o k k o ra s ,   V .   C .   G e r o g i a n n i s ,   I .   K a ra m i t s o s ,   a n d   A .   K a n a v o s ,   U s i n g   d e e p   l e a r n i n g   a rc h i t e c t u re s   fo r   d e t e c t i o n   a n d   c l a s s i fi c a t i o n   o f   d i a b e t i c   re t i n o p a t h y ,   S e n s o r s ,   v o l .   2 3 ,   n o .   1 2 ,   p .   5 5 6 7 ,   2 0 2 3 ,   d o i :   1 0 . 3 3 9 0 / s 2 3 1 2 5 7 2 6 .   [1 5 ]   G .   H u a n g ,   Z .   L i u ,   L .   v a n   d e M a a t e n ,   a n d   K .   Q .   W e i n b e r g e r,   D e n s e l y   c o n n e c t e d   c o n v o l u t i o n a l   n e t w o r k s ,   I n   P r o c e e d i n g s   o f   t h e   IE E E   c o n f e r e n c e   o n   c o m p u t e r   v i s i o n   a n d   p a t t e r n   r e c o g n i t i o n 2 0 1 8 ,   d o i :   1 0 . 1 1 0 9 / CV P R. 2 0 1 7 . 2 4 3 .   [1 6 ]   S .   L i   et   a l . ,   P y T o r c h   d i s t ri b u t e d :   e x p e r i e n c e s   o n   a c c e l e ra t i n g   d a t a   p a ra l l e l   t ra i n i n g ,   a r X i v   p r e p r i n t   a r X i v :2 0 0 6 . 1 5 7 0 4 ,   v o l .   1 3 ,   n o .   1 2 ,   p p .   3 0 0 5 - 3 0 1 8 ,   2 0 2 0 ,   d o i :   1 0 . 1 4 7 7 8 / 3 4 1 5 4 7 8 . 3 4 1 5 5 3 0 .   [1 7 ]   S .   J .   P a rk ,   J .   F ri e d ,   S .   K i m ,   M .   A l i z a d e h ,   a n d   A .   B e l a y ,   E ffi c i e n t   s t ro n g   s c a l i n g   t h r o u g h   b u rs t   p a ra l l e l   t ra i n i n g ,   P r o c e e d i n g s   o f   M a c h i n e   L e a r n i n g   a n d   S y s t e m s ,   2021 .   [1 8 ]   D .   X i o n g ,   L .   Ch e n ,   Y .   J i a n g ,   D .   L i ,   S .   W a n g ,   a n d   S .   W a n g ,   R e v i s i t i n g   t h e   t i m e   c o s t   m o d e l   o a l l r e d u c e ,   a r X i v   p r e p r i n t   a r X i v :2 4 0 9 . 0 4 2 0 2 ,   2024 .   [1 9 ]   S.   K i m   e t   a l . ,   P a ra l l a x :   s p a r s i t y - a w a r e   d a t a   p a ra l l e l   t ra i n i n g   o f   d e e p   n e u ra l   n e t w o rk s,   In   P r o c e e d i n g s   o f   t h e   F o u r t e e n t h   E u r o S y s   Co n f e r e n c e ,   2 0 1 8 ,   d o i :   1 0 . 1 1 4 5 / 3 3 0 2 4 2 4 . 3 3 0 3 9 5 7 .   [2 0 ]   F .   Bra k e l ,   U .   O d y u rt ,   a n d   A .   L .   V a r b a n e s c u ,   M o d e l   p a ra l l e l i s m   o n   d i s t ri b u t e d   i n f ra s t ru c t u r e :   a   l i t e ra t u re   r e v i e w   f r o m   t h e o r y   t o   L L M   c a s e - s t u d i e s ,   a r X i v   p r e p r i n t   a r X i v :2 4 0 3 . 0 3 6 9 9 ,   2 0 2 4 .   [2 1 ]   D .   N a ra y a n a n   e t   a l . ,   E ff i c i e n t   l a r g e - s c a l e   l a n g u a g e   m o d e l   t ra i n i n g   o n   G P U   c l u s t e r s   u s i n g   m e g a t ro n - L M ,   In   P r o c e e d i n g s   o f   t h e   In t e r n a t i o n a l   Co n f e r e n c e   f o r   H i g h   P e r f o r m a n c e   Co m p u t i n g ,   Ne t w o r k i n g ,   S t o r a g e   a n d   A n a l y s i s ,   2 0 2 1 ,   d o i :   1 0 . 1 1 4 5 / 3 4 5 8 8 1 7 . 3 4 7 6 2 0 9 .   [2 2 ]   Y .   H u a n g   e t   a l . ,   G P i p e :   e ff i c i e n t   t ra i n i n g   o f   g i a n t   n e u ra l   n e t w o rk s   u s i n g   p i p e l i n e   p a ra l l e l i s m ,   In   P r o c e e d i n g s   o f   t h e   3 3 r d   In t e r n a t i o n a l   Co n f e r e n c e   o n   Ne u r a l   In f o r m a t i o n   P r o c e s s i n g   S y s t e m s   ( Ne u r I P S   2 0 1 9 ) V a n c o u v e r,   BC ,   Ca n a d a ,   2 0 1 9 ,     p p .   1 2 8 2 6 - 12837.   [2 3 ]   D.   N a ra y a n a n   e t   a l . ,   P i p e D r e a m :   g e n e ra l i z e d   p i p e l i n e   p a ra l l e l i s m   fo r   D N N   t ra i n i n g ,   i n   P r o c e e d i n g s   o f   t h e   2 7 t h   A CM   S y m p o s i u m   o n   O p e r a t i n g   S y s t e m s   P r i n c i p l e s ,   (p p .   1 - 15) ,   2019 ,   d o i :   1 0 . 1 1 4 5 / 3 3 4 1 3 0 1 . 3 3 5 9 6 4 6 .   [2 4 ]   S .   L i ,   a n d   T.   H o e f l e r ,   C h i m e ra :   e ff i c i e n t l y   t ra i n i n g   l a r g e - s c a l e   n e u ra l   n e t w o rk s   w i t h   b i d i r e c t i o n a l   p i p e l i n e s ,   i n   P r o c e e d i n g s   o f   t h e   In t e r n a t i o n a l   Co n f e r e n c e   f o r   H i g h   P e r f o r m a n c e   Co m p u t i n g ,   Ne t w o r k i n g ,   S t o r a g e   a n d   A n a l y s i s ,   p p .   1 - 14 ,   N o v e m b e r,   2 0 2 1 ,   d o i :   1 0 . 1 1 4 5 / 3 4 5 8 8 1 7 . 3 4 7 6 1 4 5 .   [2 5 ]   S.   Z h a o ,   V   p i p e :   a   v i rt u a l i z e d   a c c e l e ra t i o n   s y s t e m   f o a c h i e v i n g   e ffi c i e n t   a n d   s c a l a b l e   p i p e l i n e   p a ra l l e l   d n n   t ra i n i n g ,     IE E E   T r a n s a c t i o n s   o n   P a r a l l e l   a n d   D i s t r i b u t e d   S y s t e m s v o l .   33 ,   n o .   3 ,   p p .   4 8 9 - 506 ,   2 0 2 1 ,   d o i :   1 0 . 1 1 0 9 / T P D S . 2 0 2 1 . 3 0 9 4 3 6 4 .       Evaluation Warning : The document was created with Spire.PDF for Python.
In do n e s i a J   E l e c   E ng  &   Co m S c i     IS S N :   2502 - 4752         E v al u at i on  of   hy br i par al l e l i s m   f or   s c al ab l e   t r a i ni n o f   D e ns e Ne t - 121   i n   d i a be t i c     ( Indar   Su gi ar t o )   671   B I O G R A P H I ES   O F   A U T H O R S         D r . - I n g ,   I n d a r   S u gi a r t o ,   S . T . ,   M . S c .,           r e c e i v e d   M . S c .   de g r e e   i a u t o m a t i on   e ng i ne e r i ng   f r o m   t he   U ni v e r s i t y   o f   B r e m e n ,   G e r m a ny ,   a nd   t h e   P h . D .   de g r e e   i n   e l e c t r i c a l   a nd   i nf o r m a t i o n   t e c hno l o gy   f r o m   T he   T e c hn i c a l   U n i v e r s i t y   o f   M un i c h,   G e r m a ny .   C u r r e nt y ,   h e   i s   a a s s o c i a t e   p r o f e s s o r   a t   t h e   D e pa r t m e nt   o f   E l e c t r i c a l   E ng i n e e r i ng   o f   P e t r a   C hr i s t i a n   U ni v e r s i t y .   H e   i s   a l s o   t h e   h e a o f   t he   C e nt e r   f o r   A r t i f i c i a l   I nt e l l i g e nc e   a nd   C o m put a t i o na l   M o de l i ng   S t ud i e s   i P e t r a   C h r i s t i a U n i v e r s i t y .   H i s   c ur r e n t   r e s e a r c a r e a   f o c us e s   o A I   a ppl i c a t i o de v e l o pm e nt   a s   w e l l   a s   c o m put a t i o m o de l i ng   o f   d y na m i c   s y s t e m s .   H e   c a b e   c o nt a c t e a t   e m a i l :   i n di @pe t r a . a c . i d .       D j o n i   H a r y ad i   S e t i a b u d i           r e c e i v e d   M . E ng .   de g r e e   i n   c o m put e r   s c i e nc e   f r o m   t h e   A s i a I ns t i t u t e   o f   T e c hno l o gy ,   T ha i l a n d.   C u r r e nt y ,   h e   i s   a n   a s s o c i a t e   pr o f e s s o r   i I nf o r m a t i c s   D e pa r t m e n t   a t   P e t r a   C hr i s t i a n   U ni v e r s i t y .   H i s   c ur r e nt   r e s e a r c a r e a   f o c us e s   o n   A I   a ppl i c a t i o de v e l o pm e nt .   H e   c a b e   c o nt a c t e a t   e m a i l :   dj o ni hs @pe t r a . a c . i d.       D ar r e l l   C o r n e l i u s   R i v al d o           r e c e i v e d   t h e   B . S c .   d e g r e e   i n   i nf o r m a t i c s   f r o m   P e t r a   C hr i s t i a U n i v e r s i t y ,   I nd o ne s i a .   H e   i s   c ur r e n t l y   a   c o ho r t   a t   t he   A ppl e   D e v e l o pe r   A c a de m y ,   U ni v e r s i t a s   C i p ut r a   S ur a ba y a ,   w he r e   h e   f o c us e s   o s o f t w a r e   e ng i ne e r i ng ,   m o bi l e   a pp l i c a t i o n   de v e l o pm e nt ,   a nd   t he   i n t e g r a t i o o f   A I   i nt o   i nno v a t i v e   a pp l i c a t i o ns .   H i s   i n t e r e s t s   i nc l ud e   s c a l a b l e   a pp l i c a t i o n   de v e l o pm e n t ,   us e r - c e nt e r e d   de s i g n,   a nd   l e v e r a g i ng   t e c hno l o gy   t o   c r e a t e   i m pa c t f ul   d i g i t a l   s o l u t i o ns .   H e   c a b e   c o nt a c t e a t   e m a i l :   c 1421002 5@j o hn . pe t r a . a c . i d .       A s s t .   P r o f .   D r .   T aw e e s ak   K i j k an j an a r at           r e c e i v e d   t he   M . S .   d e g r e e   i n   E l e c t r i c a l   E ng i ne e r i ng   f r o m   C o l um b i a   U n i v e r s i t y ,   U . S . A .   A nd   t he   P h . D .   d e g r e e   i n   E l e c t r i c a l   E ng i ne e r i ng   f r o m   N Y U   T a ndo S c ho o l   o f   E ng i ne e r i ng ,   U . S . A .   H e   i s   c ur r e nt l y   a a s s i s t a n t   pr o f e s s o r   i t he   D e pa r t m e nt   o f   E l e c t r i c a l   a nd  C o m p ut e r   E ng i ne e r i ng ,   T ha m m a s a t   U ni v e r s i t y ,   T ha i l a n d.   H e   c a be   c o nt a c t e d   a t   e m a i l :   t a w e e s a k@ e ng r . t u . a c . t h .       I r .   R e s m an a   L i m ,   M . E n g . ,           r e c e i v e d   M . E ng .   d e g r e e   i n   i nf o r m a t i o t e c hno l og y   f r o m   t he   A s i a n   I ns t i t u t e   o f   T e c hno l o gy ,   T ha i l a n.   C ur r e n t y ,   he   i s   a n   a s s o c i a t e   pr o f e s s o r   i n   E l e c t r i c a l   E ng i ne e r i ng   a t   P e t r a   C h r i s t i a n   U n i v e r s i t y .   H e   a l s o   t e a c he s   i n   t he   P r o f e s s i o na l   E ng i ne e r   E duc a t i o n   P r o g r a m   ( P P I ) .   C ur r e n t l y ,   he   s e r v e s   a s   t h e   H e a d   o f   t he   C e n t e r   f o r   I n f o r m a t i o a nd  C o m m uni c a t i o T e c hno l o gy ,   f oc us i ng   o I T   i nf r a s t r uc t u r e   t o   s up po r t   t he   uni v e r s i t y s   c o m put i ng   ne e ds .   H e   c a b e   c o nt a c t e a t   e m a i l :   r e s m a n a @pe t r a . a c . i d.     Evaluation Warning : The document was created with Spire.PDF for Python.