I n d on e s ian   Jou r n al   o f   E lec t r ica l   E n gin e e r in g  a n d   Com p u t e r   S c ience   Vo l .   38 ,   N o .   2 ,  M a y   20 25 ,   pp.   1 324 ~1 330   I S S N:  2 502 - 4 7 52 ,   DO I :  10 . 11591/i j e e cs .v 38. i 2 . pp1 324 - 1 330             1324     Jou r n al  h o m e page :  ht tp: // ij e e cs . iaes c or e . c om   A  c om p ar at iv e  an al y si s of  GP U s, T P U s, D P U s, an d  Q P U s f or   d e e p  l e ar n in g w ith   p y t h on       Ayoub   Al l a l i,   Z in e b   E l   F a l ah ,   Ayoub   S gh ir ,   Jaa f a r   Abou c h ab ak a,   Naj at   Raf al ia   D e pa r tm e nt   of   C o mput e r   S c i e n c e ,  F a c ul t y   of   S c i e nc e s , I bn  T of a il  U ni ve r s it y ,  K e n it r a , M or o c c o       Ar t ic l e   I n f o     AB S T RA CT   A r ti c le  h is tor y :   R e c e i ve d  Ju n   19 ,   202 4   R e vi s e d  No v   9 ,  202 4   A c c e pt e d  N o v   24 ,   202 4       I n   t h e   rap i d l y   e v o l v i n g   fi el d   o f  d ee p   l e arn i n g ,   t h e  c o m p u t at i o n al   d em an d s   fo r   t rai n i n g   s o p h i s t i c at e d   mo d el s   h a v e   e s c a l at ed ,   p ro m p t i n g   a  s h i ft   t o w ard s   s p e c i a l i z ed   h ard w ar e   a cce l e rat o rs   s u ch   as   g rap h i c s   p ro ce s s i n g   u n i t s   (G PU s ),   t e n s o r  p ro ce s s i n g   u n i t s   (T PU s ) ,   d at a  p ro ce s s i n g   u n i t s   ( D PU s ),   a n d   q u an t u m  p ro ce s s i n g   u n i t s   (Q PU s ).   T h i s   art i cl e   p ro v i d e s   a  co m p re h en s i v e  an a l y s i s   o f   t h e s e   h e t e r o g en e o u s   co m p u t i n g   arch i t ec t u r e s ,   h i g h l i g h t i n g   t h e i r  u n i q u e  c h ara c t e ri s t i c s ,   p e rfo r m a n ce   me t ri c s ,   an d   s u i t ab i l i t y   fo r   v ar i o u s   d ee p   l e ar n i n g   t as k s .   B y   l ev e rag i n g   p y t h o n ,   a  p r e d o m i n an t   p r o g ra mm i n g   l a n g u ag e  i n   t h e  d at a  s c i en ce   d o m a i n ,   t h e  i n t eg rat i o n   a n d   o p t i mi zat i o n   t ech n i q u e s   ap p l i c ab l e   t o   e a c h   h ard w are   p l at fo r m   i s   e x p l o r ed ,   o ff e r i n g   i n s i g h t s   i n t o   t h e i r   p rac t i c a l   i m p l i c at i o n s   fo r  d ee p   l e ar n i n g   r e s e arch   a n d   ap p l i c at i o n .   T h e  arc h i t ec t u ra l   d i ff e r e n ce s   t h at   i n fl u e n ce   c o m p u t at i o n al   e ff i c i en cy   i s   e x ami n ed ,   p aral l e l i s m ,   a n d   en e rg y   co n s u m p t i o n ,   a l o n g s i d e   d i s cu s s i n g   t h e  e v o l v i n g   eco s y s t em   o f  s o ft w ar e   t o o l s   an d   l i b rari e s   t h at   s u p p o rt   d ee p   l e ar n i n g   o n   t h e s e  p l at fo rm s .   T h ro u g h   a   s e r i e s   o f   b en c h m ar k s   a n d   c as e   s t u d i e s ,   t h i s   s t u d y   ai m s   t o   e q u i p   r e s e ar ch e rs   a n d   p rac t i t i o n e rs   w i t h   t h e   k n o w l e d g e  t o   m ak e  i n f o r me d   d eci s i o n s   w h e n   s e l ec t i n g   h ar d w ar e  fo r   t h e i r   d ee p   l e arn i n g   p ro j ec t s ,   u l t i m at el y   co n t ri b u t i n g   t o   t h e   a ccel e rat i o n   o f   mo d e l   d e v el o p me n t   an d   i n n o v at i o n   i n   t h e   f i e l d .   K e y w o r d s :   Da t a   pr o c e s s i n g  uni t s   De e p  l e a r ni ng   Gr a phi c s   pr o c e s s i ng  uni t s   P y t h o n   Qua n t u m   pr o c e s s i n g  u ni t s   T e n s o r   pr o c e s s i n g  u ni t s   Th i s   i s   a n   o p en   a c ces s   a r t i c l e  u n d e r   t h e  CC  B Y - SA   l i cen s e.     C or r e s pon din g  A u th or :   Ay o u b   All a l i   De pa r t m e n t   o f   C o m put e r   S c i e n c e ,   F a c u l t y   o f   S c i e nc e s ,   I b n   T o f a il   U ni ve r s i t y   K e ni t r a ,   M o r o c c o   E m a i l :  a y o u b . a l l a l i @u i t . a c . m a       1.   I NT RODU C T I ON   T h e   l a n d s c a pe   o f   de e p  l e a r ni ng  h a s   w i t n e s s e d  a   r e m a r ka bl e   t r a n s f o r m a t i o n   o v e r   t h e   l a s t   de c a de ,   l a r ge ly   f ue l e d  by   a d v a n c e m e n t s   i n   c o m put a t i o n a l  h a r dwa r e .   A s   m o de l s   b e c o m e   i n c r e a s i ng ly   c o m p l e x ,   t h e   n e c e s s i t y   f o r   e f f i c i e n t   a n d  p o we r f u l   c o m put i n g  r e s o ur c e s   h a s   n e v e r   b e e n   m o r e   a ppa r e n t.   T h e   e m e r ge n c e   o f   s pe c i a li z e d  h a r dwa r e   a c c e l e r a t or s ,   i n c l ud i ng  gr a phi c s   pr o c e s s i n g  u ni t s   ( GPUs ) ,   t e n s o r   pr o c e s s i n g  u ni t s   ( T P Us ) ,   da t a   pr o c e s s i n g  uni t s   ( DPUs ) ,   a n d  qua n t um   pr o c e s s i ng  u ni t s   ( QPUs ) ,   h a s   h e r a l de d  a   n e w  e r a   i n   t h e   a c c e l e r a t i o n   o f   de e p  l e a r ni ng  t a s ks .   T h e s e   t e c h n o l o g i e s   o f f e r   s u b s t a n t i a l   im pr o v e m e n t s   i n   pr o c e s s in g  s pe e d   a n d  e ne r g y   e f f i c i e n c y ,   e n a bli ng  r e s e a r c h e r s   a n d   pr a c t i t i o n e r s   to  t a c kl e   m o r e   s o phi s t i c a t e d  pr o bl e m s   a n d   a c hi e v e   b r e a kt h r o ugh s   a t   a n   un pr e c e de n t e d  pa c e   [ 1] .   C o r r a l   e t  al.   [ 2]   e v a l ua t e   t h e   e n e r g y   c o n s u m pt i o n   a n d  pe r f o r m a n c e   o f   m e d i c a l   d i a g n o s i s   a i ds   im p l e m e n t e d  o n   e m b e dde d  pr o c e s s o r s ,   s pe c i f i c a ll y   Go o gl e ' s   E dge   T P U  a n d  NV I DI A' s   M a x we ll   GPU.   Us i n g   g l a uc o m a   de t e c t i o n   f r o m   c o l o r   f u n dus   i m a g e s   a s   a   c a s e   s t udy ,   t h e y   de m o n s t r a t e   t h e   f e a s i b il i t y   o f   r e a l - t i m e   im a ge   s e g m e n t a t i o n   a n d  c l a s s if i c a t i o n   o n   e m b e d de d   b o a r ds .   T h e   s t udy   f o c us e s   o n   t h e   e n e r g y   a nd  t i mi ng   pe r f o r m a n c e   o f   t h e s e   s y s t e m s   dur i n g  o pt i c   d i s c   ( OD )   a n d  c up  ( OC )   s e g m e n t a t i o n   a n d  c l a s s i f i c a t i o n   t a s ks ,   Evaluation Warning : The document was created with Spire.PDF for Python.
I n do n e s i a n   J   E l e c   E n g  &   C o m p  S c i     I S S N:   2 5 0 2 - 4 7 52       A   c ompar ati v e   analys is   of  GP Us ,   T P Us ,   DP Us ,   and  QP Us   f or   de e p  lear ning  w it h  p y thon   ( A y oub  A ll a li )   1325   s h o w i n g  t h a t   t h e   E dge   T P U  i s   m o r e   e n e r g y - e f f ic i e n t   a n d  f a s t e r   c o m pa r e d  t o   t h e   M a x w e l l   GPU  f o r   b o t h   s e g m e n t a t i o n   a n d  c l a s s if i c a t i o n .   Hua n g  e t  al.   [ 3]   f o c us   o n   i m pr o vi n g  t h e   e f f i c i e n c y   o f   hi e r a r c hi c a l   t uc ke r   ( HT )   t e n s o r   l e a r ni ng  f o r   l a r ge - s c a l e ,   hi g h - d im e n s i o n a l   da t a   us i n g  GPU  t e n s o r   c o r e s .   T h e y   a ddr e s s   ke y   c h a ll e n ge s   i n   o p t i mi z i n g  t e n s o r   l e a r ni ng  pr i m i t i ve s ,   i m p l e m e n t i n g  HT   t e n s o r   a l g o r i t hm s   o n   m u l t i p l e   GPUs ,   a n d  h a n d li ng  da t a   e x c e e d i ng   GPU  m e m o r y .   T h e y   pr e s e n t   o p t i m i z e d  GPU - b a s e d   t e n s o r   o pe r a t i o ns   s uc h   a s   c o n t r a c t i o n s ,   m a t r i c i z a t i o n s ,   a n d   s i n gu l a r   v a l ue   de c o m po s i t i o n   ( S VD )   f o r   bi g  da t a   a n a ly s i s .   A dd i t i o na l ly ,   t h e y   i n t r o duc e   a n   HT   t e n s o r   l a y e r   f o r   de e p  n e ur a l   ne t wor ks   a n d  de v e l o p  a   qua n t u m   m a c hi ne   l e a r ni ng  a l go r i t hm   ba s e d  o n   a   t e ns o r - tr e e   s t r uc t ur e ,   a c hi e vi ng  s i g nif i c a n t   s pe e dups   o v e r   e xi s t i n g  m e t h o ds   o n   NV I DI A   GPUs .   I n   t h e   r e vi e w e d  l i t e r a t ur e ,   o nl y   GPU s   a n d  T P Us   we r e   f o c us e d  o n ,   a n d  t hi s   m a y   n o t   b e   e n o ugh   i n   t h e   f ut ur e ,   b e c a us e   a s   t h e   da t a   v o l u m e   i nc r e a s e s ,   m o r e   p o we r f u l   pr o c e s s i ng  u ni t s   a r e   r e qu i r e d  to  pr o c e s s   t hi s   da t a ,   a n d  t h e   a dv a n t a ge s   a n d  d i s a d v a n t a ge s   o f   e a c h   uni t   we r e   n o t  e x p l a i ne d,   t h e r e f o r e ,   t hi s   a r t i c l e   e x p l a i n s   t h e   f o l l o w i ng:   i )   e n e r g y   a n d  t i m e   c o n s u m pt i o n   of   GPUs ,   T P Us ,   DPUs ,   a n d  QPUs   r un ni ng  t h e   s a m e   de e p   l e a r ni ng  m o de l ;   ii )   h o w  to   i n t e gr a t e   p y t h o n ,   a s   a   m a j o r   pr o g r a m m i ng  l a n gua ge   i n   de e p  l e a r ni ng,   wi t h   t h e s e   h a r dwa r e   a c c e l e r a t or s   to   i m pr o v e   pe r f o r m a nc e   a nd  s c a l a bil i t y ;   ii i )   a d v a n t a ge s   a n d  d i s a d v a n t a ge s   of   GPUs ,   T P Us ,   DPUs ,   a n d  QPUs ;   a n d  i v )   c h a ll e n ge s   f a c e d  by   t h e s e   u ni t s .       2.   M E T HO D   T h e   pr o c e s s   be ga n   w i t h   t h e   c r e a t i o n   o f   a   de e p  l e a r ni ng  m o de l   i n   p y t h o n ,   w hi c h   s e r v e d  a s   t h e   f o u n da t i o n   f o r   c o m pa r i s o n   a c r o s s   di f f e r e n t   pr o c e s s i n g  uni t s .   T hi s   m o de l   wa s   we l l - de f i ne d  a n d  a da pt a bl e   to  m u l t i p l e   f r a m e wo r ks   to  e n s ur e   c o n s i s t e n c y .   T h e   c h o i c e   o f   t h e   m o de l   c o u l d  h a v e   b e e n   s o m e t hi ng   c o m put a t i o n a ll y   de m a n d i ng,   l i k e   a   c o n v o l ut i o n a l   n e ur a l   n e t wo r k   ( C NN )   or   a   tr a n s f o r m e r ,   de pe n d i n g  o n   t h e   s pe c i f i c   t a s ks   un de r   e v a l ua t i o n .   T h e   p y t h o n   c o de   wa s   t h e   c o r e   l o g i c   o f   t h e   e x pe r i m e n t   a n d  wa s   t h e   c o m m o n  f a c t o r   a c r o s s   a l l   ha r dwa r e   p l a t f o r m s ,   e ns ur i n g  th a t   t h e   c o m pa r i s o n s   f o c us e d  s o l e ly   o n   t h e   pe r f o r m a n c e   d i f f e r e n c e s   o f   t h e   pr o c e s s i n g  u ni t s   r a t h e r   t h a n   v a r iat i o n s   i n   m o de l   im p l e m e n t a t i o n   [ 4] .   On c e   t h e   p y t h o n   c o de   wa s   r e a dy   a s   s h o wn   i n   F i g ur e   1 ,   i t   wa s   de p l o y e d  o n   a   GPU.   T hi s   s t e p  us e d   e i t h e r   T e ns o r F l o w/P y T o r c h   a s   t h e   de e p  l e a r ni n g  f r a m e wo r k,   i n   c o nj u n c t i o n   w i t h   C UD A ,   t h e   pa r a l l e l   c o m put i n g  p l a t f o r m   a n d  a pp l i c a t i o n   pr o gr a m mi n g  i n t e r f a c e   ( A P I )   m o de l   t h a t  a l l o w e d  t h e   GPU  to  h a n d l e   t a s ks   a t  a   m uc h   f a s t e r   r a t e .   C UD A   e n a bl e d  t h e   p y t h o n   c o de   to   r un   o p t i mi z e d  o pe r a t i o n s ,   t a ki n g  f u l l   a dv a n t a ge   o f   t h e   GPU' s   c a p a bi li t y   t o  pe r f o r m   m a s s i ve ly  pa r a l l e l   c o m put a t i o ns   [ 5] .   T h e   GPU  wa s   kno wn   f o r   a c c e l e r a t i n g  t r a i ni ng  a n d  i nf e r e n c e   t a s ks ,   m a k i ng   i t   i de a l   f o r   m a ny   de e p  l e a r ni ng  a pp l i c a t i o ns .   T h i s   s t a ge   m e a s ur e d  h o w  qu i c k ly   t h e   m o de l   c o u l d  be   pr o c e s s e d  o n   t h e   GP U  a n d  a n a ly z e d  t h e   e n e r g y   c o ns u m pt i o n  i nv o l ve d  [ 6] – [ 8] .   T h e   m o de l   w a s   a da pt e d  to   r un   o n   a   T P U ,   a   s pe c i a li z e d   h a r dwa r e   a c c e l e r a t or   de s i g n e d  to   h a n d le   m a t r i x   o pe r a t i o n s   c o m m o nl y   us e d  i n   de e p  l e a r ni n g.   T e n s o r F l o w  wa s   t h e   pr e f e r r e d  f r a m e wo r k  f o r   T P Us   due   to   i t s   t i g h t   i n t e gr a t i o n   a n d  o pt i m i z a t i o n   f o r   T P U   a r c hi t e c t ur e .   T h e   T P Us   we r e   kn o wn   to  b e   hi g hly   e f f i c i e n t   i n  t r a i ni ng  l a r ge   m o de l s ,   e s pe c i a ll y   f o r   o pe r a t i o ns   l ike  c o n v o l ut i o n   a n d  m a t r i x   m u l t i p li c a t i o n .   B y   r u nni ng  t h e   m o de l   o n   a   T P U,   t hi s   p h a s e   pr o vi d e d  i n s i g h t s   i n t o  h o w  T P Us   c o m pa r e d  w i t h   GPUs   i n   t e r m s   o f   b o t h   s pe e d  a n d  e n e r g y   e f f i c i e n c y ,   e s pe c i a ll y   f o r   l a r ge - s c a l e   de e p  l e a r ni ng  t a s ks   [ 9] – [ 13] .   F o r   t h e   DPU ,  o u r   pr o j e c t   i nv o l v e d  s e t t i n g  up  a   r o b us t   da t a   p r o c e s s i ng  e nvi r o nm e n t   us i n g  VM wa r e   to  c r e a t e   a n d  m a n a g e   10  vi r t ua l   m a c hi ne s   ( VM s ) .   E a c h   VM   wa s   c o nf i gur e d  to   f a c i li t a t e   t h e   t e s t i n g  o f   a   de e p  l e a r ni ng  m o de l ,   a l l o w i ng  us   to  e v a l ua t e   i t s   pe r f o r m a n c e   a n d  s c a l a bi li t y   i n   a   c o n t r o l l e d  e nvi r o nm e n t .     B y   l e v e r a g i ng  VM wa r e ’ s   vi r t ua l i z a t i o n   c a pa bil i t ies ,   we   e n s ur e d  e f f i c i e n t   r e s o ur c e   a l l o c a t i o n   a n d  i s o l a t i o n  a m o n g  t h e   VM s ,   e na bl i ng  pa r a ll e l   pr o c e s s i ng  o f   d a t a   a n d  m o de l   t r a i ni n g.   I n   t hi s   s t e p,   t h e   m o de l   wa s   a da pt e d   f o r   t h e   DPU   a r c hi t e c t ur e   to  e v a l u a t e   h o w   i t   pe r f o r m e d  i n   r e a l - t i m e   i nf e r e n c e   t a s ks ,   pr o vi d i ng  c r i t i c a l  da t a   o n   e n e r g y   c o n s u m pt i o n ,   s pe e d,   a n d  pr o c e s s i n g  e f f i c i e n c y   i n   l o w - po we r   e n vi r o nm e n t s   [ 14] – [ 17 ] .   QPUs   r e pr e s e n t e d  a   c u tt i n g - e dge   a ppr o a c h   to   c om put a t i o n ,   l e v e r a g i ng  t h e   pr i n c i p l e s   o f   qua n t u m   m e c h a ni c s   to  p ot e n t i a ll y   s o l ve   pr o bl e m s   e x po n e nt i a ll y   f a s t e r   t h a n   c l a s s i c a l   s y s t e m s .   I n   t hi s   s t e p,   t h e   m o de l   wa s   r e i m a g i ne d  f o r   qua n t u m   pr o c e s s i n g  u s i ng  qua n t u m   m a c hi ne   l e a r ni ng  f r a m e wo r ks   s uc h   a s   Q i s k i t ,   C i r q,   o r   P e nny L a n e   [ 18] – [ 20] .   T h e s e   p l a t f o r m s   a ll o we d  t he   m o de l   t o   b e   e x e c ut e d  o n   qu a n t um   ha r dwa r e ,   wh e r e   qubi t s   we r e   us e d  to  pe r f o r m   c o m put a t i o n s .   Qua n t u m   m a c hi ne   l e a r ni ng  wa s   s t i ll   i n   i t s   e x pe r i m e n t a l   s t a ge s ,   s o  t hi s   s t e p  a s s e s s e d  h o w  we l l   qu a n t um   s y s t e m s   h a n d l e d   de e p  l e a r ni ng  m o de l s   a n d  c o m p a r e d  t h e i r   pe r f o r m a n c e   t o   c l a s s i c a l   s y s t e m s .   S pe c i a l   a t t e n t i o n   wa s   pa i d  to  t h e   e ne r g y   us a ge   a n d  t i m e   t a ke n   f o r   t a s ks   t h a t  m igh t   h a ve   t a ke n   s i g nif i c a n t l y   l o n ge r   o n   c l a s s i c a l   h a r dwa r e   [ 14] ,   [ 21] – [ 23 ] .   Af t e r   r unni ng  t h e   de e p  l e a r ni ng  m o de l   o n   a l l   t h e   d i f f e r e n t   pr o c e s s i ng  uni t s ,   GPU,   T P U,   DPU ,   a n d  QPU,   t h e   f i na l   s t e p  wa s   to   a n a l y z e   t h e   r e s u l t s .   T hi s   i nv o l v e d  c o l l e c t i n g  da t a   o n   t h e   t i m e   t a ke n   to  e x e c ut e   t h e   m o de l ,   t h e   e n e r g y   c o n s u m e d  by   e a c h   ha r dwa r e   p l a t f o r m ,   a n d  t h e   o v e r a l l   m o de l   pe r f o r m a n c e   i n   t e r m s   o f   a c c ur a c y   a n d  s pe e d.     Evaluation Warning : The document was created with Spire.PDF for Python.
                                I S S N :   2 5 0 2 - 4 7 52   I n do n e s i a n   J   E l e c   E n g  &   C o m p  S c i ,   Vo l .   38 ,   N o .   2 ,  M a y   20 25 :  1 324 - 1 330   1326       F i gur e   1.   M e t h o d       3.   RE S UL T S   AN D  DI S CU S S I ON   T h e   l a n ds c a pe   o f   h a r dwa r e   a c c e l e r a t o r s   f o r   de e p  l e a r ni ng  i s   r i c h   a n d  v a r i e d,   w i t h   e a c h   t y pe   o f   a c c e l e r a t or   o f f e r i ng  d i s t i n c t   a dv a n t a ge s   a n d  t r a d e - o f f s   i n   t e r m s   o f   t r a i ni ng  t i m e ,   pa r a l l e li s m ,   a nd  e n e r g y   c o n s u m pt i o n .   T hi s   c o m pa r a t i v e   a n a ly s i s   de l v e s   i nto  GPUs ,   T P Us ,   DPUs ,   a n d  QPUs ,   hi g hl i g h t i n g  ho w   t h e s e   t e c h n o l o g i e s   s t a c k  up  a ga i ns t   e a c h   ot h e r   i n   t h e s e   c r i t i c a l   a r e a s .     3. 1.     T r ain in g  t im e   T a bl e   1  s h o ws   t h e   t i m i ng  p e r f o r m a n c e   o f   t r a i ni n g  t h e   s a m e   m o de l   us i ng  d if f e r e n t   uni t s .   T h e   GPU   too k   a b o u t  300   s e c o n ds ,   whi l e   t h e   T P U   c u t   t h i s   ti m e   i n   h a lf   t o  150   s e c o n ds ,   r e f l e c t i n g  i t s   s pe c i a li z a t i o n   i n  de e p  l e a r ni ng  t a s ks .   T h e   DPU  wa s   t h e   f a s t e s t ,   c o m p l e t i n g  t r a i ni ng  i n   75  s e c o n ds ,   t h a n ks   to  i t s   hi g hly  o p t i mi z e d  a r c hi t e c t ur e   f o r   n e ur a l   ne t wor k   c o m put a t i o n s .   M e a n w hil e ,   t h e   Qua n t u m   QPU  i s   s t i ll   i n   t h e   e x pe r im e n t a l   s t a ge   f o r   de e p  l e a r ni ng,   a n d  s pe c if i c   t im i ng  da t a   i s   n o t   y e t   a v a il a bl e .   T hi s   c o m pa r i s o n   highl i g h t s   t h e   s upe r i o r   e f f i c i e n c y   o f   m o de r n   s pe c i a li z e d  DPUs   c o m pa r e d  to  tr a di t i o n a l   GPU s ,   whi l e   QPU   r e m a i n s   a t   t h e   f o r e f r o n t   o f   c utt i n g - e dge   i nn o v a t i o n   [ 24] – [ 30] .       T a bl e   1.   T i mi ng  pe r f o r m a n c e   o f   GPU/T P U/DPU/ QPU  w i t h   t h e   s a m e   m o de l     G P U   T P U   D P U   Q P U   T im e   ( s e c o nds )   ≈ 30 0s   ≈ 15 0s   ≈ 75 s   S ti ll  i n  th e  e x p e r im e n ta l  pha s e   f o r  d e e p l e a r ni ng       3. 2 .    E n e r gy  c on s u m p t ion   T h e   e n e r g y   c o ns u m e d  by   e a c h   pr o c e s s i ng  uni t   ( GPU,   T P U ,   DPU,     QPU)   dur i n g  de e p  l e a r ni ng  m o de l   t r a i ni ng  de pe n d s   o n   s e v e r a l   f a c t o r s ,   s uc h   a s   t h e   s pe c i f i c   ha r dwa r e ,   w o r kl o a d,   a n d  t h e   dur a t i o n   o f   t r a i ni n g.   T h e   tot a l   e n e r g y   c o ns u m e d  E   ( i n   J o u l e s   o r   ki l o wa t t - h o u r s )   c a n   b e   e s t i m a t e d  us i n g  t h e   f o l l o w i ng  f o r m u l a :     = P ∗ T   ( 1)     W h e r e   E   i s   t h e   tot a l   e n e r gy   c o n s um e d ,   P   i s   t h e   a v e r a ge   p owe r   c o n s u m p t i o n   ( i n   w a tt s ) ,   T   i s   t h e   t i m e   o f   op e r a t i o n   ( i n   s e c o n ds   or   h ou r s )   [ 1 8] ,   [ 31 ] .  T a b l e   2   de s c r i b e s   t h e   e n e r gy   c o n s u m p t i o n   i n   j ou l e s   pe r   h ou r   f or   e a c h   uni t.       T a bl e   2 .  C o m pa r i s o n   t a bl e   U ni t   P o w e r   ( W )   E ne r g y   f o r  1 h o ur   ( J o ul e s / MJ )   G P U   400   1,440,000 J  ( 1.44 )   T P U   300   1,080,000 J  ( 1.08 )   D P U   75   270,000 J  ( 0.27 )   Q P U   50   180,000 J  ( 0.18 )       Hi gh - p e r f or m a n c e   G P Us   c a n   h a v e   a   p o w e r   c o n s um p t i o n   o f   2 50   W   to  4 00   W ,   a n d   tr a i ni n g  t i m e   v a r i e s   d e p e n d i n g   o n   m ode l   c o m p l e x i t y ,   da ta ,   a n d   h a r d wa r e   b u t  T = 1   h o u r   ( 3 , 60 0   s e c o n ds )   f or   s i m p l i c i t y   i s     a s s um e d   [ 32 ] .   Evaluation Warning : The document was created with Spire.PDF for Python.
I n do n e s i a n   J   E l e c   E n g  &   C o m p  S c i     I S S N:   2 5 0 2 - 4 7 52       A   c ompar ati v e   analys is   of  GP Us ,   T P Us ,   DP Us ,   and  QP Us   f or   de e p  lear ning  w it h  p y thon   ( A y oub  A ll a li )   1327   = P ∗ T = 400 ∗ 3600 = 1 , 440 , 000      ( 1 . 44    )   ( 2 )     T P Us   a r e   m o r e   p o we r - e f f i c i e n t   f o r   l a r ge - s c a l e   c o m put a t i o n s .   A   T P Uv 3  po d  c a n   h a v e   a n   a ve r a ge   po we r   c o n s u m pt i o n   o f   a r o un d  200W   to   300W   pe r   T P U  c o r e   [ 33] .     = P ∗ T = 300 ∗ 3600 = 1 , 080 , 000      ( 1 . 08    )   ( 3 )     DPUs   l i ke   t h e   NV I DI A   B l ue F i e l d - 2  ge n e r a ll y   c o n s u m e   a r o un d  50W   to   75W   de pe n d i n g  o n   t h e   wo r kl o a d.   H o we v e r ,   s i n c e   DPUs   a r e   t y p i c a ll y   n o t  us e d  f o r   m o de l   t r a i ni ng,   t h e i r   e n e r g y   c o n s u m pt i o n   i n  t hi s   c o n t e x t   w o ul d  r e l a t e   to  da t a   h a n d li ng  t a s ks   [ 34] .     = P ∗ T = 75 ∗ 3600 = 270 , 0 0 0      ( 0 . 27    )   ( 4 )     QPUs   a r e   hi g hly   e x p e r i m e n t a l ,   a n d  po we r   us a ge   v a r i e s   s i g nif i c a n t l y ,   QPUs   i n  r e s e a r c h  e nvi r o nm e n t s   c a n   c o n s u m e   a ny w h e r e   f r o m   10W   to  50W   o r   m o r e ,   b u t  t h e y   a r e   ge n e r a ll y   n o t  us e d  f o r   p r o l o n ge d  de e p  l e a r ni ng  t r a i ni ng  [ 35] – [ 37] .     = P ∗ T = 50 ∗ 3600 = 180 , 0 0 0      ( 0 . 18    )   ( 5 )     3. 3.     P ar a ll e l is m   P a r a l l e li s m   i s   a   m e a s ur e   o f   h o w  e f f e c t i v e ly   a   c om put i n g  s y s t e m   c a n   pe r f o r m   m u l t i p l e   o pe r a t i o ns   s i m u l t a n e o us ly .   GPU s   e x c e l   i n  t hi s   do m a i n ,   w i t h  a r c hi t e c t ur e s   de s i g n e d  t o  h a n d l e   t h o us a n d s   o f   t h r e a ds   i n  pa r a l l e l .   T hi s   c a pa bil i t y   m a ke s   t h e m   e x c e pt i o n a ll y   s u i t e d  f o r   t h e   pa r a l l e l   n a t ur e   o f   de e p  l e a r ni ng   c o m put a t i o n s .   T P Us   a l s o   o f f e r   s i g ni f i c a n t   pa r a l le l   pr o c e s s i n g  c a pa bil i t i e s ,   e s pe c i a ll y   o pt i mi z e d  f o r   hi g h - v o l u m e ,   l o w - pr e c i s i o n   a r i t hm e t i c   o pe r a t i o n s   c o m mo n   i n   de e p  l e a r ni ng  a l go r i t hm s   [ 38] – [ 43] .   DPUs   c o n tr i b ut e   to  pa r a l l e li s m   i nd i r e c t l y   by   o f f lo a di n g  a n d  a c c e l e r a t i n g  n e t wor ki n g,   s e c ur i t y ,   a n d   I /O  o pe r a t i o ns ,   whi c h   i n  t ur n   e n a bl e s   m o r e   e f f i c i e n t   us e   o f   c o m put i n g  r e s o ur c e s   f o r   pa r a l l e l   c o m put a t i o n s   i n   de e p  l e a r ni ng  wo r kl o a ds .   QPUs ,   o n   t h e   ot h e r   h a nd,   o f f e r   a   f o r m   o f   pa r a l l e li s m   t h a t   i s   qua li t a t i v e ly   d i f f e r e n t   f r o m   c l a s s i c a l   s y s t e m s ,   us i n g  qua n t u m   e n t a n g le m e n t   a n d  s upe r po s i t i o n   t o  pe r f o r m   a   v a s t   n um be r   o f   c a l c u l a t i o ns   s im u l t a n e o us l y ,   a l t h o ugh   t h e i r   a pp li c a t i o n   i n   de e p  l e a r ni ng  i s   s t i ll   e m e r g i ng   [ 44] .     3. 4.     I n t e gr a t ion   an d   o p t im iz at ion   T h e   i n t e gr a t i o n   o f   t h e s e   a c c e l e r a t o r s   i n t o  de e p  l e a r ni n g  wo r k f l o ws   v a r i e s   w i de ly .   GPUs   a r e   s uppo r t e d  by   a   m a t ur e   e c o s y s t e m   o f   t oo l s   a n d  l ib r a r i e s ,   s uc h   a s   C UD A   f o r   NV I DI A   GPUs ,   m a k in g  t h e m   r e l a t i v e ly   s t r a i g h t f o r wa r d  to  i n t e gr a t e   i n t o   e xi s t i n g   de e p  l e a r ni ng  f r a m e wo r ks .   T P Us   a r e   a l s o   we l l - s u ppo r t e d ,   pa r t i c u l a r l y   w i t hi n  Go o gl e ’ s   e c o s y s t e m ,   w i t h   T e ns o r F l o w  o f f e r i ng  s e a ml e s s   i n t e gr a t i o n .   DPUs   r e qu i r e   m o r e   s pe c i a li z e d  i n t e gr a t i o n   e f f o r t s ,   f o c us i ng  o n   t h e   o p t i mi z a t i o n   o f   da t a   c e n t e r   o pe r a t i o n s   r a t h e r   t h a n   d i r e c t   a c c e l e r a t i o n   o f   de e p  l e a r ni ng  m o de l s .   QPUs ,   b e i ng  a t   t h e   f o r e f r o n t   o f   c o m put a t i o n a l   r e s e a r c h ,   c ur r e n t l y  r e qu i r e   hi g hly   s pe c i a li z e d  k n o w l e dge   t o  us e   e f f e c t i v e l y   i n   de e p  l e a r ni ng  a pp l i c a t i o ns   [ 45] ,   [ 46] .     3. 5.     Chal l e n ge s   I n   de e p  l e a r ni ng,   e a c h   s p e c i a li z e d  pr o c e s s i ng  uni t   GPU,   T P U,   D P U,   a n d  QPU  f a c e s   d i s t i n c t   c h a ll e n g e   de s c r i be s   i n   T a bl e   3  GPUs   a r e   po we r f u l   f o r   pa r a l l e l   c o m put a t i o n s   b ut   s tr uggl e   w i t h   hi g h   e n e r g y   c o n s u m pt i o n ,   m e m o r y   b a n dw i dt h   l im i t a t i o n s ,   a n d   i ne f f i c i e n c y   i n   s m a ll   m o de l s .   T P Us ,   de s i g n e d  f o r   t e n s o r   o pe r a t i o n s ,   o f f e r   s t r o n g  pe r f o r m a nc e   b ut   a r e   l im it e d  by   t h e i r   l a c k  o f   f l e xi b il i t y ,   s t e e p  l e a r ni ng  c u r v e ,   a n d   de pe n d e n c e   o n   l a r ge   b a t c h   s i z e s .   DPUs ,   whil e   us e f u l   f o r   d i s t r i b ut e d  s y s t e m s   by   h a n d li ng  da t a   a n d   n e t wo r k   t a s ks ,   h a v e   ni c h e   us e   c a s e s ,   c o m p l e x   s o f t wa r e   i n t e gr a t i o n ,   a n d  l i mi t e d  m a t ur i t y .   QPUs   o f f e r   t h e o r e t i c a l  s pe e d - ups   f o r   s pe c i f i c   t a s ks   b ut   f a c e   m a j o r   h ur d l e s ,   s uc h   a s   h a r dwa r e   i mm a t ur i t y ,   i n t e gr a t i o n   w i t h   c l a s s i c a l  s y s t e m s ,   a n d  a l go r i t hm i c   de v e l o p m e n t ,   m a k i ng  t h e m   l e s s   pr a c t i c a l   f o r   c ur r e n t   de e p  l e a r ni ng  n e e ds   [ 4 7] ,   [ 48] .       T a bl e   3 .  C h a ll e n ge s   o f   e a c h   uni t   U ni t   G P U   T P U   D P U   Q P U   M a jo r   c ha ll e ng e s     H ig h  e n e r g y   c o ns umpt i o n      M e mor y  ba ndw id th   bo tt l e n e c ks       S c a la bi li t y  i s s ue s       I ne f f i c ie n c y  w it h  s ma ll  mo d e ls     H ig h  c o s t     L im it e d  f l e x ib il it y       P r o gr a mm in g  c o mpl e x it y       M e mor y  b o tt l e n e c ks       C lo ud - o nl y   a v a il a bi li t y       B a tc h s i z e  s e ns it i v it y     N ic h e  us e   c a s e s       S of twa r e   e c o s y s t e m  li mi ta ti o ns       I nt e g r a ti o n  ove r he a d      C o s t      M a tu r it y   of   te c hn o l o g y     H a r dw a r e   im ma tu r it y       A lg o r i th mi c   li mi ta ti o ns       C la s s ic a l  qua nt um  in te gr a ti o n i s s ue s       L im it e d us e   c a s e s     H ig h  c o s t   Evaluation Warning : The document was created with Spire.PDF for Python.
                                I S S N :   2 5 0 2 - 4 7 52   I n do n e s i a n   J   E l e c   E n g  &   C o m p  S c i ,   Vo l .   38 ,   N o .   2 ,  M a y   20 25 :  1 324 - 1 330   1328   L a s t l y ,   s e l e c t i n g  t h e   r i g h t   h a r dwa r e   a c c e l e r a to r   f o r   a   de e p  l e a r ni ng  pr o j e c t   i nv o l ve s   a   c a r e f u l  c o n s i de r a t i o n   o f   t h e   s pe c i f i c   r e qu i r e m e n t s   a n d  c o ns t r a i n t s   o f   t h e   pr o j e c t ,   i n c l ud i ng  c o m put a t i o n a l   e f f i c i e n c y ,   pa r a l l e li s m ,   e n e r g y   c o n s u m pt i o n ,   a n d  t h e   e a s e   o f   i n t e gr a t i o n .   A s   t hi s   f i e l d  c o n t i n u e s   to   e v o l v e   r a pi d ly ,   s t a y i n g  i nf o r m e d  a b o ut  t h e   l a t e s t   de v e l o p m e n t s   i n  h a r dwa r e   a c c e l e r a t or s   wi ll   be   c r uc i a l   f o r   m a xi mi z i n g  t h e   pe r f o r m a n c e   a n d  e f f i c i e nc y   o f   de e p  l e a r ni ng  a pp l i c a t i o n s .       4.   CONC L USI ON   W hil e   GPUs ,   T P Us ,   DPUs ,   a n d  QPUs   e a c h   b r i ng  s i g nif i c a n t   p ot e n t i a l   t o  a c c e l e r a t e   de e p  l e a r ni ng   t a s ks ,   t h e y   a l s o   c o m e   w i t h   uni qu e   c h a ll e n ge s   t h a t  m us t   b e   c o n s i de r e d  b a s e d  o n   t h e   s pe c i f i c   us e   c a s e .   GPUs   r e m a i n   t h e   m o s t   v e r s a t i l e   a n d  w i de ly   us e d,   b ut   t h e i r   e ne r g y   de m a n d s   a n d  s c a l a bi li t y   i s s ue s   c a n   b e   li mi t i n g.   T P Us   o f f e r   s pe c i a li z e d  pe r f o r m a n c e   a dv a n t a ge s ,   pa r t i c u l a r l y   f o r   l a r ge - s c a l e   m o de l s ,   b ut   a r e   l e s s   f l e xi b l e   a n d   m o r e   d i f f i c u l t   to   pr o g r a m .   DPUs   s e r ve   ni c he   r o l e s   i n  d i s t r i b ut e d  s y s t e m s   b ut   r e qu i r e   c o m p l e x   i n t e gr a ti o n ,   a nd   QPUs ,   t h o ugh   pr o m i s i ng,   a r e   s t i l l   i n  t h e   e x pe r im e n t a l   s t a ge   a n d  n ot   y e t   pr a c t i c a l   f o r   ge n e r a l - pur p o s e   de e p   l e a r ni ng.   T h e   c h o i c e   o f   h a r dwa r e   u l t i m a t e l y   de p e nds   o n   b a l a n c i ng  t h e s e   t r a de - o f f s   w i t h   t h e   s pe c i f i c   n e e d s   o f   t h e   de e p  l e a r ni ng  a pp li c a t i o n .       RE F E R E NC E S   [ 1]   N . S ha h, L .  I .  G . O la s c o a ga , S . Z ha o , W . M e e r t,  a nd M . V e r he l s t,  “ D P U :  D A G  pr o c e s s in g unit   f o r   ir r e gul a r  g r a phs  w it h pr e c is io n - s c a la bl e   p o s it   a r it hm e ti c   in   28  nm,”   I E E E   J our nal   of   Sol id - St at e   C ir c ui ts ,  vo l.   57,  n o .  8,  pp.  2586 – 2596,  20 22,    do i:  10.1109/J S S C .2021.3134897.   [ 2]   J .  M .  R o dr íg ue z   C o r r a l,   J .  C i v it - M a s o t,   F .  L una - P e r e jó n,  I .   D ía z - C a no ,  A .  M o r ga d o - E s té ve z ,  a nd  M .  D o m ín gue z - M o r a le s ,  “ E ne r g y   e f f i c i e n c y   in   e dge   T P U   v s .  e mb e dd e d  G P U   f or   c omput e r - a id e d  m e di c a l  im a gi ng  s e gme nt a ti o n  a nd  c la s s if i c a ti o n,”   En gi ne e r in g A ppl ic at io ns  of  A r ti f ic ia l  I nt e ll ig e nc e , v o l.  127, J a n. 2024, do i:  10.1016/j . e nga ppa i. 2023.107298.   [ 3]   H .  H ua ng,  X .  Y .  L iu ,  W .  T o ng,  T .  Z ha ng,  A .  W a li d,  a nd  X .  W a ng,  “ H ig h  pe r f or ma n c e   p e r f or ma n c e   hi e r a r c h ic a l  tu c k e r   t e ns o r   le a r ni ng  us in g  G P U   t e ns or   c o r e s ,”   I E E E   T r ans ac ti ons   on  C om put e r s ,   v o l.   72,  n o .  2,  pp.  452 – 465,  2023,     do i:  10.1109/ T C .2022.3172895.   [ 4]   S .  C .  M a ga lh ã e s ,  F .  N .   do s   S a nt o s ,  P .  M a c ha do ,  A .  P .  M o r e ir a ,  a nd  J .  D ia s ,  “ B e nc hma r ki ng  e dg e   c omput in g  de v i c e s   f or   gr a pe   bunc h e s   a nd  tr unks   de te c t i o n  us in g  a c c e l e r a te d  o bj e c t  de te c ti o n  s in gl e   s h o t  mul ti b ox   de e p  l e a r ni ng  m o de ls ,”   E ngi ne e r in g   A ppl ic at io ns  of  A r ti f ic ia l  I nt e ll ig e nc e , v o l.  117, 2023, d o i:  10.1 016/ j. e nga ppa i. 2022.105604.   [ 5]   S .  L a ue ,  M .  B la c he r ,  a nd  J .  G i e s e n,   “ O pt im iz a ti o n   f o r   c la s s ic a l  ma c hi n e   l e a r ni ng  pr o bl e ms   o n  th e   G P U ,”   in   P r oc e e di ngs   of   th e   36t h A A A I  C onf e r e n c e  on A r ti f ic ia l  I nt e ll ig e nc e , A A A I  2022 , 20 22, vo l.  36, pp. 7300 – 7308, d o i:  10.1609/aa a i. v 36i 7.20692.   [ 6]   J .  S .  L e r a t,   S .  A .   M a hmo udi ,   a nd  S .  M a hm o udi ,  “ S in gl e   n ode   d e e p  l e a r ni ng   f r a m e w o r ks :  C o mpa r a ti ve   s tu d y   a nd   C P U / G P U   pe r f or ma nc e  a na l y s is ,”   C onc ur r e nc y  and  C om put at io n:  P r ac ti c e  and E x pe r ie nc e , v o l.  35, n o . 14, 2023, d o i:  10.1002/ c p e .6730.   [ 7]   S .  T h o ma s ,  M .  L .  B o w e r s ,  a nd  W .  L ia o ,   “ G P U   c omput in g  a nd  it s   a ppl ic a ti o ns   in   A I   a nd  de e p   le a r n in g,”   P r oc e e di ngs   of   th e   W e s t   V ir gi ni a A c ade m y  of  Sc ie n c e , v o l.  90, n o . 1, Apr . 2018, d oi :  10. 55632/pwv a s .v 90i 1.408.   [ 8]   D .  Z ha ng,  Y .   L u o ,  Y .  W a ng,  X .   K ui ,  a nd  J .   R e n,  “ B a tOpt :  O p ti mi z in g  G P U - ba s e d  d e e p  l e a r ni ng  in f e r e nc e   us in g  d y na mi c   ba tc h   pr oc e s s in g,”   I E E E   T r ans ac ti ons  on C lo ud C om put in g , v o l.  12,  no . 1, pp. 174 – 185, 2024, d o i:  10.1109/ T C C .2024.3350561.   [ 9]   X .  S hi ,  X .  P e ng,  L .  H e ,  Y .  Z ha o ,  a nd  H .  J in ,  “ W a te r w a ve :  A   G P U   me m or y   f l o w   e ngi n e   f o r   c o nc u r r e nt   D N N   tr a in in g,”   I E E E   T r ans ac ti ons  on C o m put e r s , v ol . 72, n o . 10, pp. 2938 – 2950, 20 23, do i:  10.1109/ T C .2023.3278530.   [ 10]   Y .  W a ng  e t  al . ,  “ D R L C A P :   R unt im e   G P U   f r e que n c y   c a p pi ng  w it h  d e e p   r e in f or c e m e nt   l e a r ni ng,”   I E E E   T r ans ac ti ons   on   Sus ta in abl e  C om put in g , v ol . 9, n o . 5, pp. 712 – 726, S e p. 2024,  do i:  10.1109/ T S U S C .2024.3362697.   [ 11]   X .  Z ha ng,  “ M ix tr a n:   A n  e f f ic i e nt   a nd  f a i r   s c h e dul e r   f or   mi xe d  de e p  l e a r ni ng  w o r kl o a ds   in   h e te r o g e ne o us   G P U   e n v ir o nm e nt s ,”   C lu s te r   C om put in g , vo l.  27, n o . 3, pp. 2775 – 2784, 2024, d o i:  1 0.1007/s 10586 - 023 - 04104 - 9.   [ 12]   L.   D e ni s ,  R .  R oy e n,  Q .  B o ls é e ,  N .  V e r c h e v a l,   A .  P i ž ur i c a ,  a nd  A .  M unt e a nu,  “ G P U   r a s te r iz a ti o n - ba s e d  3D   L iDA R   s im ul a ti o n   f or   de e p l e a r n in g,”   Se ns or s , v o l.  23, n o . 19, 2023, d o i:  10.3390/s 23 198130.   [ 13]   R .  L .   C a s tr o ,  D .   A ndr a de ,   a nd  B .   B .   F r a gu e la ,  “ S T uni ng - DL :  M o de l - dr i ve n  a ut o tu ni ng   of   s pa r s e   G P U   k e r n e ls   f o r   de e p  l e a r ni ng,”   I E E E  A c c e s s , v ol . 12, 2024, d o i:  10.1109/AC C E S S .2024.34023 26.   [ 14]   A .  R a v ik uma r ,  H .  S r ir a ma n,  P .  M .  S a i  S a ke th ,  S .  L o k e s h,  a nd  A .  K a r a na m,  “ E f f e c t  of   ne u r a l  ne tw o r k  s tr u c tu r e   in   a c c e l e r a ti ng  pe r f or ma nc e   a nd  a c c u r a c y   of   a   c o n vo lu ti o na l  ne u r a l  ne tw o r k   w it h  G P U / T P U   f o r   im a g e   a na l y ti c s ,”   P e e r J   C om put e r   Sc ie nc e ,    vo l.  8, M a r . 2022, d o i:  10.7717/p e e r j - c s .909.   [ 15]   Z .  Y e   e t  al . ,  “ D e e p  l e a r ni ng  w o r kl o a d  s c h e dul in g  in   G P U   d a ta c e nt e r s :  A   s ur ve y ,”   A C M   C om put in g  Sur v e y s ,  v o l.   56,  no.  6,     pp. 1 – 38, J un. 2024, do i:  10.1145/3638757.   [ 16]   Z .  P e ng,  J .  D u,  a nd  Y .  Q ia o ,  “ D e s ig n  of   G P U   ne tw or k - on - c h ip   f o r   r e a l - ti me   vi de o   s up e r - r e s o lu ti o n  r e c o ns tr u c ti o n,”   M ic r om ac hi ne s , v o l.  14, n o . 5, M a y  2023, d o i:  10.3390 /m i1 405 1055.   [ 17]   J .  R a y m o nd  e t  al . ,  “ H y b r id   qua nt um  a nne a li ng  f or   la r g e r - th a n - Q P U   qua nt um  a nne a li ng  f o r   la r g e r - th a n,”   A C M   T r ans ac ti ons   on   Q uant um  C om put in g , vo l.  4, n o . 3, pp. 1 – 30, S e p. 2023, d o i:  10 .1145/3579368.   [ 18]   J .  V á z que z - P é r e z ,  C .  P iñ e ir o ,  J .  C .  P ic h e l,   T .  F .  P e na ,  a n d  A .  G ó me z ,  “ Q P U   in t e gr a ti o n  in   O pe nC L   f o r   he te r o ge n e o us   pr o g r a mm in g,”   T he  J our nal  of  Supe r c om put in g , v o l.  80, n o . 8,  pp. 11682 – 11703, M a y  2024, d o i :  10.1007/s 11227 - 023 - 05879 - 9.   [ 19]   T .   T a n  a nd  G .  C a o ,  “ T h e r ma l - a w a r e   s c he dul in g  f o r   d e e p  l e a r n in g  o n  m o b il e   d e v i c e s   w it h  N P U ,”   I E E E   T r ans ac ti ons   on  M o bi le   C om put in g , vo l.  23, n o . 12, pp. 10706 – 10719, D e c . 2024, d o i :  10.1109/ T M C .2024.3379501.   [ 20]   A .  M a r tí n - M a r tí n  e t  al . ,  “ H a r dw a r e   im pl e m e nt a ti o ns   of   a   d e e p  l e a r ni ng  a ppr o a c h  t o  o pt im a l  c o n f ig u r a ti o n  of   r e c o n f ig ur a bl e   in te ll ig e n c e  s ur f a c e s ,”   Se ns or s , v o l.  24, n o . 3, J a n. 2024, do i:  1 0.3390/s 24030899.   [ 21]   A .  M o r ni ngs ta r   e t  al . ,  “ S im ul a ti o n  of   qua nt um  ma n y - b o d y   d y na mi c s   w it h  te ns o r   p r o c e s s in g  uni ts :  F l o qu e t  pr e th e r ma li z a ti o n,”   P R X  Q uant um ,  vo l.  3, n o . 2, M a y  2022, d o i:  10.1103/P R X Q ua nt um.3.020331.   [ 22]   O .  H ua ng  a nd  M .  L .  P a lm e r i,   “ T P U   ba s e d  d e e p  l e a r ni n g  im a ge   e nha nc e m e nt   f or   r e a l - ti m e   p o in t - of - c a r e   ul t r a s o u nd,”     I E E E  T r ans a c ti ons  on C om put at io nal  I m agi ng , vo l.  10, pp. 461 – 468, 2024, do i:  10.1109/ T C I .2024.3372445.     Evaluation Warning : The document was created with Spire.PDF for Python.
I n do n e s i a n   J   E l e c   E n g  &   C o m p  S c i     I S S N:   2 5 0 2 - 4 7 52       A   c ompar ati v e   analys is   of  GP Us ,   T P Us ,   DP Us ,   and  QP Us   f or   de e p  lear ning  w it h  p y thon   ( A y oub  A ll a li )   1329   [ 23]   H .  C h o i,   B .  H .   L e e ,   S .  Y .  C hun,  a nd  J .  L e e ,  “ T o w a r ds   a c c e le r a ti ng  m o d e l  pa r a ll e li s m  in   di s tr ib ut e d  d e e p  l e a r ni ng  s y s t e ms ,”     P L O S O N E ,  vo l.  18, n o . 11, N ov . 20 23, d o i:  10.1371/j o ur na l. p one .0293338.   [ 24]   A .  E r c i y a s   a nd  N .  B a r iş ç i,   “ A   me ta - a na l y s is   o n  di a b e ti c   r e ti no pa th y   a nd  d e e p  l e a r ni ng   a ppl ic a ti o ns ,”   M ul ti m e di a  T ool s   and  A ppl ic at io ns , vo l.  83, n o . 19, pp. 57429 – 57448, D e c . 2023, d o i:  10.1007/s 11042 - 023 - 17784 - 7 .   [ 25]   F .  G .   T a n,  “ T h e   im pa c t  of   de e p  l e a r ni ng   a nd  tr a ns f e r   l e a r ni n g  a lg o r i th ms   o n   dr o n e   d e t e c t i o n  pe r f o r ma nc e ,  ( I n  T u r ki s h:   D e r in   öğr e nm e   ve   öğr e nm e   a kt a r ım ı  a lg o r it ma la r ın ın   d r o n e   a lg ıl a ma   pe r f or ma ns ı  üz e r in e   e tk is i) ,”   G az i  J our nal   o f   E ngi ne e r in g  Sc ie nc e s , v o l.  9, n o . 4, pp. 1 – 13, De c . 2023, d o i:  10.30855 /g mb d.0705S 01.   [ 26]   G .  A kka d,  A .  M a ns o ur ,  a nd  E .  I na t y ,  “ E mb e dd e d  d e e p  l e a r ni n g  a c c e l e r a t o r s :  A   s ur ve y   o n  r e c e nt   a dv a n c e s ,”   I E E E   T r ans ac ti ons   on A r ti f ic ia l  I nt e ll ig e nc e , v o l.  5, n o . 5, pp. 1954 – 1972, M a y   20 24, do i:  10.1109/ T A I .2023.3311776.   [ 27]   Y .  W u  e t  al . ,  “ E la s ti c   d e e p  l e a r ni ng   in   mul ti - t e na nt   G P U   c l us te r s ,”   I E E E   T r ans ac ti ons   on  P ar al le l  and  D is tr ib ut e d  Sy s te m s ,    vo l.  33, n o . 1, pp. 144 – 158, J a n. 2022, doi:  10.1109/ T P D S .202 1.3064966.   [ 28]   H .  C hoi   a nd  J .  L e e ,  “ E f f i c i e nt   us e   of   G P U   m e m o r y   f or   la r g e - s c a l e   d e e p  l e a r ni ng  m o d e l  tr a in in g,”   A pp li e d  Sc ie nc e s ,  v o l.   11,     no . 21, N ov . 2021, d o i:  10.3390/app112110 377.   [ 29]   M .  P a nde y   e t  al . ,  “ T he   t r a ns f or ma ti o na l  r o le   of   G P U   c o m put in g  a nd  de e p  l e a r ni ng  in   dr ug  di s c ov e r y ,”   N at ur e   M ac hi ne   I nt e ll ig e nc e , vo l.  4, n o . 3, pp. 211 – 221, M a r . 2022, d o i:  10.103 8/ s 42256 - 022 - 00463 - x.   [ 30]   Z .  C he n,  X .  Z ha o ,  C .  Z hi ,  a nd  J .  Y in ,  “ D e e pB oo t:   D y na mi c   s c h e dul in g  s y s t e m  f o r   t r a in in g  a nd  in f e r e n c e   de e p  l e a r ni ng  ta s ks   in   G P U   c lu s t e r ,”   I E E E   T r ans ac ti ons   on  P ar al le l  and  D is tr ib ut e d  Sy s te m s ,  vo l.   34,   n o .  9,   pp.  2553 – 2567,  S e p.   2 023,     do i:  10.1109/ T P D S .2023.3293835.   [ 31]   Y .  L ia o ,  J .  W u,  W .  L u,  X .  L i,   a nd  G .  Y a n,  “ D P U - di r e c t:   U nl e a s hi ng  r e m o t e   a c c e le r a t o r s   v ia   e nha n c e d  R D M A   f o r   di s a ggr e g a te d  da ta c e nt e r s ,”   I E E E   T r ans ac ti ons  on C om put e r s , v o l.  73, n o . 8,  pp. 2081 – 2095, Aug. 2024, do i:  10.1109/ T C .2024.3404089.   [ 32]   B .  C h o pr a ,  “ E nha n c in g  ma c h in e   le a r n in g  pe r f o r ma nc e :  T he   r o l e   of   G P U - ba s e d  A I   c o mput e   a r c hi t e c tu r e s ,”   J our nal   of   K now le dge   L e ar ni ng and  Sc ie nc e  T e c hnol og y , v ol . 3, n o . 3, pp. 29 – 42, M a r . 2024, do i:  10.60087/j k ls t. vo l3 .n3.p40.   [ 33]   Z .  P a n,  F .   Z ha ng,  H .  L i,   C .  Z ha ng,  X .  D u,  a nd  D .   D e ng,   “ G - S L I D E :  A   G P U - ba s e d  s ub - li n e a r   d e e p  l e a r ni ng   e ngi n e   v ia   L S H   s pa r s if i c a ti o n,”   I E E E   T r ans ac ti ons   on  P ar al l e l  and  D is tr ib ut e d  Sy s te m s ,  v o l.   33,  n o .   11,  pp.  3015 -- 3027,  20 21,    do i:  10.1109/ T P D S .2021.3132493.   [ 34]   P .  M a il la r d  e t  al . ,  “ R a di a ti o n  t o l e r a nt   d e e p  l e a r ni ng  p r oc e s s or   uni t  ( D P U )   ba s e d  pl a t f or m  us in g  X il in x   20n m  K in t e x   U lt r a S c a le TM   F P G A ,”   I E E E  T r ans ac ti on s  on N uc le a r  Sc ie nc e , v o l.  70, n o . 4,  pp. 714 – 721, Apr . 2023, do i:  10.1109 / T N S .2022.3216360.   [ 35]   C .  L i,   R .  X u,  Y .  L v ,  Y .  Z ha o ,  a nd  W .  J in g,  “ E dge   r e a l - ti m e   obj e c t  de te c ti o n  a nd  dpu - ba s e d  ha r dw a r e   i mpl e m e nt a ti o n  f or   o p ti c a l  r e m o t e  s e ns in g i ma g e s ,”   R e m ot e  S e ns in g , v ol . 15, n o . 16, Aug. 2023, do i:  10.3390/ r s 15163975.   [ 36]   Z .  W a ng,  C .  W a ng,  a nd  L .  W a ng,  “ D P U B e n c h:   A n   a ppl i c a ti o n - d r i v e n   s c a la bl e   b e n c hma r k  s ui t e   f or   c o mp r e h e ns i ve   D P U   e v a lu a ti o n,”   B e nc hC ounc il   T r ans a c ti ons   on   B e nc hm ar k s ,   St andar ds   and  E v al uat io ns ,  v o l.   3,  no .  2,  J un.  20 23,    do i:  10.1016/j . tb e n c h.2023.100120.   [ 37]   R .  W a ng,  X .  Y u,  Q .  W u,  C .  Y i,   P .  W a ng,  a nd  D .  N i y a t o ,  “ E f f ic i e nt   d e pl oy m e nt   of   pa r ti a l  pa r a ll e li z e d   s e r v i c e   f un c ti o n  c ha in s   i n  C P U + D P U - ba s e d  he te r o g e n e o us   N F V   pl a tf o r ms ,”   I E E E   T r ans ac ti on s   on  M obi le   C om put in g ,  v o l.   23,  no .  10,  pp.  9090 – 9107, Oc t.   2024, do i:  10.1109/ T M C .2024.3357796.   [ 38]   X .  G e ng,  H .  Z ha ng,  Z .  Z ha o ,  a nd  H .  M a ,  “ I nt e r f e r e nc e - a w a r e   pa r a ll e li z a ti o n  f or   de e p  l e a r ni ng  w o r kl o a d  in   G P U   c lu s t e r ,”     C lu s te r   C om put in g , vo l.  23, n o . 4,   pp. 2689 – 2702, De c . 2020, d o i:  10.1007/s 10586 - 019 - 03037 - 6.   [ 39]   A .  K a la nt a r ,  Z .  Z im me r ma n,  a nd  P .  B r is k,  “ F P G A - ba s e d  a c c e le r a ti o n  of   ti m e   s e r i e s   s im il a r it y   p r e di c ti o n :  F r om  c l o ud  t o   e d ge ,”   A C M  T r ans ac ti ons  on R e c on f ig ur abl e  T e c hnol ogy  and S y s te m s ,  vo l.  16 , n o . 1, pp. 1 – 27, M a r . 2023, d o i:  10.1145/3555810.   [ 40]   S. - O .  P a r k,  O .   K w o n,   Y .  K im ,  S .  K .  C ha ,  a nd  H .  Y oo n,  “ M i nd  c o nt r o l  a tt a c k :  U nde r mi ni ng  d e e p  l e a r ni ng   w it h  G P U   me mo r y  e x pl o it a ti o n,”   C om put e r s  &  Se c ur it y , vo l.  102, M a r . 2021, do i :  10.1016/j .c o s e .2020 .102115.   [ 41]   Z .  C he n,  “ R I F L I N G :  A   r e in f o r c e m e nt   l e a r ni ng‐ ba s e d  G P U   s c h e dul e r   f o r   d e e p  l e a r ni ng  r e s e a r c h  a nd  de ve l o pm e nt   pl a t f or ms ,”   Sof tw ar e :  P r ac ti c e  and E x pe r ie nc e , v o l.  52, n o . 6, pp. 1319 – 13 36, J un. 2022, do i:  10.1002/s pe .3066.   [ 42]   T .  T .  J .  K ir a n,  “ D e e p  r a ns f o r m  l e a r ni ng  v is i o n  a c c ur a c y   a na ly s is   o n  G P U   us in g  te ns o r   f l o w ,”   I nt e r nat io nal   J our nal   of   R e c e nt   T e c hnol ogy  and E ngi ne e r in g ( I J R T E ) ,  vo l.  9, n o . 3, pp. 224 – 22 7, S e p. 2020, d o i:  10.35940/i jr t e .C 4402.099320.   [ 43]   H .  L iu ,  S .  L iu ,  C .  W e n,  a nd  W .  E .  W o ng,  “ T B E M :  T e s ti ng - ba s e d  G P U - me m or y   c o ns umpt i o n  e s ti ma ti o n  f or   d e e p   le a r ni n g,”     I E E E  A c c e s s , v ol . 10, pp. 39674 – 39680, 2022, d o i:  10.1109/A C C E S S .2022.3164510.   [ 44]   J .  W e i,   X .  Z ha ng,  L .  W a ng,  a nd  Z .  W e i,   “ F a s te ns or :  O pt im is e   th e   t e ns or   I /O  pa th   f r o m  S S D   t o   G P U   f o r   d e e p  l e a r ni ng  tr a in in g,”   A C M  T r ans ac ti ons  on A r c hi te c tu r e  and C ode  O pt imi z at io n , vo l . 20, no . 4, pp. 1 – 25, D e c . 2023, d oi :  10.1145/3630108.   [ 45]   D. - K .  K a ng,  K . - B .  L e e ,  a nd  Y . - C .  K i m,  “ C o s t  e f f ic i e nt   G P U   c lu s te r   ma na ge m e nt   f or   t r a in in g  a nd  in f e r e n c e   of   d e e p  l e a r ni n g,”   E ne r gi e s , v o l.  15, n o . 2, J a n. 2022, d o i:  10.3390/ e n15020474.   [ 46]   D .  V a s a n,  M .  H a mm o ud e h,   a nd  M .  A la z a b,  “ B r o a d  l e a r ni ng :  A   G P U - f r e e   im a ge - ba s e d  ma lwa r e   c la s s if i c a ti o n,”   A ppl ie d  Sof t   C om put in g , vo l.  154, M a r . 2024, d o i:   10.1016/j .a s oc .2024.1114 01.   [ 47]   W .  G a o ,  Z .  Y e ,  P .  S un,  T .  Z ha ng,  a nd  Y .  W e n,  “ U ni S c h e d:   A   uni f ie d  s c he dul e r   f or   d e e p  l e a r ni ng  t r a in in g  j o bs   w it h  di f f e r e nt   us e r   de ma nds ,”   I E E E  T r ans ac ti ons  on C om put e r s , v o l.  73, n o . 6, pp.  1500 – 1515, J un. 2024, do i:  10.110 9/ T C .2024.3371794.   [ 48]   P .  V .  L a ks hmi ,   T .  A .   S .   S r in i v a s ,  A .   D .  D o na ld ,  S .   A bi da ,  I .   D w a r a ka ,  a nd  S r ih it h,  “ G P U   ma gi c :  T u r b oc ha r gi ng  y ou r   ma c hi ne   le a r ni ng m o d e ls ,”   C om put e r  G r aphi c s  and M ul ti m e di a T e c hnol ogy , 5A D .       B I OG RA P HI E S   OF   AU T HO RS       A y o u b  A l l a l i           b o rn   o n   A u g u s t   1 ,   1 9 9 7 ,   i n   Si d i   K a cem ,   Mo r o cc o ,   h as   p u rs u ed   a n   ac ad emi c   a n d   r e s e ar ch   c ar ee r   i n   t h e  fi el d s   o f  co m p u t er  s c i en ce   a n d   b i g   d at a.   H e  c o m p l e t e d   h i s   Bac h el o r 's   d eg r ee   i n   Mat h em at i c al   a n d   Co m p u t e r  S c i e n ce s   fro m   t h e   D e p art me n t   o f   Co m p u t e r   Sci en ce   at   t h e   Fa c u l t y   o f  S c i en ce s ,   I b n   T o fai l   U n i v e rs i t y   i n   K en i t ra,   Mo r o cc o ,   i n   2 0 1 9 .   Co n t i n u i n g   h i s   e d u c at i o n   at   t h e  s ame  i n s t i t u t i o n ,   A y o u b   e ar n e d   a  Mas t e r's   d e g r ee  i n   B i g   D at a  an d   Cl o u d   Co m p u t i n g   i n   2 0 2 1 .   Si n ce   2 0 2 2 ,   h e  h as   b ee n   a   d o c t o ra l   s t u d e n t   at   t h e   C o m p u t e r   R e s e arch   L ab o rat o r y   ( L aRI )   w i t h i n   t h e   D e p art men t   o f  Co m p u t er  Sci e n ce   at   t h e   Fa c u l t y   o f   S c i en ce s ,   I b n   T o fai l   U n i v e rs i t y .   H i s   r e s e ar c h   i n t e r e s t s   are   f o c u s e d   o n   b i g   d at a  a n d   d ee p   l e arn i n g ,   i n d i c at i n g   a   s t ro n g   c o mmi t men t   t o   a d v a n c i n g   k n o w l e d g e   i n   t h e s e  c ri t i c a l   ar e as   o f  d at a  s c i en ce .   H e   c a n   b e   c o n t ac t e d   at   em a i l :   a y o u b . al l a l i @ u i t . ac. m a.       Evaluation Warning : The document was created with Spire.PDF for Python.
                                I S S N :   2 5 0 2 - 4 7 52   I n do n e s i a n   J   E l e c   E n g  &   C o m p  S c i ,   Vo l .   38 ,   N o .   2 ,  M a y   20 25 :  1 324 - 1 330   1330     Zi n eb  El   F a l a h           b o rn   o n   F e b ru ar y   2 4 ,   1 9 9 7 ,   i n   M ek n e s ,   Mo r o cc o ,   h as   d e d i c at e d   h e r   ac ad emi c   a n d   r e s e ar c h   c ar ee r  t o   t h e  fi el d s   o f  c o m p u t er  s c i en ce   a n d   b i g   d at a.   Sh e  o b t ai n ed   h e r   Mas t e r's   d eg r ee   i n   B i g   D at a  an d   Cl o u d   Co m p u t i n g   i n   2 0 2 0 .   Si n ce  2 0 2 1 ,   s h e   h as   b ee n   a  Ph . D .   s t u d e n t   at   t h e   C o m p u t e r   S c i en ce   R e s e ar ch   L ab o rat o r y   (L aRi )   i n   t h e   Fa cu l t y   o f  S ci e n ce   at   I b n   T o fai l   U n i v e rs i t y .   H e r   r e s e ar c h   f o c u s e s   o n   d at a  an a l y s i s   an d   d eci s i o n - m ak i n g   i n   b i g   d at a,   u t i l i z i n g   art i fi ci al   i n t el l i g en ce ,   m a ch i n e  l e ar n i n g ,   an d   d ee p   l e arn i n g .   T h i s   d emo n s t rat e s   h e r  s t ro n g   c o mmi t men t   t o   a d v a n c i n g   k n o w l e d g e   i n   t h e s e   c r i t i c al   a re as   o f   d at a   s ci e n ce .  Sh e  c an   b e   co n t a c t ed   at   e m ai l :   z i n e b . el fal a h @ u i t . a c . m a.         A y o u b  Sg hi r          w as   b o rn   i n   1 9 9 6   i n   Sal e.   H e   r ecei v ed   h i s   Mas t e r’s   d e g r ee   i n   c o m p u t e r   s c i e n ce,   b i g   d at a  c l o u d   c o m p u t i n g   fr o m   I b n   T o fai l   U n i v e rs i t y ,   K en i t ra,   Mo r o cc o .   H e   i s   a  Ph . D .   s t u d e n t   i n   Co m p u t e r  R e s e ar c h   L ab o rat o r y   ( L aR I )  at   I b n   T o fai l .   H i s   r e s e arch   i n t e r e s t s   i n c l u d e  b i g   d at a,   d at a  s t o rag e ,   c l o u d   co m p u t i n g ,   an d   d i s t ri b u t e d   co m p u t i n g .   H e   c an   b e   co n t a c t ed   at   em ai l :   ay o u b . s g h i r @ u i t . ac. m a.         J a a f a r  A bo u ch a ba k a           b o rn   o n   F e b ru ar y   2 7 ,   1 9 6 8 ,   i n   G u e rs i f,   Mo r o cc o ,   i s   a   d i s t i n g u i s h e d   ac a d em i c  w i t h   a   p ro l i fi c  c ar ee r  i n   m at h emat i c s   an d   co m p u t e r   s ci e n ce.   H e   em b ark e d   o n   h i s   ed u c at i o n a l   j o u rn ey   at   K ad i   A y a d   U n i v e rs i t y   i n   Marrak ec h ,   M o ro cco ,   w h e r e  h e  o b t ai n ed   h i s   Ba ch e l o r's   d eg r ee   i n   F u n d a me n t al   Mat h em at i c s   fro m  t h e   D e p art me n t   o f   Mat h em at i c s ,   Fa c u l t y   o f  S c i en ce s ,   i n   1 9 9 2 .   H e   f u rt h e r e d   h i s   s t u d i e s   at   Mo h amme d   V   U n i v e rs i t y   i n   Rab at ,   Mo ro cco ,   e arn i n g   a  Po s t g rad u at e   D i p l o m a  (D E A )  i n   Mat h em a t i c s   i n   1 9 9 4 ,   an d   l at e r  a  D o c t o ra t e   i n   Co m p u t e r   S c i en c e s   A p p l i ed   t o   Mat h em at i c s   fro m  t h e   D e p art men t   o f   C o m p u t e r   S c i en ce   i n   2 0 0 1 .   Si n ce   2 0 0 5 ,   he   h as   h e l d   t h e  p o s i t i o n   o f  Pr o f e s s o r  i n   t h e  D e p art me n t   o f  C o m p u t e r   S c i en ce s   at   I b n   T o fai l   U n i v e rs i t y   i n   K en i t ra,   M o ro cco .   H i s   r e s e ar c h   i n t ere s t s   ar e  b ro ad   an d   i m p ac t fu l ,   f o c u s i n g   o n   c o n c u rr en t   an d   p aral l el   p ro g ra mm i n g ,   d i s t ri b u t e d   s y s t em s ,   art i f i c i a l   i n t e l l i g e n ce,   a n d   b i g   d at a .  O v e r  t h e  c o u rs e  o f  h i s   c ar ee r ,   h e  h as   co n t ri b u t e d   s i g n i fi c an t l y   t o   t h e   a c a d em i c   co mm u n i t y ,   au t h o ri n g   mo r  t h an   7 0   p a p e rs   an d   co m p l e t i n g   2   t h e s e s .   H e   c an   b e   co n t a c t ed   at   e m a i l :   j aafar. ab o u ch ab ak a@ u i t . a c . m a.         N a ja t  R a f a l i a           b o rn   o n   N o v em b e r  4 ,   1 9 6 8 ,   i n   K en i t ra,   M o ro cco ,   h as   e s t ab l i s h e d   h e rs e l f   as   a  p ro mi n en t   fi g u r e   i n   t h e   f i e l d s   o f  c o m p u t e r  s c i en c e  an d   ap p l i e d   m at h em at i c s .   H e r  ac ad emi c   j o u r n ey   b e g a n   at   Mo h a mmed   V   U n i v e rs i t y   i n   Rab at ,   Mo ro cco ,   w h e r e   s h e   r ec ei v ed   h e r   Bac h el o r 's   d e g r ee   i n   A p p l i ed   Mat h em at i c s   fro m   t h e   D e p art men t   o f  Mat h em at i c s ,   Fa cu l t y   o f   Sci en ce s ,   i n   1 9 9 2 .   Sh e   c o n t i n u e d   at   t h e   s ame   i n s t i t u t i o n   t o   e ar n   a  Po s t g rad u at e   D i p l o m a  (D E A )  i n   Co m p u t e r  S c i en ce   i n   1 9 9 4   an d   l at e r  a  D o c t o rat e   i n   Co m p u t e r  S ci e n ce s   fro m   t h e   D e p a rt me n t   o f   Co m p u t e r   S c i en ce   i n   1 9 9 7 .   Si n ce  1 9 9 7 ,   s h e  h as   s e rv e d   as   a   Pr o f e s s o r  i n   t h e   D e p art me n t   o f   Co m p u t e r  S ci e n ce s   at   I b n   T o fa i l   U n i v e rs i t y .   Fu rt h er  ad v a n c i n g   h e r  e x p e rt i s e ,   s h e  h a d   h e r   p o s t d o c t o ral   t h e s i s   i n   2 0 1 3   an d   c o m p l e t e d   h e r   t h i r d   D o ct o rat e   i n   Co m p u t e r  S ci e n ce s   at   I b n   T o fai l   U n i v e rs i t y   i n   K en i t ra,   Mo ro cco ,   i n   2 0 1 7 .   H e r  r e s e ar ch   i n t e r e s t s   are   d ee p l y   ro o t ed   i n   b i g   d at a  an al y t i c,   art i fi ci al   i n t el l i g en ce   an d   i t s   ap p l i c at i o n s ,   i n t ern e t   o f  t h i n g s ,   d i s t ri b u t e d   s y s t em s ,   m u l t i - ag en t   s y s t em s ,   co n cu rr e n t   an d   p aral l el   p ro g ra mmi n g .   T h ro u g h o u t   h e r  c ar ee r,   she   h as   m ad e  s i g n i fi c an t   c o n t ri b u t i o n s   t o   h e r  fi el d ,   au t h o ri n g   mo r  t h a n   7 0   p a p e rs   an d   c o m p l e t i n g   3   t h e s e s .  S h e   c an   b e   co n t a c t ed   at   em ai l :   n aj at . rafa l i a @ u i t . ac . m a .     Evaluation Warning : The document was created with Spire.PDF for Python.