Int ern at i onal  Journ al of Ele ctrical  an d  Co mput er  En gin eeri ng   (IJ E C E)   Vo l.   11 ,  No.   1 ,  Febr uar y  2021 , pp.  745 ~ 752   IS S N: 20 88 - 8708 ,  DOI: 10 .11 591/ ijece . v11 i 1 . pp 745 - 752          745       Journ al h om e page :  http: // ij ece.i aesc or e.c om   A power ful comp ar is on of  deep le arnin g frame wor ks for  Arabi c  sentimen t a n alys i s       Youssr a  Z ah idi 1 , Yacine El   Youn ou ssi 2 , Y as sine  Al - Amr an i 3   1,2 Inform at ion  S y stem  and  Softw are   Engi n ee ring   La bora tor y ,   Abdelmale k   Essaa d i U nive rsit y ,   Morocc o   3 Te chno logi es  d e  l ’Inform a ti on  e t  Modél isat ion   d es  S y st èmes ,   Ab del m al ek   Essaa d i  Univer si t y ,   Morocc o       Art ic le  In f o     ABSTR A CT   Art ic le  history:   Re cei ved   Oct   9 , 2 01 9   Re vised  A ug 11 ,   2020   Accepte d  Aug   23, 202 0       Dee p  le arn ing  ( DL)  is  a  m ac hine   le arn ing   (ML)  subdom ai n  tha t  invo lv es  al gorit hm s  t aken  from   the   br ain   func t ion  nam ed   a r ti fi cial  n eu ral   n et works   (AN Ns ) .   Rec ent l y ,   DL  appr oa che s  have   g ai n ed  m aj or  acco m pli shm ent s  ac ross   var ious  Arabi c  nat ur al   l angua ge  proc essing  (AN LP)  ta s ks ,   espe cia l l y   in   the   dom ai n  of   Arabi c  senti m ent   an aly sis  (AS A) .   For  working   on  Arabi c  SA ,   rese arc her s   ca n  use  var ious  DL   li bra rie s  in  the ir  project s,   but  without  justi f y ing   the ir   choi c e  or  they   choose   a   group   of  li br ari es  r ely i ng  on  th ei r   par ticula r   progra m m ing  la nguage  familiarity .   W e   are  basing   i n  th is  work  on   Java   and  P y tho n  progra m m ing  la nguag es  bec au se  they   hav e  a  l arg e  set  of  dee p  l ea rn ing  l i bra rie s  th at   are  ver y   useful  in  t he  AS A  dom ai n.   Thi s  p ape r   foc uses  on  a  compara ti ve  an alys is  of  diffe ren t   val uab le   P y thon   and  Java   l ibra r ie s   to  con cl ude  th e  m ost   rel ev ant   and  ro bust   DL  li bra ri e s  for  ASA.   Throw  thi s  compara t ive   anal y s i s,  and   w e  find   tha t:  T ensorF low,   Theano ,     and  K er as   P y th on   f rameworks  are   ve r y   popu la r  and  v er y   u sed  in  thi s    rese arc h   dom ai n .   Ke yw or d s :   AN L P   ASA   DL   Java lib rar ie s   Pyt hon  li brarie s   This   is an  open   acc ess arti cl e   un der  the  CC  B Y - SA   l ic ense .     Corres pond in g  Aut h or :   Youssra Za hid i ,    Inform at ion  System  an d So ftwar e  Enginee ri ng   La borato ry,   Abdelm al ek  Essaadi  Un i ver sit y ,    Tet uan, Mo r oc co .   Em a il :  yous sra 1994zahi di@ gm ai l.co m       1.   INTROD U CTION     Ar a bic  sentim ent  analy sis  or  o pi nion  m ini ng   ai m s  to  determ in e   the  senti m ent  po la rity   (positi vity ,   neg at ivit y ,   or  neu t rali ty )  of   a  wr it er.  A  la rge  var ie ty   of   opinions  are  bor ne   in  po sts  o n  di ff ere nt  so ci al   m edia  platfo rm s  l ike   Twitt er,  You Tu be,   I ns ta gra m ,   Faceboo k .   This  fiel d  of  researc h  ha s  recently   at t racted  increasin g  at te ntion   [1 ,  2] ,   es pecial ly   in  Engli sh .  Alth ough  the  Ar a bic  la ngua ge   is  deem ed  as  the  m os t  us e fu l   la nguag e  on so ci al   m edia p la tfo rm s,  on ly  s om e  wo rks   ha ve   re li ed   on  ASA  so   fa r.   Ther e  is   a  set   of   m achine  le a rn i ng   m od el s  powe rin g   nat ur al   l angua g e  proc essing   ( NL P )   a pp li cat io ns.   Re centl y,  DL   appr oac hes  ha ve  gai ned   high  pe rfor m ance  acro ss  va ri ous   NLP   ta sks   [ 3] .   S pecifica ll y,  it   has   held  go od   res ults  in  the   sen tim ent  analy si s  dom ai n  [4 - 7] ,  and  it   is  th e  sta te - of - the - art   m od el   in  di ff ere nt   la ngu age s   [8 - 10]   w hile   the sta te - of - the - art ac cur acy   for  AS A   sti ll   require s  am e li or at ion s .   DL  is  a   p a rt   of  the  M L   fiel d   con ce r ned  wit h  a  c ollec ti on  of  al gorithm s  ba se d  on   the  brai n   functi on   na m ed   ar ti fici al   n eu ral  n et work s   ( ANNs) .  It   is  a  ML   m e t hod  th at   te ach es  com pu te rs  t o  do  t hings  th at   are   natu ral  to  hum ans  by  cre at in g   arc hitec ture  m ade  up   of  an   input  an d  out pu t  la ye r  with  var i ou s   hidde n  la ye rs  (en c oders )  between  them .   N um ero us   te c hniqu es  a re  a pp l i ed   wit h  D L   li ke   recurre nt  neural  netw orks   ( RNN ) ,   deep ne ural  n et works  ( D NN),   conv olu ti onal   neural  netw ork s  (CN N ),   l ong short - te rm   m em or y  (LSTM),   et c.   Evaluation Warning : The document was created with Spire.PDF for Python.
                          IS S N :   2088 - 8708   In t J  Elec  &  C om p  En g,   V ol. 11,  No.  1,   Febr uar y  2021 :    7 45   -   752   746   As  par t  of   our   A rab ic   se ntim ent  analy sis  researc h  pro je ct ,  we  at te m pt  to  perform   a n  in - de pt h   com par at ive   ev al uatio n   t o  ac hieve  a   s umm a ri z at ion   o f   the   m os t  valuab le   pro gr am m ing   l angua ges,  w hi ch  a re  ab un dan t   i n  te r m s o f  ASA   li br aries.  We  try  t o  c om par e thes e  too ls   to s peci fy t he  m os t use fu l  ones .   Re centl y,  the  NLP   c omm un i ty   has  at te nd ed   num ero us   pe netrati ons  du e  to  the  app li c at ion   of  DL .   This  la te r  has  offer e d  sal ie nt   a m el iorati on s   in  the   dom ai n  of   se ntim ent  analy sis  in  En glish.  H ow e ve r,   le ss   researc h  ha s  be en  do ne   on  e m plo yi ng   DL   in  ASA .  Du e  to  it s  com plication ,  m or phol og ic al ,   a nd   sy ntact ic  abun dan ce ,  Arabic  ha s  deem ed  the  m os t  di ff ic ult  la ngua ge ,   a nd  it   has   a  lim i te d  nu m ber   of   DL  li br a ries   com par ed  t o other fam ou s la ngua ges  li ke  E ngli sh .   Choosin g  the  m os t  us efu l  lib ra ries  is  v ery   com plica te d  and   nee ds   an  in - dep t h   analy sis.  For  this   reason,   we   rel y   on  m any  co m par at ive  le vels.   F or   t he  pur po s e  of   t his  wo rk ,   we   com par ed   the  m os t  powe rful   DL  li braries   f or  AN L P  in   Pyt hon  a nd  Ja va  t o  sel ect   the   m os t  co nv e nient  gro up   of   li bra ries  that  a ddresse s  ou r   pur po se s  in  the   AS A d om ai n .   The  rest   of  this   arti cl e   is   div id ed   as  fo ll ows: Sect ion   2  sh ows   the  crit ic al   Ja va   an d   Pyt hon   li br aries   in  the  A ra bic  la ngua ge   f or   DL .  Sect ion   3   la ys  em ph asi s  on  a  detai le d  c omparati ve   stu dy ,   an d  it   al so   pr ov i des     a   con cl us io n  a bout  the  m os t  us ef ul  dee p  le arn i ng   li brarie s  in  the  fiel d  of   ASA.  T he  r esults  are  de ba te d  in  detai l i n  Sect io n  4 , a nd the   wo rk   is  fi nish e d   with  the   fi nal  idea s  i n  Sect io n  5 .       2.   A R ABI C  SE N TIMENT  A N ALYSIS   LIB RARIES  FO R  D L   This  s ect io n  presents  fo ur  open - s ource  li braries  for  Dee p  Lea rn i ng,  na m el y  Thean o,  Tens orFlo w,   Ker as ,   a nd D ee pl ear ning4j.     2. 1.     Ar ab ic   s u ppo r tin g  P yth on   li br aries  f or  D L   Nowa days,  DL   is  the   hott est   t rend  i n  ML   an d  AI.  We  sel ect ed  s om e  of   t he   best   Pyt hon  li br aries   f or   the Ara bic  la ngua ge, w hich  is  deem ed   the  m os t  po we rful   DL   li braries i n AS A.   Tens orFlo w:  it  is  an  op en - s ource  s of t war e  li br ary  f or   dataflo w  an d  dif fe ren ti able  pro gr a m m ing   on     a  range  of   ta s ks .  It  is  a  sym bo li c  m at h  tool   and   is  al s o  a pp li ed   f or   ML   app li cat io ns   l ike  ne u ral  net works.    It co m es w it h  r obus t s upport  f or  ML  and  DL ,  and the  f le xi bl e num erical  co m pu ta ti on  core  is em plo ye d  acro ss   var i ou s  oth e r  s ci entifi c  fiel ds .   Tens orFlo w  li br a ry  can  run  on   m ulti ple  G PU s  a nd   C PU s   (w it h  opti on al   SY CL   and   C U DA   e xt ensio ns   f or  ge ne ral - ai m   com pu ti ng  on  gra phic s  pro cessi ng  unit s).  It  is  ob ta ina ble  on   64 - bit  W i ndows ,  Li nux,  a nd  m ob il e  com pu ti ng  pl at fo rm s,  co nta ining  iO S  a nd  an droid .  For  m aking  it   sim ple  f or  us ers  t o  unde rs ta nd ,  debu g,   a nd   op ti m iz e  T ens or Fl ow   pro gr am s,  there  is  an  excel le nt  gro up  of   visu al i zat ion   too ls  nam ed  T ens or B oard  [11] . F i gure  1 pre sents the  Te nsorF l ow p yt hon l ibrar y a rc hitec tur e.   Thea no :  [ 12 ,  13] ,  is  a  cro s s - platf or m   op e n - s ource  to ol  that  per m it s  t he  resea rch e r  to  evaluate   m at he m at ic a l  expressi on s ,  in cl ud in g  m ulti - dim ension al   ar rays  w or t hily .  It   is  a  m at he m at ic al   li br ary ,  bu t  it   was  i niti al ly   c reated   t o  facil it at e   researc h  in  the   D L   fiel d .  Ba se d  on  t he  a dvanta ges   of  T hea no,  di ver s   pack a ges  have   been   devel op ed,   s uch   as  K eras,  Pyl ear n2,  Bl ock s ,  an d  Lasag ne   [ 14 ] .  Thea no   has  m any   featur e s  li ke  it   pro vid es   m os t  of  Nu m Py’s  f un ct io nalit y,  but  ad ds  aut oma ti c  sy m bo li c  diff e re ntiat ion ,   offe rs   trans par e nt  em plo ym ent  of   a   GPU  al so  it   do e s  the  der i va ti ves  f or   func ti on s  with  on e   or  num ero us   inputs .   Figure  2   pr e se nts   the  Th ea no  a rch it ect ure.             Figure  1.  Ten s orflo w  python  li br ary a rch it ec ture     Figure  2 .  Thea no Pyt hon l ibr ary  arc hitec tur e       Ker as :  It  is  a  t op - le vel  ne ur al   networ ks   API,   able  to   work   on   to p  of   Thea no ,   Te nsor Flo w ,  an d  ot he r   too ls .  It  was  c reated   to  pe rm it   rap id   e xp e ri m entat ion   with   dee p  ne ural   ne tworks .  Ke ras   runs  seam le ssly   on  CPU  or  G PU.  It  pro vid es   si m ple   and   rap i d  prot otyp ing   a nd   s us ta in s  both  rec urre nt  netw ork s  an d  Evaluation Warning : The document was created with Spire.PDF for Python.
In t J  Elec  &  C om p  En g     IS S N: 20 88 - 8708       A powerf ul c omp ar is on o f  de ep  le arni ng fra meworks  for  a r ab ic   sentime nt  analysis   ( Y ou s sra   Zahidi )   747   conv olu ti onal   netw orks,   as  well   as  conjuncti on s  of   t he   tw o.   Fig ure  3  sho ws  the  Ker as  a rch it ec ture .   Dep e ndin g  on  the  li te ratur e,  we  f ound  that  these  li br a ries  are  ve ry  us e d  i n  the   ASA   fiel d,   a nd   m any  auth ors   reco m m end   th e m   in  their   w orks .   Ta ble  1  hi gh li ghts  a   c om par is on  of  m any  valua ble  dee p  le ar ning   li braries  in   Ar a bic  se ntim e nt an al ysi s.           Figure  3 .  Ke ra s  Pyt hon  li br a r y archit ect ure       Table  1.  C om par iso n of t he  m os t  us ed   DL   li braries i n AS A   Librar y   Creato r   Has Pre - trained   Mod els   Platf o r m   Interf ace   So f tware  Licence   W o rks  in AS A   Tens o rf lo w   Go o g le Brain tea m     Yes     Linu x ,  m acO S,  W in d o ws,  An d roid   Py th o n  ( Ker as),   C/C ++,  Jav a,   Go ,  R   Ap ache 2 .0   [ 1 5 ] [16 ] [17 ] [18 ]   [ 1 9 ] [20 ] [21 ] [22 ]     Thean o   Un iv ersité de  Mon tréal   Thro u g h   Lasagn e's  m o d el  zo o   Cro ss - p latf o r m   Py th o n  ( Ker as)   BSD licen se   [ 2 3 ] [24 ] [25 ] [26 ]   [ 2 7 ] [28 ] [29 ] [30 ]   Kera s   Franço is Ch o llet   Yes   Linu x ,  m acO S,  W in d o ws   Py th o n ,  R   MI T  licens e   [ 2 0 ] [25 ] [26 ] [29 ]   [ 3 1 ] [28 ] [32 ] [33 ]       2.2.    Ar ab ic   su ppo r tin g  Java   t oo lki t s  f or D L   We  ch os e  the  Deep l ea rn i ng4j   li br a ry  because   it   is  con side red   as  the  m os t  us efu l  Ja va  de ep  le arn i ng   li br ary   in  A ra bi c  s entim ent  a naly sis :   Deep l ea rn i ng4 j :  It  is  release d   under   a pac he  li cense   2.0,  cr eat ed   m a inly   by  a   ML   set   head qua rtere d  in   T ok y o   a nd  S an  F ranci sco   a nd led  by  Ad a m  G ibso n.  It is  a free a nd cr oss - platf or m  too l ,   an d  i t  was des ign e d  to  integ ra te   with   S park ,  Ha doop,   an d  oth e r   Java - bas ed  di stribu te d  s of t w are.  It  is  de sig ned  f or  Java   vi rtual  Ma chine  a nd  Java  as   well   a s  com pu te r  fr a m ewo r ks   t hat  broa dly  suppo rt  dee p  le ar ni ng  al go rithm s.  It  has     pre - trai ne d  m od el s  an d  su sta i n s  CU DA,  but  it   can  be  m or e  qu ic ke ne d  w it h  cuDNN.  T his  li br ary  al so  of fe rs   GPU  s upport   f or  the   distri bu t ed  fr am ewo r k,  an d  we   c an   se le ct   native  CP Us  or  GP U s  for  our   bac kend   li near  al gebra  proces ses. F i gure  4  s hows  t he Dee pl earn in g4j  arc hi te ct ur e .           Figure  4 .  Dee pl earn in g4J Ja va  l ibrar y a rc hitec ture       3.   COMP ARAT IVE EV AL U ATIO N  O F  D L T OOLS   In   t his  pa rt,  we  will   pr ese nt  our   in - de pt h  c om par at ive  stud y  on  va r i ous   le vels:  fi rst,  we  s ho w     the  m any  essenti al   sta nd ar ds   and   the  m os t  c riti cal   app li cat i on   area s.  The n,  we  rely   on   th e  GitHub   resu l ts  and   the  hist or y   of   G oogle  T rends  t o  c on cl ude  the  m os t  powe rful  DL  l ibrar ie s   that  s at isfy  our  s pe ci fic   requirem ents   ve ry w el l.     3.1.    C ompari so n  of the  m ost  f am ou s   o pen - s ourc e  DL   li b raries   The  c om par ison   of  these  D L  to ols   ca n   r el y   on   di ff e re nt  crit eria.  Ta ble  2   s ho ws   a  var ie ty   of   par am et ers  ad opte d  i n  this  com par at ive study :     Evaluation Warning : The document was created with Spire.PDF for Python.
                          IS S N :   2088 - 8708   In t J  Elec  &  C om p  En g,   V ol. 11,  No.  1,   Febr uar y  2021 :    7 45   -   752   748   Table  2 .  E val ua ti on   of d if fere nt d ee p  le a rn i ng li braries       Kera s   Thean o   Tens o rFlow   Deepl earnin g 4 j   W ritt en  in   Py th o n   Py th o n   C++, P y th o n     C++, Jav a   RB M/DBNs     Yes   Yes   Yes   Yes   Parallel   Execu tio n   Yes (on ly  po ss ib le with th e  Tens o rFlow b acke n d )   Yes     Yes     Yes   Do cu m en tatio n     The   Ker as p roject  h as rich   d o cu m en t atio n ,   an d  a  g rou p   o f  exa m p les ai m in g  at  a  large  n u m b er  o f   d i f f icu lties  is p rov id ed   [ 3 4 ] .     Do cu m en tatio n  f o r  Thean o   an d   Tens o rFlow  is  v er y   ab u n d an t ; it  o f f e rs   a  large   a war en ess   o f  the   Tens o rf lo w   an d   Thean o  bas ics, f ro m  ins tallatio n  t o   crea tin g   h u g e  n etwo rks  on   th e  d istrib u ted  env ironm e n t   [ 3 5 ] .     The   web si te   of   th e  De ep l earnin g 4 j  lib rar y  of f ers   h elp f u l  ex a m p les   an d   d o cu m en tatio n   [ 3 5 ] .   Paralleli z in g   tech n iq u e  su p p o rt   CUDA Su p p o rt     Yes   Yes   Yes   Yes   Op en MP  Su p p o rt   On ly  if  us in g  T h eano  as  b acken d     Yes   No   Yes   Op en CL Sup p o rt   O n  th e  road m ap  f o r  th e  Tens o rFlow b acke n d   an d   u n d er  crea tio n   f o r  th e  Thean o  back en d   The b acken d  was  b u ilt   to  su p p o rt  Op en CL,  b u t curre n t  su p p o rt  is d ef icien t   (un d er  crea tio n )   On  r o ad m ap   b u t alr eady  with  SYCL   su p p o rt   On  r o ad m ap       3.2.    C ompari so n  by  su pp or ted trea tmen t s  in  DL   and  N LP  fiel ds   In  Ta bles  3  a nd  4,  we   h i gh li gh t  t he  es senti al   s upporte d  t r eatm ents   of  DL   to ols   Te nsor Flow,   Ker as ,   Thea no ,   a nd  D eep l ear ning4j.   We  al s o  ai m   t o  c om par e  the m   fo r  co nclu di ng  the  li brary  that  s us ta in s   a  ver y  high  am o un t  of   cov e re d  ta sks.   Accor ding  to  this  ben c hma rk i ng   stu dy,  Pyt hon  li br arie s  Tenso rF l ow,   Ker as,  and   T hea no   suppo rt  alm os t  t he  sam e  ta sk s  in  A NLP   or   de ep  le arn i ng.  C om par ed  to  the   Deep l ear ni ng4j   Ja va   li br ary, t hese t hr ee  Pyt hon l ib rar ie s s uppo rt  a large  num ber o f  a pp li cat ions.       Table  3 .  C om par iso n of DL   li br a ries in  term s   of  diff e re nt net work  t ypes   Variable   Netwo rk t y p es   Recu rr en t  Neu ral  Netwo rks   (RNN)   Lon g - Sh o rt  Ter m   Me m o ry  Netwo rks   (L ST M)   Recu rsiv e  Neu ral  Netwo rks   (RNN)   Seq u en ce to  Seq u en ce  (seq 2 seq )  m o d els   Co n v o l u tio n al  n eu ral  n etwo rks   (CNN)   Bi - d irection al  LST Ms   Kera s   Y es   Y es   No   Y es   Y es   Y es   (N o   Arabic )   Thean o   Y es   No   No   Y es   (N o   Arabic )   Y es   No   Tens o rf lo w   Y es   Y es   No   Y es   Y es   Y es   (N o   Arabic )   Deeplearn in g 4 j   Y es   Y es   Y es   Y es   (N o   Arabic )   Y es   No       Table  4 .  E val ua ti on   of   DL   to ols   in  term s  of  NLP   ta s ks     Kera s   Thean o   Tens o rf lo w   Deepl earnin g 4 j   Natu ral  Lang u ag e Pr o cess in g   Task s   Arabic Senti m en t  An aly sis   Y es   Y es   Y es   Y es   Machin e tr an slatio n   Y es   Y es   Y es   No   Co n v ersatio n s  /  Qu estio n  Ans wering  ( QA )   Y es   Y es   Y es   No   Lang u ag e  m o d elin g   Y es   No   Y es   No   Sp eech recog n itio n   Y es   Y es   Y es   No   Text class if icatio n   Y es   Y es   Y es   Y es   Text  su m m a riz atio n   Y es   Y es   Y es   No   Text g en eration   Y es   Y es   Y es   No   Na m ed   Entity  Rec o g n itio n   ( NER )   Y es   Y es   Y es   No   Part - Of - Sp ee ch  ta g g in g   ( POS )   Y es   Y es   Y es   Y es   Dep en d en cy  parsi n g   Y es   Y es   No   No   W o rd e m b ed d in g s   Y es   Y es   Y es   Y es   Se m an tic Ro le  L ab ellin g  ( SRL)   No   Y es   No   No   Seq u en ce tagg in g   No   No   No   No           Evaluation Warning : The document was created with Spire.PDF for Python.
In t J  Elec  &  C om p  En g     IS S N: 20 88 - 8708       A powerf ul c omp ar is on o f  de ep  le arni ng fra meworks  for  a r ab ic   sentime nt  analysis   ( Y ou s sra   Zahidi )   749   3.3.    Co m pa r ati ve  eva lu ati on   of  th e  o pen  s oftware  t ools   f ocus ed   on   the   f orks ,   s ta rs ,  c ommit s ,  and   c ontri butors   r ecei ved  b y the   GitH ub   c om munit y   The   GitHub  sit e   n um ber s  a re  const antly   var i able .  T hat   i s  w hy   we  will   se le ct   the  consulta ti on   date  of  th es e   pieces  of  inform at ion   ( 17 / 06 / 20 20 ).   T able  5  s hows  t he  GitH ub  res ults .   Re li ed   on   the  fo ll owin g   resu lt s,   we  deduce  t hat  Ten s orflo w  is   the m os t used,  purs ued  by  Ke ras  a n d fi nally  Th ea no and  De epl ear ning4j.       Table  5 .  G it H ub  resu lt s   Librar y   Tens o rFlow   Kera s   Thean o   Deeplearn in g 4 j   Lang u ag e   Py th o n   Py th o n   Py th o n   Jav a   Stars   1 4 6 0 0 0   4 8 7 0 0   9200   1 1 7 0 0   Fo rks   8 1 7 0 0   1 8 4 0 0   2500   4800   Co n tribu to rs   2529   818   332   37   Co m m its   8 8 2 7 8   5343   2 8 1 2 0   969       3.4.    C ompari so n  of  l ibrarie s  a cc ordin g to Go ogle  Tren ds and  GitH u b  p ull   r eq uest   h istor y   In  Fi gure s   5  and   6 ,  we  hi ghli gh t  the   res ults  of   Goo gle  Trends  a nd   GitHub  pu ll   re quest   history .   Accor ding  to  Goo gle   Tre nds   histo ry   res ults,  we  ca n  co ncl ud e   t hat  Ke ras   and   Tens orFl ow   li braries  a r e  ver y  fam ous   withi n  the  use rs '   co m m un it y.   Fo c us in g   on   Git Hub  pu ll   requ est   histor y   res ults,  Te ns orFl ow   is  consi der e d  t o b e the m os t com m on ly  u sed  c om par ed  to t he  t hr ee  o t her  li br a ries in  rece nt years.           Figure  5 .  G oogl e Trends   h ist ory           Figure  6 .  GitH ub  p ull  r e quest   h ist ory   Evaluation Warning : The document was created with Spire.PDF for Python.
                          IS S N :   2088 - 8708   In t J  Elec  &  C om p  En g,   V ol. 11,  No.  1,   Febr uar y  2021 :    7 45   -   752   750   4.   RESU LT S  AND DI SCUS S ION   In  this  c om par at ive  eval uatio n,   we  s el ect ed  Java   a nd   Pyt hon  pr ogram m i ng  la ngua ges   because   they   are v ery p opul ar  a nd  ha ve  m any  use f ul  D L  li br a ries u sed   in  A S A.  I t  is ver y   dif ficult   to   de du ce   that o ne  t oo l   is   gr eat est   tha n  oth e r   to ols ,  as   these  to ols   a re  ve ry  val ua ble  an d  hav e   a  la rg e  popul arit y  in  these   fiel ds .    The follo wing  par t  pr e sents  our   c oncl us i ons:   Thea no :  is  gr e at   for  creati ng   netw orks  f ro m   a vaila ble   com pone nts  an d  re us in g  pre ‐ trai ne d  netw orks ,  bu t  m or e  chall eng i ng   as  far   a s  the  buil ding  of   perfect   so l ut ion s  is  co ncerned .  T he   m ai n   disad van ta ge  of   this   li br ary   is  fr e qu ently  long  c ompil e tim es w he n  c reati ng   hu ge   m od el s.    Tens orFlo w:  it   buil t  to  s ub st it ute  Thea no.  The se   t wo  tools   are,  i n  fact,   quit e  sim il ar.  A  ne ur al   netw ork  is  de cl ared   as  a  c om pu ta ti on al   gr a ph   l ike  in  Thea no,  w hic h  is  optim iz e d  duri ng   c ompil at ion.   Tens orFlo w,   howe ver,  has   a  faster  c ompil e  tim e  tha n  T heano,  bu t  it   is  slow er   than  oth e r  li br a ries.     A  sig nificant  new   feature   is  the  i m ple m e ntati on   of   dat a  par al le li s m ,  wh ic h  is  ident ic al   to  the  Iterati ve  Ma pRed uce  from  D eeplea r nin g4 j .   Ker as :  is  easy   to  us e  an d  offe rs  act ion a ble  f eedb ac k  up on   us er  er r or ,   an d  it   per m it s   f ast   prototypi ng.   Ker as  li br a ry  sit s  at op   T hea no   a nd  Te nsor Flow.  Dee plea rn i ng4j  f oc us e s  on  Ke ras  as   it s   Pyt ho n  A PI   a nd   i m po rts  m od el s  from   Ker as  and   t hroug h  K eras  from   Tenso r Flo w   an d  T heano .  Its  pro gr am s  are  generall y  sm a ll er th an  t he  equivale nt T heano a nd Te nsor Flo w progra m s.   Deep le a rn i ng4j:  pro vid es  gre at   so luti on s  for   beg in ne rs  inte rested  in  e xp l ori ng  dee p  ne ural   netw orks ,  appr opriat e  for   edu c at ion al   a nd   t rainin g   obj ect ive s .  O n  th e  oth e r  ha nd,  Tens orFlo w   a nd   Thea no   tools   are   m or e  su it able   f or ex per ie nce d use rs who  nee d  to  h a ve  m uch m or e co ntro l  over  n et work ar chite ct ur es .   As  a  su m m ari zat ion   of  this  sect ion ,   each   DL  t oo l   is  c ha racteri zed   by  i ts  be nef it s  in   AN L P  ta s ks .   Althou gh   they   sh are  al m os t  t he  sam e   char a ct erist ic s  and   adv a ntage s,  Ten so r flo w  outpe r form s  oth er  li br aries  accor ding  t o   G oogle  T rends   a nd  GitH ub p ull   re qu est   histo r y .  H ow e ve r,  when  we   ta lk  a bout Arabic Sent i m en t   analy sis,  an d  accor ding  to  t he  li te ratur e  a nd   va rio us   great   work s   in  the  fiel d  of   ASA,  we  fi nd  that:   Tens orFlo w,  T heano,  and  Ke r as are  ve ry po pula r  a nd  ver y  use d  i n  this  rese arch d om ai n.       5.   C O NC L US I O N   In   this  w ork,   we  desc ribe d  a  var ie ty   of   P yt hon  an d   Java  DL  to ols   that   are  deem ed  m os t  he lp fu l   in  AN L P.  Be si de s,  we   at te m pte d  al so  to  c oncl ud e   the  m os t  powe rful  a nd  use fu l  DL  li brari es  f or   t he  ASA   fiel d.  More ov e r ,  we   hav e  c om pare d   ea ch   li brar y  us ing   seve r al   aspects.   In   con cl us io n,   ever y  D L  li brary  is  char a ct e rized  by  its   a dv a nta ges  a nd  be nef i ts  in  ANLP  ta sk s.   F or  this  r easo n,   we  ch ose   this  set   of  l ibrar ie s   because  they  m ade great res ults in  t he  ASA tas k.       REFERE NCE S     [1]   Y.  Al  Am ran i,  e t  al. ,   “ Rec ov er y   of  the  opini ons  t hrough  the  spec i fic ities  of   docu m ent s  te xt , ”  in  2 019  Inte rnationa l   Confe renc e  on   Wirel ess Tec hno logi es,   Embe dd e d  and  Int el l ige n t   Syste ms ,   WITS  2019 ,   2019 .   [2]   Y.  Al  Am ran i,   M.  Laza ar ,   and  K.  E.  El   K adi rp,  “ Random  fore st  and  support  v ector  m ac hin e  base d  h y br id  appr o ach   to  sent iment anal y sis, ” in  Proce d ia  Computer  S cienc e ,   2018 ,   vo l.  127,   pp .   511 – 52 0.   [3]   Y.  Za hid i,   Y. El Y ounouss i,   and  C.   Azroum ahl i ,   “ Com par at ive   St ud y   of  th e  Mos t  Us efu l  Arabi c - s upporti ng  Natur al  La nguag e  Proce ss ing  and  Dee p  Le arn ing  Li br ari es, ”  in  2019   Inte rnational   Confe renc e  on  Optimizat ion  and   Appl ic a ti ons,   IC OA  2019 ,   2019.   [4]   S.  Aich,   et   al. ,   “ Convolut iona l   neur al   net work - base d  m odel   for  web - base d  te xt  cl assifi catio n, ”  Inte rnat iona l   Journal  of   Elec t rical   and   Computer  Eng ine ering   ( IJE CE) ,   vol. 9,  no.   6 ,   p p .   5185 - 5191 ,   2019 .   [5]   A.  W ahda n,   S.  AL   Hantoobi,  S.   A.  Sall oum ,   and   K.  Shaa la n,   “ A  S y stematic  Rev i ew  of  T ext   cl ass ifi c at ion  R ese ar c h   base d  on  Dee p   Le arn ing  Models  in  Arabi c  La nguag e,”  Inter nati onal  Journ al  of  Elec tri cal  and  Computer  Engi ne ering  ( IJ ECE ) ,   vol .   10 ,   n o.   6 ,   pp .   6629 - 6 643,   De c. 2020 .   [6]   Y.  Al - Am ran i,   M.  La zaar,   and  K.  E.   El kad iri ,   “ Senti m ent   ana l ysis  using  supervise d  cl assificat io n  al gorit hm s,”   i n   ACM  Int ernati o nal  Conf ere nce  Proce ed ing  S eri es ,   vol .   Par t  F12 94 ,   2017 .   [7]   Y.  Al - Am ran i,   M.  La z aa r ,   K.  Eddi ne ,   and  E.   L.   Kadir i,   “ Sent iment  Anal y sis  Us ing  Hy b rid  Method  of  Support   Vec tor  Ma chi n e and  Dec ision Tr ee , ”  J. Theor.   Ap pl.   In f. Tec hnol . ,   vol. 96 ,   no.   7,   p p.   1886 - 1895 ,   2 018.   [8]   G.  Al - Bdour,   R.   Al - Qurran,   M.  Al - A y y oub,   A.  Shatna wi,   “ Benchm ark ing  open  source   dee p  l ea rn ing  fra m eworks,”  Inte rnation al   Jo urnal  of El e ct ri c al  and  Comput er  Engi n ee ring   ( IJE CE) ,   vol .   10 ,   n o.   5 ,   pp .   5479 - 5 486 ,   Oct .   2020 .   [9]   N .   P.  Shetty ,   B .   Muni y al ,   A.  A nand,   S.  Kum ar,  and  S.  Prabhu ,   “ Predic ti ng  d ep ression  using  de ep  learni ng  and  ense m ble   al gor ithm s  on  raw  twit te r  da ta,”   Int er n ati onal  Journal  of  Elec tri cal   and   Computer  Enginee ring  ( IJE CE) ,  vol.   10 ,   no .   4 ,   pp .   3751 – 3756 ,   Au g.   2020 .   [10]   Y.  Al  Am ran i,   M.  Laza ar ,   and  K.  E.   El   Kad iri,   “ A  novel   h y b ri d  cl assifi cation  appr oac h   for  se nti m ent   an aly sis    of  te x t  docume nt, ”   Inte rnat ion al  Journa l   of  El e ct rica l  and  Computer  Enginee ring  ( IJE CE ) ,   vol.   8 ,   no .   6 ,     pp.   4554 – 4567 ,   2018.     Evaluation Warning : The document was created with Spire.PDF for Python.
In t J  Elec  &  C om p  En g     IS S N: 20 88 - 8708       A powerf ul c omp ar is on o f  de ep  le arni ng fra meworks  for  a r ab ic   sentime nt  analysis   ( Y ou s sra   Zahidi )   751   [11]   M.  Abadi  et   a l. ,   “ Te nsorF low:  A  sy st em  for  large - sca l e  m ac hi ne  learni ng , ”  in  Proce ed ings  of  t he  12th  USENI X  Symposium on  Operating  S yste ms   Design  and   Imple menta ti on,   OS D I  2016 ,   pp .   265 – 283 ,   2016 .   [12]   The   Theano  Deve lopment  Tea m   et   al. ,   “ The a no:  A  Py thon  f ramework  for  f ast  computat ion   of  m at hemati c al  expr essions,”  Co RR ,   Ma y   2016 .   [13]   F.  Bastien  et   a l. ,   “ The ano:   n ew  f e at ure s  and  spe ed   improvem ent s,”   CoRR ,   vo l. a bs/ 1211. 5,   Nov.  20 12 .   [14]   J.  Bergstra  e t  a l. ,   “ The ano: De ep Le arn ing  on   GP Us   with  P y thon,”  J .   Ma ch. Learn.   R es. ,   vol .   1 ,   pp .   1 – 48,   2011.   [15]   M.  M.  Fouad ,   A .   Maha n y ,   N .   Al joha ni ,   R .   A.   Abbasi,   and  S.   U.  Hass an,   “ ArW or dVec :  eff i ci en t  word  embeddin g   m odel s for  Arab ic   twee ts , ”  So ft  Compu t. ,   vo l. 24 ,   no .   11 ,   pp .   806 1 – 8068,   2020 .   [16]   R.   Baly   et   al . ,   “ Com par at ive   E val ua ti on  of  Senti m ent   Anal y s i s  Methods  Acro ss   Arabi c  Dial e ct s,”   in  Proc edia   Computer  Scien ce ,   2017,   vol .   11 7,   pp .   266 – 273 .   [17]   E.   Om ara,  M.   Mos a,   and  N .   I sm ai l,   “ Dee p  C onvolut ional  Ne twor k  for  Arabi c  Senti m en t  An aly s is,”  in  2018   Proce ed ings  of  t he  Japan - Af rica   Confe renc e  on  E le c tronic s,  Com municat ions,  a n d  Computati ons,   JA C - ECC   2018 ,  pp.   155 – 159 ,   20 19 .   [18]   M.  Alfonse  and   E. - S.   M.  E l - Horbat y ,   “ Opinion  Mining  for  Ara bic   Dia lects  on  Twit ter,”  Eg y pt.  Comput.   Sc i.  J . ,    vol.   42 ,   no .   4 ,   pp .   52 – 61 ,   2018 .   [19]   R.   M.  Alahmar y ,   H.  Z.   Al - Dos sari,   and  A.  Z.   Emam ,   “ Senti m ent   an aly sis  of  saudi  diale ct   usi ng  dee p  learni n g  te chn ique s,”   in   ICEIC  2019  -   Inte rnational   Confe renc e  o n  El ectronics,   Information,   an d  Comm uni cat ion ,  Auckla nd,   New  Ze a la nd,   pp.   1 - 6 ,   2019.   [20]   H.  Abdell aou i  a nd  M.  Zri gui ,   “ Us ing  twee ts  an d  emojis  to  build  TE AD :  An  Arabi c  d at as et   for  senti m ent   an aly s is, ”   Comput.   y   Sist . ,   vol.   22 ,   no .   3 ,   pp .   777 – 786 ,   2018 .   [21]   R.   Baly ,   e t  al.,   “ Com par at ive   E val ua ti on  of  Se nti m ent   Anal y si s  Methods  Acro ss   Arabi c  Dial e ct s,”   in  Proc edia  Computer  Scien ce ,  vol .   117 ,   pp .   266 – 273 ,   2017 , .   [22]   A.  El naga r ,   L .   L ulu,   and  O.  Ei n e a,   “ An  Annotat e d  Huge  Data set  for  Standa rd  and   Coll oquia l  Ara bic   Reviews   for   Subjec ti v e  Sen tim ent   Anal y sis, ” in  Pr oc edi a   Computer  Scienc e ,   vol.   142 ,   pp .   182 – 189 ,   2018 .   [23]   S.  Rosentha l,   N.   Farra ,   and  P.  N akov,   “ Sem Eva l - 2017  Ta sk  4:  S ent iment  Anal y s is  in  Twit te r,”  i n  Proce edi ngs  of   the   11 th  Int ernat ional   Workshop  on  Semantic Eva luat ion  ( SemE va l - 2017) ,   pp.   502 – 518 ,   2017 .   [24]   A.   Barhoumi,   Y.   Estè v e,  C.   Alou lou,   and  L .   H .   B el guit h ,   “ Docum ent   embeddings  for  Arabi c   Sent i m ent   Anal y sis,”   in  Proc ee dings   o f  th e  F irst Confe renc e  on   Langua ge  Proc essing  a nd  Knowle dg e Manageme nt ,   vo l.   1988 ,   2017 .   [25]   S.  Al - Aza ni  and   E.   S.  El - Alf y ,   “ Emojis - base d   se nti m ent   c la ss ifi c at ion  of  Arab ic   m ic roblogs  using  dee p  r ec urre n t   neur al   n et works , ”  in  2018  Int e rnational   Confer enc e  on  Computing  Scienc es  and  Engi nee rin g,   ICCSE  2018   -   Proce ed ings ,   pp .   1 – 6 ,   2018 .   [26]   S.  Al - Aza ni   an d  E.  S.  M.  El - Alf y ,   “ H y brid   Dee p  L ea rning   f or  Senti m ent  Polari t y   D eterm ina ti on  of   Arabi c   Microbl ogs,”   in   Lect ure  Note s  i n  Computer  Scienc e  ( inc lud ing  subs erie s  Lect ure  Note s  in  Art if i ci al  Int ellige n ce  and  Lect ure   Not es  in Bi oin formatic s) ,   vol .   10635   LNCS,  pp.   491 – 500 ,   2017 .   [27]   M.  Al - Sm adi ,   B.   Ta l afh a ,   M.  Al - A y y oub,   and  Y.  Jara rweh,   “ Us ing  long  short - t er m   m emory   de ep   neur al  net works   for  aspe c t - base d  senti m ent   an aly s is of   Arabi c   rev i ews,”   Int .   J .   Ma ch.   Learn.   Cybe r n. ,   vo l.   10 ,   no .   8,   pp.   2163 – 2175 ,   Aug.  2019.   [28]   A.  Dahou,   S.  Xiong,   J.  Zhou,  M.  H.  Haddoud,   a nd  P.  Dua n,   “ W ord  embe ddings  and  con volut ional  neur a l    net work  for  Arabi c  senti m ent   class ifi cation,”  in  COL ING   2016 - 26th  Inte rnation al  Confe renc e  o n  Computati onal   Linguisti cs,   Pro ce ed ings o f   COL ING 2016:  Tech nic al   Pape rs ,   pp .   2418 – 2427 ,   20 16 .   [29]   S .   Al - Aza ni  and   E.   S.  El - Alf y ,   “ Emojis - base d  se nti m ent   c la ss ifi c at ion  of  Arab ic   m ic roblogs  using  dee p  r ec urre n t   neur al   n et works , ”  in  2018  Int e rnational   Confer enc e  on  Computing  Scienc es  and  Engi nee rin g,   ICCSE  2018   -   Proce ed ings ,   pp .   1 – 6 ,   2018 .   [30]   M.  Shahin,   J.  E pps,  and  B .   Ah m ed,   “ Autom at ic   class ifi cation  of  le xi ca l  str ess  in  Engl ish  and   Arabi c  l angua g es  using  dee p  l ea r ning, ”  in  Proc e edi ngs  of  th e  A nnual  Confe ren ce   of  the   In te r nati onal  Sp ee ch   Comm unic ati o n  Associat ion ,   INT ER SP EE CH ,   pp.   175 – 179 ,   2016 .   [31]   P.  Nakov,   et   a l. ,   “ Sem Eva l - 2016  Ta sk  4:  Sen ti m ent   Anal y sis  in  Twit ter,”  in  Proce ed ings  of  th e  10th  Inte rnat ion al  Workshop on  Se mantic   Ev alua tion ( SemE val - 20 16) ,   pp.   1 – 18 ,   2 016 .   [32]   A.  M.  Ala y b a,   V.  Pala d e,   M.   E ngla nd,   and  R .   I qbal ,   “ A  combined  CNN   and  L STM  m odel   for  Arabi c  sen ti m en t  ana l y sis, ”  in   Le ct ure  Not es  in  C omputer  Sci en ce  ( inc ludi ng  subs erie s  Lect ure   N ote s  in  Arti f ic ia l   Inte l li gen ce  an d   Lect ure  No te s in   Bi o inf orm ati cs) ,   vol. 11015 LNCS ,   pp.   179 – 191 ,   2018 .   [33]   S.  R.   El - B elta g y ,   M.  E l  kalam aw y ,   and  A .   B.   Solim an ,   “ Nile TMRG  at  Sem E val - 2017   Ta sk  4:  Arab ic     Senti m ent   Anal ysis,”   in  Proc ee di ngs  of  the   11th  I nte rnational   Wo rkshop  on  Semanti c  E val uat ion  ( SemE val - 2017) ,  pp.   790 – 795 ,   20 17 .   [34]   B.   J.  Erickson,  P.  Korfia ti s,  Z.   Akkus ,   T.   Kline,  and  K.  Philbr i ck,   “ Tool ki ts  an d  Li bra r ie s  for  Dee p  L e arn ing , ”  Journal  of   Digital Imagi ng ,  Spri nger   New York LLC,  vol .   30 ,   no .   4 ,   pp .   400 – 405 ,   Aug .  2017 .   [35]   A.  Parva t ,   J .   Cha van,   S .   Kad am, S .   Dev, a nd   V.  P at hak ,   “ A surve y  of  de ep - l ea rn in g  fra m eworks,” i n  Proceedi ngs o f  the   In te rnationa l   Confe ren ce on  I nve nt iv e   Syst ems and  Control ,   IC ISC  2017 ,   2017.                 Evaluation Warning : The document was created with Spire.PDF for Python.
                          IS S N :   2088 - 8708   In t J  Elec  &  C om p  En g,   V ol. 11,  No.  1,   Febr uar y  2021 :    7 45   -   752   752   BIOGR AP H I ES   OF  A UTH ORS       You ss ra  Z a hid i   is  a  Ph . D.   student   in   Com pute r   Scie nc e,   Infor m at ion  S y stem ,   and  Software   Engi ne eri ng  La b ora tor y ,   Abdelm al ek  Essaa d i  Univer sit y ,   T et u an,   Morocc o .  Sh e  is  a  Com pute r  Scie nc es  en gineer,   gra dua te d  i n  201 7   fro m   t he  Nati onal   Sc hool  of  Applie d  Scie nce s,   Abdelmale k  Essaa di   Univer sit y .                     Yacine  El  You nou s si   is  a  Ph . D.   doct or  and  p rofe ss or  of  computer   sci ences  a t  the   Na ti ona l  School  of  Applie d  Sc ie nc es  o f  Te tu an,   Info r m at ion  S y st em  and  Software   Engi ne eri ng  La bora tor y ,   Ab del m al ek  Essaa di  Univer sit y ,   T et uan ,   Morocc o .   He  is  a  superv isor  of  m an y   The sis ,   and  h e is pa rt   of  m an y   bo ard s of  in te rn at i onal   journa ls   an d  interna t iona l   c onfe ren c es.                 Yas sin e  Al - A mr ani   is  a  Ph . D.   doct o r  and  profe ss or   of   Com pute r   Scie nce s  at    the   Multi dis ci pl ina r y   Facult y   o f  La ra che ,  Abd emale k  Essaa d i   Univer sit y ,   Morocc o .   He   is     a  Com pute r  Sci enc es  E ng ine er ,   and  h e  is  par t  of  m an y   boar ds   of  I nte rna ti ona l   J ourna ls  and   I nte rna ti ona l  C o nfe ren c es .     Evaluation Warning : The document was created with Spire.PDF for Python.