I n d on e s i an   Jo u r n al   o El e c t r i c al   En gi n e e r i n g   an d   C o m p u te r   S c i e n c e   V o l .   22 ,   N o .   2 M a y   2021 ,   pp .   103 2 ~ 1040   IS S N :   25 02 - 4752 ,   D O I :   10. 1 1591 / i j e e c s . v 22 .i 2 . pp 103 2 - 1040             1032       Jou r n al   h o m e pa ge ht t p: / / i j e e c s . i a e s c or e . c om   A   c o m p a r a t i v e   st u d y   o f   d e e p   l e a r n i n g   b a sed  l a n g u a g e   r e p r e sent a t i o n   l e a r n i n g   m o d e l s       M o h amm e d   B o u k ab ou s ,   M o s tafa  A z i z i   M A T S I   R e s e a r c L a b ,   E S T O ,   M o ha m m e d   F i r s t   U n i v e r s i t y ,   O u j da ,   M o r o c c o       A r ti c l e   I n fo     A B S TR A C T   Ar t i c l e   h i s t or y :   R e c e i v e F e b   1 3 ,   2 02 1   R e v i s e M a r   24,   20 21   A c c e pt e A p r   11 ,   202 1       D e e l e a r n i ng   ( D L )   a pp r o a c he s   u s e   v a r i o us   p r o c e s s i ng   l a y e r s   t o   l e a r n   hi e r a r c hi c a l   r e p r e s e n t a t i o ns   o f   da t a .   R e c e n t l y ,   m a n y   m e t ho ds   a nd  de s i g ns   o f   na t u r a l   l a ng ua g e   pr o c e s s i ng   ( N L P )   m o de l s   ha v e   s ho w s i g ni f i c a nt   de v e l o pm e nt ,   e s pe c i a l l y   i t e x t   m i n i ng   a nd  a na l y s i s .   F o r   l e a r ni n g   v e c t o r - s pa c e   r e pr e s e nt a t i o ns   o f   t e xt ,   t he r e   a r e   f a m o us   m o de l s   l i k e   W o r d2v e c ,   G l o V e ,   a nd  f a s t T e x t .   I f a c t ,   N L P   t o o k   a   bi g   s t e f o r w a r w he B E R T   a nd  r e c e nt l y   G T P - c a m e   o ut .   I t hi s   pa p e r ,   w e   hi g h l i g ht   t h e   m o s t   i m po r t a nt   l a ng ua g e   r e pr e s e nt a t i o l e a r n i ng   m o de l s   i N L P   a nd  pr o v i de   a i ns i g ht   o f   t he i r   e v o l ut i o n.   W e   a l s o   s um m a r i z e ,   c o m pa r e   a n c o nt r a s t   t he s e   di f f e r e n t   m o de l s   o s e n t i m e nt   a n a l y s i s ,   a nd  t hu s   d i s c us s   t he i r   m a i s t r e ng t hs   a nd   l i m i t a t i o ns .   O u r   o bt a i ne r e s ul t s   s ho w   t h a t   B E R T   i s   t h e   be s t   l a ng ua g e   r e p r e s e n t a t i o l e a r n i ng   m o de l .     Ke y w or ds :   B E R T   D e e l e a rni n g   GPT - 2   N a t u ra l   l a n gu a ge   p r o c e s s i n g   R e pr e s e n t a t i o m o de l s   S e n t i m e n t   a na l y s i s   T hi s   i s   an   ope n   ac c e s s   ar t i c l e   u nde r   t he   C C   B Y - SA   l i c e ns e .     Cor r e s pon di n g   Au t h or :   M o h a m m e B o uka b o us   M A T S R e s e a r c L a b ,   E S T O   M o h a m m e F i r s t   U n i v e r s i t y   BP   473  c o m pl e xe   U n i v e r s i t a i r e   A l   Q o ds ,   O uj da   60000 ,   M o ro c c o   E m a i l :   m . b o uka bo us @ um p. a c . m a       1.   INT R O D U C TI O N     T h e   f i e l o f   n a t u r a l   l a ngua ge   p r o c e s s i n g   (N L P a i m s   t o   c o n v e r t   h u m a l a n gu a ge   i n t o   a   f o r m a l   r e p r e s e n t a t i o n   us i n a   r a nge   of   c o m put a t i o na l   t e c hn i que s   t o   m a ke   i t   e a s y   fo r   c o m put e r s   t o   m a n i pul a t e .   N L P   i s   ra pi d l y   a dv a n c i n due   t o   t h e   g r o w i n i nt e r e s t   i n   hum a n - to - m a c h i n e   c o m m u n i c a t i o n s ,   t h e   b i a m o u n t   o t e xt   da t a   s t o r e i n   t h e   w e b ,   a n t h e   po w e r f ul   c o m put i ng  s y s t e m s   a n e nha n c e a l go r i t hm s .   D e e l e a rn i ng  a l go ri t hm s   a nd  a r c hi t e c t u r e s   ha v e   m a de   r e m a r k a b l e   a dv a n c e s   w i t hi n   t h e   p a s t   f e w   y e a r s   i t h e   f i e l d   o f   t e xt   a n a l y t i c s .   N L P   m a r ke t   w a s   v a l ue by   M o r do r i n t e l l i ge n c e   a t   10. 93   b i l l i o n   U S D   i n   20 19,   a nd  i t   i s   p r e di c t e t r e a c h   t h e   w o r t h   o f   34. 8 b i l l i o U S D   by   2025  [1] .   D e pe n de nt l y   of   t h e   o bj e c t i v e s ,   N L P   c o ul b e   pr o c e s s e i n   t w o   w a y s :   1)  n a t u r a l   l a n gu a ge   unde r s t a n d i n g   (N L U a n (2)  na t u ra l   l a ngua ge   ge n e ra t i o n   ( N L G ).   N L U   i n v o l v e s   m a ppi ng  t h e   i n p ut   d a t a   i t h e   n a t u ra l   l a n gu a ge   f o r m   i n t o   us e f ul   r e p r e s e n t a t i o n s ,   a nd   a na l y z i n t h e   m ul t i pl e   a s pe c t s   of   t h e   n a t u r a l   l a n gu a ge   [2] .   N L G   i s   t h e   p r o c e s s   of   ge n e r a t i n m e a n i ngf ul   s e n t e n c e s   a nd  p hra s e s   i n   a   t a rge t e na t u r a l   l a n gu a ge ,   t h a t   i n v o l v e s   t e xt   pl a nni n ( r e t ri e v i n r e l a t e c o n t e n t   f r o m   t h e   k n o w l e dge   b a s e ),   s e n t e n c e   pl a nni ng  (s e l e c t i n r e qu i r e w o r ds ,   f o r m i ng  m e a n i ngf ul   p hra s e s ,   a n d   s e t t i n t o n e   o f   t h e   s e nt e n c e ),   a n d   t e xt   r e a l i z a t i o n   (m a p pi n g   s e nt e n c e s   o ut l i n e s   i nt o   s e n t e n c e s   s t r uc t u r e s [3] .   D e e l e a r ni n a l go r i t hm s   a r e   un a b l e   t o   de a l   w i t h   t e xt u a l   d a t a   i n   t h e i r   na t u r a l   l a n g ua ge   da t a   f o r m   w h i c i s   t y pi c a l l y   un s t r uc t u r e i n f o r m a t i o n;   t h e y   r e qui r e   s pe c i a l   r e p r e s e n t a t i o n   o f   da t a   a s   i nput s   i n s t e a d.   U s ua l l y ,   na t u r a l   l a n gu a ge   t e xt   da t a   n e e ds   t o   b e   c o n v e r t e i n t o   i n t e rna l   r e p r e s e nt a t i o n s   f o r m   t ha t   D L   Evaluation Warning : The document was created with Spire.PDF for Python.
In do n e s i a J   E l e c   E ng  &   Co m S c i     IS S N :   2502 - 4752       A   c om par at i v e   s t ud y   o f   d e e l e ar n i ng   bas e d   l angua ge   r e pr e s e nt a t i on   l e ar n i ng   ( Moham m e B ou k abo us )   1033   a l go ri t hm s   c a n   r e a s uc h   a s   f e a t u r e   v e c t o r s ,   h e n c e   t h e   n e c e s s i t y   t o   us e   r e pr e s e nt a t i o n   l e a rn i ng  m o de l s   [4] T h e s e   m o de l s   h a v e   s h ow n   a   b i l e a duri n t h e   l a s t   y e a r s .   T h e i r   s e t   r a nge s   f r o m   t h e   m e t h o ds   t h a t   e m b e w o r ds   i n t o   di s t ri b ut e r e p r e s e n t a t i o n s   a nd  us e   t h e   l a n g ua g e   m o de l i n o b j e c t i ve   t o   a dj us t   t h e m   a s   m o de l   pa r a m e t e r s   (l i ke   W o r d2v e c   [5] ,   f a s t T e xt   [6] ,   a n G l o V e   [7] ),   t o   r e c e n t l y   t r a n s f e r   l e a rni n m o de l s   (l i ke     E L M o   [8] ,   B E R T   [9] ,   U L M F i T   [10] ,   X L N e t   [11 ] ,   a n G P T - [12] ).   T h e s e   l a s t   us e   l a r ge r   c o r po ra ,   m o r e   pa r a m e t e r s ,   m o r e   c o m put i n r e s o ur c e s ,   a nd  i n s t e a o f   a s s i gni n e a c h   w o r w i t h   a   f i xe v e c t o r ,   t h e y   us e   m ul t i l a y e r   n e u r a l   n e t w o r ks   t o   c a l c ul a t e   dy n a m i c   r e p r e s e n t a t i o n s   f o r   t h e   w o r ds   a c c o r di ng  t o   t h e i r   c o n t e x t ,   w h i c i s   e s pe c i a l l y   us e f ul   f o r   t h e   w o r ds   w i t h   m u l t i pl e   m e a n i n gs .   T h e   r e s t   o f   t h i s   pa pe r   i s   o r g a n i z e a s   f o l l ow s :   i n   t h e   n e x t   s e c t i o n ,   w e   b r i e f l y   i n t r o duc e   s e n t i m e n t   a n a l y s i s ,   t r a n s f e r   l e a rni ng,   t h e n   t h e   m o s t   i m po r t a n t   l a n g ua ge   r e p r e s e n t a t i o n   l e a rni n t e c hni que s .   I n   S e c t i o n   3 ,   w e   m a ke   a   c o m pa ri s o b e t w e e n   t h e s e   t e c hni que s   a nd  di s c us s   o ur  f i ndi n gs .       2.   B A C K G R O U N D   2. 1 .       S e n ti m e n an al ys i s   S e n t i m e n t   a na l y s i s   (S A a l s o   kn o w n   a s   e m o t i o n   A o r   o pi ni o n   m i n i ng  i s   t h e   a na l y s i s   of   fe e l i n gs   f r o m   de m a t e r i a l i z e t e xt u a l   s o ur c e s   o n   l a r ge   a m o un t s   o f   da t a   (b i da t a ),   o r   f r o m   i m a ge s   [13] .   T h e r e   a r e   t hr e e   us ua l   g ra n u l a ri t y   l e v e l s   fo r   o pi ni o n   m i ni n [1 4] :   t h e   do c um e nt ,   t h e   s e n t e n c e   a n t h e   a s pe c t   l e v e l s   [15] .   T h e s e   s e n t i m e n t s   c a e xp r e s s   t h e   a u t h o r ’s   o pi n i o n,   hi s   e m o t i o n a l   s t a t e   (w h e n   w ri t i ng  hi s   t e x t ),   o r   a   de l i b e r a t e   s e n s e   of   c o n n e c t i o n   ( t h a t   t h e   a ut h o r   e xpe c t s   t o   m a ke   w i t h   r e a de r s ).   S e n t i m e nt   a n a l y s i s   i s   w i de l y   us e d   i n   s e c ur i t y   i n t e l l i ge n c e   purpo s e s   t o   a n a l y z e   a n d   s y n t h e s i z e   i n d i v i dua l   r e a c t i o n s   t o   de duc e   t r e n ds   a nd  us e r   n e e ds   [16] In de e d,   w e   h a v e   a l r e a dy   ov e r v i e w e i n   [16]   l e a rni n g - b a s e t e c hn i que s   o s e n t i m e n t   a na l y s i s   fo r   s e c ur i t y   purpo s e s .     2. 2 .       T r an s fe r   l e ar n i n g   D e e l e a rn i ng  m o de l s   n e c e s s i t a t e s   a   l o t   o f   da t a   a n t i m e   w hi l e   t r a i ni n [17] [1 8] .   T ra n s f e r   l e a rni n i s   a   t e c hn i que   t h a t   b e n e f i t s   f r o m   a n   a l r e a dy   t r a i n e w e i gh t   o n   b i da t a s e t s   fo r   a   l o n pe r i o of   t i m e   a n d   t r a n s f e r   t h i s   k n o w l e dge   [19]   t o   t h e   t a r ge t e m o de l .   F o r   i n s t a n c e ,   t h e   B E R T   m o d e l   w a s   t r a i n e fo r   da y s   o n   16  Cl o ud  T P U s ,   a n t h e   G P T - m o de l   ha s   175  b i l l i o n   pa ra m e t e r s   [20] .   T h e   i de a   o f   r e t r a i n i ng  t h e s e   m o de l s   w i t h   n e w   da t a   i s   v e r y   e xpe n s i v e ,   bo t h   i n   t e rm s   o f   t i m e   a n d   re s o ur c e s ,   s o   h e r e   i m p l e m e n t i ng  t r a n s f e r   l e a rn i ng  i s   m o r e   p ra c t i c a l   t ha r e t ra i ni n g.     2. 3 .       L an gu age   r e p r e s e n tat i o n   l e a r n i n g   m o d e l s   O n e   o f   t h e   i m po rt a nt   t a s ks   i n   N L P   i s   t h e   l e a rn i ng  o f   ve c t o r   r e p r e s e n t a t i o n s   o f   t e xt ,   a s   de e l e a rni n g   a l go ri t hm s   r e qui r e   r e p r e s e nt i n t h e i r   i n pu t   e nt r i e s   i n   a   v e c t o r   fo r m a t .   F o r   t hi s ,   w e   h i g h l i g h t   t h e   m o s t   i m po rt a nt   l a n g ua ge   r e p r e s e n t a t i o n   l e a rni n m o de l s   i n   N L P   a n w e   c l a s s i f i e t h e m   i n t o   t w o   c a t e go r i e s :   n e u r a l   w o r e m b e ddi n gs   a n d   t ra n s f e r   l e a rni ng  t e c hn i q ue s ,   t h e w e   c o m pa r e t h e m   a s   s h o w n   i T a b l e   1.       T a b l e   1 .   C l a s s i f i c a t i o o f   N L P   l a ngua ge   r e p r e s e n t a t i o n   l e a rn i n g   m o de l s         Co n t e x t   D i re c t i o n   D o w n s t r e a m   M o d e l   Ba s e   A r c h i t e c t u r e       U n i d i r e c t i o n a l   Bi d i re c t i o n a l   T a s k - d e p e n d e n t   T a s k - i n d e p e n d e n t   S h a l l o w   n e u ra l   n e t w o rk   2   l a y e rs   bi - L S T M   3   l a y e rs   L S T M   T ra n s fo rm e E n c o d e r   T ra n s fo rm e D e c o d e r   T ra n s fo rm e r - XL   N e u ra l   W o r d   E m b e d d i n g s   W o r d 2 v e c                       f a s t T e x t                       G l o v e                       T ra n s fe L e a r n i n g   T e c h n i q u e s   E L M o                       BE RT                       Ro BE RT a                       A L BE RT                       U L M F i T                       X L N e t                       G P T - 2                               Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2502 - 4752   In do n e s i a J   E l e c   E ng  &   Co m S c i ,   V o l .   22 ,   N o .   2 M a y   202 1   :     1032   -   1 040   1034   2. 3 . 1.   N e u r al   w o r d   e m b e d d i n gs   a)   W o r d2v e c   i s   a n   u n s upe r v i s e l e a rn i ng  a l go ri t hm   t h a t   c o n s i s t s   of   a   gr o up  o f   r e l a t e m o de l s   us e f o r   w o r e m b e ddi n gs   ge n e ra t i o n.   It   i s   b a s e o n   t hr e e - l a y e r   n e u ra l   n e t w o r ks   a n d   s e e ks   t o   l e a rn   t h e   v e c t o r   r e p r e s e n t a t i o n s   o w o r ds   c o m pos i n a   t e xt ,   s o   t h a t   w o r ds   t ha t   s ha r e   s i m i l a r   c o n t e xt s   a r e   r e p r e s e nt e b y   c l o s e   di gi t a l   v e c t o r s   [21] .   W o r d2V e c   ha s   t w o   n e u r a l   a r c hi t e c t u r e s ,   c a l l e c o n t i nuo us   b a g - of - w o r ds   (CB O W a n d   S ki p - G r a m .   CB O W   r e c e i v e s   a s   i n p ut   t h e   c o n t e xt   o f   a   w o r d,   i . e . ,   t h e   t e rm s   s u rr o u n di ng  i t   i n   a   s e nt e n c e ,   a nd  t ri e s   t o   pr e di c t   t h e   w o r i n   que s t i o n .   S k i p - G ra m   do e s   e xa c t l y   t h e   o ppo s i t e :   i t   t a ke s   a   w o r a s   i nput   a nd  t r i e s   t o   p r e di c t   i t s   c o nt e xt   [5] .   b)   f a s t T e xt   i s   a   F a c e b oo k' s   A l i b r a r y   fo r   e ff i c i e n t   l e a rni n g   o f   s e n t e n c e s   c l a s s i f i c a t i o n   a n w o r   e m b e ddi n gs   [6] [ 22] .   It   s uppo rt s   m ul t i p r o c e s s i n du ri n t ra i ni n a n a l l o w s   t o   c r e a t e   a u n s upe r v i s e o r   s upe r v i s e l e a rn i ng  a l go ri t hm   t o   o b t a i n   v e c t o r   r e p r e s e n t a t i o n s   o f   w o r ds   a n s e nt e n c e s .   f a s t T e xt   us e s   a   n e u r a l   n e t w o r fo r   w o r e m b e ddi n gs   a n s uppo rt s   t r a i n i ng  c o n t i n uo us   b a of   w o r ds   (CB O W o r   s ki p - gra m   m o de l .   I t   c a b e   us e a s   a i ni t i a l i z e f o r   t ra n s f e r   l e a rni n g .   c)   G l o ve   i s   a n   un s upe r v i s e l e a rni n g   a l go r i t hm   t o   ob t a i n   w o r v e c t o r   r e pr e s e nt a t i o n s .   T hi s   i s   a c c o m pl i s h e by   m a ppi n w o r ds   i n   a   m e a n i n gf ul   s p a c e   w h e r e   t h e   di s t a n c e   b e t w e e n   w o r ds   i s   r e l a t e t o   s e m a n t i c   r e s e m b l a n c e .   T r a i n i ng  i s   pe r f o r m e us i ng  a n   u n de r l y i n c o un t - b a s e m o de l   o n   t h e   a gg r e ga t e d   gl o b a l   w o r t o   w o r c o - o c c urr e n c e   m a t ri w i t hi n   a   t e xt   c o r pus ,   a n t h e   s ub s e que n t   r e p r e s e n t a t i o n s   d i s pl a y   i n t e r e s t i n l i n e a r   s ub s t r uc t u r e s   i n   t h e   w o r v e c t o r   s pa c e .   It   c o m b i n e s   t h e   f e a t ur e s   o t w o   s e t s   of   m o d e l s ,   na m e l y   t h e   l o c a l   c o nt e xt   w i n do w   a pp r o a c h e s   a nd  t h e   g l o b a l   m a t r i x   f a c t o r i z a t i o [7] .     2. 3 . 2.   T r an s fe r   l e a r n i n g   te c h n i q u e s   a)   E m b e d d i ngs   f r o m   l a ng u a ge   m o de l s   ( E L M o i s   a   p r e - t ra i n e b i L S T M   (b i d i r e c t i o na l   L S T M l a ngu a ge   m o de l .   W o r e m b e dd i ng s   i s   c a l c u l a t e b y   t a ki ng  a   w e i g ht e s c o r e   o f   t h e   hi d de n   s t a t e s   f r o m   e a c h   l a y e r   o t h e   L S T M .   W e i g ht s   a re   l e a rne d   w i t do w n s t r e a m   m o de l   pa ra m e t e r s   f o r   a   p a rt i c u l a t a s k ,   b u t   L S T M   l a y e rs   a r e   ke p t   c o ns t a nt   [8] .   T hu s ,   t h e   s a m e   w o r d   u nde d i f f e r e nt   c o nt e x t s   c a ha v e   d i f f e r e nt   w o r d   v e c t o r s .   b)   B i di r e c t i o n a l   e n c o de r   r e p r e s e n t a t i o n s   f r o m   t r a n s f o r m e r s   ( B E R T i s   a n o t h e r   l a n gu a ge   r e pr e s e nt a t i o l e a rn i ng  m o de l   t ha t   us e s   a n   a t t e nt i o n   t r a n s f o r m e r s   m e c ha n i s m   t o   l e a rn   t h e   c o n t e xt u a l   r e l a t i o n s   b e t w e e n   w o r ds   i n   a   t e xt   i n s t e a o f   b i di r e c t i o na l   L S T M s   t o   e n c ode   c o n t e xt   w h i c h   s h o w s   t h a t   p r e - t r a i n i ng  t r a n s f o r m e r   n e t w o r ks   o n   a   m a s ke l a n gu a ge   m o de l i ng  o b j e c t i v e   l e a ds   t o   e v e n   b e t t e r   pe r f o r m a n c e   b y   pr e c i s e l y   a d j us t i n g   t h e   t ra n s f o r m e w e i ght s   o v e r   a   w i de   ra n g e   of   N L P   t a s ks   [9 ] .   c)   r o b us t l y   o pt i m i z e B E R T   p r e t ra i ni n a pp r o a c (R oB E R T a i s   a o pt i m i z e m o de l   r e s ul t i n g   f r o m   a n a l y s i s   of   G oo gl e ' s   B E R T   t ra i ni n m o de l   a n t h e   i de n t i f i c a t i o n   o f   s e v e r a l   c h a n ge s   t o   t h e   t r a i n i ng  pr o c e dur e   t h a t   e nha n c e   i t s   pe r f o r m a n c e   by   F a c e bo o k   A a nd  t h e   U n i v e r s i t y   of   W a s h i ngt o n   r e s e a r c h e r s .   S pe c i f i c a l l y ,   t h e s e   r e s e a r c h e r s   us e a   n o v e l   a n d   b i gge r   d a t a s e t   f o r   t ra i ni n g ,   t ra i n e t h e   m o de l   o ve r   f a m o r e   e po c h s ,   a n d   r e m o v e t h e   n e x t   s e que n c e   p r e di c t i o t ra i n i n o b j e c t i v e   [23] .   d)   l i t e   B E R T   f o r   s e l f - s upe r v i s e l e a rn i ng  o f   l a ngua ge   r e p r e s e n t a t i o n s   (A L B E R T i s   a   L i t e   v e r s i o of  B E R T ,   t hi s   m o de l   a r c h i t e c t ur e   i n c l ude s   t w pa ra m e t e r - r e duc t i o n   m e t h o ds :   c r o s s - l a y e r   pa ra m e t e r   s h a ri n a n f a c t o r i z e e m b e ddi n gs   pa ra m e t e r i z a t i o n .   F u rt h e r m o re ,   t h e   p r o po s e m e t h o c o n t a i n s   a   s e l f - s upe r v i s e l o s s   fo r   t h e   s e nt e n c e - o r de r   p r e d i c t i o [24 ] .   e)   U n i v e r s a l   l a n gu a ge   m o de l   f i n e - t u ni n f o r   t e xt   c l a s s i f i c a t i o n   (U L M F i T i s   a   t ra n s f e r   l e a rn i ng  m e t h o t ha t   ca b e   a ppl i e t o   N L P .   It   us e s   a   r e gu l a 3 - l a y e r   L S T M   a r c h i t e c t ur e   f o r   e i t h e r   p r e - t ra i ni n g   a nd  f i n e - t u ni n t a s ks .   U L M F i T   c o n s i s t s   o f   t hr e e   s t e ps :   ge n e r a l - do m a i n   l a n g ua ge   m o de l   (L M pe r t a i ni n ( pe rt a i n i ng  l a n gu a ge   m o de l   o n   a   l a r ge   ge n e ra l - do m a i c o r pus ),   t a rg e t   t a s L M   f i n e - t u ni n g   (t h e   L M   f i n e - t u n e o t h e   da t a   o f   t h e   t a r ge t   t a s k ),   a nd  t h e   t a r ge t   t a s c l a s s i f i e r   f i n e - t u ni n g   (f i n e - t u ni n g   t h e   c l a s s i f i e r )   [10] .   f)   X L N e t   i s   a   ge n e r a l i z e a u t o r e g r e s s i v e   (A R pe r t a i ni n g   m e t ho t ha t   us e s   t h e   c o n t e xt   w o r t o   p r e di c t   t h e   n e xt   w o r w h i c h   i s   c o n s t ra i n e t o   a   u n i d i r e c t i o n a l   c o n t e xt ,   e i t h e r   b a c kw a r o r   f o r w a r d .   A l t h o ug h,   X L N e t   l e a r n s   f r o m   b i d i r e c t i o n a l   c o n t e xt   us i n pe rm ut a t i o l a n g ua ge   m o de l i ng .   It   a l s o   i n f l ue n c e s   t h e   b e s t   o f   bo t h   A R   l a n gu a ge   m o de l i n g   a n a u t o e n c o de r s   w h i l e   a v o i di n g   t h e i l i m i t a t i o n s   [11] .   g)   G e n e ra t i v e   pr e t ra i n e t ra n s f o r m e r   2 - s uc c e s s o r   of   G P T   (G P T - 2 f o l l ow s   t h e   O pe n A G P T   m o de l   w i t h   a   f e w   a r c hi t e c t u r e   m o di f i c a t i o n s .   It   c o n s i s t s   of   a   b i t r a n s f o rm e r - b a s e l a n g ua ge   m o de l   w i t h   1. b i l l i o n   pa r a m e t e r s ,   t r a i n e w i t h   t h e   o b j e c t i ve   of   t h e   p r e di c t i o n   o f   t h e   n e xt   w o r d,   g i v e n   a l l   p r e v i o us   w o r ds   i n   a   t e xt .   A nd  u n l i ke   t h e   p r e v i o us   m o de l s   t ha t   r e qu i r e   p r e - t ra i ni n a nd  f i n e - t u ni n g,   t h e r e   i s   n o   f i n e - t u ni n g   s t e f o r   G P T - [12] .       3.   B U I LD I N G   M O D E LS   F i r s t ,   d a t a s e t   us e i n   e xpe ri m e nt s   w a s   c o m b i n e fr o m   CA R E R - E m o t i o n ,   D a i l y D i a l o g,   Cr o w dF l ow e r ,   a nd  Is e a r   t o   c r e a t e   a   r i c h   da t a s e t   w i t h   l a b e l s :   a nge r   (5k  s e nt e n c e s ),   j oy   (26k  s e n t e n c e s ),   s a Evaluation Warning : The document was created with Spire.PDF for Python.
In do n e s i a J   E l e c   E ng  &   Co m S c i     IS S N :   2502 - 4752       A   c om par at i v e   s t ud y   o f   d e e l e ar n i ng   bas e d   l angua ge   r e pr e s e nt a t i on   l e ar n i ng   ( Moham m e B ou k abo us )   1035   (13k  s e nt e n c e s ),   f e a r   (3. 6k  s e nt e n c e s ),   a n n e ut ra l   (94k  s e nt e n c e s ).   T h e   us e t e x t s   c o n s i s t   o f   t w e e t s ,   di a l o ut t e r a n c e s ,   a n d   s h o r t   m e s s a ge s   a s   s h o w n   i T a b l e   2 .       T a b l e   2 .   Co m b i n e d a t a s e t s   f o r   b e n c hm a rki ng   D a t a s e t   Y e a r   Co n t e n t   N u m b e r   o s e n t e n c e s   E m o t i o n   c a t e g o ri e s   CA RE   E m o t i o n   [2 5 ]   2018   T w e e t s   20k   A n g e r ,   a n t i c i p a t i o n ,   d i s g u s t ,   fe a r,   j o y ,   s a d n e s s ,   s u r p ri s e ,   a n d   t ru s t   D a i l y D i a l o g   [2 6 ]   2017   D i a l o g u e s   102k   N e u t ra l ,   j o y ,   s u rp r i s e ,   s a d n e s s ,   a n g e r,   d i s g u s t ,   a n d   fe a r   Cro w d F l o w e [2 7 ]   2016   T w e e t s   40k   E m p t y ,   s a d n e s s ,   e n t h u s i a s m ,   n e u t ra l ,   w o rr y ,   s u rp r i s e ,   l o v e ,   f u n ,   h a t e ,   h a p p i n e s s ,   b o r e d o m ,   re l i e f ,   a n g e r   Is e a [2 8 ]   1994   E m o t i o n   s i t u a t i o n s   7 . 5 k   J o y ,   fe a r,   a n g e r ,   s a d n e s s ,   d i s g u s t ,   s h a m e ,   g u i l t       3. 1 .       Wo r d 2v e c   an d   gl o v e   F o r   t h e s e   a l go r i t hm s ,   w e   s t a rt e by   i m po r t i ng  t h e   d a t a s e t   c re a t e pr e v i o us l y ,   t h e n   i n pu t   i t   i nt o   o ur   n e u r a l   n e t w o r m o de l ,   a n d   w e   do   s o m e   pr e p r o c e s s i n a nd   t o ke n i z a t i o n   us i ng  N L T K   t o   do ub l e   c h e c t h a t   s e n t e n c e s   a r e   pr o pe rl y   s pl i t   i n t o   w o r ds .   W e   c o ul a l s o   a dd  S t o p w o r r e m o v a l ,   b ut   s t e ps   l i ke   s t e m m i ng  o r   l e m m a t i z a t i o n   a r e   n o t   n e e de s i n c e   w o r ds   w i t h   t h e   s a m e   s t e m   c a n   ha v e   di ff e r e n t   m e a ni n gs .   M o r e o ve r ,   w e   s pl i t   t h e   da t a   a t   f i r s t   i nt o   D a t a   X   (c o n t a i n s   t e x t   da t a )   a n d   L a b e l   Y   (c o n t a i n s   t h e   e m o t i o n s ) ,   a n a l s o   t o   r a ndo m   t r a i ni n s ub s e t   a n v a l i da t i o n   s ub s e t   w i t h   8 0%  f o r   t r a i n i ng  s e t   a n 20%  f o r   t h e   v a l i da t i o n   s e t .   F i gu r e   s h o w s   t h e   n um b e r   o f   da t a   r o w s   f o r   e a c h   s e t   a n e a c h   e m o t i o n   t y p e .   A f t e r   t ha t ,   w e   i m po rt   p r e - t ra i n e d   m o de l s   (W o r d2v e c :   w i ki - n e w s - 300d - 1M ,   G l o v e :   S t a n f o r gl o v e . t w i t t e r. 27B a n c r e a t e   e m b e ddi n gs   m a t ri t o   m a p   e a c h   w o r i n   o u r   c o r p us   t o   t h e   e xi s t i n g   w o r v e c t o r ,   t h e n   w e   c r e a t e   o u r   n e u ra l   n e t w o r pi pe l i n e .     a)   T h e   f i r s t   l e v e l   c r e a t e s   e m be ddi ngs   of   w o r ds ,   us i n a   v oc a b ul a r y   s i z e   (36866),   a   m a xi m um   l e n g t h   (300) ,   a n a   s i z e   o f   e m b e ddi n gs   (36867 ,   300) .     b)   S pa t i a l D r o po ut 1D   (0 . 2) .   c)   Bi - L S T M   l a y e r   (128   u ni t s w h i c h   w i l l   r e c e i v e   w o r e m b e ddi n gs   f o r   e a c t o ke a s   i nput s .   d)   D r o po ut   (0 . 5).   e)   A   de n s e   l a y e r   w i t h   a   n u m b e r   o f   n e ur o n s   e qu a l   t o   t h e   c l a s s e s   o f   t h e   pr o b l e m   (5  u n i t s ),   a   s o f t m a x”   a c t i v a t i o n   f un c t i o n   f o r   m ul t i - c l a s s   c l a s s i f i c a t i o n ,   a nd  b e c a us e   of   t h i s ,   c a t e go r i c a l _c r o s s e n t r o p y   i s   us e d   a s   t h e   l o s s   f un c t i o n.   f)   F i na l l y ,   w e   t r a i n   o u r   m o de l   w i t h   a   b a t c s i z e   o f   32,   a n d   20  e po c h s .           F i gu r e   1 .   E m o t i o n s   d i s t r i b ut i o i t ra i ni n g   a nd  v a l i da t i o n   s e t s       3. 2 .       f as tTe x t   W e   us e   t h e   k t r a i n   l i b ra r y   [29]   a   l i g h t w e i ght   w ra ppe f o r   T e n s o r F l o w   w i t h   K e r a s .   It   i s   c r e a t e t o   m a ke   D L   e a s i e r   t o   a ppl y   fo r   do m a i n   e xpe r t s   a n b e gi nn e rs .   W e   f i r s t l y ,   i m po rt   t h e   kt ra i l i b r a r y   a n o u r   da t a s e t   t h e n   p r e p r o c e s s i n t h e   da t a   us i n t e xt . t e xt s _f r o m _a rr a y   of   t h e   kt r a i n   l i b r a r y   w i t h   t h e   f o l l ow i n pa r a m e t e r s :   c l a s s _ n a m e s = [‘j oy ’,   ‘s a d n e s s ’,   ‘f e a r ’,   a n ge r ’,   n e ut ra l ];   p r e p r o c e s s _m o d e = ’s t a n da rd’  ( r e f e r s   t f a s t T e xt   m o de );   m a xl e n = 300  ( m a xi m u m   l e n g t h   o f   t h e   t e xt ).   S e c o n dl y ,   w e   c r e a t e   o ur  m o de l   us i ng  t e xt . t e xt _c l a s s i f i e r   f u n c t i o n,   a n w e   us e   t h e   l e a rni n r a t e   f i nde r   f un c t i o n   t o   f i n a   go o l e a rn i ng  ra t e   (0. 006  a ppe a r s   t o   b e   goo i n   o u r   c a s e ).   F i na l l y ,   w e   t r a i n   o u r   m o de l   f o r   20   e po c h s   us i n g   t h e   f i t _o n e c y c l e   f un c t i o n .     Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2502 - 4752   In do n e s i a J   E l e c   E ng  &   Co m S c i ,   V o l .   22 ,   N o .   2 M a y   202 1   :     1032   -   1 040   1036   3. 3 .       BER T,   R o B ER Ta,   A L BER T,   an d   X LN e t   A s   of   l a s t   v e r s i o n s   k t r a i n   i n c l ude s   a   s i m pl i f i e i n t e r f a c e   t o   h u ggi n g   f a c e   t r a n s f o r m e r s   f o r   t e xt   c l a s s i f i c a t i o n,   pe rm i t t i ng  us e r s   b ui l d,   t ra i n,   a nd  de pl oy   t h e i r   m o de l s   w i t h   h ugg i n f a c e   t r a n s f o r m e r s   pa c ka ge   i n   a   s i m p l e   w a y .   H uggi n f a c e   t r a n s f o r m e r s   [30]   i s   a   po pul a r   P y t h o n   l i b ra r y   t h a t   p r o v i de   pr e - t r a i n e m o de l s   a c c e s s i b l e   t o   r e s e a r c h e r s   a nd  e n us e r s ,   i t   i s   v e r y   us e f ul   fo r   a   v a ri e t y   of   N L P   t a s ks .   It   s up po r t s   b o t h   P y T o r c h   a n T e n s o r F l o w   2   (f r o m   l a t e   2019).   T h e r e f o r e ,   w e   us e   i t   t o   t r a i n   t h e s e   m o de l s ,   a s   t h e y   a r e   s uppo r t e b y   bo t h   H uggi n F a c e   a n kt ra i n.   W e   us e a   m a x i m um   l e ngt h   of   300,   a   b a t c h   s i z e   o f   6,   0. 0000 l e a rni n ra t e ,   a n 20  e po c h s   fo r   t h e s e   a l go r i t hm s .   M o de l s   us e w a s :   be r t - b a s e - un c a s e (B E R T ),   r o be r t a - b a s e   ( R oB E R T a ),   a l b e r t - b a s e - v (A L B E R T ),   a nd  x l n e t - b a s e - c a s e (X L N e t ).     3. 4 .       E LM o   A f t e r   pr o c e s s i n o ur   da t a   l i ke   W o r d2v e c   a n G l o v e ,   w e   c r e a t e   a n   E l m o   e m be ddi n gs   l a y e r   by   us i n T e n s o r f l o w   h ub   t o   c r e a t e   a   t e xt   c l a s s i f i e r ,   t h e n   w e   b ui l a   t w o   d e n s e   l a y e r   (512  un i t s   f o r   t h e   f i r s t   o n e ,   a n fo r   t h e   s e c o n o n e ).   F i na l l y ,   w e   t ra i o u r   m o de l   f o r   20   e po c h s   us i n g   a   b a t c h   s i z e   o f   32.     3. 5 .       U L M F i T   A f t e r   p r o c e s s i n o u r   d a t a   l i ke   W o r d2v e c   a nd  G l o v e ,   w e   de f i n e   t h e   l a n gu a ge   m o de l   a n d   s e t   t h e   l e a rn i ng  ra t e s   t o   0. 0479  us i n l r _f i n f un c t i o n s .   T h e n,   w e   f i t   t h e   m o de l   fo r   a   f e w   c y c l e s   by   r unni n o n e   e poc h   a n t h e n   u n f r e e z i n a n ru nn i ng  m o r e   e po c h s   t o   f i n e - t u n e   i t .   N e xt ,   w e   us e   t h e   e n c o de r   f r o m   t h e   l a ngua ge   m o de l   i n   o ur   c l a s s i f i e r   w i t h   a   b a t c s i z e   o f   32  a nd  w e   t r a i n   i t   by   gr a dua l l y   un f r e e z i n l a y e r s   a n t h e n   ru nn i ng  a n   e po c h   e a c h   t i m e   w i t h   a   l e a rn i ng  r a t e   r e l a t e t o   t h e   r e s ul t   of   t h e   l r_f i n f u n c t i o n.   F i na l l y ,   w e   un f r e e z e   a l l   t h e   l a y e r s   a nd  ru n   t h e   m o de l   f o r   20  e po c h s .     3. 6 .       G P T - 2   W e   t ra i t hi s   m o de l   us i n P y T o r c h   ( a s   b a c ke n d ),   a o pe n - s o ur c e   m a c hi n e   l e a rni ng  py t h o l i b r a r y   b a s e o n   T o r c h   a n de v e l o pe by   F a c e boo [31] .   It   m a ke s   po s s i b l e   t o   p e r f o r m   n e c e s s a r y   t e n s o r   c a l c ul a t i o n s   i n   pa rt i c ul a r   f o r   d e e l e a r ni n g .   F o r   t h i s ,   w e   b ui l a   c us t om   P y T o r c h   c l a s s   D a t a s e t ,   t h e n   w e   i n i t i a l i z e   a nd  t o ke n i z e   o ur   d a t a   us i ng  G P T 2F o r S e que n c e Cl a s s i f i c a t i o n   a n d   G P T 2T o ke n i z e r ,   t h e n   w e   a dd_s pe c i a l _ t o ke n s   t o   pa ddi ng  i t .   W e   a l s o   i m p l e m e nt   t h e   ke r a s   C a t e go ri c a l C r o s s e nt r o p y   l o s s   f un c t i o n,   d ue   t o   t h e   v e r y   l ow   l o s s   t h a t   w e   go t   us i ng  t h e   py t o r c h   c r o s s e n t r o py l o s s   l os s   f un c t i o n ,   b e c a us e   t h e   P y T o r c h   C r o s s E n t r o py L o s s   a c c e pt s   unn o r m a l i z e s c o r e s   fo r   e a c h   c l a s s   ( n o t   p r o b a b i l i t y ).   H ow e ve r ,   K e r a s   c a t e go ri c a l _c r o s s e n t r o py   us e s   f r o m _l o gi t s = F a l s e   by   de f a ul t   w h i c h   m e a n s   i t   a s s um e s   y _pr e c o n t a i n s   p r o b a b i l i t i e s   ( n o t   r a w   s c o r e s ).   W e   di t h a t   t o   h a v e   t h e   s a m e   l o s s   m e t ri c   b e t w e e n   a l l   o ur   m o de l s .   F i na l l y ,   w e   t r a i n   o u r   m o de l   f o r   20  e po c h s   us i ng  a   b a t c h   s i z e   o f   a nd  a   0. 00 001   l e a rni n g   r a t e .       4.   EX P ER I M EN TS   A N D   R ES U L TS   4. 1 .       H a r d w ar e   c h ar a c te r i s t i c s   W e   pe r f o r m e o ur   e xpe r i m e n t s   o n   a   M A R W A N ’s   h i g h - pe r f o r m a n c e   c o m put i n g   (H P C)   i n f r a s t r uc t u r e   w i t t h e   f o l l o w i n ha r dw a r e   c ha r a c t e r i s t i c s :   a)   CP U :   2x  I nt e l   X e o n   G o l d   6148   (2 . 4   G H z / 20  c o r e s )   b)   R A M :   192  G b   c)   G P U :   2x  N V ID IA   T e s l a   P 1 00  (12   G b w i t c uda   v 10. 1     4. 2 .       Ev al u ati o n   m e tr i c s   H a v i n m o r e   m e t r i c s   a c t ua l l y   m a ke s   i t   ha r de r   t o   c o m pa r e   l a n g ua ge   m o de l s ,   e s pe c i a l l y   a s   i n di c a t o r s   of   h o w   w e l l   a   l a n gu a ge   m o de l   w i l l   pe r f o r m   o n   a   s pe c i f i c   t a s a r e   o f t e n   u nr e l i a b l e .   a)   A c c ur a c y :   i s   t h e   f ra c t i o o f   c o r r e c t   p r e di c t i o n s   a m o n t h e   t o t a l   n um b e o f   pr e di c t i o n s   a s   s h o w n   i ( 1 ) .   b)   L o s s :   i s   t h e   d i f fe r e n c e   b e t w e e n   t h e   p r e di c t e v a l ue   by   t h e   m o de l   a n t h e   t r ue   v a l ue .   T h e   m o s t   c o m m o l o s s   f un c t i o us e i de e l e a rni n g   i s   c r o s s - e n t r o py ,   w h e r ( )   i s   t h e   t r ue   di s t r i b ut i o n ,   a n d   ( )   t h e   e s t i m a t e d i s t r i b ut i o n ,   de f i n e d   o v e r   t h e   d i s c r e t e   v a r i a b l e     [32 ]   a s   s h o w n   i ( 2 ) .      =    +   +  +  +      ( 1 )     ( , ) = ( ) l o g   ( ( ) )       ( 2 )     w h e r e :   T r ue   P o s i t i v e   (  ) :   i s   t h e   n u m b e r   o f   po s i t i v e   c l a s s   r e c o r ds   c o rr e c t l y   c l a s s i f i e d.   Evaluation Warning : The document was created with Spire.PDF for Python.
In do n e s i a J   E l e c   E ng  &   Co m S c i     IS S N :   2502 - 4752       A   c om par at i v e   s t ud y   o f   d e e l e ar n i ng   bas e d   l angua ge   r e pr e s e nt a t i on   l e ar n i ng   ( Moham m e B ou k abo us )   1037   T r ue   N e ga t i v e   (  ) :   i s   t h e   n u m b e r   o f   n e ga t i v e   c l a s s   r e c o r ds   c o rr e c t l y   c l a s s i f i e d.   F a l s e   P o s i t i v e   (  ) :   i s   t h e   num b e o f   n e ga t i v e   c l a s s   r e c o r ds   w r o ngl y   c l a s s i f i e d.   F a l s e   N e ga t i v e   (  ) :   i s   t h e   num b e o f   po s i t i v e   c l a s s   r e c o r w r o ng l y   c l a s s i f i e d .   a)   P r e c i s i o n:   i s   t he   f ra c t i o o f   c o rr e c t l y   i de nt i f i e d   po s i t i v e   r e s u l t s   a m o ng   a l l   po s i t i v e   r e s u l t s   a s   s h o w i ( 3 ) .   b)   R e c a l l :   i s   t h e   f r a c t i o n   o f   c o r r e c t l y   i de n t i f i e po s i t i v e   r e s ul t s   a m o ng  t h e   t o t a l   n u m b e r   o f   e xi s t i ng  po s i t i v e   c l a s s   a s   s h o w n   i n   ( 4 ) .      =     +      ( 3 )     =     +    ( 4 )     c)   F1 - s c o r e :   a l s o   c a l l e F - s c o r e   i s   t h e   h a rm o ni c   m e a n   o t h e   c o m b i n a t i o n   b e t w e e n   pr e c i s i o n   a nd  r e c a l l   [33] ,   w i t a   v a l ue     t ha t   c a e m p ha s i z e   o n e   o t h e   o t h e a s   s how n   i ( 5 ) .   T h e   hi g h e s t   po s s i b l e   v a l ue   o F i s   a n d   t h e   w o r s t   i s   0 ,   a n d   gu a r a nt e e t o   b e   b e t w e e n   p r e c i s i o a n d   r e c a l l .     = ( 1 + 2 )     +   ( 5 )     1 = 2     +   ( 6 )     w h e r e   = 1 ,   w e   ha v e   t h e   t ra di t i o na l   F - m e a s u r e   o b a l a n c e 1 - s c o r e   a s   s h o w n   i n   ( 6 ) .     4. 3 .       Ex p e r i m e n tal   r e s u l ts   T h i s   s e c t i o us e s   t h e   c o m pa r a t i v e   e xpe r i m e nt   t o   s u m m a r i z e ,   c o m pa r e   a nd  c o n t ra s t   t h e   d i f fe r e nt   N L P   m o de l s   a n t h us   di s c us s   t h e i r   m a i n   s t r e n gt h s ,   us i n s e n t i m e nt   a n a l y s i s   a n de e l e a rni n t e c hni que s   a s   s h o w n   i n   T a b l e   3.   I n   a l l   o ur   m o de l s ,   w e   us e T e n s o r b o a r c a l l b a c ks ,   e v e n   w i t h   t h e   p y t o r c h   a l go r i t hm s   (w e   us e d   T e n s o r b o a r dX   a a l t e rna t i v e   of   T e n s o r b o a r f o r   py t o r c h )   t o   pl o t   t h e   v a l i da t i o a c c u r a c y   a s   s h o w n   i   F i gu r e   2,   a nd  t h e   v a l i d a t i o n   l o s s   a s   s h o w n   i n   F i gu r e   3.   W e   a l s o   us e   a n   e a rl y   s t o ppi n g   o f   o n e   e poc h   b a s e o n   t h e   v a l i da t i o n   l o s s ,   a n w e   c a l c ul a t e   t h e   pr e c i s i o n,   r e c a l l ,   f1 - s c o r e   of   o ur   a l go ri t hm s   us i n t h e   s c i ki t - l e a rn  pr e c i s i o n _ r e c a l l _f s c o r e _s uppo r t   m e t r i c s   f u n c t i o n.       T a b l e   3 .   R e s ul t s   o f   t h e   i m pl e m e n t e d   m o de l s   A l g o ri t h m   V a l i d a t i o n   A c c u ra cy   V a l i d a t i o n   L o s s   P re c i s i o n   Re c a l l   F1 - s c o r e   T ra i n i n g   T i m e   N u m b e r   o p a ra m e t e r s   W o r d 2 v e c   0 . 8 4 5 2   0 . 4 1 7 8   0 . 8 4 1 0   0 . 8 4 5 3   0 . 8 3 9 1   S t e p :   6 3   ms   E p o c h :   2 2 2 s   T o t a l :   2 4 7 2 s   T ra i n a b l e :   4 4 0 , 5 8 1   N o n - T ra i n a b l e :   1 1   060  100   f a s t T e x t   0 . 8 2 1 2   0 . 4 9 0 8   0 . 8 1 6 7   0 . 8 2 2 3   0 . 8 1 2 8   S t e p :   8 8   ms   E p o c h :   3 1 1 s   T o t a l :   1 5 6 7 s   T ra i n a b l e :   4   6 1 3   N o n - T ra i n a b l e :   8   6 4 0   128   G l o v e   0 . 8 3 9 1   0 . 4 4 1 2   0 . 8 3 6 2   0 . 8 3 8 8   0 . 8 2 9 7   S t e p :   2 4 5   ms   E p o c h :   8 6 9 s   T o t a l :   3 5 7 6 s   T ra i n a b l e :   3 3 8   181   N o n - T ra i n a b l e :   7   373  200   E L M o   0 . 8 1 5 2   0 . 4 8 1 0   0 . 8 0 4 1   0 . 8 1 0 2   0 . 8 0 6 4   S t e p :   7   ms   E p o c h :   8 4 4 s   T o t a l :   3 5 7 6 s   T ra i n a b l e :   5 2 7   369   N o n - T ra i n a b l e :   0   BE RT   0 . 8 6 1 2   0 . 3 5 5 1   0 . 8 5 8 9   0 . 8 6 1 2   0 . 8 5 9 6   S t e p :   7 8 7   ms   E p o c h :   2 4 7   m i n   T o t a l :   4 9 5   m i n   T ra i n a b l e :   1 0 9   3 6 1   6 6 9   N o n - T ra i n a b l e :   0   Ro BE RT a   0 . 8 6 2 2   0 . 3 6 2 9   0 . 8 5 7 4   0 . 8 5 3 3   0 . 8 5 4 8   S t e p :   6 0 9   ms   E p o c h :   1 9 2   m i n   T o t a l :   5 7 9   m i n   T ra i n a b l e :   1 2 5   2 4 0   0 6 9   N o n - T ra i n a b l e :   0   A L BE RT   0 . 8 5 5 8   0 . 3 8 4 5   0 . 8 5 1 4   0 . 8 5 3 7   0 . 8 4 6 8   S t e p :   5 9 5   ms   E p o c h :   1 8 8   m i n   T o t a l :   5 6 7   m i n   T ra i n a b l e :   1 1   6 8 7   4 2 9   N o n - T ra i n a b l e :   0   U L M F i T   0 . 8 5 0 9   0 . 4 3 1 5   0 . 8 4 7 2   0 . 8 5 0 9   0 . 8 4 7 6   S t e p :   -   E p o c h :   1 9 2 s   T o t a l :   1 9 2 0 s   T ra i n a b l e :   6 2   8 0 5   N o n - T ra i n a b l e :   0   X L N e t   0 . 8 5 7 4   0 . 3 6 9 7   0 . 8 5 6 2   0 . 8 5 8 3   0 . 8 5 6 4   S t e p :   1 s   E p o c h :   4 3 0   m i n   T o t a l :   1 2 9 3   m i n   T ra i n a b l e :   1 1 7   3 1 2   7 7 3   N o n - T ra i n a b l e :   0   G P T - 2   0 .   8 5 9 1   0 . 3 7 9 6   0 . 8 5 5 9   0 . 8 5 9 1   0 .   8 5 4 9   Ba t c h :   6 7   ms   E p o c h :   1 8   m i n   T o t a l :   7 3   m i n   T ra i n a b l e :   1 2 4   439   808   N o n - T ra i n a b l e :   0   Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2502 - 4752   In do n e s i a J   E l e c   E ng  &   Co m S c i ,   V o l .   22 ,   N o .   2 M a y   202 1   :     1032   -   1 040   1038         F i gu r e   2 .   V a l i da t i o a c c u r a c y   pe r   e po c h   s c a l a r   ge n e ra t e d   by   T e n s o r b o a r d     F i gu r e   3 .   V a l i da t i o l o s s   pe e po c h   s c a l a ge n e ra t e by   T e n s o r b o a r d       W o rd 2 v e c     f a s t T e x t     G l o v e     E L M o     BE RT     Ro BE RT a     A L BE RT     U L M F i T     X L N e t     GP T - 2       In  t hi s   w o r k,   w e   s h o w   t h e   a p pl i c a t i o n   o f   de e l e a rni n g - b a s e l a n gua ge   r e pr e s e nt a t i o n   l e a rni n g   m o de l s   fo r   t h e   c l a s s i f i c a t i o n   o f   s e n t i m e nt   t y pe s   b a s e o n   a   c o m b i n e da t a s e t .   W e   n o t i c e   t ha t   t r a n s f e l e a rn i ng  a pp r o a c h e s   r e a c h   t h e   b e s t   a ve r a ge   r e s ul t s   us i n t h e   t r a i ni n a n v a l i da t i o n   d a t a   i n   f e w e r   e poc h s   t h a w o r e m b e ddi n gs   o n e s ,   b e c a us e   i t   b e n e f i t s   f r o m   o t h e r   b a s e   m o de l s ’  kn o w l e dge .   N e v e r t h e l e s s ,   i t   t a ke s   m o r e   t i m e   t o   t r a i n,   due   t o   t h e   h uge   num b e r   o f   pa r a m e t e r s   us e d.   A m o n t h e s e   t ra n s f e r   l e a rn i ng  a pp r o a c h e s ,   w e   c o n c l ude   t ha t   t h e   b e s t   o n e   i s   B E R T   a l go r i t hm   b e c a us e   i t   r e a c h e s   t h e   b e s t   r e s ul t s   i n   a l m o s t   a l l   o ur   m e t ri c s ,   a s   s h o w n   i n   T a b l e   a n F i gu r e   3,   w i t h   35. 5 1%  a s   v a l i d a t i o n   l o s s ,   85. 89%  a s   pr e c i s i o n,   86. 1 2%  a s   r e c a l l ,   a nd  85. 96 a s   F 1 - s c o r e   i n   495  m i n   (2  e po c h s ).   F o r   t h e   a c c ura c y ,   Ro B E R T a   m o de l   h a s   t h e   b e s t   a c c ur a c y   a s   s h o w n   i n   T a b l e   a n F i gu r e   2,   w i t h   86 . 22%  i n   579  m i n   ( e poc h s ).   O n   t h e   o t h e r   ha n d ,   t ra n s f o r m e r - b a s e t e c hn i q ue s   r e a c h   t h e i r   b e s t   r e s ul t   i n   m o r e   t i m e   (m o r e   t h a o n e   h o ur   t o   b e   t r a i n e d c o m pa r e t o   t h e   o t h e m o de l s .   By   e xa m i ni n t h e s e   r e s ul t s ,   i t   i s   c l e a r   t ha t   B E R T   m o de l   p e rfo r m e t h e   b e s t   r e s ul t s   c o m pa r e t o   t h e   o t h e r   m e t h o ds ,   s i n c e   i t   t a ke s   e v e r y t h i ng  i n t o   a c c o un t ,   i n   o rd e r   t o   pr e di c t   t h e   t r ue   m e a n i ng  o s e n t e n c e s .   T h i s   m e a n s   t ha t   t ra n s f e r   l e a rni n a l go ri t hm s   c a n   a c h i e v e   be t t e r   c l a s s i f i c a t i o n   r e s ul t s   a n l e a rn  a dd i t i o na l   c o r r e l a t i o n s ,   b ut   i n   t e rm s   o f   c o m put a t i o n   t i m e ,   i t   c o n s um e s   m o r e   b e c a us e   m o r e   pa ra m e t e r s   a r e   n e e de a s   s h o w n   i n   T a b l e   3.   I n   f a c t ,   m o s t   D L   a r c hi t e c t u r e s   us e   s i m i l a r   c o m put a t i o n a l   e l e m e nt s ;   t h e r e f o r e ,   i t   i s   a   c o n v e n t i o n   t o   us e   t h e   num b e r   o f   pa ra m e t e r s   a s   a   s t a nd - i n   f o r   c o m pl e xi t y ,   a l t h o ug h   t h o s e   n e t w o r ks   m a y   h a v e   t h e   s a m e   n u m b e r   o f   pa r a m e t e r s   b ut   r e qu i r e   di f f e r e n t   n u m b e r s   o f   o pe r a t i o n s   (A L B E R T   f o r   e xa m pl e   i s   c o n f i gur e t o   s ha r e   a l l   p a r a m e t e r s   i n c l u di n g   f e e d - fo r w a r n e t w o r a n d   a t t e n t i o pa ra m e t e r s   a c r o s s   l a y e r s ).   T h e   a m o unt   o f   da t a   i n   t h e   d a t a s e t   c r e a t e i s   s t i l l   c o n s i de r a b l y   un b a l a n c e r e ga r d i n t h e   di f f e r e n t   t y p e s   of   s e n t i m e nt s .   F o r   e xa m p l e ,   A n ge r   a nd  F e a r   s e nt i m e nt s   i n   t h e   t r a i n i ng  a nd  v a l i d a t i o n   s e t s   ha v e   v e r y   s m a l l   a m o unt s   o f   da t a   a s   s h o w n   i n   F i gu r e   1.   T h e r e f o r e ,   t h e   m o de l s   ha v e   a   l i m i t e c a p a b i l i t y   t o   l e a rn   a c c ur a t e l y   t h e s e   s e n t i m e nt s .   D e t e c t i o n   a v e ra ge   o f   t h e s e   s e n t i m e n t s   i s   o n e   o f   t h e   m a i f a c t o r s   r e s t r i c t i n t h e   ov e r a l l   p r e di c t i o a c c ura c y .   D e s pi t e   a l l   e f fo r t s ,   o ur   m o de l s   t e n t o   ove r f i t .   I n   f a c t ,   m o de l s   t ra i n e o n   t e xt   d a t a   a r e   s ub j e c t   t ov e r f i t t i n d ue   t o   t h e   us e   of   o ut   of   vo c a b ul a r y   (O O V t o k e n   i n   N L P - b a s e m o de l s .   O O V   i s   us e t o   ha n d l e   un s e e n   w o r ds .   T h e r e   i s   a   h i g h   c ha n c e   of   un s e e n   w o r ds   i N L P   m o de l s ,   a n o v e r f i t t i n o c c ur s   w h e n   t h e   m o de l   i s   t ra i n e d   h e a v i l y   o n   t h e   t ra i ni n da t a   b ut   c a nn o t   ge ne r a l i z e   w e l l   t o   un s e e da t a .   T h o s e   un s e e w o r ds   ge n e ra t e   a   s c e n a ri o   w h e r e   t h e   m o de l   i s   s t r o n g l y   t un e t o   t h e   t r a i n i ng  s e t .   H e n c e ,   w e   s t o a t   t h e   e po c h   w h e n   e a c h   a l go r i t h m   b e gi n s   t o   o v e r - f i t .       5.   C O N C LU S I O N   A ppl y i n N L P   a n de e l e a rni n t e c hni que s   t o   s e n t i m e n t   a na l y s i s   h a s   b e c o m e   a   po pul a r   r e s e a r c h   t o pi c   l a t e l y .   E m o t i o n s   a r e   o n e   o f   t h e   m a j o r   a s pe c t s   o f   h um a n   l i f e   t h a t   a r e   v e r y   us e f ul   i n   v a r i o us   a p pl i c a t i o n s .   O ur   w o r h e r e   f oc us e o n   de e l e a rni n g - b a s e l a ngua ge   r e p re s e n t a t i o n   l e a rn i ng  m o de l s ,   a n c o m pa r e t h e m .   W e   a r e   m o r e   i nt e r e s t e i n   p r e di c t i n v a r i o us   t y pe s   of   s e n t i m e nt s .   A f t e r   s e v e r a l   e xpe r i m e n t s ,   w e   ob t a i n e a   r e a s o na b l e   pr e d i c t i o n   ra t e   f o r   o ur   a l l   m o de l s .   By   a na l y z i n g   t h e   o b t a i n e r e s ul t s ,   w e   c o n c l ude t ha t   B E R T   i s   t h e   b e s t   o n e   fo r   s e nt i m e nt   a n a l y s i s .   It   w a s   a b l e   t o   s uc c e s s f ul l y   pr e di c t   d i f f e r e n t   t y p e s   of   s e n t i m e n t   a nd  s h o w e a   ve r y   g oo a c c ur a c y   (86. 12%),   a nd  t h e   b e s t   pe r f o r m a n c e   i t e r m s   o f   v a l i da t i o n   l o s s   (35. 51 %),   Evaluation Warning : The document was created with Spire.PDF for Python.
In do n e s i a J   E l e c   E ng  &   Co m S c i     IS S N :   2502 - 4752       A   c om par at i v e   s t ud y   o f   d e e l e ar n i ng   bas e d   l angua ge   r e pr e s e nt a t i on   l e ar n i ng   ( Moham m e B ou k abo us )   1039   pr e c i s i o (85 . 89%) ,   r e c a l l   ( 86. 1 2%)  a n d   F 1 - s c o r e   (85. 9 6%)   m e t r i c s   i n   c o m pa ri s o n   t o   t h e   o t h e r   m o de l s .   As  f ut ur e   w o r ks ,   w e   w i l l   a p pl y   t h e   B E R T   m o de l   t o   a na l y z e   s e nt i m e nt s   o o nl i n e   m e s s a gi n g   (CH A T   o s o c i a l   m e d i a )   f o r   s e c ur i t y   pur po s e s .       A C K N O WL ED G E M EN T   T h i s   r e s e a r c h   w a s   s uppo r t e t hr o ug h   c o m put a t i o na l   r e s o ur c e s   o f   H P C - M A R W A N   (w w w . m a r w a n. m a / hpc p r o v i de by   t h e   N a t i o na l   Ce nt e f o r   S c i e nt i f i c   a n d   T e c hn i c a l   R e s e a r c (CN R S T ),   R a b a t ,   M o r o c c o .       R EF ER EN C ES   [ 1]   N a t u r a l   L a ng ua g e   P r o c e s s i ng   M a r k e t   |   G r o w t h ,   T r e nd s , F o r e c a s t s   ( 2 020 - 20 25) ,   M or d or   I n t e l l i ge nc e ,   2 020 .   [ O nl i ne ] .   A v a i l a bl e :   ht t ps : / / w w w . m o r do r i nt e l l i g e nc e . c o m / i ndu s t r y - r e po r t s / na t ur a l - l a ng ua g e - pr o c e s s i ng - m a r ke t .   [ A c c e s s e d:   15 - A ug - 2020] .   [ 2]   M .   A .   C o v i ng t o n,   B ui l d i ng   N a t ur a l   L a ng ua g e   G e n e r a t i o S y s t e m s   ( r e v i e w ) ,   L a ng ua g e   ( B a l t i m ) . ,   2001 .   [ 3]   M .   B a t e s ,   M o de l s   o f   na t ur a l   l a ng ua g e   und e r s t a nd i ng ,   P r oc .   N at l .   A c ad .   S c i .   U .   S.   A . ,   v o l .   92 ,   no .   22 ,     pp.   99 77 9 982 ,   O c t .   1995 ,   do i :   10. 1 073 / pn a s . 92 . 22 . 99 77.   [ 4]   T .   M i ko l o v ,   S .   K o m br i nk ,   L .   B ur g e t ,   J .   Č e r no c ký,   a nd  S .   K hud a npu r ,   E xt e ns i o ns   o f   r e c ur r e n t   ne ur a l   n e t w o r k   l a ng ua g e   m o de l ,   i I C A SSP ,   I E E E   I n t e r nat i o nal   C on f e r e nc e   on  A c ous t i c s ,   S pe e c and  Si gna l   P r oc e s s i ng -   P r oc e e di ngs ,   20 11,   p p.   55 28 5 531 ,   do i : 10. 1109 / I C A S S P . 2011 . 59 4 7611 .   [ 5]   T .   M i ko l o v ,   K .   C he n,   G .   C o r r a do ,   a nd  J .   D e a n ,   E f f i c i e n t   e s t i m a t i o o f   w o r r e pr e s e n t a t i o ns   i v e c t o r   s pa c e ,   i n   1s t   I nt e r na t i ona l   C on f e r e nc e   on   L e ar n i ng   R e pr e s e nt a t i o ns ,   I C L R   2 013  -   W or k s hop   T r ac k   P r oc e e di ng s ,   2 013 .   [ 6]   P .   B o j a no w s ki ,   E .   G r a v e ,   A .   J o ul i n,   a n T .   M i ko l o v ,   E nr i c hi ng   W o r V e c t o r s   w i t S ubw o r I nf o r m a t i o n,   T r ans .   A s s o c .   C om pu t .   L i n gui s t . ,   v o l .   5,   p p.   13 5 14 6,   J ul .   2016 .   [ 7]   J .   P e nn i ng t o n,   R .   S o c he r ,   a n C .   D .   M a nni ng ,   G l o V e :   G l o ba l   v e c t o r s   f o r   w o r r e p r e s e n t a t i o n,   i E M N L P   2014  -   2014   C on f e r e nc e   on   E m pi r i c a l   M e t ho ds   i N a t u r a l   L angu age   P r oc e s s i ng ,   P r oc e e di ngs   o f   t he   C o nf e r e nc e ,   2014 .   [ 8]   M .   E .   P e t e r s   e t   a l . ,   D e e c o nt e x t ua l i z e w o r r e p r e s e n t a t i o ns ,   i N A A C L   H L T   2 018  -   2018   C on f e r e nc e   of   t he   N or t A m e r i c a C hap t e r   of   t he   A s s oc i at i on  f o r   C om pu t a t i o na l   L i ngu i s t i c s :   H um an  L ang uage   T e c hnol og i e s   -   P r oc e e di ngs   o f   t he   C on f e r e nc e ,   20 18 .   [ 9]   J .   D e v l i n ,   M .   W .   C ha ng ,   K .   L e e ,   a nd  K .   T o ut a no v a ,   B E R T :   P r e - t r a i ni ng   o f   de e bi d i r e c t i o na l   t r a n s f o r m e r s   f o r   l a ng ua g e   un de r s t a nd i ng ,   i n   N A A C L   H L T   201 -   201 C on f e r e nc e   of   t he   N o r t h   A m e r i c an  C h apt e r   of   t he   A s s o c i a t i on  f or   C om pu t at i o nal   L i n gu i s t i c s :   H um an  L angu age   T e c hnol o gi e s   -   P r oc e e di ngs   o f   t he   C onf e r e nc e ,   2 019 do i :   10. 1865 3/ v 1/ N 19 - 1423 .   [ 10]   J .   H o w a r a nd  S .   R u de r ,   U ni v e r s a l   l a ng ua g e   m o de l   f i ne - t un i ng   f o r   t e x t   c l a s s i f i c a t i o n,   i A C L   2 018  -   56 t A n nua l   M e e t i ng   o f   t he   A s s o c i a t i on   f or   C om pu t a t i ona l   L i ng ui s t i c s ,   P r oc e e di ngs   of   t he   C on f e r e nc e   ( L ong   P ape r s ) ,   2 018 .   [ 11]   Z .   Y a ng ,   Z .   D a i ,   Y .   Y a ng ,   J .   C a r bo ne l l ,   R .   S a l a khu t d i no v ,   a nd  Q .   V .   L e ,   X L N e t :   G e ne r a l i z e A ut o r e g r e s s i v e   P r e t r a i n i ng   f o r   L a ng ua g e   U nd e r s t a ndi ng ,   J u n.   20 19.   [ 12]   A .   R a dr o f   a n J .   W u,   l a ng ua g e   m o de l   a nd   u ns up e r v i s e d   m ul t i t a s k   l e a r n i ng ,   O pe nA I ,   2018 .   [ 13]   M .   B e r r a ha l   a nd  M .   A z i z i ,   R e v i e w   o f   D L - B a s e G e n e r a t i o T e c hni que s   o f   A ug m e nt e I m a g e s   us i ng   P o r t r a i t s   S pe c i f i c a t i o n,   20 20,   p p.   1 - 8.   [ 14]   B .   L i u ,   S e nt i m e n t   a na l y s i s   a nd   o pi n i o m i n i ng ,   S y n t h.   L e c t .   H um .   L an g.   T e c hno l . ,   20 12 .   [ 15]   F .   A .   V a r g a s   a nd  T .   A .   S .   P a r do ,   A s pe c t   C l us t e r i ng   f o r   S e nt i m e nt   a n a l y s i s ,   i H or i z o ns   i C om p ut e r   Sc i e nc e   R e s e ar c h ,   pp .   213 - 22 4 ,   20 20 .   [ 16]   M .   B o uka bo us   a n M .   A z i z i ,   R e v i e w   o f   L e a r ni ng - B a s e T e c hni que s   o f   S e nt i m e n t   A na l y s i s   f o r   S e c ur i t y   P ur po s e s ,   S pr i nge r ,   C h am ,   pp .   96 109 ,   2021 .   [ 17]   I .   I d r i s s i ,   M .   A z i z i ,   a nd   O .   M o us s a o ui ,   I o T   s e c ur i t y   w i t D e e L e a r ni ng - ba s e I nt r u s i o D e t e c t i o S y s t e m s :   A   s y s t e m a t i c   l i t e r a t u r e   r e v i e w ,   pp.   1 - 10 ,   202 0 .   [ 18]   I .   I dr i s s i ,   M .   B o uka bo us ,   M .   A z i z i ,   O .   M o us s a o u i ,   a nd  H .   E l   F a di l i ,   T o w a r a   d e e l e a r n i ng - ba s e i n t r us i o de t e c t i o s y s t e m   f o r   I o T   a g a i ns t   bo t n e t   a t t a c ks ,   I A E I n t .   J .   A r t i f .   I nt e l l . ,   v o l .   1 0,   no .   1 ,   pp .   11 0 - 120 ,   M a r .   2 021   do i :   10. 1159 1/ i j a i . v 10. i 1 . pp 110 - 120   [ 19]   L .   T o r r e y   a nd  J .   S ha v l i k,   T r a n s f e r   l e a r n i ng ,   i H a ndbo ok   of   r e s e ar c on   m ac h i ne   l e ar n i ng  app l i c a t i o ns   and   t r e nds :   al g or i t hm s ,   m e t h ods ,   and   t e c h ni q ue s ,   I G I   g l o ba l ,   pp .   242 2 64 ,   20 10 .   [ 20]   G .   B r o c km a n,   M .   M ur a t i ,   P .   W e l i n de r ,   a nd  O pe nA I ,   O pe nA I   A P I ,   2020 .   [ O nl i n e ] .   A v a i l a bl e :   ht t ps : / / o pe na i . c o m / bl o g / o pe na i - a pi / .   [ A c c e s s e d:   18 - A ug - 2020] .   [ 21]   N .   W .   M e t ho e t   al . ,   w o r d2v e c   E xp l a i ne d :   D e r i v i ng   M i ko l o v   e t   al , ”  ar X i v 1402 . 37 22   [ c s ,   s t a t ] ,   201 4.   [ 22]   A .   J o ul i n ,   E .   G r a v e ,   P .   B o j a no w s ki ,   a nd   T .   M i ko l o v ,   B a g   o f   T r i c ks   f o r   E f f i c i e nt   T e x t   C l a s s i f i c a t i o n,   15 t C o nf .   E ur .   C h apt e r   A s s oc .   C om pu t .   L i ng ui s t .   E A C L   2017   -   P r oc .   C on f . ,   v o l .   2 ,   pp .   427 431 ,   J u l .   20 16 .   [ 23]   Y .   L i u   e t   al . ,   R o B E R T a :   A   R o bus t l y   O pt i m i z e B E R T   P r e t r a i ni ng   A ppr o a c h,   ar X i v . or g,   J ul .   2019 .   [ 24]   Z .   L a n ,   M .   C he n,   S .   G o o dm a n,   K .   G i m pe l ,   P .   S ha r m a ,   a n R .   S o r i c ut ,   A L B E R T :   A   L i t e   B E R T   f o r   S e l f - s upe r v i s e d   L e a r ni ng   o f   L a ng ua g e   R e p r e s e n t a t i o ns ,   ar X i v . o r g,   S e p .   2 019 .   [ 25]   E .   S a r a v i a ,   H . - C .   T .   L i u ,   Y . - H .   H ua ng ,   J .   W u,   a nd  Y . - S .   C he n ,   C A R E R :   C o nt e xt u a l i z e A f f e c t   R e pr e s e nt a t i o ns   f o r   E m o t i o R e c o g ni t i o n,   i P r oc e e di ng s   o f   t he   2018   C on f e r e n c e   on  E m pi r i c a l   M e t hod s   i N a t ur a l   L angu age   P r oc e s s i ng ,   201 8,   pp .   368 7 - 3697 .     Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2502 - 4752   In do n e s i a J   E l e c   E ng  &   Co m S c i ,   V o l .   22 ,   N o .   2 M a y   202 1   :     1032   -   1 040   1040   [ 26]   Y .   L i ,   H .   S u ,   X .   S he n ,   W .   L i ,   Z .   C a o ,   a nd  S .   N i u,   D a i l y D i a l o g:   A   M a nua l l y   L a be l l e M u l t i - t ur D i a l o g ue   D a t a s e t ,   a r X i v . or g O c t .   20 17.   [ 27]   S e n t i m e nt   A na l y s i s   i T e xt - da t a s e t   by   c r o w df l o w e r   |   d a t a . w o r l d.   [ O nl i ne ] .   A v a i l a bl e :   ht t ps : / / da t a . w o r l d/ c r o w df l o w e r / s e n t i m e nt - a n a l y s i s - in - t e x t .   [ A c c e s s e d:   13 - S e p - 2020] .   [ 28]   K .   R .   S c he r e r   a n H .   G .   W a l l bo t t ,   E v i de nc e   f o r   U ni v e r s a l i t y   a nd  C u l t ur a l   V a r i a t i o o f   D i f f e r e n t i a l   E m o t i o Re s po ns e   P a t t e r ni ng ,   J .   P e r s .   Soc .   P s y c ho l . ,   v o l .   6 6,   no .   2 ,   p p.   31 0 328 ,   1994 ,   do i :   10. 10 37 / 002 2 - 3514 . 66 . 2 . 310 .   [ 29]   A .   S .   M a i y a ,   kt r a i n:   A   L o w - C o de   L i br a r y   f o r   A ugm e nt e d   M a c hi n e   L e a r n i ng ,   A pr .   20 20.   [ 30]   T .   W o l f   e t   al . ,   H ug g i ng F a c e s   T r a n s f o r m e r s :   S t a t e - of - t he - a r t   N a t u r a l   L a ng ua g e   P r o c e s s i ng ,   a r X i v . o r g ,   O c t .   2 019 .   [ 31]   A .   P a s z ke   e t   al . ,   P y T o r c h :   A I m pe r a t i v e   S t y l e ,   H i g h - P e r f o r m a nc e   D e e L e a r ni ng   L i br a r y ,   ar X i v ,   D e c .   2019 .   [ 32]   C r o s s   e n t r o py   -   W i ki pe di a .   [ O nl i n e ] .   A v a i l a bl e :   ht t ps : / / e n . w i ki pe di a . o r g / w i k i / C r o s s _ e nt r o py .   [ A c c e s s e d:   13 - S e p - 2020] .   [ 33]   L .   D e r c z y ns ki ,   C o m pl e m e n t a r i t y ,   F - s c o r e ,   a nd  N L P   e v a l ua t i o n,   i P r oc e e di ngs   o f   t he   10t I nt e r n at i on al   C onf e r e nc e   on   L a ngua ge   R e s our c e s   a nd   E v a l ua t i on ,   L R E C   2 016 ,   2 016.       Evaluation Warning : The document was created with Spire.PDF for Python.