T E L K O M NIKA   T elec o mm un ica t io n Co m pu t i ng   E lect ro nics   a nd   Co ntr o l   Vo l.  2 3 ,   No .   2 ,  A p r il   2 0 2 5 ,   p p .   426 ~ 434   I SS N:  1 6 9 3 - 6 9 3 0 ,   DOI : 1 0 . 1 2 9 2 8 / T E L KOM NI K A . v 2 3 i 2 . 25654           426     J o ur na l ho m ep a g e :  h ttp : //telko mn ika . u a d . a c. i d   A co m pa ra tive a n a ly sis  of t ra nsfer l ea rning   m o d els o n suicide   a nd no n - suicide  t ex tual da ta       M er ind a   L esta nd y 1 ,   Abdu rr a hi m 2 ,   A m rul F a ru q 1 ,  M uh a mm a d Irf a n 1   1 D e p a r t me n t   o f   El e c t r i c a l   En g i n e e r i n g ,   F a c u l t y   o f   En g i n e e r i n g ,   U n i v e r si t a s  M u h a mm a d i y a h   M a l a n g ,   M a l a n g ,   I n d o n e si a   2 I n f o r mat i c s  M a s t e r   P r o g r a m,  F a c u l t y   o f   I n d u st r i a l   T e c h n o l o g y ,   I s l a mi c   U n i v e r si t y   o f   I n d o n e si a ,   D a e r a h   I st i me w a   Y o g y a k a r t a ,   I n d o n e si a       Art icle  I nfo     AB ST RAC T   A r ticle  his to r y:   R ec eiv ed   Au g   2 7 ,  2024   R ev i s ed   J an   6 ,  2 0 2 5   A cc ep ted   J an   2 2 ,  2 0 2 5       T h e   rise   o f   so c ial   m e d ia  h a s  a ll o w e d   i n d iv id u a ls  t o   e x p re ss   th e m se l v e s  f re e l y ,   in c re a sin g   th e   v isib il it y   o f   m e n tal  h e a lt h   c o n c e rn s,   in c l u d i n g   su icid a l   ten d e n c ies .   T h is  issu e   is  p a rti c u larly   sig n i f ica n t,   a s  su icid e   is   o n e   o f   th e   lea d in g   c a u se s  o f   d e a th   g lo b a ll y .   T h e   o b jec ti v e   o f   th is  stu d y   is  to   d e v e lo p   a   m o d e l  c a p a b le  o f   a c c u ra tel y   d e tec ti n g   su icid e - re late d   tex tu a l  d a ta  u sin g   a d v a n c e d   n a tu ra l   lan g u a g e   p ro c e ss in g   tec h n i q u e s.   T o   a c h iev e   t h is,   w e   a p p li e d   tran sf e r  le a rn in g   m o d e ls,  i n c lu d in g   b id irec ti o n a l  e n c o d e r  re p re se n tatio n s  f ro m   tran sf o r m e rs   (BER T ) ,  ro b u s tl y   o p ti m iz e d   b id irec ti o n a l   e n c o d e r   re p re se n tatio n s  f ro m   tran s f o rm e r s   (Ro BERT ) ,  a   li t e  BERT   ( AL B ERT ) ,   a n d   d e c o d i n g - e n h a n c e d   BERT   w it h   d ise n tan g led   a tt e n ti o n   (De BE RT a ) .   th e   d a tas e t  u se d   i n   t h is  re se a rc h   in c l u d e s  2 3 2 , 0 7 4   p o sts  f ro m   Re d d it ,   c a teg o rize d   in to   su icid e   a n d   n o n - su ici d e   lab e ls.  P re p ro c e ss in g   ste p s  su c h   a s   re m o v in g   HT M L  tag s,  sp e c ial  c h a ra c ter s,  a n d   p u n c tu a ti o n   w e re   a p p li e d ,   f o ll o w e d   b y   sto p w o rd   re m o v a l  a n d   le m m a ti z a t io n .   T h e   m o d e ls  w e re   train e d   a n d   e v a lu a ted   u sin g   a c c u ra c y ,   p re c isio n ,   re c a ll ,   a n d   F 1 - sc o re   m e tri c s.  Am o n g   th e   m o d e ls   tes ted ,   De BERT a   d e m o n stra ted   s u p e rio r  p e rf o rm a n c e ,   a c h iev in g   a n   a c c u ra c y   o f   9 8 . 7 0 %   a n d   a n   F 1 - sc o re   o f   9 8 . 7 0 % .   T h e se   f in d in g s  su g g e st  th a t  tran sf e r   lea rn in g   m o d e ls,  p a rti c u larly   De BERT a ,   a re   e ffe c ti v e   in   id e n ti f y i n g   su icid a l   id e a ti o n   in   tex tu a l  d a ta.   K ey w o r d s :   Dee p   lear n in g   Me d ia  s o cial   Sen ti m e n t  an a l y s is   Su icid e   T r an s f o r m er   m o d el   T h is i s  a n   o p e n   a c c e ss   a rticle   u n d e r th e   CC B Y - SA   li c e n se .     C o r r e s p o nd ing   A uth o r :   Me r in d a  L es tan d y   Dep ar t m en t o f   E lectr ical  E n g i n ee r in g ,   Fac u lt y   o f   E n g i n ee r in g ,   Un i v er s i tas M u h a m m ad i y a h   Ma lan g   Ma lan g ,   I n d o n esia   E m ail:  m er in d ale s tan d y @ u m m . ac . id       1.   I NT RO D UCT I O N   T h e  is s u e  o f   m en tal  h ea lt h   h a s   a  g lo b al  im p ac t,  ex er tin g   s u b s tan tial  e f f ec t s   o n   co u n tr ies  t h r o u g h o u t  th e  s p ec tr u m   o f   d e v elo p m e n t.  A cc o r d in g   to   th e  m e n tal  h ea lt h   ac tio n   p la n   f o r   th e  y ea r s   2 0 1 3 - 2 0 2 0 ,   as r ep o r te d   b y   th e  W o r ld   Hea lth   Or g a n izat io n   ( W HO) ,   ap p r o x im a tel y   o n e  o u t  o f   e v er y   f o u r   i n d i v id u al s   g lo b all y   e n co u n ter s   m en tal  d is ea s es  o f   v ar io u s   s ev er it y   [ 1 ] .  U n f o r tu n a te ly ,   a   s ig n if i c an t   p r o p o r t i o n   o f   in d iv i d u a ls   ex p e r ie n c in g   m en t al   h e a l th   d if f ic u l t ie s ,   n am e ly   7 5 % ,   d o   n o t   o b t a in   s u f f i ci en t   th e r a p y ,   h en c e   in c r e as in g   th e i r   ex is t i n g   c h a ll en g e s .   I n   t h e   p a s t   f ew   y e a r s ,   t h e r e   h as   b e e n   a   g r o w in g   r e co g n i t i o n   o f   th e   h e ig h t en e d   im p o r t a n c e   o f   em o t i o n a l  c o n c e r n s   as s o c ia t e d   w i th   c o r o n av i r u s   d is e a s e   2 0 1 9   ( C O V I D - 19 )   an d   th e  ex p e r i en c e   o f   i s o l a t i o n   [ 2 ] .  T h is   i s   p ar ticu lar l y   n o te w o r t h y   in   t h e  co n tex t  o f   i n d iv id u als w h o   alr ea d y   h a v e  p r e - ex is ti n g   m e n tal  h ea lt h   illn e s s e s   [ 3 ] .  T h e  af o r e m en t io n ed   p h e n o m e n o n   h as  r es u lted   i n   ele v ated   le v els  o f   an x iet y ,   d esp air ,   s u b s t an ce   m is u s e,   s o cial   is o latio n ,   i n ti m ate  p ar t n er   v io l en ce ,   an d ,   i n   s e v er e  i n s ta n ce s ,   s elf - i n f licted   m o r t al it y   [ 4 ] .   I t  is   w o r t h   m e n tio n i n g   th at  t h er e  h as b ee n   a n   i n cr ea s e   in   th e  p r o b ab ilit y   o f   atte m p te d   s u icid e  w it h in   t h e  g en er al  p o p u latio n   [ 2 ] .   Evaluation Warning : The document was created with Spire.PDF for Python.
T E L KOM NI K A   T elec o m m u n   C o m p u t E l  C o n tr o l         A   co mp a r a tive  a n a lysi s   o f tra n s fer lea r n in g   mo d els o n   s u ici d e  a n d   n o n - s u icid e  textu a l   …   ( Me r in d a   Les ta n d y )   427   B a s e d   o n   d a t a   f r o m   th e   W HO ,   i t   h as   b e en   d e t e r m in e d   th a t   a r o u n d   8 0 0 , 0 0 0   i n d i v i d u al s   en g ag e   i n   a c ts   o f   s u i c i d e  an n u al ly ,   w i th   th e   a g e   c o h o r t   r an g in g   f r o m   1 5   t o   2 9   y e a r s   ex h i b i t in g   th e   h ig h es t   in c id e n c e  r a t es   [ 5 ] .   T h i s   ex e m p li f ie s   th e  f ac t  t h at  s u ici d e  r an k s   as  th e  s ec o n d   m o s t  p r o m in e n t  ca u s e  o f   m o r talit y   a m o n g   ad o lescen t s   o n   a  g lo b al  s ca le.   C u r r en tl y ,   s o ci al  m ed ia  p lat f o r m s   e n ab le  i n t er ac tiv e  co m m u n icatio n ,   e n ab lin g   u s er s   to   s h ar e   th eir   v ie w s   a n d   e m o tio n s   th r o u g h   t h e  m ea n s   o f   p o s ts   a n d   co m m en t s .   So cial  m ed ia  p lat f o r m s   ca n   f u n ct io n   as   a   m ed iu m   f o r   d is s e m in a tin g   in f o r m at io n   r eg ar d in g   r is k   f ac to r s   ass o ciate d   w it h   s u icid e.   T h e  an al y s i s   in cl u d es   en v ir o n m e n tal   f ac to r s ,   s u ch   a s   i n s ta n ce s   o f   ab u s e  a n d   e x p o s u r e  to   s tr ess f u l  e v e n ts ;   h ea l th - r elate d   ch a llen g es,   s u c h   as   t h e  p r esen ce   o f   c h r o n i c  d is ea s es   an d   m e n tal  h ea lt h   d is o r d er s ;  an d   h i s to r ical  f ac to r s ,   in cl u d in g   f a m il y   h is to r y   a n d   p r ev io u s   s u icid e   atte m p ts .   Al l   th e s e  q u al itie s   ar e  p o s itiv el y   as s o ciate d   w it h   s u ic id al  in te n t.   Mo r eo v er ,   th er e  ex i s t  v ar io u s   f ac to r s ,   s p ec if icall y   t h r ee   p r im ar y   r is k   f ac to r s ,   t h at  ca n   co n tr ib u te  to   t h e   d ev elo p m en t  o f   s u icid al  in te n t  o r   id ea tio n :  en v ir o n m en ta l   f ac to r s   ( s u ch   as  ab u s e  an d   h ig h l y   s tr es s f u l  li f e   ev en t s ) ,   h ea l th   f ac to r s   ( i n cl u d in g   c h r o n ic  p ai n   a n d   m e n tal  h e alth   i s s u es),   a n d   h i s to r ical  f ac t o r s   ( s u ch   as  a  f a m il y   h is to r y   o f   s u icid e  o r   p r ev io u s   s u icid e  atte m p t s ) .   T h ese  r is k   f ac to r s   ca n   p o ten tiall y   lead   to   th e  d ev elo p m en t  o f   s u ic id al  in ten t io n s   o r   th o u g h t s   [ 6 ] .   T h er ef o r e,   th e  f ield   o f   n atu r al  lan g u a g e  p r o ce s s in g   ( NL P )   ass u m e s   a  s ig n i f ica n t  r o le  i n   t h e  d etec ti o n   an d   id e n ti f icatio n   o f   s u ici d e  in te n tio n s   e x p r ess ed   i n   te x tu a l  co n te n t.  T h e   p r o v id ed   d ata  p r esen ts   v al u a b le  in s ig h ts   t h at  ca n   b e  u tili s ed   in   t h e  d e v elo p m e n t  o f   s y s te m s   t h at  h av e   th e   ca p ab ilit y   to   f o r ec ast  an   in d i v i d u al ’ s   p r o p en s it y   f o r   en g ag i n g   in   s u ic id e  atte m p t s   [ 7 ] .   R esear ch er s   u tili s e   m a n y   t y p es  o f   m o d els,  in cl u d in g   m a ch in e  lear n in g   m o d els,  d ee p   le ar n in g   m o d els,  an d   tr an s f o r m e r - b ased   m o d els,  i n   o r d er   to   i d en tify   te x t u al  co n t en t  t h at  i n d icate s   p o ten tia l  s u icid e  th o u g h t s   [ 6 ] .   T h ese  ef f o r ts   co n tr ib u te  to   p r o v id in g   p r o tectio n   an d   r ed u cin g   t h e  i n cid en ce   o f   s u icid e.   I n   r ec en t  y ea r s ,   th e r e  h as  b e en   a  s ig n if i ca n t  f o cu s   in   th e   f iel d   o f   NL P   o n   th e  au to m ate d   id e n tif icat io n   o f   m en t al   h e alth   d is o r d e r s   u s in g   d iv e r s e   d at a   s o u r c es   s u ch   as   ele ctr o n i c   h ea l th   r e c o r d s   ( E HR s ) ,   clin i ca l   r e co r d s ,   b i o m ar k er s ,   w r itten   t ex ts ,   an d   o n lin e   p o s ts   [ 8 ] - [ 1 0 ] .   NL P   m eth o d o l o g ies  h av e  ex h i b it ed   t h eir   ef f ica cy   in   th e   class if i ca t io n   o f   in i tia l  in d i ca ti o n s   o f   m en tal  i lln ess ,   ak in   to   t h e  s tu d y   o f   s en t im en t  [ 1 1 ] - [ 1 3 ] .   T h e   tr an s f o r m er - b as ed   l an g u ag e   m o d el   [ 1 4 ]   is   an   a p p r o ac h   th a t   h as   d em o n s tr a te d   r em ar k ab le   ef f e ctiv en es s .   T h e   t r an s d u ct io n   m o d el  u n d er   d is cu s s i o n   is   f o u n d e d   u p o n   a  p h en o m en o n   k n o w n   as  att en ti o n ,   w h ich   h as  s ig n if ican tly   tr an s f o r m ed   b r ain   en c o d e r s   d esig n ed   f o r   n atu r a l  l an g u ag e  s e q u en ce s .   T h e  tr an s f o r m er   a r ch i te ctu r e  o m its   an y   n o is e   o r   co n v o lu ti o n al   s t r u ctu r es,   h en c e   all o w in g   th e  ac q u is i ti o n   o f   s e q u en ce   in f o r m ati o n   in   th e  in p u t  ex clu s iv ely   th r o u g h   atten t io n   m ec h an is m s .   T h e   p r esen ce   o f   a   s elf - att en ti o n   m ec h an is m   w ith in   th e  en co d e r ’ s   p r o ce s s in g   b l o ck   is   r es p o n s ib le  f o r   th is   o u tc o m e.   T h e  b id ir ec t io n al  c o n tex t  in f o r m ati o n   p r o ce s s in g   is s u e,   w h ich   in v o lv es  p r o ce s s in g   w o r d   an d   s e q u en ce   in p u ts   s im u ltan e o u s ly ,   c an   b e   ef f ec tiv ely   ad d r ess e d   b y   tr an s f o r m er s   [ 1 4 ] - [ 1 6 ] .   S o p h is tic at ed   co n t ex tu al  l an g u ag e  u n d e r s t a n d in g   m o d els  ca n   b e  ac q u ir e d ,   w h ich   co u l d   c at ch   s u b tl e  an d   d et ail e d   lex i ca l   p at te r n s .   T h is   r esu l ts   in   th e  d e v elo p m en t  o f   a   c o m p r eh en s iv e   f ea tu r e  r e p r es en tat io n   o f   a  g iv en   tex t   [ 1 7 ] .   S ev e r al   s ch o l ar ly   r ese a r ch   [ 1 8 ] - [ 2 1 ]   h av e  in v esti g at e d   th e  a p p lic ati o n   o f   tr an s f o r m er s   in   th e   f iel d   o f   NL P ,   s p e cif ic ally   in   th e  d o m ain   o f   s u ici d e - r el a ted   tex t   i d en tif i ca t io n   [ 6 ] ,  [ 2 2 ] ,   [ 2 3 ] .  Hen ce ,   th is   r esear ch   m ak e s   s v a lu ab le   co n tr ib u tio n   to   th e  s u b s eq u en t  d o m ain s ,   in cl u d i n g s   an a l y ze   th e  s u icid al  id ea tio n   t ex t  d atasets ,   it  is   r ec o m m e n d ed   to   u tili ze   ad v an ce d   d ee p   lear n in g   m o d els  li k e  b id ir ec tio n al  lo n g   s h o r t - ter m   m e m o r y   ( B i L ST M) ,  as  w ell  as  v ar io u s   tr an s f er   lear n in g   m o d els  s u c h   as  b id ir ec tio n al  en co d er   r ep r esen tatio n s   f r o m   tr an s f o r m er s   ( B E R T ) ,   r o b u s tl y   o p ti m ized   B E R T   ap p r o ac h   ( R o B E R T a) ,   a   lite  B E R T   ( A L B E R T ) ,   d ec o d in g - e n h an ce d   B E R T   w it h   d is e n ta n g led   atte n tio n   ( DeB E R T a) .   T h is   s tr ateg y   s ee k s   to   in v esti g ate  t h e  ef f icac y   o f   th ese  m o d els  i n   id en ti f y i n g   s u ic id al  id ea tio n .   Fu r th er m o r e,   th i s   r esear ch   en h a n ce s   to   cr ea te  m o r e  s o p h is ticat ed   tr an s f er   lear n in g   m o d el s   in   co n tr a s t  to   co n v e n ti o n al  d ee p   lear n in g   m o d el s .   T h is   b r ea k th r o u g h   i n co r p o r ates  p r e - tr ain in g   an d   f in e - tu n in g   m e th o d o lo g ies  t h at  g r ea tl y   en h a n ce   th e  ab ilit y   to   d etec t  s u icid al  th o u g h ts   i n   wr itten   lan g u ag e.   I n   ad d itio n ,   th is   s t u d y   also   co n tr i b u tes  th a t  DeB E R T a  ex h ib its   r o b u s t  p er f o r m an ce   a n d   is   o n   p ar   w it h   co m p ar ab le  m o d el s   in   ter m s   o f   co m p etiti v en es s .       2.   RE L AT E D  WO R K S   R ec en t  s t u d ies  h av e  i n v est ig ated   th e  co r r elatio n   b et w ee n   m en tal  w ell - b ei n g   a n d   th e  wa y   p eo p le  ex p r ess   t h e m s el v e s   li n g u i s tic all y   to   d etec t   s i g n s   o f   s u icid al  id ea tio n .   P r io r   r esear ch   i n co r p o r ated   lan g u ag e   co m p o n e n t s   d er iv ed   f r o m   p s y ch ia tr ic  liter atu r e,   in cl u d in g   lin g u is tic  in q u ir y   a n d   w o r d   co u n t  ( L I W C )   [ 2 4 ] ,  e m o tio n al  c h ar ac ter is tic s   [ 2 5 ] ,   an d   s u icid e  letter s   [ 2 6 ] .   Nev er th eles s ,   th e s e  m e th o d o lo g ie s   ar e  co n s tr ai n ed   in   th eir   ab ilit y   to   ass e s s   in d i v id u al  p o s ts   an d   ar e  in ad eq u ate  f o r   d atasets   th at  ar e  d iv er s e  o r   e x ten s i v e  [ 2 7 ] .   T h e  u tili za t io n   o f   s o cial  m ed ia  an d   NL P   in   th e  f ield   o f   m en ta l  h ea lt h   r esear ch   h as  ex p er ie n c ed   a  n o tab le   s u r g e  in   p o p u lar it y .   T h e  s t u d y   o f   s e n ti m en t  a n al y s is   is   ex p a n d in g   to   in cl u d e  o n li n e  m e n tal  h ea lt h   f o r u m s   an d   s o cial   m ed ia  d ata  as  n e w   ar ea s   o f   in v e s ti g atio n .   T ad ess e   et  a l.   [ 2 8 ]   d ev is ed   a  h y b r id   m o d el  th at  in te g r ates  laten t   d ir ich let  allo ca tio n   ( L D A ) ,  lin g u i s tic  in q u ir y   a n d   w o r d   co u n t  a n al y s i s   ( L I W C A ) ,   B ig r a m ,   an d   m u lti la y er   p er ce p tr o n   ( ML P ) ,   ac h iev i n g   a  co m m e n d ab le  ac cu r ac y   r ate  o f   9 0 %.  A d d itio n al  r esear ch   [ 2 9 ] - [ 3 1 ]   g ath er ed   in f o r m atio n   f r o m   T w itter   a n d   u s i n g   d if f er en t  m ac h in e  lear n i n g   tec h n iq u es  to   ca teg o r ize  s u i cid al  id ea tio n .   Dee p   lear n in g   tec h n iq u es  s u c h   as  lo n g   s h o r t - ter m   m e m o r y   ( L ST M)   an d   co n v o lu tio n al  n e u r al  n et w o r k   ( C NN)   h a v e   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   1 6 9 3 - 6930   T E L KOM NI K A   T elec o m m u n   C o m p u t E l  C o n tr o l ,   Vo l.  2 3 ,   No .   2 ,  A p r il   20 2 5 :  4 2 6 - 434   428   m ad e  s u b s ta n tia l  p r o g r ess   in   NL P   b ec au s e  o f   th e  w id esp r e ad   u s e  o f   w o r d   e m b ed d in g s .   M L   a p p r o a c h e s   a r e  c o n s t r a in e d   b y   r es t r ic t i o n s   s u ch   a s   t h e   c u r s e   o f   d im en s i o n a li ty ,   d a t a   s p a r s i ty ,   an d   t im e   c o n s u m p t i o n ,   w h ic h   r en d e r   t h em   i n a p p r o p r i a t e   f o r   s o m e   a p p l i c a t i o n s .   D e e p   le a r n in g   im p r o v e s   u p o n   c o n v e n t i o n a l   m a ch in e   l ea r n in g   m eth o d s   b y   ex t r a ct in g   h ig h e r - l ev e l  f e a tu r es   f r o m   in p u t   d a t a   u s in g   a   g r e a t e r   n u m b e r   o f   l ay e r s   in   th e   m o d e l ,   r esu l tin g   in   m o r e   r e li a b l e   an d   p r e ci s e  c l ass if i c at i o n .   Stu d i e s   in d i c at e   th at   d e e p   l e a r n in g   m o d e ls   h av e   s u p e r i o r   p r e d i c t i o n   a c c u r ac y   in   i d en t if y in g   s u i c i d al  i d e a t i o n   w h en   c o m p a r e d   t o   o th e r   m a ch in e   l e a r n in g   c l ass if i e r s   [ 3 2 ] ,   [ 3 3 ] .   P r esen tl y ,   n u m er o u s   r esear ch er s   ar e  u tili zi n g   B E R T - b ased   m o d el s   [ 2 3 ]   to   id en tify   s u icid al  id ea tio n   [ 3 4 ] ,   as  th ese  m o d els  h a v e  t h e  ab ilit y   to   p r ec is el y   ca p tu r e  s e m an t ic  an d   co n tex t u al   ch ar ac ter is tic s   [ 3 5 ] .  Nev er th e less ,   s u icid e  d etec tio n   r esear ch   is   co n s tr ai n ed   b y   i ts   e m p h asi s   o n   T w itter ,   a  p latf o r m   t h at  r estrict s   w r iti n g   to   a  m ax i m u m   o f   2 8 0   ch ar ac ter s .   P r ev io u s   r esear ch   e m p lo y i n g   tr an s f o r m er   m o d els  [ 6 ]   em p lo y ed   s u icid e - r elate d   d ata  f r o m   T w itter   as  th e  d ataset.   T h e  m o d els  u til ized   in   th e s e  i n v e s ti g a tio n s   w er e  B E R T ,   Dis tilB E R T ,   AL B E R T ,   R o B E R T a,   an d   Dis tilR o B E R T a.   A m o n g   th e s e  m o d els,  R o B E R T a  d em o n s tr ated   th e  h ig h e s t  lev el  o f   ac cu r ac y ,   at tain i n g   a  s co r e  o f   9 5 . 3 9 %.  A   d i f f er en t  s t u d y   [ 3 6 ]   em p lo y ed   a  m er g ed   R o B E R T a  an d   C NN  m o d el,   w it h   a  d atas et  co n s is t in g   o f   1 1 0 , 0 4 0   d ata  p o in ts .   T h e  co m p o s ite  m o d el  attain ed   an   F1 - s co r e  o f   9 6 . 8 1 %.  T h is   w o r k   tr ies  to   cr ea te  a  m o d if ied   v er s io n   o f   t h e  B E R T   m o d el  th at  ad d r ess e s   th e  li m i ts   o f   h u g e   d atasets   an d   f o c u s e s   o n   co m b in i n g   s ev er al  m o d el s   r ath er   th an   m o d i f y i n g   th e  B E R T   m o d el  its el f .   T h is   s tu d y   ai m s   to   co n s tr u c t  m o d els  u s in g   v ar io u s   B E R T   v ar iatio n s ,   in cl u d in g   B E R T ,   R o B E R T a,   A L B E R T ,   an d   DeB E R T a.   No ta b ly ,   t h e  DeB E R T a  m o d el  h as  n o t b ee n   ex a m i n ed   in   p r ev io u s   s t u d ies.       3.   M E T H O D   T h e  in v esti g atio n   co m m en ce d   th r o u g h   s e v er al  m et h o d o lo g ical  s tag es,  as  ill u s tr ated   in   Fi g u r e   1 .   T h e  d ataset  in cl u d ed   of   tex ts   p er tain in g   to   s u ic id e  an d   n o n - s u icid e.   T h e  in itial st ep   in v o lv ed   p r ep r o ce s s in g   t h e  tex t   b y   e li m in a tin g   s p ec ial  ch ar ac ter s ,   n u m er ical   v al u e s ,   an d   p u n ct u atio n   m ar k s ,   f o llo w ed   b y   co n v er ti n g   i t  to   lo w er ca s e.   W e  co n d u cted   le m m a tizatio n   to   r ed u ce   w o r d s   to   th eir   b ase  f o r m .   W e  u tili ze d   t h e  p r o ce s s ed   d ata  in   p r e - tr ain ed   m o d els  s u ch   a s   B E R T ,   R o B E R T a ,   AL B E R T ,   an d   DeB E R T a,   ad ap tin g   th e m   to   s p ec if ic  a n al y s i s   task s   v ia  tr a n s f er   lear n i n g .   W e  ca teg o r ized   th e  o u tco m e s   to   an ticip ate  d ata  cla s s i f icat io n s .   W e  ass ess ed   th e   ac cu r ac y   o f   t h e  m o d el  b y   u ti liz in g   a  co n f u s io n   m atr i x   an d   p er f o r m ed   m o d el  co m p ar is o n s   to   d eter m in e  t h e  m o s t   id ea l  p er f o r m a n ce .   T h is   ap p r o ac h   in te g r ates  te x t  p r o ce s s in g   m eth o d o lo g ies  w i th   d ee p   lear n in g   alg o r it h m s   to   ac h iev e  e f f icie n t a n a l y s is .           Fig u r e  1 .   S y s te m   ar ch itect u r e  o f   th e  p r o p o s ed   w o r k       3 . 1 .     P re pro ce s s ing   Pr e p r o c e s s in g   i s   a   c r i ti c a l   s t ag e   i n   en s u r in g   th a t   th e   t ex t u a l   d a t a   i s   in   o p t im a l   f o r m   f o r   a n a ly s i s   an d   m o d e l  t r a in in g .   I n   th is   s tu d y ,   w e   b e g a n   b y   r em o v in g   u n n e c ess a r y   e l em en ts   s u ch   a s   H T M L   ta g s ,   s p e c i a l   ch a r a ct e r s ,   n u m e r a ls ,   an d   p u n ct u a t i o n   m ar k s .   T h i s   w a s   n e ce s s a r y   t o   e lim in at e   ex t r an e o u s   s y m b o l s   th a t   d o   n o t   c o n t r i b u t e   m e an in g f u lly   t o   th e   l in g u i s t i c  s t r u ct u r e ,   en s u r i n g   th a t  th e  m o d e l s   c o u l d   f o cu s   o n   es s en t i a l  t ex tu a l  p a t te r n s   w i th o u t  b e i n g   d is t r a ct e d   b y   i r r e l ev an t   n o i s e   [ 3 7 ] .   A f t e r   c l e an in g   th e   d a t as et   o f   u n n e c es s a r y   ch a r a ct e r s ,   t h e   t ex t   w as   s t an d a r d i z e d   b y   c o n v e r tin g   a l l   w o r d s   t o   l o w e r ca s e .   T h is   s t e p   p l ay s   a   s ig n if i c an t   r o l e   i n   r e d u cin g   r e d u n d a n cy   c au s e d   b y   c a s e   d i f f e r en c es ,   e s p e c ia l ly   f o r   l a n g u ag es   li k e   E n g l is h ,   w h e r e  c a p i t a li z a ti o n   d o e s   n o t   ch an g e   t h e   m e an in g   o f   w o r d s   [ 3 8 ] .   T h i s   s t an d a r d i z at i o n   h e l p s   in   m in im iz in g   d i s c r e p an ci e s   b e t w e en   w o r d s   lik e   “ Su ic i d e ”   a n d   “ s u i c i d e , ”   t r e a ti n g   th em   a s   i d en t i ca l   d u r in g   m o d e l   t r a in in g   [ 3 9 ] .   S u b s e q u en t ly ,   s t o p w o r d   r em o v a l   w as   c o n d u ct e d .   St o p w o r d s   a r e   c o m m o n   w o r d s ,   s u ch   as   “ t h e , ”   “ i s , ”   an d   “ in , ”   w h i ch ,   w h i l e   es s e n t i al   f o r   g r am m a t ic a l   c o r r e c tn es s ,   d o   n o t   c a r r y   s i g n i f i c an t   m e an in g   f o r   t e x t   c la s s if ic a t i o n   Sui ci d e   a n d   No n - Sui ci d e   Da t a se t Con f usi on  Ma t r i x M od el  Comparison R e m ov e   Spe ci a l   Ch a r a ct e r   a n d   Di g i t R e m ov e   Pun ct u a ti on L ow e r   T e xt L e m m a ti z e BER T R oBER T A Albert DeB ER T a Clas s ifier BER T R oBER T A Al bert DeB ER T a Pr e - T r ai ned  Model Pr e - P r ocess i ng T r an s f er   Learnin g  Model Evaluation Warning : The document was created with Spire.PDF for Python.
T E L KOM NI K A   T elec o m m u n   C o m p u t E l  C o n tr o l         A   co mp a r a tive  a n a lysi s   o f tra n s fer lea r n in g   mo d els o n   s u ici d e  a n d   n o n - s u icid e  textu a l   …   ( Me r in d a   Les ta n d y )   429   t a s k s .   B y   r em o v in g   t h e s e   s t o p w o r d s ,   w e   e n s u r e   th at   th e   m o d e l   c o n c en t r a t es   o n   th e  m o r e  c r it i c a l   a n d   in f o r m at iv e  w o r d s ,   th u s   en h an c in g   i ts   p e r f o r m an c e   [ 4 0 ] .   A d d i t i o n al ly ,   th i s   s t e p   r e d u c e s   t h e   d im en s i o n a l i ty   o f   th e   d a t as e t ,   a l l o w in g   f o r   m o r e   ef f i c i en t   c o m p u t a ti o n   [ 4 1 ] .   T h e   f in a l   s t e p   in   p r e p r o c es s i n g   i n v o lv e d   l em m at i z at i o n ,   w h e r e   w o r d s   a r e   r e d u ce d   t o   th e i r   b a s e   o r   r o o t   fo r m s .   T h is   p r o c es s   en s u r es   t h at   w o r d s   l ik e  “ r u n n in g , ”   “ r u n s , ”   a n d   “ r a n ”   a r e  t r e at e d   as   “ r u n , ”   p r e v en ti n g   th e  m o d el   f r o m   t r e at in g   th em   a s   s e p a r at e  e n t i ti e s .   L em m a ti z a t i o n   th u s   a i d s   in   c a p tu r in g   th e  c o r e   m e an in g   o f   w o r d s   an d   im p r o v e s   th e   m o d e l' s   a b i li ty   t o   g e n e r a li z e   p a tt e r n s   f r o m   th e   d at a   [ 4 2 ] .     3 . 2 .     T ra nfo rm er   B E R T ,   as  d escr ib e d   in   th e  lite r atu r e  [ 1 5 ] ,   is   a  n o tab le  b r ea k th r o u g h   i n   th e  f ield   o f   N L P ,   o w i n g   to   its   u tili za t io n   o f   th e  tr a n s f er   lear n in g   m o d el .   T h e  m o d el  co n s is t s   o f   a  s eq u e n ce   o f   tr an s f o r m er   en co d er   la y er s ,   an d   it  o f f er s   s e v er al  ad v a n tag e s ,   s u c h   as  a  co h esi v e  ar ch itec tu r e  f o r   d iv er s e  ap p licatio n s   a n d   b id ir ec tio n al  p r e - tr ain i n g .   T h e  p r i m ar y   tas k   o f   s elf - s u p er v i s ed   p r e - tr ain i n g ,   r ef er r ed   to   as  m a s k ed   lan g u a g e  m o d elin g   ( ML M) ,   p lay s   a  cr u cial  r o le  in   e n ab li n g   b id ir ec tio n al it y   i n s id e  th e   m o d el.   I t  in v o l v es  p r ed ictin g   m a s k ed   w o r d s   in   u n lab eled   tex t  b y   co n s id er in g   b o th   th e  p r ec ed in g   an d   s u cc ee d in g   co n te x t w o r d s   co n cu r r en t l y .   I n   ad d itio n   to   its   p r im ar y   p r e - tr ai n i n g   o b j ec tiv e,   B E R T   h as  also   b ee n   eq u i p p ed   w i th   t h e  ca p ab ilit y   to   ef f ec tiv e l y   p r o ce s s   n u m er o u s   s eq u e n ce s   b y   m ea n s   o f   th e  n e x t  s e n te n ce   p r ed ictio n   ( NSP )   w o r k .   T h e  NSP   task   is   d esig n ed   to   d is ce r n   w h et h er   a  g iv en   s eq u e n ce   s er v es  as  a  co n tin u atio n   o f   an o t h er   s eq u en ce .   Nu m er o u s   en h an ce m en ts   h a v e  b ee n   d ev is ed   af ter   th e  in tr o d u ctio n   o f   B E R T .   R o B E R T a   [ 4 3 ]   is   a  r ef in ed   v er s io n   o f   B E R T ,   a  p o p u lar   lan g u ag e   m o d el,   w h i ch   i n co r p o r ates  a  m o r e  e f f icien t  tr ai n i n g   m et h o d o lo g y .   T o   im p r o v e  co n tex t u al  u n d er s ta n d in g   i n   th e   tex t  g e n er ated   b y   t h e  m o d el,   R o B E R T a  eli m i n ates   th e   N SP   task .   A d d itio n all y ,   s h e  e n h an ce s   t h e  tr ai n i n g   p r o ce s s   b y   au g m en tin g   s en ten ce   p air in g s   t h r o u g h   r a n d o m   m o d if icatio n s   u s i n g   a   lar g e  co r p u s   o f   tex t  d ata.   I n   ad d itio n ,   R o B E R T a  em p lo y s   p r o lo n g ed   tr ain in g   d u r atio n s   a n d   in cr ea s ed   b atch   s ize s   to   i m p r o v e  th e   p er f o r m a n ce   o f   t h e  m o d el.   I n   th e  y ea r   2 0 1 9 ,   a   tr an s f o r m e r - b ased   m o d el  ca lled   A L B E R T   [ 4 4 ]   w a s   cr ea ted ,   f ea tu r in g   a  r ed u ctio n   in   its   p ar a m eter   co u n t.  T h e  o b j ec tiv e  o f   th is   B E R T   a d d itio n   is   to   en h a n ce   ef f icie n c y   w h ile  m ain tain in g   th e   q u alit y   o f   li n g u is tic  co n tex t   c o m p r e h en s io n .   AL B E R T   e m p lo y s   a   p ar a m eter   s h ar i n g   tech n iq u e  a m o n g   la y er s   in   th e  tr an s f o r m er   ar ch itect u r e,   r esu ltin g   i n   a  r ed u ctio n   in   th e   n u m b er   o f   p ar a m eter s   t h at  n e ed   to   b e  tr ain ed .   B y   e m p lo y i n g   t h i s   m e th o d o lo g y ,   AL B E R T   w a s   ab le  to   attain   s i m ilar ,   if   n o t b etter ,   r esu lt s   co m p ar ed   to   B E R T ,   all  w h ile  u tili zi n g   a  s m al ler   n u m b er   o f   p ar am eter s .   T h e  y ea r   2 0 2 0   w it n ess ed   t h e  e m er g en c e  o f   a  n o v el  m o d el   k n o w n   as  DeB E R T a  [ 4 5 ] ,   w h ich   i n tr o d u ce d   m o d if icatio n s   t o   th e  atte n tio n   m ec h an is m   i n s id e  th e  tr an s f o r m er   ar ch itect u r e,   h en ce   e n h a n ci n g   th e  ca p ab ilit ies  o f   tr a n s f o r m e r - b ased   lan g u a g e  m o d el s .   T h e  DeB E R T a  m o d el  e m p lo y s   a  d is en tan g led   atten t i o n   m ec h a n i s m   t h at  ef f ec ti v el y   d iv id es  atten tio n   in to   t w o   co m p o n en ts :  co n te n t - b ased   atten tio n   an d   p o s itio n - b ased   atten tio n .   T h is   m et h o d o lo g y   f ac ilit a tes  t h e  r eso l u tio n   o f   ce r tain   o b s tacle s   en co u n ter ed   b y   tr an s f o r m er - b ased   m o d els,  i n clu d i n g   th e  r elian ce   o n   in f le x ib le  w o r d   s eq u en ci n g   a n d   th e   in ca p ac it y   to   co m p r eh en d   n o n li n ea r   ass o ciatio n s   a m o n g   wo r d s .   B y   in co r p o r atin g   th e  d is en ta n g led   atten tio n   m ec h a n i s m ,   DeB E R T a  d em o n s tr ates  e n h a n ce d   te x t  r ep r esen t atio n s   a n d   i m p r o v ed   p er f o r m a n ce   i n   m an y   n at u r al  lan g u a g es p r o ce s s i n g   tas k s ,   i n clu d in g   te x t c o m p r eh e n s io n ,   s en ti m en t a n al y s is ,   an d   clas s i f i ca tio n   tas k s .     3 . 3 .     E v a lua t i o n  ma t rix   T h e  ev alu atio n   o f   th e  m o d el  will  b e  co n d u cted   u s in g   a  s ep ar ate  s et  o f   test in g   d ata,   an d   th e  r esu lt s   w ill   b e  g iv en   i n   th e  f o r m   o f   a  co n f u s io n   m atr i x .   T h e  p er f o r m a n ce   o f   th is   al g o r ith m   w ill  b e  ev alu a ted   b ased   o n   m etr ics  s u c h   as  ac cu r ac y ,   p r ec is io n ,   r ec all,   an d   F - 1   s co r e.   T h e  m ea s u r e  o f   ac cu r ac y   i s   d eter m in ed   b y   th e  d eg r ee   o f   p r o x i m i t y   b et w ee n   t h e  p r o j ec ted   v alu e   an d   t h e  ac t u al  v al u e,   as  s h o w n   i n   ( 1 ) .   T h e  ter m   “ tr u e  p o s iti v e ”   ( T P )   is   u s ed   to   d escr i b e  in s tan ce s   w h e n   p o s itiv e  d ata  is   ac cu r atel y   p r ed icted ,   w h ile  “ tr u e  n e g at iv e ”   ( T N)   is   u s ed   to   d escr ib e  in s ta n ce s   w h er e  n e g at iv e  d ata  is   ac c u r atel y   p r ed icted .   T h e  ter m   “ f alse  p o s it iv e ”   ( FP )   r ef er s   to   in s tan ce s   w h er e  n e g ati v e  d ata  is   w r o n g l y   c lass if ied   as  p o s iti v e  d ata,   w h ile  “ f alse  n eg at iv e ”   ( FN)   d en o tes  ca s e s   w h er e   p o s itiv e  d ata  is   i n co r r ec tl y   cl ass i f ied   as  n eg at iv e  d ata.   In   ( 2 )   r ep r esen ts   p r ec is io n ,   w h ich   is   a  m e tr ic  u s ed   to   ass es s   th e  ac c u r ac y   o f   d ata  b y   ev alu a tin g   t h e  p r o p o r tio n   o f   co r r ec t p r e d ictio n s .       =  +   +  +  +    ( 1 )     P r ec is io n   is   a  m ea s u r e  th at  q u an ti f ies  t h e  d eg r ee   o f   p r ec is io n   ex h ib ited   b y   d ata,   co n s id er in g   b o th   th e   v er ac it y   o f   th e  i n f o r m atio n   an d   its   ab ilit y   to   m a k e  ac cu r ate  p r e d ictio n s .   In   ( 2 )   is   u tili ze d   to   ar t icu late  th e  co n ce p t   o f   p r ec is io n .       =   +    ( 2 )     Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   1 6 9 3 - 6930   T E L KOM NI K A   T elec o m m u n   C o m p u t E l  C o n tr o l ,   Vo l.  2 3 ,   No .   2 ,  A p r il   20 2 5 :  4 2 6 - 434   430   T h e  ef f ec ti v e n es s   o f   t h e  m o d e l  in   ac c u r atel y   id e n ti f y in g   a  c er tain   clas s   ca n   b e  e v alu a ted   b y   i ts   r ec all  m etr ic,   w h ic h   ca n   b e  co m p u ted   u s i n g   ( 3 ) .       =   +    ( 3 )     T h e  F1 - s co r e  is   a  m etr ic  t h at  i n teg r ate s   t w o   f u n d a m en ta l  id e as  in   m o d el  e v alu a tio n ,   n a m e l y   p r ec is io n   an d   r ec all.   P r ec is io n   ass e s s es   th e  d eg r ee   o f   ac c u r ac y   i n   t h e  d ata  p r o j ec te d   b y   th e  m o d el,   w h er ea s   r ec all   ev alu a tes  th e  ef f icac y   o f   th e  m o d el  in   co r r ec tl y   r ec o g n izi n g   a  s p ec if ic  class .   T h e  F1 - s co r e  u s e  ( 4 )   to   ev alu ate  th e  o v er all  e f f ec t iv e n es s   o f   t h e   m o d el  in   ac cu r atel y   p r ed ictin g   o u tco m e s .     1 −   = 2   (  ×  ) (  +   )   ( 4 )       4.   RE SU L T S AN D  D I SCU SS I O N   4 . 1 .     Da t a s et   T ab le   1   s h o w s   t h e  d ataset  th at  w as  ac q u ir ed   f r o m   th e  s o cial  m ed ia  n et w o r k   R ed d it  an d   h as  b ee n   ca teg o r ized   in to   t w o   d is t in ct   l ab els:   lab el  1   d en o tes  i n s ta n ce s   o f   s u icid e,   w h ile  lab el  0   r ep r esen t s   n o n - s u icid al   o cc u r r en ce s .   T h e  d ataset  u tili ze d   in   th is   s t u d y   co n s i s ts   o f   t wo   d is tin ct  s u b r ed d its .   T h e  d ata   co llectio n   p r o ce s s   in v o l v ed   u til izin g   t h e  P u s h s h if t  A P I   to   r etr iev e  p o s ts   f r o m   th e  Su icid eW atch   s u b r ed d it,  s p an n i n g   th e  ti m e  f r o m   Dec e m b er   1 6 th ,   2 0 0 8 ,   to   J an u ar y   2 nd ,   2 0 2 1 .   T h e  d ata  co llecti o n   p r o ce s s   in v o l v ed   u tili zi n g   th e  P u s h s h if t A P I   to   r etr iev e  p o s ts   f r o m   t h e  S u icid eW atch   s u b r ed d it,  en co m p ass i n g   th e  t i m e  s p an n i n g   f r o m   De ce m b er   1 6 th ,   2 0 0 8 ,   to   J an u ar y   2 nd ,   2 0 2 1 .   A   co llec t io n   o f   p o s t s   p er tain i n g   to   n o n - s u icid al  s u b j ec ts   w a s   co m p ile d   f r o m   t h e  s u b r ed d it  r /teen ag er s .   T h e  d ataset  co m p r is es  a  to tal  o f   2 3 2 , 0 7 4   en tr ies,  w h ic h   ar e  ca teg o r ized   in t o   t w o   g r o u p s :  n o n - s u icid e  d ata  lab els  ( 1 1 6 , 0 3 7   e n tr ies)  a n d   s u icid e  d ata  lab el s   ( 1 1 6 , 0 3 7   en tr ies).   T h e  f o llo w i n g   tab le  p r o v id es  a n   illu s tr atio n   o f   b o th   t h e  d ataset s   p er tain in g   to   s u icid e  an d   n o n - s u icid e  ca s es.       T ab le  1 .   E x am p le  r es u lt s   o f   n o n - s u icid e  an d   s u icid e  d atasets   T e x t   L a b e l   M y   a p o l o g i e s  t o   t h e   r a n d o m  d u d e   o n   A mo n g   U s  S o   u h h . . . .   I   w o u l d   l i k e   t o   a p o l o g i z e   t o   t h e   r a n d o m  d u d e   n a me d   P o n   o n   a mo n g   u s .   I   h a d   h o st e d   a   g a me   f o r   my   g f   a n d   h e r   f r i e n d   t o   l e a r n   h o w   t o   p l a y   a n d   w h a t e v e r   a n d . . .   w e   ma y   h a v e   t a k e n   o v e r   t h e   c h a t   w i t h   U w U   s  a n d   u h . . . .   o t h e r   q u e st i o n a b l e   l a n g u a g e . . . .   *   c o u g h   *   I   w a s  c a l l e d   “ mo mm y   y e l l o w ”   *   c o u g h   *   A N Y W A Y S   so r r y   y a   h a d   t o   w i t n e ss  t h a t   d u d e .   0   A s   my   i s o l a t i o n   g r o w s   l o n g e r ,   t h o u g h t s   o f   m u r d e r   a n d   r a p e   e n t e r   m y   m i n d .   T h e   h u m a n s   I   s e e   e v e r y   d a y   s t a r t   t o   l o o k   l e s s   a n d   l e s s   l i k e   t h e   s a me   s p e c i e s   a s   me .   T h e y   s t a r t   t o   f e e l   l i k e   j u s t   a n o t h e r   a n i m a l .   I   st a r t   t o   f a n t a s i z e   a b o u t   h o w   I   c o u l d   c o r n e r   o n e   o f   t h e m   a n d   a t t a c k   t h e m .   S a t i s f y   so m e   o f   my   c a r n a l   n e e d s .   I   d o n ’ t   w a n t   t o   b e   t h i s   w a y ,   o r   h a v e   t h e s e   t h o u g h t s .   B u t   t h e   l e s s   r e a l   a f f e c t i o n   I   r e c e i v e ,   t h e   m o r e   a t t r a c t i v e   a n d   c o m f o r t i n g   t h e s e   t h o u g h t s   s t a r t   t o   b e .   W h y   w o u l d   s o me b o d y   w a n t   m e   a l i v e ?   I ’ m  l i k e   a   d a n g e r o u s   a n i m a l .   I   w i s h   s o m e b o d y   w o u l d   c o m e   a n d   k i l l   m e .   I   w o u l d   b e   b e t t e r   o f f   d e a d   I ’ m   s u r e .   A n d   a n y b o d y   I ’ m  a r o u n d   w o u l d   b e   b e t t e r   o f f   t o o .   M y   u r g e s   t o   k i l l   my s e l f   h a v e   a l w a y s   b e e n   s t r o n g e r   t h a n   m y   u r g e s   t o   h u r t   o t h e r s .   I ’ v e   c o m e   c l o se   t o   k i l l i n g   my s e l f .   S t a n d i n g   a t   t h e   e d g e   o f   t a l l   s t r u c t u r e s .   I   g o   w i t h   t h e   i n t e n t   t o   j u m p ,   a n d   I   c o u l d   i f   I   h a d   j u s t   m a d e   o n e   s h a r p   a n d   s u d d e n   m o v e m e n t .   I ’ v e   a l s o   t h r o w n   m y se l f   i n   t r a f f i c ,   b u t   i t   w a s   p r e t t y   l o w   s p e e d   a n d   I   g o t   u p   w i t h o u t   a   s c r a t c h .   T h e   c l o se s t   I ’ v e   g o t   t o   h u r t i n g   a n y b o d y   w a s   w h e n   I   s a w   a   p r e t t y   g i r l   w a l k i n g   a t   n i g h t   a n d   I   s t a r t e d   t o   f o l l o w   h e r   o n   my   b i k e .   I   c o u l d   t e l l   s h e   n o t i c e d   m e   a n d   w a s   s c a r e d .   B u t   I   f e e l   l i k e   i t   w a s   a   f a r   c r y   f r o m   a c t u a l l y   i n t e r a c t i n g   w i t h   h e r ,   l e t   a l o n e   h u r t i n g   h e r .   I   a s s u m e   a s   I   my   p e r i o d   o f   i so l a t i o n   a n d   l o n e l i n e s s  c o n t i n u e s ,   I   w i l l   s t a r t   t o   g e t   mo r e   c o u r a g e   t o   d o   b o t h .   B u t   I   r e a l l y   h o p e   I   k i l l   my se l f   b e f o r e   h u r t i n g   a n y b o d y .   1       4 . 2 .     P re - pro ce s s ing   T h e  p r e - p r o ce s s in g   s tag e  o cc u r s   af ter   th e  g ath er i n g   o f   d ata.   Du r in g   th i s   s tag e,   s e v er al   clea n in g   p r o ce d u r es  ar e   u s ed   to   th e  d ata.   T h ese  p r o ce d u r es  in v o l v e  th e  eli m in at io n   o f   HT M L   ele m e n t s ,   s p ec ial  ch ar ac ter s ,   n u m er al s ,   an d   p u n ctu a tio n .   A d d it io n all y ,   th e  d ata  is   co n v er ted   to   lo w er ca s e   an d   s to p w o r d s   ar e  r e m o v ed .   T h e  r esu lts   o f   t h e  p r e - p r o ce s s i n g   p r o ce d u r e  ar e  d e p icted   in   Fig u r e  2 .     4 . 3 .     T est  re s ult   T h e  ev alu atio n   r esu l ts   o f   d ee p   lear n in g   an d   tr an s f er   lear n i n g   m o d els  ar e  p r esen ted   in   T ab le  2 .   W e  e m p lo y ed   t h e   B iLST M  m o d el  f o r   d ee p   lear n in g   a n d   ev alu ated   t h e  p er f o r m a n ce   o f   B E R T ,   R o B E R T a,   AL B E R T ,   an d   DeB E R T a  as  t r an s f er   lear n in g   m o d el s .   T h e  DeB E R T a  m o d el  attain ed   a  r e m ar k ab le  ac cu r ac y   s co r e  o f   0 . 9 8 7 0 %,   s h o w ca s i n g   co n s is te n t  p er f o r m a n ce   i n   ter m s   o f   p r ec is io n ,   r ec all,   an d   F1 - s co r e.   T h e   s u b s eq u en t  m o d el,   R o B E R T a,   attain ed   an   ac cu r ac y   s co r e  o f   0 . 9 8 3 4 %,  w h il s t B E R T   h ad   a   litt le  lo w er   s co r e  o f   0 . 9 8 0 0 %.  AL B E R T   attain ed   a  p r ec is io n   s co r e  o f   0 . 9 5 0 0 %.  T h ese  f i n d i n g s   d e m o n s t r ate  th at   DeB E R T a  p o s s ess es   ex ce p tio n al  s k il ls   a n d   ca n   r iv a l   o th er   m o d els,  as   ev id en ce d   b y   t h e  r es u lt s   p r esen te d   in   T ab le  2   o f   th e   test i n g   d ata.   Evaluation Warning : The document was created with Spire.PDF for Python.
T E L KOM NI K A   T elec o m m u n   C o m p u t E l  C o n tr o l         A   co mp a r a tive  a n a lysi s   o f tra n s fer lea r n in g   mo d els o n   s u ici d e  a n d   n o n - s u icid e  textu a l   …   ( Me r in d a   Les ta n d y )   431   I n   co n tr ast to   p r i o r   r esear ch   [ 3 6 ] ,   th er e  is   a   n o tab le  en h an ce m en t.  T h e  p r io r   s tu d y   d o cu m e n ted   an   F1 - s co r e  o f   9 6 . 8 1 %.  T h is   en h an c e m en t  in d icate s   t h at  th e  f u n d am en tal  m o d els  cr ea ted   in   th is   r esear ch   ar e  o n   p ar   w it h   co m p o s ite  m o d els  lik e  R o B E R T a - C NN.   T h e  in clu s io n   o f   th i s   f ea tu r e  e n ab les  t h e  tr a n s f o r m er   m o d el  to   s u r p ass   th e   co n s tr ain t s   i n   s p ee d   an d   ef f icie n c y   t h at  ar e  s ee n   in   r ec u r r e n t  m o d el s   li k e  B i L S T M.   T h e  B iL ST M  m o d el  f ac es  ch alle n g es  i n   co llectin g   n o n - li n ea r   co r r elatio n s   b et w ee n   w o r d s   th at  ar e  w id e l y   s ep ar ated   in   th e  tex t,  h en ce   h i n d er in g   it s   ab il it y   to   ac c u r atel y   ex p r es s   i n tr icate   s e m an tic  co n n ec tio n s .   T h e  tab le ’ s   r es u lt s   d em o n s tr ate   th a t  t h e  u tili za t io n   o f   tr an s f er   lear n i n g   h as  t h e  c ap ab ilit y   to   o v er co m e  t h e  li m i tatio n s   li n k ed   to   t h e   B iL ST M  m o d el.   T h e  o b j ec tiv e  o f   th is   w o r k   is   t o   ass ess   t h e  ef f ec ti v en e s s   o f   s e v er al  t y p es  o f   tr a n s f o r m er   m o d els  in   tex t   class i f icatio n   task s   th at  i n v o l v e  s en s it iv e  to p ics,  s u c h   as  id en tify i n g   i n d icatio n s   o f   s u icid e  o n   s o cial  m ed ia.   T h e  r esu lt s   u n d er s co r e  th e  s i g n if ic an ce   o f   ch o o s in g   th e  s u itab le  m o d el  to   en h an ce   p er f o r m a n c e  in   task s   r elate d   t o   NL P ,   p ar ticu lar l y   i n   ex tr e m el y   cr u cial  an d   in f l u en t ial  cir cu m s tan ce s   s u c h   as e m o tio n al  d ata s ets.  Nev er t h ele s s ,   th er e  ar e  s til l  co n s tr ain t s   r eg ar d in g   t h e  p er f o r m a n ce   o f   th ese  m o d els  o n   d iv er s e   d atas ets  o r   in   c h an g i n g   cir cu m s ta n ce s .   S u b s eq u en t in v esti g atio n s   co u ld   p r io r itize  a d d itio n al  ex p lo r atio n   an d   m o r e  ex ten s iv e  test in g   to   en h a n ce   t h e  o v er all  ap p licab ilit y   o f   t h ese  m o d el s .           Fig u r e  2 .   P r e - p r o ce s s ed   r esu lts   o f   s u icid e  an d   n o n - s u icid e  d atasets       T ab le  2 .   T esti n g   r es u lts   of   tr an s f o r m er   m o d el   A l g o r i t ma  mo d e l   A c c u r a c y   ( %)   P r e c i si o n   ( %)   R e c a l l   ( %)   F1 - sco r e   ( %)   B i L S T M + G l o V e   0 . 9 3 4 6   0 . 9 5 3 2   0 . 9 1 4 2   0 . 9 3 3 2   B ER T   0 . 9 8   0 . 9 8   0 . 9 8   0 . 9 8   R o B E R T a   0 . 9 8 3 4   0 . 9 8 3 4   0 . 9 8 3 4   0 . 9 8 3 4   A L B ER T   0 . 9 5   0 . 9 5   0 . 9 5   0 . 9 5   D e B ER T a   0 . 9 8 7 0   0 . 9 8 7 0   0 . 9 8 7 0   0 . 9 8 7 0   R o B E R T a - C N N   [ 3 6 ]   0 . 9 8   0 . 9 6 9 8   0 . 9 6 4   0 . 9 6 8 1     My ap ol ogies to th e r an d om dude on A m ong U s So uhh … . I w ould lik e to a p ol ogiz e to th e r an d om du d e n am ed P on on am ong us . I h ad h os t ed a g ame f or my gf an d h er fr ien d to learn h o w to p la y and wha te v er a n d … we m a y h a ve tak e n ov er th e c ha t wi th U W U s an d uh … . othe r q u e s tionab le langu ag e … . * c ough * I w as c alled "m om m y y ello w " * c ough * AN YW A Y S so r r y ya h a d to w itne ss th a t dude My ap ol ogies to th e r an d om dude on A m ong U s So uhh … . I w ould lik e to a p ol ogiz e to th e r an d om du d e n am e d P on on am ong us . I h ad h os t e d a g ame f or my gf an d h er fr ien d to learn h o w to p la y and wha te v er a n d … we m a y h a ve tak e n ov er th e c ha t wi th U W U s an d uh … . othe r q u e s tionab le langu ag e … . * c ough * I w as c alled momm y y ello w c o ugh AN YW A Y S so rr y ya h ad to wi tn ess th a t dude My ap ol ogies to th e r an d om dude on A m ong U s So uhh I w ould li k e to ap olo giz e to th e r an d om du d e n am e d P on on am ong us I h ad h os t ed a g ame f or my gf an d h er fr ien d to learn h o w to p la y and wha te v er a n d we m a y h a ve tak e n ov er th e c ha t wi t h U W U s an d uh ot h er q u estionab l e langu ag e c ough I w as c alled m omm y y ello w c ough A N YW A Y S so rr y ya h ad to wi tn ess th a t dude my ap ol ogies to th e r an d om dude on am ong us so uhh i w ould lik e to ap ol ogiz e to th e r an d om d u d e n am ed p on on am ong us i h ad h os t ed a g am e f or my gf an d h er fr ien d to learn h o w to pla y an d wha te v er a n d we m a y h a ve tak e n ov er the c h a t wi t h uwu s an d uh oth er q u e s tionab l e lan gu ag e c oug h i w as c alled m omm y y ello w c ough an yw a y s so rr y ya h ad to wi tn ess th a t dude ap olo gie s r an d om d u d e am ong u h h ap olo giz e r an d om dude n am e d p on am ong h os t ed g am e gf fr ien d learn p la y t a k en c h at u wu q u es tionab l e lan gu ag e c oug h c al led m omm y y ello w c ough wi tn ess dude ap ol ogy r an d om dude am ong u h h a p ol ogiz e r an d om d u d e n am e p on am ong h os t g am e gf fr ien d le arn p la y tak e c h at u wu q u e s tionab le lan gu ag e c oug h c all m om m y y ello w c ough wi tn ess dude Or i ginal  Doc ume n t Spe c i al  Cha r act er  and   Di git R emo v e  P unct ua ti on Lo w er  T e xt St opw or d s Le mm a ti z e Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   1 6 9 3 - 6930   T E L KOM NI K A   T elec o m m u n   C o m p u t E l  C o n tr o l ,   Vo l.  2 3 ,   No .   2 ,  A p r il   20 2 5 :  4 2 6 - 434   432   T h e  class   d iv i s io n   o f   t h e  co n f u s io n   m atr i x   o u tco m es  f o r   th e  DeB E R T A   m o d el  is   d is p la y ed   i n     T ab le  3 .   T h e  m atr ix   e n co m p a s s es  a  to tal  o f   4 6 , 4 1 5   test in g   d ata  in s ta n ce s .   T h e  F1 - s co r e  f o r   th e  n o n - s u icid e   lab el  is   0 . 9 8 7 1 %,  in d icatin g   t h at  t h e  m o d el ’ s   id en ti f ica ti o n   o f   n o n - s u icid e  te x t  i s   as s o ciate d   w i th   a   m in i m a l   n u m b er   o f   f al s e  p o s iti v es.  I n   a  s i m ilar   v ei n ,   t h e  F1   s co r e   f o r   th e   s u icid e  lab el  w o r d in g   is   0 . 9 8 6 9 %.  T h e  DeB E R T a  m o d el  p r o v id es  th e   ad v an ta g e  o f   e m p lo y i n g   d is e n t an g led   a tten tio n ,   w h ic h   f ac ili ta tes  a  m o r e  f o cu s ed   an d   s tr u ct u r ed   atten tio n   m ec h an i s m .   T h is   ap p r o ac h   h elp s   ad d r ess   ch alle n g e s   r elate d   to   u n d er s ta n d in g   t h e   r elatio n s h ip   b et w ee n   w o r d s   i n   lo n g er   tex t s   an d   i m p r o v e s   th e   ab ilit y   to   p er ce iv e  co n tex t  i n   a  b r o a d er   r an g e  o f   in f o r m atio n .   T h e  s u cc es s f u l  o u tco m e  o f   th is   h as  b ee n   p r o v en   b y   t h e  f i n d in g s   p r esen ted   in   T ab le  2   th at  r esu lt   f r o m   ea ch   tr ia l c o n d u cted   o n   t h e  tr an s f o r m er   m o d els.       T ab le  3 .   C lass   d iv is io n   o f   t h e  DeB E R T a  m o d el   L a b e l   P r e c i si o n   R e c a l l   F1 - s c o r e   N on - su i c i d e   0 . 9 8 3 5   0 . 9 9 0 7   0 . 9 8 7 1   S u i c i d e   0 . 9 9 0 6   0 . 9 8 3 2   0 . 9 8 6 9       5.   CO NCLU SI O N   T h is   s tu d y   ai m s   to   ac cu r atel y   id en ti f y   s u icid al  ten d en c ies  b y   te x t u al  an al y s i s ,   w h ic h   is   cr u cial  s i n ce   s u icid e  is   t h e  s ec o n d   m o s t  co m m o n   ca u s e  o f   d ea th   a m o n g   t h o s e  ag ed   1 5   to   2 9   w o r ld w id e ,   as  r ep o r ted   b y   th e   W HO .   T h e  C OVI D - 1 9   ep id em ic  h as  e x ac er b ated   m en ta l  h ea lt h   d if f ic u ltie s ,   h ei g h ten in g   t h e  lik e lih o o d   o f   s u icid e.   So cial  m ed ia  h as  e m e r g ed   as  a  cr u cial  p latf o r m   f o r   th o s e  ex p er ien ci n g   d is tr ess   to   o p en l y   ex p r ess   an d   d is s e m in ate  t h eir   e m o tio n s ,   th er eb y   s er v i n g   as  a  h elp f u l  to o l  f o r   p r o m p tl y   id en ti f y i n g   an d   in ter v e n i n g   in   s u c h   ca s es.  T h is   s tu d y   u til ized   d ee p   lear n in g   a n d   tr an s f er   lear n i n g   m o d el s   to   ac cu r atel y   clas s if y   tex ts   as  eit h er   s u icid e - r elate d   o r   n o n - s u icid e - r elate d .   W e   im p le m e n ted   m eti cu lo u s   d ata  clea n s i n g   p r o ce d u r es,  w h ic h   in v o lv ed   d eletin g   HT ML   co m p o n e n ts ,   s p ec ial  ch ar ac ter s ,   d ig its ,   p u n ctu atio n ,   a n d   e m o j is .   A d d itio n all y ,   w e  co n v er ted   th e  te x t  to   lo w er ca s e,   r e m o v ed   s to p w o r d s ,   an d   p er f o r m ed   le m m atiza tio n   o n   t h e  w o r d s .   W e  ev alu ated   o u r   m o d el s   b y   co m p ar in g   t h e m   to   o th er   s o p h i s ticated   tr an s f o r m er s   an d   d ee p   lear n i n g   tech n iq u es,  s u c h   as   B E R T ,   R o B E R T a,   A L B E R T ,   an d   De B E R T a,   in   ad d itio n   to   th e  B i L ST M  m o d el  b ased   o n   Glo Ve  em b ed d in g s .   T h e  f i n d in g s   i n d icate d   t h at  t h e  De B E R T a  m o d el  h ad   s u p er io r   p er f o r m an ce   co m p ar ed   to   o th er   m o d els  i n   ter m s   o f   ac cu r ac y ,   p r ec is io n ,   r ec all,   a n d   F1 - s co r e.   T h e  r ea s o n   b eh i n d   DeB E R T a ’ s   e x ce p tio n al   p er f o r m an ce   ca n   b e   attr ib u ted   to   its   d is e n ta n g led   atten tio n   m ec h a n is m .   T h is   tec h n iq u e  e n ab les  t h e  m o d el  to   c h o o s e  to   co n ce n tr ate   o n   p er tin en t  tex tu al  co m p o n e n ts   w h ile  r ej ec tin g   e x tr a n eo u s   i n f o r m ati o n .   T h is   f ea t u r e  i m p r o v es  it s   ef f icac y   i n   ca p tu r in g   th e  i n tr icate   a n d   in tr icate   asp ec ts   o f   la n g u a g e  ass o ciate d   w it h   s u icid al  id ea tio n .   T h e  r esu lts   o f   o u r   r esear ch   i n d icate   th at  ad v a n ce d   tr an s f o r m er   m o d els,  s p ec i f icall y   DeB E R T a,   s h o w   g r ea t  p o ten tial  i n   i m p r o v in g   t h e  id en tific atio n   o f   s u icid al  ten d en cies  b y   a n al y zi n g   te x t  f r o m   s o cial  m ed ia.   T h ese  f i n d in g s   h av e  s ig n i f ica n t  co n s eq u en ce s   f o r   ea r l y   i n ter v e n ti o n   an d   p r ev en tio n   m et h o d s ,   p o ten tiall y   r ed u ci n g   m o r ta lit y   r ates  b y   id e n ti f y in g   p er s o n s   at  r is k   m o r e  p r ec is el y   an d   s w i f tl y .   S u b s eq u e n t  s tu d ie s   s h o u ld   i n v e s ti g ate   th e  ex te n t  to   w h ic h   t h ese  m o d els  m a y   b e  ap p lied   to   d iv er s e  d atasets   an d   ex a m i n e  h o w   d if f er en t  d ata   p r ep r o ce s s in g   ap p r o ac h es  a f f e ct  th e  p er f o r m an ce   o f   t h e  m o d els.  Fu r t h er m o r e,   in co r p o r atin g   a  w id e  r an g e   o f   lin g u i s tic  a n d   c u lt u r al  co n te x ts   co u ld   s i g n if ican t l y   s tr en g t h e n   th e  r eliab ili t y   a n d   p r ac ticalit y   o f   th e s e  m o d els  i n   r ea l - li f e  s it u atio n s .       ACK NO WL E D G E M E NT S   T h is   r esear ch   w a s   s u p p o r ted   b y   t h e  Dep ar t m en t  o f   E lectr ical  E n g in ee r i n g ,   Un i v er s it y   o f   Mu h a m m ad i y ah   Ma la n g   an d   t h e  C o m p u ter   L ab o r ato r y   o f   t h e   Dep ar tm e n t  o f   E lectr ical  E n g i n ee r in g ,   Un iv er s it y   o f   Mu h a m m ad i y ah   Ma lan g ,   wh ich   p r o v id ed   in s ig h t s   an d   ex p er tis e  th a t r ea ll y   h elp ed   th e  r es ea r ch .       RE F E R E NC E S   [ 1 ]   K .   W i n d f u h r   a n d   N .   K a p u r ,   “ S u i c i d e   a n d   me n t a l   i l l n e ss:   a   c l i n i c a l   r e v i e w   o f   1 5   y e a r s  f i n d i n g s  f r o m  t h e   U K   N a t i o n a l   C o n f i d e n t i a l   I n q u i r y   i n t o   S u i c i d e , ”   Br i t i sh   Me d i c a l   Bu l l e t i n ,   v o l .   1 0 0 ,   p p .   1 0 1 – 1 2 1 ,   2 0 1 1 ,   d o i :   1 0 . 1 0 9 3 / b m b / l d r 0 4 2 .   [ 2 ]   M .   A .   R e g e r ,   I .   H .   S t a n l e y ,   a n d   T .   E.   Jo i n e r ,   “ S u i c i d e   M o r t a l i t y   a n d   C o r o n a v i r u s  D i se a se   2 0 1 9 — A   P e r f e c t   S t o r m? , ”   J A M A   Psy c h i a t r y ,   v o l .   7 7 ,   n o .   1 1 ,   p p .   1 0 9 3 – 1 0 9 4 ,   N o v .   2 0 2 0 ,   d o i :   1 0 . 1 0 0 1 / j a ma p sy c h i a t r y . 2 0 2 0 . 1 0 6 0 .   [ 3 ]   I .   B u n e v i c i e n e ,   R .   B u n e v i c i u s ,   S .   B a g d o n a s ,   a n d   A .   B u n e v i c i u s,  “ T h e   i m p a c t   o f   p r e - e x i st i n g   c o n d i t i o n s   a n d   p e r c e i v e d   h e a l t h   st a t u s   o n   me n t a l   h e a l t h   d u r i n g   t h e   C O V I D - 1 9   p a n d e mi c , ”   J o u r n a l   o f   Pu b l i c   H e a l t h ,   v o l .   4 4 ,   n o .   1 ,   p p .   e 8 8 – e 9 5 ,   M a r .   2 0 2 2 ,   d o i :   1 0 . 1 0 9 3 / p u b me d / f d a b 2 4 8 .   [ 4 ]   S .   G a l e a ,   R .   M .   M e r c h a n t ,   a n d   N .   L u r i e ,   “ T h e   M e n t a l   H e a l t h   C o n se q u e n c e s   o f   C O V I D - 1 9   a n d   P h y si c a l   D i s t a n c i n g :   T h e   N e e d   f o r   P r e v e n t i o n   a n d   Ea r l y   I n t e r v e n t i o n , ”   J AM A  I n t e rn a l   Me d i c i n e ,   v o l .   1 8 0 ,   n o .   6 ,   p p .   8 1 7 – 8 1 8 ,   Ju n .   2 0 2 0 ,   d o i :   1 0 . 1 0 0 1 / j a ma i n t e r n me d . 2 0 2 0 . 1 5 6 2 .   Evaluation Warning : The document was created with Spire.PDF for Python.
T E L KOM NI K A   T elec o m m u n   C o m p u t E l  C o n tr o l         A   co mp a r a tive  a n a lysi s   o f tra n s fer lea r n in g   mo d els o n   s u ici d e  a n d   n o n - s u icid e  textu a l   …   ( Me r in d a   Les ta n d y )   433   [ 5 ]   W o r l d   H e a l t h   O r g a n i z a t i o n ,   N a t i o n a l   s u i c i d e   p r e v e n t i o n   s t ra t e g i e s . ,   v o l .   3 0 .   2 0 1 8 .   [ O n l i n e ] .   A v a i l a b l e :   h t t p s: / / a p p s.w h o . i n t / i r i s / b i t s t r e a m/ h a n d l e / 1 0 6 6 5 / 2 7 9 7 6 5 / 9 7 8 9 2 4 1 5 1 5 0 1 6 - e n g . p d f ? u a = 1   ( A c c e sse d :   Ju l .   0 1 ,   2 0 2 3)   [ 6 ]   G .   A n a n t h a k r i sh n a n ,   A .   K .   Jay a r a man ,   T .   T r u e man ,   S .   M i t r a ,   A .   A . K ,   a n d   A .   M u r u g a p p a n ,   S u i c i d a l   I n t e n t i o n   D e t e c t i o n   i n   T w e e t s   U si n g   B ERT - B a se d   T r a n s f o rm e rs .   2 0 2 2 ,   d o i :   1 0 . 1 1 0 9 / I C C C I S 5 6 4 3 0 . 2 0 2 2 . 1 0 0 3 7 6 7 7 .   [ 7 ]   I .   A mee r ,   M .   A r i f ,   G .   S i d o r o v ,   H .   G ò me z - A d o r n o ,   a n d   A .   G e l b u k h ,   “ M e n t a l   I l l n e ss  C l a ssi f i c a t i o n   o n   S o c i a l   M e d i a   T e x t s  u s i n g   D e e p   L e a r n i n g   a n d   T r a n sf e r   L e a r n i n g , ”   a rX i v   p re p r i n t ,  2 0 2 2 ,   d o i :   1 0 . 4 8 5 5 0 / a r X i v . 2 2 0 7 . 0 1 0 1 2 .   [ 8 ]   U .   A h me d ,   J.   C .   W .   L i n ,   a n d   G .   S r i v a st a v a ,   “ H y p e r - g r a p h - b a se d   a t t e n t i o n   c u r r i c u l u m l e a r n i n g   u s i n g   a   l e x i c a l   a l g o r i t h m   f o r   me n t a l   h e a l t h , ”   P a t t e rn   Re c o g n i t i o n   L e t t e rs ,   v o l .   1 5 7 ,   p p .   1 3 5 – 1 4 3 ,   2 0 2 2 ,   d o i :   1 0 . 1 0 1 6 / j . p a t r e c . 2 0 2 2 . 0 3 . 0 1 8 .   [ 9 ]   A .   K u mar,  K .   S h a r ma,   a n d   A .   S h a r ma,   “ H i e r a r c h i c a l   d e e p   n e u r a l   n e t w o r k   f o r   me n t a l   s t r e ss  st a t e   d e t e c t i o n   u s i n g   I o T   b a se d   b i o mar k e r s,”   P a t t e r n   Re c o g n i t i o n   L e t t e rs ,   v o l .   1 4 5 ,   p p .   8 1 – 8 7 ,   2 0 2 1 ,   d o i :   1 0 . 1 0 1 6 / j . p a t r e c . 2 0 2 1 . 0 1 . 0 3 0 .   [ 1 0 ]   R .   S k a i k   a n d   D .   I n k p e n ,   “ U si n g   S o c i a l   M e d i a   f o r   M e n t a l   H e a l t h   S u r v e i l l a n c e :   A   R e v i e w , ”   AC M  C o m p u t i n g   S u rve y s ,   v o l .   5 3 ,   n o .   6 ,   p p .   1 - 3 1 ,   D e c .   2 0 2 0 ,   d o i :   1 0 . 1 1 4 5 / 3 4 2 2 8 2 4 .   [ 1 1 ]   A .   L e   G l a z   e t   a l . ,   “ M a c h i n e   L e a r n i n g   a n d   N a t u r a l   L a n g u a g e   P r o c e ssi n g   i n   M e n t a l   H e a l t h :   S y st e mat i c   R e v i e w , ”   J o u r n a l   o f   m e d i c a l   I n t e r n e t   r e se a rc h ,   v o l .   2 3 ,   n o .   5 ,   M a y   2 0 2 1 ,   d o i :   1 0 . 2 1 9 6 / 1 5 7 0 8 .   [ 1 2 ]   T .   Z h a n g ,   A .   M .   S c h o e n e ,   S .   Ji ,   a n d   S .   A n a n i a d o u ,   “ N a t u r a l   l a n g u a g e   p r o c e ssi n g   a p p l i e d   t o   me n t a l   i l l n e ss  d e t e c t i o n :   a   n a r r a t i v e   r e v i e w , ”   N PJ   D i g i t a l   M e d i c i n e ,   v o l .   5 ,   n o .   1 ,   p p .   1 – 1 3 ,   2 0 2 2 ,   d o i :   1 0 . 1 0 3 8 / s 4 1 7 4 6 - 0 2 2 - 0 0 5 8 9 - 7.   [ 1 3 ]   R .   S a l a s - Z á r a t e ,   G .   A l o r - H e r n á n d e z ,   M .   A .   P a r e d e s - V a l v e r d e ,   M .   d e l   P .   S a l a s - Z á r a t e ,   M .   B u st o s - L ó p e z ,   a n d   J.  L .   S á n c h e z - C e r v a n t e s,  “ M e n t a l - H e a l t h :   A n   N L P - B a se d   S y st e m  f o r   D e t e c t i n g   D e p r e ssi o n   L e v e l s  t h r o u g h   U se r   C o mm e n t s  o n   Tw i t t e r   ( X ) , ”   Ma t h e m a t i c s ,   v o l .   1 2 ,   n o .   1 3 ,   p p .   1 – 3 0 ,   2 0 2 4 ,   d o i :   1 0 . 3 3 9 0 / m a t h 1 2 1 3 1 9 2 6 .   [ 1 4 ]   A .   V a sw a n i   e t   a l . ,   “ A t t e n t i o n   i s   a l l   y o u   n e e d , ”   A d v a n c e s  i n   N e u r a l   I n f o rm a t i o n   Pr o c e ss i n g   S y s t e m s ,   p p .   5 9 9 9 – 6 0 0 9 ,   2 0 1 7 .   [ 1 5 ]   J.  D e v l i n ,   M .   W .   C h a n g ,   K .   L e e ,   a n d   K .   T o u t a n o v a ,   “ B E R T :   P r e - t r a i n i n g   o f   d e e p   b i d i r e c t i o n a l   t r a n sf o r me r s  f o r   l a n g u a g e   u n d e r st a n d i n g , ”   i n   N AAC L   H L T   2 0 1 9   -   2 0 1 9   C o n f e r e n c e   o f   t h e   N o rt h   A m e ri c a n   C h a p t e r  o f   t h e   Ass o c i a t i o n   f o r  C o m p u t a t i o n a l   L i n g u i st i c s:   H u m a n   L a n g u a g e   T e c h n o l o g i e s   -   Pr o c e e d i n g s  o f   t h e   C o n f e re n c e ,   2 0 1 9 ,   p p .   4 1 7 1 – 4 1 8 6 .   [ 1 6 ]   T .   W o l f   e t   a l . ,   “ T r a n sf o r me r s  :   S t a t e - of - t h e - A r t   N a t u r a l   L a n g u a g e   P r o c e ssi n g , ”   i n   Pr o c e e d i n g s  o f   t h e   2 0 2 0   C o n f e r e n c e   o n   Em p i r i c a l   Me t h o d s   i n   N a t u ra l   L a n g u a g e   Pr o c e s si n g :   S y s t e m   D e m o n st r a t i o n s ,   2 0 2 0 ,   p p .   3 8 – 4 5 ,   d o i :   1 0 . 1 8 6 5 3 / v 1 / 2 0 2 0 . e mn l p - d e mo s.6 .   [ 1 7 ]   C .   M .   G r e c o ,   A .   S i me r i ,   A .   T a g a r e l l i ,   a n d   E .   Z u m p a n o ,   “ T r a n sf o r me r - b a se d   l a n g u a g e   mo d e l s  f o r   me n t a l   h e a l t h   i s su e s:   A   su r v e y , ”   Pa t t e r n   Re c o g n i t i o n   L e t t e rs ,   v o l .   1 6 7 ,   p p .   2 0 4 – 2 1 1 ,   2 0 2 3 ,   d o i :   1 0 . 1 0 1 6 / j . p a t r e c . 2 0 2 3 . 0 2 . 0 1 6 .   [ 1 8 ]   Q .   u n   N i sa  a n d   R .   M u h a mm a d ,   “ T o w a r d s  t r a n sf e r   l e a r n i n g   u si n g   B ER T   f o r   e a r l y   d e t e c t i o n   o f   se l f - h a r m  o f   so c i a l   me d i a   u se r s,”   C EU R  Wo r k s h o p   Pro c . ,   v o l .   2 9 3 6 ,   p p .   1 0 5 9 – 1 0 7 0 ,   2 0 2 1 .   [ 1 9 ]   S .   Ji ,   T .   Z h a n g ,   L .   A n sari ,   J.   F u ,   P .   T i w a r i ,   a n d   E.   C a mb r i a ,   “ M e n t a l B E R T :   P u b l i c l y   A v a i l a b l e   P r e t r a i n e d   L a n g u a g e   M o d e l s  f o r   M e n t a l   H e a l t h c a r e , ”   2 0 2 2   L a n g u a g e   Re so u r c e s  a n d   Ev a l u a t i o n   C o n f e r e n c e ,   L R EC   2 0 2 2 ,   p p .   7 1 8 4 – 7 1 9 0 ,   2 0 2 2 .   [ 2 0 ]   H .   W a n g ,   X .   H u ,   a n d   H .   Z h a n g ,   “ S e n t i me n t   a n a l y si s  o f   c o mm o d i t y   r e v i e w s  b a se d   o n   A L B ER T - L S T M , ”   J o u rn a l   o f   P h y s i c s:   C o n f e re n c e   S e r i e s ,   v o l .   1 6 5 1 ,   n o .   1 ,   2 0 2 0 ,   d o i :   1 0 . 1 0 8 8 / 1 7 4 2 - 6 5 9 6 / 1 6 5 1 / 1 / 0 1 2 0 2 2 .   [ 2 1 ]   S .   K a u r ,   R .   B h a r d w a j ,   A .   Jai n ,   M .   G a r g ,   a n d   C .   S a x e n a ,   “ C a u s a l   C a t e g o r i z a t i o n   o f   M e n t a l   H e a l t h   P o st s  u s i n g   T r a n sf o r me r s,”   AC M   I n t e r n a t i o n a l   C o n f e r e n c e   Pro c e e d i n g   S e r i e s ,   v o l .   1 ,   n o .   1 ,   p p .   4 3 – 4 6 ,   2 0 2 2 ,   d o i :   1 0 . 1 1 4 5 / 3 5 7 4 3 1 8 . 3 5 7 4 3 3 4 .   [ 2 2 ]   T .   Z h a n g ,   A .   M .   S c h o e n e ,   a n d   S .   A n a n i a d o u ,   “ A u t o mat i c   i d e n t i f i c a t i o n   o f   su i c i d e   n o t e s  w i t h   a   t r a n sf o r me r - b a s e d   d e e p   l e a r n i n g   mo d e l , ”   I n t e rn e t   I n t e r v e n t i o n s ,   v o l .   2 5 ,   p p .   1 – 8 ,   2 0 2 1 ,   d o i :   1 0 . 1 0 1 6 / j . i n v e n t . 2 0 2 1 . 1 0 0 4 2 2 .   [ 2 3 ]   F .   H a q u e ,   R .   U .   N u r ,   S .   A .   J a h a n ,   Z .   M a h m u d ,   a n d   F .   M .   S h a h ,   “ A   T r a n sf o r me r   B a se d   A p p r o a c h   T o   D e t e c t   S u i c i d a l   I d e a t i o n   U si n g   Pre - T r a i n e d   L a n g u a g e   M o d e l s, ”   i n   2 0 2 0   2 3 r d   I n t e r n a t i o n a l   C o n f e r e n c e   o n   C o m p u t e r   a n d   I n f o rm a t i o n   T e c h n o l o g y   ( I C C I T ) ,   2 0 2 0 ,   p p .   1 – 5 ,   d o i :   1 0 . 1 1 0 9 / I C C I T 5 1 7 8 3 . 2 0 2 0 . 9 3 9 2 6 9 2 .   [ 2 4 ]   R .   Z .   L u mo n t o d   I I I ,   “ S e e i n g   t h e   i n v i s i b l e :   Ex t r a c t i n g   si g n s  o f   d e p r e ssi o n   a n d   su i c i d a l   i d e a t i o n   f r o m  c o l l e g e   s t u d e n t s’   w r i t i n g   u si n g   LI W C   a   c o mp u t e r i z e d   t e x t   a n a l y si s,”   I n t e r n a t i o n a l   J o u r n a l   o f   R e se a rc h   S t u d i e s  i n   E d u c a t i o n ,   v o l .   9 ,   n o .   4 ,   p p .   3 1 – 4 4 ,   2 0 2 0 ,   d o i :   1 0 . 5 8 6 1 / i j r se . 2 0 2 0 . 5 0 0 7 .   [ 2 5 ]   N .   M a s u d a ,   I .   K u r a h a s h i ,   a n d   H .   O n a r i ,   “ C o r r e c t i o n :   S u i c i d e   i d e a t i o n   o f   i n d i v i d u a l s   i n   o n l i n e   so c i a l   n e t w o r k s (P L o S   O N E) , ”   PLo S   O N E ,   v o l .   9 ,   n o .   1 ,   A p r .   2 0 1 4 ,   d o i :   1 0 . 1 3 7 1 / a n n o t a t i o n / d 5 8 9 8 5 7 d - b 3 c 6 - 4 a 1 6 - a c f e - 4 2 3 f 9 b f 5 2 9 f 1 .   [ 2 6 ]   J.  P e st i a n ,   H .   N a sr a l l a h ,   P .   M a t y k i e w i c z ,   A .   B e n n e t t ,   a n d   A .   L e e n a a r s,  “ S u i c i d e   N o t e   C l a ssi f i c a t i o n   U si n g   N a t u r a l   L a n g u a g e   P r o c e ssi n g :   A   C o n t e n t   A n a l y si s,”   B i o m e d i c a l   I n f o rm a t i c s I n si g h t s ,   v o l .   3 ,   p .   B I I . S 4 7 0 6 ,   J a n .   2 0 1 0 ,   d o i :   1 0 . 4 1 3 7 / B I I . S 4 7 0 6 .   [ 2 7 ]   R .   H a q u e ,   N .   I s l a m,  M .   I sl a m,  a n d   M .   M .   A h san ,   “ A   C o mp a r a t i v e   A n a l y si s  o n   S u i c i d a l   I d e a t i o n   D e t e c t i o n   U s i n g   N L P ,   M a c h i n e ,   a n d   D e e p   L e a r n i n g , ”   T e c h n o l o g i e s ,   v o l .   1 0 ,   n o .   3 ,   2 0 2 2 ,   d o i :   1 0 . 3 3 9 0 / t e c h n o l o g i e s1 0 0 3 0 0 5 7 .   [ 2 8 ]   M .   M .   T a d e sse ,   H .   L i n ,   B .   X u ,   a n d   L .   Y a n g ,   “ D e t e c t i o n   o f   D e p r e ssi o n - R e l a t e d   P o st s  i n   R e d d i t   S o c i a l   M e d i a   F o r u m,”   I EEE   Ac c e ss ,  v o l .   7 ,   p p .   4 4 8 8 3 – 448 9 3 ,   2 0 1 9 ,   d o i :   1 0 . 1 1 0 9 / A C C ESS . 2 0 1 9 . 2 9 0 9 1 8 0 .   [ 2 9 ]   S .   P a c h o u l y ,   G .   R a u t ,   K .   B u t e ,   R .   T a mb e ,   a n d   S .   B h a v sar,   “ D e p r e ssi o n   D e t e c t i o n   o n   S o c i a l   M e d i a   N e t w o r k   ( T w i t t e r )   u si n g   S e n t i me n t   A n a l y si s,”   I n t e r n a t i o n a l   R e sea r c h   J o u r n a l   o f   E n g i n e e ri n g   a n d   T e c h n o l o g y ,   v o l .   8 ,   n o .   1 ,   p p .   1 8 3 4 – 1 8 3 9 ,   2 0 2 1   [ 3 0 ]   M .   S t a n k e v i c h ,   A .   L a t y sh e v ,   E.   K u mi n s k a y a ,   I .   S mi r n o v ,   a n d   O .   G r i g o r i e v ,   “ D e p r e ssi o n   d e t e c t i o n   f r o m  so c i a l   me d i a   t e x t s,”   i n   S e l e c t e d   P a p e rs  o f   t h e   XXI  I n t e rn a t i o n a l   C o n f e re n c e   o n   D a t a   A n a l y t i c s  a n d   M a n a g e m e n t   i n   D a t a   I n t e n s i v e   D o m a i n s   ( D AM D I D / RC D L   2 0 1 9 ) ,   2 0 1 9 ,   p p .   279 – 2 8 9 .   [ 3 1 ]   M .   M a n i s h a ,   A .   K o d a l i ,   a n d   V .   S r i l a k sh mi ,   “ M a c h i n e   c l a ss i f i c a t i o n   f o r   s u i c i d e   i d e a t i o n   d e t e c t i o n   o n   t w i t t e r , ”   I n t e rn a t i o n a l   J o u r n a l   o f   I n n o v a t i v e   T e c h n o l o g y   a n d   E x p l o ri n g   E n g i n e e r i n g ,   v o l .   8 ,   n o .   1 2 ,   p p .   4 1 5 4 – 4 1 6 0 ,   2 0 1 9 ,   d o i :   1 0 . 3 5 9 4 0 / i j i t e e . L 3 6 5 5 . 1 0 8 1 2 1 9 .   [ 3 2 ]   R .   S a w h n e y ,   P .   M a n c h a n d a ,   P .   M a t h u r ,   R .   S h a h ,   a n d   R .   S i n g h ,   “ Ex p l o r i n g   a n d   L e a r n i n g   S u i c i d a l   I d e a t i o n   C o n n o t a t i o n s   o n   S o c i a l   M e d i a   w i t h   D e e p   L e a r n i n g , ”   i n   Pro c e e d i n g s  o f   t h e   9 t h   Wo r k s h o p   o n   C o m p u t a t i o n a l   A p p ro a c h e s  t o   S u b j e c t i v i t y ,   S e n t i m e n t   a n d   S o c i a l   M e d i a   A n a l y s i s ,   O c t .   2 0 1 8 ,   p p .   1 6 7 – 1 7 5 ,   d o i :   1 0 . 1 8 6 5 3 / v 1 / W 1 8 - 6 2 2 3 .   [ 3 3 ]   S .   Ji ,   C .   P .   Y u ,   S .   F .   F u n g ,   S .   P a n ,   a n d   G .   L o n g ,   “ S u p e r v i se d   l e a r n i n g   f o r   su i c i d a l   i d e a t i o n   d e t e c t i o n   i n   o n l i n e   u se r   c o n t e n t , ”   C o m p l e x i t y ,   n o .   1 ,   p p .   1 – 1 0 ,   Ja n .   2 0 1 8 ,   d o i :   1 0 . 1 1 5 5 / 2 0 1 8 / 6 1 5 7 2 4 9 .   [ 3 4 ]   F .   A .   A c h e a mp o n g ,   H .   N u n o o - M e n s a h ,   a n d   W .   C h e n ,   “ T r a n sf o r me r   mo d e l s  f o r   t e x t - b a se d   e mo t i o n   d e t e c t i o n :   a   r e v i e w   o f   B ER T - b a se d   a p p r o a c h e s,”   Ar t i f i c i a l   I n t e l l i g e n c e   Re v i e w ,   v o l .   5 4 ,   n o .   8 ,   p p .   5 7 8 9 – 5 8 2 9 ,   2 0 2 1 ,   d o i :   1 0 . 1 0 0 7 / s 1 0 462 - 021 - 0 9 9 5 8 - 2.   [ 3 5 ]   V .   V e n e k ,   S .   S c h e r e r ,   L .   P .   M o r e n c y ,   A .   S .   R i z z o ,   a n d   J .   P e st i a n ,   “ A d o l e sce n t   s u i c i d a l   r i s k   a sse ssm e n t   i n   c l i n i c i a n - p a t i e n t   i n t e r a c t i o n :   A   st u d y   o f   v e r b a l   a n d   a c o u st i c   b e h a v i o r s,”   i n   2 0 1 4   I EEE  W o rksh o p   o n   S p o k e n   L a n g u a g e   T e c h n o l o g y ,   S L T   2 0 1 4   -   Pro c e e d i n g s ,   A p r .   2 0 1 4 ,   p p .   2 7 7 – 2 8 2 ,   d o i :   1 0 . 1 1 0 9 / S L T . 2 0 1 4 . 7 0 7 8 5 8 7 .   [ 3 6 ]   E.   L i n ,   J.  S u n ,   H .   C h e n ,   a n d   M .   H .   M a h o o r ,   “ D a t a   Q u a l i t y   M a t t e r s:   S u i c i d e   I n t e n t i o n   D e t e c t i o n   o n   S o c i a l   M e d i a   P o st s  U s i n g   a   R o B E R T a - C N N   M o d e l , ”   a r Xi v   p re p r i n t ,   p p .   1 3 – 1 7 ,   2 0 24 ,   d o i :   1 0 . 1 1 0 9 / E M B C 5 3 1 0 8 . 2 0 2 4 . 1 0 7 8 2 6 4 7 .   [ 3 7 ]   S .   B i r d ,   E.   K l e i n ,   a n d   E.   L o p e r ,   N a t u r a l   L a n g u a g e   Pr o c e ss i n g   w i t h   Py t h o n .   2 0 0 9 .   [ 3 8 ]   C .   D .   M a n n i n g ,   P .   R a g h a v a n ,   a n d   H .   S c h ü t z e ,   I n t ro d u c t i o n   t o   I n f o rm a t i o n   Re t r i e v a l .   U S A :   C a mb r i d g e   U n i v e r si t y   P r e ss,  2 0 0 8 .   [3 9]   J.   H .   M a r t i n   a n d   D .   Ju r a f sk y ,  S p e e c h   a n d   L a n g u a g e   Pr o c e ssi n g .  S t a n f o r d ,   20 2 5 .   [ 4 0 ]   R .   F e l d man   a n d   J .   S a n g e r ,   T h e   T e x t   Mi n i n g   H a n d b o o k :   A d v a n c e d   A p p ro a c h e s   i n   An a l y zi n g   U n st r u c t u re d   D a t a .   C a mb r i d g e   U n i v e r si t y   P r e ss,  2 0 0 6 .   d o i :   1 0 . 1 0 1 7 / C B O 9 7 8 0 5 1 1 5 4 6 9 1 4 .   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   1 6 9 3 - 6930   T E L KOM NI K A   T elec o m m u n   C o m p u t E l  C o n tr o l ,   Vo l.  2 3 ,   No .   2 ,  A p r il   20 2 5 :  4 2 6 - 434   434   [ 4 1 ]   C .   C .   A g g a r w a l   a n d   C .   X .   Z h a i ,   Mi n i n g   t e x t   d a t a ,   v o l .   9 7 8 1 4 6 1 4 3 2 2 3 4 .   2 0 1 3 ,   d o i :   1 0 . 1 0 0 7 / 9 7 8 - 1 - 4 6 1 4 - 3 2 2 3 - 4.   [ 4 2 ]   F .   A z u a j e ,   I .   W i t t e n ,   a n d   F .   E,   “ D a t a   M i n i n g :   P r a c t i c a l   M a c h i n e   L e a r n i n g   T o o l s  a n d   T e c h n i q u e s, ”   B i o Me d i c a l   En g i n e e ri n g   O n L i n e ,  v o l .   5 ,   p p .   1 – 2 ,   J a n .   2 0 0 6 .   [ 4 3 ]   Y .   L i u   e t   a l . ,  “ R o B ER T a :   A   R o b u s t l y   O p t i mi z e d   B E R T   P r e t r a i n i n g   A p p r o a c h , ”   a rX i v   p re p ri n t   n o .   1 ,   2 0 1 9 ,   d o i :   1 0 . 4 8 5 5 0 / a r X i v . 1 9 0 7 . 1 1 6 9 2 .   [ 4 4 ]   Z .   L a n ,   M .   C h e n ,   S .   G o o d man ,   K .   G i mp e l ,   P .   S h a r ma,   a n d   R .   S o r i c u t ,   “ A L B ER T:   A   L i t e   B ER T   f o r   S e l f - su p e r v i se d   L e a r n i n g   o f   L a n g u a g e   R e p r e se n t a t i o n s, ”   a r Xi v   p re p ri n t ,  p p .   1 – 1 7 ,   2 0 1 9 ,   d o i :   1 0 . 4 8 5 5 0 / a r X i v . 1 9 0 9 . 1 1 9 4 2 .   [ 4 5 ]   P .   H e ,   X .   L i u ,   J.   G a o ,   a n d   W .   C h e n ,   “ D e B ER T a :   D e c o d i n g - e n h a n c e d   B E R T   w i t h   D i se n t a n g l e d   A t t e n t i o n , ”   a r Xi v   p re p ri n t ,  2 0 2 0 ,  d o i :   1 0 . 4 8 5 5 0 / a r X i v . 2 0 0 6 . 0 3 6 5 4 .       B I O G RAP H I E S O F   AUTH O RS       M e r in d a   Le sta n d y           is   a   re se a rc h e r  a t  t h e   De p a rtm e n t  o f   El e c tri c a l  En g in e e rin g ,   F a c u lt y   o f   En g in e e rin g ,   Un iv e rsi tas   M u h a m m a d i y a h   M a lan g   (U M M ),   M a lan g ,   I n d o n e sia .   S h e   re c e iv e d   h e r  B a c h e lo r ’ s  a n d   M a ste r ’ s  De g re e s  f ro m   El e c tri c a l  En g in e e rin g   a n d   In f o rm a ti c s  De p a rt m e n t,   Un iv e rsitas   M u h a m m a d i y a h   M a lan g ,   a n d   Bra w ij a y a   Un iv e r sit y ,   In d o n e sia ,   i n   2 0 1 5   a n d   2 0 1 8   re sp e c ti v e l y .   Cu rre n tl y   sh e   is  a   se n io r   l e c tu re r  f o r  re se a rc h   f ield s   o f   d a ta  m in in g ,   se n ti m e n t  a n a ly si s ,   tex t  m in in g ,   a n d   it s   a p p li c a ti o n s.  S h e   c a n   b e   c o n tac ted   a t   e m a il :  m e rin d a les tan d y @u m m . a c . id .         Abd u r r a h i m           is  a   g ra d u a te  stu d e n t  o f   El e c tri c a l  En g in e e rin g   a t   th e   Un iv e rsitas   M u h a m m a d i y a h   M a lan g   (UMM )  w it h   th e   stu d y   p ro g ra m   tak e n   is  E lec tri c a l  E n g in e e rin g ,   h e   f o c u se s  o n   tele m a ti c s  w it h   th e   sc o p e   o f   se n ti m e n t  a n a ly sis.  Cu rre n tl y   h e   is  p u rsu in g   a   M a ste r ’ s d e g re e   a t  th e   Isla m ic Un iv e rsit y   o f  In d o n e sia ,   m a jo rin g   in   I n f o rm a ti c s,  f o c u sin g   o n   re se a rc h   in   th e   f ield   o f   d a ta  sc ien c e .   He   c a n   b e   c o n tac ted   a t  e m a il :  2 2 9 1 7 0 0 2 @s tu d e n ts. u ii . a c . i d .         A m r u l  Fa r u q           is  a n   El e c tri c a l  En g in e e r  a n d   Co m p u ter  S c ien c e   En g in e e r .   He   o b tai n e d   B a c h e lo r ’ s  a n d   M a ste r ’ s  d e g re e   in   E lec tri c a l  E n g in e e rin g   in   2 0 0 9   a n d   2 0 1 3 ,   f ro m   Un iv e rsitas   M u h a m m a d iy a h   M a lan g   a n d   Un iv e rsiti   T e k n o lo g i  M a la y sia ,   re sp e c ti v e l y .   His   P h . D.  o b tain e d   f ro m   th e   M a la y sia - Ja p a n   In tern a ti o n a l  In stit u te  o f   T e c h n o lo g y   (M JII T ),   Un iv e rsiti   T e k n o lo g i  M a la y s ia,  Ku a la  L u m p u r.   His  re se a rc h   in te re sts  a b o u t  c o m p u tati o n a l   d a ta sc ien c e   a n d   o p ti m iza ti o n   a lg o rit h m s .   He   c a n   b e   c o n tac ted   a t  e m a il :  f a ru q @u m m . a c . id .         M u h a m m a d   Ir f a n           wa s  b o rn   i n   M o j o k e rto ,   In d o n e sia   in   1 9 6 6 .   He   g ra d u a ted   in   1 9 9 1   w it h   a   Ba c h e l o r  o f   E n g in e e rin g   d e g re e ,   f ro m   th e   De p a rtm e n t  o f   El e c tri c a l  En g in e e rin g ,   Bra w ij a y a   Un iv e r sit y   M a lan g ,   a n d   a   M a ste r  o f   En g in e e rin g   in   2 0 0 0   f ro m   th e   De p a rt m e n t  o f   In f o rm a ti c s,  S e p u lu h   No p e m b e r  I n stit u te  o f   T e c h n o lo g y   (I T S ),   S u ra b a y a .   Cu rre n tl y ,   h e   is  a   se n io r  lec tu re r  a t  th e   Un iv e rsit y   o f  M u h a m m a d i y a h   M a lan g   (UMM )  a n d   is  a c ti v e   in   Re se a rc h   a n d   Co m m u n it y   S e rv ic e .   He   is  c u rre n tl y   p u rsu in g   h is  d o c to ra l  re se a rc h   p ro g ra m   a t  th e   Ra z a k   F a c u l ty   o f   T e c h n o lo g y   a n d   In f o rm a ti c s,  Un iv e rsiti   T e k n o lo g i  M a lay sia .   His  re se a rc h   in tere sts  a re   in   re n e w a b le  e n e rg y   a n d   Co m p u ter  En g in e e rin g .   He   c a n   b e   c o n tac ted   a t  e m a il :  irf a n @u m m . a c . id .     Evaluation Warning : The document was created with Spire.PDF for Python.