I nte rna t io na l J o urna l o f   E lect rica l a nd   Co m pu t er   E ng ineering   ( I J E CE )   Vo l.   1 6 ,   No .   3 J u n e   20 2 6 ,   p p .   1474 ~ 1 4 8 4   I SS N:  2088 - 8 7 0 8 ,   DOI : 1 0 . 1 1 5 9 1 /ijece. v 1 6 i 3 . pp 1 4 7 4 - 1 4 8 4           1474       J o ur na l ho m ep a g e h ttp : //ij ec e. ia esco r e. co m   Integ ra ting BE R T fine - tuning a nd  genetic  alg o rithm f o superio r dep ress i o n det ec tion in so cia l media       Abd Alla h Ao ura g h 1 ,   M o ha m ed  B a ha j 1 ,   F o ua d T o ufik 2   1 M I ET  La b o r a t o r y ,   F a c u l t y   o f   S c i e n c e s a n d   T e c h n i q u e s,  H a ssa n   1 st   U n i v e r si t y ,   S e t t a t ,   M o r o c c o   2 C o m p u t e r   S c i e n c e s L a b o r a t o r y ,   H i g h e r   S c h o o l   o f   Te c h n o l o g y ,   M o h a mm e d   V   U n i v e r si t y ,   S a l e ,   M o r o c c o       Art icle  I nfo     AB S T RAC T   A r ticle  his to r y:   R ec eiv ed   Au g   2 9 ,   2 0 2 4   R ev is ed   Feb   2 1 ,   2 0 2 6   Acc ep ted   Ma r   1 6 ,   2 0 2 6       Early   d e tec ti o n   o d e p re ss io n   is  c ru c ial  fo m in imiz in g   i ts  a d v e rse   e ffe c ts  o n   m e n tal  a n d   p h y sic a h e a lt h .   R e c e n a d v a n c e m e n ts  in   n a tu ra l   lan g u a g e   p ro c e ss in g   fa c il it a te  th e   larg e - sc a le  a n a ly sis  o so c ial  m e d ia  tex ts  to   id e n t if y   d e p re ss iv e   ten d e n c ies .   Ou st u d y   in tro d u c e a   n o v e a p p r o a c h   b y   i n teg ra ti n g   a   g e n e ti c   a lg o rit h m   fo r   h y p e r p a ra m e ter  tu n i n g ,   o p ti m izi n g   th e   c las sifica ti o n   p e rfo rm a n c e   b e y o n d   c o n v e n t io n a m e th o d s.   We  p r o v i d e   a   c o m p re h e n siv e   c o m p a riso n   o v e c to riza ti o n   tec h n i q u e s,  in c l u d i n g   term   fre q u e n c y - in v e rse   d o c u m e n t   fre q u e n c y   (T F - IDF ) ,   Wo rd 2 Ve c ,   a n d   a   fi n e - tu n e d   b i d irec ti o n a l   e n c o d e re p re se n tatio n   fro m   t ra n sfo rm e rs   ( BERT )   m o d e sp e c ifi c a ll y   a d a p ted   t o   o u d a tas e t.   Us in g   a   d a tas e o 7 , 7 3 1   e n tri e s,  we   imp lem e n ted   sta n d a rd   p re - p ro c e ss in g   ste p su c h   a sto p   wo rd   re m o v a a n d   lem m a ti z a ti o n   b e fo re   v e c to rizin g   th e   tex t.   F i v e   m a c h in e   lea rn in g   a lg o r it h m s d e c isio n   tree ,   lo g isti c   re g re ss io n ,   ra n d o m   f o re st,  g ra d ien t   b o o st in g ,   a n d   su p p o rt  v e c to r   m a c h in e we re   e v a lu a ted ,   with   h y p e r p a ra m e ter  tu n in g   p e rfo rm e d   u sin g   g e n e ti c   a lg o ri th m .   T h e   h ig h e st  a c c u ra c y   (9 5 . 9 9 % a n d   F 1 - sc o re   (9 5 . 9 1 % )   we re   a c h iev e d   with   t h e   c o m b i n a ti o n   o f   fin e - t u n e d   BERT ,   su p p o rt  v e c to r   m a c h in e ,   a n d   g e n e ti c   a lg o rit h m   o p ti m iza ti o n .   Th is  st u d y   d e m o n s trate th e   a d v a n tag e o i n teg ra ti n g   BER fin e - tu n in g   with   g e n e ti c   o p t imiz a ti o n ,   o u t p e rfo rm in g   trad i ti o n a TF - ID F   a n d   Wo r d 2 Ve c   a p p r o a c h e in   d e p re ss io n   d e tec ti o n .   K ey w o r d s :   B E R T   Dep r ess io n   d etec tio n   Gen etic  alg o r ith m   Ma ch in lear n in g   Natu r al  lan g u ag e   p r o ce s s in g   Su p p o r v ec to r   m ac h in e   Vec to r izatio n   tech n iq u es   T h is i a n   o p e n   a c c e ss   a rticle   u n d e r th e   CC B Y - SA   li c e n se .     C o r r e s p o nd ing   A uth o r :   Ab d   Allah   Ao u r a g h   MI E T   L ab o r ato r y ,   Facu lty   o f   Scien ce s   an d   T ec h n iq u es,  Hass an   1 s t U n iv er s ity   Settat,  Mo r o cc o     E m ail: a b d allah ao u r ag h @ g m a il.c o m       1.   I NT RO D UCT I O   Dep r ess io n   is   wid esp r ea d   m en tal  illn ess   af f ec tin g   m illi o n s   o f   p e o p le  wo r l d wid e,   ch a r ac ter ized   b y   p er s is ten f ee lin g s   o f   s ad n ess ,   lo s s   o f   in ter est,  an d   d ec r ea s ed   en er g y   [ 1 ] .   Acc o r d in g   to   th W o r ld   Hea lt h   Or g an izatio n   ( W HO) ,   5 o f   th g lo b al  p o p u latio n   cu r r e n tly   s u f f er s   f r o m   d e p r ess io n ,   wh ich ,   in   its   m o s t   s ev er f o r m s ,   ca n   lead   to   s u ic id [ 2 ] .   Ar o u n d   7 0 0 , 0 0 0   p eo p le  wo r ld wid t o o k   th eir   o wn   l iv es,  n u m b er   th at  is   s tead ily   in cr ea s in g ,   u n d er s co r in g   th g r av ity   o f   d ep r ess io n   as  p u b lic  h ea lth   is s u [ 1 ] ,   [ 2 ] .   T h e   co n s eq u en ce s   o f   th is   d is ea s in clu d s ig n if ica n h a r m   to   q u a lity   o f   life ,   s o cial  r elatio n s h ip s ,   an d   d im i n is h ed   ca p ac ity   to   p er f o r m   d aily   a ctiv ities   [ 2 ] ,   [ 3 ] .   T r ea tm e n t   o p tio n s   en co m p ass   p h ar m a co lo g ical  th er ap ies,   p s y ch o th er a p y ,   a n d   life s ty le   in ter v en tio n s   [ 3 ] .   Ho wev e r ,   ch allen g es  p er s is t,  s u ch   a s   u n d er d iag n o s is ,   ass o ciate d   s t ig m a,   an d   lim ited   ac ce s s   to   ca r in   s o m r eg io n s   [ 4 ] .   T h er ef o r e,   ea r ly   d et ec tio n   an d   tim ely   in ter v en tio n   ar e   cr u cial  t o   m i tig atin g   th e   ad v e r s ef f ec ts   o f   d ep r ess io n   an d   r e d u cin g   its   o v er all   im p ac o n   p u b lic  h ea lth   [ 5 ] .   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J E lec  &   C o m p   E n g     I SS N:   2088 - 8 7 0 8         I n teg r a tin g   B E R T fin e - tu n in g   a n d   g e n etic  a lg o r ith fo r     ( A b d   A lla h   A o u r a g h )   1475   Ma ch in lear n in g   ( ML )   tec h n iq u es,  wh e n   in teg r ated   with   ad v an ce m e n ts   in   n atu r al   lan g u ag e   p r o ce s s in g   ( NL P),   o f f er   p o wer f u t o o ls   f o r   a n aly zin g   tex tu a d ata  a n d   p r e d ictin g   m ed ical  co n d itio n s   s u c h   a s   d ep r ess io n   an d   o th er   d is ea s es   [ 6 ] ,   [ 7 ] .   B y   lev e r ag in g   NL P,  we  ca n   ex am in a n d   in te r p r et  th s u b tleties   o f   lan g u ag i n   s o cial  n etwo r k   p o s ts ,   f ac ilit atin g   th ea r ly   d etec tio n   o f   d ep r ess iv s y m p to m s   [ 8 ] .   Un lik g en er al   s en tim en an aly s is ,   wh ich   cl ass if ies  tex as  p o s itiv e,   n eg ativ e,   o r   n eu tr al,   d ep r ess io n   d etec tio n   r eq u ir es   id en tify in g   lin g u is tic  p atter n s   s p ec if ic  to   clin ical  d ep r ess iv s tates,  s u ch   as  s elf - r ef er en tial  ex p r ess io n s   an d   co g n itiv d is to r tio n s .   Sen tim e n an aly s is   alo n e   m ay   m is in te r p r et  th ese   cu es,  m a k in g   it  n e ce s s ar y   to   d e v elo p   s p ec ialized   m o d els  tailo r ed   f o r   d e p r ess io n   d etec tio n   [ 6 ] ,   [ 8 ] .   Ad v an ce d   v ec to r izatio n   te ch n iq u es,  i n clu d in g   ter m   f r e q u en c y - in v e r s d o cu m en f r e q u en c y   (TF - I DF ) ,   W o r d 2 Vec ,   an d   th e   f in e - t u n ed   b id ir ec tio n al  e n co d e r   r ep r esen tatio n   f r o m   tr an s f o r m er s   ( B E R T )   m o d el,   p lay   a   cr u cial  r o le  in   ca p tu r in g   th co n tex t   an d   s u b tle  em o tio n s   ex p r ess ed   in   tex [ 9 ] .   Mo r eo v er ,   h y p er p a r am ete r   o p tim izatio n   th r o u g h   g e n et ic  alg o r ith m s   [ 1 0 ]   s ig n if ican tly   en h an ce s   th ac c u r ac y   an d   p er f o r m an ce   o f   p r e d ictiv m o d els.  An o th er   k ey   a d v an tag o f   NL is   its   ca p ac ity   to   co n tin u o u s ly   m o n ito r   ch an g es  in   an   in d i v id u al' s   m en tal  s tate  v ia  r ea l - tim tex t   d ata  a n aly s is ,   allo win g   f o r   r a p id   r esp o n s t o   ev o lv i n g   c o n d itio n s   an d   tim e ly   s u p p o r [ 1 1 ] .   B y   in te g r atin g   th ese  tech n iq u es,  we  ca n   n o o n ly   d etec t   d ep r e s s io n   ea r lier   b u also   g ain   d e ep er   in s ig h ts   i n to   its   m a n if estatio n s   an d   tr ig g e r s ,   p o ten tially   lead in g   to   m o r ef f ec tiv p r ev en tio n   an d   tr ea tm e n t stra teg ies.   I n   th is   c o n tex t,   Ar ac h ch i g et  a l.   [ 1 2 ]   r ev iew  NL a n d   ML   tech n iq u es  f o r   i d en tify in g   d ep r ess io n   in   o n lin s u p p o r f o r u m s ,   a n al y zin g   2 9   ar ticles  to   d eter m in th m o s ef f ec tiv a n d   s ca lab le  f ea tu r e   co m b in atio n s .   T h ei r   s tu d y   h ig h lig h ts   ch allen g es  s u ch   as  p r ac tical  im p lem en tatio n   a n d   eth ical  is s u es,   s u g g esti n g   f u t u r r esear ch   to   r ef in th ese  a p p r o ac h es  an d   e n h an ce   t h eir   clin ical  a p p licatio n .   Glaz   et  a l.   [ 1 3 ]   h ig h lig h th g r o win g   u s o f   ML   an d   NL in   m ed ici n e,   n o tin g   th at  wh ile  th ese  m o d e ls   o f f er   in n o v ativ e   in s ig h ts   an d   o f ten   v alid ate   e x is tin g   h y p o th eses ,   th e y   ar e   ty p ically   lim ited   t o   s p ec if ic   co h o r ts ,   lik e   s o cial  m ed ia  u s er s ,   wh ich   m ay   lim it  th eir   g en er al  ap p licab ilit y .   T h eir   s u r v ey   em p h asizes  th p o ten tial  o f   NL to   ex p lo r o t h er wis in ac ce s s ib l d ata  b u s tr ess es  th n ee d   f o r   ca r ef u eth ical  ev alu atio n   b ef o r in te g r atin g   th ese  tech n iq u es  in to   m en tal  h ea lth   ca r e.   J ain   et   a l.   [ 1 4 ]   ap p lied   ML   an d   NL to   p r ed ict  d ep r ess iv p o s ts   o n   R ed d it.  T h ey   an aly ze d   co m m e n ts   an d   p o s ts   r elate d   to   s u icid al  id ea tio n   u s in g   alg o r ith m s   s u ch   as  n aiv B ay es,   s u p p o r v ec t o r   m ac h in e   ( SVM) ,   lo g is tic  r eg r ess io n ,   an d   r an d o m   f o r est.  T h s tu d y   a ch i ev ed   an   ac cu r ac y   o f   7 7 . 1 2 a n d   a n   F1 - s co r e   o f   7 7 with   SVM,   h ig h lig h tin g   t h ef f ec tiv e n ess   o f   th ese  tech n iq u es  in   id e n tify in g   at - r is k   in d iv id u als  o n   o n lin e   p latf o r m s .   Saif u llah   et   a l.   [ 1 5 ]   i n v esti g ated   a n x iety   d ete ctio n   b y   an al y zin g   ap p r o x im ately   4 , 8 6 2   co m m e n ts   f r o m   Yo u T u b e.   T h ey   ap p li ed   d ata  m in i n g   a n d   m ac h in l ea r n in g   al g o r ith m s ,   test in g   s ix   class if ier s .   T h b e s p er f o r m an ce   was  ac h iev ed   b y   th e   R an d o m   Fo r est  m o d el,   wh ich   attain e d   a n   ac cu r ac y   o f   8 4 . 9 9 %,  d em o n s tr atin g   th ef f ec tiv e n ess   o f   m a ch in lear n in g   tec h n iq u es  in   id en tify in g   e m o tio n s   f r o m   o n lin in ter ac tio n s .   Ko u r   et  a l.   [ 1 6 ]   in v esti g ated   p r ed ictin g   u s er s '   m en tal  s ta tes  b y   class if y in g   d ep r ess ed   an d   n o n - d ep r ess ed   in d iv id u als  f r o m   T witter   d ata.   T h ey   u s ed   h y b r id   m o d el  co m b in in g   co n v o lu ti o n al  n eu r a l   n etwo r k   ( C NN)   an d   b id i r ec tio n al  lo n g   s h o r t - ter m   m em o r y   n etwo r k   ( B iLST M) ,   ac h iev i n g   an   ac c u r ac y   o f   9 4 . 2 8 %   o n   d ep r ess io n - r elate d   twee ts .   T h is   m o d el   o u tp e r f o r m ed   o th e r   a p p r o ac h es  in   p r ed ictiv p er f o r m an ce .   C h er ed d y   et   a l.   [ 1 7 ]   h ig h lig h ted   th p o ten tial  o f   NL f o r   d etec tin g   d e p r ess io n   th r o u g h   twee an aly s is   o n   s o cial  n etwo r k s .   T h ey   n o ted   th n ee d   f o r   m o r r o b u s d at to   e n h an ce   ac cu r ac y   an d   r ec all.   T h eir   s tu d y ,   em p lo y in g   class if ier s   lik n ai v B ay es,  SVM,   an d   lo g is tic  r eg r ess io n   to   ca teg o r ize   twee ts   in to   p o s itiv an d   n eg ativ s en tim en ts ,   f o u n d   th at  SVM  ac h iev ed   th h ig h est  p er f o r m an ce   with   8 5 ac c u r a cy ,   8 9 p r ec is io n ,   an d   6 3 r ec all  an d   F1 - s co r e .   C h en   et  a l.   [ 1 8 ]   u tili ze d   N L to   d etec d e p r ess io n   in   u n s tr u ctu r ed   m ed ical  r ec o r d s .   An al y zin g   2 2 , 3 5 5   M an d ar in   r ec o r d s ,   th ey   e m p lo y ed   B E R T   m o d el  co m b in ed   with   C NNs.  T h eir   s tu d y   s h o wed   s tr o n g   p e r f o r m a n ce   with   g en er al  ( AUC  9 3 %)  an d   civ ilian   ( AUC  9 1 %)  m o d els,  b u th m ilit ar y   s am p les  u n d er p er f o r m ed   ( AU C   7 9 %),   with   t h m ilit ar y - s p e cif ic  m o d el   ac h iev in g   a   b etter   AUC  o f   8 2 %.  T h e   f in d in g s   v alid ate  th e   u s o f   d ee p   lear n in g   tec h n iq u es   f o r   d ep r ess io n   s cr ee n in g   wh ile  als o   em p h asizin g   th e   im p o r tan ce   o f   c o n s id er in g   s p e cif ic  co n tex ts ,   s u ch   as  m ilit ar y   s tatu s .   Su b r am an ia n   et  a l.   [ 1 9 ]   in v esti g ated   th e   r o le  o f   s o cial  m ed ia  in   th s p r ea d   o f   h o s tile  an d   to x ic  co n ten t,  in clu d in g   h ate  s p ee ch   an d   ab u s iv lan g u ag e .   T h eir   s tu d y   em p lo y ed   tex tu al  r ep r esen tatio n   an d   en co d in g   t ec h n iq u es  lik b i - g r am s ,   tr i - g r am s ,   an d   Fas tTe x to   ca p tu r e   s em an tic  an d   s y n ta ctic  in f o r m atio n .   Ma ch in e   an d   d ee p   lear n in g   m eth o d s ,   in cl u d in g   C NN,   B E R T ,   an d   SVM,   wer u s ed   to   class if y   s o cial  m ed ia  p o s ts   as  eit h er   in d icativ o f   d ep r ess io n   o r   n o t.  T h r esu lts   s h o wed   th at  SVM  ac h iev ed   a n   ac cu r ac y   o f   8 0 % in   id en tif y in g   d ep r ess io n   s y m p to m s .   Ou r   r ese ar ch   b u il d s   o n   e x is ti n g   s t u d ies   o f   d ep r ess io n   d e tec ti o n   f r o m   s o ci al   n e tw o r k   p o s ts ,   ad d r ess i n g   s ev er al  g a p s   i d en ti f ie d   i n   th lit er at u r e .   W h ile  p r e v i o u s   ap p r o ac h es   h av o f te n   r el ie d   o n   s t an d a r d   M L   tec h n i q u es  a n d   co n v e n ti o n a NL m o d els  wi th   li m it e d   h y p er p a r a m e te r   o p ti m iz ati o n ,   o u r   s tu d y   i n t r o d u ce s   m o r e   i n n o v a ti v an d   in te g r at ed   a p p r o a ch .   W e   e n h a n c m o d el  p er f o r m a n ce   t h r o u g h   ad v a n c e d   te c h n iq u es,   in c lu d i n g   f i n e - t u n e d   B E R T   a n d   g e n etic   a lg o r it h m - b as e d   h y p er p a r a m e te r   o p ti m iz ati o n ,   s e tti n g   o u r   wo r k   a p a r t   f r o m   ea r li er   m et h o d s .   W e   c o m p ar e d   v a r i o u s   te x t   v ec to r i za t io n   m e th o d s ,   i n cl u d in g   T F - I D F,  W o r d 2 V ec ,   an d   a   B E R T   m o d el  s p e ci f ic all y   t u n e d   t o   o u r   d a tase t,   e n h a n ci n g   th c ap tu r o f   li n g u is ti n u a n c e s   in   o n li n f o r u m s .   Ad d it io n a ll y ,   o u r   s t u d y   is   n o t ab l e   f o r   in c o r p o r ati n g   a   g e n et ic  al g o r it h m   f o r   h y p e r p a r a m e ter   o p ti m iz ati o n ,   a   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 8 - 8 7 0 8   I n t J E lec  &   C o m p   E n g ,   Vo l.   1 6 ,   No .   3 J u n e   20 2 6 :   1 4 7 4 - 1 4 8 4   1476   tec h n i q u e   o f t e n   o v e r l o o k e d   o r   a d d r ess e d   t h r o u g h   s im p l er   g r i d   s ea r ch   m et h o d s   i n   o t h er   s t u d ies .   T h is   ap p r o ac h   all o ws   f o r   m o r e   t h o r o u g h   e x p l o r ati o n   o f   th h y p e r p a r a m ete r   s p ac e ,   r es u lti n g   i n   n o ta b l i m p r o v e m e n ts   i n   p r e d ic ti v p e r f o r m a n c e.   Ad d i t io n al ly ,   o u r   s tu d y   ev al u at es  a   v a r i et y   o f   m a ch in l ea r n i n g   al g o r i th m s ,   i n cl u d i n g   d e cisi o n   tr ee ,   l o g is ti c   r eg r ess i o n ,   r a n d o m   f o r es t,   g r a d ie n t   b o o s ti n g ,   a n d   s u p p o r t   v ec t o r   m ac h i n e,   en s u r i n g   co m p r eh e n s i v e   a n d   r i g o r o u s   as s ess m e n t   o f   t h e   m o s ef f e cti v e   m et h o d s   f o r   cl ass i f y i n g   R e d d it   p o s ts .   T h f o llo win g   s ec tio n s   ar o r g an ized   as  f o llo ws:   s ec tio n   2   d escr ib es  th m ater ials   an d   m eth o d s   em p lo y ed   in   th s tu d y .   Secti o n   3   p r esen ts   an d   an aly ze s   th r esu lts ,   h ig h lig h tin g   th im p ac o f   th ap p lied   tech n iq u es.  Sectio n   4   ex p lain s   th lim itatio n s   o f   th s tu d y .   Fin ally ,   s ec tio n   5   s u m m ar izes  t h k e y   c o n clu s io n s   an d   o f f er s   s u g g esti o n s   f o r   f u t u r r esear ch .       2.   M AT E R I AL S AN M E T H O DS   2 . 1 .     P ro po s ed  m et ho do lo g y   Fo r   o u r   s tu d y   o n   d ep r ess io n   d etec tio n   f r o m   R ed d it  p o s ts ,   we  u tili ze d   d ataset  co m p r is in g   7 , 7 3 1   en tr ies.  W ad o p ted   r ig o r o u s   m eth o d o lo g y   in co r p o r ati n g   NL an d   ML   tech n iq u es  to   e n s u r s y s tem atic  wo r k f lo w.   T h e   p r o ce s s   co m m en ce d   with   th e   ap p licatio n   o f   tr ad itio n al  NL tech n iq u es,   in clu d in g   s to p   wo r d   r em o v al  an d   lem m atiza tio n ,   to   p r ep ar th tex t u al  d ata  f o r   d etailed   an aly s is .   Nex t,  we  v ec to r ized   th tex ts   u s in g   th r ee   d is tin ct  tech n iq u e s T F - I DF,  W o r d 2 Vec ,   an d   f in e - tu n ed   B E R T   m o d el  s p ec if ically   ad ap ted   to   o u r   d ataset.   T h is   co m p ar is o n   allo wed   u s   to   as s es s   th ef f ec tiv en ess   o f   ea ch   v ec to r izatio n   m eth o d   in   th e   co n tex o f   d ep r ess io n   d etec ti o n .   All  m o d els  wer ev alu ate d   u s in g   5 - f o ld   cr o s s - v alid atio n   to   en s u r r o b u s t   p er f o r m an ce   m ea s u r e m en t.  W th en   ap p lied   f iv m ac h in lear n in g   al g o r ith m s d ec is io n   tr ee ,   lo g is tic  r eg r ess io n ,   r an d o m   f o r est,  g r ad ien b o o s tin g ,   an d   s u p p o r v ec to r   m ac h in e.   T o   en h a n ce   th p er f o r m an ce   o f   th ese  m o d els,  we   em p l o y ed   a   g en etic   alg o r ith m   f o r   h y p er p ar am eter   o p tim izatio n .   T h is   s tr u ctu r ed   ap p r o ac h   aim s   to   m ax im ize   th ac c u r a cy   o f   d e p r ess io n   d etec tio n   th r o u g h   a   co m p a r ativ e v alu atio n   o f   v ec to r izatio n   tech n iq u es a n d   co m p r eh en s iv e   m o d el  o p tim izatio n .   T h s tu d y ' s   f r am ewo r k   is   illu s tr ated   in   Fig u r 1 .           Fig u r 1 .   Ov e r v iew  o f   th p r o p o s ed   ap p r o ac h       2 . 2 .     Da t a s et   T h d ataset  u s ed   in   o u r   s tu d y ,   av ailab le  o n   Kag g le  [ 2 0 ] ,   co n s is ts   o f   7 , 7 3 1   R ed d it  p o s ts ,   with   3 , 9 0 0   ca teg o r ized   as  d ep r ess iv an d   3 , 8 3 1   as  n o n - d ep r ess iv e.   E ac h   p o s h as  an   av er ag len g th   o f   3 6 8   ch ar ac te r s .   T h is   d ataset  is   p ar ticu lar ly   ad v an tag eo u s   f o r   d e p r ess io n   d et ec tio n ,   as  R ed d it  p o s ts   o f ten   f ea tu r d ir ec an d   s p o n tan eo u s   ex p r ess io n s   o f   u s er s '   em o tio n s ,   o f f er in g   v alu a b le  in s ig h ts   f o r   id en tify in g   s ig n s   o f   d ep r ess io n .   T h d ataset  is   well  b alan ce d ,   with   5 0 . 4 o f   p o s ts   ca teg o r i ze d   as  d ep r ess iv an d   4 9 . 6 as  n o n - d e p r ess iv e,   elim in atin g   th n ee d   f o r   r esam p lin g   tech n iq u es  to   ad d r ess   cl ass   im b alan ce   an d   co n tr ib u tin g   to   m o r r eliab le  ev alu atio n   o f   class if icatio n   m o d els.  Giv en   th is   b alan ce ,   n o   d ata  au g m e n tatio n   tech n iq u e s   wer ap p lied ,   as  ar tific ial  tr an s f o r m atio n s ,   s u c h   as  p ar ap h r asin g   o r   b ac k - tr an s latio n ,   co u ld   in tr o d u ce   b i ases   o r   d is to r th e   s u b tle  lin g u is tic  m ar k er s   cr itical  f o r   ac cu r ate  class if icatio n .   Sin ce   d ep r ess io n - r elate d   l an g u ag is   h ig h l y   n u an ce d ,   p r eser v in g   th a u th en ticity   o f   u s er - g e n er ated   c o n ten en s u r es  th at   th m o d el   lear n s   f r o m   r ea d ep r ess iv an d   n o n - d ep r ess iv tex s am p les,  en h an cin g   class if icatio n   r eliab ilit y .   Ho wev e r ,   it  is   im p o r tan to   n o te  th at  th d ataset  co n s is ts   e x clu s iv ely   o f   E n g lis h - lan g u ag p o s ts   an d   d o es  n o p r o v id d em o g r ap h ic  d etails  s u ch   as  ag o r   s o cio - ec o n o m ic  b ac k g r o u n d ,   wh ich   m ay   li m it  th g en er aliza b ilit y   o f   th f in d in g s   to   m o r e   d iv er s p o p u latio n s .     2 . 3 .     P re pro ce s s ing   t ec hn iqu es   Data   p r ep r o ce s s in g   is   es s en tial  in   n atu r al  lan g u ag p r o ce s s in g ,   en s u r in g   th at  tex tu al  d ata  is   s tr u ctu r ed   f o r   ef f ec tiv an al y s is .   I n   o u r   s tu d y ,   we  ap p lied   s tan d ar d   p r ep r o ce s s in g   s tep s ,   in clu d in g   s to p   wo r d   r em o v al  an d   lem m atiza tio n ,   to   r ef in tex tu al  f ea tu r es a n d   en h an ce   class if icatio n   p er f o r m an ce   [ 2 1 ] .   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J E lec  &   C o m p   E n g     I SS N:   2088 - 8 7 0 8         I n teg r a tin g   B E R T fin e - tu n in g   a n d   g e n etic  a lg o r ith fo r     ( A b d   A lla h   A o u r a g h )   1477   2 . 3 . 1 .   Sto p wo rds   Sto p   wo r d   r e m o v al  elim in ate s   f r eq u en tly   o cc u r r i n g   wo r d s   ( e. g . ,   “th e , ”  “a n d , ”  “in ”)   th at  co n tr ib u te   litt le  to   th s em an tic  m ea n in g   o f   s en ten ce .   T h is   s tep   r ed u ce s   d ata  d im en s io n ality ,   r em o v es  n o is e,   an d   im p r o v es  co m p u tatio n al  ef f ici en cy .   B y   d is ca r d in g   n o n - in f o r m ativ wo r d s ,   th m o d el  f o c u s es  o n   k ey   ter m s   th at  co n tr ib u te  t o   th class if icatio n   task   [ 2 1 ] .     2 . 3 . 2 .   L em ma t iza t io n   L em m atiza tio n   s tan d ar d izes  wo r d s   b y   co n v e r tin g   th em   to   th eir   b ase  o r   d ictio n ar y   f o r m   wh ile  p r eser v in g   g r am m atica m ea n in g .   Un lik s tem m in g ,   wh ich   tr im s   wo r d s   to   th eir   r o o ( "r u n n in g , "r an , an d   "r u n s to   "r u n ") ,   lem m atiza ti o n   co n s id er s   lin g u is tic  co n tex t,  en s u r in g   a cc u r ate  wo r d   tr an s f o r m atio n s .   T h is   p r o ce s s   m in im izes  r ed u n d an v ar iatio n s   in   tex tu al   d ata,   lea d in g   to   m o r e   co n s is ten an d   m ea n in g f u f ea tu r es   f o r   class if icatio n   m o d els  [ 2 1 ] .     2 . 4 .     Vec t o riza t io n t ec hn iqu es   I n   NL P,  v ec to r izatio n   is   cr u cial  f o r   co n v er tin g   tex in to   n u m er ical  d ata  th at  ML   alg o r ith m s   ca n   p r o ce s s .   T h ese  m eth o d s   tr an s f o r m   wo r d s   in to   v ec to r s ,   ca p t u r in g   s em an tic  a n d   c o n tex tu a r elatio n s h ip s ,   an d   o f f er   s ig n if ica n ad v a n tag es  in   ac cu r ac y   an d   f lex ib ilit y   f o r   tex class if icatio n   [ 2 2 ] ,   [ 2 3 ] .   I n   o u r   s tu d y ,   we  s elec ted   th f o llo win g   v ec to r i za tio n   m eth o d s   f o r   th eir   ef f icien cy   in   ca p tu r in g   co m p lex   p atter n s   in   lar g s o cial  m ed ia  d atasets   an d   th eir   wid es p r ea d   p o p u la r ity .     2 . 4 . 1 .   T F - I DF   TF - I DF  is   v ec to r izatio n   tec h n iq u in   NL th at  ass ess e s   wo r d ' s   s ig n if ican ce   with in   d o cu m en t   r elativ to   lar g er   co r p u s .   T er m   f r eq u en cy   ( T F)  ca lcu lates  h o f r eq u en tly   te r m   ap p e ar s   in   d o cu m en t,   wh ile  in v er s d o cu m e n f r eq u en cy   ( I DF)   d o wn   weig h ts   ter m s   th at  ar co m m o n   ac r o s s   m an y   d o c u m en ts .   B y   b alan cin g   lo ca l   f r eq u en cy   with   g lo b al  r a r ity ,   T F - I DF  en h an ce s   th ac cu r ac y   o f   tex t u al  r ep r esen tatio n s ,   m ak in g   it e f f ec tiv f o r   h ig h lig h tin g   im p o r tan t w o r d s   in   co n t ex [ 2 2 ] ,   [ 2 3 ] .     2 . 4 . 2 .   Wo rd2 Vec   W o r d 2 Vec   is   wo r d   v ec to r i za tio n   tech n iq u th at  r e p r esen ts   wo r d s   as  d en s v ec to r s   i n   h ig h - d im en s io n al  s p ac e.   Dev elo p e d   b y   Go o g le,   th is   m eth o d   lear n s   th ese  v ec to r   r ep r esen tatio n s   b y   an al y zin g   wo r d   co - o cc u r r en ce s   with in   a   tex co r p u s ,   en s u r in g   th at   wo r d s   a p p ea r in g   in   s im ilar   co n tex ts   h av clo s ely   alig n e d   v ec to r s .   T h is   ap p r o ac h   ef f ec tiv ely   ca p tu r es  s em an tic   an d   s y n tactic  r elatio n s h ip s   b etw ee n   wo r d s ,   wh er e   s im ilar   m ea n in g s   o r   co n tex tu al  u s es  r esu lt  in   s im ilar   v ec t o r   p o s itio n s .   B y   r ed u cin g   d im en s io n ality   wh ile   p r eser v in g   th ese  r elatio n s h ip s ,   W o r d 2 Vec   en h an ce s   th e   q u al ity   o f   tex t u al  an aly s is   [ 2 2 ] ,   [ 2 3 ] I n   o u r   s tu d y ,   we   ex p er im en ted   with   v ar i o u s   v e cto r   d im en s io n s   a n d   f o u n d   th at  d im en s io n   o f   5 0 0   y ield ed   th b est  r esu lts   f o r   d etec tin g   d ep r ess io n   in   th p o s t - co n tex t.     2 . 4 . 3 .   F ine - t un ed  B E R T   B E R T   i s   n atu r al  lan g u ag p r o ce s s in g   m o d el  th at  lev er ag e s   b id ir ec tio n al  tr an s f o r m er   ar ch itectu r e   to   g r asp   th co n tex o f   wo r d s   with in   s en ten ce s .   B y   an aly zin g   tex in   b o th   d ir ec tio n s ,   B E R T   ca p tu r es  r ich er   co n tex tu al  in f o r m atio n   th an   tr ad itio n al  m o d els.  I is   p r e - tr ai n ed   o n   v ast  am o u n ts   o f   tex a n d   ca n   b f in e - t u n ed   f o r   s p ec if ic  task s   b y   ad d in g   tailo r ed   o u tp u lay er s .   I n   o u r   s tu d y ,   we  f in e - tu n e d   B E R T   b y   in co r p o r atin g   ad d itio n al  o u tp u lay e r s   s p ec if ically   d esig n ed   f o r   o u r   p o s t - class if icatio n   task .   T h is   m o d e was  r e - tr ain ed   o n   o u r   R ed d it  d ataset  to   en h an c its   ab ilit y   to   ca p tu r th e   n u an ce s   o f   o u r   co r p u s ,   u ltima tely   o p tim izin g   its   p er f o r m an ce   f o r   d e p r ess io n   d e tectio n   [ 2 2 ] ,   [ 2 4 ] .     2 . 5 .     M a chine  lea rni ng   a lg o rit hm s   Ma ch in lear n in g   alg o r ith m s   ar cr u cial  f o r   class if y in g   d at in   n atu r al  la n g u a g p r o ce s s in g .   T h e y   f ac ilit ate  th id en tific atio n   an d   m o d elin g   o f   in tr icate   r elatio n s h ip s   b etwe en   in p u f ea tu r es  an d   tar g et   ca teg o r ies  u s in g   tr ain in g   d ata .   Ou r   alg o r ith m   s elec tio n   is   b ased   o n   th eir   s tr o n g   r e p u tatio n   an d   wid esp r ea d   ad o p tio n   with in   th e   s cien tific   co m m u n ity   f o r   tex class if icatio n   task s .   T h ese  alg o r ith m s   a r k n o wn   f o r   th ei r   ef f ec tiv en ess   ac r o s s   d iv er s co n tex ts   an d   th eir   ca p a city   to   m an ag co m p lex   d atasets ,   m ak in g   th em   id ea f o r   o u r   s tu d y   [ 2 5 ] [ 2 7 ] .   I n   o u r   r esear ch ,   we  em p l o y ed   t h f o llo win g   tech n iq u es:     2 . 5 . 1 .   Dec is io t ree    T h d ec is io n   tr ee   ( DT )   alg o r ith m   is   class if icatio n   m o d el  t h at  s p lits   d ata  in to   s u b s ets  b ased   o n   th e   v alu es  o f   s p ec if ic  f ea tu r es.  E ac h   in ter n al  n o d r ep r esen ts   d ec is io n   b ased   o n   f ea tu r e,   wh ile  ea ch   leaf   n o d e   co r r esp o n d s   to   tar g et  class .   T h is   alg o r ith m   is   h ig h ly   v alu ed   f o r   its   s tr aig h tf o r war d   in ter p r etab ilit y   an d   ca p ac ity   to   ca p tu r co m p lex   r elatio n s h ip s   b etwe en   f ea tu r e s .   It   i s   clea r   d ec is io n - m ak in g   p r o ce s s   m ak es  it   p ar ticu lar ly   ef f ec tiv f o r   class if icatio n   task s   th at  r eq u ir t r an s p ar en t a n d   e f f icien t r esu lts   [ 2 5 ] [ 2 7 ] .   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 8 - 8 7 0 8   I n t J E lec  &   C o m p   E n g ,   Vo l.   1 6 ,   No .   3 J u n e   20 2 6 :   1 4 7 4 - 1 4 8 4   1478   2 . 5 . 2 .   L o g is t ic  r eg re s s io   L o g is tic  r eg r ess io n   ( L R )   is   a   class if icatio n   alg o r ith m   th at   m o d els  t h p r o b a b ilit y   o f   a n   in s tan ce   b elo n g in g   to   p a r ticu lar   clas s   u s in g   lo g is tic  f u n ctio n .   T h is   m o d el  is   h i g h ly   r eg ar d ed   f o r   its   s im p licity ,   s p ee d ,   an d   ef f ec tiv en ess   in   b i n ar y   class if icatio n   task s ,   d eliv er in g   r esu lts   th at   ar ea s y   to   i n ter p r et.   M o r eo v er ,   its   ab ilit y   to   o u tp u p r o b a b ilit ies  alo n g s id class if icatio n s   all o ws  f o r   m o r n u an ce d   ass ess m en o f   p r e d ictio n   u n ce r tain ties ,   en h a n cin g   d ec is io n - m ak in g   in   v ar io u s   ap p licatio n s   [ 2 5 ] [ 2 7 ] .     2 . 5 . 3 .   Ra nd o m   f o re s t     R an d o m   f o r est  ( R F)  is   a   clas s if icatio n   alg o r ith m   th at  en h a n ce s   p r ed ictio n   ac cu r ac y   an d   r o b u s tn ess   b y   co m b in in g   m u ltip le  d ec is io n   tr ee s .   E ac h   tr ee   in   th f o r est   is   co n s tr u cted   u s in g   a   r an d o m   s u b s et  o f   th d ata  an d   f ea tu r es,  an d   th f in al  p r e d ictio n   is   o b tain ed   b y   ag g r e g a tin g   th p r ed ictio n s   o f   all  th tr ee s .   T h is   en s em b le  ap p r o ac h   m itig ates  th r is k   o f   o v e r f itti n g   a n d   im p r o v es  o v er all  p er f o r m a n ce   b y   lev er ag in g   th d iv er s ity   am o n g   t h in d iv i d u al  tr ee s ,   m ak in g   it a   p o wer f u l t o o l f o r   co m p lex   class if icatio n   task s   [ 2 5 ] [ 2 7 ] .     2 . 5 . 4 .   G ra dient  b o o s t ing     Gr ad ien b o o s tin g   ( GB )   is   class if icatio n   alg o r ith m   th at   c o n s tr u cts  r o b u s p r ed ictiv e   m o d el  b y   s eq u en tially   co m b in in g   m u lti p le  wea k   lea r n er s ,   t y p ically   d ec is io n   tr ee s .   T h alg o r ith m   wo r k s   iter ativ el y ,   wh er ea ch   n ew  tr ee   is   tr ain e d   to   co r r ec th er r o r s   m ad b y   th p r ev io u s   tr ee s   b y   f o cu s i n g   o n   th r esid u als.   T h i s   p r o c e s s   o f   i te r a t i v e   r e f i n e m e n t   r e d u c e s   b ia s   a n d   e n h an c e s   t h e   o v e r a ll   a c c u r a c y   o f   t h e   m o d e l ,   m a k i n g   g r a d i e n t   b o o s t i n g   p a r t ic u l a r l y   ef f e c t i v e   i n   h a n d l i n g   c o m p l e x   cla s s i f i c at i o n   t as k s   wi t h   h i g h   p r ec i s i o n   [ 2 5 ] [ 2 7 ] .     2 . 5 . 5 .   Su pp o rt   v ec t o m a chi ne    T h s u p p o r v ec to r   m ac h in e   ( SVM)   is   p o wer f u class if icatio n   alg o r ith m   th at  aim s   to   f in d   th e   o p tim al  h y p e r p lan th at  s ep ar ates  d if f er en class es  o f   d ata  with   th lar g est  m ar g in .   I ex ce ls   with   co m p lex ,   h ig h - d im e n s io n al  d atasets   an d   u tili ze s   th k er n el   tr ick   to   h an d le  n o n - lin ea r   p r o b lem s   b y   p r o jectin g   d ata  i n to   a   h ig h er - d im en s io n al  s p ac e,   th er eb y   m ak i n g   th em   lin ea r ly   s ep ar ab le.   T h is   ab ilit y   to   h an d le  n o n - lin ea r ity   ef f ec tiv ely   en h an ce s   its   p er f o r m an ce   ac r o s s   d iv er s class if icatio n   task s   [ 2 5 ] [ 2 7 ] .     2 . 6 .     H y perpa ra m et er   o ptim iza t io n us ing   g enet ic  a lg o rit hm s   Hy p er p ar a m eter   o p tim izatio n   is   ess en tial  f o r   en h an cin g   m ac h in lear n in g   m o d el  p er f o r m an ce   b y   f in e - tu n in g   alg o r ith m   p ar a m eter s   to   m a x im ize  ac cu r ac y   an d   g en e r aliza tio n   [ 2 8 ] .   I n   th is   s t u d y ,   we  em p lo y ed   th Hy p ONI C   lib r a r y ,   wh ich   i m p lem en ts   a   g en etic   alg o r ith m   ( GA)   in s p ir ed   b y   n at u r al  s e lectio n   to   ef f icien tly   ex p lo r e   co m p le x ,   h i g h - d im en s io n al  s ea r ch   s p ac es.  Un lik e   Gr id   Sear ch ,   wh ich   ex h a u s tiv ely   ev alu ates  all   p o s s ib le  p ar am eter   c o m b in ati o n s   an d   b ec o m es  c o m p u tatio n ally   ex p e n s iv in   h ig h - d im e n s io n al  s ettin g s ,   o r   B ay esian   o p tim izatio n ,   wh ich   r elies  o n   p r o b ab ilis tic  m o d elin g   an d   m ay   s tr u g g le  with   h ig h ly   n o n - lin ea r   s ea r ch   s p ac es,  GA  iter ativ el y   r ef i n es  co n f ig u r atio n s   th r o u g h   ev o lu tio n ar y   o p er atio n s   s u ch   as   s elec tio n ,   cr o s s o v er ,   an d   m u tatio n ,   allo win g   f o r   ad ap tiv e x p lo r atio n   an d   th av o id an ce   o f   lo ca m in im [ 2 9 ] .   T h GA   was  co n f ig u r ed   with   p o p u la tio n   s ize  o f   1 0   a n d   was  ex ec u ted   o v er   5   g en er ati o n s   to   b ala n ce   co m p u tatio n al  ef f icien cy   an d   m o d el  o p tim iz atio n .   m u tatio n   r ate  o f   0 . 1   was  ap p lied   to   in tr o d u ce   co n tr o lled   v ar ia b ilit y ,   p r ev en tin g   p r em atu r e   co n v er g en ce   to   s u b o p tim al  s o lu tio n s ,   wh ile  cr o s s o v er   r ate  o f   0 . 9   f ac ilit ated   th e   co m b in atio n   o f   h i g h - p e r f o r m in g   c o n f ig u r atio n s   t o   en h a n ce   ex p lo r atio n .   T o   en s u r r o b u s s elec tio n ,   to u r n am e n s elec tio n   s tr ateg y   was  em p lo y ed ,   wh er e   th b est - p er f o r m in g   in d iv id u als  wer r etain ed   f o r   t h n ex g en er atio n ,   an d   elitis m   was  en ab led   to   p r eser v t o p   s o lu tio n s   ac r o s s   iter atio n s .   B y   lev er ag in g   ev o lu tio n ar y   p r in cip les,  GA   en ab les  m o r e f f icien an d   f lex i b le  h y p er p a r am eter   s ea r ch ,   r e d u cin g   co m p u tatio n al  c o s ts   wh ile  im p r o v in g   m o d el  p er f o r m an ce   an d   s tab ilit y   [ 1 0 ] ,   [ 3 0 ] .       3.   RE SU L T S AN D I SCU SS I O N   W im p lem en ted   o u r   ex p er i m en tal  f r am ew o r k   o n   Go o g l C o lab ' s   clo u d   p latf o r m ,   le v er ag in g   its     16   GB   GPU  ac ce ler atio n   to   h an d le   th c o m p u tatio n al  wo r k lo ad .   T h e   tech n ical   s tack   u tili ze d   Py t h o n   alo n g s id ess en tial  m ac h in lear n in g   lib r ar ies:   Pan d as  f o r   d ata  m an ip u latio n ,   Scik it - lear n   f o r   tr ad itio n al  alg o r ith m s ,   T e n s o r Flo f o r   n eu r al  n etwo r k   im p lem e n tatio n ,   n atu r al   lan g u ag e   to o lk it   ( NL T K)   f o r   tex t   p r ep r o ce s s in g ,   Gen s im   f o r   wo r d   em b e d d in g s ,   T r an s f o r m er s   f o r   B E R T - b ased   ar ch itectu r es,  an d   Hy p ONI C   f o r   h y p er p ar am eter   o p tim izatio n .   W h ile  tr an s f o r m er   m o d e ls   lik B E R T   ty p ically   d em an d   s ig n if ican t   co m p u tatio n al  r eso u r ce s ,   o u r   d ataset  o f   7 , 7 3 1   p o s ts   allo we d   f o r   e f f icien f in e - t u n in g ,   co m p letin g   tr ain in g   in   p r ac tical  tim ef r am es  with o u r eq u ir in g   s p ec ialized   h ar d war e.   Fo r   c o m p r e h en s iv e v alu at io n ,   we  e m p lo y ed   m u ltip le  p er f o r m a n ce   m etr ics:   ac cu r ac y ,   p r ec is io n ,   r ec all,   a n d   F1 - s co r [ 3 1 ] ,   [ 3 2 ] ,   wh ich   co llectiv ely   ass ess   d if f er en asp ec ts   o f   m o d el  ef f ec tiv en ess .   T h co m p lete   ex p er im en tal  r esu lts ,   p r esen ted   in   T ab les  1 - 6 ,   s y s tem atica lly   co m p ar t h i m p ac o f   v a r io u s   v ec to r izatio n   ap p r o ac h es  ( T F - I DF,  W o r d 2 Vec ,   B E R T )   an d   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J E lec  &   C o m p   E n g     I SS N:   2088 - 8 7 0 8         I n teg r a tin g   B E R T fin e - tu n in g   a n d   g e n etic  a lg o r ith fo r     ( A b d   A lla h   A o u r a g h )   1479   g en etic  alg o r ith m   o p tim izatio n   ac r o s s   o u r   f iv m ac h i n e   lear n in g   ar ch itectu r es.  T h is   b alan ce d   ap p r o ac h   b etwe en   co m p u tatio n al  ef f icien cy   an d   m eth o d o lo g ical  r ig o r   d e m o n s tr ates  th at  o u r   s o lu tio n   ca n   b e   r ea lis tically   d ep lo y ed   o n   s tan d ar d   cl o u d   in f r astru ctu r e,   m a k in g   it   ac ce s s ib le  f o r   p r ac tica ap p licatio n s   wh ile   m ain tain in g   r o b u s t p er f o r m a n ce   s tan d ar d s .       T ab le  1 .   T F - I DF     A c c u r a c y   P r e c i s i o n   R e c a l l   F1 - sc o r e   D e c i s i o n   t r e e   ( D T)   9 0 . 6 9 %   9 0 . 9 1 %   9 0 . 3 1 %   9 0 . 6 1 %   Lo g i s t i c   r e g r e ssi o n   ( L R )   9 4 . 9 6 %   9 8 . 0 6 %   9 2 . 6 7 %   9 5 . 2 9 %   R a n d o m f o r e s t   ( R F )   8 5 . 4 6 %   9 6 . 3 9 %   7 3 . 3 0 %   8 3 . 2 7 %   G r a d i e n t   b o o t i n g   ( G B )   9 3 . 3 4 %   9 8 . 8 6 %   9 0 . 7 1 %   9 4 . 6 1 %   S u p p o r t   v e c t o r   ma c h i n e   ( S V M )   7 5 . 9 5 %   6 8 . 2 2 %   9 6 . 0 7 %   7 9 . 7 8 %       T ab le  2 .   W o r d 2 Vec     A c c u r a c y   P r e c i s i o n   R e c a l l   F1 - sc o r e   D e c i s i o n   t r e e   ( D T)   8 2 . 2 9 %   8 1 . 4 5 %   8 3 . 9 0 %   8 2 . 6 6 %   Lo g i s t i c   r e g r e ssi o n   ( L R )   8 6 . 3 0 %   8 1 . 3 6 %   9 3 . 7 2 %   8 7 . 1 0 %   R a n d o m f o r e s t   ( R F )   8 4 . 6 8 %   8 4 . 2 6 %   8 3 . 3 8 %   8 3 . 8 2 %   G r a d i e n t   b o o t i n g   ( G B )   8 8 . 6 2 %   8 9 . 5 7 %   8 9 . 9 2 %   8 9 . 7 5 %   S u p p o r t   v e c t o r   ma c h i n e   ( S V M )   8 7 . 5 9 %   8 2 . 9 5 %   9 4 . 2 4 %   8 8 . 2 4 %       T ab le  3 .   Fin e - tu n ed   B E R T     A c c u r a c y   P r e c i s i o n   R e c a l l   F1 - sc o r e   D e c i s i o n   t r e e   ( D T)   8 6 . 8 8 %   8 6 . 8 6 %   8 6 . 5 2 %   8 6 . 6 9 %   Lo g i s t i c   r e g r e ssi o n   ( L R )   9 5 . 4 1 %   9 6 . 3 9 %   9 4 . 2 4 %   9 5 . 3 0 %   R a n d o m f o r e s t   ( R F )   8 8 . 6 9 %   9 6 . 6 7 %   7 9 . 8 4 %   8 7 . 4 6 %   G r a d i e n t   b o o t i n g   ( G B )   9 4 . 4 4 %   9 7 . 0 8 %   9 1 . 4 9 %   9 4 . 2 0 %   S u p p o r t   v e c t o r   ma c h i n e   ( S V M )   9 5 . 0 9 %   9 5 . 8 7 %   9 4 . 1 1 %   9 4 . 9 8 %       T ab le  4 .   T F - I DF +   Gen etic  al g o r ith m     A c c u r a c y   P r e c i s i o n   R e c a l l   F1 - sc o r e   D e c i s i o n   t r e e   ( D T)   9 2 . 3 1 %   9 5 . 1 0 %   8 9 . 0 1 %   9 1 . 9 5 %   Lo g i s t i c   r e g r e ssi o n   ( L R )   9 5 . 4 8 %   9 5 . 2 5 %   9 4 . 5 0 %   9 4 . 8 8 %   R a n d o m f o r e s t   ( R F )   9 5 . 6 0 %   9 8 . 1 5 %   7 6 . 3 1 %   8 5 . 8 6 %   G r a d i e n t   b o o t i n g   ( G B )   9 4 . 5 7 %   9 6 . 2 0 %   9 2 . 6 7 %   9 4 . 4 0 %   S u p p o r t   v e c t o r   ma c h i n e   ( S V M )   9 5 . 4 1 %   9 4 . 8 5 %   9 3 . 9 8 %   9 4 . 4 1 %       T ab le  5 .   W o r d 2 Vec   Gen etic   alg o r ith m     A c c u r a c y   P r e c i s i o n   R e c a l l   F1 - sc o r e   D e c i s i o n   t r e e   ( D T)   8 2 . 6 1 %   8 1 . 0 9 %   8 3 . 6 4 %   8 2 . 3 5 %   Lo g i s t i c   r e g r e ssi o n   ( L R )   8 9 . 7 9 %   8 5 . 5 6 %   9 5 . 4 2 %   9 0 . 2 2 %   R a n d o m f o r e s t   ( R F )   8 6 . 1 7 %   8 5 . 9 0 %   8 6 . 1 3 %   8 6 . 0 1 %   G r a d i e n t   b o o t i n g   ( G B )   9 0 . 5 0 %   9 0 . 5 4 %   9 0 . 1 8 %   9 0 . 3 6 %   S u p p o r t   v e c t o r   ma c h i n e   ( S V M )   9 0 . 8 9 %   9 1 . 5 9 %   8 9 . 7 9 %   9 0 . 6 8 %       T ab le  6 .   Fin e - tu n ed   B E R T   Gen etic  alg o r ith m     A c c u r a c y   P r e c i s i o n   R e c a l l   F1 - sc o r e   D e c i s i o n   t r e e   ( D T)   8 7 . 2 7 %   8 7 . 5 5 %   8 6 . 5 2 %   8 7 . 0 3 %   Lo g i s t i c   r e g r e ssi o n   ( L R )   9 5 . 6 0 %   9 6 . 5 2 %   9 4 . 5 0 %   9 5 . 5 0 %   R a n d o m f o r e s t   ( R F )   8 9 . 4 6 %   9 6 . 8 8 %   8 1 . 2 8 %   8 8 . 4 0 %   G r a d i e n t   b o o t i n g   ( G B )   9 4 . 9 6 %   9 7 . 6 4 %   9 2 . 0 2 %   9 4 . 7 4 %   S u p p o r t   v e c t o r   ma c h i n e   ( S V M )   9 5 . 9 9 %   9 6 . 6 8 %   9 5 . 1 6 %   9 5 . 9 1 %       Fo r   th d ataset  v ec to r ize d   u s i n g   T F - I DF,   as  s h o wn   in   T a b l 1 ,   lo g is tic  r eg r ess io n   d eliv er ed   th e   b est  o v er all  p er f o r m an c with   an   a cc u r ac y   o f   9 4 . 9 6 an d   an   F1 - s co r o f   9 5 . 2 9 %.  Gr ad ien b o o s tin g   ac h iev ed   th h ig h est  p r ec is io n   at  9 8 . 8 6 %,  wh ile  SVM  ex ce lled   in   r ec all  with   9 6 . 0 7 %.  Fo r   t h W o r d 2 Vec   v ec to r izatio n ,   d etailed   in   T ab le  2 ,   g r a d ien b o o s tin g   s h o wed   s tr o n g   p er f o r m an ce   with   an   ac cu r ac y   o f   8 8 . 6 2 %,  p r ec is io n   o f   8 9 . 5 7 %,  an d   an   F1 - s co r o f   8 9 . 7 5 %.  SVM  ag ain   d em o n s tr a ted   s u p er io r   r ec all  with   s co r o f   9 4 . 2 4 %.  L astl y ,   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 8 - 8 7 0 8   I n t J E lec  &   C o m p   E n g ,   Vo l.   1 6 ,   No .   3 J u n e   20 2 6 :   1 4 7 4 - 1 4 8 4   1480   w i t h   t h e   f i n e - t u n e d   B E R T   m o d e l ,   a s   p r e s e n te d   i n   T a b l e   3 ,   l o g i s t i c   r e g r es s i o n   l e d   w i t h   a n   a c c u r a c y   o f   9 5 . 4 1 % ,   r e c a l l   o f   9 4 . 2 4 % ,   a n d   a n   F 1 - s co r e   o f   9 5 . 3 0 % ,   w h i l e   g r a d i e n t   b o o s t i n g   a c h i e v e d   t h e   h i g h es t   p r e c i s i o n   a t   9 7 . 0 8 % .   Fo llo win g   h y p er p ar am eter   o p tim izatio n   with   th e   g en e tic  alg o r ith m ,   s ig n if ican t   p er f o r m a n ce   im p r o v em e n ts   wer o b s er v e d   f o r   th e   T F - I DF  m o d el  ( T ab l 4 ) ,   with   n o tab le  1 9 en h an ce m en f o r   SVM    ( C 6 . 4 2 ,   g am m a:  ' s ca le ' ,   k er n el:  ' lin ea r ' ,   d eg r ee 4 ) .   R an d o m   f o r est  ( n _ esti m ato r s 4 0 ,   cr iter io n ' g in i' ,   m in _ s am p les_ s p lit:   9 ,   m ax _ d ep th 7 )   ac h iev ed   th h i g h est  ac cu r ac y   ( 9 5 . 6 0 %)  an d   p r ec is io n   ( 9 8 . 1 5 %),   wh ile  lo g is tic  r eg r ess io n   ex ce lled   in   r ec all  ( 9 4 . 5 0 %)  an d   F1 - s co r e   ( 9 4 . 8 8 %).   Fo r   t h W o r d 2 Ve m o d el  ( T a b le  5 ) ,   o p tim izatio n   r esu lted   in   an   a v er ag p e r f o r m an ce   b o o s o f   2 %.  SVM  ( C 9 . 6 2 ,   g am m a:  ' au to ' ,   k er n el:  ' lin ea r ' ,   d eg r ee 3 )   d e m o n s tr ated   t h b est  ac cu r ac y   ( 9 0 . 8 9 %),   p r ec is io n   ( 9 1 . 5 9 %),   a n d   F1 - s co r e   ( 9 0 . 6 8 %),   w h ile  lo g is tic  r eg r ess io n   ( p en alty :   ' l2 ' ,   C 8 7 0 . 1 5 ,   m ax _ iter :   1 8 0 ,   s o lv er ' n ewto n - c g ' )   ac h iev e d   th e   h ig h est  r ec all  ( 9 5 . 4 2 %).   W ith   th e   f in e - tu n ed   B E R T   m o d el  ( T ab le  6 ) ,   h y p er p ar am eter   o p tim izatio n   led   to   an   a v er ag e   im p r o v em e n o f   1 %.  SVM  ( C 9 . 6 7 ,   g am m a:  ' au to ' ,   k er n e l:  ' lin ea r ' ,   d eg r ee 4 )   p e r f o r m ed   b est  in   ac cu r ac y   ( 9 5 . 9 9 %),   r ec all  ( 9 5 . 1 6 %),   an d   F1 - s co r ( 9 5 . 9 1 %),   wh i le  g r ad ien b o o s tin g   ( lo s s ' l o g _ lo s s ' ,   cr iter io n ' f r ied m an _ m s e' ,   n _ esti m ato r s 7 0 ,   m a x _ d e p th 7 ,   m in _ s a m p les_ s p lit:   4 )   ac h iev ed   th e   h ig h est  p r ec is io n   ( 9 7 . 6 4 %).   T o   en s u r th r o b u s tn ess   o f   th ese   r esu lts ,   we  e m p lo y ed   k - f o ld   cr o s s - v alid atio n ,   wh ich   m itig ates  p er f o r m an ce   v ar iatio n s   b y   ev alu atin g   m o d els  ac r o s s   m u ltip le  tr ain in g   an d   test in g   s p lits .   Giv en   th is   r ig o r o u s   v alid atio n   a p p r o ac h ,   we  d id   n o p er f o r m   ad d itio n al  s tatis tic al  s ig n if ican ce   test s   s u ch   as   ANOV o r   t - test s ,   wh ich   ar m o r s u ited   f o r   c o m p ar in g   m o d els  tr ain ed   o n   in d ep en d e n d atasets   r ath er   th an   th o s ass es s ed   u s in g   cr o s s - v alid atio n .   Fig u r e   2   p r o v id es  g r ap h ical  o v e r v iew  o f   th p er f o r m a n ce   o f   v ar io u s   m o d els,  o f f e r in g   a   clea r   an d   in tu itiv e   v is u aliza tio n   o f   th e   r esu lts .           Fig u r 2 .   Me tr ics  an aly s is   f o r   d if f er en t a lg o r ith m s       T h r esu lts   o f   o u r   s tu d y   in d ic ate  th at  th SVM  m o d el,   wh e n   co m b in e d   with   f in e - t u n ed   B E R T   an d   o p tim ized   u s in g   a   g en etic   alg o r ith m ,   ac h iev ed   th e   h ig h est  o v er all  p e r f o r m an ce .   I attain ed   an   ac cu r ac y   o f   9 5 . 9 9 %,   r ec all   o f   9 5 . 1 6 %,   an d   an   F1 - s co r o f   9 5 . 9 1 %.  T h is   ex ce p tio n al  p er f o r m an ce   o f   th SVM  is   attr ib u ted   to   its   ca p ac ity   to   o p tim ize  th m ar g in   b etwe e n   class es  th r o u g h   p r ec is d e cisi o n   h y p er p la n es,  th er eb y   en h an cin g   its   ac cu r ac y   in   class if y in g   p o s itiv ex am p les.  T h f in e - tu n ed   B E R T   m o d el  was  p iv o tal  in   ac h iev in g   th ese  r esu lts .   I ts   ad ap tatio n   to   o u r   d ataset  allo wed   it  to   ef f ec tiv ely   ca p tu r co n tex tu al  n u an ce s   an d   co m p lex   r elatio n s h ip s   in   R ed d it  co m m en ts ,   lea d in g   to   s ig n if ican p er f o r m an ce   im p r o v e m en ts .   Ad d itio n ally ,   TF - I DF  o u tp er f o r m ed   W o r d 2 Vec   in   o u r   s tu d y .   T h is   is   d u to   T F - I DF's   ef f ec tiv en ess   i n   h ig h lig h tin g   ter m   im p o r tan ce   in   s h o r t,   s p ec if ic  t ex ts   lik R ed d it  c o m m en ts ,   wh er ea s   W o r d 2 Vec ,   wh ich   ex ce ls   in   ca p tu r in g   d ee p   s em an tic  r elatio n s h ip s ,   was  n o as  wel l - s u ited   to   o u r   d ataset.   T h lack   o f   s p ec if ic  o p tim izatio n   f o r   W o r d 2 Vec   lik ely   co n s tr ain ed   its   ab ilit y   to   ca p tu r e   th ess en tial  co n tex tu al  n u an ce s   f o r   ac c u r ate  class if icatio n ,   em p h asizin g   th n ee d   f o r   v ec to r izatio n   m eth o d s   to   b tailo r ed   to   th s p ec if ic  c o n tex o f   th d ata.   L o g is tic  r eg r ess io n   also   d eliv er ed   im p r ess iv r esu lts ,   ac h iev in g   an   ac cu r ac y   o f   9 5 . 6 0 an d   a n   F 1 - s co r o f   9 5 . 5 0 %,  h ig h lig h tin g   its   ef f ec tiv en ess   i n   ca p tu r in g   lin ea r   r elatio n s h ip s .   Gr ad ien b o o s tin g   ex ce lled   in   p r ec is io n   with   a   s co r o f   9 7 . 6 4 %,  s h o wca s in g   its   s tr en g th   in   ag g r eg atin g   wea k   tr ee s   to   co r r ec class if icatio n   er r o r s .   T h e   65 . 00 % 70. 00% 75. 00% 80. 00% 85. 00% 90. 00% 95. 00% 10 0 . 00 % DT LR RF GB S V M D T + G A L R + G A R F + G A G B + G A S V M + G A DT LR RF GB S V M D T + G A L R + G A R F + G A G B + G A S V M + G A DT LR RF GB S V M D T + G A L R + G A R F + G A G B + G A S V M + G A TF - I D F W O R D 2 V E C F I N E - T U N E D   B E R T a c c u ra c y p r e c isio n re c a ll f1 -s c o re Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J E lec  &   C o m p   E n g     I SS N:   2088 - 8 7 0 8         I n teg r a tin g   B E R T fin e - tu n in g   a n d   g e n etic  a lg o r ith fo r     ( A b d   A lla h   A o u r a g h )   1481   g en etic  alg o r ith m   p lay e d   cr u cial  r o le  in   o p tim izin g   h y p er p ar am eter s   b y   ef f icie n tly   ex p lo r in g   p ar am ete r   s p ac es  an d   s ig n if ican tly   en h an cin g   m o d el  p e r f o r m an ce .   T h is   m eth o d   allo wed   u s   to   f in e - tu n p ar am ete r s   ef f ec tiv ely ,   ac h ie v in g   o p tim al  co n f ig u r atio n s   an d   th b est p o s s ib le  r esu lts .   C o m p ar in g   o u r   r esu lts   with   th o s o f   p r ev i o u s   s tu d ies,  s u ch   as  [ 1 2 ] ,   [ 1 3 ] ,   we  f i n d   s im ilar ities   in   th ap p licatio n   o f   m ac h in lear n in g   tech n i q u es  f o r   d ep r ess io n   d etec tio n .   T h ese  s tu d ies  also   h ig h lig h th e   ef f ec tiv en ess   o f   m o d els lik SVM  in   ac h iev in g   r o b u s t r esu lts .   Fo r   in s tan ce ,   [ 1 4 ]   r e p o r ted   t h at  SVMs a ch iev ed   an   ac cu r ac y   o f   7 7 . 1 2 an d   an   F1 - s co r o f   7 7 %.  I n   a n o th er   ca s e,   [ 1 5 ]   o b s er v e d   th at  R an d o m   Fo r est   p er f o r m ed   well  with   an   ac cu r ac y   o f   8 4 . 9 9 in   a n aly zin g   s o cial  n etwo r k   p o s ts ,   alth o u g h   th eir   r esu lts   wer lo wer   th an   th o s o b tain ed   i n   o u r   s tu d y .   I n   ad d itio n ,   [ 1 6 ]   u tili ze d   h y b r id   C NN  an d   B iLST m o d el,   ac h iev in g   an   ac cu r ac y   o f   9 4 . 2 8 o n   d ep r ess io n - r elate d   twee ts .   [ 1 7 ]   d em o n s tr ated   th at  SVMs  co u ld   r ea ch   8 5 ac cu r ac y   o n   twee ts   u s in g   v ar i o u s   class if ier s .   Fu r th er m o r e,   [ 1 8 ]   v alid ated   d ee p   lea r n in g   tech n iq u es  lik e   B E R T ,   ac h iev in g   an   AUC  o f   9 3 f o r   d ep r ess io n   d etec ti o n   in   m ed ical  r ec o r d s ,   alth o u g h   th eir   m o d el' s   p er f o r m an ce   v a r ied   d e p en d i n g   o n   th c o n tex t.   Ou r   s tu d y   s ets  its elf   ap ar b y   in co r p o r atin g   a   g en etic  alg o r i th m   f o r   h y p er p a r am eter   o p tim izatio n ,   a   m eth o d o l o g y   s eld o m   ex p lo r ed   in   p r ev io u s   r esear ch   o n   d ep r ess io n   d etec tio n .   B y   f in e - tu n in g   m o d el   co n f ig u r atio n s ,   th is   ap p r o ac h   led   to   9 5 . 9 9 ac cu r ac y ,   9 5 . 1 6 r ec all,   an d   9 5 . 9 1 F1 - s co r with   th f i n e - tu n ed   SVM  an d   B E R T   m o d el.   Prio r   s tu d ies  p r im ar ily   r elied   o n   co n v en tio n al  tu n i n g   s tr ateg ies  s u ch   as  g r id   s ea r ch   an d   r an d o m   s ea r c h ,   wh ich   lack   t h ad a p tiv ca p ab ilit ies  o f   g en etic  o p tim izat io n   [ 1 7 ] ,   [ 1 9 ] .   T h e   in teg r atio n   o f   B E R T   f in e - t u n in g   with   ev o l u tio n ar y   o p tim izatio n   s ig n if ican tly   en h a n ce s   class if icat io n   ef f ec tiv en ess ,   m ak in g   it  p r o m is in g   av en u f o r   r e al - wo r ld   d ep lo y m en t.  B ey o n d   m eth o d o lo g ical   ad v an ce m e n ts ,   o u r   ap p r o ac h   is   h ig h ly   ad ap tab le  f o r   in teg r atio n   in to   m en tal  h ea lth   p latf o r m s   an d   s o cial  m ed ia   m o n ito r in g   to o ls   aim ed   at  ea r ly   d ep r ess io n   d etec tio n .   Po ten tial  im p lem en tatio n s   i n clu d API - b ased   in teg r atio n   with   h ea lth   ap p lic atio n s   lik T alk s p ac an d   W o eb o t,  em b ed d in g   with in   elec tr o n ic  h ea lth   r ec o r d   s y s tem s ,   o r   au to m atin g   p r elim in ar y   s cr ee n in g s   in   clin ical  wo r k f lo ws.  Fu tu r r esear ch   co u ld   ex ten d   th is   wo r k   b y   i n co r p o r atin g   m u ltimo d al  an aly s is s u ch   as  s p ee ch   s en tim en d etec tio n   an d   f ac ial  ex p r ess io n   r ec o g n itio n to   im p r o v d iag n o s tic  ac cu r ac y .   E th ical  c o n s id er atio n s ,   in clu d i n g   d ata  p r iv ac y ,   in f o r m ed   co n s en t,  an d   alg o r ith m ic  tr an s p ar en cy ,   r em ai n   ce n tr al  to   e n s u r in g   co m p lian ce   with   r eg u lato r y   f r a m ewo r k s   an d   m in im izin g   b ias  in   r ea l - wo r ld   ap p licatio n s .   T o   s y s tem atica lly   co m p ar ex is tin g   a p p r o ac h es  with   o u r   m eth o d o l o g y ,   T ab le  7   s u m m ar izes  k ey   s tu d ies  in   d e p r ess io n   d etec tio n   f r o m   o n lin co n ten t,  d etailin g   th eir   d atasets ,   f ea tu r ex tr ac tio n   tech n iq u es,  an d   p e r f o r m an c m etr ics.  T h is   s y n th esis   h ig h lig h ts   b o th   th p r o g r ess io n   o f   tech n ical   ap p r o ac h es  an d   th p er s is ten g ap s   o u r   s tu d y   a d d r ess es,  p ar ticu la r ly   th r o u g h   g en etic   alg o r ith m   o p tim izatio n   an d   B E R T   f in e - tu n in g .       T ab le  7 R elate d   wo r k   co m p a r is o n   S t u d y   D a t a s e t   s o u r c e   S a mp l e   si z e   F e a t u r e   e x t r a c t i o n   M o d e l ( s)   u se d   B e st   p e r f o r ma n c e   met r i c s   K e y   l i m i t a t i o n s   A r a c h c h i g e   e t   a l .   [ 1 2 ]   R e d d i t / F a c e b o o k / Tw i t t e r   f o r u ms   2 9   st u d i e s   S e ma n t i c   p a t t e r n s   +   b e h a v i o r a l   mark e r s   V a r i o u M L   a l g o r i t h ms  ( S V M ,   L R ,   R F )   q u a l i t a t i v e   a n a l y si s   C u l t u r a l / l a n g u a g e   b a r r i e r s,   s e l f - d i a g n o si e r r o r s,   u ser  a n o n y m i t y   G l a z   e t   a l .   [ 1 3 ]   M u l t i - p l a t f o r f o r u ms,   me d i c a l   D B s,  s o c i a l   me d i a   5 8   st u d i e s   TF - I D F ,   L I W C ,     n - g r a m s   V a r i o u M L   a l g o r i t h ms  ( S V M ,   L R ,   R F )   r e v i e w   M e t h o d   h e t e r o g e n e i t y ,   C o h o r t   b i a s,  Et h i c a l   l i mi t s   Jai n   e t   a l .   [ 1 4 ]   R e d d i t   6 0 , 0 0 0   r e c o r d s   B a g - of - W o r d s,   TF - I D F   S V M ,   N B ,   L R ,   RF   A c c :   7 7 . 1 2 %,     F 1 :   7 7 %   Li mi t e d   p l a t f o r d i v e r s i t y   S a i f u l l a h     e t   a l .   [ 1 5 ]   Y o u T u b e   4 , 8 6 2   c o mm e n t s   C o u n t - V e c t o r i z a t i o n ,   TF - I D F   R F ,   L R ,   D T,   S V M ,   K N N ,   NB   A c c :   8 4 . 9 9 %   N o   d e e p   l e a r n i n g ,   l i m i t e d   p l a t f o r d i v e r s i t y   K o u r   e t   a l .   [ 1 6 ]   Tw i t t e r   2 , 5 5 8 ,   5 3 0 4   r e c o r d s   C N N   f e a t u r e   e x t r a c t i o n   +   B i LST M   seq u e n c i n g   C N N - B i LS TM   A c c :   9 4 . 2 8 %   S e q - l e n g t h   i ss u e s ,   P l a t f o r b i a s,  M i ss e d   c o m o r b i d i t i e s   C h e r e d d y   e t   a l .   [ 1 7 ]   Tw i t t e r   3 , 0 0 0   p o s t s   TF - I D F   S V M ,   N B   A c c :   8 5 %   Li mi t e d   p l a t f o r d i v e r s i t y   C h e n   e t   a l .   [ 1 8 ]   M e d i c a l   r e c o r d ( M a n d a r i n )   2 2 , 3 5 5   r e c o r d s   B ER e mb e d d i n g s   B ER T - C N N   A U C :   9 3 %   M i l i t a r y / c i v i l i a n   p e r f o r m a n c e   g a p s   S u b r a ma n i a n   e t   a l .   [ 1 9 ]   M u l t i - S o c i a l   med i a   p l a t f o r ms   -   F a st T e x t ,   n - g r a ms   S V M ,   B ER T,   C N N   A c c :   8 0 %   N o   se v e r i t y   g r a d e s,   La b e l   b i a s   O u r   S t u d y   R e d d i t   7 , 7 3 1   p o s t s   B ER T,   W o r d 2 V e c ,   TF - I D F   S V M   ( G A - o p t i m i z e d )   +   B ER T   A c c :   9 5 . 9 9 %   P l a t f o r b i a s,  mi ssi n g   d e m o g r a p h i c   a n a l y si s ,   sar c a sm /   sel f - d e p r e c a t i o n     Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 8 - 8 7 0 8   I n t J E lec  &   C o m p   E n g ,   Vo l.   1 6 ,   No .   3 J u n e   20 2 6 :   1 4 7 4 - 1 4 8 4   1482   4.   L I M I T AT I O NS   W h ile  o u r   s tu d y   ad v a n ce s   d e p r ess io n   d etec tio n   in   s o cial  m ed ia  p o s ts ,   s ev er al  lim itatio n s   m u s b e   ac k n o wled g e d .   T h e   d ataset,   c o n s is tin g   s o lely   o f   R ed d it  p o s ts ,   m ay   lim it  g en er aliza b ilit y   to   o th er   p latf o r m s ,   an d   th ab s en ce   o f   d em o g r ap h ic  attr ib u tes  lik ag an d   g en d er   r estricts  b ias  an aly s is .   Ad d itio n ally ,   lin g u is tic  am b ig u ity   r em ain s   ch allen g e,   as  s ar ca s tic  o r   s elf - d ep r ec atin g   s tatem en ts   m ay   b m is cl ass if ied ,   lead in g   to   f alse  p o s itiv es,  wh ile  f al s n eg ativ es  co u ld   o v er lo o k   in d i v id u als  in   n ee d .   T o   ad d r ess   t h ese  r is k s ,   r ef in in g   class if icatio n   th r esh o ld s ,   in co r p o r atin g   h u m an   o v er s ig h t,  a n d   p o s itio n in g   th ese  m o d els  as  s u p p o r tiv to o ls   r ath er   th an   s tan d alo n e   d iag n o s tic  s o lu tio n s   ar cr u cial  s tep s .   Fro m   c o m p u tatio n al  p er s p ec tiv e,   tr an s f o r m e r - b ased   m o d els  ty p ically   r eq u i r s ig n if ican r eso u r ce s .   Ho wev er ,   o u r   ex p er im en ts   o n   Go o g le  C o l ab   with   a     16   GB   GPU  d em o n s tr ated   th a f in e - tu n i n g   B E R T   o n   th is   d at aset  was  f ea s ib le  with in   r ea s o n ab le  tim e   f r am e,   s u g g esti n g   th at  clo u d - b ased   d ep lo y m en is   a   v iab le  o p tio n .   Fu tu r s tu d ies  s h o u l d   f u r th er   ex p lo r e   ef f icien c y   tr ad e - o f f s ,   p ar ticu lar ly   wh e n   s ca lin g   to   lar g er   d atasets   o r   r ea l - tim a p p licatio n s .   E n h an ci n g   m o d el  in ter p r etab ilit y   is   an o th er   i m p o r tan d ir ec tio n .   T ec h n iq u es  s u ch   as  SHA an d   L I ME   co u ld   p r o v id e   tr an s p ar en e x p lan atio n s   f o r   p r ed ictio n s ,   wh ich   is   esp ec ially   r elev an t   as  f u tu r r esear c h   in teg r ates  ad d itio n al   u s er   attr ib u tes  to   im p r o v cla s s if icatio n   ac cu r ac y .   M o r eo v er ,   ex ten d in g   th is   f r am ewo r k   b ey o n d   d ep r ess io n   d etec tio n   to   o th er   m en tal  h ea lth   co n d itio n s ,   s u ch   as  a n x iety   o r   b i p o lar   d is o r d er ,   co u ld   b r o ad e n   its   ap p licab ilit y .   Fin ally ,   wh ile  we  o p tim ized   B E R T   u s in g   g en etic  alg o r ith m ,   f u tu r r esear c h   co u ld   in v esti g ate  alter n ativ tr an s f o r m er   ar c h itectu r es  s u ch   as  R o B E R T o r   GPT,   as  we ll  as   co m p ar GA  with   B ay esian   o p tim izatio n   o r   g r id   s ea r ch   f o r   h y p er p a r am eter   tu n in g .   Ad d itio n ally ,   v alid atin g   th m o d el  o n   clin ically   an n o tated   d atasets   an d   in co r p o r atin g   m u ltimo d al  d ata s u ch   as  s p ee ch   o r   b e h av io r al  cu es co u ld   f u r th e r   s tr en g th en   its   ef f ec tiv en ess   in   r ea l - wo r ld   m e n tal  h ea lth   ass ess m en t.       5.   CO NCLU SI O N   T h is   s tu d y   d em o n s tr ates  th e   ef f ec tiv en ess   o f   m ac h in e   lear n in g   tec h n iq u es,   p ar ticu lar l y   SVM  with   f in e - tu n e d   B E R T ,   in   d etec tin g   d ep r ess iv co n ten t   in   o n li n co m m en ts .   B y   in c o r p o r ati n g   h y p er p ar am eter   o p tim izatio n   th r o u g h   g en etic  alg o r ith m s ,   we  ac h iev ed   im p r ess iv r esu lts 9 5 . 9 9 ac cu r a cy ,   9 5 . 1 6 r ec all,   an d   9 5 . 9 1 F1 - s co r e.   T h is   a d v an ce d   ap p r o ac h   s ig n if ica n tly   en h an ce s   p r ed ictiv e   p er f o r m an ce   co m p ar e d   to   p r ev io u s   r esear ch ,   h ig h lig h tin g   h o s o p h is ticated   m o d el  tu n in g   an d   B E R T s   co n tex tu al  u n d er s tan d i n g   ca n   ad v an ce   to o ls   f o r   d etec tin g   d ep r ess iv d is o r d er s .   T h i m p licatio n s   o f   o u r   r esear ch   ex ten d   b e y o n d   th im m ed iate  f in d in g s .   I n te g r ati n g   B E R T   f in e - tu n i n g   with   g e n etic  alg o r ith m   o p tim izatio n   estab lis h es  r o b u s t   f r am ewo r k   f o r   d e v elo p in g   m o r ac cu r ate  an d   r eliab le  p r e d ictiv to o ls .   T h is   a p p r o ac h   h as  th p o te n tial  to   r ev o lu tio n ize  t h d iag n o s is   an d   m an a g em en o f   d ep r ess iv d is o r d er s .   Fu tu r r esear c h   s h o u ld   v alid ate  th ese  r esu lts   ac r o s s   d iv er s d atasets   an d   clin ical   s ettin g s   to   en s u r e   b r o ad er   ap p licab ilit y   an d   r o b u s tn ess .   Ad d itio n ally ,   in teg r atin g   th es m eth o d s   with   elec tr o n ic  h ea lth   r ec o r d s   an d   r ea l - tim p atien m o n ito r i n g   s y s tem s   co u ld   f u r t h er   e n h an ce   th eir   u tili ty .   Ultim ately ,   o u r   s tu d y   a d v an ce s   p r ed ictiv m ed icin b y   p r o v id in g   p r ac tical  ap p r o ac h   to   d etec ti n g   d ep r ess iv co n ten t,  p av in g   th way   f o r   p e r s o n alize d   tr ea t m en s tr ateg ies  an d   im p r o v e d   p atien t m a n ag em e n t,  with   s ig n if ican t im p licatio n s   f o r   b o th   r esear ch   an d   clin ical  p r ac tice.       F UNDING   I NF O R M A T I O N   Au th o r s   s tate  n o   f u n d in g   in v o lv ed .       AUTHO CO NT RI B UT I O NS ST A T E M E N T   T h is   jo u r n al  u s es  th C o n tr ib u to r   R o les  T ax o n o m y   ( C R ed iT)   to   r ec o g n ize  in d iv id u al  au th o r   co n tr ib u tio n s ,   r ed u ce   au th o r s h ip   d is p u tes,  an d   f ac ilit ate  co llab o r atio n .     Na m o f   Aut ho r   C   M   So   Va   Fo   I   R   D   O   E   Vi   Su   P   Fu   Ab d   Allah   Ao u r a g h                               Mo h am ed   B ah aj                               Fo u ad   T o u f ik                                 C     C o n c e p t u a l i z a t i o n   M     M e t h o d o l o g y   So     So f t w a r e   Va     Va l i d a t i o n   Fo     Fo r mal   a n a l y s i s   I     I n v e s t i g a t i o n   R     R e so u r c e s   D   :   D a t a   C u r a t i o n   O   :   W r i t i n g   -   O r i g i n a l   D r a f t   E   :   W r i t i n g   -   R e v i e w   &   E d i t i n g   Vi     Vi su a l i z a t i o n   Su     Su p e r v i s i o n   P     P r o j e c t   a d mi n i st r a t i o n   Fu     Fu n d i n g   a c q u i si t i o n       Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J E lec  &   C o m p   E n g     I SS N:   2088 - 8 7 0 8         I n teg r a tin g   B E R T fin e - tu n in g   a n d   g e n etic  a lg o r ith fo r     ( A b d   A lla h   A o u r a g h )   1483   CO NF L I C T   O F   I N T E R E S T   ST A T E M E NT   Au th o r s   s tate  n o   co n f lict o f   in t er est.       DATA AV AI L AB I L I T Y   T h d ata  t h at  s u p p o r th e   f in d in g s   o f   th is   s tu d y   a r av aila b le  f r o m   th c o r r esp o n d in g   a u th o r ,   AA,   u p o n   r ea s o n ab le  r eq u est.       RE F E R E NC E S   [ 1 ]   M .   M a j   e t   a l . ,   Th e   c l i n i c a l   c h a r a c t e r i z a t i o n   o f   t h e   a d u l t   p a t i e n t   w i t h   d e p r e s si o n   a i me d   a t   p e r so n a l i z a t i o n   o f   ma n a g e m e n t ,   Wo r l d   Psy c h i a t r y ,   v o l .   1 9 ,   n o .   3 ,   p p .   2 6 9 2 9 3 ,   2 0 2 0 ,   d o i :   1 0 . 1 0 0 2 / w p s. 2 0 7 7 1 .   [ 2 ]   W H O ,   D e p r e ssi v e   d i so r d e r   ( d e p r e ss i o n ) ,   T h e   EC PH   E n c y c l o p e d i a   o f   P syc h o l o g y .   2 0 2 5 ,   A c c e ss e d :   A u g .   2 6 ,   2 0 2 4 .   [ O n l i n e ] .   A v a i l a b l e :   h t t p s: / / w w w . w h o . i n t / n e w s - r o o m / f a c t - sh e e t s/ d e t a i l / d e p r e ssi o n .   [ 3 ]   L.   C u i   e t   a l . ,   M a j o r   d e p r e ss i v e   d i s o r d e r :   h y p o t h e s i s,   m e c h a n i sm ,   p r e v e n t i o n   a n d   t r e a t m e n t ,   S i g n a l   T ra n s d u c t i o n   a n d   T a rg e t e d   T h e r a p y ,   v o l .   9 ,   n o .   1 ,   p p .   1 3 2 ,   2 0 2 4 ,   d o i :   1 0 . 1 0 3 8 / s 4 1 3 9 2 - 0 2 4 - 0 1 7 3 8 - y.   [ 4 ]   P .   C u i j p e r s,   A .   S t r i n g a r i s,   a n d   M .   W o l p e r t ,   Tr e a t m e n t   o u t c o m e f o r   d e p r e ss i o n :   c h a l l e n g e a n d   o p p o r t u n i t i e s,   T h e   L a n c e t   Psy c h i a t r y ,   v o l .   7 ,   n o .   1 1 ,   p p .   9 2 5 9 2 7 ,   2 0 2 0 ,   d o i :   1 0 . 1 0 1 6 / S 2 2 1 5 - 0 3 6 6 ( 2 0 ) 3 0 0 3 6 - 5.   [ 5 ]   K .   A .   M c L a u g h l i n ,   Th e   p u b l i c   h e a l t h   i m p a c t   o f   m a j o r   d e p r e ssi o n :   a   c a l l   f o r   i n t e r d i s c i p l i n a r y   p r e v e n t i o n   e f f o r t s,   Pr e v e n t i o n   S c i e n c e ,   v o l .   1 2 ,   n o .   4 ,   p p .   3 6 1 3 7 1 ,   2 0 1 1 ,   d o i :   1 0 . 1 0 0 7 / s 1 1 1 2 1 - 0 1 1 - 0 2 3 1 - 8.   [ 6 ]   T.   Z h a n g ,   A .   M .   S c h o e n e ,   S .   Ji ,   a n d   S .   A n a n i a d o u ,   N a t u r a l   l a n g u a g e   p r o c e ssi n g   a p p l i e d   t o   me n t a l   i l l n e ss  d e t e c t i o n :   a   n a r r a t i v e   r e v i e w ,   n p j   D i g i t a l   Me d i c i n e ,   v o l .   5 ,   n o .   1 ,   p p .   1 1 3 ,   2 0 2 2 ,   d o i :   1 0 . 1 0 3 8 / s 4 1 7 4 6 - 0 2 2 - 0 0 5 8 9 - 7.   [ 7 ]   B .   G .   T e f e r r a   e t   a l . ,   S c r e e n i n g   f o r   d e p r e ss i o n   u si n g   n a t u r a l   l a n g u a g e   p r o c e ss i n g :   l i t e r a t u r e   r e v i e w ,   I n t e r a c t i v e   J o u rn a l   o f   Me d i c a l   R e se a rc h ,   v o l .   1 3 ,   p .   e 5 5 0 6 7 ,   2 0 2 4 ,   d o i :   1 0 . 2 1 9 6 / 5 5 0 6 7 .   [ 8 ]   D .   D .   D e S o u z a ,   J .   R o b i n ,   M .   G u m u s,  a n d   A .   Y e u n g ,   N a t u r a l   l a n g u a g e   p r o c e ss i n g   a a n   e m e r g i n g   t o o l   t o   d e t e c t   l a t e - l i f e   d e p r e ss i o n ,   Fr o n t i e rs  i n   Ps y c h i a t r y ,   v o l .   1 2 ,   p .   7 1 9 1 2 5 ,   2 0 2 1 ,   d o i :   1 0 . 3 3 8 9 / f p s y t . 2 0 2 1 . 7 1 9 1 2 5 .   [ 9 ]   P .   S h w e t a   a n d   K .   A d h i y a ,   C o m p a r a t i v e   st u d y   o f   f e a t u r e   e n g i n e e r i n g   f o r   a u t o ma t e d   s h o r t   a n sw e r   g r a d i n g ,   i n   P ro c e e d i n g s   -   2 0 2 2   I EEE  Wo r l d   C o n f e re n c e   o n   Ap p l i e d   I n t e l l i g e n c e   a n d   C o m p u t i n g ,   AI C   2 0 2 2 ,   2 0 2 2 ,   p p .   5 9 4 5 9 7 ,   d o i :   1 0 . 1 1 0 9 / A I C 5 5 0 3 6 . 2 0 2 2 . 9 8 4 8 8 5 1 .   [ 1 0 ]   D .   L.   S h a n t h i   a n d   N .   C h e t h a n ,   G e n e t i c   a l g o r i t h b a se d   h y p e r - p a r a me t e r   t u n i n g   t o   i mp r o v e   t h e   p e r f o r ma n c e   o f   mac h i n e   l e a r n i n g   mo d e l s ,   S N   C o m p u t e r   S c i e n c e ,   v o l .   4 ,   n o .   2 ,   p .   1 1 9 ,   2 0 2 3 ,   d o i :   1 0 . 1 0 0 7 / s4 2 9 7 9 - 022 - 0 1 5 3 7 - 8.   [ 1 1 ]   R .   J a i n ,   R .   S .   R a i ,   S .   J a i n ,   R .   A h l u w a l i a ,   a n d   J.   G u p t a ,   R e a l   t i me   se n t i me n t   a n a l y s i s o f   n a t u r a l   l a n g u a g e   u s i n g   m u l t i m e d i a   i n p u t ,   Mu l t i m e d i a   T o o l a n d   Ap p l i c a t i o n s ,   v o l .   8 2 ,   n o .   2 6 ,   p p .   4 1 0 2 1 4 1 0 3 6 ,   2 0 2 3 ,   d o i :   1 0 . 1 0 0 7 / s 1 1 0 4 2 - 0 2 3 - 1 5 2 1 3 - 3.   [ 1 2 ]   I .   A .   N .   A r a c h c h i g e ,   P .   S a n d a n a p i t c h a i ,   a n d   R .   W e e r a s i n g h e ,   I n v e s t i g a t i n g   ma c h i n e   l e a r n i n g   &   n a t u r a l   l a n g u a g e   p r o c e ss i n g   t e c h n i q u e a p p l i e d   f o r   p r e d i c t i n g   d e p r e ssi o n   d i so r d e r   f r o o n l i n e   su p p o r t   f o r u ms :   A   s y st e ma t i c   l i t e r a t u r e   r e v i e w ,   I n f o rm a t i o n   ( S w i t zer l a n d ) ,   v o l .   1 2 ,   n o .   1 1 ,   2 0 2 1 ,   d o i :   1 0 . 3 3 9 0 / i n f o 1 2 1 1 0 4 4 4 .   [ 1 3 ]   A .   Le   G l a z   e t   a l . ,   M a c h i n e   l e a r n i n g   a n d   n a t u r a l   l a n g u a g e   p r o c e ssi n g   i n   men t a l   h e a l t h :   S y st e mat i c   r e v i e w ,   J o u r n a l   o f   Me d i c a l   I n t e r n e t   Re se a r c h ,   v o l .   2 3 ,   n o .   5 ,   2 0 2 1 ,   d o i :   1 0 . 2 1 9 6 / 1 5 7 0 8 .   [ 1 4 ]   P .   Ja i n ,   K .   R .   S r i n i v a s,   a n d   A .   V i c h a r e ,   D e p r e ss i o n   a n d   s u i c i d e   a n a l y si s   u si n g   ma c h i n e   l e a r n i n g   a n d   N LP ,   J o u rn a l   o f   Ph y si c s:   C o n f e re n c e   S e r i e s ,   v o l .   2 1 6 1 ,   n o .   1 ,   p .   1 2 0 3 4 ,   2 0 2 2 ,   d o i :   1 0 . 1 0 8 8 / 1 7 4 2 - 6 5 9 6 / 2 1 6 1 / 1 / 0 1 2 0 3 4 .   [ 1 5 ]   S .   S a i f u l l a h ,   Y .   F a u z i y a h ,   a n d   A .   S .   A r i b o w o ,   C o m p a r i s o n   o f   ma c h i n e   l e a r n i n g   f o r   se n t i me n t   a n a l y si s   i n   d e t e c t i n g   a n x i e t y   b a s e d   o n   so c i a l   me d i a   d a t a ,   J u r n a l   I n f o rm a t i k a ,   v o l .   1 5 ,   n o .   1 ,   p .   4 5 ,   2 0 2 1 ,   d o i :   1 0 . 2 6 5 5 5 / j i f o . v 1 5 i 1 . a 2 0 1 1 1 .   [ 1 6 ]   H .   K o u r   a n d   M .   K .   G u p t a ,   A n   h y b r i d   d e e p   l e a r n i n g   a p p r o a c h   f o r   d e p r e ssi o n   p r e d i c t i o n   f r o m   u ser  t w e e t u s i n g   f e a t u r e - r i c h   C N N   a n d   b i - d i r e c t i o n a l   LS TM ,   Mu l t i m e d i a   T o o l a n d   A p p l i c a t i o n s ,   v o l .   8 1 ,   n o .   1 7 ,   p p .   2 3 6 4 9 2 3 6 8 5 ,   2 0 2 2 ,   d o i :   1 0 . 1 0 0 7 / s1 1 0 4 2 - 022 - 1 2 6 4 8 - y.   [ 1 7 ]   S .   C h e r e d d y ,   K .   G e e t h a ,   a n d   A .   G .   S r e e d e v i ,   Tw e e t i n g   t h e   b l u e s:   l e v e r a g i n g   N LP  a n d   c l a ss i f i c a t i o n   m o d e l f o r   d e p r e ss i o n   d e t e c t i o n ,   i n   Pro c e e d i n g s   -   2 n d   I n t e rn a t i o n a l   C o n f e re n c e   o n   A d v a n c e m e n t   i n   C o m p u t a t i o n   a n d   C o m p u t e T e c h n o l o g i e s ,   I n C A C C T   2 0 2 4 ,   2 0 2 4 ,   p p .   8 7 5 8 8 0 ,   d o i :   1 0 . 1 1 0 9 / I n C A C C T 6 1 5 9 8 . 2 0 2 4 . 1 0 5 5 0 9 6 1 .   [ 1 8 ]   T. -   C h e n ,   H . -   C h u ,   Y . -   T a i ,   a n d   S . -   Y a n g ,   P e r f o r ma n c e o f   d e p r e ss i o n   d e t e c t i o n   t h r o u g h   d e e p   l e a r n i n g - b a s e d   n a t u r a l   l a n g u a g e   p r o c e ss i n g   t o   ma n d a r i n   C h i n e se  m e d i c a l   r e c o r d s:   C o mp a r i s o n   b e t w e e n   c i v i l i a n   a n d   mi l i t a r y   p o p u l a t i o n s . ,   T a i w a n e se  J o u r n a l   o f   Psy c h i a t r y ,   v o l .   3 6 ,   n o .   1 ,   p p .   3 2 3 8 ,   2 0 2 2 .   [ 1 9 ]   M .   S u b r a m a n i a n ,   G .   R a j u ,   A .   S u r e sh k u m a r ,   C .   A n b a r a s u ,   K .   S .   V a d i v e l ,   a n d   P .   S .   N a n d h i n i ,   F r o w o r d t o   e mo t i o n s:   i d e n t i f y i n g   d e p r e ssi o n   t h r o u g h   so c i a l   me d i a   i n si g h t s ,   C o m m u n i c a t i o n s   i n   C o m p u t e a n d   I n f o rm a t i o n   S c i e n c e ,   v o l .   2 0 4 6   C C I S ,   p p .   2 6 8 2 8 2 ,   2 0 2 4 ,   d o i :   1 0 . 1 0 0 7 / 9 7 8 - 3 - 0 3 1 - 5 8 4 9 5 - 4 _ 2 0 .   [ 2 0 ]   I n F a mo u s C o d e r ,   D e p r e ssi o n :   R e d d i t   d a t a se t   ( c l e a n e d )   K a g g l e ,   2 0 2 4 ,   A c c e sse d :   A u g .   2 6 ,   2 0 2 4 .   [ O n l i n e ] .   A v a i l a b l e :   h t t p s : / / w w w . k a g g l e . c o m / d a t a se t s/ i n f a mo u sc o d e r / d e p r e ssi o n - r e d d i t - c l e a n e d .   [ 2 1 ]   M .   S i i n o ,   I .   Ti n n i r e l l o ,   a n d   M .   L a   C a sci a ,   I t e x t   p r e p r o c e ss i n g   st i l l   w o r t h   t h e   t i m e ?   A   c o m p a r a t i v e   s u r v e y   o n   t h e   i n f l u e n c e   o f   p o p u l a r   p r e p r o c e ss i n g   m e t h o d s   o n   Tr a n sf o r mers   a n d   t r a d i t i o n a l   c l a s si f i e r s,   I n f o rm a t i o n   S y st e m s ,   v o l .   1 2 1 ,   2 0 2 4 ,   d o i :   1 0 . 1 0 1 6 / j . i s. 2 0 2 3 . 1 0 2 3 4 2 .   [ 2 2 ]   J.  R a v i   a n d   S .   K u l k a r n i ,   T e x t   e mb e d d i n g   t e c h n i q u e f o r   e f f i c i e n t   c l u st e r i n g   o f   t w i t t e r   d a t a ,   Ev o l u t i o n a r y   I n t e l l i g e n c e ,   v o l .   1 6 ,   n o .   5 ,   p p .   1 6 6 7 1 6 7 7 ,   2 0 2 3 ,   d o i :   1 0 . 1 0 0 7 / s1 2 0 6 5 - 023 - 0 0 8 2 5 - 3.   [ 2 3 ]   L.   J i a x i n ,   T e x t   v e c t o r i z a t i o n   i n   s e n t i m e n t   a n a l y si s :   A   c o mp a r a t i v e   s t u d y   o f   TF - I D F   a n d   W o r d 2 V e c   f r o m   A maz o n   f i n e   f o o d   r e v i e w s,”   I T We b   o f   C o n f e r e n c e s ,   v o l .   7 0 ,   p .   3 0 0 1 ,   2 0 2 5 .   [ 2 4 ]   P .   A smi   a n d   M .   S .   S a n a j ,   T o x i c   s p e e c h   c l a s si f i c a t i o n   v i a   d e e p   l e a r n i n g   u si n g   c o mb i n e d   f e a t u r e s   f r o B E R F a s t T e x t   e mb e d d i n g ,   I n t e rn a t i o n a l   J o u r n a l   o f   En g i n e e ri n g   Re s e a r c h   &   T e c h n o l o g y   ( I J ERT) ,   I C C I D T   -   2 0 2 1   C o n f e r e n c e   Pro c e e d i n g s v o l .   9 ,   n o .   7 ,   p p .   6 8 7 1 ,   2 0 2 1 ,   d o i :   1 0 . 1 7 5 7 7 / I JER TC O N V 9 I S 0 7 0 1 6 .   [ 2 5 ]   A .   A l i   R a z a   e t   a l . ,   R e v i e w   t o   u n f o l d   t h e   r o l e   o f   mac h i n e   l e a r n i n g   a l g o r i t h ms  i n   n a t u r a l   l a n g u a g e   p r o c e ssi n g ,   J o u r n a l   o f   Po l i c y   Re se a rc h ,   v o l .   9 ,   n o .   4 ,   p p .   1 5 2 1 6 2 ,   D e c .   2 0 2 3 ,   d o i :   1 0 . 6 1 5 0 6 / 0 2 . 0 0 1 3 6 .   [ 2 6 ]   S .   U d d i n ,   A .   K h a n ,   M .   E .   H o ss a i n ,   a n d   M .   A .   M o n i ,   C o m p a r i n g   d i f f e r e n t   s u p e r v i se d   ma c h i n e   l e a r n i n g   a l g o r i t h ms  f o r   d i s e a se   p r e d i c t i o n ,   B MC   Me d i c a l   I n f o rm a t i c s a n d   D e c i si o n   Ma k i n g ,   v o l .   1 9 ,   n o .   1 ,   2 0 1 9 ,   d o i :   1 0 . 1 1 8 6 / s 1 2 9 1 1 - 0 1 9 - 1 0 0 4 - 8.   [ 2 7 ]   T.   S o o d ,   P .   G a r g ,   H .   P a n n u ,   a n d   S .   D u l l a t ,   M a c h i n e   l e a r n i n g   a l g o r i t h ms   a n d   N LP  f o r   a n x i e t y   a n d   d e p r e ssi o n   d e t e c t i o n   u s i n g   Tw i t t e r   d a t a ,   i n   2 0 2 5   I n t e rn a t i o n a l   C o n f e r e n c e   o n   C o g n i t i v e   C o m p u t i n g   i n   E n g i n e e ri n g ,   C o m m u n i c a t i o n s,  S c i e n c e a n d   Evaluation Warning : The document was created with Spire.PDF for Python.