I nte rna t io na l J o urna l o f   E lect rica l a nd   Co m p ute r  E ng in ee ring   ( I J E CE )   Vo l.   10 ,   No .   4 ,  A u g u s t   2020 ,   p p .   3 7 5 1 ~ 3 7 5 6   I SS N:  2088 - 8708 ,  DOI : 1 0 . 1 1 5 9 1 / i j ec e . v 10 i 4 . p p 3 7 5 1 - 3 7 5 6           3751       J o ur na l ho m ep a g e :  h ttp : //ij ec e. ia esco r e. co m/in d ex . p h p /I JE C E   Predic ting dep res sio n using  deep  l e a rning  and ense mble  a lg o rith m s o n  ra w  t w itt er data       Nis ha   P .   Sh et t y ,   B a la cha nd ra   M un iy a l,  Arshi a   Ana nd ,   S us ha nt  K u m a r,   Su s ha nt  P ra bh u   De p a rtme n t  o f   In f o rm a ti o n   a n d   C o m m u n ica ti o n   T e c h n o l o g y ,   M a n ip a l  In stit u te  o f   T e c h n o l o g y ,     M a n ip a l  A c a d e m y   o f   Hi g h e r  Ed u c a ti o n ,   I n d ia       Art icle  I nfo     AB ST RAC T   A r ticle  his to r y:   R ec eiv ed   Sep   1 1 ,   2 0 1 9   R ev i s ed   J an   1 3 ,   2 0 2 0   A cc ep ted   Feb   2 ,   2 0 2 0     S o c ial  n e tw o rk   a n d   m i c ro b lo g g in g   sites   su c h   a s  Tw it ter  a re   w id e sp re a d   a m o n g st  a ll   g e n e ra ti o n s  n o w a d a y s  w h e re   p e o p le  c o n n e c t  a n d   sh a re   th e ir  f e e li n g s,  e m o ti o n s,   p u rsu it s  e tc.  De p re ss io n ,   o n e   o f   th e   m o st  c o m m o n   m e n tal  d iso rd e r,   is  a n   a c u te  sta te  o f   s a d n e ss   w h e r e   p e rso n   lo se s  in tere st  in   a ll   a c ti v it ies .   I f   n o t  trea ted   i m m e d iate l y   th is ca n   r e su lt   in   d ire co n se q u e n c e s su c h   a s  d e a th .   In   th is  e ra   o f   v irt u a l  w o rld ,   p e o p le  a re   m o re   c o m fo rtab le  in   e x p re ss in g   th e ir  e m o ti o n s  in   su c h   sites   a s  th e y   h a v e   b e c o m e   a   p a rt  a n d   p a rc e l   o f   e v e r y d a y   li v e s.  T h e   re se a rc h   p u t   f o rth   t h u s,  e m p lo y s  m a c h in e   lea rn in g   c las si f iers   o n   th e   tw it ter  d a ta  s e t  to   d e tec t  if   a   p e rso n ’s  t w e e t  in d ica tes   a n y   sig n   o f   d e p re ss io n   o r  n o t .   K ey w o r d s :   Dep r ess io n   L ST M   Ma ch i n e  lear n i n g   Sen ti m e n t a n a l y s is   So cial  m ed ia   Co p y rig h t  ©   2 0 2 0   In stit u te o f  A d v a n c e d   E n g i n e e rin g   a n d   S c ien c e .    Al l  rig h ts re se rv e d .   C o r r e s p o nd ing   A uth o r :   B alac h an d r a  Mu n i y al,   Dep ar t m en t o f   I n f o r m atio n   an d   C o m m u n icatio n   T ec h n o lo g y ,     Ma n ip al  I n s tit u te  o f   T ec h n o lo g y ,     Ma n ip al   A ca d e m y   o f   Hi g h er   E d u ca tio n ,   Ma n ip al - 5 7 6 1 0 4   I n d ia.   E m ail: b ala. ch a n d r a@ m a n ip al . ed u       1.   I NT RO D UCT I O N   So cial  n et w o r k i n g   s ite s   h a v e  b ec o m e  a  h ab itu al  co m p o n en t,  w it h   s ites   li k e  T w it ter   an d   Face b o o k   b ein g   t h e  7 th   a n d   2 nd   f a v o r ite  s ites   h av i n g   m illi o n s   o f   s u b s cr i b er s   [ 1 ] .   Su ch   s ites   h a v e  b ec o m e  a n   o p en   d ais  f o r   p eo p le  t o   r ea ch   o u t  an d   ex p r ess   th eir   f ee lin g s ,   li k es,   r o u ti n es  etc.   Un li k e  m o o d   f lu c tu a tio n s ,   d ep r ess io n   is   a  co m m o n   m e n tal  d i s o r d er   w h ic h   b r u tall y   a f f ec t s   a  p er s o n ’ s   d ail y   r o u ti n e  li f e.   A n y   p er s o n   w h o   h a s   u n d er g o n e  s o m e  ad v er s e  e x p er ien ce s   li k e  s u d d en   d ea th ,   u n e m p lo y m e n t  etc.   is   l iab le  to   it.  A cc o r d in g   to   W HO,   m o r e  t h an   3 0 0   m illi o n   p eo p le  o f   all  a g e  g r o u p s   s u f f er   f r o m   it,  w it h   o n l y   f e w er   t h an   1 0 %  r ec ei v i n g   s u itab le   tr ea t m en t,  o w i n g   to   r ea s o n s   s u c h   as  lack   o f   s u itab l e  h ea lth   ca r e,   s o cial  h u m iliati o n   an d   ti m el y   an d   r ig h t  d ia g n o s is   [ 2 ] .   Fra n ce s   A   et   al .   [ 3 ] ,   s tate s   t h at  th e   d ep r ess io n   d is p la y s   t h e   f o llo w i n g   s y m p to m s   i n   t h e  g iv en   o r d er ;  s ad   m o o d ,   elu d i n g   all  ac ti v iti es,  w ei g h t   an d   s leep   f lu ct u ati o n s ,   b o d y   ag itatio n ,   e n er g y   l o s s   an d   tire d n es s ,   f ee li n g   o f   tr i v ialit y ,   lo s s   o f   d e cisi o n - m ak i n g   ca p ac it y   an d   f i n all y   s u icid al  ten d en cie s .   E m o tio n   an d   s en ti m e n t  an al y s is   e x er cise s   m ac h i n e  l ea r n in g   al g o r ith m s   to   e x a m i n e  a  tex t  w it h   r esp ec t  to   th e   e m o tio n   co n v e y ed .   Sen te n ce   lev e l a n al y s is   is   ap p l ied   in   th i s   s t u d y   to   i n s p ec t i f   a  t w ee t i s   e m o t io n all y   v u l n er ab le  o r   n o t.   R ec e n tl y ,   th e  d ea th   o f   a  1 6 - y ea r - o ld   M ala y s ia n   teen   a f ter   ca llin g   f o r   a  p o ll   in   h er   I n s ta g r a m   [ 4 ]   ( w h er e  m a n y   p eo p le  v o ted   f o r   “ Dea t h ”)   h as  g ath er ed   h u g e  m ed ia.   Su c h   in c id en ts   s u p p o r t  th e  f ac t  th at  i f   w it h   p r o p er   m o n ito r in g   o f   s u c h   s ite s   [ 5 ]   is   d o n e  ti m el y   h el p   an d   ca n   b e  p r o v id ed ,   h en ce   av o id in g   s u c h   ca tas tr o p h es.         Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 8 - 8708   I n t J   E lec  &   C o m p   E n g ,   Vo l.  10 ,   No .   4 ,  A u g u s t   2020   :   3 7 5 1   -   375 6   3752   2.   L I T E R AT U RE   SU RVE Y   Haq u e  et   al.   [ 7 ]   s cr u ti n ized   3 D  f ac ial  f ea t u r es   an d   lan g u a g e  s p o k e n   to   g a g e  t h e  i n ten s it y   o f   d ep r ess io n .   T h e y   co m p ar ed   t h eir   s e n te n ce   le v el  e m b ed d ed   co n v o l u tio n al  n eu r al   n et w o r k   ( C NN )   m o d el   [ 8 ]   w it h   t h e  ex is tin g   w o r k s ,   b u t  t h e  d ata  w a s   co llected   b y   h u m a n   co m p u ter   in ter v ie w s   w h ic h   l ac k ed   th e  p r ec is io n   of   a  f o r m al  d iag n o s is .   F u r t h e r m o r e,   th e  au th o r s   p lan   to   in clu d e  m o r e  p ar am eter s   s u c h   as  d ep r ess io n   tallies   f r o m   i n ter v ie w s   ta k en   f o r   d if f er en t p er io d s   o f   ti m e.   Sh ar i f a  A l g h o w in e m   e t  al .   [ 9 ]   ex tr ac ted   an d   i n s p ec ted   t h e  e y e  m o v e m e n t  f ea t u r es  f o r   s ig n s   o f   d ep r ess io n .   T h eir   m et h o d o lo g y   e m p lo y ed   s u p p o r t  v ec to r   m ac h in e s   ( SVM)   an d   Gau s s ian   Mix t u r e  Mo d els  f o r   class i f icatio n .   Ho w e v er ,   o w i n g   to   a   s m all  a m o u n t   o f   d ata   s e t  th e y   d id   n o t  g et  a  f air l y   h i g h   ac cu r ac y .   I n   f u t u r e   th e  au t h o r s   p lan   to   i n teg r ate  f a ce ,   b o d y   an d   v o ice  f ea tu r es to   g et  a  m o r e  ap t d etec tio n .   Qu a n   H u   et  al.   [ 1 0 ]   ass e m b led   class i f icatio n   a n d   r eg r es s io n   m o d els   to   i n s p ec t  b eh a v io r al  an d   d ialec tal  f ea t u r es  f r o m   s o cial  m ed ia  f o r   in d icatio n s   o f   d ep r ess io n .   T h eir   r esu lt s   ca n   i n cr ea s e  s ig n i f ica n tl y   b y   tak i n g   v ar ied   p ar ticip an ts   an d   in cr ea s i n g   th e  o b s er v a tio n   p er io d   f o r   im p r o v ed   an al y s is .   Ak k ap o n   W o n g k o b lap   et  al.   [ 1 1 ]   u tili ze d   d ee p   lea r n in g   m o d el  ( 5 - f o ld   cr o s s   v alid atio n   [ 1 2 ] )   to   in v esti g a te  th e  p o s ts   i n   s o cial  m ed ia.   T h e  o b tain ed   ac cu r ac y   o f   7 2   p er ce n t  ca n   b e  in cr ea s ed   b y   in c lu d i n g   f u r th er   f ea tu r es  li k e   in te r ac tio n s   w i th   f r ien d s ,   co m m en t s / r ep lies   etc.   Ma n d ar   Desh p a n d e  an d   Vi g n e s h   R ao   [ 1 3 ]   ap p lied   n atu r al   lan g u a g e  p r o ce s s in g   f o r   an al y zin g   t h e  s e n ti m en ts   o f   th e  t w e ets.  Du e   to   in ac cu r ac y   o f   p r o p er   lan g u ag e  s t y le  i n   s o cial  n et w o r k   t h e  ac cu r ac y   o f   th e  p r o p o s ed   m o d el  r ed u ce d .   Gu n tu k u   et   al .   [ 1 4 ]   ap p r aised   th e  s t u d ies  t h at  p r ed icted   th e  m e n tal  h e alt h   o f   p eo p le  b ased   o n   th e  s u r v e y   r esp o n s e s ,   p o s ts   an d   g r o u p s   i n ter ac ted   in   s o c ial  m ed ia.   T s u g a w a  et  al.   [ 1 5 ]   co n s id er ed   u s er   ac tiv itie s   in   s o cial  m ed ia  s u c h   as  f r eq u en cie s   o f   w o r d s   r elate d   to   m ela n c h o l y   i n   a  t w ee t ,   to p ics  t w ee ted   o n ,   p o s tin g   r eg u lar it y   e tc. to   ch ec k   f o r   th e  m a n i f es tatio n   o f   d e p r ess io n .   No n et h eles s ,   b y   e m p lo y i n g   tech n iq u e s   lik e  p r in c ip le  co m p o n e n t  a n al y s i s   t h e  f ea tu r e  s et  u s ed   co u ld   b e  i m p r o v ed .   T h e   m et h o d s   s u ch   as  d ee p   lear n in g   an d   en s e m b le  m et h o d s   ar e  ex p ec ted   to   o f f er   b etter   r esu lts   t h an   S VM .   Ma r y a m   Mo h a m m ed   A ld ar w i s h   an d   Haf iz  Far o o q   Ah m ed   [ 1 6 ]   u s ed   SVM  an d   Naï v e  B a y es  Mo d els  o n   th e  p r ep r o ce s s ed   p o s ts   o b tain ed   f r o m   s o cial  n et w o r k   p lat f o r m s .   T h e  ac cu r ac y   o b tain ed   ca n   b e  in cr ea s ed   b y   tr ai n i n g   a n d   co n s tr u c tin g   b etter   m o d els.       3.   M E T H O DO L O G Y   Fig u r e  1   h i g h lig h t s   t h e  m et h o d o lo g y   f o llo w ed   in   t h e  p ap er .   T h e  ai m   o f   th e   p r o p o s ed   w o r k   is   to   p r ed ict  d e p r ess io n   in   i n d iv id u als  u s in g   th e ir   b eh av io r   o n li n e   ( o n   t w itter   s p ec i f icall y )   [ 1 7 - 1 9 ] .     T h is   is   d o n e  in   t w o   m a in   s ta g e s .   First  b ein g   th e  s ta g e  w h er e  s e n ti m en t  an al y s i s   [ 2 0 ]   is   ap p lied   o n   a  p a r ticu lar   in d i v id u al 's   t w i tter   p o s ts   to   p r ed ict  b in ar y   class es  ( i.e .   d ep r ess ed /n o t  d e p r ess ed ) .   T h e  t w itter   p o s ts   wer e  o b tain ed   u s i n g   th e  t w i tter   A P I   f r o m   a  d e v elo p er   t w it ter   ac co u n t.  A   d ee p   le ar n in g   m o d u le   k n o w n   as   lo n g   s h o r t - ter m   m e m o r y   ( L ST M)   [ 2 1 ,   2 2 ]   is   em p lo y ed .   T h e  p r o p o s ed   L ST M  m o d el  u s ed   a  Kag g le  d ataset  o n   t w it t er   t w ee ts   r elate d   to   d ep r ess io n   to   lear n   an d   v alid at e.             Fig u r e  1 .   Ov er all  m e th o d o lo g y       P r ep r o ce s s in g   as  d ep icted   i n   Fig u r e  2   i n clu d e  d r o p p in g   e m p t y   t w ee ts ,   r e m o v in g   p u n ctu atio n s ,   cr ea tin g   a  d ictio n ar y   to   m ap   w o r d s   to   in te g er   v a lu e s   an d   f in d in g   m ax i m u m   le n g t h   o f   th e  t w ee t s   [ 2 3 ] .   Fin al   g en er ated   f ea t u r es  tr i m m ed   t o   th e  s eq u e n ce   le n g t h   ar e   f e d   in to   t h e  m o d el.   T h e  s eq u e n tial  L ST M   m o d el   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J   E lec  &   C o m p   E n g     I SS N:  2088 - 8708       P r ed ictin g   d ep r ess io n   u s in g   d ee p   lea r n in g   a n d   e n s emb le  a lg o r ith ms o n   r a w   tw itte r   d a ta   ( N is h a   P .   S h etty )   3753   n et w o r k   ar ch itect u r e  en co m p ass es  a n   e m b ed d in g   la y er ,   wh ich   h a s   in p u t  d i m e n s io n   s e t   to   to tal  n u m b er   o f   t w ee t s ,   o u tp u t  d i m en s io n   s et  to   2 0 0   an d   in p u t  len g t h   s et  to   s eq u en ce   len g t h   as  s tated   ea r lier .   T h e  n ex t  p ar t  in c l u d es  an   L ST M   la y er   w it h   5 0 0   u n its ,   d r o p o u t  0 . 2   an d   r ec u r r en t  d r o p o u t  also   0 . 2 .   L a s t  p ar t  o f   t h e  m o d el  n et w o r k   i n cl u d es  a   d en s e   la y er   w it h   o n e   u n it   an d   a  s i g m o id   ac ti v atio n   to   co n cise   t h e  g en er ated   o u tp u t  b et w ee n   ze r o   an d   o n e.   T h is   c o m p leted   t h e  p r o p o s ed   m o d el ' s   ar ch itect u r e  a n d   th e  m o d el  is   co m p iled   u s i n g   A d a m   o p ti m izer   an d   lo s s   i s   d ea lt  b y   u s i n g   b i n ar y   cr o s s e n tr o p y   w it h   ac cu r ac y   m etr ic  s elec tio n   to   o b s er v e   an d   ev al u ate.     P o s t  co m p ilatio n ,   t h e  m o d el   is   f itted   o n   th e  ea r lier   g en er ated   f ea tu r es  an d   v alid ated   o n   lab els  s p ec if ied   i n   t h e  d atase t.  A   v a lid atio n   s p lit   o f   0 . 3   ( 7 0 %  tr ai n in g   d ata,   3 0 %  te s t  d ata)   i s   i n tr o d u ce d   an d   t h is   m o d el  i s   tr ain ed   f o r   5   ep o ch s .   Fin all y   t h i s   m o d el  is   s to r ed   in   a  J SON  f ile  f o r   f u t u r e  u s e.   E v er y   n e w   t w ee t   o b tain ed   f r o m   th e  t w itter   A P I   g o es  th r o u g h   th e  s a m e  p r ep r o ce s s i n g   p r o ce d u r e  m e n tio n ed   ab o v e  b ef o r e  b ein g   f o r w ar d ed   to   th e  L ST M   m o d el.   T h e  r esu lt  o f   th e  m o d el  is   o b tain ed   f r o m   t h e  m o d el.   p r ed i ct  ( )   f u n ctio n   an d   i s   r o u n d ed   to   an   in te g er   v al u e  ( 0   o r   1   in   th is   ca s e) .     T h e  o b tain ed   ac cu r a c y   is   co m p ar ed   to   s eq u e n tia l  C o n v o l u tio n al  Neu r al  Ne t w o r k   ( C N N )   [ 2 4 ,   2 5 ] .     T h e  p r e p r o ce s s in g   s tep s   ar e  ex ac tl y   t h e  s a m e.   T h e  n et w o r k   ar ch itectu r e  i n clu d es  a n   e m b ed d in g   la y er   s i m i lar   to   th e  L ST M  e m b ed d in g .   T h e  o n l y   d if f er en ce   i s   a  w ei g h t s   ar g u m e n t  is   g iv e n   an   e m b e d d in g   m a tr ix ,   w it h   r an d o m   v alu e s   i n   t h e  r a n g e   o f   2 0 0   to   to tal  n u m b er   o f   t w ee ts   m u ltip lied   b y   0 . 0 1 .   T h is   i s   f o ll o w ed   b y   a   d r o p o u t   o f   0 . 4   w h ic h   f ee d s   t h e  d ata  to   a  to tal  o f   f o u r   1 D  co n v o l u tio n   la y er s .   E ac h   o f   t h e  co n v o lu tio n   la y er s   h as  k er n e l   s ize  s et   to   3 ,   p ad d in g   s et  to   v a lid ,   ac tiv atio n   i s   r elu   a n d   s tr id es  is   s et  to   1 .   On l y   t h in g   t h at  d if f er ed   is   t h e  f ilter   ( d im e n s io n alit y   o f   t h e  o u tp u t  s p ac e) .   I t  is   d ec r ea s ed   b y   5 0 %  at  ea ch   la y er .   First  la y er   h ad   f ilter   s et  to   6 0 0 ,   s ec o n d   h ad   3 0 0 ,   th ir d   1 5 0   an d   f o u r t h   h ad   7 5 .     Af ter   t h i s ,   f latte n   i s   i n cl u d ed   in   th e   m o d el   ar ch itect u r e  to   f lat ten   th e   i n p u t.  T h i s   i s   f o llo w ed   b y   ad d in g   a  d en s e  la y er   w it h   6 0 0   u n it s ,   d r o p o u t  o f   0 . 5 ,   ac tiv a tio n   s et   to   r elu ,   a  d e n s e  la y er   w i th   o n e  u n i t,  an d   f i n all y ,   an   ac tiv a tio n   s et  to   s i g m o id .   C NN  m o d el  is   co m p il ed   u s i n g   ex ac t l y   s a m e  ar g u m en ts   f o r   lo s s ,   m e tr ic  an d   o p ti m izer .   T h e  s ec o n d   s tag e  in cl u d es  tr y in g   to   i m p r o v e  th e  o u tco m e  o f   th e  p r o p o s ed   w o r k   u s i n g   b asi c   m ac h in e  lear n in g   clas s i f ier s   [ 2 6 ,   2 7 ]   an d   a   f e w   o p ti m ized   en s e m b les.  C la s s i f ie r s   u s ed   ar e  lo g is tic  r eg r es s io n ,   lin ea r   s u p p o r t  v ec to r   class i f ie r   ( SVC ) ,   m u lti n o m ia l  n ai v e  b a y es,  b er n o u l li  n a iv e  b a y es  al o n g   w it h   e n s e m b les   lik e  r an d o m   f o r est cla s s i f ier   an d   g r ad ien t b o o s tin g   cla s s i f ier .     P r ep r o ce s s in g   as  d ep icted   in   Fig u r e  3   in cl u d es  s p l i ttin g   o f   d ata  in to   tr ai n   an d   tes t  s et.   T h is   is   f o llo w ed   b y   v ec to r izin g   t h e  t w ee t s .   T h e  m e n tio n ed   s ta g e  p r o v id es  th e   clas s if ier s   w i th   th r ee   d if f er en t  k i n d   o f   v ec to r izer s   n a m el y   co u n t  v ec to r izer ,   T F - I DF  an d   n - g r a m s   [ 2 8 ] .   Fo r   C o u n t  Vec to r izer ,   th e  p r ep r o ce s s in g   in cl u d es  f it tin g   t h e  co u n t  v ec t o r izer   o n   th e  tr ain in g   an d   d ata  th en   tr an s f o r m i n g   t h e  d o cu m en ts   i n   th e  tr ai n in g   d ata  to   d o cu m e n t - ter m   m atr i x .             Fig u r e  2 .   L ST M  p r ep r o ce s s in g     Fig u r e  3 .   Mo d el  v ec to r   p r e p r o ce s s i n g   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 8 - 8708   I n t J   E lec  &   C o m p   E n g ,   Vo l.  10 ,   No .   4 ,  A u g u s t   2020   :   3 7 5 1   -   375 6   3754   T h e  o b tain ed   tr ain in g   d ata  ( f ea tu r es)  is   f ed   to   th e  cu r r en t  m o d el  s elec ted   f r o m   t h e  lis t.  A   f ea t u r e   n a m e s   l is t   is   in itialized   a n d   p o p u lated   u s in g   C o u n t   Vec to r izer ' s   g et_ f ea t u r e_ n a m es  ( )   f u n ctio n .   R e s u l ts   ar e   p r ed icted   u s in g   p r ed ict  f u n ct i o n .   T F - I DF  Vec to r i ze r   is   f it  o n   th e  tr ain i n g   d ata  u s i n g   m i n _ d f =5 ,   s i m ilar   to   C o u n t  Vec to r izer ,   d o cu m en t s   ar e  tr an s f o r m ed   an d   th e  tr ain i n g   d ata  is   f ed   to   th e  cu r r en t  m o d el  s elec ted   f r o m   th e  li s t.  A lo n g   w i th   t h i s ,   f ea t u r e  n a m es  a n d   s o r ted   T F - I DF   in d ex   i s   also   ca lc u lated   to   f i n d   th e  s m allest  a n d   h ig h e s t  T F - I DF,   ( least  a n d   m o s t  i m p o r tan t  co ef f icie n t s ) .   Fo r   n - g r a m s ,   s i m ilar   p r o ce d u r e  w a s   f o llo w ed   an d   i s   f it  o n   th e  tr ai n i n g   d ata  u s in g   m i n _ d f =5   an d   n - g r a m _ r a n g e   ( 1 , 2 ) .   Sim ilar   to   o th er   v ec to r izer s ,   s m alle s t  a n d   h ig h e s t c o ef f icie n ts   ar e  n o ted   an d   r esu lt  s en t i m e n t o f   t h e  t wee t is p r ed icted .   E ac h   an d   ev er y   clas s if ier   an d   en s e m b le  m e n tio n ed   ab o v e  is   f it  o n   ea c h   o f   t h e  th r ee   v ec to r izer s   an d   r esu lt s   ar e  n o ted .   T h is   s ta g e   is   lar g el y   f o cu s ed   o n   cr o s s - ch ec k i n g   p r ed ictio n s   m ad e  b y   t h e  f ir s t  st a g e.   E v er y   n e w   t w ee t  o b tain ed   th r o u g h   th e  t w itter   A P I   is   s en t  t h r o u g h   f ir s t  a n d   s ec o n d   s tag e.   I n   th e  s ec o n d   s ta g e   ev er y   p o s s ib ilit y   o f   m o d el  a n d   v ec to r izer   is   e x ec u ted   an d   r esu lts   ar e  n o ted .   T h e  f i n al  r esu lt   in cl u d ed   th e  w ei g h ted   m ea n   o f   all  s ec o n d   s tag e  p o s s ib ili ties .   T h is   v al u e  is   cr o s s - c h ec k ed   w ith   t h e  f ir s t  s ta g e   p r ed ictio n s .   T h e  w eig h t s   ar e  ass i g n ed   ac co r d in g   to   ac c u r ac y   o f   th e  m o d el  o n   t h e  d ata.         4.   RE SU L T   T h e  f o llo w i n g   tab les  T ab les  1 - 7   s h o w   t h e  r es u lts   o b tai n ed   in   th is   r esear ch .   T h e  m en tio n ed   class i f ier s 's r esu lts   ar e  co m p ar ed   h er e.       T ab le  1 .   L ST M  v s   C NN   C l a ssi f i e r   V a l i d a t i o n   A c c u r a c y   T e st   A c c u r a c y   L S T M   0 . 7   0 . 9 3   C N N   0 . 6 8   0 . 9 5       T ab le  2 .   L o g is tic  r eg r es s io n   C l a ssi f i e r   A c c u r a c y   C o u n t   v e c t o r i z e r   7 5 . 8 1 %   TF - I D F   7 6 . 2 2 %   n - g r a ms   7 6 . 1 5 %     T ab le  3 .   R an d o m   f o r est   C l a ssi f i e r   A c c u r a c y   C o u n t   v e c t o r i z e r   7 0   %   TF - I D F   7 2 %   n - g r a ms   7 2 %         T ab le  4 .   B er n o u lli n aï v e  b a y e s   ( NB )   C l a ssi f i e r   A c c u r a c y   TF - I D F   7 3 . 9 5 %   n - g r a ms   7 5 . 5 3 %         T ab le  5 .   Mu ltin o m ia l n aï v e  b ay es ( NB )   C l a ssi f i e r   A c c u r a c y   TF - I D F   7 4 . 2 2 3 %   n - g r a ms   7 6 . 6 9 %         T ab le  6 .   L in ea r   SVC   ( r an d o m _ s tate= 1 0 0 ,   to l=1 e - 10)   C l a ssi f i e r   A c c u r a c y   C o u n t   v e c t o r i z e r   7 3 . 7 1 %   TF - I D F   7 5 . 4 8 %   n - g r a ms   7 3 . 5 3 %         T ab le  6 .   Gr a d ien t   B o o s tin g   C l ass i f ier   ( s u b s a m p le= 0 . 8 ,   lear n in g _ r ate= 0 . 0 5 ,   n _ esti m a to r s =2 5 0 ,     r an d o m _ s tate =5 ,   m a x _ d ep th = 2 0 ,   m ax _ lea f _ n o d es=1 5 0 )   C l a ssi f i e r   A c c u r a c y   n - g r a ms   7 4 . 4 2 %         5.   CO NCLU SI O N  AND  F U T U RE   WO RK   Of te n   tr ad itio n al   s u r v e y - b a s ed   q u esti o n s   f ail  to   u n co v e r   th e  e x ten t  o f   u s er s   ‘ m en tal  h ea lt h   d ep r ec iatio n .   No w ad a y s ,   s o ci al  m ed ia  i s   a  co m m o n   p lat f o r m ,   w h ic h   p eo p le  u s e  to   r e ac h   o u t.   T h er ef o r e,     th e  ab o v e  p r o p o s ed   m et h o d o lo g y   ca s h e s   in   th i s   p o p u lar it y   o f   SN S  a n d   e v alu ate s   t h e  d ep r ess io n   le v els  o f     th e  u s er s   b y   e m p lo y i n g   n at u r a l  lan g u a g e  a n d   m ac h i n e  lear n i n g   tech n iq u e s .   I n   f u t u r e,   b y   co llectin g   m o r e  d ata,   m o r e  f r eq u en tl y   w i th   t h e  ai m   o f   i m p r o v in g   t h e  ac cu r ac y   o f   th e  w o r k   to   g i v e  a  b etter   d iag n o s is .   S u ch   to o l s   w h ic h   ca n   p r ed ict  v ar iatio n s   i n   p er s o n ’ s   m o o d   ca n   b e  an   i m p o r tan t  m et h o d   f o r   b o th   clin ic al  o b s er v atio n s   a n d   s elf - d ia g n o s i n g .   T h e  m et h o d   ca n   b e  ti m e  co n s u m i n g   a n d   h en ce   s tep s   m u s t  b e  ta k e n   i n   t h is   r e g ar d   to     i m p r o v e  u p o n .   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J   E lec  &   C o m p   E n g     I SS N:  2088 - 8708       P r ed ictin g   d ep r ess io n   u s in g   d ee p   lea r n in g   a n d   e n s emb le  a lg o r ith ms o n   r a w   tw itte r   d a ta   ( N is h a   P .   S h etty )   3755   RE F E R E NC E S     [1 ]   S tatista,  “ M o st  p o p u l a r  so c i a l  n e tw o rk s  w o rld w id e   a s   o f   Oc to b e r, ”   2 0 1 9 .   [ O n li n e ] .   A v a il a b le:  h tt p s:/ /www . sta ti sta . c o m /statisti c s/2 7 2 0 1 4 /g lo b a l - so c ial - n e tw o rk s - ra n k e d - by - n u m b e r - of - u se rs/   [2 ]   W HO ,   “ W HO   D e p re ss io n , ”   2 0 1 9 .   [ O n li n e ].   A v a il a b le:  h tt p s:// w ww . w h o . in t/ n e ws - ro o m / f a c t - sh e e ts/d e tail/ d e p re ss io n   [3 ]   F ra n c e s,  A . ,   P in c u s,  H.,   &   F irst,   M . ,   “ M a jo r  De p re ss iv e   Ep iso d e .   In   Dia g n o stic  a n d   sta ti stica l  m a n u a l  o f   m e n tal   d iso rd e rs:  D S M - IV , ”   W a sh i n g t o n ,   DC: A me ric a n   Psy c h i a tric A ss o c ia ti o n ,   1 9 9 4 .   [4 ]   M a il   o n li n e ,   “ M a lay sia n   te e n a g e r ,   1 6 ,   ' d ied   j u m p in g   f ro m   th e   th ird   f lo o r  o f   a   sh o p   a f ter  c o n d u c ti n g   a n   In sta g ra m   p o ll   o n   w h e th e r  sh e   sh o u ld   k il l  h e rse lf'   -   a n d   6 9   p e r  c e n t  c h o se   ' d e a th ' , ”   2 0 1 9 .   [ On li n e ] .   A v a il a b le:  h tt p s:/ /www . d a il y m a il . c o . u k /n e ws /article 7 0 3 1 0 6 7 / M a lay sia n - tee n a g e r - 16 - k il led - c o n d u c ti n g - In sta g ra m - p o ll . h tm l.     [5 ]   S e re n a   G o rd o n ,   “ F a c e b o o k   P o sts  M a y   Hin t  a t  De p re ss io n , ”   2 0 1 8 .   [ On li n e ]   A v a il a b le:  h tt p s:/ /www . w e b m d . c o m /d e p re ss io n / n e w s/2 0 1 8 1 0 1 5 /f a c e b o o k - p o sts - m a y - h in t - at - d e p re ss io n # 1   [6 ]   Ja c k   Ca r fa g n o ,   “ S o c ial  M e d ia  P o sts  Ca n   He lp   I d e n ti f y   De p re ss io n , ”   2 0 1 9 .   [ On li n e ] .   A v a il a b le:  h tt p s:/ /www . d o c w iren e w s.c o m /d o c w ire - p ick /so c ial - m e d ia - p o sts - can - h e lp - i d e n ti f y - d e p re ss io n /   [7 ]   Ha q u e ,   A lb e rt,   M ic h e ll e   G u o ,   A d a m   S .   M in e r  a n d   L i  F e i - F e i,   “ M e a su rin g   De p re ss io n   S y m p to m   S e v e rit y   f ro m   S p o k e n   L a n g u a g e   a n d   3 D  F a c ial  Ex p re ss io n s,”   2 0 1 8 .   [ O n li n e ]   A v a il a b le:    a rXiv.o rg   a rXiv: 1 8 1 1 . 0 8 5 9 2   [8 ]   S .   A lb a w i,   T .   A .   M o h a m m e d   a n d   S .   A l - Zaw i,   “ Un d e rsta n d in g   o f   a   c o n v o lu t io n a l  n e u ra l  n e tw o rk , ”   2 0 1 7   In ter n a t io n a l  C o n fer e n c e   o n   E n g i n e e rin g   a n d   T e c h n o l o g y   ( ICET ) ,   p p .   1 - 6 ,   2 0 1 7 .     [9 ]   S .   A lg h o w in e m ,   R.   G o e c k e ,   M .   W a g n e r,   G .   P a rk e r  a n d   M .   Bre a k sp e a r,   “ E y e   m o v e m e n t  a n a l y sis   f o r  d e p re ss io n   d e tec ti o n , ”   2 0 1 3   IEE E  I n ter n a ti o n a l  C o n fer e n c e   o n   Im a g e   Pro c e ss in g ,   M e lb o u rn e ,   p p .   4 2 2 0 - 4 2 2 4 ,   2 0 1 3 .   [1 0 ]   Q.  Hu ,   A .   L i,   F .   He n g ,   J.  L i  a n d   T .   Zh u ,   “ P re d icti n g   De p re ss io n   o f   S o c ial  M e d ia  Us e r  o n   Diff e re n t  Ob se rv a ti o n   W in d o w s,”   2 0 1 5   IEE E /W IC/A CM   In ter n a ti o n a l  C o n fer e n c e   o n   W e b   In telli g e n c e   a n d   In telli g e n t  Ag e n t  T e c h n o l o g y   ( W I - IAT ),   S in g a p o re ,   p p .   3 6 1 - 3 6 4 ,   2 0 1 5 .   DO I:  1 0 . 1 1 0 9 /W I - IA T . 2 0 1 5 . 1 6 6 .   [1 1 ]   A .   W o n g k o b lap ,   M .   A .   V a d il lo   a n d   V .   Cu rc i n ,   “ Clas sify in g   D e p re ss e d   Us e rs  w it h   M u lt ip le  In sta n c e   L e a rn in g   f ro m   S o c ial  Ne tw o rk   D a ta,”  2 0 1 8   IEE E  In ter n a t io n a l  C o n fer e n c e   o n   H e a lt h c a re   In f o rm a ti c s  ( ICHI),  p p .   4 3 6 - 4 3 6 ,   2 0 1 8 .   DO I:  1 0 . 1 1 0 9 / ICHI.2 0 1 8 . 0 0 0 8 8 .   [1 2 ]   J.  D.  Ro d rig u e z ,   A .   P e re z   a n d   J.  A .   L o z a n o ,   “ S e n siti v it y   A n a l y si s  o f   k - F o ld   Cro ss   V a li d a ti o n   in   P re d ictio n   Err o r   Esti m a ti o n , ”   in   IEE E  T ra n sa c ti o n s  o n   Pa tt e rn   A n a lys is  a n d   M a c h in e   In telli g e n c e ,   v o l.   3 2 ,   n o .   3 ,   p p .   5 6 9 - 5 7 5 ,   M a rc h   2 0 1 0 .   d o i:   1 0 . 1 1 0 9 /T P A M I. 2 0 0 9 . 1 8 7 .   [1 3 ]   M .   De sh p a n d e   a n d   V .   Ra o ,   “ De p re ss io n   d e tec ti o n   u sin g   e m o ti o n   a rti f icia l  in telli g e n c e , ”   2 0 1 7   I n ter n a ti o n a l   Co n fer e n c e   o n   In tell ig e n t   S u sta i n a b le  S y ste ms   ( I CIS S ),   P a ll a d a m ,   p p .   8 5 8 - 8 6 2 ,   2 0 1 7 .     DO I:  1 0 . 1 1 0 9 / IS S 1 . 2 0 1 7 . 8 3 8 9 2 9 9 .   [1 4 ]   S h a ra th   Ch a n d ra   G u n tu k u ,   Da v id   B.   Ya d e n ,   M a rg a re t  L .   Ke rn ,   Ly le  H.  Un g a r,   Jo h a n n e s  C.   Ei c h sta e d t,   “ De tec ti n g   d e p re ss io n   a n d   m e n tal  il ln e ss   o n   so c ial  m e d ia:  a n   in teg ra ti v e   re v iew , ”   Cu rr e n t  Op in i o n   i n   Beh a v io ra l  S c ien c e s ,    v o l.   1 8 ,   p p .   4 3 - 4 9 ,   2 0 1 7 .     [1 5 ]   S h o   T su g a w a ,   Yu su k e   Kik u c h i,   F u m io   Kish in o ,   K o su k e   Na k a ji m a ,   Yu ich i  It o h ,   a n d   Hir o y u k i  Oh sa k i ,  “ Re c o g n izin g   De p re ss io n   f ro m   Tw it ter  Ac ti v it y , ”   In   Pro c e e d in g s  o f  th e   3 3 rd   An n u a l  ACM   Co n fer e n c e   o n   Hu ma n   Fa c to rs   i n   C o mp u ti n g   S y ste ms   ( CHI  ' 1 5 ) .   ACM ,   Ne w  Y o rk ,   NY ,   US A ,   p p .   3 1 8 7 - 3 1 9 6 ,   2 0 1 5 .   DO I:   ht tp s:/ /d o i. o rg /1 0 . 1 1 4 5 /2 7 0 2 1 2 3 . 2 7 0 2 2 8 0 .   [1 6 ]   M .   M .   A ld a rw ish   a n d   H.  F .   A h m a d ,   “ P re d ictin g   De p re ss io n   L e v e ls  Us in g   S o c ial  M e d ia  P o sts,”   2 0 1 7   IEE E   1 3 t h   In ter n a t io n a l  S y mp o siu m  o n   Au to n o mo u s  De c e n tra li ze d   S y ste m  ( IS ADS ),   p p .   2 7 7 - 2 8 0 ,   2 0 1 7 .     DO I:  1 0 . 1 1 0 9 / IS A DS. 2 0 1 7 . 41.   [1 7 ]   F a rig   S a d e q u e ,   Do n g f a n g   X u ,   a n d   S tev e n   Be th a rd ,   “ M e a su ri n g   th e   L a ten c y   o f   De p re s sio n   De tec ti o n   i n   S o c ial   M e d ia,”  In   Pro c e e d i n g s  o f  th e   El e v e n th   ACM   In ter n a ti o n a l  Co n fer e n c e   o n   W e b   S e a rc h   a n d   Da t a   M i n in g     ( W S D M   ’1 8 ) ,   p p .   4 9 5 – 5 0 3 ,   2 0 1 8 .     [1 8 ]   Bu rd isso ,   S e rg io   G . ,   M a rc e lo   E . ,   a n d   M .   M o n tes - y - G ó m e z ,   “ A   T e x t  Clas si f ica ti o n   F ra m e w o rk   fo r  S im p le  a n d   Eff e c ti v e   Earl y   De p re ss io n   De tec ti o n   o v e r  S o c ial  M e d ia S trea m s,”   a rXiv.o rg   a rXiv: 1 9 0 5 . 0 8 7 7 2 ,   p p .   1 - 2 0 ,   2 0 1 9 .     [1 9 ]   V iri d ian a   Ro m e ro   M . ,   “ A   m a c h in e   lea rn in g   a p p ro a c h   f o r  th e   d e tec t io n   o f   d e p re ss io n   a n d   m e n tal  il ln e ss   in   Tw it ter,”   2 0 1 9 .   [ On l in e ] .   A v a il a b le:  h tt p s:// m e d iu m . c o m /d a tad riv e n in v e sto r/a - m a c h in e - lea rn in g - a p p ro a c h - f o r - d e tec ti o n - of - d e p re ss io n - a n d - m e n tal - il ln e ss - in - tw it ter - 3 f 3 a 3 2 a 4 d f 6 0 .   [2 0 ]   S .   A .   El   Ra h m a n ,   F .   A .   A lOtaib i  a n d   W .   A .   A lS h e h ri,   “ S e n ti m e n t  A n a l y sis  o f   Tw it ter  Da ta,”  2 0 1 9   In ter n a ti o n a l   Co n fer e n c e   o n   Co m p u ter   a n d   In f o rm a ti o n   S c ien c e s ( ICCIS ) ,   p p .   1 - 4 ,   2 0 1 9 .     [2 1 ]   J.  W a n g   a n d   Z.   Ca o ,   “ Ch in e se   tex t  se n ti m e n t  a n a l y sis  u sin g   L S TM   n e tw o rk   b a se d   o n   L 2   a n d   Na d a m , ”   20 1 7   IE EE   1 7 t h   In ter n a ti o n a l  Co n fer e n c e   o n   Co mm u n ic a ti o n   T e c h n o lo g y   ( ICCT ),   Ch e n g d u ,   p p .   1 8 9 1 - 1 8 9 5 ,   2 0 1 7 .     DO I:  1 0 . 1 1 0 9 / ICCT . 2 0 1 7 . 8 3 5 9 9 5 8 .   [2 2 ]   F .   L iu ,   X .   Z h o u ,   J.  Ca o ,   Z.   W a n g ,   H.  W a n g   a n d   Y.  Zh a n g ,   “ A   LS T M   a n d   CNN   Ba se d   A ss e m b le  Ne u ra l  Ne tw o r k   F ra m e w o rk   f o r  A rr h y th m ias   Cla ss if ic a ti o n , ”   ICA S S P   2 0 1 9 - 2 0 1 9   IEE E  In ter n a ti o n a l  Co n fer e n c e   o n   Aco u stics ,   S p e e c h   a n d   S ig n a l   Pro c e ss in g   ( ICAS S P),   Br ig h to n ,   Un it e d   Ki n g d o m ,   p p .   1 3 0 3 - 1 3 0 7 ,   2 0 1 9 .   DO I:  1 0 . 1 1 0 9 / ICA S S P . 2 0 1 9 . 8 6 8 2 2 9 9 .   [2 3 ]   D.  Zi m b ra ,   M .   G h ias si   a n d   S .   L e e ,   “ Bra n d - Re late d   Tw it ter  S e n ti m e n t  A n a l y sis   Us in g   F e a tu re   En g i n e e rin g   a n d   th e   D y n a m ic  A rc h it e c tu re   f o r  A rti f ic ial  Ne u ra l  Ne tw o rk s,”   4 9 th   Ha w a ii   In ter n a ti o n a l  C o n fer e n c e   o n   S y ste m  S c ien c e s   ( HICS S ),   p p .   1 9 3 0 - 1 9 3 8 ,   2 0 1 6 .   d o i:   1 0 . 1 1 0 9 /HIC S S . 2 0 1 6 . 2 4 4 .   [2 4 ]   A b d e lg h a n i  Da h o u ,   M o h a m e d   Ab d   El a z iz,  Ju n w e i  Zh o u ,   a n d   S h e n g w u   X io n g ,   “ A ra b ic  S e n ti m e n t  Clas sif i c a ti o n   Us in g   Co n v o lu ti o n a l  Ne u ra l  Ne tw o rk   a n d   Diff e r e n ti a l  Ev o lu ti o n   A lg o rit h m , ”   Co mp u ta ti o n a l  I n telli g e n c e   a n d   Ne u ro sc ien c e ,   v o l.   2 0 1 9 ,   p p .   1 - 1 6 ,   2 0 1 9 .   DO I:   h tt p s: // d o i. o rg /1 0 . 1 1 5 5 / 2 0 1 9 / 2 5 3 7 6 8 9 .   [2 5 ]   Kim   H.  Je o n g ,   Y. - S . ,   “ S e n ti m e n t  Clas sif ic a ti o n   Us in g   Co n v o lu ti o n a l  Ne u ra l  Ne tw o rk s,”   Ap p l.   S c i. ,   v o l.   9 ,   2 0 1 9 .   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 8 - 8708   I n t J   E lec  &   C o m p   E n g ,   Vo l.  10 ,   No .   4 ,  A u g u s t   2020   :   3 7 5 1   -   375 6   3756   [2 6 ]   Ha o   G u o ,   M e n g n a   Qin ,   Ju n ji e   Ch e n ,   Yo n g   Xu ,   a n d   Jie   X ia n g ,   “ M a c h in e - L e a rn in g   Clas sif i e r  fo r  P a ti e n ts  w it h   M a jo r  De p re ss iv e   Diso rd e r:  M u l ti f e a tu re   A p p ro a c h   Ba se d   o n   a   Hig h - Ord e r  M in im u m   S p a n n in g   T re e   F u n c ti o n a l   Bra in   Ne tw o rk , ”   Co m p u tatio n a l  a n d   M a th e m a ti c a l  M e th o d s i n   M e d icin e ,   v o l.   2 0 1 7 ,   p p .   1 - 14 ,   2 0 1 7 .     [2 7 ]   I sh it a   Bh a k ta  a n d   A rk a p ra b h a   S a u ,   “ P re d ictio n   o f   De p re ss io n   a m o n g   S e n io r  Cit ize n s  u si n g   M a c h in e   L e a rn in g   Clas sif ier s ,”   In ter n a ti o n a l  J o u rn a l  o f  C o mp u ter   Ap p li c a t io n s ,   v o l.   1 4 4 ,   n o .   7 ,   p p .   11 - 1 6 ,   2 0 1 6 .   [2 8 ]   A n k it   Ba sa r k a r,   “ Do c u m e n t  Clas s if ica ti o n   u sin g   M a c h i n e   L e a rn in g ,”   S a n   J o se   S t a te Un ive rs it y .   Ca li f o rn ia ,   2 0 1 7 .       B I O G RAP H I E S O F   AUTH O RS        Nish a   P.   S h e tty   h a s p u b li s h e d   in   th e   a re a s n e t w o rk   se c u rit y   a n d   m a c h in e   lea rn in g .   Cu rre n t ly   sh e   is   w o rk in g   in   th e   a re a   o f   so c ial  n e two rk   se c u rit y .           Dr .   B a la c h a n d r a ’s   re se a rc h   a re a   in c lu d e s  Ne tw o rk   S e c u rit y ,   A lg o rit h m s,  a n d   Op e ra ti n g   sy ste m s.   He   h a s  m o re   th a n   3 0   p u b l ica ti o n s  in   n a ti o n a l  a n d   in ter n a ti o n a l  c o n f e re n c e s/jo u rn a ls.  Cu rre n tl y   h e   is  w o rk in g   a s  th e   P ro f e ss o r  a n d   He a d   in   th e   De p t.   o f   In f o rm a ti o n   &   Co m m u n ica ti o n   T e c h n o lo g y ,   M a n ip a l  I n stit u te  o f   T e c h n o lo g y ,   M a n ip a l.   He   h a s  2 5   y e a rs  o f   tea c h in g   e x p e rien c e   in     v a rio u s In stit u tes .           Ar sh i a   Ana n d   is  c u rre n tl y   p u rsu in g   h e r  b a c h e l o r’s  d e g re e   in   Co m p u ter  a n d   C o m m u n ica ti o n   f ro m   M IT ,   M a n ip a l.   He r  a re a s o f   in tere st i n c l u d e   Da ta S c ien c e   a n d   F u ll   S tac k   De v e lo p m e n t.           S u sha n t  K u m a r   is  c u rre n tl y   p u rsu in g   h is  b a c h e l o r' s  d e g re e   in   Co m p u ter  a n d   Co m m u n ica ti o n   En g in e e rin g   f ro m   M I T   M a n ip a l.   His  a re a s  o f   in tere sts  a r e   Da ta  S c ien c e   a n d   f u ll - sta c k   d e v e lo p m e n t.           S u sha n t  Pra b h u   is  c u rre n tl y   p u rsu in g   B.   T e c h   in   Co m p u ter  a n d   C o m m u n ica ti o n   T e c h n o l o g y   (CCE)  a t  M IT ,   M a n ip a l.   Cu rre n tl y   w o rk in g   in   De e p   Lea rn in g   (G r a p h   Em b e d d in g   Ne t w o rk s).   In tere ste d   in   a re a s o f   De e p   L e a rn in g ,   Da ta S c ien c e ,   A n a l y ti c s a n d   it s a p p li c a ti o n s.       Evaluation Warning : The document was created with Spire.PDF for Python.