I nte rna t io na l J o urna l o f   E lect rica l a nd   Co m p ute E ng in ee ring   ( I J E CE )   Vo l.   10 ,   No .   4 A u g u s t   2020 ,   p p .   3 7 5 1 ~ 3 7 5 6   I SS N:  2088 - 8708 DOI : 1 0 . 1 1 5 9 1 / i j ec e . v 10 i 4 . p p 3 7 5 1 - 3 7 5 6           3751       J o ur na l ho m ep a g e h ttp : //ij ec e. ia esco r e. co m/in d ex . p h p /I JE C E   Predic ting dep res sio n using  deep  l e a rning  and ense mble  a lg o rith m s o ra w  t w itt er data       Nis ha   P .   Sh et t y ,   B a la cha nd ra   M un iy a l,  Arshi a   Ana nd ,   S us ha nt  K u m a r,   Su s ha nt  P ra bh u   De p a rtme n o f   In f o rm a ti o n   a n d   C o m m u n ica ti o n   T e c h n o l o g y ,   M a n ip a In stit u te  o f   T e c h n o l o g y ,     M a n ip a A c a d e m y   o f   Hi g h e Ed u c a ti o n ,   I n d ia       Art icle  I nfo     AB ST RAC T   A r ticle  his to r y:   R ec eiv ed   Sep   1 1 ,   2 0 1 9   R ev i s ed   J an   1 3 ,   2 0 2 0   A cc ep ted   Feb   2 ,   2 0 2 0     S o c ial  n e tw o rk   a n d   m i c ro b lo g g in g   sites   su c h   a Tw it ter  a re   w id e sp re a d   a m o n g st  a ll   g e n e ra ti o n n o w a d a y w h e re   p e o p le  c o n n e c a n d   sh a re   th e ir  f e e li n g s,  e m o ti o n s,   p u rsu it e tc.  De p re ss io n ,   o n e   o f   th e   m o st  c o m m o n   m e n tal  d iso rd e r,   is  a n   a c u te  sta te  o f   s a d n e ss   w h e r e   p e rso n   lo se in tere st  in   a ll   a c ti v it ies .   I f   n o trea ted   i m m e d iate l y   th is ca n   r e su lt   in   d ire co n se q u e n c e s su c h   a d e a th .   In   th is  e ra   o f   v irt u a w o rld ,   p e o p le  a re   m o re   c o m fo rtab le  in   e x p re ss in g   th e ir  e m o ti o n in   su c h   sites   a th e y   h a v e   b e c o m e   a   p a rt  a n d   p a rc e l   o f   e v e r y d a y   li v e s.  T h e   re se a rc h   p u t   f o rth   t h u s,  e m p lo y m a c h in e   lea rn in g   c las si f iers   o n   th e   tw it ter  d a ta  s e to   d e tec if   a   p e rso n ’s  t w e e in d ica tes   a n y   sig n   o f   d e p re ss io n   o n o t .   K ey w o r d s :   Dep r ess io n   L ST M   Ma ch i n lear n i n g   Sen ti m e n t a n a l y s is   So cial  m ed ia   Co p y rig h ©   2 0 2 0   In stit u te o A d v a n c e d   E n g i n e e rin g   a n d   S c ien c e   Al rig h ts re se rv e d .   C o r r e s p o nd ing   A uth o r :   B alac h an d r Mu n i y al,   Dep ar t m en t o f   I n f o r m atio n   an d   C o m m u n icatio n   T ec h n o lo g y ,     Ma n ip al  I n s tit u te  o f   T ec h n o lo g y ,     Ma n ip al   A ca d e m y   o f   Hi g h er   E d u ca tio n ,   Ma n ip al - 5 7 6 1 0 4   I n d ia.   E m ail: b ala. ch a n d r a@ m a n ip al . ed u       1.   I NT RO D UCT I O N   So cial  n et w o r k i n g   s ite s   h a v b ec o m h ab itu al  co m p o n en t,  w it h   s ites   li k T w it ter   an d   Face b o o k   b ein g   t h 7 th   a n d   2 nd   f a v o r ite  s ites   h av i n g   m illi o n s   o f   s u b s cr i b er s   [ 1 ] .   Su ch   s ites   h a v b ec o m a n   o p en   d ais  f o r   p eo p le  t o   r ea ch   o u an d   ex p r ess   th eir   f ee lin g s ,   li k es,   r o u ti n es  etc.   Un li k m o o d   f lu c tu a tio n s ,   d ep r ess io n   is   co m m o n   m e n tal  d i s o r d er   w h ic h   b r u tall y   a f f ec t s   p er s o n s   d ail y   r o u ti n li f e.   A n y   p er s o n   w h o   h a s   u n d er g o n s o m ad v er s e x p er ien ce s   li k s u d d en   d ea th ,   u n e m p lo y m e n etc.   is   l iab le  to   it.  A cc o r d in g   to   W HO,   m o r t h an   3 0 0   m illi o n   p eo p le  o f   all  a g g r o u p s   s u f f er   f r o m   it,  w it h   o n l y   f e w er   t h an   1 0 r ec ei v i n g   s u itab le   tr ea t m en t,  o w i n g   to   r ea s o n s   s u c h   as  lack   o f   s u itab l h ea lth   ca r e,   s o cial  h u m iliati o n   an d   ti m el y   an d   r ig h d ia g n o s is   [ 2 ] .   Fra n ce s   A   et   al .   [ 3 ] ,   s tate s   t h at  th e   d ep r ess io n   d is p la y s   t h e   f o llo w i n g   s y m p to m s   i n   t h g iv en   o r d er s ad   m o o d ,   elu d i n g   all  ac ti v iti es,  w ei g h t   an d   s leep   f lu ct u ati o n s ,   b o d y   ag itatio n ,   e n er g y   l o s s   an d   tire d n es s ,   f ee li n g   o f   tr i v ialit y ,   lo s s   o f   d e cisi o n - m ak i n g   ca p ac it y   an d   f i n all y   s u icid al  ten d en cie s .   E m o tio n   an d   s en ti m e n an al y s is   e x er cise s   m ac h i n l ea r n in g   al g o r ith m s   to   e x a m i n tex w it h   r esp ec to   th e   e m o tio n   co n v e y ed .   Sen te n ce   lev e l a n al y s is   is   ap p l ied   in   th i s   s t u d y   to   i n s p ec t i f   t w ee t i s   e m o t io n all y   v u l n er ab le  o r   n o t.   R ec e n tl y ,   th d ea th   o f   1 6 - y ea r - o ld   M ala y s ia n   teen   a f ter   ca llin g   f o r   p o ll   in   h er   I n s ta g r a m   [ 4 ]   ( w h er m a n y   p eo p le  v o ted   f o r   Dea t h ”)   h as  g ath er ed   h u g m ed ia.   Su c h   in c id en ts   s u p p o r th f ac th at  i f   w it h   p r o p er   m o n ito r in g   o f   s u c h   s ite s   [ 5 ]   is   d o n ti m el y   h el p   an d   ca n   b p r o v id ed ,   h en ce   av o id in g   s u c h   ca tas tr o p h es.         Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 8 - 8708   I n t J   E lec  &   C o m p   E n g ,   Vo l.  10 ,   No .   4 A u g u s t   2020   :   3 7 5 1   -   375 6   3752   2.   L I T E R AT U RE   SU RVE Y   Haq u et   al.   [ 7 ]   s cr u ti n ized   3 f ac ial  f ea t u r es   an d   lan g u a g s p o k e n   to   g a g t h i n ten s it y   o f   d ep r ess io n .   T h e y   co m p ar ed   t h eir   s e n te n ce   le v el  e m b ed d ed   co n v o l u tio n al  n eu r al   n et w o r k   ( C NN )   m o d el   [ 8 ]   w it h   t h ex is tin g   w o r k s ,   b u t h d ata  w a s   co llected   b y   h u m a n   co m p u ter   in ter v ie w s   w h ic h   l ac k ed   th p r ec is io n   of   f o r m al  d iag n o s is .   F u r t h e r m o r e,   th au th o r s   p lan   to   in clu d m o r p ar am eter s   s u c h   as  d ep r ess io n   tallies   f r o m   i n ter v ie w s   ta k en   f o r   d if f er en t p er io d s   o f   ti m e.   Sh ar i f A l g h o w in e m   e al .   [ 9 ]   ex tr ac ted   an d   i n s p ec ted   t h e y m o v e m e n f ea t u r es  f o r   s ig n s   o f   d ep r ess io n .   T h eir   m et h o d o lo g y   e m p lo y ed   s u p p o r v ec to r   m ac h in e s   ( SVM)   an d   Gau s s ian   Mix t u r Mo d els  f o r   class i f icatio n .   Ho w e v er ,   o w i n g   to   a   s m all  a m o u n t   o f   d ata   s e th e y   d id   n o g et  f air l y   h i g h   ac cu r ac y .   I n   f u t u r e   th au t h o r s   p lan   to   i n teg r ate  f a ce ,   b o d y   an d   v o ice  f ea tu r es to   g et  m o r ap t d etec tio n .   Qu a n   H u   et  al.   [ 1 0 ]   ass e m b led   class i f icatio n   a n d   r eg r es s io n   m o d els   to   i n s p ec b eh a v io r al  an d   d ialec tal  f ea t u r es  f r o m   s o cial  m ed ia  f o r   in d icatio n s   o f   d ep r ess io n .   T h eir   r esu lt s   ca n   i n cr ea s s ig n i f ica n tl y   b y   tak i n g   v ar ied   p ar ticip an ts   an d   in cr ea s i n g   th o b s er v a tio n   p er io d   f o r   im p r o v ed   an al y s is .   Ak k ap o n   W o n g k o b lap   et  al.   [ 1 1 ]   u tili ze d   d ee p   lea r n in g   m o d el  ( 5 - f o ld   cr o s s   v alid atio n   [ 1 2 ] )   to   in v esti g a te  th p o s ts   i n   s o cial  m ed ia.   T h o b tain ed   ac cu r ac y   o f   7 2   p er ce n ca n   b in cr ea s ed   b y   in c lu d i n g   f u r th er   f ea tu r es  li k e   in te r ac tio n s   w i th   f r ien d s ,   co m m en t s / r ep lies   etc.   Ma n d ar   Desh p a n d an d   Vi g n e s h   R ao   [ 1 3 ]   ap p lied   n atu r al   lan g u a g p r o ce s s in g   f o r   an al y zin g   t h s e n ti m en ts   o f   th t w e ets.  Du e   to   in ac cu r ac y   o f   p r o p er   lan g u ag s t y le  i n   s o cial  n et w o r k   t h ac cu r ac y   o f   th p r o p o s ed   m o d el  r ed u ce d .   Gu n tu k u   et   al .   [ 1 4 ]   ap p r aised   th s t u d ies  t h at  p r ed icted   th m e n tal  h e alt h   o f   p eo p le  b ased   o n   th s u r v e y   r esp o n s e s ,   p o s ts   an d   g r o u p s   i n ter ac ted   in   s o c ial  m ed ia.   T s u g a w et  al.   [ 1 5 ]   co n s id er ed   u s er   ac tiv itie s   in   s o cial  m ed ia  s u c h   as  f r eq u en cie s   o f   w o r d s   r elate d   to   m ela n c h o l y   i n   t w ee t ,   to p ics  t w ee ted   o n ,   p o s tin g   r eg u lar it y   e tc. to   ch ec k   f o r   th m a n i f es tatio n   o f   d e p r ess io n .   No n et h eles s ,   b y   e m p lo y i n g   tech n iq u e s   lik p r in c ip le  co m p o n e n a n al y s i s   t h f ea tu r s et  u s ed   co u ld   b i m p r o v ed .   T h e   m et h o d s   s u ch   as  d ee p   lear n in g   an d   en s e m b le  m et h o d s   ar ex p ec ted   to   o f f er   b etter   r esu lts   t h an   S VM .   Ma r y a m   Mo h a m m ed   A ld ar w i s h   an d   Haf iz  Far o o q   Ah m ed   [ 1 6 ]   u s ed   SVM  an d   Naï v B a y es  Mo d els  o n   th p r ep r o ce s s ed   p o s ts   o b tain ed   f r o m   s o cial  n et w o r k   p lat f o r m s .   T h ac cu r ac y   o b tain ed   ca n   b in cr ea s ed   b y   tr ai n i n g   a n d   co n s tr u c tin g   b etter   m o d els.       3.   M E T H O DO L O G Y   Fig u r 1   h i g h lig h t s   t h m et h o d o lo g y   f o llo w ed   in   t h p ap er .   T h ai m   o f   th e   p r o p o s ed   w o r k   is   to   p r ed ict  d e p r ess io n   in   i n d iv id u als  u s in g   th e ir   b eh av io r   o n li n e   ( o n   t w itter   s p ec i f icall y )   [ 1 7 - 1 9 ] .     T h is   is   d o n in   t w o   m a in   s ta g e s .   First  b ein g   th s ta g w h er s e n ti m en an al y s i s   [ 2 0 ]   is   ap p lied   o n   p a r ticu lar   in d i v id u al 's   t w i tter   p o s ts   to   p r ed ict  b in ar y   class es  ( i.e .   d ep r ess ed /n o d e p r ess ed ) .   T h t w itter   p o s ts   wer o b tain ed   u s i n g   th t w i tter   A P I   f r o m   d e v elo p er   t w it ter   ac co u n t.  A   d ee p   le ar n in g   m o d u le   k n o w n   as   lo n g   s h o r t - ter m   m e m o r y   ( L ST M)   [ 2 1 ,   2 2 ]   is   em p lo y ed .   T h p r o p o s ed   L ST m o d el  u s ed   Kag g le  d ataset  o n   t w it t er   t w ee ts   r elate d   to   d ep r ess io n   to   lear n   an d   v alid at e.             Fig u r 1 .   Ov er all  m e th o d o lo g y       P r ep r o ce s s in g   as  d ep icted   i n   Fig u r 2   i n clu d d r o p p in g   e m p t y   t w ee ts ,   r e m o v in g   p u n ctu atio n s ,   cr ea tin g   d ictio n ar y   to   m ap   w o r d s   to   in te g er   v a lu e s   an d   f in d in g   m ax i m u m   le n g t h   o f   th t w ee t s   [ 2 3 ] .   Fin al   g en er ated   f ea t u r es  tr i m m ed   t o   th s eq u e n ce   le n g t h   ar e   f e d   in to   t h m o d el.   T h s eq u e n tial  L ST M   m o d el   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J   E lec  &   C o m p   E n g     I SS N:  2088 - 8708       P r ed ictin g   d ep r ess io n   u s in g   d ee p   lea r n in g   a n d   e n s emb le  a lg o r ith ms o n   r a w   tw itte r   d a ta   ( N is h a   P .   S h etty )   3753   n et w o r k   ar ch itect u r en co m p ass es  a n   e m b ed d in g   la y er ,   wh ich   h a s   in p u d i m e n s io n   s e t   to   to tal  n u m b er   o f   t w ee t s ,   o u tp u d i m en s io n   s et  to   2 0 0   an d   in p u len g t h   s et  to   s eq u en ce   len g t h   as  s tated   ea r lier .   T h n ex p ar in c l u d es  an   L ST M   la y er   w it h   5 0 0   u n its ,   d r o p o u 0 . 2   an d   r ec u r r en d r o p o u also   0 . 2 .   L a s p ar o f   t h m o d el  n et w o r k   i n cl u d es  a   d en s e   la y er   w it h   o n e   u n it   an d   s i g m o id   ac ti v atio n   to   co n cise   t h g en er ated   o u tp u b et w ee n   ze r o   an d   o n e.   T h is   c o m p leted   t h p r o p o s ed   m o d el ' s   ar ch itect u r a n d   th m o d el  is   co m p iled   u s i n g   A d a m   o p ti m izer   an d   lo s s   i s   d ea lt  b y   u s i n g   b i n ar y   cr o s s e n tr o p y   w it h   ac cu r ac y   m etr ic  s elec tio n   to   o b s er v e   an d   ev al u ate.     P o s co m p ilatio n ,   t h m o d el   is   f itted   o n   th ea r lier   g en er ated   f ea tu r es  an d   v alid ated   o n   lab els  s p ec if ied   i n   t h d atase t.  A   v a lid atio n   s p lit   o f   0 . 3   ( 7 0 tr ai n in g   d ata,   3 0 te s d ata)   i s   i n tr o d u ce d   an d   t h is   m o d el  i s   tr ain ed   f o r   5   ep o ch s .   Fin all y   t h i s   m o d el  is   s to r ed   in   J SON  f ile  f o r   f u t u r u s e.   E v er y   n e w   t w ee t   o b tain ed   f r o m   th t w itter   A P I   g o es  th r o u g h   th s a m p r ep r o ce s s i n g   p r o ce d u r m e n tio n ed   ab o v b ef o r b ein g   f o r w ar d ed   to   th L ST M   m o d el.   T h r esu lt  o f   th m o d el  is   o b tain ed   f r o m   t h m o d el.   p r ed i ct  ( )   f u n ctio n   an d   i s   r o u n d ed   to   an   in te g er   v al u ( 0   o r   1   in   th is   ca s e) .     T h o b tain ed   ac cu r a c y   is   co m p ar ed   to   s eq u e n tia C o n v o l u tio n al  Neu r al  Ne t w o r k   ( C N N )   [ 2 4 ,   2 5 ] .     T h p r e p r o ce s s in g   s tep s   ar ex ac tl y   t h s a m e.   T h n et w o r k   ar ch itectu r i n clu d es  a n   e m b ed d in g   la y er   s i m i lar   to   th L ST e m b ed d in g .   T h o n l y   d if f er en ce   i s   w ei g h t s   ar g u m e n is   g iv e n   an   e m b e d d in g   m a tr ix ,   w it h   r an d o m   v alu e s   i n   t h r a n g e   o f   2 0 0   to   to tal  n u m b er   o f   t w ee ts   m u ltip lied   b y   0 . 0 1 .   T h is   i s   f o ll o w ed   b y   a   d r o p o u t   o f   0 . 4   w h ic h   f ee d s   t h d ata  to   to tal  o f   f o u r   1 co n v o l u tio n   la y er s .   E ac h   o f   t h co n v o lu tio n   la y er s   h as  k er n e l   s ize  s et   to   3 ,   p ad d in g   s et  to   v a lid ,   ac tiv atio n   i s   r elu   a n d   s tr id es  is   s et  to   1 .   On l y   t h in g   t h at  d if f er ed   is   t h f ilter   ( d im e n s io n alit y   o f   t h o u tp u s p ac e) .   I is   d ec r ea s ed   b y   5 0 at  ea ch   la y er .   First  la y er   h ad   f ilter   s et  to   6 0 0 ,   s ec o n d   h ad   3 0 0 ,   th ir d   1 5 0   an d   f o u r t h   h ad   7 5 .     Af ter   t h i s ,   f latte n   i s   i n cl u d ed   in   th e   m o d el   ar ch itect u r to   f lat ten   th e   i n p u t.  T h i s   i s   f o llo w ed   b y   ad d in g   d en s la y er   w it h   6 0 0   u n it s ,   d r o p o u o f   0 . 5 ,   ac tiv a tio n   s et   to   r elu ,   d e n s la y er   w i th   o n u n i t,  an d   f i n all y ,   an   ac tiv a tio n   s et  to   s i g m o id .   C NN  m o d el  is   co m p il ed   u s i n g   ex ac t l y   s a m ar g u m en ts   f o r   lo s s ,   m e tr ic  an d   o p ti m izer .   T h s ec o n d   s tag in cl u d es  tr y in g   to   i m p r o v th o u tco m o f   th p r o p o s ed   w o r k   u s i n g   b asi c   m ac h in lear n in g   clas s i f ier s   [ 2 6 ,   2 7 ]   an d   a   f e w   o p ti m ized   en s e m b les.  C la s s i f ie r s   u s ed   ar lo g is tic  r eg r es s io n ,   lin ea r   s u p p o r v ec to r   class i f ie r   ( SVC ) ,   m u lti n o m ia n ai v b a y es,  b er n o u l li  n a iv b a y es  al o n g   w it h   e n s e m b les   lik r an d o m   f o r est cla s s i f ier   an d   g r ad ien t b o o s tin g   cla s s i f ier .     P r ep r o ce s s in g   as  d ep icted   in   Fig u r 3   in cl u d es  s p l i ttin g   o f   d ata  in to   tr ai n   an d   tes s et.   T h is   is   f o llo w ed   b y   v ec to r izin g   t h t w ee t s .   T h m e n tio n ed   s ta g p r o v id es  th e   clas s if ier s   w i th   th r ee   d if f er en k i n d   o f   v ec to r izer s   n a m el y   co u n v ec to r izer ,   T F - I DF  an d   n - g r a m s   [ 2 8 ] .   Fo r   C o u n Vec to r izer ,   th p r ep r o ce s s in g   in cl u d es  f it tin g   t h co u n v ec t o r izer   o n   th tr ain in g   an d   d ata  th en   tr an s f o r m i n g   t h d o cu m en ts   i n   th tr ai n in g   d ata  to   d o cu m e n t - ter m   m atr i x .             Fig u r 2 .   L ST p r ep r o ce s s in g     Fig u r 3 .   Mo d el  v ec to r   p r e p r o ce s s i n g   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 8 - 8708   I n t J   E lec  &   C o m p   E n g ,   Vo l.  10 ,   No .   4 A u g u s t   2020   :   3 7 5 1   -   375 6   3754   T h o b tain ed   tr ain in g   d ata  ( f ea tu r es)  is   f ed   to   th cu r r en m o d el  s elec ted   f r o m   t h lis t.  A   f ea t u r e   n a m e s   l is t   is   in itialized   a n d   p o p u lated   u s in g   C o u n t   Vec to r izer ' s   g et_ f ea t u r e_ n a m es  ( )   f u n ctio n .   R e s u l ts   ar e   p r ed icted   u s in g   p r ed ict  f u n ct i o n .   T F - I DF  Vec to r i ze r   is   f it  o n   th tr ain i n g   d ata  u s i n g   m i n _ d f =5 ,   s i m ilar   to   C o u n Vec to r izer ,   d o cu m en t s   ar tr an s f o r m ed   an d   th tr ain i n g   d ata  is   f ed   to   th cu r r en m o d el  s elec ted   f r o m   th li s t.  A lo n g   w i th   t h i s ,   f ea t u r n a m es  a n d   s o r ted   T F - I DF   in d ex   i s   also   ca lc u lated   to   f i n d   th s m allest  a n d   h ig h e s T F - I DF,   ( least  a n d   m o s i m p o r tan co ef f icie n t s ) .   Fo r   n - g r a m s ,   s i m ilar   p r o ce d u r w a s   f o llo w ed   an d   i s   f it  o n   th tr ai n i n g   d ata  u s in g   m i n _ d f =5   an d   n - g r a m _ r a n g e   ( 1 , 2 ) .   Sim ilar   to   o th er   v ec to r izer s ,   s m alle s a n d   h ig h e s t c o ef f icie n ts   ar n o ted   an d   r esu lt  s en t i m e n t o f   t h t wee t is p r ed icted .   E ac h   an d   ev er y   clas s if ier   an d   en s e m b le  m e n tio n ed   ab o v is   f it  o n   ea c h   o f   t h th r ee   v ec to r izer s   an d   r esu lt s   ar n o ted .   T h is   s ta g e   is   lar g el y   f o cu s ed   o n   cr o s s - ch ec k i n g   p r ed ictio n s   m ad b y   t h f ir s st a g e.   E v er y   n e w   t w ee o b tain ed   th r o u g h   th t w itter   A P I   is   s en t h r o u g h   f ir s a n d   s ec o n d   s tag e.   I n   th s ec o n d   s ta g e   ev er y   p o s s ib ilit y   o f   m o d el  a n d   v ec to r izer   is   e x ec u ted   an d   r esu lts   ar n o ted .   T h f i n al  r esu lt   in cl u d ed   th w ei g h ted   m ea n   o f   all  s ec o n d   s tag p o s s ib ili ties .   T h is   v al u is   cr o s s - c h ec k ed   w ith   t h f ir s s ta g e   p r ed ictio n s .   T h w eig h t s   ar ass i g n ed   ac co r d in g   to   ac c u r ac y   o f   th m o d el  o n   t h d ata.         4.   RE SU L T   T h f o llo w i n g   tab les  T ab les  1 - 7   s h o w   t h r es u lts   o b tai n ed   in   th is   r esear ch .   T h m en tio n ed   class i f ier s 's r esu lts   ar co m p ar ed   h er e.       T ab le  1 .   L ST v s   C NN   C l a ssi f i e r   V a l i d a t i o n   A c c u r a c y   T e st   A c c u r a c y   L S T M   0 . 7   0 . 9 3   C N N   0 . 6 8   0 . 9 5       T ab le  2 .   L o g is tic  r eg r es s io n   C l a ssi f i e r   A c c u r a c y   C o u n t   v e c t o r i z e r   7 5 . 8 1 %   TF - I D F   7 6 . 2 2 %   n - g r a ms   7 6 . 1 5 %     T ab le  3 .   R an d o m   f o r est   C l a ssi f i e r   A c c u r a c y   C o u n t   v e c t o r i z e r   7 0   %   TF - I D F   7 2 %   n - g r a ms   7 2 %         T ab le  4 .   B er n o u lli n v b a y e s   ( NB )   C l a ssi f i e r   A c c u r a c y   TF - I D F   7 3 . 9 5 %   n - g r a ms   7 5 . 5 3 %         T ab le  5 .   Mu ltin o m ia l n v b ay es ( NB )   C l a ssi f i e r   A c c u r a c y   TF - I D F   7 4 . 2 2 3 %   n - g r a ms   7 6 . 6 9 %         T ab le  6 .   L in ea r   SVC   ( r an d o m _ s tate= 1 0 0 ,   to l=1 e - 10)   C l a ssi f i e r   A c c u r a c y   C o u n t   v e c t o r i z e r   7 3 . 7 1 %   TF - I D F   7 5 . 4 8 %   n - g r a ms   7 3 . 5 3 %         T ab le  6 .   Gr a d ien t   B o o s tin g   C l ass i f ier   ( s u b s a m p le= 0 . 8 ,   lear n in g _ r ate= 0 . 0 5 ,   n _ esti m a to r s =2 5 0 ,     r an d o m _ s tate =5 ,   m a x _ d ep th = 2 0 ,   m ax _ lea f _ n o d es=1 5 0 )   C l a ssi f i e r   A c c u r a c y   n - g r a ms   7 4 . 4 2 %         5.   CO NCLU SI O AND  F U T U RE   WO RK   Of te n   tr ad itio n al   s u r v e y - b a s ed   q u esti o n s   f ail  to   u n co v e r   th e x ten o f   u s er s   m en tal  h ea lt h   d ep r ec iatio n .   No w ad a y s ,   s o ci al  m ed ia  i s   co m m o n   p lat f o r m ,   w h ic h   p eo p le  u s to   r e ac h   o u t.   T h er ef o r e,     th ab o v p r o p o s ed   m et h o d o lo g y   ca s h e s   in   th i s   p o p u lar it y   o f   SN a n d   e v alu ate s   t h d ep r ess io n   le v els  o f     th u s er s   b y   e m p lo y i n g   n at u r a lan g u a g a n d   m ac h i n lear n i n g   tech n iq u e s .   I n   f u t u r e,   b y   co llectin g   m o r d ata,   m o r f r eq u en tl y   w i th   t h ai m   o f   i m p r o v in g   t h ac cu r ac y   o f   th w o r k   to   g i v b etter   d iag n o s is .   S u ch   to o l s   w h ic h   ca n   p r ed ict  v ar iatio n s   i n   p er s o n s   m o o d   ca n   b an   i m p o r tan m et h o d   f o r   b o th   clin ic al  o b s er v atio n s   a n d   s elf - d ia g n o s i n g .   T h m et h o d   ca n   b ti m co n s u m i n g   a n d   h en ce   s tep s   m u s b ta k e n   i n   t h is   r e g ar d   to     i m p r o v u p o n .   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J   E lec  &   C o m p   E n g     I SS N:  2088 - 8708       P r ed ictin g   d ep r ess io n   u s in g   d ee p   lea r n in g   a n d   e n s emb le  a lg o r ith ms o n   r a w   tw itte r   d a ta   ( N is h a   P .   S h etty )   3755   RE F E R E NC E S     [1 ]   S tatista,  M o st  p o p u l a so c i a n e tw o rk w o rld w id e   a s   o f   Oc to b e r,   2 0 1 9 .   [ O n li n e ] .   A v a il a b le:  h tt p s:/ /www . sta ti sta . c o m /statisti c s/2 7 2 0 1 4 /g lo b a l - so c ial - n e tw o rk s - ra n k e d - by - n u m b e r - of - u se rs/   [2 ]   W HO ,   W HO   D e p re ss io n ,   2 0 1 9 .   [ O n li n e ].   A v a il a b le:  h tt p s:// w ww . w h o . in t/ n e ws - ro o m / f a c t - sh e e ts/d e tail/ d e p re ss io n   [3 ]   F ra n c e s,  A . ,   P in c u s,  H.,   &   F irst,   M . ,   M a jo De p re ss iv e   Ep iso d e .   In   Dia g n o stic  a n d   sta ti stica m a n u a o f   m e n tal   d iso rd e rs:  D S M - IV ,   W a sh i n g t o n ,   DC: A me ric a n   Psy c h i a tric A ss o c ia ti o n ,   1 9 9 4 .   [4 ]   M a il   o n li n e ,   M a lay sia n   te e n a g e r ,   1 6 ,   ' d ied   j u m p in g   f ro m   th e   th ird   f lo o o f   a   sh o p   a f ter  c o n d u c ti n g   a n   In sta g ra m   p o ll   o n   w h e th e sh e   sh o u ld   k il h e rse lf'   -   a n d   6 9   p e c e n c h o se   ' d e a th ' ,   2 0 1 9 .   [ On li n e ] .   A v a il a b le:  h tt p s:/ /www . d a il y m a il . c o . u k /n e ws /article 7 0 3 1 0 6 7 / M a lay sia n - tee n a g e r - 16 - k il led - c o n d u c ti n g - In sta g ra m - p o ll . h tm l.     [5 ]   S e re n a   G o rd o n ,   F a c e b o o k   P o sts  M a y   Hin a De p re ss io n ,   2 0 1 8 .   [ On li n e ]   A v a il a b le:  h tt p s:/ /www . w e b m d . c o m /d e p re ss io n / n e w s/2 0 1 8 1 0 1 5 /f a c e b o o k - p o sts - m a y - h in t - at - d e p re ss io n # 1   [6 ]   Ja c k   Ca r fa g n o ,   S o c ial  M e d ia  P o sts  Ca n   He lp   I d e n ti f y   De p re ss io n ,   2 0 1 9 .   [ On li n e ] .   A v a il a b le:  h tt p s:/ /www . d o c w iren e w s.c o m /d o c w ire - p ick /so c ial - m e d ia - p o sts - can - h e lp - i d e n ti f y - d e p re ss io n /   [7 ]   Ha q u e ,   A lb e rt,   M ic h e ll e   G u o ,   A d a m   S .   M in e a n d   L F e i - F e i,   M e a su rin g   De p re ss io n   S y m p to m   S e v e rit y   f ro m   S p o k e n   L a n g u a g e   a n d   3 F a c ial  Ex p re ss io n s,”   2 0 1 8 .   [ O n li n e ]   A v a il a b le:    a rXiv.o rg   a rXiv: 1 8 1 1 . 0 8 5 9 2   [8 ]   S .   A lb a w i,   T .   A .   M o h a m m e d   a n d   S .   A l - Zaw i,   Un d e rsta n d in g   o f   a   c o n v o lu t io n a n e u ra n e tw o rk ,   2 0 1 7   In ter n a t io n a C o n fer e n c e   o n   E n g i n e e rin g   a n d   T e c h n o l o g y   ( ICET ) ,   p p .   1 - 6 ,   2 0 1 7 .     [9 ]   S .   A lg h o w in e m ,   R.   G o e c k e ,   M .   W a g n e r,   G .   P a rk e a n d   M .   Bre a k sp e a r,   E y e   m o v e m e n a n a l y sis   f o d e p re ss io n   d e tec ti o n ,   2 0 1 3   IEE I n ter n a ti o n a C o n fer e n c e   o n   Im a g e   Pro c e ss in g ,   M e lb o u rn e ,   p p .   4 2 2 0 - 4 2 2 4 ,   2 0 1 3 .   [1 0 ]   Q.  Hu ,   A .   L i,   F .   He n g ,   J.  L a n d   T .   Zh u ,   P re d icti n g   De p re ss io n   o f   S o c ial  M e d ia  Us e o n   Diff e re n Ob se rv a ti o n   W in d o w s,”   2 0 1 5   IEE E /W IC/A CM   In ter n a ti o n a C o n fer e n c e   o n   W e b   In telli g e n c e   a n d   In telli g e n Ag e n T e c h n o l o g y   ( W I - IAT ),   S in g a p o re ,   p p .   3 6 1 - 3 6 4 ,   2 0 1 5 .   DO I:  1 0 . 1 1 0 9 /W I - IA T . 2 0 1 5 . 1 6 6 .   [1 1 ]   A .   W o n g k o b lap ,   M .   A .   V a d il lo   a n d   V .   Cu rc i n ,   Clas sify in g   D e p re ss e d   Us e rs  w it h   M u lt ip le  In sta n c e   L e a rn in g   f ro m   S o c ial  Ne tw o rk   D a ta,”  2 0 1 8   IEE In ter n a t io n a C o n fer e n c e   o n   H e a lt h c a re   In f o rm a ti c ( ICHI),  p p .   4 3 6 - 4 3 6 ,   2 0 1 8 .   DO I:  1 0 . 1 1 0 9 / ICHI.2 0 1 8 . 0 0 0 8 8 .   [1 2 ]   J.  D.  Ro d rig u e z ,   A .   P e re z   a n d   J.  A .   L o z a n o ,   S e n siti v it y   A n a l y si o f   k - F o ld   Cro ss   V a li d a ti o n   in   P re d ictio n   Err o r   Esti m a ti o n ,   in   IEE T ra n sa c ti o n o n   Pa tt e rn   A n a lys is  a n d   M a c h in e   In telli g e n c e ,   v o l.   3 2 ,   n o .   3 ,   p p .   5 6 9 - 5 7 5 ,   M a rc h   2 0 1 0 .   d o i:   1 0 . 1 1 0 9 /T P A M I. 2 0 0 9 . 1 8 7 .   [1 3 ]   M .   De sh p a n d e   a n d   V .   Ra o ,   De p re ss io n   d e tec ti o n   u sin g   e m o ti o n   a rti f icia in telli g e n c e ,   2 0 1 7   I n ter n a ti o n a l   Co n fer e n c e   o n   In tell ig e n t   S u sta i n a b le  S y ste ms   ( I CIS S ),   P a ll a d a m ,   p p .   8 5 8 - 8 6 2 ,   2 0 1 7 .     DO I:  1 0 . 1 1 0 9 / IS S 1 . 2 0 1 7 . 8 3 8 9 2 9 9 .   [1 4 ]   S h a ra th   Ch a n d ra   G u n tu k u ,   Da v id   B.   Ya d e n ,   M a rg a re L .   Ke rn ,   Ly le  H.  Un g a r,   Jo h a n n e C.   Ei c h sta e d t,   De tec ti n g   d e p re ss io n   a n d   m e n tal  il ln e ss   o n   so c ial  m e d ia:  a n   in teg ra ti v e   re v iew ,   Cu rr e n Op in i o n   i n   Beh a v io ra S c ien c e s   v o l.   1 8 ,   p p .   4 3 - 4 9 ,   2 0 1 7 .     [1 5 ]   S h o   T su g a w a ,   Yu su k e   Kik u c h i,   F u m io   Kish in o ,   K o su k e   Na k a ji m a ,   Yu ich It o h ,   a n d   Hir o y u k Oh sa k i Re c o g n izin g   De p re ss io n   f ro m   Tw it ter  Ac ti v it y ,   In   Pro c e e d in g o th e   3 3 rd   An n u a ACM   Co n fer e n c e   o n   Hu ma n   Fa c to rs   i n   C o mp u ti n g   S y ste ms   ( CHI  ' 1 5 ) .   ACM ,   Ne Y o rk ,   NY ,   US A ,   p p .   3 1 8 7 - 3 1 9 6 ,   2 0 1 5 .   DO I:   ht tp s:/ /d o i. o rg /1 0 . 1 1 4 5 /2 7 0 2 1 2 3 . 2 7 0 2 2 8 0 .   [1 6 ]   M .   M .   A ld a rw ish   a n d   H.  F .   A h m a d ,   P re d ictin g   De p re ss io n   L e v e ls  Us in g   S o c ial  M e d ia  P o sts,”   2 0 1 7   IEE E   1 3 t h   In ter n a t io n a S y mp o siu o n   Au to n o mo u De c e n tra li ze d   S y ste ( IS ADS ),   p p .   2 7 7 - 2 8 0 ,   2 0 1 7 .     DO I:  1 0 . 1 1 0 9 / IS A DS. 2 0 1 7 . 41.   [1 7 ]   F a rig   S a d e q u e ,   Do n g f a n g   X u ,   a n d   S tev e n   Be th a rd ,   M e a su ri n g   th e   L a ten c y   o f   De p re s sio n   De tec ti o n   i n   S o c ial   M e d ia,”  In   Pro c e e d i n g o th e   El e v e n th   ACM   In ter n a ti o n a Co n fer e n c e   o n   W e b   S e a rc h   a n d   Da t a   M i n in g     ( W S D M   ’1 8 ) ,   p p .   4 9 5 5 0 3 ,   2 0 1 8 .     [1 8 ]   Bu rd isso ,   S e rg io   G . ,   M a rc e lo   E . ,   a n d   M .   M o n tes - y - G ó m e z ,   A   T e x Clas si f ica ti o n   F ra m e w o rk   fo S im p le  a n d   Eff e c ti v e   Earl y   De p re ss io n   De tec ti o n   o v e S o c ial  M e d ia S trea m s,”   a rXiv.o rg   a rXiv: 1 9 0 5 . 0 8 7 7 2 ,   p p .   1 - 2 0 ,   2 0 1 9 .     [1 9 ]   V iri d ian a   Ro m e ro   M . ,   A   m a c h in e   lea rn in g   a p p ro a c h   f o th e   d e tec t io n   o f   d e p re ss io n   a n d   m e n tal  il ln e ss   in   Tw it ter,”   2 0 1 9 .   [ On l in e ] .   A v a il a b le:  h tt p s:// m e d iu m . c o m /d a tad riv e n in v e sto r/a - m a c h in e - lea rn in g - a p p ro a c h - f o r - d e tec ti o n - of - d e p re ss io n - a n d - m e n tal - il ln e ss - in - tw it ter - 3 f 3 a 3 2 a 4 d f 6 0 .   [2 0 ]   S .   A .   El   Ra h m a n ,   F .   A .   A lOtaib a n d   W .   A .   A lS h e h ri,   S e n ti m e n A n a l y sis  o f   Tw it ter  Da ta,”  2 0 1 9   In ter n a ti o n a l   Co n fer e n c e   o n   Co m p u ter   a n d   In f o rm a ti o n   S c ien c e s ( ICCIS ) ,   p p .   1 - 4 ,   2 0 1 9 .     [2 1 ]   J.  W a n g   a n d   Z.   Ca o ,   Ch in e se   tex se n ti m e n a n a l y sis  u sin g   L S TM   n e tw o rk   b a se d   o n   L 2   a n d   Na d a m ,   20 1 7   IE EE   1 7 t h   In ter n a ti o n a Co n fer e n c e   o n   Co mm u n ic a ti o n   T e c h n o lo g y   ( ICCT ),   Ch e n g d u ,   p p .   1 8 9 1 - 1 8 9 5 ,   2 0 1 7 .     DO I:  1 0 . 1 1 0 9 / ICCT . 2 0 1 7 . 8 3 5 9 9 5 8 .   [2 2 ]   F .   L iu ,   X .   Z h o u ,   J.  Ca o ,   Z.   W a n g ,   H.  W a n g   a n d   Y.  Zh a n g ,   A   LS T M   a n d   CNN   Ba se d   A ss e m b le  Ne u ra Ne tw o r k   F ra m e w o rk   f o A rr h y th m ias   Cla ss if ic a ti o n ,   ICA S S P   2 0 1 9 - 2 0 1 9   IEE In ter n a ti o n a Co n fer e n c e   o n   Aco u stics ,   S p e e c h   a n d   S ig n a l   Pro c e ss in g   ( ICAS S P),   Br ig h to n ,   Un it e d   Ki n g d o m ,   p p .   1 3 0 3 - 1 3 0 7 ,   2 0 1 9 .   DO I:  1 0 . 1 1 0 9 / ICA S S P . 2 0 1 9 . 8 6 8 2 2 9 9 .   [2 3 ]   D.  Zi m b ra ,   M .   G h ias si   a n d   S .   L e e ,   Bra n d - Re late d   Tw it ter  S e n ti m e n A n a l y sis   Us in g   F e a tu re   En g i n e e rin g   a n d   th e   D y n a m ic  A rc h it e c tu re   f o A rti f ic ial  Ne u ra Ne tw o rk s,”   4 9 th   Ha w a ii   In ter n a ti o n a C o n fer e n c e   o n   S y ste S c ien c e s   ( HICS S ),   p p .   1 9 3 0 - 1 9 3 8 ,   2 0 1 6 .   d o i:   1 0 . 1 1 0 9 /HIC S S . 2 0 1 6 . 2 4 4 .   [2 4 ]   A b d e lg h a n Da h o u ,   M o h a m e d   Ab d   El a z iz,  Ju n w e Zh o u ,   a n d   S h e n g w u   X io n g ,   A ra b ic  S e n ti m e n Clas sif i c a ti o n   Us in g   Co n v o lu ti o n a Ne u ra Ne tw o rk   a n d   Diff e r e n ti a Ev o lu ti o n   A lg o rit h m ,   Co mp u ta ti o n a I n telli g e n c e   a n d   Ne u ro sc ien c e ,   v o l.   2 0 1 9 ,   p p .   1 - 1 6 ,   2 0 1 9 .   DO I:   h tt p s: // d o i. o rg /1 0 . 1 1 5 5 / 2 0 1 9 / 2 5 3 7 6 8 9 .   [2 5 ]   Kim   H.  Je o n g ,   Y. - S . ,   S e n ti m e n Clas sif ic a ti o n   Us in g   Co n v o lu ti o n a Ne u ra Ne tw o rk s,”   Ap p l.   S c i. ,   v o l.   9 ,   2 0 1 9 .   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 8 - 8708   I n t J   E lec  &   C o m p   E n g ,   Vo l.  10 ,   No .   4 A u g u s t   2020   :   3 7 5 1   -   375 6   3756   [2 6 ]   Ha o   G u o ,   M e n g n a   Qin ,   Ju n ji e   Ch e n ,   Yo n g   Xu ,   a n d   Jie   X ia n g ,   M a c h in e - L e a rn in g   Clas sif i e fo P a ti e n ts  w it h   M a jo De p re ss iv e   Diso rd e r:  M u l ti f e a tu re   A p p ro a c h   Ba se d   o n   a   Hig h - Ord e M in im u m   S p a n n in g   T re e   F u n c ti o n a l   Bra in   Ne tw o rk ,   Co m p u tatio n a a n d   M a th e m a ti c a M e th o d s i n   M e d icin e ,   v o l.   2 0 1 7 ,   p p .   1 - 14 ,   2 0 1 7 .     [2 7 ]   I sh it a   Bh a k ta  a n d   A rk a p ra b h a   S a u ,   P re d ictio n   o f   De p re ss io n   a m o n g   S e n io Cit ize n u si n g   M a c h in e   L e a rn in g   Clas sif ier s ,”   In ter n a ti o n a J o u rn a o C o mp u ter   Ap p li c a t io n s ,   v o l.   1 4 4 ,   n o .   7 ,   p p .   11 - 1 6 ,   2 0 1 6 .   [2 8 ]   A n k it   Ba sa r k a r,   Do c u m e n Clas s if ica ti o n   u sin g   M a c h i n e   L e a rn in g ,”   S a n   J o se   S t a te Un ive rs it y .   Ca li f o rn ia ,   2 0 1 7 .       B I O G RAP H I E S O F   AUTH O RS        Nish a   P.   S h e tty   h a s p u b li s h e d   in   th e   a re a s n e t w o rk   se c u rit y   a n d   m a c h in e   lea rn in g .   Cu rre n t ly   sh e   is   w o rk in g   in   th e   a re a   o f   so c ial  n e two rk   se c u rit y .           Dr .   B a la c h a n d r a ’s   re se a rc h   a re a   in c lu d e Ne tw o rk   S e c u rit y ,   A lg o rit h m s,  a n d   Op e ra ti n g   sy ste m s.   He   h a m o re   th a n   3 0   p u b l ica ti o n in   n a ti o n a a n d   in ter n a ti o n a c o n f e re n c e s/jo u rn a ls.  Cu rre n tl y   h e   is  w o rk in g   a th e   P ro f e ss o a n d   He a d   in   th e   De p t.   o f   In f o rm a ti o n   &   Co m m u n ica ti o n   T e c h n o lo g y ,   M a n ip a I n stit u te  o f   T e c h n o lo g y ,   M a n ip a l.   He   h a 2 5   y e a rs  o f   tea c h in g   e x p e rien c e   in     v a rio u s In stit u tes .           Ar sh i a   Ana n d   is  c u rre n tl y   p u rsu in g   h e b a c h e l o r’s  d e g re e   in   Co m p u ter  a n d   C o m m u n ica ti o n   f ro m   M IT ,   M a n ip a l.   He a re a s o f   in tere st i n c l u d e   Da ta S c ien c e   a n d   F u ll   S tac k   De v e lo p m e n t.           S u sha n K u m a r   is  c u rre n tl y   p u rsu in g   h is  b a c h e l o r' d e g re e   in   Co m p u ter  a n d   Co m m u n ica ti o n   En g in e e rin g   f ro m   M I T   M a n ip a l.   His  a re a o f   in tere sts  a r e   Da ta  S c ien c e   a n d   f u ll - sta c k   d e v e lo p m e n t.           S u sha n Pra b h u   is  c u rre n tl y   p u rsu in g   B.   T e c h   in   Co m p u ter  a n d   C o m m u n ica ti o n   T e c h n o l o g y   (CCE)  a M IT ,   M a n ip a l.   Cu rre n tl y   w o rk in g   in   De e p   Lea rn in g   (G r a p h   Em b e d d in g   Ne t w o rk s).   In tere ste d   in   a re a s o f   De e p   L e a rn in g ,   Da ta S c ien c e ,   A n a l y ti c s a n d   it s a p p li c a ti o n s.       Evaluation Warning : The document was created with Spire.PDF for Python.