I nte rna t io na l J o urna l o f   I nfo rm a t ics a nd   Co m m un ica t io n T ec hn o lo g y   ( I J - I CT )   Vo l.  15 ,   No .   2 J u n e   20 26 ,   p p .   769 ~ 7 7 7   I SS N:  2252 - 8 7 7 6 DOI 1 0 . 1 1 5 9 1 /iji ct . v15 i 2 . pp 769 - 7 7 7          769       J o ur na l ho m ep a g e h ttp : //ij ict. ia esco r e. co m   H y brid d eep n eur a l net wo rk  mo del  f o r as pect  and o p inio ex trac tion wi th  m ulti - hea d  atten tio n - driv en se ntime nt  a na ly sis       Abhi na n da n Shi ra ha t t i 1 ,   Ra m esh   M eda r 2 ,   Vij a y   Ra j pu ro hit 3 ,   Sa nje ev   K a ulg ud 4   M rut y un j a y a   M a t ha d   Sh iv a m urt ha ia h 5   1 D e p a r t me n t   o f   C o m p u t e r   S c i e n c e   a n d   E n g i n e e r i n g ,   K o l h a p u r   I n st i t u t e   o f   Te c h n o l o g y s,  C o l l e g e   o f   E n g i n e e r i n g ,   K o l h a p u r ,   I n d i a   2 D e p a r t me n t   o f   C S E   ( A I   & M L) ,   K a s e g a o n   E d u c a t i o n   S o c i e t y R a j a r a mb a p u   I n st i t u t e   o f   Te c h n o l o g y ,     a f f i l i a t e d   t o   S h i v a j i   U n i v e r si t y ,   I sl a m p u r I n d i a   3 D e p a r t me n t   o f   C o m p u t e r   S c i e n c e   a n d   E n g i n e e r i n g ,   K LS G o g t e   I n st i t u t e   o f   Te c h n o l o g y ,   B e l a g a v i ,   I n d i a   4 D e p a r t m e n t   o f   A r t i f i c i a l   I n t e l l i g e n c e   a n d   M a c h i n e   L e a r n i n g ,   N e w   H o r i z o n   C o l l e g e   o f   E n g i n e e r i n g ,   B e n g a l u r u I n d i a   5 S c h o o l   o f   E n g i n e e r i n g   Te c h n o l o g y ,   S v y a sa  D e e m e d   t o   b e   U n i v e r si t y   S a t v a   G l o b a l   C i t y   C a m p u s,  B e n g a l u r u ,   I n d i a       Art icle  I nfo     AB S T RAC T   A r ticle  his to r y:   R ec eiv ed   Dec   1 9 ,   2 0 2 4   R ev is ed   Dec   9 ,   2 0 2 5   Acc ep ted   Ma r   3 0 ,   2 0 2 6       F in d in g   a n d   e x trac ti n g   sig n ifi c a n fe a tu re fro m   re v iew   se n ten c e is  k n o wn   a a sp e c tri p let   e x trac ti o n ,   a n d   it   p r o v i d e su c c in c t   in f o rm a ti o n   o n   th e   e lem e n ts  th a u se rs  h a v e   a d d re ss e d .   Th is  m e th o d   m a k e se n ti m e n a n a ly sis   a n d   o p i n i o n   m in i n g   e a sie r,   wh ich   h e lp s   to   p r o v id e   a n   a d e q u a te  u n d e rsta n d i n g   o u se o p in i o n s   i n   re v iew s.  T h is  re se a rc h   p re se n t a   n o v e l   a p p ro a c h   to   a c h iev e   a sp e c t - se n ti m e n tri p let - e x trac ti o n   (AS TE u s in g   a   d e e p   n e u ra n e two rk   a n d   tran sfo rm e r - b a se d   m u lt i - h e a d   a tt e n ti o n   m o d e l.   Th e   pr o p o se d   h y b ri d   m o d e l   a d o p ts   a   p ip e li n e   m e th o d o lo g y ,   c o n c u rre n tl y   e x trac ti n g   o p i n i o n a n d   a sp e c ts  wh il e   p e rfo rm i n g   se n t ime n c las sifica ti o n .   Th e   stu d y   a d d re ss e s th e   in tri c a te ch a ll e n g e   o id e n ti fy in g   tri p lets t h a c a p tu re   n u a n c e d   re lati o n s h ip b e twe e n   term a n d   se n ten c e s,  e m p lo y in g   a   d e e p   n e u ra l   n e two rk   f o jo in e x trac ti o n   o f   a sp e c ts  a n d   o p i n io n u si n g   a   se q u e n ti a l   tag g i n g   m e th o d .   S e n ti m e n c las sifica ti o n   is  se a m les sly   in teg ra ted   in t o   th e   p ip e li n e ,   trea ti n g   se n t ime n re c o g n it i o n   a a   c las sifica ti o n   tas k ,   a n d   a sp e c t   a n d   o p i n io n   e x trac ti o n   a tex t - e x trac ti o n   c h a ll e n g e s.  Ev a l u a ti o n wa o u t   e x p e rime n tally   o n   t h e   S e m Ev a l   2 0 1 6   re sta u ra n d a tas e d e m o n stra te  th e   e ffe c ti v e n e ss   o th e   m o d e l,   d e sp it e   issu e s with   u n e q u a d istr ib u ti o n   o d a ta.   k ey w o r d s :   Asp ec t   Mu lti - h ea d - atten tio n   Pip elin ap p r o ac h   T r an s f o r m e   T r ip let  ex tr ac tio n   T h is i a n   o p e n   a c c e ss   a rticle   u n d e r th e   CC B Y - SA   li c e n se .     C o r r e s p o nd ing   A uth o r :   Ab h in an d a n   Sh ir ah atti   Dep ar tm en t o f   C o m p u ter   Scie n ce   an d   E n g in ee r in g   Ko lh ap u r   I n s titu te  o f   T ec h n o l o g y ' s   C o lleg o f   E n g in ee r in g   Ko lh ap u r ,   I n d ia   E m ail: a b h is h ir ah atti0 7 0 7 @ g m ail. co m       1.   I NT RO D UCT I O N   Asp ec t - s en tim en tr ip let - ex tr a ctio n   ( ASTE )   in v o l v es  th s e p ar atio n   o f   m en tio n s   o f   tar g et  en tity ,   ass o ciate d   s en tim en t,  an d   a n   o p in io n   r an g p r o v id in g   co n te x f o r   th s en tim en t.   C u r r en r esear ch   co m m o n ly   em p lo y s   p ip elin m eth o d s   o r   co m b in ed   a p p r o ac h   u tili zin g   s eq u en tial  tag g in g   to   a d d r ess   th is   is s u e.   I d en tify in g   tr ip lets   th at  co n v e y   r ich   in ter co n n ec tio n s   b etwe en   ter m s   an d   s en ten ce s   is   c h allen g in g   r esear ch   p r o b lem .   I n   th r ea lm   o f   asp ec t - b ased   s en tim en an aly s is   ( AB SA) ,   r ec en r esear ch   ef f o r ts   h av ex p lo r e d   v ar io u s   tech n iq u es  to   en h an c t h ex tr ac tio n   o f   asp ec t - s e n tim en tr ip lets ,   aim in g   f o r   m o r ac cu r ate  an d   co m p r eh e n s iv s en tim en t   u n d er s tan d in g .   No tab ly ,   a   s tu d y   b y   [ 1 ]   in tr o d u ce d   a   m u lti - tu r n   m ac h i n e - r ea d in g - co m p r eh e n s i o n   ( MT MRC )   task   an d   b i - d ir ec tio n al  MRC   ( B MR C )   ar ch itectu r e.   T h i s   wo r k   f o c u s ed   o n   co n s tr u ctin g   lin k s   b etwe en   co m p o n e n ts   u s in g   n o n - r estrictiv e,   r estrictiv e,   an d   s en tim en t - class if y in g   q u er ies.   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8 7 7 6   I n t J I n f   &   C o m m u n   T ec h n o l ,   Vo l.  15 ,   No .   2 J u n e   20 26 7 6 9 - 7 7 7   770   T h is   r esear ch   s ee k s   to   im p r o v th p r ec is io n   an d   ef f ec tiv e n ess   o f   ASTE   wi th in   s en tim en an aly s is   b y   d esig n in g   tr a n s f o r m e r - b ased   m u l ti - h ea d   atten tio n   n et wo r k .   T h p r o p o s ed   m eth o d   in teg r ates  h y b r i d   m o d el  with in   a   p ip elin e   s tr u ctu r th at   co n c u r r en tly   ex tr ac ts   o p in io n s ,   asp ec ts ,   an d   p er f o r m s   s en tim en t   class if icatio n .   T o   ac h iev th is ,   we  u tili ze   d ee p   n eu r al  n et wo r k   tailo r ed   f o r   th s im u lta n eo u s   ex tr ac tio n   o f   asp ec ts   an d   o p i n io n s   th r o u g h   s eq u en tial  tag g i n g   tech n iq u e.   Sen tim en class if icatio n   is   tr ea ted   as  d is tin ct   task   with in   th p ip elin e,   wh il asp ec an d   o p in io n   e x tr ac tio n   ar m an a g ed   as  tex t - e x tr ac tio n   ch allen g es.  T h e   k ey   co n tr ib u tio n   o f   th is   wo r k   is   its   ab ilit y   to   ca p tu r e   an d   c lass if y   in tr icate   r elatio n s h ip s   b etwe en   ter m s   an d   s en ten ce s ,   ad d r ess in g   im b alan ce d   d ata  ch allen g es,  as  ev id en ce d   b y   ex p er im en ts   o n   t h Sem E v al  2 0 1 6   r estau r an d ataset.   T h is   m eth o d   s ig n if ican tly   ad v a n ce s   ASTE   an d   o f f er s   r eliab le  s o lu tio n   f o r   m o r ac cu r ate   s en tim en t a n aly s is   in   co m p lex   r ev iew  d atasets .     Dai  an d   So n g   [ 2 ] ,   p r o p o s ed   m eth o d   f o r   m i n in g   e x tr ac tio n   p atter n s   f r o m   p r e - e x is tin g   tr ain in g   in s tan ce s   u s in g   th o u t p u o f   d ep en d en cy   p ar s er .   T h is   ap p r o ac h ,   in co r p o r atin g   b o th   a n n o tatio n   a n d   r u le - lab eled   s u p p lem en tar y   in f o r m atio n ,   d em o n s tr ated   im p r o v ed   ac cu r ac y   co m p ar ed   to   ex i s tin g   s tate - of - th e - ar t   m eth o d s .   T h i n tr o d u ctio n   o f   b id ir ec tio n al - en c o d er - r ep r esen tatio n s   f r o m   tr an s f o r m er s   ( B E R T )   in   [ 3 ]   m ar k e d   s ig n if ican lea p   in   lin g u is tic  r ep r esen tatio n .   Pre - tr ain in g   d ee p   b id i r ec tio n al  r ep r esen t atio n s   u s in g   tex tu al   d ata  r esu lted   in   s tate - of - t h e - a r p er f o r m an ce   o n   v ar io u s   n at u r al  lan g u a g p r o ce s s in g   ( NL P)  task s ,   in clu d in g   s en tim en t - r elate d   b en c h m ar k s .   Ad d r ess in g   th ch allen g e   o f   im p r o v in g   c o r r elatio n s   am o n g   tar g ets  an d   o p in io n s ,   [ 4 ]   p r o p o s ed   two - s tag ap p r o ac h   in v o lv in g   s eq u en ce   tag g in g   an d   th in s er tio n   o f   ar tific ial  tag s   ca lled   p er ce iv ab le  p air s .   T h eir   m o d el  o u tp er f o r m ed   s tate - of - th e - a r t a p p r o ac h es a cr o s s   d if f e r en t d atasets .   u n if ied   m o d el  f o r   e n d - to - e n d   tar g et - b ased   s en tim en an aly s is   was  in tr o d u ce d   in   [ 5 ] ,   u tili zin g   u n if ied   tag g in g   m et h o d .   E x p er im en tal  ev alu ati o n s   o n   b en ch m ar k   d atasets   d em o n s tr ated   th e   s u p er io r ity   o f   th eir   s y s tem   o v er   c o m p etito r s .   T o   en h an ce   en tity - r elatio n   ex tr ac tio n ,   [ 6 ]   p r esen ted   n o v el  p ar ad ig m ,   r ec asti n g   th p r o b lem   as  s et  o f   r elate d   q u esti o n s .   Pro v id ed   two - s tep   p r o ce s s ,   u s in g   u n if ied   m o d el  to   f o r ec ast  th wh at,   h o w,   an d   wh y ,   an d   p air in g   th r esu lts   to   p r o d u ce   tr ip lets   [ 7 ] Po r ia   e a l.   [ 8 ] ,   ch allen g ed   ex is tin g   v iews,  h ig h lig h tin g   g ap s   an d   u n ex p l o r ed   ter r ito r y   ess en tial  f o r   co m p lete  s en tim en co m p r eh e n s io n .   T h ey   p r o p o s ed   tr ajec to r y   f o r   f u r th e r   s tu d y ,   ad d r ess in g   ig n o r ed   a n d   u n s o lv e d   to p ics.   T h wo r k   in   [ 9 ]   p r o p o s ed   co m p r eh e n s iv m o d el,   o f f er in g   s tate - of - th e - ar o u tco m es  with o u t h n ee d   f o r   p ar s er s   o r   ad d itio n al  lan g u ag e   r eso u r ce s .   C o m p ar ativ a n aly s es  with   v ar io u s   b aselin es  an d   Sem E v al  C h allen g r esu lts   co n f ir m e d   th m o d el' s   ef f icac y .   I n tr o d u cin g   th g r id   ta g g in g   s ch em ( GT S)  in   [ 1 0 ] ,   th au th o r s   tack led   th e   asp ec t - f o cu s ed   o p i n io n   ex tr ac tio n   ( AFOE )   task   with   u n if ied   g r id   tag g in g   o p e r atio n .   GT m o d els,  b ased   o n   C NN,   B iLST M,   an d   B E R T ,   o u tp er f o r m ed   s tr o n g   b aselin e s   in   asp ec t - o r ien ted   o p in io n   p air   ex tr ac t io n   an d   o p in io n   tr ip let   ex tr ac tio n   d ata s ets.  E n d - to - e n d   t r ip let  ex tr ac tio n   was  ex p lo r ed   b y   [ 1 1 ] ,   u tili zin g   p o s itio n - awa r tag g in g   tech n iq u e.   E x p er im en tal  f in d in g s   d em o n s tr ated   s u p er io r   p er f o r m a n ce   co m p ar ed   to   s tate - of - th e - ar m eth o d s .   R ef r am in g   AB SA  a s   a n   o p in io n   tr i p let  ex tr ac tio n   task ,   p r o p o s ed   a   m u lti - task   lear n in g   f r am ewo r k   f o r   s im u ltan eo u s   a s p ec an d   o p in io n   ter m   ex tr ac t io n ,   ac h iev in g   s u p e r io r   p er f o r m an ce   o n   Sem E v al   b en ch m ar k s   [ 1 2 ] .   Li   et  a l.   [ 1 3 ] ,   th a u th o r s   in tr o d u ce d   a n   in n o v ativ m eth o d   f o r   asp e ct - ter m   ex tr ac tio n   ( AT E ) ,   lev er ag in g   s u m m ar ies   o f   o p in io n s   an d   asp ec d etec tio n   h is to r y   to   o u tp er f o r m   ex is tin g   s tate - of - th e - ar t   m eth o d s .   u n iq u d ee p   m u l ti - task   lear n in g   ar ch itectu r b ased   o n   lo n g   s h o r t - ter m   m e m o r y   ( L STM )   was   p r esen ted   in   [ 1 4 ] ,   s h o wca s in g   ef f icien cy   in   asp ec p h r ase  ex t r ac tio n   ac r o s s   two   in d u s tr y - s tan d ar d   d atasets .   T h d u al  cr o s s - s h ar ed   R NN  f r am ewo r k   ( DOE R )   was  in tr o d u ce d   in   [ 1 5 ] ,   d e m o n s tr atin g   s u p er io r   p er f o r m an ce   in   g en e r atin g   as p ec ter m - p o lar ity   p ai r in g s   ac r o s s   th r ee   b en c h m ar k   d atasets Pro p o s ed   n ew   tech n iq u e   f o r   asp ec t   ter m   ex tr ac tio n   u s in g   u n s u p er v is ed   lea r n in g   o f   d is tr ib u te d   r e p r esen ta tio n s   o f   wo r d s   an d   d ep en d e n cy   p at h s   [ 1 6 ] .   p ar ad ig m   s h if was  p r esen ted   in   [ 1 7 ]   with   ASTE - R L ,   tr ea tin g   asp ec an d   o p in i o n   wo r d s   as  r ea s o n s   f o r   c o m m u n icate d   em o tio n   with in   h ier ar ch ical  R L   f r am ew o r k .   E x p er im en tal  r esu lts   d em o n s tr ated   s u p er io r ity   o v e r   cu r r e n b est  p r ac tices  in   c o m p u ter   an d   r estau r an in d u s tr y   d atasets .   T h ese  s tu d ies  co llectiv ely   co n tr ib u t to   th ev o lv in g   lan d s ca p e   o f   AB SA,  s h o wca s in g   ad v an ce m en ts   in   tr ip let   ex tr ac tio n   tech n i q u es a n d   p r o v id in g   v alu ab le  in s ig h ts   f o r   f u tu r r esear ch   d ir ec tio n s .       2.   RE S E ARCH   M E T H O D   P r o p o s e d   h y b r i d   m e t h o d   d e s ig n e d   f o r   t h e   e x t r a c t i o n   o f   t r i p l e t s   i n   as p e c t - b as e d   s e n t i m en t   a n a l y s is   ( A B S A ) .   Fi g u r e   1   i l l u s t r a t es   t h e   a r c h i t e c t u r e   o f   t h e   p r o p o s e d   h y b r i d   m e t h o d ,   w h i c h   c o n s i s t s   o f   t w o   c r u c i a l   s t e p s .       2 . 1 .     Asp ec t   a nd   o pin io ex t r a ct io n   T h f ir s s tep   in v o lv es  th e   ex t r ac tio n   o f   o p in i o n s   an d   asp ec t s   f r o m   g i v en   r e v iew  s en ten c e.   d ee p   n eu r al  n etwo r k   tex e x tr ac tio n   m eth o d   is   em p l o y ed   to   ac co m p lis h   th is   task .   T h in p u to   th is   s tep   is   r ev iew  s en ten ce ,   an d   th e   o u t p u c o m p r is es  th ex tr ac ted   asp ec ts   a n d   o p in io n s .   T h is   s u b s ec tio n   d is cu s s es  th jo in ex tr ac tio n   o f   o p in io n s   an d   asp ec ts   f r o m   r ev iew  s en ten ce s   u s in g   th e   p r e - t r ain ed   an d   f in e - t u n ed   B E R T   m eth o d   v ia  Hu g g in g - Face - T r a n s f o r m er s .   T h f in e - tu n in g   p r o ce s s   en co m p ass es  s ev er al  tas k s ,   s tar tin g   with   th e   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J I n f   &   C o m m u n   T ec h n o l     I SS N:   2252 - 8 7 7 6       Hyb r id   d ee p   n e u r a l n etw o r mo d el  fo r   a s p ec t a n d   o p in io n   ex tr a ctio n   w ith   … ( A b h in a n d a n   S h ir a h a tti )   771   r ep r esen tatio n   o f   a   r ev iew  s en ten ce   as,  { 1 , 2 , 3 ,   . . . , }.   h a v in g     to k en s .   Usi n g   th is   r e v iew  s en ten ce ,   th Asp ec t - Sen tim en T er m   E x tr ac tio n   m eth o d   f ir s tr ies  to   id en tify   all  th tr ip lets .   T   {( ) | T | ,   wh er e = 1 .   T h is   u s ed   to   d e f in th asp ec t,   is   u s ed   to   d e f in t h o p in i o n ,     is   u s ed   f o r   d e f in in g   th e   s en tim en an d   | T | ,   is   u s ed   to   d ef in th e   m ag n it u d o f   t h tr i p lets .   Fu r th er ,   th is   h y b r id   m et h o d   u s es  p o s itio n - tag g in g   m eth o d .   T h p o s itio n - tag g in g   m eth o d     is   u s ed   f o r   d e f in in g   t h asp ec at   th s tar tin g   p o i n an d     is   u s ed   f o r   d e f in in g   th asp ec at  th en d in g   p o in t.  Als o ,     is   u s ed   f o r   d e f in in g   t h o p in i o n   at  th s tar tin g   p o in t   an d     is   u s ed   f o r   d ef in in g   th o p in io n   at  th en d in g   p o i n t.  Mo r eo v er ,   as  th r ev iew  t ex ts   ar alr ea d y   em b ed d e d ,   th e   p o s itio n   en c o d i n g   m et h o d   h as  b ee n   u s ed   f o r   e m b ed d in g   th e   p o s itio n   o f   th e   o p in io n   an d   asp ec to k en s .   T h to k en s   wh ic h   h av b ee n   co n tex tu alize d ,    1 1 , ……. ,  },   ar e   th en   r ep r esen ted   u s in g   th B E R T   m eth o d .   Fo r   th class if icatio n   o f   th e   to k en s ,   t h So f t m ax   m eth o d   h as  b ee n   u s ed   w h ich   is   r ep r esen ted   u s in g   =   (  1 1 + 1 ) .   W h en   th e   class if icatio n   to k e n s   ar e   class if ied ,   th en   th r esu lts   ar e   s ep ar ated   u s in g   th tar g et  wh ich   is   s et  u s in g   th o p in io n   s et  { 1 , 2 , , an d   asp ec s et  { 1 , 2 , . , } .   Fig u r 2   s h o ws  m o d el  t h at  t ak es  m u ltip le  in p u ts   f r o m   a   r e v iew  s en ten ce   an d   p r o ce s s es  th em   u s in g   B E R T - b ased   lan g u ag m o d el.   T h m o d el  th e n   s p lits   in to   two   p ar allel  p ath s   to   p r ed i ct  th s tar an d   en d   p o s itio n s   o f   asp ec ts   an d   o p in io n s   in   th tex t.  E ac h   p ath   u s es d en s an d   f latten   lay er s   f o llo wed   b y   ac tiv atio n   to   g en er ate  f in al  o u tp u ts .   I h el p s   id en tify   an d   ex tr ac im p o r tan o p in io n   wo r d s   an d   asp ec ter m s   f r o m   th e   s en ten ce   ef f icien tly .           Fig u r 1 .   Hy b r id   m et h o d   f o r   t h ex tr ac tio n   o f   tr ip lets           Fig u r 2 .   p r o p o s ed   m eth o d   f o r   o p in io n s   an d   asp ec ts   tex t e x tr ac tio n   f r o m   u s in g   th r e v iew  s en ten ce   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8 7 7 6   I n t J I n f   &   C o m m u n   T ec h n o l ,   Vo l.  15 ,   No .   2 J u n e   20 26 7 6 9 - 7 7 7   772   2 . 2 .     P o la rit y   cla s s if ica t io n   T h p r o p o s ed   T FB E R T   m eth o d ,   p r e - tr ain ed   a n d   o p tim ized   with   to k en   an d   p o s itio n - em b e d d ed   lay e r s   alo n g   with   tr an s f o r m e r   b lo ck s ,   f o r m s   th b ac k b o n o f   th is   class if icatio n   ap p r o ac h .   T h in p u t to   th is   m eth o d   is   r ev iew  s en ten ce   r ep r esen ted   as  S   {s 1 ,   s 2 ,   s 3 ...   s 1 } .   I n   th is   p r o ce s s ,   b o th   th en c o d ed   o p in io n   s et  Y O   {o 1 o 2 . . .   o m }   an d   asp ec s et  Y A   {a 1 ,   a 2 . . .   a m }   ar p ass ed   th r o u g h   an   en co d er .   T h r esu ltin g   en co d ed   s ets,  alo n g   with   th in p u s en ten ce   S,   c o llectiv ely   co n tr i b u te  to   th class if icatio n   o f   p o lar ity .   T h i s   m eth o d   e n s u r es  a   co m p r eh e n s iv ev alu atio n   o f   s en tim en p o lar ity   b y   co n s id er in g   b o th   th e   o p in i o n s   an d   asp ec ts   ex tr ac ted   f r o m   th in p u t r e v iew  s en ten ce ,   th u s   en h an cin g   t h o v e r all  r o b u s tn ess   o f   o u r   p r o p o s ed   f r am ewo r k .   T h f u n d am en tal  tr a n s f o r m er - en co d er   c o m p r is es  two   in teg r al  co m p o n en ts th m u lti - h ea d - atten tio ( MH A)   m eth o d   an d   a   f u lly   c o n n ec ted   lay er .   W ith in   th e   tr an s f o r m er - e n co d e r   f r am ewo r k ,   th e   MH p lay s   a   p iv o tal  r o le  in   ca p tu r in g   v a r io u s   s tates  o f   th in p u t,  em p lo y i n g   s elf - atten tio n   ap p r o ac h   f o r   co n s tr u ctin g   b o th   in p u an d   o u tp u r ep r esen tatio n s .   T h C o n tex t - Asp ec t - W o r d - I n ter ac tio n   is   ac h iev e d   th r o u g h   th MH A,   wh er e   th in p u ts   f o r   th MH f u n cti o n   co n s is o f   v alu e - p air ,   q u er y   ' q , '   an d   s et  o f   k e y s   'k '   d ef in ed   as  k=  {k 1 ,   k 2 k 3 ,   . . . ,   k n }.   T h ca lc u latio n   o f   s ca led   d o p r o d u ct  atte n tio n   in v o lv es  d eter m in in g   weig h ts   th r o u g h   th d o p r o d u ct  o f   k ey s   an d   q u er y   'q , '   with   th d is tr ib u ti o n   o f   atten ti o n   co m p u ted   u s in g   ( 1 ) .        ( , ) =   ( ( , ) )   ( 1 )     2 . 2 . 1 .   At t ent io m ec ha nis m   a nd   hea d inte g ra t io n   In   ( 2 ) ,   th s em an tic - g ai n s   is   em p lo y ed   to   ca lcu late  s em an tic  r elev an ce   b etwe en   th asp ec t - wo r d   an d   co n tex t,  co n s titu tin g   th s co r in g   m ec h an is m   in   ( 2 ) :       =       ( [ , ] . )   ( 2 )     T h is   s co r in g   m ec h an is m   is   v ital  in   th m u lti - h ea d   atten tio n   m ec h an is m   ( MH A)   co m p u t atio n ,   wh er eig h h ea d s   ar u tili ze d   f o r   lear n in g   in f o r m atio n   ac r o s s   d if f er en b atch es.  T h h ea d s ,   r ep r ese n ted   as  h ea d i ,   ar e   ca lcu lated   u s in g   th atten tio n   f u n ctio n   in   ( 3 ) ( 4 ) .      =    ( , )   ( 3 )     =   (  1    2      3  ) .   ( 4 )     T h MH f u n ctio n   m itig ates  th v an is h in g - g r ad ien is s u b y   o f f e r in g   m o r s tr aig h tf o r war d   p ath   to   t h e   in p u ts .   Au g m en tatio n   o f   h i d d en   an d   o u tp u s tates  with   co n tex v ec to r   C i ,   co m p u ted   th r o u g h   ( 5 ) ,   a d d r ess es  th is   co n ce r n   u s in g   ( 5 ) .       =   = 1    ( 5 )     2 . 2 . 2 .   At t ent io ca lcula t io n a nd   a lig nm ent   m et ho d   I n   ( 6 ) ,   th atten tio n   a ij   f o r   th i th   o u tp u t,  wh ich   is   d eter m i n ed   b y   s o f tm a x   (  ) .   T h e ij   v alu es  ar e   o b tain ed   u s in g   ( 7 ) ,   wh e r 'f'   r ep r esen ts   th alig n m en t   m eth o d ,   s co r in g   in p u ts   s u r r o u n d e d   b y   th e   j th   o u tp u at  th e   i th   p o s itio n .   T h h i d d en   s tate  S (i - 1) ,   d e r iv ed   f r o m   th e   p r e v io u s   tim s te p ,   in f lu en ce s   th e   alig n m en m et h o d ,   wh ich   ca n   b e   ad d itiv e,   m u ltip l icativ e,   o r   d o t p r o d u ct,   o f f e r in g   f lex ib ilit y   in   co m p u tatio n .      =     (  ) =     (  ) = 1     (  )   ( 6 )      = ( 1 , )   ( 7 )     T h is   co m p r eh en s iv tr a n s f o r m er - en co d er   m ec h a n is m   in teg r ates  atten tio n ,   m u lti - h ea d   f u n ctio n ality ,   a n d   co n tex t a u g m en tatio n   t o   ef f ec t iv ely   ca p tu r a n d   p r o ce s s   s eq u en tial in f o r m atio n   with in   v a r io u s   NL P task s .       3.   RE SU L T S AN D I SCU SS I O N     T h im p lem en tatio n   o f   th p r e s en ted   h y b r id   m et h o d   h as  b ee n   ca r r ied   o u t   in   Py th o n ,   u tili zin g   th e   Ker as  d ee p   n eu r al - n etwo r k   ap p r o ac h   f o r   b o t h   tr ain in g   an d   test in g   ac r o s s   two   p h ases ,   T h ev alu atio n   o f   th e   m eth o d   is   p er f o r m e d   o n   th Sem E v al  2 0 1 6   r estau r an t   d at aset,  an d   c o n cise  o v er v iew   o f   th is   d ataset  is   p r o v id e d   in   th e   s u b s eq u en t sec tio n .   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J I n f   &   C o m m u n   T ec h n o l     I SS N:   2252 - 8 7 7 6       Hyb r id   d ee p   n e u r a l n etw o r mo d el  fo r   a s p ec t a n d   o p in io n   ex tr a ctio n   w ith   … ( A b h in a n d a n   S h ir a h a tti )   773   3 . 1 .     Da t a s et   T h is   s ec tio n   d elv es  in to   a   b r i ef   ex p lan atio n   o f   th Sem E v al  d ataset,   o r ig in atin g   f r o m   f i v d is tin ct  ch allen g es  [ 1 8 ] - [ 2 0 ] .   Op i n io n s   ar class if ied   f o r   ea c h   ter m   an d   s en ten ce   as  p r esen ted   i n   [ 2 1 ] ,   s er v in g   as  th e   f o u n d atio n   f o r   tr ain i n g   a n d   tes tin g   o f   o p in io n   ter m s   an d   s en t en ce s   [ 2 2 ] .   Fig u r 3   p r o v id es  an   o v er v iew  o f   th class   d is tr ib u tio n   with in   th v a lid atio n ,   test in g ,   an d   tr ain in g   d atasets .     I n   Sem E v al,   th e   cu s to m er   r e v iews  f o r   t h r estau r a n d ata s et  ar ca teg o r ize d   in t o   th r e class es:   n eu tr al  ( NE U) ,   p o s itiv ( POS),   an d   n eg ativ ( NE G) .   T h e   a n aly s is   f r o m   Fig u r e   3   r e v ea ls   an   im b alan ce   i n   th e   d ataset,   ch ar ac ter ized   b y   s u b s tan tial  n u m b er   o f   p o s itiv r ev iews,  s m aller   q u an tity   o f   n eu tr al  r ev iews,  an d   m o d er ate   n u m b er   o f   n e g ativ r ev iews  d u r i n g   th e   tr ain in g   p h ase.   T h is   d is tr ib u ti o n   p atter n   p er s is ts   co n s is ten tly   in   b o th   t h v al id at io n   an d   test in g   d atasets   [ 2 3 ].           Fig u r 3 .   Sen tim en t c lass   d is tr ib u tio n   in   tr ai n in g ,   test in g ,   an d   v alid atio n   d atasets       3 . 2 .     O pin io n a nd   a s pect   ex t r a ct io n:  m e t ho do lo g y   f o e v a l ua t io n   T o   ass ess   th p er f o r m a n ce   o f   th o p in io n   an d   asp ec t   ex tr ac ti o n ,   a   p a r am eter   k n o wn   as   "e x ac m atch "   is   in tr o d u ce d .   T h is   p ar am eter   g au g es  th p r ec is io n   o f   th m eth o d   b y   alig n i n g   with   th s p ec if ic  lo ca tio n   o f   o p in io n   ter m s   an d   asp ec ts .   T h ex tr ac tio n   p r o ce s s   is   co n ce p tu alize d   as  tex ex tr ac tio n   ch allen g e,   wh er th e   lo g it  o f   th in itial  an d   en d in g   lo ca tio n s   o f   o p in io n s   an d   asp e cts  s er v es  a s   th o u tp u t.   T h m o d el  is   tr ain ed   f o r   2 0   iter atio n s ,   o p tim izin g   f o u r   cr o s s - ca teg o r y   en tr o p y - lo s s   f u n ctio n s .   E ac h   f u n ctio n   c o r r esp o n d s   to   o n o p in io n   an d   o n p er s p ec tiv e   s tate,   f o cu s in g   o n   th i n itial  an d   en d in g   l o ca tio n s   wi th in   th tr ain in g   s et.     Fig u r 4   p r esen ts   a   lin g r ap h   illu s tr atin g   t h p r ec is m at ch   s co r e,   lo s s ,   an d   v alid atio n   lo s s   ac r o s s   th 2 0   iter atio n s   d u r in g   b o th   th tr ain in g   an d   v alid atio n   p h ases .           Fig u r 4.   E x ac m atch   s co r e ,   l o s s ,   an d   v alid atio n   lo s s   d u r in g   th tr ain in g   p h ase       co m p r e h en s iv o v er v iew   o f   th tr ain i n g ,   v alid atio n ,   an d   t esti n g   r esu lts   f o r   t h f o u r   lo s s   f u n ctio n s   an d   an   ex ac t   m atch   is   p r o v id e d   in   T ab le  1 .   T h is   ev alu atio n   f r am ewo r k   en s u r es  a   th o r o u g h   u n d er s tan d in g   o f   th m o d el' s   p er f o r m a n ce   in   e x tr ac tin g   asp ec ts   an d   o p in io n s   o v er   th c o u r s o f   tr ain in g   iter atio n s .     Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8 7 7 6   I n t J I n f   &   C o m m u n   T ec h n o l ,   Vo l.  15 ,   No .   2 J u n e   20 26 7 6 9 - 7 7 7   774   T ab le  1 Asp ec t a n d   o p i n io n   e x tr ac tio n   r esu lts   f o r   tr ain in g ,   v alid atio n ,   an d   test in g   P h a se   A sp e c t   s t a r t   l o ss   A sp e c t   e n d   l o s s   O p i n i o n   st a r t   l o ss   O p i n i o n   e n d   l o ss   Ex a c t   ma t c h   sc o r e   Tr a i n i n g   0 . 0 1 3 4   0 . 0 0 3 3   0 . 0 1 4 2   0 . 0 0 4 1   8 1 %   V a l i d a t i o n   0 . 0 9 1 2   0 . 1 0 1 2   0 . 0 9 0 2   0 . 0 9 7 2   7 6 %   Te st i n g   -   -   -   -   7 5 %       3 . 3 .   P o la rit y   cla s s if ica t io n mo del   Utilizin g   an   en h a n ce d   T FB E R T   p r e - tr ain ed   m eth o d ,   w h ich   in co r p o r ates  lo ca tio n   a n d   to k en   em b ed d in g s   f o r   ea ch   o p i n io n   an d   asp ec t,  alo n g   with   cu s to m er   r ev iew  s en ten ce s   o r   tex t,  tr an s f o r m atio n   b lo ck s ,   a n d   atten tio n - h ea d s ,   a   d ee p   n e u r al - n etwo r k   h as  b ee n   d esig n e d   f o r   p o lar ity   class if icatio n .   T h e   m o d el ,   tr ain ed   with   a n   Ad am   o p tim iz er ,   u n d e r g o es 3 0   iter atio n s   to   class if y   p o lar ity   d ata.   T h o b j ec tiv is   to   o p tim ize   ac cu r ac y   wh ile  m in i m izin g   th Sp ar s e - C ateg o r ical  C r o s s - E n tr o p y   L o s s - Fu n ctio n .   Up o n   clo s er   ex am in ati o n   o f   in d iv id u al  class es  d u r in g   te s tin g   p h ase,   th e   p o s itiv e   r ev iew  class   ex h ib ited   r ec all  o f   9 5 % ,   p r e cisi o n   o f   7 7 % ,   an d   an   f - m ea s u r o f   8 5 % .   I n   co n tr ast,  th n eu tr al  an d   n eg ativ e   r ev iew  class es  d is p lay ed   less   f av o r a b le  m etr ics,  with   ac cu r ac y ,   r ec all,   f - m ea s u r e,   a n d   p r ec is io n   all  f allin g   b elo 5 0 % .   T h is   h ig h lig h t s   a   s ig n if ican im b alan ce   in   th d ataset,   co m p r is in g   2 1 0   s am p les  f o r   th p o s itiv e   class ,   9 6   s am p les  f o r   th n eg ativ class ,   an d   m er 1 6   s a m p les  f o r   th n e u tr al  class   i n   T ab le  2 .   Fig u r p r o v id es  v is u al  r ep r esen tati o n   o f   th class if icatio n   r esu lts   f o r   ea ch   s tag e.   No tab ly ,   d u r i n g   tr ain in g ,   m o s o f   th s am p les  wer ac cu r ately   id en tifie d ,   r esu ltin g   in   9 9 p r ec is io n   r ate.   Ho wev er ,   v alid a tin g   an d   test in g   th e   n eu tr al  class   s am p les ex h ib ited   5 0 % su cc ess   r ate,   u n d er s c o r in g   th e   ch allen g es p o s ed   b y   im b alan ce d   d ata.   T ab le  3   p r esen ts   c o m p a r a tiv an aly s is   b etwe en   th e   p r o p o s ed   s y s tem   an d   ex is tin g   m o d els,  ev alu atin g   k ey   m etr ics  s u ch   as  ac cu r ac y ,   p r ec is io n ,   r ec all ,   an d   F1 - s co r e.   Ou d al o v   et  a l,   [2 4 ] ,   th m o d el  ac h iev ed   a   p r ec is io n   o f   4 6 . 9 6 ,   r ec all  o f   6 4 . 2 4 ,   an d   an   F1 - s co r o f   5 4 . 2 1 .   R ep o r ted   a   p r ec is i o n   o f   6 5 . 6 5 ,   r ec all  o f   5 4 . 2 8 ,   an d   a n   F1 - s co r o f   5 9 . 4 2   [ 1 2 ] .   Dem o n s tr ated   p r ec is io n   o f   7 0 . 1 7 ,   r ec all  o f   5 5 . 9 5 ,   an d   an   F1 - s co r e   o f   6 2 . 2 6   [ 1 0 ] .   R ep o r te d   a n   ac cu r ac y   o f   7 0 . 9 1 ,   p r ec is io n   o f   6 9 . 8 7 ,   r ec all   o f   6 5 . 6 8 ,   an d   a n   F1 - s co r e   o f   6 7 . 3 5   [ 2 5 ] .   Ad d itio n ally ,   [ 1 7 ]   ac h iev ed   an   ac cu r ac y   o f   7 2 . 1 1 ,   p r ec is io n   o f   6 7 . 2 1 ,   r ec all  o f   6 9 . 6 9 ,   an d   an   F1 - s co r e   o f   6 8 . 4 1 .   I n   co m p ar is o n ,   th p r o p o s ed   m o d el  ex h ib ited   s u p er i o r   p er f o r m an ce   with   an   ac cu r ac y   o f   7 6 ,   p r ec is io n   o f   7 4 ,   r ec all  o f   7 6 ,   an d   a n   F1 - s co r o f   7 3 .       T ab le  2 .   Pre cisi o n ,   r ec all  an d   f 1 - s co r m etr ics f o r   test in g   p h a s e   Te st i n g   p h a s e     P r e c i s i o n   R e c a l l   F1 - sc o r e   S u p p o r t   P o si t i v e   0 . 7 7   0 . 9 5   0 . 8 5   2 1 0   N e g a t i v e   0 . 7 6   0 . 4 6   0 . 5 7   96   N e u t r a l   0 . 2 5   0 . 0 6   0 . 1 0   16   a c c u r a c y       0 . 7 6   3 2 2   mac r o   a v g   0 . 5 9   0 . 4 9   0 . 5 1   3 2 2   w e i g h t e d   a v g   0 . 7 4   0 . 7 6   0 . 7 3   3 2 2           Fig u r 5.   C o n f u s io n   m atr i x   f o r   tr ain in g ,   v alid atio n   a n d   test in g   p h ases       Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J I n f   &   C o m m u n   T ec h n o l     I SS N:   2252 - 8 7 7 6       Hyb r id   d ee p   n e u r a l n etw o r mo d el  fo r   a s p ec t a n d   o p in io n   ex tr a ctio n   w ith   … ( A b h in a n d a n   S h ir a h a tti )   775   T ab le  3 .   C o m p a r is o n   o f   th ex is tin g   s y s tem   with   p r o p o s ed   s y s tem   M o d e l   A c c u r a c y   ( %)   P r e c i s i o n   ( %)   R e c a l l   ( %)   F1 - S c o r e   ( %)   W h a t H o w W h y   [ 2 3 ]   -   4 6 . 9 6   6 4 . 2 4   5 4 . 2 1   O TE - M TL   [ 1 2 ]   -   6 5 . 6 5   5 4 . 2 8   5 9 . 4 2   G TS ( B i LS TM )   [ 1 0 ]   -   7 0 . 1 7   5 5 . 9 5   6 2 . 2 6   JET t   ( B i LS TM )   [ 2 4 ]   5 8 . 4 5   6 3 . 5 9   5 0 . 9 7   5 6 . 5 9   JET o   ( B i LST M )   [ 2 5 ]   6 0 . 9 0   7 0 . 9 4   5 7 . 0 0   6 3 . 2 1   G TS ( B E R T)   [ 1 0 ]   -   6 5 . 8 9   6 6 . 2 7   6 6 . 0 8   JET t   ( B ER T)   [ 2 3 ]   6 3 . 7 5   7 0 . 4 2   5 8 . 3 7   6 3 . 8 3   JET o   ( B ER T)   [ 2 3 ]   -   6 3 . 5 7   7 1 . 9 8   6 7 . 5 2   TO P   [ 2 5 ]   7 0 . 9 1   6 9 . 8 7   6 5 . 6 8   6 7 . 3 5   A S TE - R [ 1 7 ]   7 2 . 1 1   6 7 . 2 1   6 9 . 6 9   6 8 . 4 1   P r o p o se d   M o d e l   76   74   76   73       4.   CO NCLU SI O N   T h is   p ap er   in tr o d u ce d   h y b r id   m eth o d   f o r   jo in e x tr ac tio n   o f   asp ec an d   o p in io n ,   co u p led   with   s en tim en class if icat io n   u s in g   p ip elin ap p r o ac h .   L ev er a g in g   T r an s f o r m er - b ased   Mu lti - Hea d   Atten tio n   Netwo r k ,   th p r o p o s ed   m o d e d em o n s tr ated   p r o m is in g   r esu lts   in   ex tr ac tin g   n u an ce d   r el atio n s h ip s   b etwe en   ter m s   an d   s en ten ce s .   T h p ip elin ap p r o ac h   allo wed   f o r   th s im u ltan eo u s   ex tr ac tio n   o f   asp ec an d   o p in io n ,   as   well  as  s en tim en class if icati o n ,   ad d r ess in g   th e   ch allen g e s   p o s ed   b y   Asp ec t - Sen tim en tr ip let  ex tr ac tio n   ( ASTE ) .   T h ex p er im en tal  ev alu atio n s   o n   th Sem E v al  2 0 1 6   r estau r an d ataset  s h o wca s ed   th ef f ec tiv e n ess   o f   th p r o p o s ed   m et h o d ,   ac h i ev in g   h ig h   ac cu r ac y   d u r i n g   tr ain in g .   Ho wev er ,   ch allen g es  em er g ed   d u r in g   th v alid atio n   an d   test in g   p h ases ,   p ar ticu lar ly   in   h an d lin g   im b al an ce d   d ata  d is tr ib u tio n   ac r o s s   s en tim en class es .   T h in s ig h ts   g ain ed   f r o m   t h is   s tu d y   n o o n l y   co n tr i b u te  to   th ad v an ce m en o f   s en tim en an aly s is   m eth o d o l o g ies  b u also   u n d er s co r th im p o r tan ce   o f   ad d r ess in g   d ata  im b alan ce s   in   r e al - wo r ld   s ce n ar io s .   Fu r th er   r esear ch   c o u ld   d elv e   in to   th r ef i n em en o f   th p r o p o s ed   h y b r id   m o d el,   ex p l o r in g   v ar iatio n s   in   n etwo r k   ar c h itectu r es,  h y p er p ar am eter   tu n in g ,   a n d   alter n ati v d ee p   lear n in g   f r am ew o r k s .   I n v esti g a tin g   th e   ap p licatio n   o f   tr an s f er   lear n i n g   tec h n iq u es,   s u ch   as  lev er ag in g   p r e - tr ai n ed   lan g u a g m o d els,  co u ld   also   co n tr ib u te  to   im p r o v ed   p er f o r m an ce   o n   s en tim en t a n aly s is   task s .       ACK NO WL E DG E M E NT S   W ex p r ess   o u r   s in ce r ap p r ec iatio n   to   th Dep ar tm en o f   C o m p u ter   Scien ce   an d   E n g in ee r in g ,   Ko lh ap u r   I n s titu te  o f   T ec h n o lo g y s   C o lleg o f   E n g in ee r in g   ( E m p o wer e d   Au to n o m o u s ) ,   Ko lh a p u r ,   Ma h ar ash tr a,   I n d ia,   f o r   en c o u r ag in g   f ac u lty   m em b e r s   to   s u b m it  an d   p r esen t   r esear ch   wo r k   th r o u g h   t h I n - Ho u s R ev iew,   as we ll a s   f o r   p r o v id i n g   f i n an cial  s u p p o r t.       F UNDING   I NF O R M A T I O N   Au th o r s   s tate  n o   f u n d in g   in v o lv ed .       AUTHO CO NT RI B UT I O NS ST A T E M E N T   T h is   jo u r n al  u s es  th C o n tr ib u to r   R o les  T ax o n o m y   ( C R ed iT )   to   r ec o g n ize  in d iv id u al  au th o r   co n tr ib u tio n s ,   r ed u ce   au th o r s h ip   d is p u tes,  an d   f ac ilit ate  co llab o r atio n .       Na m o f   Aut ho r   C   M   So   Va   Fo   I   R   D   O   E   Vi   Su   P   Fu   Ab h in an d a n   Sh ir ah atti                               R am esh   Me d ar                               Vijay   R ajp u r o h it                               San jeev   Kau lg u d                               Mr u ty u n jay Ma th ad   Sh iv am u r th aiah                                 C     C o n c e p t u a l i z a t i o n   M     M e t h o d o l o g y   So     So f t w a r e   Va     Va l i d a t i o n   Fo     Fo r mal   a n a l y s i s   I     I n v e s t i g a t i o n   R     R e so u r c e s   D   :   D a t a   C u r a t i o n   O   :   W r i t i n g   -   O r i g i n a l   D r a f t   E   :   W r i t i n g   -   R e v i e w   &   E d i t i n g   Vi     Vi su a l i z a t i o n   Su     Su p e r v i s i o n   P     P r o j e c t   a d mi n i st r a t i o n   Fu     Fu n d i n g   a c q u i si t i o n         Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8 7 7 6   I n t J I n f   &   C o m m u n   T ec h n o l ,   Vo l.  15 ,   No .   2 J u n e   20 26 7 6 9 - 7 7 7   776   CO NF L I C T   O F   I N T E R E S T   ST A T E M E NT   Au th o r s   s tate  n o   co n f lict o f   in t er est       DATA AV AI L AB I L I T Y   Data   av ailab ilit y   is   n o ap p li ca b le  to   th is   p ap er   as  n o   n e d ata  wer cr ea ted   o r   an aly ze d   in   th is   s tu d y .       RE F E R E NC E   [ 1 ]   S .   C h e n ,   Y .   W a n g ,   J.  Li u ,   a n d   Y .   W a n g ,   B i d i r e c t i o n a l   m a c h i n e   r e a d i n g   c o m p r e h e n si o n   f o r   a s p e c t   s e n t i m e n t   t r i p l e t   e x t r a c t i o n ,   Pro c e e d i n g o f   t h e   A AAI  C o n f e r e n c e   o n   Art i f i c i a l   I n t e l l i g e n c e ,   v o l .   3 5 ,   n o .   1 4 ,   p p .   1 2 6 6 6 1 2 6 7 4 ,   M a y   2 0 2 1 ,     d o i :   1 0 . 1 6 0 9 / a a a i . v 3 5 i 1 4 . 1 7 5 0 0 .   [ 2 ]   H .   D a i   a n d   Y .   S o n g ,   N e u r a l   a sp e c t   a n d   o p i n i o n   t e r e x t r a c t i o n   w i t h   m i n e d   r u l e a w e a k   s u p e r v i si o n ,   i n   P ro c e e d i n g s   o f   t h e   5 7 t h   A n n u a l   Me e t i n g   o f   t h e   Ass o c i a t i o n   f o C o m p u t a t i o n a l   L i n g u i s t i c s ,   2 0 1 9 ,   p p .   5 2 6 8 5 2 7 7 ,   d o i :   1 0 . 1 8 6 5 3 / v 1 / p 1 9 - 1 5 2 0 .   [ 3 ]   U .   K a m a t h ,   K .   L.   G r a h a m,   a n d   W .   E mara,   B i d i r e c t i o n a l   e n c o d e r   r e p r e s e n t a t i o n f r o t r a n sf o r m e r ( B ER T) ,   i n   T r a n sf o rm e rs   f o r   M a c h i n e   L e a rn i n g ,   C h a p m a n   a n d   H a l l / C R C ,   2 0 2 2 ,   p p .   4 3 7 0 .   [ 4 ]   L.   H u a n g   e t   a l . ,   F i r st   t a r g e t   a n d   o p i n i o n   t h e n   p o l a r i t y :   E n h a n c i n g   t a r g e t - o p i n i o n   c o r r e l a t i o n   f o r   a s p e c t   sen t i m e n t   t r i p l e t   e x t r a c t i o n ,   a r Xi v   p r e p ri n t   a r Xi v : 2 1 0 2 . 0 8 5 4 9 ,   2 0 2 1 .   [ 5 ]   X .   Li ,   L.   B i n g ,   P .   Li ,   a n d   W .   La m,   A   u n i f i e d   mo d e l   f o r   o p i n i o n   t a r g e t   e x t r a c t i o n   a n d   t a r g e t   s e n t i m e n t   p r e d i c t i o n ,   Pr o c e e d i n g o f   t h e   AA AI   C o n f e re n c e   o n   Art i f i c i a l   I n t e l l i g e n c e ,   v o l .   3 3 ,   n o .   0 1 ,   p p .   6 7 1 4 6 7 2 1 ,   Ju l .   2 0 1 9 ,   d o i :   1 0 . 1 6 0 9 / a a a i . v 3 3 i 0 1 . 3 3 0 1 6 7 1 4 .   [ 6 ]   X .   Li   e t   a l . ,   En t i t y - r e l a t i o n   e x t r a c t i o n   a mu l t i - t u r n   q u e st i o n   a n sw e r i n g ,   i n   Pro c e e d i n g o f   t h e   5 7 t h   An n u a l   Me e t i n g   o f   t h e   Asso c i a t i o n   f o r   C o m p u t a t i o n a l   L i n g u i st i c s ,   2 0 1 9 ,   p p .   1 3 4 0 1 3 5 0 ,   d o i :   1 0 . 1 8 6 5 3 / v 1 / p 1 9 - 1 1 2 9 .   [ 7 ]   H .   P e n g ,   L.   X u ,   L .   B i n g ,   F .   H u a n g ,   W .   L u ,   a n d   L.   S i ,   K n o w i n g   w h a t ,   h o w   a n d   w h y :   a   n e a r   c o m p l e t e   s o l u t i o n   f o r   a s p e c t - b a se sen t i m e n t   a n a l y si s ,   Pro c e e d i n g o f   t h e   AAAI  C o n f e r e n c e   o n   Ar t i f i c i a l   I n t e l l i g e n c e ,   A p r .   2 0 2 0 ,   d o i :   1 0 . 1 6 0 9 / a a a i . v 3 4 i 0 5 . 6 3 8 3 .   [ 8 ]   S .   P o r i a ,   D .   H a z a r i k a ,   N .   M a j u m d e r ,   a n d   R .   M i h a l c e a ,   B e n e a t h   t h e   t i p   o f   t h e   i c e b e r g :   c u r r e n t   c h a l l e n g e s   a n d   n e w   d i r e c t i o n i n   sen t i m e n t   a n a l y si s   r e se a r c h ,   I EE T ra n s a c t i o n s   o n   Af f e c t i v e   C o m p u t i n g ,   v o l .   1 4 ,   n o .   1 ,   p p .   1 0 8 1 3 2 ,   Ja n .   2 0 2 3 ,     d o i :   1 0 . 1 1 0 9 / t a f f c . 2 0 2 0 . 3 0 3 8 1 6 7 .   [ 9 ]   W .   W a n g ,   S .   J .   P a n ,   D .   D a h l m e i e r ,   a n d   X .   X i a o ,   C o u p l e d   m u l t i - l a y e r   a t t e n t i o n s   f o r   c o - e x t r a c t i o n   o f   a s p e c t   a n d   o p i n i o n   t e r ms,   Pro c e e d i n g o f   t h e   AAAI  C o n f e r e n c e   o n   Art i f i c i a l   I n t e l l i g e n c e ,   v o l .   3 1 ,   n o .   1 ,   F e b .   2 0 1 7 ,   d o i :   1 0 . 1 6 0 9 / a a a i . v 3 1 i 1 . 1 0 9 7 4 .   [ 1 0 ]   Z.   W u ,   C .   Y i n g ,   F .   Z h a o ,   Z.   F a n ,   X .   D a i ,   a n d   R .   X i a ,   G r i d   t a g g i n g   sc h e me  f o r   a sp e c t - o r i e n t e d   f i n e - g r a i n e d   o p i n i o n   e x t r a c t i o n ,   i n   Fi n d i n g s   o f   t h e   A sso c i a t i o n   f o C o m p u t a t i o n a l   L i n g u i s t i c s:   E MN L 2 0 2 0 ,   2 0 2 0 ,   p p .   2 5 7 6 2 5 8 5 ,     d o i :   1 0 . 1 8 6 5 3 / v 1 / 2 0 2 0 . f i n d i n g s - e mn l p . 2 3 4 .   [ 1 1 ]   L.   X u ,   H .   Li ,   W .   L u ,   a n d   L.   B i n g ,   P o si t i o n - a w a r e   t a g g i n g   f o r   a sp e c t   se n t i me n t   t r i p l e t   e x t r a c t i o n ,   i n   P ro c e e d i n g o f   t h e   2 0 2 0   C o n f e re n c e   o n   Em p i r i c a l   M e t h o d s   i n   N a t u ra l   L a n g u a g e   Pro c e ssi n g   ( E MN L P) ,   2 0 2 0 ,   p p .   2 3 3 9 2 3 4 9 ,     d o i :   1 0 . 1 8 6 5 3 / v 1 / 2 0 2 0 . e m n l p - m a i n . 1 8 3.   [ 1 2 ]   C .   Zh a n g ,   Q .   Li ,   D .   S o n g ,   a n d   B .   W a n g ,   A   mu l t i - t a s k   l e a r n i n g   f r a me w o r k   f o r   o p i n i o n   t r i p l e t   e x t r a c t i o n ,   i n   Fi n d i n g o f   t h e   Asso c i a t i o n   f o r   C o m p u t a t i o n a l   L i n g u i st i c s:   EM N L 2 0 2 0 ,   2 0 2 0 ,   p p .   8 1 9 8 2 8 ,   d o i :   1 0 . 1 8 6 5 3 / v 1 / 2 0 2 0 . f i n d i n g s - e mn l p . 7 2 .   [ 1 3 ]   X .   L i ,   L.   B i n g ,   P .   L i ,   W .   L a m,  a n d   Z.   Y a n g ,   A sp e c t   t e r e x t r a c t i o n   w i t h   h i st o r y   a t t e n t i o n   a n d   s e l e c t i v e   t r a n sf o r ma t i o n ,     i n   Pr o c e e d i n g s   o f   t h e   T w e n t y - S e v e n t h   I n t e r n a t i o n a l   J o i n t   C o n f e r e n c e   o n   A rt i f i c i a l   I n t e l l i g e n c e ,   J u l .   2 0 1 8 ,   p p .   4 1 9 4 4 2 0 0 ,     d o i :   1 0 . 2 4 9 6 3 / i j c a i . 2 0 1 8 / 5 8 3 .   [ 1 4 ]   X .   L i   a n d   W .   L a m ,   D e e p   m u l t i - t a s k   l e a r n i n g   f o r   a s p e c t   t e r m   e x t r a c t i o n   w i t h   m e m o r y   i n t e r a c t i o n ,   2 0 1 7 ,   d o i :   1 0 . 1 8 6 5 3 / v 1 / d 1 7 - 1 3 1 0 .   [ 1 5 ]   H .   Lu o ,   T.   Li ,   B .   L i u ,   a n d   J.  Zh a n g ,   D O ER :   d u a l   c r o ss - sh a r e d   R N N   f o r   a s p e c t   t e r m - p o l a r i t y   c o - e x t r a c t i o n ,   i n   P ro c e e d i n g s   o f   t h e   5 7 t h   A n n u a l   Me e t i n g   o f   t h e   Ass o c i a t i o n   f o C o m p u t a t i o n a l   L i n g u i s t i c s ,   2 0 1 9 ,   p p .   5 9 1 6 0 1 ,   d o i :   1 0 . 1 8 6 5 3 / v 1 / p 1 9 - 1 0 5 6 .   [ 1 6 ]   Y .   Y i n ,   F .   W e i ,   L.   D o n g ,   K .   X u ,   M .   Zh a n g ,   a n d   M .   Z h o u . ,   U n s u p e r v i se d   w o r d   a n d   d e p e n d e n c y   p a t h   e mb e d d i n g f o r   a sp e c t   t e r m   e x t r a c t i o n ,   a r Xi v   p r e p ri n t   a r Xi v : 1 6 0 5 . 0 7 8 4 3 ,   2 0 1 6 .   [ 1 7 ]   S .   Y u   B a i   Ji a n ,   T .   N a y a k ,   N .   M a j u md e r ,   a n d   S .   P o r i a ,   A s p e c t   se n t i men t   t r i p l e t   e x t r a c t i o n   u s i n g   r e i n f o r c e me n t   l e a r n i n g ,     i n   Pr o c e e d i n g o f   t h e   3 0 t h   A C I n t e r n a t i o n a l   C o n f e re n c e   o n   I n f o r m a t i o n   & a m p ;   K n o w l e d g e   M a n a g e m e n t ,   O c t .   2 0 2 1 ,     p p .   3 6 0 3 3 6 0 7 ,   d o i :   1 0 . 1 1 4 5 / 3 4 5 9 6 3 7 . 3 4 8 2 0 5 8 .   [ 1 8 ]   M .   P o n t i k i ,   D .   G a l a n i s ,   J.   P a v l o p o u l o s,  H .   P a p a g e o r g i o u ,   I .   A n d r o u t s o p o u l o s,   a n d   S .   M a n a n d h a r ,   S e mE v a l - 2 0 1 4   t a s k   4 :   a sp e c t   b a s e d   s e n t i m e n t   a n a l y si s,   i n   Pr o c e e d i n g o f   t h e   8 t h   I n t e r n a t i o n a l   Wo r k s h o p   o n   S e m a n t i c   E v a l u a t i o n   ( S e m E v a l   2 0 1 4 ) ,   2 0 1 4 ,     p p .   2 7 3 5 ,   d o i :   1 0 . 3 1 1 5 / v 1 / s 1 4 - 2 0 0 4 .   [ 1 9 ]   M .   P o n t i k i   e t   a l . ,   S e m e v a l - 2 0 1 6   t a sk   5 :   A sp e c t   b a se d   s e n t i me n t   a n a l y s i s,”   I n   Pr o c e e d i n g o f   t h e   1 0 t h   i n t e r n a t i o n a l   w o r k sh o p   o n   sema n t i c   e v a l u a t i o n   ( S e m E v a l - 2 0 1 6 ) ,   p p .   1 9 3 0 ,   2 0 1 6 .   [ 2 0 ]   T.   H e r c i g ,   U W B   a t   S e mE v a l - 2 0 1 8   Ta sk   3 :   i r o n y   d e t e c t i o n   i n   e n g l i s h   t w e e t s ,   i n   Pr o c e e d i n g o f   T h e   1 2 t h   I n t e r n a t i o n a l   Wo r k sh o p   o n   S e m a n t i c   Ev a l u a t i o n ,   2 0 1 8 ,   p p .   5 2 0 5 2 4 ,   d o i :   1 0 . 1 8 6 5 3 / v 1 / s 1 8 - 10 8 4 .   [ 2 1 ]   S .   C h a i t u s a n e y   a n d   A .   Y o k o y a m a ,   A n   a p p r o p r i a t e   d i s t r i b u t e d   g e n e r a t i o n   si z i n g   c o n s i d e r i n g   r e c l o s e r - f u se  c o o r d i n a t i o n ,   i n   2 0 0 5   I EEE/ P ES   T r a n sm i ssi o n   & a m p ; a m p ;   D i s t r i b u t i o n   C o n f e re n c e   & a m p ; a m p ;   E x p o s i t i o n :   Asi a   a n d   P a c i f i c ,   p p .   1 6 ,     d o i :   1 0 . 1 1 0 9 / t d c . 2 0 0 5 . 1 5 4 6 8 3 8 .   [ 2 2 ]   Z.   M .   Z .   M a d h o u sh i ,   A .   R .   H a m d a n ,   S .   Za i n u d i n ,   A sp e c t - b a se d   se n t i men t   a n a l y si m e t h o d i n   r e c e n t   y e a r s ,   As i a - Pa c i f i c   J o u rn a l   o f   I n f o rm a t i o n   T e c h n o l o g y   & a m p ;   Mu l t i m e d i a v o l .   8 ,   n o .   1 ,   7 9 96 2 0 1 9 ,   d o i 1 0 . 1 7 5 7 6 / a p j i t m - 2 0 1 9 - 0 8 0 1 - 0 7 .   [ 2 3 ]   K .   S c a r i a ,   H .   G u p t a ,   S .   G o y a l ,   S .   S a w a n t ,   S .   M i s h r a ,   a n d   C .   B a r a l ,   I n st r u c t A B S A :   i n st r u c t i o n   l e a r n i n g   f o r   a s p e c t   b a se d   se n t i m e n t   a n a l y si s ,   i n   Pr o c e e d i n g o f   t h e   2 0 2 4   C o n f e re n c e   o f   t h e   N o rt h   Am e r i c a n   C h a p t e o f   t h e   Ass o c i a t i o n   f o C o m p u t a t i o n a l   L i n g u i st i c s:   H u m a n   L a n g u a g e   T e c h n o l o g i e s   ( Vo l u m e   2 :   S h o r t   P a p e rs) ,   2 0 2 4 ,   p p .   7 2 0 7 3 6 ,   d o i :   1 0 . 1 8 6 5 3 / v 1 / 2 0 2 4 . n a a c l - s h o r t . 6 3 .   [ 2 4 ]   J.  Z.   M a i t a ma ,   N .   I d r i s,  A .   A b d i ,   L.   S h u i b ,   a n d   R.   F a u z i ,   sy s t e m a t i c   r e v i e w   o n   i m p l i c i t   a n d   e x p l i c i t   a s p e c t   e x t r a c t i o n   i n   sen t i m e n t   a n a l y si s ,     I EEE   Ac c e ss ,   v o l .   8 ,   p p .   1 9 4 1 6 6 1 9 4 1 9 1 ,   2 0 2 0 d oi 1 0 . 1 1 0 9 / a c c e ss. 2 0 2 0 . 3 0 3 1 2 1 7 .   [2 5 ]   A .   O u d a l o v   e t   a l . ,   N o v e l   p r o t e c t i o n   s y st e ms f o r   mi c r o g r i d s,   2 0 0 9 .   h t t p : / / w w w . mi c r o g r i d s . e u / d o c u me n t s / 6 8 8 . p d s .         Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J I n f   &   C o m m u n   T ec h n o l     I SS N:   2252 - 8 7 7 6       Hyb r id   d ee p   n e u r a l n etw o r mo d el  fo r   a s p ec t a n d   o p in io n   ex tr a ctio n   w ith   … ( A b h in a n d a n   S h ir a h a tti )   777   B I O G RAP H I E S O F   AUTH O RS        Dr .   Abh in a n d a n   S h ira h a tti           h o ld s   a   Do c t o ra d e g re e   fr o m   VTU  U n iv e rsit y ,   Ka rn a tak a   In d ia  i n   2 0 2 3 .   R e c e iv e d   B. E.   a n d   M . Tec h   i n   Co m p u ter  S c ien c e   a n d     En g i n e e rig   fr o m   VTU  Un i v e rsit y ,   Ka rn a tak a   I n d ia  i n   2 0 0 6   a n d   2 0 1 0 ,   re sp e c ti v e ly .   He   is   c u rre n tl y   a n   a ss o c iate   p ro fe ss o r   a Co m p u ter  S c ien c e   De p a rtme n in   Ko l h a p u In stit u te  o f   Tec h n o l o g y ’s  C o ll e g e   o E n g i n e e rin g ,   Ko l h a p u r,   a n d   M a h a r a sh tra.  Rre se a rc h   in c lu d e m a c h in e   lea rn in g   d e e p   lea rn in g   a n d   n a t u ra lan g u a g e   p ro c e ss in g .   He   h a p u b l ish e d   o v e r   1 0 p a p e rs  in   in tern a ti o n a j o u r n a l a n d   c o n fe re n c e s.  F ro m   Ju ly   2 0 1 2   t o   Ju n e   2 0 2 4 ,   a n d   a lso   se rv e   m a n y   IEE c o n fe re n c e   se ss io n   c h a irs He   c a n   b e   c o n tac ted   a e m a il sh irah a tt i. a b h in a n d a n @ k it c o e k . in   o a b h ish ira h a tt i0 7 0 7 @g m a il . c o m .         Dr .   Ra m e sh  Meda r           h o ld a   Ba c h e lo o En g i n e e rin g   (B . E n g . i n   Co m p u ter   S c ien c e   a n d   En g in e e rig   fr o m   S DMCE Dh a rwa d ,   M . Tec h   i n   Co m p u ter  S c ien c e   a n d   En g i n e e rig ,   fro m   G IT  Be lag a v i,   Ka rn a tak a ,   In d ia.  P h . D .   in   Co m p u ter  S c ien c e   a n d   E n g in e e rig ,   fro m   VTU  Be lag a v i ,   Ka rn a tak a .   He   is  c u rre n tl y   a n   a ss o c iate   p ro f e ss o a Co m p u ter  S c ien c e   (AI  a n d   M L)  De p a rtme n K ES ’S   Ra jara m b a p u   In sti tu te  o Tec h n o lo g y ,   Isla m p u r,   M a h a ra sh tra.   Rre se a rc h   in c l u d e s   m a c h in e   lea rn i n g   c lo u d   c o m p u t in g ,   a n d   d a ta   a n a l y ti c s .   He   c a n   b e   c o n tac ted   a e m a il m e d a r. ra m e sh @k it c o e k . in   o ra m e sh m e d a r2 1 8 4 @ g m a il . c o m .           Dr .   Vija y   Ra j p u r o h it           re c e iv e d   th e   P h . D .   fr o m   M a n i p a Un i v e rsity ,   Ka rn a tak a   In d ia.   He   is  a   p ro fe ss o in ,   De p a rtme n o CS a G IT,   Be lg a u m ,   Ka rn a tak a ,   In d ia.  Re c e iv e d   B. E.   i n   Co m p u ter  S c ien c e   fro m   KU Dh a rwa d ,   M . Tec h   fro m   N . I . T. K   S u ra th k a l .   His  re se a rc h   in tere st  in c l u d e   ima g e   p r o c e ss in g ,   c lo u d   c o m p u ti n g ,   a n d   d a ta  a n a ly ti c s .   He   h a p u b li s h e d   o v e r   1 0 0   p a p e rs  i n   i n tern a ti o n a l   jo u rn a ls  a n d   c o n fe re n c e s.   He   c a n   b e   c o n tac ted   a e m a i l   v ij a y sr2 k @y a h o o . c o m   o r   v sra jp u ro h it @ g it . e d u .         Dr .   S a n je e v   K a u l g u d           is an   a c c o m p li sh e d   a c a d e m ic p ro fe ss io n a c u rre n tl y   se rv in g   a a n   As so c iate   P ro fe ss o a D e p t.   o AI  &   M L,   Ne Ho rizo n   Co ll e g e   o En g in e e rin g ,   Be n g a lu r u .   Wi t h   e x ten si v e   e x p e ri e n c e   sp a n n in g   o v e a   d e c a d e   in   b o th   a c a d e m ia  a n d   in d u str y .   He   h a a   stro n g   b a c k g ro u n d   in   so ftwa re   e n g in e e rin g ,   b io i n fo rm a ti c s,  a n d   m a c h in e   lea rn in g .   He   h o l d a   P h . D .   in   Bio i n fo rm a ti c fro m   REVA  Un iv e rsit y ,   wit h   a   d isse rtatio n   f o c u se d   o n   d e v e lo p in g   e fficie n a l g o ri th m fo p ro tei n   se q u e n c e   a n a ly sis  a n d   p ro sta te   c a n c e d e tec ti o n   u sin g   m a c h i n e   lea rn in g   tec h n i q u e s.  He   h a m a n y   p u b l ica ti o n i n   re p u ted   I n tern a ti o n a Jo u rn a ls   a n d   Co n fe re n c e s.  He   h a m u lt ip l e   p a ten ts  fo h is  in n o v a t iv e   wo rk s.  He   c a n   b e   c o n tac ted   a th e   e m a il sa n jee v . k a u l g u d @g m a il . c o m .         Dr .   Mruty u n j a y a   M a t ha Sh iv a m urt ha ia h           is  a n   As so c iate   P ro fe ss o a n d   He a d   o CS (Da ta  S c ien c e a Ja lap p a   In stit u te  o Tec h n o lo g y ,   wit h   1 4   y e a rs  o f   e x p e rien c e   in   tea c h in g ,   i n d u stry ,   a n d   re se a rc h .   He   h o l d a   P h . D.  in   C S E,   s p e c ializin g   i n   a d v a n c e d   ima g e   p ro c e ss in g   a n d   m a c h in e   lea rn in g   f o n o n - d e str u c ti v e   q u a li t y   a n a l y sis.  His   e x p e rti se   in c lu d e AI,  M L ,   c y b e rse c u rit y ,   a n d   d ig it a ima g e   p ro c e ss in g .   An   a wa rd - win n i n g   re se a rc h e a n d   p a ten h o ld e r,   h e   h a led   k e y   a c a d e m ic  in it iati v e s,  in c lu d in g   th e   AICTE  ATAL   F DP  2 0 2 4   a n d   2 0 2 5 .   P a ss io n a te  a b o u t   m e n to ri n g   a n d   in n o v a ti o n ,   h e   f o ste rs  c o ll a b o ra ti o n   b e twe e n   a c a d e m ia  a n d   in d u str y   t o   d ri v e   tec h n o l o g ica a d v a n c e m e n a n d   re se a rc h   e x c e ll e n c e .   He   c a n   b e   c o n tac ted   at m ru ty u n j a y a m s@ g m a il . c o m .     Evaluation Warning : The document was created with Spire.PDF for Python.